JP2019101566A - Information processing system, information processing method, information processing program, and information processing apparatus - Google Patents

Information processing system, information processing method, information processing program, and information processing apparatus Download PDF

Info

Publication number
JP2019101566A
JP2019101566A JP2017229342A JP2017229342A JP2019101566A JP 2019101566 A JP2019101566 A JP 2019101566A JP 2017229342 A JP2017229342 A JP 2017229342A JP 2017229342 A JP2017229342 A JP 2017229342A JP 2019101566 A JP2019101566 A JP 2019101566A
Authority
JP
Japan
Prior art keywords
user
information
server
user terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017229342A
Other languages
Japanese (ja)
Other versions
JP6413068B1 (en
Inventor
眞己 金子
Maki Kaneko
眞己 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PRONET CORP
Original Assignee
PRONET CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PRONET CORP filed Critical PRONET CORP
Priority to JP2017229342A priority Critical patent/JP6413068B1/en
Application granted granted Critical
Publication of JP6413068B1 publication Critical patent/JP6413068B1/en
Publication of JP2019101566A publication Critical patent/JP2019101566A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

To provide a system capable of confirming user's presence without moving to the seat position.SOLUTION: A presence information management system includes a user terminal and a server. The user terminal is provided with a camera. The user terminal detects a user face based on an input image from the camera, determines whether the user is present, and transmits presence information indicating the determination result to the server. The server stores the presence information transmitted from each user terminal. Further, when the server receives a request for confirmation of the presence information of the user from other user terminal, the server transmits the stored presence information to the other user terminal.SELECTED DRAWING: Figure 1

Description

本発明は、ユーザの在席状況を管理する情報処理システム、情報処理方法、情報処理プログラム、および情報処理装置に関する。   The present invention relates to an information processing system, an information processing method, an information processing program, and an information processing apparatus that manage the presence status of a user.

従来より、不在者の情報を提示するシステムがある。例えば、特許文献1に記載の情報処理システムでは、座席を訪問した人がスマートデバイスを用いてARマーカを撮像し、ARマーカに紐づいた座席位置をデータベースから読み取り、座席位置に対応する人物が在席しているか不在かを判定する。そして、不在と判定された人物を特定し、特定された人物のプレゼンス情報を提示する。   Conventionally, there is a system for presenting information of absentee. For example, in an information processing system described in Patent Document 1, a person who visits a seat captures an AR marker using a smart device, reads a seat position linked to the AR marker from a database, and a person corresponding to the seat position Determine whether you are present or absent. Then, the person determined to be absent is identified, and the presence information of the identified person is presented.

特開2016−192746号公報JP, 2016-192746, A

しかしながら、上記従来の技術では、ユーザは、座席位置に対応する人物が在席しているか否かを、その座席位置まで移動して確認する必要があった。   However, in the above-mentioned prior art, the user needs to move to the seat position and confirm whether the person corresponding to the seat position is present or not.

それ故、本発明の目的は、ユーザの在席状況をその座席位置まで移動することなく確認することができるシステムを提供することである。   Therefore, an object of the present invention is to provide a system capable of confirming the user's presence without moving to the seat position.

本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧書きは例えば実施例との対応を例示するものであって、本発明の範囲を限定するものではない。   The present invention adopts the following configuration in order to solve the above-mentioned problems. In addition, parentheses indicate, for example, the correspondence with the examples, and do not limit the scope of the present invention.

本発明の一例は、ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得手段と、前記画像取得手段によって取得された画像に基づいて、前記ユーザの顔を検出する顔検出手段と、前記顔検出手段の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定手段と、前記在席判定手段の判定結果に応じた前記ユーザの在席情報を、ネットワーク上のサーバに記憶させる記憶制御手段と、ネットワークを介して前記サーバに記憶された前記ユーザの在席情報を取得し、当該取得した前記ユーザの在席情報を他のユーザに提示する提示手段と、を備える。   One example of the present invention is an image acquisition unit for acquiring an image from a camera provided around a seat of the user, and a face detection unit for detecting the face of the user based on the image acquired by the image acquisition unit A presence determination means for determining whether or not the user is present based on the detection result of the face detection means; and presence information of the user according to the determination result of the presence determination means. Storage control means to be stored in a server on a network, and presentation means for acquiring the presence information of the user stored in the server via the network and presenting the acquired presence information of the user to other users And.

上記によれば、ユーザが在席しているか否かをカメラで判定し、当該ユーザの在席情報が、サーバに保存される。他のユーザは、ネットワークを介してサーバからユーザの在席情報を取得することで、ユーザの在席情報を確認することができる。   According to the above, it is determined by the camera whether or not the user is present, and the user's presence information is stored in the server. Another user can confirm the user's presence information by acquiring the user's presence information from the server via the network.

また、他の構成では、前記情報処理システムは、前記ユーザの座席周辺に設けられたユーザ端末を含み、前記画像取得手段、前記顔検出手段、および前記在席判定手段は、前記ユーザ端末に配置されてもよい。前記ユーザ端末は、前記在席判定手段の判定結果に応じた在席情報を、ネットワークを介して前記サーバに送信する。前記サーバは、前記ユーザ端末から送信された在席情報を記憶手段に記憶させる。サーバは、前記他のユーザの端末から前記記憶手段に記憶された在席情報の確認要求を受信する確認要求受信手段と、前記確認要求を受信した場合に、前記記憶手段に記憶された在席情報を、前記他のユーザの端末にネットワークを介して送信する送信手段と、を含む。前記他のユーザの端末は、前記送信手段によって送信された前記在席情報を前記他のユーザに提示する。   In another configuration, the information processing system includes a user terminal provided around the seat of the user, and the image acquisition unit, the face detection unit, and the presence determination unit are disposed in the user terminal. It may be done. The user terminal transmits presence information according to the determination result of the presence determination means to the server via a network. The server stores the presence information transmitted from the user terminal in storage means. The server receives a confirmation request receiving unit that receives a confirmation request for presence information stored in the storage unit from the terminal of the other user, and the presence stored in the storage unit when the confirmation request is received Transmitting means for transmitting information to the other user's terminal via the network. The terminal of the other user presents the presence information transmitted by the transmission means to the other user.

上記構成によれば、ユーザ端末において、カメラからの画像を取得し、ユーザが在席しているか否かを判定することができる。ユーザ端末はその判定結果に応じた前記ユーザの在席情報をサーバに送信する。サーバにはカメラからの画像が送信されないため、ネットワークおよびサーバの負荷を低減することができる。また、ユーザ端末からは在席情報が送信され、カメラからの画像はサーバに送信されないため、個人情報保護上の問題も回避することができる。   According to the above configuration, in the user terminal, it is possible to acquire an image from the camera and determine whether the user is present. The user terminal transmits the presence information of the user according to the determination result to the server. Since the image from the camera is not transmitted to the server, the load on the network and the server can be reduced. In addition, the presence information is transmitted from the user terminal and the image from the camera is not transmitted to the server, so that the problem in personal information protection can be avoided.

また、他の構成では、前記ユーザ端末は、前記在席判定手段の判定結果に基づいて前記ユーザの在席状態が変化したか否かを判定し、前記ユーザの在席状態が変化したと判定した場合に、前記在席情報を前記サーバに送信してもよい。   In another configuration, the user terminal determines whether or not the user's presence has changed based on the determination result of the presence determination means, and determines that the user's presence has changed. The presence information may be sent to the server when it occurs.

上記構成によれば、ユーザの在席状態が変化した場合に、在席情報がサーバに送信される。このため、在席情報が頻繁にサーバに送信されることを防止することができ、ネットワークおよびサーバの負荷を低減することができる。   According to the above configuration, the presence information is transmitted to the server when the user's presence changes. Therefore, the presence information can be prevented from being frequently transmitted to the server, and the load on the network and the server can be reduced.

また、他の構成では、前記記憶制御手段は、前記在席判定手段の判定結果に応じた時間情報を、前記サーバにさらに記憶させてもよい。   In addition, in another configuration, the storage control unit may further store time information according to the determination result of the presence determination unit in the server.

上記構成によれば、ユーザが在席しているか否かの在席情報に加えて、時間情報がサーバに記憶される。このため、ユーザの在席時間、離席時間を把握することができる。なお、サーバに記憶される時間情報は、ユーザが在席していると判定された時点または離席したと判定された時点における時刻情報であってもよいし、ユーザが在席している間の時間または離席している間の時間を示す情報であってもよい。   According to the above configuration, time information is stored in the server in addition to the presence information as to whether the user is present. Therefore, it is possible to grasp the user's presence time and absence time. Note that the time information stored in the server may be time information when it is determined that the user is present, or when it is determined that the user is away, or while the user is present It may be information indicating the time of or the time while away from the seat.

また、他の構成では、前記提示手段は、前記サーバに記憶された前記ユーザの在席情報と前記時間情報とに基づいて、前記ユーザの過去の在席情報を前記他のユーザに提示してもよい。   In another configuration, the presenting unit presents, to the other user, the past presence information of the user based on the user's presence information and the time information stored in the server. It is also good.

上記構成によれば、ユーザの管理者である他のユーザは、当該ユーザの過去の在席情報を確認することができ、例えば所定期間におけるユーザの在席時間、離席時間を確認することができる。   According to the above configuration, the other user who is the administrator of the user can confirm the past presence information of the user, for example, the presence time and the absence time of the user in a predetermined period may be confirmed. it can.

また、他の構成では、前記情報処理システムは、前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、前記ユーザが居眠りしているか否かを判定する居眠り判定手段をさらに備えてもよい。前記提示手段は、前記居眠り判定手段の判定結果を示す居眠り情報を、前記他のユーザに提示してもよい。   In another configuration, when the presence determination unit determines that the user is present, the information processing system sleeps the user on the basis of the image acquired by the image acquisition unit. The vehicle may further include a sleep determination unit that determines whether the user is on the road or not. The presentation means may present the other user with drowsiness information indicating the determination result of the drowsiness determination means.

上記構成によれば、他のユーザは、ユーザが居眠りをしているか否かを確認することができる。   According to the above configuration, another user can check whether the user is sleeping or not.

また、他の構成では、前記情報処理システムは、前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、所定の物体を検知し、前記ユーザが前記所定の物体を用いて所定の作業を行っているか否かを判定する作業判定手段をさらに備えてもよい。前記提示手段は、前記作業判定手段の判定結果を示す作業情報を、前記他のユーザに提示してもよい。   In another configuration, when the presence determination unit determines that the user is present, the information processing system determines a predetermined object based on the image acquired by the image acquisition unit. The information processing apparatus may further include work determining means for detecting and determining whether the user is performing a predetermined work using the predetermined object. The presentation means may present work information indicating the determination result of the work determination means to the other user.

上記構成によれば、他のユーザは、ユーザが所定の物体を用いて所定の作業を行っているか否かを確認することができる。   According to the above configuration, another user can check whether the user is performing a predetermined task using a predetermined object.

また、他の構成では、前記情報処理システムは、前記ユーザのスケジュール情報を管理するスケジュール管理手段をさらに備えてもよい。   In another configuration, the information processing system may further include a schedule management unit that manages schedule information of the user.

上記構成によれば、ユーザの在席情報に加えて、スケジュール情報を管理することができる。   According to the above configuration, schedule information can be managed in addition to user presence information.

また、他の構成では、前記情報処理システムは、前記スケジュール管理手段によって管理されるスケジュール情報と、前記在席情報とを統合した統合情報を生成する統合情報生成手段とをさらに備えてもよい。前記提示手段は、前記統合情報生成手段によって生成された統合情報を、前記他のユーザに提示してもよい。   In another configuration, the information processing system may further include integrated information generation means for generating integrated information in which the schedule information managed by the schedule management means and the presence information are integrated. The presentation means may present the integrated information generated by the integrated information generation means to the other user.

上記構成によれば、スケジュール情報と在席情報とを統合することができ、ユーザの予定と、実際の在席情報とを他のユーザに提示することができる。   According to the above configuration, the schedule information and the presence information can be integrated, and the user's schedule and the actual presence information can be presented to other users.

なお、本発明の別の形態では、上記情報処理システムにおいて行われる情報処理方法であってもよい。また、上記情報処理システムの各手段として機能させる情報処理プログラムであってもよいし、上記各手段を備える情報処理装置であってもよい。   In another mode of the present invention, an information processing method performed in the above information processing system may be used. Further, the information processing program may be an information processing program to function as each means of the information processing system, or may be an information processing apparatus provided with each of the means.

本発明によれば、ユーザが在席しているか否かをカメラで判定し、当該ユーザの在席情報をサーバに保存することができる。他のユーザは、ネットワークを介してサーバからユーザの在席情報を取得することで、ユーザの在席情報を確認することができることができる。   According to the present invention, whether or not a user is present can be determined by the camera, and the user's presence information can be stored in the server. Another user can confirm the user's presence information by acquiring the user's presence information from the server via the network.

本実施形態の在席情報管理システム1の構成の一例を示す図The figure which shows an example of a structure of the presence information management system 1 of this embodiment ユーザ端末20のハードウェア構成の一例を示す図The figure which shows an example of the hardware constitutions of the user terminal 20 第1実施例に係るユーザ端末20の論理構成の一例を示す図A diagram showing an example of the logical configuration of the user terminal 20 according to the first embodiment サーバ10の論理構成の一例を示す図A diagram showing an example of the logical configuration of the server 10 第2実施例に係るユーザ端末20の論理構成の一例を示す図A diagram showing an example of the logical configuration of the user terminal 20 according to the second embodiment データベース13に記憶される情報の一例を示す図A diagram showing an example of information stored in the database 13 データベース13に記憶された図6に示す情報を模式的に表した図A diagram schematically representing the information shown in FIG. 6 stored in the database 13 管理者であるユーザがサーバ10にアクセスしたときに端末の表示部に表示される画像の一例を示す図The figure which shows an example of the image displayed on the display part of a terminal when the user who is an administrator accesses the server 10. 管理者でないユーザ(一般ユーザ)がサーバ10にアクセスしたときにユーザ端末20の表示部に表示される画像の一例を示す図The figure which shows an example of the image displayed on the display part of the user terminal 20, when the user (general user) who is not an administrator accesses the server 10. ユーザ端末20に記憶されるデータの一例を示す図A diagram showing an example of data stored in the user terminal 20 ユーザ端末20によって行われる処理の一例を示すフローチャートFlow chart showing an example of processing performed by the user terminal 20 サーバ10によって行われる処理の一例を示すフローチャートFlow chart showing an example of processing performed by the server 10 他の実施形態におけるサーバ10の論理構成の一例を示す図A diagram showing an example of a logical configuration of the server 10 in another embodiment スケジュール管理部15と在席状況管理部11との連携の一例を示す図The figure which shows an example of cooperation with the schedule management part 15 and the presence status management part 11.

(在席情報管理システムの概要)
以下、図面を参照して、本発明の一実施形態に係る在席情報管理システム1について説明する。図1は、本実施形態の在席情報管理システム1の構成の一例を示す図である。在席情報管理システム1は、企業、国、地方公共団体、その他組織に属する従業者、国家公務員、地方公務員等のユーザ(以下、「ユーザ」という)の在席状況、勤務態度等を監視・管理するためのシステムである。
(Overview of Presence Information Management System)
Hereinafter, the presence information management system 1 according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an example of the configuration of the presence information management system 1 of the present embodiment. The presence information management system 1 monitors the presence status, working attitude, etc. of users (hereinafter referred to as “users”) such as employees belonging to companies, countries, local governments, other organizations, national government officials, local government officials etc. It is a system to manage.

図1に示されるように、在席情報管理システム1は、サーバ10と、複数のユーザ端末20とを含む。サーバ10と、複数のユーザ端末20とは有線又は無線でネットワーク(例えば、社内LAN、WAN、インターネット等)に接続されている。   As shown in FIG. 1, the presence information management system 1 includes a server 10 and a plurality of user terminals 20. The server 10 and the plurality of user terminals 20 are connected to a network (for example, an in-house LAN, a WAN, the Internet, etc.) in a wired or wireless manner.

ユーザ端末20は、各ユーザによって使用される端末であり、例えば各ユーザのデスクに設置される。ユーザ端末20は、例えば、据置型のパーソナルコンピュータ、ノートパソコン、タブレット端末等であってもよい。ユーザ端末20には、文書作成・編集ソフト、表計算ソフト、ウェブブラウザソフト、電子メールソフト等のユーザが通常の業務に使用するアプリケーションプログラムがインストールされている。また、ユーザ端末20には、これらのプログラムの他に、ユーザが在席しているか否かを判定するためのプログラムがインストールされている。   The user terminal 20 is a terminal used by each user, and is installed, for example, at the desk of each user. The user terminal 20 may be, for example, a stationary personal computer, a notebook computer, a tablet terminal, or the like. In the user terminal 20, application programs such as document creation / editing software, spreadsheet software, web browser software, electronic mail software and the like used by the user for normal operations are installed. In addition to these programs, a program for determining whether or not the user is present is installed in the user terminal 20.

なお、以下では、例えばユーザAが使用するユーザ端末20を「ユーザ端末20a」、ユーザBが使用するユーザ端末20を「ユーザ端末20b」と表記する。あるユーザに対応するユーザ端末20を表す場合には、「ユーザ端末20」にアルファベットの小文字を付して表記する。複数のユーザ端末をまとめて表す場合には、「ユーザ端末20」と表記する。   Hereinafter, for example, the user terminal 20 used by the user A will be referred to as “user terminal 20 a”, and the user terminal 20 used by the user B as “user terminal 20 b”. In the case of representing the user terminal 20 corresponding to a certain user, the "user terminal 20" is written with a lower case letter of the alphabet. When a plurality of user terminals are represented collectively, it is written as "user terminal 20".

ユーザ端末20は、その端末を使用するユーザが在席しているか否か(座席に座っているか否か)を判定し、その判定結果に応じた在席情報をサーバ10に送信する。具体的には、ユーザの座席の周辺にはカメラ22が設置されている。カメラ22は、例えば、ユーザ端末20の表示部の画面の上に設置されてもよい。カメラ22は、ユーザ端末20に内蔵されたものでもよいし、ユーザ端末20に外付けされたものでもよい。ユーザ端末20は、カメラ22によって撮像されたリアルタイムの画像を取得し、当該画像に基づいてユーザの顔を検出し、その検出結果に基づいて、ユーザが在席しているか否かを判定する。そして、ユーザ端末20は、ユーザが在席しているか否かを示す在席情報を、ネットワークを介してサーバ10に送信する。   The user terminal 20 determines whether a user who uses the terminal is present (seated in a seat), and transmits presence information according to the determination result to the server 10. Specifically, a camera 22 is installed around the seat of the user. The camera 22 may be installed on the screen of the display unit of the user terminal 20, for example. The camera 22 may be built in the user terminal 20 or may be externally attached to the user terminal 20. The user terminal 20 acquires a real-time image captured by the camera 22, detects the face of the user based on the image, and determines whether the user is present based on the detection result. Then, the user terminal 20 transmits presence information indicating whether the user is present to the server 10 via the network.

サーバ10は、ユーザ端末20から送信された在席情報を受信し、その在席情報を時間情報とともにデータベースに記憶する。サーバ10には、各ユーザ端末20から送信された各ユーザの在席情報(各ユーザが座席にいるか否かの情報)が、時間情報とともに記憶される。   The server 10 receives the presence information transmitted from the user terminal 20, and stores the presence information in the database together with the time information. In the server 10, the presence information of each user (information as to whether each user is at a seat) transmitted from each user terminal 20 is stored together with time information.

各ユーザは、例えば、自身が使用するユーザ端末20のウェブブラウザを用いてサーバ10にアクセスし、他のユーザの在席情報を確認することができる。例えば、ユーザAの座席とユーザBの座席とが物理的に離れている場合、ユーザAは、ユーザBが現在、在席しているかどうかを目視で確認することはできない。このような場合、ユーザAは、サーバ10にアクセスすることにより、ユーザBが在席しているか否かを確認することができる。   Each user can access the server 10 using, for example, the web browser of the user terminal 20 used by the user, and confirm the presence information of other users. For example, when the seat of the user A and the seat of the user B are physically separated, the user A can not visually check whether the user B is currently present. In such a case, the user A can check whether the user B is present or not by accessing the server 10.

なお、全てのユーザが、自身のユーザ端末20を用いてサーバ10にアクセスすることにより、他の全てのユーザの在席情報をリアルタイムで確認することができてもよいし、ユーザ毎に在席情報を参照する権限が異なってもよい。例えば、管理者のみが、各ユーザの在席情報を確認する権限を有し、当該管理者のユーザ端末20(又は、他の専用の管理端末)を用いてサーバ10にアクセスすることにより、各ユーザの在席情報をリアルタイムで確認することができてもよい。また、例えば、ある部署の上司は、その部署に所属するユーザ(部下)の在席情報を確認できる一方、別の部署に所属するユーザの在席情報を確認できないように構成されてもよい。また、人事担当者は、全てのユーザの在席情報を確認できてもよい。また、ユーザ毎に在席情報にアクセスする権限が抑制されてもよい。   It should be noted that all users may be able to confirm the presence information of all other users in real time by accessing the server 10 using their own user terminal 20, or presence for each user The authority to refer to the information may be different. For example, only the administrator has the authority to confirm the presence information of each user, and each administrator accesses the server 10 using the user terminal 20 (or other dedicated management terminal) of the administrator. It may be possible to confirm the presence information of the user in real time. Also, for example, while the superior of a certain department can confirm the presence information of the user (subordinate) who belongs to that department, it may be configured not to confirm the presence information of the user who belongs to another department. In addition, personnel personnel may be able to confirm presence information of all users. In addition, the authority to access the presence information may be suppressed for each user.

例えば、管理者ではないユーザ(一般ユーザ)は、他のユーザの現在の在席情報を確認する権限を有するが、他のユーザの過去の在席情報を確認する権限を有さなくてもよい。一方、管理者(例えば、ある組織の長や人事担当者)は、管理対象のユーザ(例えば部下)の現在の在席情報を確認する権限を有するとともに、当該ユーザの過去の在席情報を確認する権限を有してもよい。   For example, a user who is not an administrator (general user) may have the right to confirm the other user's current presence information, but may not have the right to confirm the other user's past presence information . On the other hand, the manager (for example, the head of a certain organization or a person in charge of personnel management) has the authority to confirm the present presence information of the user to be managed (for example, subordinates) and confirms the past presence information of the user May have the right to

(ユーザ端末およびサーバの構成)
次に、ユーザ端末20の構成について説明する。図2は、ユーザ端末20のハードウェア構成の一例を示す図である。
(Configuration of user terminal and server)
Next, the configuration of the user terminal 20 will be described. FIG. 2 is a diagram showing an example of the hardware configuration of the user terminal 20. As shown in FIG.

図2に示されるように、ユーザ端末20は、情報処理部21と、カメラ22と、入力部23と、記憶部24と、通信部25と、表示部26とを備える。   As shown in FIG. 2, the user terminal 20 includes an information processing unit 21, a camera 22, an input unit 23, a storage unit 24, a communication unit 25, and a display unit 26.

情報処理部21は、CPUとメモリとを有する。情報処理部21は、カメラ22からの画像を取得し、情報処理プログラム(後述する画像処理プログラム)を実行することにより画像処理を行う。情報処理部21は、画像認識プログラムを実行することにより、後述する顔検出部27、在席判定部28(図3参照)として機能する。   The information processing unit 21 has a CPU and a memory. The information processing unit 21 acquires an image from the camera 22 and executes an information processing program (an image processing program described later) to perform image processing. The information processing unit 21 functions as a face detection unit 27 and a presence determination unit 28 (see FIG. 3) described later by executing an image recognition program.

また、情報処理部21は、画像処理プログラム以外の上記アプリケーションプログラムを実行可能である。また、情報処理部21は、入力部23からの信号に基づいた情報処理を行い、その結果に応じた画像や文字を表示部26に表示させる。また、情報処理部21は、記憶部24に記憶されたプログラムやデータを読み込んだり、記憶部24にデータを書き込んだりする。また、情報処理部21は、通信部25を制御する。   Further, the information processing unit 21 can execute the application program other than the image processing program. In addition, the information processing unit 21 performs information processing based on a signal from the input unit 23 and causes the display unit 26 to display an image or a character according to the result. The information processing unit 21 also reads a program or data stored in the storage unit 24 or writes data in the storage unit 24. Further, the information processing unit 21 controls the communication unit 25.

カメラ22は、所定の時間間隔(例えば、1/60秒間隔)で画像を撮像する。撮像された画像は、情報処理部21に入力される。カメラ22は、ユーザ端末20に内蔵されてもよいし、ユーザ端末20に外付けされてもよい。カメラ22は、ユーザが着席しているときにユーザの顔を撮像しやすい位置に設けられる。例えば、カメラ22は、ユーザが表示部26の画面を見ているときにユーザの顔を正面から撮像可能な位置(例えば、画面の上)に設けられる。例えば、ユーザ端末20の本体(情報処理部21を含む端末本体)と表示部26とが分離可能に構成されている場合において、カメラ22は、表示部26の画面の上に外付けで設置されてもよい。例えば、カメラ22は、ウェブカメラ(他の端末からウェブ経由でアクセス可能なカメラ)であってもよい。また、ユーザ端末20の本体と表示部26とが一体として構成されている場合において、カメラ22は、表示部26の画面と同一の面に一体的に設けられてもよい。なお、カメラ22の設置位置は単なる一例であり、カメラ22は、着席したユーザを撮像可能な位置であればどのような位置に設けられてもよい。   The camera 22 captures an image at a predetermined time interval (for example, 1/60 second interval). The captured image is input to the information processing unit 21. The camera 22 may be incorporated in the user terminal 20 or may be externally attached to the user terminal 20. The camera 22 is provided at a position where it is easy to capture the face of the user when the user is seated. For example, the camera 22 is provided at a position (e.g., on the screen) at which the user's face can be imaged from the front when the user is looking at the screen of the display unit 26. For example, when the main body of the user terminal 20 (the terminal main body including the information processing unit 21) and the display unit 26 are configured to be separable, the camera 22 is externally installed on the screen of the display unit 26. May be For example, the camera 22 may be a web camera (a camera accessible from another terminal via the web). When the main body of the user terminal 20 and the display unit 26 are integrally configured, the camera 22 may be integrally provided on the same surface as the screen of the display unit 26. Note that the installation position of the camera 22 is merely an example, and the camera 22 may be provided at any position as long as the user who has seated can be imaged.

入力部23は、キーボードやマウス等であり、ユーザの操作を受け付ける。   The input unit 23 is a keyboard, a mouse or the like, and receives an operation of the user.

記憶部24は、本実施形態の画像処理プログラムやデータを記憶する記憶装置であり、例えば、ハードディスクや不揮発性のメモリであってもよい。また、記憶部24は、ユーザが在席しているか否かの在席判定を行うためのデータを記憶する。また、記憶部24は、画像処理プログラムの他にも、ユーザが通常の業務で用いるアプリケーションプログラム等を記憶する。   The storage unit 24 is a storage device that stores the image processing program and data of the present embodiment, and may be, for example, a hard disk or a non-volatile memory. Further, the storage unit 24 stores data for performing presence determination as to whether or not the user is present. The storage unit 24 also stores, in addition to the image processing program, an application program and the like used by the user in normal business operations.

通信部25は、ユーザ端末20をネットワーク(例えば社内LAN)に接続するためのインターフェースである。通信部25は、サーバ10やインターネットにデータを送信したり、サーバ10やインターネットからデータを受信したりする。   The communication unit 25 is an interface for connecting the user terminal 20 to a network (for example, an in-house LAN). The communication unit 25 transmits data to the server 10 and the Internet, and receives data from the server 10 and the Internet.

(ユーザ端末の論理構成)
次に、第1実施例に係るユーザ端末20の論理構成について説明する。図3は、第1実施例に係るユーザ端末20の論理構成の一例を示す図である。図3に示されるように、ユーザ端末20は、顔検出部27と、在席判定部28とを含む。記憶部24に記憶された画像認識プログラムは、上記情報処理部21を、顔検出部27および在席判定部28として機能させる。
(Logical configuration of user terminal)
Next, the logical configuration of the user terminal 20 according to the first embodiment will be described. FIG. 3 is a diagram showing an example of the logical configuration of the user terminal 20 according to the first embodiment. As shown in FIG. 3, the user terminal 20 includes a face detection unit 27 and a presence determination unit 28. The image recognition program stored in the storage unit 24 causes the information processing unit 21 to function as the face detection unit 27 and the presence determination unit 28.

顔検出部27は、所定の時間間隔でカメラ22から送信される画像(入力画像)を取得し、当該入力画像の中から人の顔画像を検出する。具体的には、顔検出部27は、ユーザを特定することなく(つまり、ユーザ本人を認証することなく)、人の顔領域を検出する。顔を検出するためのプログラムとして、公知の商用プログラムやオープンソースプログラムが用いられてもよい。   The face detection unit 27 acquires an image (input image) transmitted from the camera 22 at predetermined time intervals, and detects a human face image from the input image. Specifically, the face detection unit 27 detects a face area of a person without specifying the user (that is, without authenticating the user). As a program for detecting a face, a known commercial program or open source program may be used.

在席判定部28は、顔検出部27によって人の顔が検出された場合、ユーザが在席しているか否かを判定する。例えば、顔検出部27は、ある座席の周辺に設けられたカメラ22から送信された入力画像の中から、その座席の背後を通過した人の顔を検出することがある。在席判定部28は、このように単に人が通過しただけの場合には、ユーザが在席していると判定しない。例えば、在席判定部28は、一定期間以上(例えば、10秒以上)、顔検出部27によって人の顔が検出された場合、ユーザが在席していると判定してもよい。また、在席判定部28は、顔検出部27が検出した顔画像の大きさが所定の閾値以上の場合に、ユーザが在席していると判定してもよい。また、在席判定部28は、入力画像における所定の領域(例えば画像の中心部分)に顔画像を検出した場合に、ユーザが在席していると判定してもよい。また、在席判定部28は、判定の精度を向上させるために、ユーザの目、鼻、口、耳等を検出し、これらの検出結果に基づいてユーザが在席しているか否かを判定してもよい。例えば、在席判定部28は、目、鼻、口、耳等の検出結果から顔の向きを判定し、顔の向きや動きに基づいてユーザが在席しているか否かを判定してもよい。また、在席判定部28は、ユーザが在席していると判定した後、ユーザの顔が検出されなくなったときでも、その直前における顔の動き等に基づいて、ユーザが在席していると判定してもよい。例えば、ユーザが正面を向いているときにカメラ22がユーザの顔を正面から撮像する場合、ユーザが横を向いたり、後ろを向いたり、下を向いたりしたときには、顔検出部27はユーザの顔を検出しなくなる。このような場合でも、在席判定部28は、ユーザの頭や体の一部を検出し、ユーザが引き続き在席していると判定してもよい。また、在席判定部28は、ユーザの顔に加えて、ユーザの頭を検出しなくなったときには、ユーザが離席したと判定してもよい。このように、在席判定部28は、ユーザの顔全体、目、鼻、口等の顔の部分、耳、頭等を検出し、これらの検出結果に基づいてユーザの行動を総合的に判断し、ユーザが在席しているか否かを判定してもよい。   When the face detection unit 27 detects a human face, the presence determination unit 28 determines whether the user is present. For example, the face detection unit 27 may detect a face of a person who has passed behind a seat from among input images transmitted from a camera 22 provided around the seat. The presence determination unit 28 does not determine that the user is present when only a person passes as described above. For example, the presence determination unit 28 may determine that the user is present when the face detection unit 27 detects a human face for a predetermined period or more (for example, 10 seconds or more). The presence determination unit 28 may also determine that the user is present when the size of the face image detected by the face detection unit 27 is equal to or larger than a predetermined threshold. Further, the presence determination unit 28 may determine that the user is present when a face image is detected in a predetermined area (for example, the central portion of the image) in the input image. Further, the presence determination unit 28 detects eyes, a nose, a mouth, an ear, and the like of the user to improve the determination accuracy, and determines whether the user is present based on the detection results. You may For example, the presence determination unit 28 determines the direction of the face from detection results of eyes, nose, mouth, ears, etc., and determines whether the user is present based on the direction or movement of the face. Good. Further, after the presence determination unit 28 determines that the user is present, even when the user's face is not detected, the user is present based on the movement of the face immediately before that, etc. It may be determined that For example, when the camera 22 shoots the user's face from the front when the user faces the front, the face detection unit 27 detects the face of the user when the user faces sideways, faces backward, or faces down. Stop detecting faces. Even in such a case, the presence determination unit 28 may detect part of the head or body of the user and determine that the user continues to be present. In addition to the face of the user, the presence determination unit 28 may determine that the user is away when the user's head is not detected. Thus, the presence determination unit 28 detects the entire face of the user, the face, such as eyes, nose, and mouth, ears, head, etc., and comprehensively determines the user's action based on the detection results. Alternatively, it may be determined whether the user is present.

なお、在席判定部28は、本人を特定することなく、人が在席しているか否か(単に人が通過した場合を除いて、人が座席に着席しているか否か)を判定してもよい。すなわち、在席判定部28は、顔認証により座席にいるはずの人物を特定しなくてもよい。例えば、在席判定部28は、ユーザAの座席にユーザBが着席している場合であっても、ユーザAが在席していると判定してもよい。   The presence determination unit 28 determines whether a person is present or not (specifically, whether or not a person is seated at a seat except when a person passes) without specifying the person. May be That is, the presence determination unit 28 may not specify the person who should be in the seat by face authentication. For example, the presence determination unit 28 may determine that the user A is present even if the user B is seated at the seat of the user A.

基本的に各ユーザが予め定められた固定の座席に座って業務を行う場合、ユーザAが、他のユーザBの座席に所定時間以上座って業務を行う可能性は低い。このような場合には、ユーザAの座席に人が着席していることを確認すれば、ユーザAの座席に座っている人が本当にユーザAなのかを確認しなくても、ある程度、ユーザAの在席状況を把握することができる。また、在席判定部28が顔認証により本人を特定しない場合であっても、他の認証手段により本人認証を行ってもよい。例えば、在席判定部28がユーザAの座席に人が着席していることを検知しており、かつ、ユーザ端末20aにログインしているユーザがユーザAである場合、在席判定部28は、ユーザA本人が在席していると判定してもよい。   Basically, when each user performs work while sitting on a predetermined fixed seat, there is a low possibility that user A will perform work while sitting for another user B's seat for a predetermined time or more. In such a case, if it is confirmed that a person is seated in the seat of the user A, the user A can be checked to some extent without checking whether the person sitting in the seat of the user A is really the user A. It is possible to understand the presence situation of In addition, even when the presence determination unit 28 does not specify the user by face authentication, the user authentication may be performed by another authentication unit. For example, if the presence determination unit 28 detects that a person is seated in the seat of the user A and the user logged in to the user terminal 20 a is the user A, the presence determination unit 28 The user A may be determined to be present.

このように、在席判定部28が本人を特定しない場合には、予め各ユーザの顔の特徴を示す顔データを登録しておく必要はないため、個人情報保護上の問題は発生しない。   As described above, when the presence determination unit 28 does not specify the user, it is not necessary to register face data indicating the features of the face of each user in advance, and thus no problem in personal information protection occurs.

また、別の実施例では、在席判定部28は、カメラ22からの入力画像に含まれる顔画像と予め記憶された各ユーザの顔の特徴を示す顔データとに基づいて顔認証を行い、人物を特定してもよい。具体的には、在席判定部28は、入力画像から目、鼻、口、耳等を検出し、これらの形や大きさ、位置関係等に基づく特徴と、予め記憶された顔データとに基づいて、ユーザを特定する。この場合、在席判定部28は、例えば、ユーザAの座席にユーザAが着席している場合にのみ、ユーザAが在席していると判定する。   In another embodiment, the presence determination unit 28 performs face authentication based on the face image included in the input image from the camera 22 and the face data indicating the feature of the face of each user stored in advance. The person may be identified. Specifically, the presence determination unit 28 detects eyes, a nose, a mouth, an ear, and the like from an input image, and uses features based on their shapes, sizes, positional relationships, and the like, and face data stored in advance. Identify the user based on it. In this case, the presence determination unit 28 determines that the user A is present, for example, only when the user A is seated at the seat of the user A.

例えば、各ユーザが固定の座席を有していない場合(いわゆるフリーアドレスの場合)、誰が座席に座っているかを特定する必要がある。このような場合には、在席判定部28は、各ユーザの顔を識別し、誰が座席に座っているかを判定する。そして、在席判定部28は、撮像対象の座席に座っているユーザの在席情報をサーバ10に送信する。これにより、各ユーザが固定の座席を有していない場合であっても、各ユーザは、サーバ10にアクセスすることにより、どの席にどのユーザが座っているかを確認することができる。なお、各ユーザが固定の座席を有していない場合においても、在席判定部28は、顔認証により人物を特定しなくてもよい。この場合、在席判定部28は、例えば、ログインしているユーザのユーザ名に基づいて、在席しているユーザを特定してもよい。   For example, if each user does not have a fixed seat (in the case of a so-called free address), it is necessary to specify who is sitting in the seat. In such a case, the presence determination unit 28 identifies the face of each user and determines who is sitting in the seat. Then, the seating determination unit 28 transmits, to the server 10, seating information of the user who is sitting at the imaging target seat. Thereby, even when each user does not have a fixed seat, each user can confirm which user is sitting at which seat by accessing the server 10. Even when each user does not have a fixed seat, the presence determination unit 28 does not have to specify a person by face authentication. In this case, the presence determination unit 28 may specify the present user based on, for example, the user name of the logged-in user.

在席判定部28は、在席判定の結果に基づいて、在席情報(在席しているか否かを示す情報。後述する在席フラグ)を、通信部25を介してサーバ10に送信する。具体的には、在席判定部28は、ユーザの在席状態が変化した場合、すなわち、在席している状態から離席している状態に変化した場合、又は、離席している状態から在席している状態に変化した場合、在席情報を時間情報とともにサーバ10に送信する。   The presence determination unit 28 transmits presence information (information indicating whether or not there is a presence, a presence flag described later) to the server 10 via the communication unit 25 based on the result of the presence determination. . Specifically, the presence determination unit 28 changes the presence state of the user, that is, changes from the presence state to the absence state, or the absence state. In the case of a change to the present state, the presence information is transmitted to the server 10 together with the time information.

なお、上記顔検出部27によるユーザの顔の検出、および、在席判定部28によるユーザの在席判定は、開発者が検出や判定のためのルールを予め定めてプログラムすることにより実現されてもよいし、コンピュータに大量のデータを読み込ませて機械学習(深層学習を含む)させることにより実現されてもよい。   The detection of the user's face by the face detection unit 27 and the presence determination of the user by the presence determination unit 28 are realized by the developer presetting and programming rules for detection and determination. It may be realized by causing a computer to read a large amount of data and performing machine learning (including deep learning).

通信部25は、在席判定部28からの在席情報を、時間情報とともにサーバ10に送信する。   The communication unit 25 transmits the presence information from the presence determination unit 28 to the server 10 together with time information.

(サーバの論理構成)
図4は、サーバ10の論理構成の一例を示す図である。サーバ10は、所定のプログラムを実行する少なくとも1つのCPUと、メモリと、記憶装置と、ネットワークに接続するための通信部とを備える。所定のプログラムは、サーバ10のCPUを、図4に示される各部として機能させる。
(Logical configuration of server)
FIG. 4 is a diagram showing an example of the logical configuration of the server 10. As shown in FIG. The server 10 includes at least one CPU that executes a predetermined program, a memory, a storage device, and a communication unit for connecting to a network. The predetermined program causes the CPU of the server 10 to function as each unit shown in FIG.

図4に示されるように、サーバ10は、在席情報取得部11と、在席状況管理部12と、データベース13と、出力部14とを含む。   As shown in FIG. 4, the server 10 includes a presence information acquisition unit 11, a presence status management unit 12, a database 13, and an output unit 14.

在席情報取得部11は、各ユーザ端末20から送信された在席情報と時間情報とを取得し、これら取得した情報を在席状況管理部12に出力する。   The seating information acquisition unit 11 acquires the seating information and the time information transmitted from each user terminal 20, and outputs the acquired information to the seating condition management unit 12.

在席状況管理部12は、在席情報取得部11が取得した在席情報と時間情報とをデータベース13に記憶する。なお、在席情報取得部11によってユーザ端末20から在席情報が取得された場合、在席状況管理部12は、その在席情報が取得された時点におけるサーバ10上の計時手段(RTC)によって計時される時間情報を、取得された在席情報とともにデータベース13に記憶してもよい。   The presence status management unit 12 stores the presence information and the time information acquired by the presence information acquisition unit 11 in the database 13. When the presence information acquisition unit 11 acquires the presence information from the user terminal 20, the presence status management unit 12 uses the clock means (RTC) on the server 10 when the presence information is acquired. Time information to be clocked may be stored in the database 13 together with the acquired presence information.

また、在席状況管理部12は、データベース13に記憶された在席情報を読み取り、読み取った在席情報に応じた情報を出力部14に出力する。例えば、ユーザ端末20から特定のユーザの在席情報の取得要求があった場合、在席状況管理部12は、データベース13にアクセスして特定のユーザの在席情報と時間情報とを取得し、出力部14に出力する。   Further, the presence status management unit 12 reads the presence information stored in the database 13 and outputs information corresponding to the read presence information to the output unit 14. For example, when there is a request for obtaining presence information of a specific user from the user terminal 20, the presence status management unit 12 accesses the database 13 to obtain presence information and time information of the specific user, Output to the output unit 14.

出力部14は、在席状況管理部12からの情報を外部(例えばユーザ端末20や外部の他の装置)に出力する。例えば、出力部14は、特定のユーザの在席情報をユーザ端末20にネットワーク経由で送信してもよいし、複数のユーザの在席情報をユーザ端末20に送信してもよい。   The output unit 14 outputs the information from the presence status management unit 12 to the outside (for example, the user terminal 20 or another external device). For example, the output unit 14 may transmit the presence information of a specific user to the user terminal 20 via the network, or may transmit the presence information of a plurality of users to the user terminal 20.

また、出力部14は、例えばユーザ端末20からの要求に応じて、所定期間(例えば、1日間、1ヶ月間、半年間、1年間等)における1又は複数のユーザの在席情報の統計データをレポートとして出力してもよい。この場合、出力部14は、所定期間における統計データを画像として出力してもよいし、テキストとして出力してもよい。例えば、出力部は、所定期間におけるユーザの在席時間の合計、および、離席時間の合計を棒グラフ、円グラフ等のグラフとして出力してもよい。例えば、あるユーザについて、1ヶ月間の在席時間、および、離席時間を出力してもよい。また、出力部14は、所定期間における1又は複数のユーザの在席時間および離席時間の割合を出力してもよい。   In addition, the output unit 14 is, for example, statistical data of presence information of one or more users in a predetermined period (for example, one day, one month, half a year, one year, etc.) in response to a request from the user terminal 20 May be output as a report. In this case, the output unit 14 may output statistical data in a predetermined period as an image or may output as text. For example, the output unit may output, as a graph such as a bar graph or a pie graph, the sum of the user's sitting times in a predetermined period and the sum of the leaving time. For example, for a certain user, one month's presence and absence times may be output. In addition, the output unit 14 may output the ratio of the occupancy time and the absence time of one or more users in a predetermined period.

このように、本実施形態では、ユーザ端末20は、ユーザの座席の周辺に設置されたカメラ22を用いてユーザの顔を検知し、ユーザが在席しているか否かの在席判定を行う。ユーザ端末20による在席判定の結果を示す在席情報がサーバ10に送信され、サーバ10に記憶される。各ユーザはサーバ10にアクセスすることで、他のユーザの在席情報をリアルタイムで確認することができる。   As described above, in the present embodiment, the user terminal 20 detects the face of the user using the camera 22 installed around the seat of the user, and performs presence determination as to whether the user is present or not. . Presence information indicating the result of presence determination by the user terminal 20 is transmitted to the server 10 and stored in the server 10. Each user can access the server 10 to check the presence information of other users in real time.

なお、他の実施例では、ユーザ端末20は、ユーザが在席しているか否かの在席判定に加えて、ユーザの他の状態を判定してもよい。例えば、ユーザ端末20は、ユーザが居眠りしている状態か否かの居眠り判定を行ってもよい。   In another embodiment, the user terminal 20 may determine another state of the user in addition to the presence determination as to whether or not the user is present. For example, the user terminal 20 may make a doze determination as to whether or not the user is asleep.

図5は、第2実施例に係るユーザ端末20の論理構成の一例を示す図である。図5に示されるように、ユーザ端末20は、顔検出部27、在席判定部28に加えて、居眠り検知部29を含む。また、ユーザ端末20は、物体検知部30を含む。記憶部24に記憶された画像認識プログラムは、上記情報処理部21を、顔検出部27、在席判定部28、居眠り検知部29、および、物体検知部30として機能させる。   FIG. 5 is a diagram showing an example of the logical configuration of the user terminal 20 according to the second embodiment. As shown in FIG. 5, the user terminal 20 includes a sleep detection unit 29 in addition to the face detection unit 27 and the presence determination unit 28. The user terminal 20 also includes an object detection unit 30. The image recognition program stored in the storage unit 24 causes the information processing unit 21 to function as the face detection unit 27, the presence determination unit 28, the drowsiness detection unit 29, and the object detection unit 30.

居眠り検知部29は、在席判定部28によってユーザが在席していると判定された場合、カメラ22からの入力画像に含まれる顔画像に基づいて、ユーザが居眠りをしているか否かの居眠り判定を行う。例えば、居眠り検知部29は、顔画像からユーザの目を検出し、目が開いているか否か、目が閉じている時間、瞬きの時間間隔、これらのパターン等に基づいて、ユーザの居眠り判定を行う。また、居眠り検知部29は、目の開閉状態、目の動きに加えて、頭の動きや傾き、手の位置や動き、ユーザの姿勢等、ユーザの行動を総合的に判断することにより、居眠り判定を行ってもよい。例えば、ユーザが居眠りしている様子をカメラ22で撮像し、ユーザ端末20に学習させることにより、居眠り検知部29は、ユーザが居眠りしているか否かを判定することができる。また、居眠り検知部29は、顔検出部27によってユーザの顔が検出されなくなった後でも、ユーザが居眠りしていると判定することがある。例えば、ユーザが顔を伏せて居眠りする場合には、顔検出部27によってユーザの顔が検出されないことがある。このような場合でも、在席判定部28はユーザが引き続き在席していると判定し、居眠り検知部29は、ユーザが居眠りしているか否かを判定する。例えば、居眠り検知部29は、ユーザの頭を検出し、頭の傾きに基づいて、ユーザが居眠りしているか否かを判定してもよい。   When the presence determination unit 28 determines that the user is present, the doze detection unit 29 determines whether the user is falling asleep based on the face image included in the input image from the camera 22. Make a nap decision. For example, the drowsiness detection unit 29 detects the user's eyes from the face image, and determines the user's drowsiness based on whether or not the eyes are open, the time the eyes are closed, the blink time interval, these patterns, etc. I do. In addition to the open / close state of the eyes and the movement of the eyes, the doze detection unit 29 performs a doze by comprehensively determining the user's actions such as head movement and tilt, hand position and movement, user posture, and the like. The determination may be made. For example, by capturing an image of the user sleeping with the camera 22 and causing the user terminal 20 to learn, it is possible for the sleep detection unit 29 to determine whether or not the user is sleeping. In addition, the drowsy detection unit 29 may determine that the user is falling asleep even after the face detection unit 27 no longer detects the user's face. For example, when the user falls asleep with his face turned down, the face detection unit 27 may not detect the user's face. Even in such a case, the presence determination unit 28 determines that the user continues to be present, and the drowsy detection unit 29 determines whether the user is falling asleep. For example, the drowsiness detection unit 29 may detect the head of the user and may determine whether the user is snoozing based on the inclination of the head.

居眠り検知部29は、居眠り判定の結果に基づいて、ユーザが居眠りしているか否かを示す居眠り情報(後述する居眠りフラグ)を、通信部25を介してサーバ10に送信する。具体的には、居眠り検知部29は、ユーザの居眠り状態が変化した場合(居眠りしていない状態から居眠りしている状態に変化した場合、又は、居眠りしている状態から居眠りしていない状態に変化した場合)、居眠り情報を時間情報とともにサーバ10に送信する。   The doze detection unit 29 transmits doze information (a doze flag to be described later) indicating whether or not the user is doze on the basis of the result of the doze determination to the server 10 via the communication unit 25. Specifically, the drowsiness detection unit 29 changes the drowsy state of the user (when the drowsy state is changed to the drowsy state, or from the drowsy state to the drowsy state). (If it changes), the drowsiness information is sent to the server 10 together with the time information.

また、物体検知部30は、在席判定部28によってユーザが在席していると判定された場合、カメラ22からの入力画像に基づいて、所定の物体を検知する。例えば、物体検知部30は、カメラ22からの入力画像から電話機を検知し、ユーザが電話しているか否かを判定してもよい。また、物体検知部30は、電話機に加えて、ユーザの目、鼻、口、耳、手(電話を持つ方の手、及び/又は、電話を持たない方の手)を検出し、電話機の動き、電話機と顔(例えば口や耳)との位置関係、電話機と手との位置関係、目や口の動き、手の動き等、ユーザの行動を総合的に判断し、ユーザが電話しているか否かを判定してもよい。例えば、ユーザが電話している様子をカメラ22で撮像し、ユーザ端末20に学習させることにより、物体検知部30はユーザが電話をしているか否かを判定することができる。物体検知部30は、ユーザが電話をしているか否かの判定結果を、通信部25を介してサーバ10に送信する。このとき、時間情報(通話を開始した時刻、終了した時刻)もサーバ10に送信される。サーバ10は、ユーザが電話をしているか否かの情報とその時間情報とをデータベース13に記憶する。ユーザ(例えば管理者)は、サーバ10にアクセスすることにより、他のユーザが電話をしている時間を把握することができる。   Further, when the presence determination unit 28 determines that the user is present, the object detection unit 30 detects a predetermined object based on the input image from the camera 22. For example, the object detection unit 30 may detect a telephone from the input image from the camera 22 and determine whether the user is calling. In addition to the telephone, the object detection unit 30 detects the user's eyes, nose, mouth, ears, hands (one who holds the phone and / or one who does not hold the phone). The user comprehensively determines the user's behavior such as movement, positional relationship between the telephone and face (for example, mouth and ear), positional relationship between the telephone and hand, eye and mouth movement, hand movement, etc. It may be determined whether or not it is present. For example, the object detection unit 30 can determine whether the user is calling by imaging the situation where the user is calling by using the camera 22 and making the user terminal 20 learn. The object detection unit 30 transmits the determination result as to whether the user is calling or not to the server 10 through the communication unit 25. At this time, time information (the time when the call started and the time when the call ended) is also transmitted to the server 10. The server 10 stores in the database 13 information on whether the user is calling and the time information thereof. By accessing the server 10, a user (for example, an administrator) can grasp the time during which another user is calling.

また、物体検知部30は、電話機に限らず他の物体を検知し、ユーザが物体を用いて所定の作業を行っているか否かを判定してもよい。物体検知部30は、所定の物体、ユーザの目、鼻、口、頭、手等を検出し、これらの動きやこれらの位置関係等に基づいて、ユーザの行動を総合的に判断し、ユーザが所定の作業を行っているか否かを判定してもよい。物体検知部30は、ユーザが所定の作業をしているか否かの判定結果とその時間情報とを、通信部25を介してサーバ10に送信する。サーバ10は、これらの情報をデータベース13に記憶する。   Further, the object detection unit 30 may detect not only the telephone but also other objects, and determine whether the user is performing a predetermined work using the object. The object detection unit 30 detects a predetermined object, the user's eyes, nose, mouth, head, hands, etc., and comprehensively determines the user's action based on the movement of these, the positional relationship between them, etc. It may be determined whether or not a predetermined task is being performed. The object detection unit 30 transmits, to the server 10 via the communication unit 25, the determination result as to whether or not the user is performing a predetermined task, and the time information thereof. The server 10 stores these pieces of information in the database 13.

なお、居眠り検知部29による居眠り判定は、開発者が判定のためのルールを予め定めてプログラムすることにより実現されてもよいし、コンピュータに大量のデータを読み込ませて機械学習させることにより実現されてもよい。また、物体検知部30による所定の物体(例えば電話機)の検知やユーザが所定の物体を用いて所定の作業を行っているか否かの判定は、開発者が判定のためのルールを予め定めてプログラムすることにより実現されてもよいし、コンピュータに大量のデータを読み込ませて機械学習させることにより実現されてもよい。例えば、ユーザが所定の物体を用いて所定の作業を行っている様子を撮像し、ユーザ端末20に読み込ませることにより機械学習させてもよい。   Note that the doze determination by the doze detection unit 29 may be realized by the developer predetermining and programming a rule for the determination, or realized by causing the computer to read a large amount of data to perform machine learning. May be Further, the detection of a predetermined object (for example, a telephone) by the object detection unit 30 and the determination of whether or not the user is performing a predetermined operation using the predetermined object, the developer defines a rule for the determination in advance. It may be realized by programming, or may be realized by causing a computer to read a large amount of data and machine learning. For example, the user may perform machine learning by capturing an image of the user performing a predetermined task using a predetermined object and causing the user terminal 20 to read the image.

図6は、データベース13に記憶される情報の一例を示す図である。図7は、データベース13に記憶された図6に示す情報を模式的に表した図である。   FIG. 6 is a diagram showing an example of information stored in the database 13. FIG. 7 is a diagram schematically representing the information shown in FIG. 6 stored in the database 13.

図6に示されるように、データベース13には、ユーザIDと、在席時刻と、離席時刻と、居眠り時間と、所定の作業の時間としての電話時間とが記憶される。例えば、ユーザAが、座席周辺に設置されたカメラ22によって撮像され、在席判定部28によって在席していると判定された場合、在席していることを示す情報がユーザAのユーザ端末20aからサーバ10に送信される。   As shown in FIG. 6, the database 13 stores a user ID, an attendance time, an attendance time, a nap time, and a telephone time as a predetermined work time. For example, when it is determined that the user A is imaged by the camera 22 installed around the seat and the presence determination unit 28 determines that the user A is present, the information indicating that the user A is present is the user terminal of the user A 20a to the server 10.

例えば、時刻8時45分においてユーザ端末20aの在席判定部28によってユーザAが在席していると判定された場合、在席情報(ユーザAが在席していることを示す情報)が、時間情報とともにサーバ10に送信され、データベース13に記憶される。次に、ユーザAが時刻12時00分において離席した場合、ユーザ端末20aの在席判定部28によってユーザAが離席していると判定され、在席情報(ユーザAが離席していることを示す情報)と時間情報とがサーバ10に送信され、データベース13に記憶される。その後、ユーザAが時刻13時00分において着席した場合、ユーザ端末20aの在席判定部28によってユーザAが在席していると判定され、在席情報と時間情報とがサーバ10に送信され、データベース13に記憶される。さらにその後、ユーザAが時刻17時30分において離席した場合、ユーザ端末20aの在席判定部28によってユーザAが離席していると判定され、在席情報と時間情報とがサーバ10に送信され、データベース13に記憶される。   For example, when the presence determination unit 28 of the user terminal 20a determines that the user A is present at time 8:45, the presence information (information indicating that the user A is present) is The time information is sent to the server 10 together with the time information and stored in the database 13. Next, when the user A is away at 12:00, the presence determination unit 28 of the user terminal 20a determines that the user A is away, and the presence information (the user A is away Information indicating the presence or absence and time information are transmitted to the server 10 and stored in the database 13. Thereafter, when the user A is seated at 13:00, the presence determination unit 28 of the user terminal 20a determines that the user A is present, and the presence information and the time information are transmitted to the server 10 , Stored in the database 13. Thereafter, when the user A is away at 17:30, the presence determination unit 28 of the user terminal 20a determines that the user A is away, and the presence information and the time information are sent to the server 10 It is sent and stored in the database 13.

他のユーザについても同様に、ユーザが着席したとき、および、離席したときに、そのユーザに対応するユーザ端末20から、在席又は離席していることを示す在席情報が、時間情報とともにサーバ10に送信される。そして、サーバ10のデータベース13には、これらの情報が記憶される。   Similarly, with respect to other users, when the user is seated or is away from the user, presence information indicating that the user is present or absent from the user terminal 20 corresponding to the user is the time information Together with the server 10. Then, the information is stored in the database 13 of the server 10.

例えば、図6および図7(2)に示されるように、ユーザBが時刻8:58から9:59の間は在席しており、時刻9:59から10:04の間は休憩のため離席し、時刻10:04に再び着席した場合、データベース13には、在席時刻として時刻8:58、時刻10:04が記憶され、離席時刻として時刻9:59が記憶される。このように、ユーザBが、離席している状態から在席している状態に移行した場合、そのときの時刻(ユーザBのユーザ端末20bの計時手段によって計時されている時刻、又は、サーバ10の計時手段によって計時されている時刻)が、在席時刻としてデータベース13に記憶される。また、ユーザBが、在席している状態から離席している状態に移行した場合、そのときの時刻が、離席時刻としてデータベース13に記憶される。   For example, as shown in FIG. 6 and FIG. 7 (2), the user B is present from time 8:58 to time 9:59 and from time 9:59 to 10:04 for a break. When leaving the seat and sitting again at the time 10:04, the database 13 stores the time 8:58 and the time 10:04 as the presence time, and stores the time 9:59 as the leaving time. As described above, when the user B shifts from the state of being away to the state of being present, the time at that time (the time measured by the clocking means of the user terminal 20b of the user B, or the server The clocked time by the clocking means 10 is stored in the database 13 as the sitting time. When the user B shifts from being in the presence to being away from the seat, the time at that time is stored in the database 13 as the leaving time.

このように、在席時刻および離席時刻がデータベース13に記憶されることで、図7に示されるように、各ユーザが何時から何時まで在席しており、何時から何時まで離席していたかを容易に把握することができ、各ユーザの勤務態度を把握することができる。   Thus, by storing the attendance time and the absence time in the database 13, as shown in FIG. 7, each user is present from what time to what time, and from which time to what time It is possible to easily grasp the attitude of each user.

例えば、図7(1)に示されるように、ユーザAは、出勤時刻(8:45)から12:00まで離席することなく業務を行っていたことが分かる。また、ユーザAは、12:00から13:00までを昼休憩として、休憩が終了した時刻13:00から退勤時刻(17:30)まで離席することなく業務を行っていたことが分かる。   For example, as shown in FIG. 7 (1), it can be seen that the user A was performing work without leaving from work attendance time (8:45) until 12:00. In addition, it can be seen that the user A performs work without taking a seat from 13:00 when the break is finished to 17:30 as the lunch break with 12:00 to 13:00 as a lunch break.

一方、図7(2)に示されるように、ユーザBは、およそ1時間毎に5分から10分程度、離席していることが分かる。ユーザBがおよそ1時間毎に短時間の休憩を繰り返していることが分かり、ユーザBの上司や人事担当者がユーザBの勤務態度を評価する際に、これらの情報を参考にすることができる。   On the other hand, as shown in FIG. 7 (2), it can be seen that the user B is away from the seat for about 5 minutes to about 10 minutes every hour. It can be understood that the user B repeats a short break approximately every hour, and the superior of the user B or the personnel in charge of personnel can refer to these pieces of information when evaluating the working attitude of the user B .

また、図6および図7(3)に示されるように、ユーザCは、出勤時刻(8:50)から9:55まで在席し、時刻9:55から13:00まで離席していたことが分かる。その後、ユーザCは、時刻13:00から13:30までは在席し、時刻13:30から14:30までは離席し、時刻14:30から15:00までは在席し、時刻15:00から16:30までは離席していたことが分かる。これらの情報から、ユーザBは、この日は比較的長時間離席していることが多く、ユーザBは、会議室等で会議を行っていたか、外出していたと推察することができる。   Also, as shown in FIG. 6 and FIG. 7 (3), the user C was present from 9:55 to 9:55 and was away from 9:55 to 13:00 I understand that. Thereafter, the user C is present from 13:00 to 13:30, is absent from 13:30 to 14:30, and is present from 14:30 to 15:00, and 15 It can be seen that he was away from 00:00 to 16:30. From these pieces of information, it can be inferred that the user B has often been away for a relatively long time on this day, and the user B has held a meeting in a meeting room or the like, or has gone out.

また、ユーザ端末20の居眠り検知部29によってユーザが居眠りしていると判定された場合、居眠りしていることを示す居眠り情報および時間情報が、ユーザ端末20からサーバ10に送信され、データベース13に記憶される。また、物体検知部30によってユーザが所定の物体を用いて所定の作業を行っていると判定された場合(例えば、電話をしていると判定された場合)、所定の作業を行っていることを示す情報および時間情報が、ユーザ端末20からサーバ10に送信される。   In addition, when it is determined by the drowsy detection unit 29 of the user terminal 20 that the user is drowsy, drowsy information and time information indicating that the user is drowsy are transmitted from the user terminal 20 to the server 10 and are stored in the database 13 It is memorized. In addition, when the object detection unit 30 determines that the user is performing a predetermined operation using a predetermined object (for example, when it is determined that a user is calling), the predetermined operation is being performed. And time information are transmitted from the user terminal 20 to the server 10.

例えば、時刻11:00において、ユーザDに対応するユーザ端末20dの居眠り検知部29によってユーザDが居眠りしていると判定された場合、ユーザ端末20dは、居眠り情報(ユーザDが居眠りしていることを示す情報)と時間情報とをサーバ10に送信する。次に、時刻11:30において、ユーザ端末20dの居眠り検知部29によってユーザDが居眠りしていないと判定された場合、ユーザ端末20dは、居眠り情報(ユーザDが居眠りしていないことを示す情報)と時間情報とをサーバ10に送信する。この場合、図6に示されるように、サーバ10のデータベース13には、ユーザDが居眠りを開始した時刻、及び、居眠りを終了した時刻が記憶される。   For example, at time 11:00, when it is determined by the doze detection unit 29 of the user terminal 20d corresponding to the user D that the user D is dozing, the user terminal 20d is the doze information (the user D is dozing And time information are sent to the server 10. Next, at time 11:30, when it is determined that the user D does not sleep by the drowsiness detection unit 29 of the user terminal 20 d, the user terminal 20 d is drowsy information (information indicating that the user D does not sleep asleep And time information to the server 10. In this case, as shown in FIG. 6, the database 13 of the server 10 stores the time when the user D started snoozing and the time when the snoozing ended.

また、時刻13:30において、ユーザ端末20dの物体検知部30によってユーザDが電話をしていると判定された場合、電話をしていることを示す情報と時間情報とがサーバ10に送信される。また、時刻14:00において、物体検知部30によってユーザDが電話をしていないと判定された場合、電話をしていないことを示す情報と時間情報とがサーバ10に送信される。この場合、図6に示されるように、サーバ10のデータベース13には、ユーザDが電話を開始した時刻、及び、電話を終了した時刻が記憶される。   In addition, when it is determined that the user D is calling by the object detection unit 30 of the user terminal 20 d at time 13:30, information indicating that the user is calling and time information are transmitted to the server 10 Ru. Further, when it is determined by the object detection unit 30 that the user D is not calling at time 14:00, information indicating that the user D is not calling and time information are transmitted to the server 10. In this case, as shown in FIG. 6, in the database 13 of the server 10, the time when the user D starts the call and the time when the call is ended are stored.

なお、ユーザ端末20は、ユーザが居眠りしている場合、カメラ22によって撮像された画像を保存してもよい。具体的には、居眠り検知部29によってユーザの居眠りが検知されていないときには、ユーザ端末20は、カメラ22からの入力画像をユーザ端末20に保存することなく、当該入力画像に基づいて、上記在席判定や居眠り判定を行う。居眠り検知部29によってユーザの居眠りが検知されたときには、ユーザ端末20は、カメラ22からの入力画像をユーザ端末20に保存してもよい。また、居眠り検知部29によってユーザの居眠りが検知されたときには、ユーザ端末20は、カメラ22からの入力画像をネットワーク上の他の装置(例えば画像記憶用の記憶装置やサーバ10等)に送信し、当該他の装置が当該入力画像を保存してもよい。   The user terminal 20 may store the image captured by the camera 22 when the user is asleep. Specifically, when the drowsiness detection unit 29 detects no drowsiness of the user, the user terminal 20 does not store the input image from the camera 22 in the user terminal 20, and based on the input image, Seat determination and doze determination are made. The user terminal 20 may store the input image from the camera 22 in the user terminal 20 when the user does not feel sleepy by the doze detection unit 29. In addition, when the user does not feel sleepy by the doze detection unit 29, the user terminal 20 transmits the input image from the camera 22 to another device on the network (for example, a storage device for image storage or the server 10). The other device may store the input image.

同様に、ユーザ端末20は、ユーザが所定の物体を用いて所定の作業を行っている期間、カメラ22からの入力画像を保存してもよい。具体的には、物体検知部30によって所定の物体が検知され、かつ、ユーザが所定の物体を用いて所定の作業を行っていると判定されたときには、ユーザ端末20は、カメラ22からの入力画像を記憶部24に保存し、ユーザが所定の作業を行っていないと判定されたときには、入力画像を記憶部24に保存しなくてもよい。また、ユーザ端末20は、ユーザが所定の作業を行っている期間、カメラ22からの入力画像をネットワーク上の他の装置に記憶してもよい。   Similarly, the user terminal 20 may store an input image from the camera 22 while the user is performing a predetermined task using a predetermined object. Specifically, when a predetermined object is detected by the object detection unit 30 and it is determined that the user is performing a predetermined operation using the predetermined object, the user terminal 20 receives an input from the camera 22. When it is determined that the image is stored in the storage unit 24 and it is determined that the user has not performed a predetermined operation, the input image may not be stored in the storage unit 24. In addition, the user terminal 20 may store an input image from the camera 22 in another device on the network while the user is performing a predetermined work.

このように、居眠り検知部29によってユーザの居眠りを検知し、居眠りしていることを示す情報をデータベース13に記憶することで、管理者(各ユーザの上司や人事担当者)が各ユーザの勤務態度を評価する際に、これらの情報を参考にすることができる。   As described above, the drowsiness detection unit 29 detects drowsiness of the user and stores information indicating that drowsy in the database 13, whereby the administrator (supervisor of each user or person in charge of personnel) works for each user These information can be used as a reference when evaluating attitudes.

例えば、管理者が、ユーザ端末20(又は専用の管理端末)を用いてサーバ10にアクセスし、ユーザの在席情報を参照した場合、ユーザの在席情報に加えて、居眠り情報や電話をしているか否かを示す情報が、ユーザ端末20の表示部に表示されてもよい。   For example, when the administrator accesses the server 10 using the user terminal 20 (or a dedicated management terminal) and refers to the user's presence information, in addition to the user's presence information, drowsy information or a telephone call is made. , May be displayed on the display unit of the user terminal 20.

図8は、管理者であるユーザがサーバ10にアクセスしたときに端末の表示部に表示される画像の一例を示す図である。   FIG. 8 is a view showing an example of an image displayed on the display unit of the terminal when a user who is an administrator accesses the server 10.

図8に示されるように、管理者の画面の左側には、ユーザを選択するためのリスト41が表示される。例えば、ユーザAが選択されている場合には、カーソル等を用いてユーザAが強調表示される。管理者の画面の右側には、選択されているユーザの在席情報が表示される。例えば、現在時刻42と、現在、在席中か離席中かを示す在席状態43と、カメラボタン44とが表示される。また、画面の右側には、本日の在席状態を示すグラフ45が表示されてもよい。図8に示されるように、グラフ45では、ユーザAが在席していた時間と、離席していた時間と、居眠りしていた時間と、電話をしていた時間とが識別可能に表示される。また、ユーザが、カメラボタン44をマウス等を用いてクリックした場合、選択されているユーザのユーザ端末20の周辺に設置されたカメラ22からのリアルタイム映像46が、画面の右下に表示される。   As shown in FIG. 8, on the left side of the screen of the administrator, a list 41 for selecting a user is displayed. For example, when the user A is selected, the user A is highlighted using a cursor or the like. On the right side of the administrator's screen, the presence information of the selected user is displayed. For example, a present time 42, a present state 43 indicating whether present or absent, and a camera button 44 are displayed. Further, on the right side of the screen, a graph 45 may be displayed that indicates the present state of the user. As shown in FIG. 8, in the graph 45, the time when the user A was present, the time when he was away, the time when he was asleep, and the time when he was on the phone are distinguishably displayed. Be done. In addition, when the user clicks the camera button 44 using a mouse or the like, the real time image 46 from the camera 22 installed around the user terminal 20 of the selected user is displayed at the lower right of the screen .

また、管理者でないユーザ(一般ユーザ)が、ユーザ端末20を用いてサーバ10にアクセスし、ユーザの在席情報を参照した場合、ユーザの在席情報が表示され、居眠り情報や電話をしているか否かを示す情報は表示されなくてもよい。   In addition, when a user who is not an administrator (general user) accesses the server 10 using the user terminal 20 and refers to the user's presence information, the user's presence information is displayed, and the drowsy information or telephone call is made. Information indicating whether or not to be displayed may not be displayed.

図9は、管理者でないユーザ(一般ユーザ)がサーバ10にアクセスしたときにユーザ端末20の表示部に表示される画像の一例を示す図である。   FIG. 9 is a view showing an example of an image displayed on the display unit of the user terminal 20 when a user (general user) who is not the administrator accesses the server 10.

図9に示されるように、管理者でないユーザ(一般ユーザ)の画面には、リスト41と、現在時刻42と、在席状態43と、カメラボタン44とが表示される。ユーザが、カメラボタン44をマウス等を用いてクリックした場合、選択されているユーザのユーザ端末20の周辺に設置されたカメラ22からのリアルタイム映像46が画面の右下に表示される。一方、一般ユーザの画面には、図8で示されたグラフ45は表示されない。図8に示されるように、グラフ45は、ユーザが居眠りしているか否かの情報や電話をしているか否かの情報を含む。このように、居眠りしているか否かの情報等、人事評価に関わる情報は、管理者でないユーザには提示されなくてもよい。また、一般ユーザの画面には、カメラ22からのリアルタイム映像46は表示されないようにしてもよい。   As shown in FIG. 9, a list 41, a current time 42, a presence state 43, and a camera button 44 are displayed on the screen of the user who is not the administrator (general user). When the user clicks the camera button 44 using a mouse or the like, the real time image 46 from the camera 22 installed around the user terminal 20 of the selected user is displayed at the lower right of the screen. On the other hand, the graph 45 shown in FIG. 8 is not displayed on the screen of the general user. As shown in FIG. 8, the graph 45 includes information as to whether the user is asleep or not, and information as to whether or not the user is calling. Thus, information related to personnel evaluation, such as information on whether or not to fall asleep, may not be presented to a non-administrative user. In addition, the real-time video 46 from the camera 22 may not be displayed on the screen of the general user.

なお、図8および図9はあくまでも一例であり、ユーザがサーバ10にアクセスしたときにユーザに提示される情報はこれに限られない。例えば、管理者であるユーザは、その部下であるユーザの在席状態43、グラフ45、リアルタイム映像46等に加えて、所定期間(例えば、過去1ヶ月、半年、1年)に蓄積された情報を見ることができてもよいし、所定期間におけるこれらの情報に基づく統計データ(総在席時間、総離席時間、総居眠り時間、及び、これらの割合等)を見ることができてもよい。   8 and 9 are merely examples, and the information presented to the user when the user accesses the server 10 is not limited to this. For example, a user who is a manager, in addition to the presence state 43 of the user who is his subordinate, the graph 45, the real time image 46, etc., information accumulated for a predetermined period (for example, the past one month, half a year, one year) You may be able to see statistical data (total attendance time, total absence time, total asleep time, and their ratio etc.) based on these information in a predetermined period of time. .

(ユーザ端末およびサーバの処理の詳細)
次に、在席情報管理システム1のユーザ端末20およびサーバ10において行われる処理について説明する。なお、以下では、ユーザ端末20が、在席判定部28および居眠り検知部29を有している例について説明する。まず、ユーザ端末20のメモリに記憶されるデータについて説明する。
(Details of user terminal and server processing)
Next, processing performed in the user terminal 20 and the server 10 of the presence information management system 1 will be described. In the following, an example in which the user terminal 20 includes the presence determination unit 28 and the sleep detection unit 29 will be described. First, data stored in the memory of the user terminal 20 will be described.

図10は、ユーザ端末20に記憶されるデータの一例を示す図である。図10に示されるように、ユーザ端末20のメモリには、画像認識プログラム100が記憶される。画像認識プログラム100は、機械学習のためのプログラムを含んでもよい。また、画像認識プログラム100の一部は、オープンソースプログラムであってもよい。画像認識プログラム100は、上述した在席判定や居眠り判定を行うためのプログラムを含む。画像認識プログラム100は、情報処理部21を上記顔検出部27、在席判定部28、および、居眠り検知部29として機能させる。   FIG. 10 is a diagram showing an example of data stored in the user terminal 20. As shown in FIG. As shown in FIG. 10, an image recognition program 100 is stored in the memory of the user terminal 20. The image recognition program 100 may include a program for machine learning. In addition, a part of the image recognition program 100 may be an open source program. The image recognition program 100 includes a program for performing the above-described presence determination and dozing determination. The image recognition program 100 causes the information processing unit 21 to function as the face detection unit 27, the presence determination unit 28, and the sleep detection unit 29.

また、ユーザ端末20には、判定データ101と、画像データ102と、状態情報とが記憶される。状態情報は、在席フラグ103および居眠りフラグ104を含む。   Further, in the user terminal 20, the determination data 101, the image data 102, and the state information are stored. The state information includes an attendance flag 103 and a nap flag 104.

判定データ101は、人の顔を検出するためのデータ、ユーザが在席しているか否かの在席判定を行うためのデータ、および、ユーザが居眠りしているか否かの居眠り判定を行うためのデータを含む。これらのデータは開発者によって予め用意されてもよいし、機械学習(深層学習を含む)によって生成されてもよい。   The determination data 101 includes data for detecting a human face, data for performing presence determination of whether or not the user is present, and determination of whether or not the user is falling asleep Contains the data of These data may be prepared in advance by a developer or may be generated by machine learning (including deep learning).

画像データ102は、所定の時間間隔でカメラ22から送信される画像を示すデータである。   The image data 102 is data indicating an image transmitted from the camera 22 at predetermined time intervals.

在席フラグ103は、ユーザが在席しているか否か(離席しているか否か)示すフラグである。ユーザが在席しているときには、在席フラグ103はONに設定され、ユーザが離席しているときには、在席フラグ103はOFFに設定される。   The presence flag 103 is a flag indicating whether or not the user is present (whether the user is away). When the user is present, the presence flag 103 is set to ON, and when the user is away, the presence flag 103 is set to OFF.

居眠りフラグ104は、ユーザが居眠りしているか否かを示すフラグである。ユーザが居眠りしているときには、居眠りフラグ104はONに設定され、ユーザが居眠りしていないときには、居眠りフラグ104はOFFに設定される。   The nap flag 104 is a flag indicating whether the user is sleeping or not. When the user sleeps, the sleep flag 104 is set to ON, and when the user does not sleep, the sleep flag 104 is set to OFF.

(ユーザ端末の処理の詳細)
図11は、ユーザ端末20によって行われる処理の一例を示すフローチャートである。図11に示す処理は、ユーザ端末20の情報処理部21が画像認識プログラム100を実行することにより、行われる。図11に示すステップS100〜ステップS112の処理は、所定の時間間隔で繰り返し実行される。なお、ステップS100〜ステップS112の処理は、カメラ22が画像を撮像する時間間隔と同じ間隔で実行されてもよいし、カメラ22が画像を撮像する時間間隔(例えば、1/60秒間隔)よりも長い間隔(例えば、1秒間隔)で実行されてもよい。
(Details of user terminal processing)
FIG. 11 is a flowchart illustrating an example of processing performed by the user terminal 20. The process illustrated in FIG. 11 is performed by the information processing unit 21 of the user terminal 20 executing the image recognition program 100. The process of step S100 to step S112 shown in FIG. 11 is repeatedly performed at predetermined time intervals. Note that the processing of step S100 to step S112 may be performed at the same interval as the time interval at which the camera 22 captures an image, or from the time interval (eg, 1/60 second interval) at which the camera 22 captures an image Also, it may be performed at long intervals (for example, one second intervals).

図11に示す処理は、ユーザ端末20の電源がONにされたときに実行が開始され、ユーザ端末20が通常の業務に用いるアプリケーションプログラムを実行しているときも、常にバックグラウンドで実行される。なお、ユーザ端末20を使用するユーザが、図11に示す処理が実行されていることに気付かないようにしてもよい。例えば、図11に示す処理の実行中であっても、ユーザ端末20の画面には、当該処理の実行中であることを示すウィンドウやアイコンは表示されないようにしてもよい。逆に、ユーザが図11に示す処理の実行中であることに気付くように、図11に示す処理の実行中であることを示すアイコン等がユーザ端末20の画面に表示されてもよい。また、図11に示す処理は、各ユーザが勝手に終了できないようにされてもよいし、各ユーザの指示により終了できるようにされてもよい。   The process shown in FIG. 11 is started when the power of the user terminal 20 is turned on, and is always executed in the background even when the user terminal 20 is executing an application program used for normal work. . Note that the user using the user terminal 20 may not notice that the process shown in FIG. 11 is being performed. For example, even while the process shown in FIG. 11 is being performed, a window or an icon indicating that the process is being performed may not be displayed on the screen of the user terminal 20. Conversely, an icon or the like indicating that the process shown in FIG. 11 is being executed may be displayed on the screen of the user terminal 20 so that the user notices that the process shown in FIG. 11 is being executed. Further, the process illustrated in FIG. 11 may be configured such that each user can not finish the process without permission, or may be allowed to finish by an instruction of each user.

図11に示されるように、ユーザ端末20は、カメラ22によって撮像された入力画像を取得する(ステップS100)。次に、ユーザ端末20は、取得された入力画像に基づいて、顔検出処理を行う(ステップS101)。具体的には、ユーザ端末20は、取得された入力画像の中から人の顔画像を検出し、顔領域を決定する。ここでは、ユーザ端末20は、当該ユーザ端末20に対応するユーザ本人を特定することなく、人の顔があるか否かを判定する。   As illustrated in FIG. 11, the user terminal 20 acquires an input image captured by the camera 22 (step S100). Next, the user terminal 20 performs face detection processing based on the acquired input image (step S101). Specifically, the user terminal 20 detects a human face image from among the acquired input images, and determines a face area. Here, the user terminal 20 determines whether or not there is a human face without specifying the user corresponding to the user terminal 20.

続いて、ユーザ端末20は、ステップS101の顔検出処理において人の顔を検出したか否かを判定し(ステップS102)、顔を検出した場合(ステップS102:YES)は、次にステップS103の処理を行う。一方、ユーザ端末20は、ステップS101の顔検出処理において人の顔を検出しなかった場合(ステップS102:NO)は、次にステップS109の処理を行う。なお、ユーザ端末20は、顔検出処理においてユーザの顔を検出しなかった場合でも、在席フラグがONに設定されている場合には、ステップS102においてYESと判定し、次にステップS103の処理を行う。すなわち、ユーザ端末20は、前回の処理ループにおけるステップS103の在席判定処理でユーザが在席していると判定した場合、ステップS102でYESと判定し、次にステップS103の処理を実行する。   Subsequently, the user terminal 20 determines whether or not a human face is detected in the face detection process of step S101 (step S102), and when a face is detected (step S102: YES), next in step S103. Do the processing. On the other hand, when the user terminal 20 does not detect a human face in the face detection process of step S101 (step S102: NO), the process of step S109 is performed next. Even when the user terminal 20 does not detect the user's face in the face detection process, if the presence flag is set to ON, the user terminal 20 determines YES in step S102, and then the process of step S103. I do. That is, when the user terminal 20 determines that the user is present in the presence determination process of step S103 in the previous processing loop, the user terminal 20 determines YES in step S102, and then executes the process of step S103.

ステップS103において、ユーザ端末20は、在席判定処理を行う。具体的には、ステップS103において、ユーザ端末20は、顔検出処理において検出された顔領域の大きさ、顔領域の動き、顔領域の数、顔が所定時間以上検出されたか否か等に基づいて、ユーザが在席しているか否かの在席判定を行う。例えば、検出された顔領域が1つであり、顔領域の大きさが所定以上である場合には、ユーザ端末20は、ユーザが在席していると判定してもよい。また、所定時間以上ユーザの顔が検出されている場合、ユーザ端末20は、ユーザが在席していると判定してもよい。また、ユーザ端末20は、目、鼻、口、耳、頭等を検出し、これらの検出結果に基づいて、ユーザが在席しているか否かを判定してもよい。なお、ユーザ端末20は、機械学習を行うことによって在席判定のためのデータを蓄積してもよい。また、ユーザ端末20は、検出された顔が、当該ユーザ端末20に対応するユーザ本人か否かを判定してもよい。例えば、ユーザ端末20には、ユーザ本人の顔の特徴を示す顔データが記憶され、当該顔データとカメラ22からの入力画像に含まれる顔画像とに基づいて、ユーザ本人かどうかを判定してもよい。   In step S103, the user terminal 20 performs presence determination processing. Specifically, in step S103, the user terminal 20 determines the size of the face area detected in the face detection process, the movement of the face area, the number of face areas, whether the face is detected for a predetermined time or more, etc. Presence determination of whether the user is present or not. For example, when the number of detected face areas is one and the size of the face area is equal to or larger than a predetermined size, the user terminal 20 may determine that the user is present. Further, when the face of the user is detected for a predetermined time or more, the user terminal 20 may determine that the user is present. In addition, the user terminal 20 may detect eyes, nose, mouth, ears, head, and the like, and determine whether the user is present based on the detection results. The user terminal 20 may accumulate data for the presence determination by performing machine learning. Also, the user terminal 20 may determine whether the detected face is the user corresponding to the user terminal 20 or not. For example, face data indicating the feature of the user's own face is stored in the user terminal 20, and it is determined based on the face data and the face image included in the input image from the camera 22 whether or not the user is the same. It is also good.

ステップS103の在席判定処理においてユーザが在席していると判定した場合(ステップS104:YES)、ユーザ端末20は、次にステップS105の処理を実行する。一方、ステップS103の在席判定処理においてユーザが在席していないと判定した場合(ステップS104:NO)、ユーザ端末20は、次にステップS109の処理を実行する。   When it is determined in the presence determination process of step S103 that the user is present (step S104: YES), the user terminal 20 next executes the process of step S105. On the other hand, when it is determined in the presence determination process of step S103 that the user is not present (step S104: NO), the user terminal 20 next executes the process of step S109.

ステップS105において、ユーザ端末20は、在席フラグをONに設定する。次に、ユーザ端末20は、居眠り判定処理を行う(ステップS106)。例えば、ステップS106において、ユーザ端末20は、ユーザの目を検出し、所定時間以上、目が閉じているか否か、瞬きの回数や頻度、目の動き、又はこれらのパターン等に基づいて、居眠り判定を行う。また、ユーザ端末20は、目、鼻、口、耳、頭等を検出し、これらの検出結果に基づいて、ユーザが居眠りしているか否かを判定してもよい。なお、ユーザ端末20は、機械学習を行うことにより居眠り判定のためのデータを蓄積してもよい。   In step S105, the user terminal 20 sets the presence flag to ON. Next, the user terminal 20 performs doze determination processing (step S106). For example, in step S106, the user terminal 20 detects the user's eyes, and based on whether or not the eyes are closed for a predetermined time or more, the number and frequency of blinks, eye movements, patterns of these, etc. Make a decision. In addition, the user terminal 20 may detect eyes, nose, mouth, ears, head and the like, and based on the detection results, may determine whether or not the user is asleep. Note that the user terminal 20 may accumulate data for determination of sleepiness by performing machine learning.

ステップS106の居眠り判定処理においてユーザが居眠りしていると判定した場合(ステップS107:YES)、ユーザ端末20は、居眠りフラグをONに設定する(ステップS108)。一方、ステップS106の居眠り判定処理においてユーザが居眠りしていないと判定した場合(ステップS107:NO)、ユーザ端末20は、次にステップS110の処理を実行する。   When it is determined that the user is dozing in the doze determination process of step S106 (step S107: YES), the user terminal 20 sets a doze flag to ON (step S108). On the other hand, when it is determined that the user is not dozing in the dozing determination process of step S106 (step S107: NO), the user terminal 20 next executes the process of step S110.

一方、ステップS102又はステップS104でNOと判定した場合、ユーザ端末20は、在席フラグおよび居眠りフラグをOFFに設定する(ステップS109)。   On the other hand, when it is determined NO in step S102 or step S104, the user terminal 20 sets the presence flag and the drowsy flag to OFF (step S109).

ステップS108を実行した場合、ステップS109を実行した場合、又は、ステップS107でNOと判定した場合、ユーザ端末20は、ユーザの状態情報が変化したか否かを判定する(ステップS110)。ここで状態情報は、在席フラグ又は居眠りフラグである。具体的には、ユーザ端末20は、今回の処理ループにおけるステップS105、ステップS108、又は、ステップS109で在席フラグおよび居眠りフラグが変化される前の、在席フラグおよび居眠りフラグを記憶している。今回の処理ループにおいて、在席フラグおよび居眠りフラグのうちの少なくとも何れか一方が変化した場合、ユーザ端末20は、ステップS110においてユーザの状態情報が変化したと判定する。   When step S108 is performed, step S109 is performed, or when it is determined NO in step S107, the user terminal 20 determines whether the state information of the user has changed (step S110). Here, the state information is a presence flag or a doze flag. Specifically, the user terminal 20 stores the presence flag and the doze flag before the presence flag and the doze flag are changed in step S105, step S108 or step S109 in the present processing loop. . If at least one of the presence flag and the doze flag changes in the processing loop this time, the user terminal 20 determines that the state information of the user has changed in step S110.

状態情報が変化したと判定した場合(ステップS110:YES)、ユーザ端末20は、自機の計時手段(例えば、RTC)から現在の時刻を示す時間情報を取得する(ステップS111)。そして、ユーザ端末20は、状態情報(在席フラグ又は居眠りフラグ)と、時間情報とをサーバ10に送信する(ステップS112)。   When it is determined that the state information has changed (step S110: YES), the user terminal 20 acquires time information indicating the current time from the clocking unit (for example, RTC) of the own device (step S111). Then, the user terminal 20 transmits the state information (the presence flag or the drowsy flag) and the time information to the server 10 (step S112).

ステップS110でNOと判定した場合、又は、ステップS112を実行した場合、ユーザ端末20は、再びステップS100の処理を実行する。以上でユーザ端末20において行われる処理の説明を終了する。   When it determines with NO by step S110, or when performing step S112, the user terminal 20 performs the process of step S100 again. This is the end of the description of the process performed in the user terminal 20.

(サーバの処理の詳細)
図12は、サーバ10によって行われる処理の一例を示すフローチャートである。図12に示す処理は、サーバ10のCPUが所定のプログラムを実行することにより、行われる。なお、サーバ10は、図12に示す処理を所定の時間間隔で繰り返し実行する。
(Details of server processing)
FIG. 12 is a flowchart showing an example of processing performed by the server 10. The process shown in FIG. 12 is performed by the CPU of the server 10 executing a predetermined program. The server 10 repeatedly executes the process shown in FIG. 12 at predetermined time intervals.

図12に示されるように、サーバ10は、ユーザ端末20から状態情報(在席フラグ又は居眠りフラグ)を取得したか否かを判定する(ステップS201)。ユーザ端末20から状態情報を取得した場合(ステップS201:YES)、サーバ10は、取得した状態情報をデータベース13に記憶する(ステップS202)。   As illustrated in FIG. 12, the server 10 determines whether or not the state information (the presence flag or the doze flag) is acquired from the user terminal 20 (step S201). When the state information is acquired from the user terminal 20 (step S201: YES), the server 10 stores the acquired state information in the database 13 (step S202).

具体的には、サーバ10は、状態情報を送信したユーザ端末20を特定し、当該ユーザ端末20に対応するユーザのユーザIDに対応付けて、状態情報と時間情報とをデータベース13に記憶する。例えば、サーバ10は、ユーザ端末20aから状態情報と時間情報とを取得した場合、データベース13におけるユーザAの情報を更新する。例えば、在席フラグがONに設定された状態情報をユーザ端末20aから取得した場合、サーバ10は、ユーザAの在席時刻(図6参照)に、ユーザ端末20aから取得した時間情報を記憶する。また、例えば、在席フラグがOFFに設定された状態情報をユーザ端末20aから取得した場合、サーバ10は、ユーザAの離席時刻(図6参照)に、ユーザ端末20aから取得した時間情報を記憶する。また、居眠りフラグがONに設定された状態情報をユーザ端末20aから取得した場合、サーバ10は、ユーザAの居眠り時間(図6参照)に、ユーザ端末20aから取得した時間情報を記憶する。   Specifically, the server 10 specifies the user terminal 20 that has transmitted the state information, stores the state information and the time information in the database 13 in association with the user ID of the user corresponding to the user terminal 20. For example, when the server 10 acquires state information and time information from the user terminal 20a, the server 10 updates the information of the user A in the database 13. For example, when status information in which the presence flag is set to ON is obtained from the user terminal 20a, the server 10 stores the time information obtained from the user terminal 20a at the user A's presence time (see FIG. 6). . Further, for example, when the state information in which the presence flag is set to OFF is acquired from the user terminal 20a, the server 10 acquires the time information acquired from the user terminal 20a at the user A's absence time (see FIG. 6). Remember. Further, when the state information in which the nap flag is set to ON is acquired from the user terminal 20a, the server 10 stores the time information acquired from the user terminal 20a during the nap time of the user A (see FIG. 6).

ステップS202を実行した場合、又は、ステップS201でNOと判定した場合、サーバ10は、ユーザ端末20から、ユーザの在席状況を確認するための在席確認要求を受信したか否かを判定する(ステップS203)。ユーザ端末20からの在席確認要求には、在席状況を確認する対象のユーザのユーザIDが含まれる。   When step S202 is executed, or when it is determined NO in step S201, the server 10 determines whether or not the presence confirmation request for confirming the presence of the user is received from the user terminal 20. (Step S203). The presence confirmation request from the user terminal 20 includes the user ID of the target user whose presence is to be confirmed.

在席確認要求を受信した場合(ステップS203:YES)、サーバ10は、データベース13にアクセスし、在席確認要求に含まれるユーザの在席情報を取得する(ステップS204)。そして、サーバ10は、データベース13から取得した情報を、在席確認要求を送信したユーザ端末20に送信する(ステップS205)。   When the presence confirmation request is received (step S203: YES), the server 10 accesses the database 13 and acquires the presence information of the user included in the presence confirmation request (step S204). Then, the server 10 transmits the information acquired from the database 13 to the user terminal 20 that has transmitted the presence confirmation request (step S205).

例えば、管理者からユーザAの在席情報の確認要求があった場合、サーバ10は、データベース13にアクセスして、ユーザAの在席時刻、離席時刻、居眠り時間、電話時間に関する情報を取得する。そして、サーバ10は、これらデータベース13から取得したユーザAの情報を、在席確認要求を送信したユーザ端末20に送信する。これにより、ユーザ端末20において、図8に示されるような画面が表示される。また、管理者でない一般ユーザからユーザAの在席情報の確認要求があった場合、サーバ10は、データベース13にアクセスして、ユーザAの在席時刻、離席時刻に関する情報を取得する。そして、サーバ10は、これらデータベース13から取得したユーザAの情報を、在席確認要求を送信したユーザ端末20に送信する。これにより、ユーザ端末20において、図9に示されるような画面が表示される。   For example, when the administrator requests confirmation of the presence information of the user A, the server 10 accesses the database 13 to acquire information on the presence time, absence time, sleep time, and telephone time of the user A. Do. Then, the server 10 transmits the information of the user A acquired from the database 13 to the user terminal 20 that has transmitted the presence confirmation request. Thus, a screen as shown in FIG. 8 is displayed on the user terminal 20. In addition, when a general user who is not the manager requests a confirmation of the presence information of the user A, the server 10 accesses the database 13 to acquire information on the presence time and the absence time of the user A. Then, the server 10 transmits the information of the user A acquired from the database 13 to the user terminal 20 that has transmitted the presence confirmation request. Thus, a screen as shown in FIG. 9 is displayed on the user terminal 20.

以上で図12に示す処理の説明を終了する。   This is the end of the description of the process shown in FIG.

なお、図11では、物体検知部30による処理を省略したが、上述した処理に加えて、物体検知部30による処理が実行されてもよい。この場合、物体検知部30による処理は、上記ステップS102〜ステップS108の何れにおいて実行されてもよい。例えば、ステップS105とステップS106との間で、物体検知部30による処理として、他の物体を検出する処理、および、ユーザが他の物体を用いて所定の作業を行っているか否かを判定する処理が行われてもよい。また、物体検知部30による処理は、上記ステップS108とステップS110との間で行われてもよい。   In addition, although the process by the object detection part 30 was abbreviate | omitted in FIG. 11, in addition to the process mentioned above, the process by the object detection part 30 may be performed. In this case, the process by the object detection unit 30 may be performed in any of the steps S102 to S108. For example, between step S105 and step S106, as processing by the object detection unit 30, processing of detecting another object, and whether or not the user is performing predetermined work using the other object Processing may be performed. Moreover, the process by the object detection part 30 may be performed between said step S108 and step S110.

例えば、物体検知部30が他の物体として電話機を検出する場合、物体検知部30による処理として、電話機を検出する処理、および、ユーザが電話しているか否かを判定する処理が行われる。この場合、ユーザ端末20のメモリには、在席フラグおよび居眠りフラグに加えて、ユーザが電話しているか否かを示す電話使用フラグが記憶される。ユーザが電話していると判定された場合、電話使用フラグはONに設定され、ユーザが電話していないと判定された場合、電話使用フラグはOFFに設定される。そして、電話使用フラグの値が変化した場合、上記ステップS110において、状態情報が変化したと判定される。すなわち、ステップS110においては、ユーザの在席状態が変化した場合、ユーザの居眠り状態が変化した場合、又は、ユーザが電話を開始又は終了した場合に、状態情報が変化したと判定される。このように、ユーザの状態が変化した場合に、サーバ10にユーザの状態を示す情報が送信される。   For example, when the object detection unit 30 detects a telephone as another object, a process of detecting a telephone and a process of determining whether a user is calling are performed as processing by the object detection unit 30. In this case, in addition to the presence flag and the drowsy flag, the memory of the user terminal 20 stores a telephone use flag indicating whether the user is calling. When it is determined that the user is calling, the telephone use flag is set to ON, and when it is determined that the user is not calling, the telephone use flag is set to OFF. When the value of the telephone use flag has changed, it is determined in step S110 that the state information has changed. That is, in step S110, it is determined that the state information has changed when the user's presence changes, when the user's drowsy changes, or when the user starts or ends a call. Thus, when the state of the user changes, information indicating the state of the user is transmitted to the server 10.

以上のように、本実施形態では、ユーザ端末20は、カメラ22からリアルタイムで出力される入力画像に基づいて、ユーザの在席判定を行い、ユーザが在席しているか否かを示す在席情報と時間情報とをサーバ10に送信する。サーバ10は、各ユーザ端末20から送信された在席情報をデータベース13に記憶する。これにより、ユーザの在席情報をリアルタイムでサーバ10に送信し記憶することができる。各ユーザは、サーバ10にアクセスして他のユーザが現在、在席しているか否かを確認することができる。   As described above, in the present embodiment, the user terminal 20 performs the presence determination of the user based on the input image output in real time from the camera 22, and indicates whether the user is present or not. The information and time information are sent to the server 10. The server 10 stores the presence information transmitted from each user terminal 20 in the database 13. Thus, user presence information can be transmitted and stored in real time to the server 10. Each user can access the server 10 to check if another user is currently present.

また、本実施形態では、ユーザ端末20において在席判定を行い、在席判定の結果を示す在席情報をサーバ10に送信する。カメラ22によって撮像された画像は、通常はユーザ端末20およびサーバ10に保存されないため、各ユーザの個人情報を保護しつつ、各ユーザのリアルタイムの在席情報を他のユーザが確認することができる。   Further, in the present embodiment, presence determination is performed in the user terminal 20, and presence information indicating a result of the presence determination is transmitted to the server 10. Since the image taken by the camera 22 is not usually stored in the user terminal 20 and the server 10, while protecting the personal information of each user, other users can confirm the real-time presence information of each user .

また、本実施形態では、各ユーザの在席情報が時間情報とともにサーバ10に蓄積される。このため、ユーザ(例えば、管理者)は、他のユーザの過去の在席情報を参照することができる。ユーザは、他のユーザが勤務時間中に実際にどれくらいの時間、在席しているか、離席しているかを確認することができ、各ユーザがどれくらい休憩しているかなどを推測することができる。なお、管理者でないユーザも、各ユーザの過去の在席情報を参照することができてもよい。   Further, in the present embodiment, the presence information of each user is accumulated in the server 10 together with the time information. For this reason, a user (for example, an administrator) can refer to the past presence information of other users. The user can check how long the other users are actually present during working hours, whether they are away or not, and can guess how long each user is resting etc. . A user who is not the administrator may also be able to refer to the past presence information of each user.

また、本実施形態では、ユーザ端末20は、カメラ22からの入力画像に基づいて、ユーザが居眠りをしているか否かを判定し、当該判定結果を示す居眠り情報をサーバ10に送信する。サーバ10は、ユーザ端末20から送信された居眠り情報をデータベース13に記憶する。これにより、ユーザ(管理者又は管理者でないユーザ)は、他のユーザが現在、居眠りしているか否かを確認することができる。また、サーバ10は、居眠り情報と時間情報とをデータベース13に蓄積するため、ユーザは、過去に他のユーザが居眠りしていたか否か、および、その時間を確認することができる。   Further, in the present embodiment, the user terminal 20 determines whether the user is sleeping by using the input image from the camera 22, and transmits the sleep information indicating the determination result to the server 10. The server 10 stores the drowsy information transmitted from the user terminal 20 in the database 13. Thereby, the user (administrator or a user who is not the administrator) can confirm whether or not another user is sleeping at present. In addition, since the server 10 stores the sleepiness information and the time information in the database 13, the user can confirm whether or not another user has slept in the past, and the time.

また、本実施形態では、ユーザ端末20は、カメラ22からの入力画像に基づいて、所定の物体を検知し、ユーザが所定の物体を用いて所定の作業を行っているか否かを判定し、当該判定結果を示す情報をサーバ10に送信する。サーバ10は、ユーザ端末20から送信された情報をデータベース13に記憶する。これにより、ユーザ(管理者又は管理者でないユーザ)は、他のユーザが現在、所定の作業を行っているか否か(例えば電話しているか否か)を確認することができる。また、サーバ10は、ユーザが所定の作業を行っているか否かを示す情報と時間情報とをデータベース13に蓄積する。このため、ユーザは、他のユーザが所定の作業を行っていた時間を確認することができ、例えば、比較的長時間電話をしているか否かを確認することができる。   Further, in the present embodiment, the user terminal 20 detects a predetermined object based on an input image from the camera 22, and determines whether the user is performing a predetermined operation using the predetermined object. Information indicating the determination result is transmitted to the server 10. The server 10 stores the information transmitted from the user terminal 20 in the database 13. Thereby, the user (administrator or a user who is not the administrator) can check whether another user is currently performing a predetermined operation (for example, whether he is calling or not). In addition, the server 10 accumulates in the database 13 information indicating whether the user is performing a predetermined task and time information. For this reason, the user can check the time that another user has been performing a predetermined task, and can check, for example, whether he / she is calling for a relatively long time.

また、本実施形態では、ユーザの状態(在席状態、居眠り状態、所定の作業を行っているか否かの状態)が変化した場合に、その状態を示す情報がサーバ10に送信され、ユーザの状態が変化していない場合は、情報はサーバ10に送信されない。このため、常にこれらの情報を送信する場合に比べて、サーバ10およびネットワークの負荷を低減することができる。なお、これらの情報は定期的にサーバ10に送信されてもよい。   Further, in the present embodiment, when the state of the user (the present state, the drowsy state, the state as to whether or not the predetermined work is performed) changes, information indicating the state is transmitted to the server 10 and the user's If the state has not changed, the information is not sent to the server 10. For this reason, the load on the server 10 and the network can be reduced as compared with the case of always transmitting these pieces of information. These pieces of information may be periodically transmitted to the server 10.

このように、本実施形態の在席情報管理システム1では、ユーザは、サーバ10にアクセスすることにより、他のユーザが在席しているか否か、居眠りしているか否か、所定の作業を行っているか否か(例えば電話をしているか否か)等を、当該他のユーザの座席の近くに行かなくても確認することができる。このため、遠隔にいるユーザの在席状況をリアルタイムで把握することができ、例えば、在宅勤務のユーザについても、自宅の座席周辺をカメラ22で撮像することで、在宅勤務のユーザが自宅で実際に業務を行っているか否かを遠隔から確認することができる。   As described above, in the presence information management system 1 according to the present embodiment, the user accesses the server 10 to determine whether another user is present, whether he is sleeping or not, and performs predetermined work. Whether or not the user is on the phone (for example, on the phone) can be confirmed without going near the seat of the other user. For this reason, the user's presence situation of the remote user can be grasped in real time, for example, even for a home-working user, the user at home working is actually at home by imaging the seat periphery of the home with the camera 22 You can remotely check if you are doing business.

本実施形態の在席情報管理システム1では、ユーザの在席状況やユーザが本来の業務を行っているかどうかなどの勤務実態が可視化されるため、無駄な休憩時間や怠けている時間を削減することができ、業務効率を向上させることができる。   In the presence information management system 1 of the present embodiment, since the actual working conditions such as the presence status of the user and whether the user is performing the original work are visualized, unnecessary rest time and idle time are reduced. Work efficiency can be improved.

なお、在席情報管理システム1は、上述した在席情報等を管理する機能に加えて、ユーザのスケジュールを管理する機能を有してもよい。図13は、他の実施形態におけるサーバ10の論理構成の一例を示す図である。   The presence information management system 1 may have a function of managing a user's schedule, in addition to the function of managing the above-described presence information and the like. FIG. 13 is a diagram showing an example of the logical configuration of the server 10 in another embodiment.

図13に示されるように、サーバ10は、在席状況管理部11、在席情報取得部12、データベース13、出力部14に加えて、スケジュール管理部15を含む。   As shown in FIG. 13, the server 10 includes a schedule management unit 15 in addition to the presence status management unit 11, the presence information acquisition unit 12, the database 13, and the output unit 14.

スケジュール管理部15は、各ユーザのスケジュールを管理する機能を提供する。各ユーザは、スケジュール管理部15に自身のスケジュールを登録する。例えば、各ユーザは、会議の時間、外出の時間、その他の業務の時間等を登録する。例えば、スケジュール管理部15はウェブインターフェースを有する。各ユーザはユーザ端末20のブラウザアプリケーションを用いてサーバ10のスケジュール管理部15にアクセスする。そして、各ユーザは自身(又は、他のユーザ)のスケジュールを登録したり、変更したり、確認したりする。各ユーザのスケジュール情報は、他のユーザからも参照可能である。   The schedule management unit 15 provides a function of managing the schedule of each user. Each user registers his own schedule in the schedule management unit 15. For example, each user registers the time of a meeting, the time of going out, the time of other work, and the like. For example, the schedule management unit 15 has a web interface. Each user accesses the schedule management unit 15 of the server 10 using the browser application of the user terminal 20. Then, each user registers, changes, or confirms their own (or another user's) schedule. The schedule information of each user can also be referenced from other users.

図13に示されるように、スケジュール管理部15は、在席状況管理部11を有するサーバ10に配置され、スケジュール管理部15と在席状況管理部11とは連携して動作する。なお、スケジュール管理部15は、在席状況管理部11を有するサーバ10とは別のサーバに配置されてもよい。在席状況管理部11がサーバ10に配置され、スケジュール管理部15が別のサーバに配置される場合、サーバ10と当該別のサーバとはネットワーク経由で連携される。   As shown in FIG. 13, the schedule management unit 15 is disposed in the server 10 having the presence status management unit 11, and the schedule management unit 15 and the presence status management unit 11 operate in cooperation with each other. The schedule management unit 15 may be arranged on a server different from the server 10 having the presence status management unit 11. When the presence status management unit 11 is disposed in the server 10 and the schedule management unit 15 is disposed in another server, the server 10 and the other server are linked via the network.

図14は、スケジュール管理部15と在席状況管理部11との連携の一例を示す図である。   FIG. 14 is a diagram showing an example of cooperation between the schedule management unit 15 and the presence status management unit 11.

図14(a)に示されるように、スケジュール管理部15は、各ユーザのスケジュールを管理する。例えば、スケジュール管理部15によって管理されているユーザCのある日のスケジュール情報によれば、ユーザCは、時刻10:00から12:00まで会議の予定であり、13:30から14:30まで会議の予定であり、15:00から16:30までは外出の予定である。それ以外の時間は特に予定がなく通常の業務を行う予定である。   As shown in FIG. 14A, the schedule management unit 15 manages the schedule of each user. For example, according to the schedule information of a certain day of the user C managed by the schedule management unit 15, the user C is scheduled for a meeting from 10:00 to 12:00, from 13:30 to 14:30. It is scheduled for a meeting, and is scheduled to go out from 15:00 to 16:30. Other than that time, there are no plans in particular, and we plan to carry out regular work.

一方、図14(b)に示されるように、ユーザ端末20の在席判定部28によって判定されたユーザCの在席情報によれば、ユーザは、時刻9:00から10:00まで在席し、10:00から13:00まで離席し、13:00から13:30まで在席し、13:30から14:30まで離席し、14:30から現在時刻である16:00まで在席している。例えば、ユーザCは15:00から16:30までは外出の予定であったが、予定が変更されたため、16:00現在においても在席している。この場合、図14(a)に示されるユーザCのスケジュール情報と、図14(b)に示されるユーザCの在席情報とを統合した統合情報が生成され、他のユーザに提示される。   On the other hand, as shown in FIG. 14B, according to the user C's presence information determined by the presence determination unit 28 of the user terminal 20, the user is present from 9:00 to 10:00. From 10:00 to 13:00, from 13:00 to 13:30, from 13:30 to 14:30, from 14:30 to 16:00, which is the current time I am present. For example, the user C was scheduled to go out from 15:00 to 16:30, but is still present as of 16:00 because the schedule has been changed. In this case, integrated information in which the schedule information of the user C shown in FIG. 14A and the presence information of the user C shown in FIG. 14B are integrated is generated and presented to other users.

具体的には、図14(c)に示されるように、ユーザCは、時刻9:00から10:00まで在席しており、時刻10:00から12:00まで会議しており、時刻12:00から13:00まで離席しており、時刻13:00から13:30まで在席しており、時刻13:30から14:30まで会議しており、時刻14:30から現在まで在席している。他のユーザがサーバ10にアクセスした場合、図14(c)に示される統合情報が提示されてもよい。   Specifically, as shown in FIG. 14C, the user C is present from 9:00 to 10:00, and is meeting from 10:00 to 12:00, They are away from 12:00 to 13:00, are present from 13:00 to 13:30, have a meeting from 13:30 to 14:30, and are from 14:30 to the present I am present. If another user accesses the server 10, integrated information shown in FIG. 14 (c) may be presented.

統合情報は、ユーザのスケジュールを管理するスケジュール管理部15の機能の一部として、各ユーザに提示されてもよい。例えば、あるユーザがスケジュール管理部15にアクセスして他のユーザのスケジュールを確認する場合、当該他のユーザのスケジュール情報と在席情報とを統合した統合情報が、当該あるユーザに提示されてもよい。また、図14(a)に示されるスケジュール情報と、図14(b)に示される在席情報とが、一画面に別々でユーザに提示されてもよい。   The integrated information may be presented to each user as part of the function of the schedule management unit 15 that manages the user's schedule. For example, when a user accesses the schedule management unit 15 to check the schedule of another user, even if the integrated information in which the schedule information and the presence information of the other user are integrated is presented to the user Good. Further, the schedule information shown in FIG. 14A and the presence information shown in FIG. 14B may be separately presented to the user on one screen.

また、あるユーザが在席状況管理部11にアクセスして他のユーザの在席情報を確認する場合、当該他のユーザのスケジュール情報と在席情報とを統合した統合情報が、当該あるユーザに提示されてもよい。また、これらの情報が一画面に別々でユーザに提示されてもよい。   Also, when a certain user accesses the presence status management unit 11 to check the presence information of another user, the integrated information in which the schedule information of the other user and the presence information are integrated corresponds to the particular user. It may be presented. Also, these pieces of information may be presented to the user separately on one screen.

このように、スケジュール管理部15と在席状況管理部11とが連携して動作することにより、ユーザの予定と、実際の在席状況とを他のユーザに提示することができる。これにより、ユーザの予定が変更された場合でも、他のユーザは、実際の在席状況を確認することができる。   As described above, when the schedule management unit 15 and the presence status management unit 11 operate in cooperation with each other, it is possible to present the schedule of the user and the actual presence status to other users. Thus, even when the user's schedule is changed, other users can check the actual presence status.

なお、ユーザが在席しているか否かを確認する機能(在席確認機能)、ユーザが居眠りしているか否かを確認する機能(居眠り検知機能)、および、ユーザが所定の物体を用いて所定の作業を行っているか否かを確認する機能(作業検知機能)は、スケジュール管理部15によるスケジュール管理機能と一体として提供されてもよい。また、これら在席確認機能、居眠り検知機能、作業検知機能は、スケジュール管理部15によるスケジュール管理機能のオプションとして提供されてもよい。   Note that a function for confirming whether the user is present (presence confirmation function), a function for confirming whether the user is sleeping or not (sleeping detection function), and the user using a predetermined object The function (work detection function) for confirming whether or not a predetermined work is performed may be provided integrally with the schedule management function by the schedule management unit 15. The presence confirmation function, the drowsiness detection function, and the work detection function may be provided as options of the schedule management function by the schedule management unit 15.

また、上記実施形態では、ユーザは、他のユーザの在席情報等をウェブブラウザを用いて参照するものとしたが、専用のアプリケーションソフトを用いて、他のユーザの在席情報等を参照してもよい。   In the above embodiment, the user refers to the presence information and the like of other users using a web browser, but refers to the presence information and the like of other users using dedicated application software. May be

また、上記実施形態では、在席判定部28は、在席情報とともに判定した時点の時刻に関する時間情報をサーバ10に送信し、サーバ10のデータベース13に時間情報が記憶された。他の実施形態では、在席判定部28による判定結果に基づいて、ユーザが在席している時間又は離席している時間に関する時間情報(例えば、1日のうちの何時間在席しているかの情報、何時間離席しているかの情報)が、データベース13に記憶されてもよい。すなわち、データベース13には、ユーザが在席した時刻、離席した時刻ではなく、ユーザが在席している時間、離席している時間が記憶されてもよい。   Further, in the above-described embodiment, the presence determination unit 28 transmits, to the server 10, time information on the determined time together with the presence information, and the time information is stored in the database 13 of the server 10. In another embodiment, based on the determination result by the presence determination unit 28, time information regarding the time during which the user is present or the time when the user is away (for example, the user may The information on the presence or absence and the information on how many hours are left may be stored in the database 13. That is, the time when the user is present or not may be stored in the database 13 instead of the time when the user is present or not.

また、在席情報管理システム1のサーバ10は、1つのサーバ装置によって構成されてもよいし、複数のサーバ装置によって構成されてもよい。   The server 10 of the presence information management system 1 may be configured by one server device or may be configured by a plurality of server devices.

また、上記在席情報管理システム1の各部の配置は一例であり、これら各部は、ユーザ端末20およびサーバ10の何れに配置されてもよいし、ユーザ端末20およびサーバ10とは異なる装置に配置されてもよい。例えば、顔検出部27、在席判定部28、居眠り検知部29、物体検知部30のうちの少なくとも何れか1つは、ユーザ端末20とは異なる装置(例えば、画像認識用の専用装置又はサーバ10)に配置されてもよい。例えば、カメラ22からの入力画像をユーザ端末20とは異なる装置が取得し、当該装置において顔検出、在席判定等が行われてもよい。また、複数のユーザ端末20のうちの何れかが、上記サーバ10として機能してもよい。また、カメラ22からの入力画像をサーバ10が取得し、サーバ10が上記在席判定、居眠り判定、ユーザが所定の作業を行っているか否かの判定を行い、これらの判定の結果に応じた情報をデータベース13に記憶してもよい。   Further, the arrangement of each unit of the above-mentioned presence information management system 1 is an example, and each of these units may be arranged in any of the user terminal 20 and the server 10, and arranged in an apparatus different from the user terminal 20 and the server 10. It may be done. For example, at least one of the face detection unit 27, the presence determination unit 28, the sleep detection unit 29, and the object detection unit 30 is a device different from the user terminal 20 (for example, a dedicated device for image recognition or a server 10). For example, an apparatus different from the user terminal 20 may acquire an input image from the camera 22, and face detection, presence determination, and the like may be performed in the apparatus. Also, any one of the plurality of user terminals 20 may function as the server 10. Further, the server 10 acquires an input image from the camera 22, and the server 10 performs the presence determination, the drowsy determination, and the determination as to whether or not the user is performing a predetermined task, according to the results of these determinations. Information may be stored in database 13.

また、上記実施形態では、データベース13はサーバ10内に配置されるものとしたが、データベース13はサーバ10とは異なる装置に配置されて、サーバ10がネットワークを介してデータベース13にアクセス可能に構成されてもよい。例えば、データベース13は、インターネット上に配置されてもよい。また、データベース13は、複数の装置によって構成されてもよい。また、データベース13に記憶される各情報は、それぞれ異なるデータベース上に分散されて記憶されてもよい。すなわち、サーバ10からアクセス可能であれば、データベース13は、物理的にどのような場所に配置されてもよい。この場合、ユーザがサーバ10にアクセスして他のユーザの在席情報を確認する場合、サーバ10は、ネットワーク上のデータベース13にアクセスして当該他のユーザの在席情報を取得し、取得した在席情報を当該他のユーザに送信する。ユーザから見れば、サーバ10とデータベース13とは一体として見え、上記在席情報や居眠り情報、ユーザが所定の作業を行っているか否かの情報は、実質的にサーバ10に保存されていることと同じである。   Further, although the database 13 is disposed in the server 10 in the above embodiment, the database 13 is disposed in an apparatus different from the server 10 so that the server 10 can access the database 13 via the network. It may be done. For example, the database 13 may be located on the Internet. Also, the database 13 may be configured by a plurality of devices. Each piece of information stored in the database 13 may be distributed and stored on different databases. That is, the database 13 may be physically located at any location as long as it can be accessed from the server 10. In this case, when the user accesses the server 10 and confirms the presence information of the other user, the server 10 accesses the database 13 on the network to obtain the presence information of the other user, Send the presence information to the other user. From the user's point of view, the server 10 and the database 13 appear as one, and the above-mentioned presence information, drowsy information, and information as to whether or not the user is performing predetermined work are substantially stored in the server 10 Is the same as

また、上述した処理の一部又は全部は、専用回路によって行われてもよいし、汎用プロセッサによって行われてもよい。   In addition, part or all of the above-described processing may be performed by a dedicated circuit or may be performed by a general purpose processor.

1 在席情報管理システム
10 サーバ
11 在席状況管理部
12 在席情報取得部
13 データベース
14 出力部
15 スケジュール管理部
20 ユーザ端末
21 情報処理部
22 カメラ
27 顔検出部
28 在席判定部
29 居眠り検知部
30 物体検知部30
DESCRIPTION OF SYMBOLS 1 presence information management system 10 server 11 presence condition management part 12 presence information acquisition part 13 database 14 output part 15 schedule management part 20 user terminal 21 information processing part 22 camera 27 face detection part 28 presence determination part 29 dozing detection Unit 30 Object detection unit 30

Claims (12)

ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像に基づいて、前記ユーザの顔を検出する顔検出手段と、
前記顔検出手段の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定手段と、
前記在席判定手段の判定結果に応じた前記ユーザの在席情報を、ネットワーク上のサーバに記憶させる記憶制御手段と、
ネットワークを介して前記サーバに記憶された前記ユーザの在席情報を取得し、当該取得した前記ユーザの在席情報を他のユーザに提示する提示手段と、を備える、情報処理システム。
An image acquisition unit that acquires an image from a camera provided around the seat of the user;
Face detection means for detecting the face of the user based on the image acquired by the image acquisition means;
Presence determination means for determining whether the user is present based on the detection result of the face detection means;
Storage control means for causing the server on the network to store the presence information of the user according to the determination result of the presence determination means;
An information processing system, comprising: presentation means for acquiring the presence information of the user stored in the server via a network, and presenting the acquired presence information of the user to another user.
前記情報処理システムは、前記ユーザの座席周辺に設けられたユーザ端末を含み、
前記画像取得手段、前記顔検出手段、および前記在席判定手段は、前記ユーザ端末に配置され、
前記ユーザ端末は、前記在席判定手段の判定結果に応じた在席情報を、ネットワークを介して前記サーバに送信し、
前記サーバは、
前記ユーザ端末から送信された在席情報を記憶手段に記憶させ、
前記他のユーザの端末から前記記憶手段に記憶された在席情報の確認要求を受信する確認要求受信手段と、
前記確認要求を受信した場合に、前記記憶手段に記憶された在席情報を、前記他のユーザの端末にネットワークを介して送信する送信手段と、を含み、
前記他のユーザの端末は、前記送信手段によって送信された前記在席情報を前記他のユーザに提示する、請求項1に記載の情報処理システム。
The information processing system includes a user terminal provided around the seat of the user,
The image acquisition unit, the face detection unit, and the presence determination unit are disposed in the user terminal,
The user terminal transmits presence information according to the determination result of the presence determination means to the server via a network,
The server is
Storing presence information transmitted from the user terminal in a storage unit;
Confirmation request receiving means for receiving a confirmation request for presence information stored in the storage means from the terminal of the other user;
And transmission means for transmitting the presence information stored in the storage means to the terminal of the other user via the network when the confirmation request is received,
The information processing system according to claim 1, wherein the terminal of the other user presents the presence information transmitted by the transmission means to the other user.
前記ユーザ端末は、前記在席判定手段の判定結果に基づいて前記ユーザの在席状態が変化したか否かを判定し、前記ユーザの在席状態が変化したと判定した場合に、前記在席情報を前記サーバに送信する、請求項2に記載の情報処理システム。   The user terminal determines whether the presence state of the user has changed based on the determination result of the presence determination means, and determines that the presence state of the user has changed. The information processing system according to claim 2, wherein information is transmitted to the server. 前記記憶制御手段は、前記在席判定手段の判定結果に応じた時間情報を、前記サーバにさらに記憶させる、請求項1から3の何れかに記載の情報処理システム。   The information processing system according to any one of claims 1 to 3, wherein the storage control means causes the server to further store time information according to the determination result of the presence determination means. 前記提示手段は、前記サーバに記憶された前記ユーザの在席情報と前記時間情報とに基づいて、前記ユーザの過去の在席情報を前記他のユーザに提示する、請求項4に記載の情報処理システム。   The information according to claim 4, wherein the presenting means presents the other user's past presence information to the other user based on the user's presence information and the time information stored in the server. Processing system. 前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、前記ユーザが居眠りしているか否かを判定する居眠り判定手段をさらに備え、
前記提示手段は、前記居眠り判定手段の判定結果を示す居眠り情報を、前記他のユーザに提示する、請求項1から5の何れかに記載の情報処理システム。
When the presence determination means determines that the user is present, the sleep determination means further determines whether or not the user is asleep based on the image acquired by the image acquisition means. Equipped
The information processing system according to any one of claims 1 to 5, wherein the presenting means presents, to the other user, doze information indicating the determination result of the doze determining means.
前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、所定の物体を検知し、前記ユーザが前記所定の物体を用いて所定の作業を行っているか否かを判定する作業判定手段をさらに備え、
前記提示手段は、前記作業判定手段の判定結果を示す作業情報を、前記他のユーザに提示する、請求項1から6の何れかに記載の情報処理システム。
When the presence determination means determines that the user is present, a predetermined object is detected based on the image acquired by the image acquisition means, and the user uses the predetermined object. The system further comprises work determination means for determining whether or not a predetermined work is being performed,
The information processing system according to any one of claims 1 to 6, wherein the presenting unit presents, to the other user, task information indicating the determination result of the task determining unit.
前記ユーザのスケジュール情報を管理するスケジュール管理手段をさらに備える、請求項1から7の何れかに記載の情報処理システム。   The information processing system according to any one of claims 1 to 7, further comprising schedule management means for managing schedule information of the user. 前記スケジュール管理手段によって管理されるスケジュール情報と、前記在席情報とを統合した統合情報を生成する統合情報生成手段とをさらに備え、
前記提示手段は、前記統合情報生成手段によって生成された統合情報を、前記他のユーザに提示する、請求項8に記載の情報処理システム。
It further comprises: integrated information generation means for generating integrated information in which the schedule information managed by the schedule management means and the presence information are integrated,
The information processing system according to claim 8, wherein the presenting unit presents the integrated information generated by the integrated information generating unit to the other user.
情報処理システムにおいて実行される情報処理方法であって、
ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像に基づいて、前記ユーザの顔を検出する顔検出ステップと、
前記顔検出ステップにおけるユーザの顔の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定ステップと、
前記在席判定ステップの判定結果に応じた前記ユーザの在席情報を、ネットワーク上のサーバに記憶させる記憶制御ステップと、
ネットワークを介して前記サーバに記憶された前記ユーザの在席情報を取得し、当該取得した前記ユーザの在席情報を他のユーザに提示する提示ステップと、を備える、情報処理方法。
An information processing method executed in an information processing system, comprising:
An image acquisition step of acquiring an image from a camera provided around the seat of the user;
A face detection step of detecting a face of the user based on the image acquired in the image acquisition step;
A presence determination step of determining whether the user is present based on the detection result of the user's face in the face detection step;
A storage control step of causing the server on the network to store the presence information of the user according to the determination result of the presence determination step;
A presentation step of acquiring presence information of the user stored in the server via a network, and presenting the acquired presence information of the user to another user.
情報処理装置のコンピュータにおいて実行されるプログラムであって、前記コンピュータを、
ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像に基づいて、前記ユーザの顔を検出する顔検出手段と、
前記顔検出手段の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定手段と、
前記在席判定手段の判定結果に応じた前記ユーザの在席情報を、ネットワークを介してサーバに送信する送信手段として、機能させる、情報処理プログラム。
A program executed by a computer of an information processing apparatus, said computer comprising:
An image acquisition unit that acquires an image from a camera provided around the seat of the user;
Face detection means for detecting the face of the user based on the image acquired by the image acquisition means;
Presence determination means for determining whether the user is present based on the detection result of the face detection means;
An information processing program that causes a user's presence information according to the determination result of the presence determination means to function as a transmission means for transmitting to a server via a network.
ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像に基づいて、前記ユーザの顔を検出する顔検出手段と、
前記顔検出手段の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定手段と、
前記在席判定手段の判定結果に応じた前記ユーザの在席情報を、ネットワークを介してサーバに送信する送信手段と、を備える、情報処理装置。
An image acquisition unit that acquires an image from a camera provided around the seat of the user;
Face detection means for detecting the face of the user based on the image acquired by the image acquisition means;
Presence determination means for determining whether the user is present based on the detection result of the face detection means;
An information processing apparatus, comprising: transmission means for transmitting presence information of the user according to the determination result of the presence determination means to a server via a network.
JP2017229342A 2017-11-29 2017-11-29 Information processing system, information processing method, information processing program, and information processing apparatus Expired - Fee Related JP6413068B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017229342A JP6413068B1 (en) 2017-11-29 2017-11-29 Information processing system, information processing method, information processing program, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017229342A JP6413068B1 (en) 2017-11-29 2017-11-29 Information processing system, information processing method, information processing program, and information processing apparatus

Publications (2)

Publication Number Publication Date
JP6413068B1 JP6413068B1 (en) 2018-10-31
JP2019101566A true JP2019101566A (en) 2019-06-24

Family

ID=64017063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017229342A Expired - Fee Related JP6413068B1 (en) 2017-11-29 2017-11-29 Information processing system, information processing method, information processing program, and information processing apparatus

Country Status (1)

Country Link
JP (1) JP6413068B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6792224B1 (en) * 2020-07-01 2020-11-25 ニューラルポケット株式会社 Information processing system, information processing device, server device, program, or method
WO2021186560A1 (en) 2020-03-17 2021-09-23 日本電気株式会社 Visit assistance device, visit assistance system, visit assistance method, and non-transitory computer-readable medium having program stored therein
WO2022009380A1 (en) * 2020-07-09 2022-01-13 日本電気株式会社 Server device, entrance/exit management system, server device control method, and storage medium
JP2022013561A (en) * 2020-07-01 2022-01-18 ニューラルポケット株式会社 Information processing system, information processing apparatus, server device, program, or method
WO2022044637A1 (en) * 2020-08-24 2022-03-03 オムロン株式会社 Image processing device, image processing method, and program
WO2023084593A1 (en) * 2021-11-09 2023-05-19 日本電気株式会社 Information processing device, information processing system, information processing method, and non-transitory computer-readable medium
JP7402586B2 (en) 2020-02-28 2023-12-21 靖彦 杉山 Business monitoring system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7299692B2 (en) * 2018-12-05 2023-06-28 キヤノン株式会社 Image processing device, image processing system, image processing device control method, and program
JP7457982B2 (en) * 2020-03-19 2024-03-29 パナソニックIpマネジメント株式会社 Seating position management system and seating position management method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186490A (en) * 1999-12-27 2001-07-06 Canon Inc Distributed system, its display method and storage medium
JP2002260110A (en) * 2001-02-26 2002-09-13 Nec Corp Seated monitoring system and method therefor
JP2005190190A (en) * 2003-12-25 2005-07-14 Canon Sales Co Inc Presence management server, communication method, its recording medium and program
JP2007097668A (en) * 2005-09-30 2007-04-19 Fujifilm Corp State appreciation device, program and method
JP2011071795A (en) * 2009-09-28 2011-04-07 Hitachi Consumer Electronics Co Ltd Broadcast receiver
JP2011123579A (en) * 2009-12-09 2011-06-23 Daiwa Securities Group Inc Method and system for management of employee behavior
JP2013182450A (en) * 2012-03-02 2013-09-12 Fuji Xerox Co Ltd Location management program and location management device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186490A (en) * 1999-12-27 2001-07-06 Canon Inc Distributed system, its display method and storage medium
JP2002260110A (en) * 2001-02-26 2002-09-13 Nec Corp Seated monitoring system and method therefor
JP2005190190A (en) * 2003-12-25 2005-07-14 Canon Sales Co Inc Presence management server, communication method, its recording medium and program
JP2007097668A (en) * 2005-09-30 2007-04-19 Fujifilm Corp State appreciation device, program and method
JP2011071795A (en) * 2009-09-28 2011-04-07 Hitachi Consumer Electronics Co Ltd Broadcast receiver
JP2011123579A (en) * 2009-12-09 2011-06-23 Daiwa Securities Group Inc Method and system for management of employee behavior
JP2013182450A (en) * 2012-03-02 2013-09-12 Fuji Xerox Co Ltd Location management program and location management device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7402586B2 (en) 2020-02-28 2023-12-21 靖彦 杉山 Business monitoring system
WO2021186560A1 (en) 2020-03-17 2021-09-23 日本電気株式会社 Visit assistance device, visit assistance system, visit assistance method, and non-transitory computer-readable medium having program stored therein
JP7505544B2 (en) 2020-03-17 2024-06-25 日本電気株式会社 Visit support device, visit support system, visit support method and program
JP6792224B1 (en) * 2020-07-01 2020-11-25 ニューラルポケット株式会社 Information processing system, information processing device, server device, program, or method
WO2022003872A1 (en) * 2020-07-01 2022-01-06 ニューラルポケット株式会社 Information processing system, information processing device, server device, program, or method
JP2022013561A (en) * 2020-07-01 2022-01-18 ニューラルポケット株式会社 Information processing system, information processing apparatus, server device, program, or method
JP7168999B2 (en) 2020-07-01 2022-11-10 ニューラルポケット株式会社 Information processing system, information processing device, server device, program, or method
WO2022009380A1 (en) * 2020-07-09 2022-01-13 日本電気株式会社 Server device, entrance/exit management system, server device control method, and storage medium
JP7505558B2 (en) 2020-07-09 2024-06-25 日本電気株式会社 Server device, entrance/exit management system, server device control method and program
WO2022044637A1 (en) * 2020-08-24 2022-03-03 オムロン株式会社 Image processing device, image processing method, and program
JP7484569B2 (en) 2020-08-24 2024-05-16 オムロン株式会社 Image processing device, image processing method, and program
WO2023084593A1 (en) * 2021-11-09 2023-05-19 日本電気株式会社 Information processing device, information processing system, information processing method, and non-transitory computer-readable medium

Also Published As

Publication number Publication date
JP6413068B1 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
JP2019101566A (en) Information processing system, information processing method, information processing program, and information processing apparatus
US11481094B2 (en) User interfaces for location-related communications
JP5672934B2 (en) Sensing data display device and display system
JP3549578B2 (en) Apparatus and method for recording and retrieving information
JP6091842B2 (en) Resident monitoring device, resident monitoring program and resident monitoring method
Bernaerts et al. The office smartwatch: development and design of a smartwatch app to digitally augment interactions in an office environment
US20180082035A1 (en) Patient Monitoring System Mobile Software Applicaiton
Ferreira et al. Protege: a mobile health application for the elder-caregiver monitoring paradigm
JP4757230B2 (en) Security system and program for security system
JP6875244B2 (en) Management system, management method, management program and information processing equipment
JP2018097459A (en) Behavior recommendation system and behavior recommendation method
US20130018667A1 (en) Measuring Outcomes Via Telephony
WO2018134432A1 (en) Method and system for health information reporting
JP6371081B2 (en) Program and work management system
DE112016006247T5 (en) lnformationskommunikationsendgerät
US20190371455A1 (en) Assistance Method and Assistance System
JP2020161018A (en) Security system, management device, mobile terminal and security method
CN107633385A (en) A kind of method, terminal and the computer-readable recording medium of picture timing
JP6603767B2 (en) Employment management device, employment management system and program
JP7137142B2 (en) Monitored person monitoring system
JP6879083B2 (en) Sleep analysis programs, sleep analysis methods, and sleep analyzers
CN111158971A (en) Information processing apparatus, information processing method, and recording medium
JP5760131B1 (en) Image collation system, image collation apparatus, image collation method, and computer program
US11567650B1 (en) User interfaces for managing exposure notifications
US20240079130A1 (en) User interfaces for health tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171129

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171201

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180831

R150 Certificate of patent or registration of utility model

Ref document number: 6413068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees