JP2019144917A - 滞在状況表示システムおよび滞在状況表示方法 - Google Patents

滞在状況表示システムおよび滞在状況表示方法 Download PDF

Info

Publication number
JP2019144917A
JP2019144917A JP2018029349A JP2018029349A JP2019144917A JP 2019144917 A JP2019144917 A JP 2019144917A JP 2018029349 A JP2018029349 A JP 2018029349A JP 2018029349 A JP2018029349 A JP 2018029349A JP 2019144917 A JP2019144917 A JP 2019144917A
Authority
JP
Japan
Prior art keywords
person
state
target area
staying
stay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018029349A
Other languages
English (en)
Other versions
JP6941805B2 (ja
Inventor
園子 平澤
Sonoko Hirasawa
園子 平澤
藤松 健
Takeshi Fujimatsu
健 藤松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018029349A priority Critical patent/JP6941805B2/ja
Priority to GB2013771.7A priority patent/GB2585557B/en
Priority to PCT/JP2019/004501 priority patent/WO2019163542A1/ja
Priority to DE112019000931.1T priority patent/DE112019000931T5/de
Priority to CN201980014927.1A priority patent/CN111758110A/zh
Priority to US16/971,206 priority patent/US11461736B2/en
Publication of JP2019144917A publication Critical patent/JP2019144917A/ja
Application granted granted Critical
Publication of JP6941805B2 publication Critical patent/JP6941805B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】訪問先の人物が対象エリアに滞在しているか否かをユーザに提示すると共に、訪問先の人物が訪問者に応対できない状態であるか否かをユーザに提示することができるようにする。【解決手段】カメラ1の映像に基づいて、対象エリアに人物が滞在しているか否かを検知し、対象エリアに滞在する人物が訪問者に応対できない状態であるか否かを検知し、対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した表示情報を生成する。【選択図】図3

Description

本発明は、施設内の対象エリアに設置されたカメラにより撮影される映像に基づいて、対象エリアにおける人物の滞在状況に関する表示情報を生成する滞在状況表示システムおよび滞在状況表示方法に関するものである。
オフィスビルなどの施設においては、施設内を撮影するカメラを設置して、そのカメラの映像で施設内の状況を監視する監視システムが広く普及している。このようなカメラの映像を利用して、施設内での人物の滞在状況に関する情報を取得して、その情報をユーザに提示するようにすると、所用で面会したい人物が自席にいるかどうかなどを簡単に確認することができ、ユーザの利便性が向上する。
このような人物の滞在状況をユーザに提示する技術として、従来、オフィス等に設置したカメラで捉えた、座席に座っている人物の映像および電話機の映像についてリアルタイムに画像処理を行い、人物が在席か不在かを判定するとともに、在席の場合には電話中か否かを判定するようにしたシステムが知られている(特許文献1参照)。
特開平7−058823号公報
さて、前記従来の技術のように、人物が通話中であるか否かを検知して、人物の通話状況をユーザに提示するようにすると、訪問先の人物が在席しているため、訪問したが、その人物が通話中であるために話しかけることができなかったという問題を解消することができる。
一方、訪問先の人物が通話中でなくても、その人物に話しかけることができない場合がある。例えば、訪問先の人物が別の人物と会話中である場合や、緊急な用事で極めて煩忙な状態である場合には、その人物に話しかけることができない。そこで、通話中を含めて人物が訪問者に応対できない状態であるか否かを検知して、ユーザに提示する技術が望まれる。
しかしながら、前記従来の技術では、電話発信に関するものであることから、当然ながら、人物の通話状況をユーザに提示するだけであり、通話中以外の理由で、人物が訪問者に応対できない状態であるか否かをユーザに提示することができないという問題があった。
そこで、本発明は、訪問先の人物が対象エリアに滞在しているか否かをユーザに提示すると共に、訪問先の人物が訪問者に応対できない状態であるか否かをユーザに提示することができる滞在状況表示システムおよび滞在状況表示方法を提供することを主な目的とする。
本発明の滞在状況表示システムは、対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示システムであって、前記プロセッサは、前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、前記対象エリアに滞在する人物が訪問者に応対できない状態であるか否かを検知し、前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成する構成とする。
また、本発明の滞在状況表示方法は、対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示方法であって、前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、前記対象エリアに滞在する人物が訪問者に応対できない状態であるか否かを検知し、前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成する構成とする。
本発明によれば、訪問先の人物が対象エリアに滞在しているか否かをユーザに提示すると共に、訪問先の人物が訪問者に応対できない状態であるか否かをユーザに提示することができる。
本実施形態に係る滞在状況表示システムの全体構成図 施設内の部屋のレイアウト、カメラ1の設置状況、および検知エリアの設定状況を示す説明図 施設管理装置2およびユーザ端末3の概略構成を示すブロック図 ユーザ端末3に表示される人物一覧画面を示す説明図 ユーザ端末3に表示されるマップ画面を示す説明図 施設管理装置2で行われる在席情報および状態情報に関する設定処理の手順を示すフロー図 施設管理装置2で行われる通知制御の動作手順を示すフロー図
前記課題を解決するためになされた第1の発明は、対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示システムであって、前記プロセッサは、前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、前記対象エリアに滞在する人物が訪問者に応対できない状態であるか否かを検知し、前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成する構成とする。
これによると、訪問先の人物が対象エリアに滞在しているか否かをユーザに提示すると共に、訪問先の人物が訪問者に応対できない状態であるか否かをユーザに提示することができる。
また、第2の発明は、前記プロセッサは、人物を選択して通知対象に設定するユーザの操作に応じて、通知対象に設定された人物に関する前記滞在情報が更新された場合に、その旨を表す通知をユーザ端末に送信する構成とする。
これによると、ユーザが適切な訪問の機会を知ることができる。なお、状態情報が更新された場合に、その旨を表す通知をユーザ端末に送信するようにしてもよい。
また、第3の発明は、前記プロセッサは、人物画像を並べて表示した人物一覧画面を生成し、この人物一覧画面に、前記状態情報として、人物が訪問者に応対できない状態であるか否かを表す状態アイコンを表示する構成とする。
これによると、対象エリアにおける人物の滞在状況を一括して確認することができ、さらに、各人物が訪問者に応対できない状態であるか否かを即座に把握することができる。
また、第4の発明は、前記プロセッサは、前記状態情報として、人物が訪問者に応対できない状態であるか否かを表す状態アイコンを、前記対象エリアを表すマップ画像上の対応する人物の位置に重畳したマップ画面を生成し、人物を選択するユーザの操作に応じて、選択した人物の人物画像を前記マップ画面に表示する構成とする。
これによると、対象エリアにおける人物の滞在状況を一括して確認することができ、さらに、各人物が訪問者に応対できない状態であるか否かを即座に把握することができる。
また、第5の発明は、前記状態情報は、通話状態、会話状態、ストレス状態の少なくともいずれかの状態を表す構成とする。
これによると、人物が訪問者に応対できない状態として、通話状態、会話状態、ストレス状態を即座に把握することができる。
また、第6の発明は、前記プロセッサは、前記カメラの映像に基づいて、前記対象エリアに滞在する人物が会話中であるか否かを判定する構成とする。
これによると、人物の会話中であることを表す状態情報を取得することができる。
また、第7の発明は、前記プロセッサは、前記カメラの映像に基づいて、前記対象エリアに滞在する人物が緊張状態であるか否かを判定する構成とする。
これによると、人物が緊張状態であることを表す状態情報を取得することができる。
また、第8の発明は、対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示方法であって、前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、前記対象エリアに滞在する人物が訪問者に応対できない状態であるか否かを検知し、前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成する構成とする。
これによると、第1の発明と同様に、訪問先の人物が対象エリアに滞在しているか否かをユーザに提示すると共に、訪問先の人物が訪問者に応対できない状態であるか否かをユーザに提示することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る滞在状況表示システムの全体構成図である。
この滞在状況表示システムは、施設内の各部屋(対象エリア)における人物の滞在状況に関する表示情報を生成してユーザに提示するものであり、カメラ1と、施設管理装置2と、ユーザ端末3と、を備えている。カメラ1、施設管理装置2、およびユーザ端末3は、ネットワークを介して接続されている。
カメラ1は、施設内の各部屋(対象エリア)に設置されており、各部屋に滞在する人物を撮影する。
施設管理装置2は、カメラ1から送信される映像を受信して、その映像を解析することで、施設内の各部屋(対象エリア)における人物の滞在状況に関する表示情報を生成する。
ユーザ端末3は、ユーザが操作するPCやタブレット端末などである。このユーザ端末3は、施設管理装置2から送信される表示情報に基づいて、施設内の各部屋(対象エリア)における人物の滞在状況に関する画面を表示し、この画面をユーザが閲覧することで、施設内の各部屋における人物の滞在状況をユーザが確認することができる。
次に、施設内の部屋のレイアウト、カメラ1の設置状況、およびカメラ1の映像に設定される検知エリアについて説明する。図2は、施設内の部屋のレイアウト、カメラ1の設置状況、および検知エリアの設定状況を示す説明図である。
部屋(執務室)には、机および座席(椅子)が並べて配置されており、各人物に座席が1つずつ割り当てられて、各人物は自分の座席に着席して執務を行う。
部屋の天井には、カメラ1が設置されており、部屋に滞在する人物を撮影する。カメラ1には、魚眼レンズを用いて360度の範囲を撮影する全方位カメラや、所定の画角の範囲を撮影するボックスカメラが採用される。
本実施形態では、カメラ1の映像上に座席ごとの検知エリア(点線の矩形エリア)が予め設定され、この検知エリアの映像に基づいて、人物が自席に在席しているか否かを検知する。
この検知エリアは、座席に座った人物の身体が存在することが想定される位置に設定され、1つの検知エリアが1人の人物に対応するように、人物の身体の大きさを基準にして設定される。また、検知エリアは、カメラ1の映像を表示した画面上で検知エリアの範囲をユーザが指定する操作を行うことで設定されるようにすればよいが、カメラ1の映像から物体(椅子および机)を検出して、その検出結果に基づいて検知エリアを設定するようにしてもよい。
なお、本実施形態では、カメラ1の映像を用いて人物の在席を検知する在席検知が行われ、この在席検知には、人物を上方から撮影する全方位カメラの映像が適している。また、本実施形態では、カメラ1の映像を用いて人物の心拍数を推定する非接触バイタルセンシングが行われ、この非接触バイタルセンシングには、人物の顔を正面から撮影するボックスカメラの映像が適している。
また、本実施形態では、各人物に予め座席が1つずつ割り当てられた部屋で、各人物が自席に在席しているか否かを検知するようにしたが、フリーアドレス制を採用したオフィスや会議室や談話室のように、各人物に予め座席が1つずつ割り当てられていない部屋に誰が滞在しているかを検知するようにしてもよい。この場合、カメラ1の映像から顔認証などの技術を用いて人物を識別するようにすればよい。
次に、施設管理装置2およびユーザ端末3の概略構成について説明する。図3は、施設管理装置2およびユーザ端末3の概略構成を示すブロック図である。
施設管理装置2は、通信部21と、プロセッサ22と、記憶部23と、表示部24(表示装置)と、入力部25と、を備えている。
通信部21は、カメラ1との間で通信を行い、カメラ1から送信される映像を受信する。また、通信部21は、ユーザ端末3との間で通信を行い、画面の表示情報をユーザ端末3に配信し、ユーザ端末3から操作情報を受信する。
記憶部23は、通信部21でカメラ1から受信した映像や、検知エリアに関する設定情報などの各種の設定情報や、プロセッサ22で実行されるプログラムなどを記憶する。
表示部24では、検知エリアを入力する画面(図示せず)などが表示される。入力部25では、オペレータが検知エリアを入力する操作などを行う。
プロセッサ22は、記憶部23に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、在席検知、状態検知、画面制御、および通知制御の各処理を行う。
在席検知の処理では、カメラ1の映像に基づいて、各座席に人物が在席しているか否かをリアルタイムに検知して、人物の在席状況に関する在席情報(滞在情報)を取得する。本実施形態では、映像上に予め設定された座席ごとの検知エリアにおける人物の滞在を一定時間ごとに検知して、各検知エリアにおける一定時間ごとの人物の在席状況に関する情報を取得する。
本実施形態では、人物が滞在すると映像に何らかの変化が生じることから、検知エリアにおける映像の変化状況に基づいて、座席に人物が在席しているか否かを検知する。具体的には、まず、所定のサンプリング周期(例えば1分間)をおいた各時刻の映像から、各時刻の検知エリアの映像を切り出す。そして、各時刻の検知エリアの映像について映像変化率を取得する。このとき、サンプリング周期をおいた直前の時刻の映像と比較して、その直前の時刻の映像に対する映像変化率を取得する。次に、各時刻の映像変化率に基づいて、検知エリアにおける人物の滞在の有無を判定する。そして、判定結果に基づいて、サンプリング周期をおいた各時刻での人物の滞在の有無を表す滞在情報を生成する。なお、在席検知処理において、上記のように映像変化率によらずに、ディープラーニングにより、在席状態と不在状態との2クラスを予め学習させた識別器を用いることができる。在席検知処理の際には、識別器により、検知エリアの画像に関して在席状態としての尤度(確からしさ)と不在状態としての尤度とを求めて、2つの尤度を比較することで、在席と不在とのいずれであるかを判定することができる。
状態検知の処理では、在席検知の処理で人物が在席する場合に、カメラ1の映像に基づいて、人物が訪問者に応対できない状態であるか否かを検知して、人物の状態に関する状態情報を取得する。本実施形態では、人物が通話中であるか否かを判定する通話判定と、人物が会話中であるか否かを判定する会話判定と、人物のストレスの度合いを判定するストレス判定と、が行われる。
通話判定では、検知エリアの映像から、電話で通話を行う際に耳に当てる装置、すなわち、携帯電話(スマートフォンを含む)や、固定電話の受話器や、イヤホン等が、人物の頭部の近傍で検出されると、通話中と判定する。
会話判定では、検知エリアの周辺の映像から、対象となる人物の近傍に別の人物が検出されると、会話中と判定する。このとき、近傍を通り過ぎる人物を排除するため、別の人物が検出された状態が所定時間継続した場合に、会話中と判定するようにするとよい。また、対象となる人物の近傍で、別の人物の発話をマイクで収音して、会話判定を行うようにしてもよい。さらに、映像からの人物検出とマイクからの発話検出を組合わせることで、会話判定精度を更に向上させることができる。
ストレス判定では、カメラ1の映像に基づく非接触バイタルセンシングにより、人物の心拍数を推定して、その心拍数に基づいて、人物のストレスの度合いに応じたストレス状態を判定する。なお、非接触バイタルセンシングは、人物の顔画像から、顔の血管の収縮によって生じる肌の色の変化から、心拍数をリアルタイムに推定するものである。
ここで、心拍数が、所定の第1のしきい値以上である場合に、緊張状態と判定する。また、心拍数が、所定の第2のしきい値未満である場合に、リラックス状態と判定する。また、心拍数が、所定の第1のしきい値未満で、かつ、第2のしきい値以上である場合に、標準状態と判定する。
なお、本実施形態では、カメラ1の映像に基づく非接触バイタルセンシングにより、人物の心拍数を推定して、人物のストレス状態を判定するようにしたが、人物の音声をマイクで収音して、その音声に基づいて人物のストレス状態を判定するようにしてもよい。
画面制御の処理では、ユーザ端末3に表示させる在席状況提示画面の表示情報を生成して、その表示情報をユーザ端末3に送信して、ユーザ端末3に在席状況提示画面を表示させる。この在席状況提示画面には、在席検知で取得した人物の在席状況が表示され、さらに、状態検知で取得した人物の状態が表示される。本実施形態では、在席状況提示画面として、各人物の在席状況および状態を人物別に並べて表示する人物一覧画面(図4参照)や、各人物の在席状況および状態を部屋のマップ上に表示するマップ画面(図5参照)を表示させる。この在席状況提示画面は、在席検知の結果および状態検知の結果に応じて一定時間ごとに更新される。
通知制御の処理では、人物が座席しているか否かに関する在席情報(滞在情報)が更新された場合、すなわち、不在であった人物が自席に戻って、その人物が在席状態となった場合に、その旨を電子メールでユーザに通知する。
ユーザは、在席状況提示画面(図4、図5参照)を閲覧して、訪問先の人物が不在である場合や、その人物が在席していても、通話中、会話中、緊張状態のいずれかである場合には、訪問を断念する。この場合、ユーザが訪問先の人物を通知対象に設定することで、その人物が自席に戻ると、電子メールがユーザ端末3に送信される。
なお、本実施形態では、電子メールをユーザ端末3に送信するようにしたが、ネットワークに接続された端末同士でメッセージをやり取りする公知の通信方式で、在席情報が更新されたことを表すメッセージを送信するようにしてもよい。
また、本実施形態では、在席情報が更新されたタイミングで通知を行うようにしたが、在席情報と共に、状態情報が更新されたタイミングで通知を行うようにしてもよい。具体的には、通話状態、会話状態およびストレス状態を総合的に考慮して、訪問先の人物に関して、訪問者に応対できない状態が全て解消されて、訪問に相応しい状態になった場合、すなわち、その人物が自席に戻って在席状態となり、かつ、通話中、会話中、緊張状態のいずれにも該当しない状態になった場合に、訪問に適したタイミンクであることを表す通知を行う。
また、訪問先の人物が訪問に相応しい状態か否かは考慮せず、単に在席情報または状態情報が更新されたタイミングで、その更新内容をユーザに通知するようにしてもよい。
ユーザ端末3は、通信部31と、プロセッサ32と、記憶部33と、表示部34と、入力部35と、を備えている。
通信部31は、施設管理装置2との間で通信を行う。記憶部33は、プロセッサ22で実行されるプログラムなどを記憶する。プロセッサ32は、ユーザ端末3の各部の動作を制御し、ユーザによる入力部35の操作に応じて、施設管理装置2から送信される画面(図4,図5参照)に関する表示情報を通信部31で受信して、その表示情報に基づいて表示部34に滞在状況提示画面を表示する。
なお、ユーザ端末3がタブレット端末などである場合には、入力部35はタッチパネルとなり、表示部34となる表示パネルと組み合わされてタッチパネルディスプレイを構成する。
次に、ユーザ端末3に表示される人物一覧画面について説明する。図4は、人物一覧画面を示す説明図である。
この人物一覧画面には、部署選択部41と、一覧表示部42と、が設けられている。
部署選択部41には、部署アイコン43が並べて表示される。この部署アイコン43を操作することで、該当する部署に所属する人物が一覧表示部42に表示される。
一覧表示部42には、人物別表示部44が並べて表示される。この人物別表示部44には、人物の顔画像45と名前46とが表示される。また、人物別表示部44は、人物が不在である場合にはグレーアウトで表示される。
なお、本実施形態では、各人物を識別するための人物画像として、人物の顔画像(人物の顔を予め撮影した撮影画像)を表示するようにしたが、この人物画像は、人物の外観の特徴を模式的に描画した画像(似顔絵、アバター)であってもよい。
また、人物別表示部44には、人物が会話中である場合には、会話中のアイコン51が表示され、人物が通話中である場合には、通話中のアイコン52が表示される。
また、人物のストレス状態が緊張状態である場合には、緊張状態のアイコン53が表示され、人物のストレス状態が標準状態である場合には、標準状態のアイコン54が表示され、人物のストレス状態がリラックス状態である場合には、リラックス状態のアイコン55が表示される。
また、人物別表示部44には、電子メールのアイコン56が表示される。この電子メールのアイコン56を操作すると、該当する人物が通知対象に設定される。このとき、アイコン56の表示形態が変化し、例えばアイコン56が反転表示される。なお、訪問に相応しい状態である場合には、通知の必要性を考慮し、電子メールのアイコン56を表示しないようにすることもできる。
次に、ユーザ端末3に表示されるマップ画面について説明する。図5は、マップ画面を示す説明図である。なお、事前に、人物一覧画面(図4参照)に設けられた部署選択部41と同様に部署(フロア)を選択する画面を表示させて、その画面でユーザが部署を選択することで、選択した部署のマップ画面が表示される。
このマップ画面には、各人物の在席状況(滞在状況)を表す在席マップ61が表示される。この在席マップ61では、座席ごとの在席状況を表す座席アイコン62が、オフィスのレイアウトを表わすエリアマップ63(地図画像)上に重畳して表示されている。エリアマップ63には机の画像64が描画されている。
座席アイコン62は、在席状況(在席および不在)に応じて表示形態が変化する。本実施形態では、在席状況に応じて色が変化し、例えば、在席の場合には赤色で表示され、不在の場合には灰色で表示される。なお、在席状況に応じて在席または不在を表す文字を表示したり、在席の場合に人物の顔画像を表示したりしてもよい。
また、このマップ画面には、人物が会話中である場合には、その人物の座席アイコン62の近傍に会話中のアイコン51が表示され、人物が通話中である場合には、その人物の座席アイコン62の近傍に通話中のアイコン52が表示される。
また、人物のストレス状態が緊張状態である場合には、緊張状態の画像65が座席アイコン62に表示され、人物のストレス状態が標準状態である場合には、標準状態の画像66が座席アイコン62に表示され、人物のストレス状態がリラックス状態である場合には、リラックス状態の画像67が座席アイコン62に表示される。
また、このマップ画面では、人物を通知対象に設定する操作、例えば、訪問先の人物の座席アイコン62を操作することで表示されるメニューボックスで通知を選択する操作を行うと、その人物が通知対象に設定され、その人物の座席アイコン62の近傍に電子メールのアイコン68が表示される。
また、このマップ画面では、座席アイコン62に対してマウスオーバーの操作を行うと、情報表示ボックス71が表示される。この情報表示ボックス71には、人物の顔画像45と、人物に関する詳細な情報(名前、所属部署、通話状態、会話状態、ストレス状態など)を表す文字72と、が表示される。
次に、施設管理装置2で行われる在席情報(滞在情報)および状態情報に関する設定処理について説明する。図6は、在席情報および状態情報に関する設定処理の手順を示すフロー図である。
施設管理装置2では、まず、在席検知の結果を取得して、対象となる人物が在席しているか否かを判定する(ST101)。ここで、対象となる人物が不在である場合には(ST101でNo)、対象となる人物の在席情報を不在に設定して(ST102)、処理を終了する。
一方、対象となる人物が在席している場合には(ST101でYes)、対象となる人物の在席情報を在席に設定する(ST103)。次に、対象となる人物が通話中であるか否かを判定する(ST104)。
ここで、対象となる人物が通話中である場合には(ST104でYes)、対象となる人物の対人状態に関する状態情報を通話中に設定して(ST105)、ST109に進む。
一方、対象となる人物が通話中でない場合には(ST104でNo)、次に、対象となる人物が会話中であるか否かを判定する(ST106)。
ここで、対象となる人物が会話中である場合には(ST106でYes)、対象となる人物の対人状態に関する状態情報を会話中に設定して(ST107)、ST109に進む。
一方、対象となる人物が会話中でない場合には(ST106でNo)、対象となる人物の対人状態に関する状態情報をヌルに設定して(ST108)、ST109に進む。
次に、対象となる人物のストレス状態を判定する(ST109)。ここで、ストレスの度合いが高い場合には、対象となる人物のストレス状態に関する状態情報を緊張状態に設定する(ST110)。また、ストレスの度合いが標準である場合には、対象となる人物のストレス状態に関する状態情報を標準状態に設定する(ST111)。また、ストレスの度合いが低い場合には、対象となる人物のストレス状態に関する状態情報をリラックス状態に設定する(ST112)。
以上の処理は、一定周期で定期的に実行される。
次に、施設管理装置2で行われる通知制御について説明する。図7は、通知制御の動作手順を示すフロー図である。
まず、通知対象に設定された人物がいるか否かを判定する(ST201)。ここで、通知対象に設定された人物がいる場合には(ST201でYes)、通知対象に設定された全ての人物を対象にして、通知判定の処理(ST202〜ST206)を行う。
この通知判定の処理では、まず、対象となる人物が在席したか否かを判定する(ST203)。ここで、対象となる人物が在席した場合には(ST203でYes)、その人物のユーザ端末3に電子メールを送信する(ST204)。次に、通知済みの人物を通知対象から除外する(ST205)。一方、人物が不在である場合には(ST203でNo)、特に処理を行わず、次の人物の処理に進む。
以上の処理は、一定周期で定期的に実行される。
なお、これまで通知制御について、電子メールによる通知機能を例に説明したが、ユーザ端末3にインストールされた滞在状況提示に関するアプリケーションによるアプリプッシュ通知機能、あるいは、Webプッシュ通知機能によって、タイムリーな通知を受けられるようにすることができる。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
本発明に係る滞在状況表示システムおよび滞在状況表示方法は、訪問先の人物が対象エリアに滞在しているか否かをユーザに提示すると共に、訪問先の人物が訪問者に応対できない状態であるか否かをユーザに提示することができる効果を有し、施設内の対象エリアに設置されたカメラにより撮影される映像に基づいて、対象エリアにおける人物の滞在状況に関する表示情報を生成する滞在状況表示システムおよび滞在状況表示方法などとして有用である。
1 カメラ
2 施設管理装置
3 ユーザ端末
21 通信部
22 プロセッサ
23 記憶部
24 表示部
25 入力部
45 顔画像(人物画像)
51 会話中のアイコン(状態アイコン)
52 通話中のアイコン(状態アイコン)
53 緊張状態のアイコン(状態アイコン)
54 標準状態のアイコン(状態アイコン)
55 リラックス状態のアイコン(状態アイコン)
56 電子メールのアイコン
61 在席マップ
62 座席アイコン(状態アイコン)
63 エリアマップ
65 緊張状態の画像
66 標準状態の画像
67 リラックス状態の画像
68 電子メールのアイコン
71 情報表示ボックス

Claims (8)

  1. 対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示システムであって、
    前記プロセッサは、
    前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、
    前記対象エリアに滞在する人物が訪問者に応対できない状態であるか否かを検知し、
    前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成することを特徴とする滞在状況表示システム。
  2. 前記プロセッサは、
    人物を選択して通知対象に設定するユーザの操作に応じて、通知対象に設定された人物に関する前記滞在情報が更新された場合に、その旨を表す通知をユーザ端末に送信することを特徴とする請求項1に記載の滞在状況表示システム。
  3. 前記プロセッサは、
    人物画像を並べて表示した人物一覧画面を生成し、
    この人物一覧画面に、前記状態情報として、人物が訪問者に応対できない状態であるか否かを表す状態アイコンを表示することを特徴とする請求項1または請求項2に記載の滞在状況表示システム。
  4. 前記プロセッサは、
    前記状態情報として、人物が訪問者に応対できない状態であるか否かを表す状態アイコンを、前記対象エリアを表すマップ画像上の対応する人物の位置に重畳したマップ画面を生成し、
    人物を選択するユーザの操作に応じて、選択した人物の人物画像を前記マップ画面に表示することを特徴とする請求項1または請求項2に記載の滞在状況表示システム。
  5. 前記状態情報は、通話状態、会話状態、ストレス状態の少なくともいずれかの状態を表すことを特徴とする請求項1から請求項4のいずれかに記載の滞在状況表示システム。
  6. 前記プロセッサは、
    前記カメラの映像に基づいて、前記対象エリアに滞在する人物が会話中であるか否かを判定することを特徴とする請求項1から請求項5のいずれかに記載の滞在状況表示システム。
  7. 前記プロセッサは、
    前記カメラの映像に基づいて、前記対象エリアに滞在する人物が緊張状態であるか否かを判定することを特徴とする請求項1から請求項6のいずれかに記載の滞在状況表示システム。
  8. 対象エリアに設置されたカメラにより撮影される映像をリアルタイムに取得して、前記対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示方法であって、
    前記カメラの映像に基づいて、前記対象エリアに人物が滞在しているか否かを検知し、
    前記対象エリアに滞在する人物が訪問者に応対できない状態であるか否かを検知し、
    前記対象エリアに人物が滞在しているか否かに関する滞在情報とともに、人物が訪問者に応対できない状態であるか否かに関する状態情報を表示した前記表示情報を生成することを特徴とする滞在状況表示方法。
JP2018029349A 2018-02-22 2018-02-22 滞在状況表示システムおよび滞在状況表示方法 Active JP6941805B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018029349A JP6941805B2 (ja) 2018-02-22 2018-02-22 滞在状況表示システムおよび滞在状況表示方法
GB2013771.7A GB2585557B (en) 2018-02-22 2019-02-07 Presence status display system and presence status display method
PCT/JP2019/004501 WO2019163542A1 (ja) 2018-02-22 2019-02-07 滞在状況表示システムおよび滞在状況表示方法
DE112019000931.1T DE112019000931T5 (de) 2018-02-22 2019-02-07 Anwesenheitsstatus-Anzeigesystem und Anwesenheitsstatus-Anzeigeverfahren
CN201980014927.1A CN111758110A (zh) 2018-02-22 2019-02-07 停留状况显示系统以及停留状况显示方法
US16/971,206 US11461736B2 (en) 2018-02-22 2019-02-07 Presence status display system and presence status display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018029349A JP6941805B2 (ja) 2018-02-22 2018-02-22 滞在状況表示システムおよび滞在状況表示方法

Publications (2)

Publication Number Publication Date
JP2019144917A true JP2019144917A (ja) 2019-08-29
JP6941805B2 JP6941805B2 (ja) 2021-09-29

Family

ID=67686968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018029349A Active JP6941805B2 (ja) 2018-02-22 2018-02-22 滞在状況表示システムおよび滞在状況表示方法

Country Status (6)

Country Link
US (1) US11461736B2 (ja)
JP (1) JP6941805B2 (ja)
CN (1) CN111758110A (ja)
DE (1) DE112019000931T5 (ja)
GB (1) GB2585557B (ja)
WO (1) WO2019163542A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021186569A1 (ja) * 2020-03-17 2021-09-23 日本電気株式会社 訪問支援装置、訪問支援システム、訪問支援方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2023084593A1 (ja) * 2021-11-09 2023-05-19 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
WO2023152889A1 (ja) * 2022-02-10 2023-08-17 日本電気株式会社 監視装置、監視システム、監視方法及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075248A (zh) * 2013-03-29 2015-11-18 日本电气株式会社 对象物体标识设备、对象物体标识方法和对象物体标识程序
JP7080164B2 (ja) * 2018-12-17 2022-06-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
WO2022009380A1 (ja) * 2020-07-09 2022-01-13 日本電気株式会社 サーバ装置、入退場管理システム、サーバ装置の制御方法及び記憶媒体
CN112035202B (zh) * 2020-08-25 2021-11-23 北京字节跳动网络技术有限公司 好友活跃信息的显示方法、装置、电子设备和存储介质
WO2023276877A1 (ja) * 2021-07-01 2023-01-05 パナソニックIpマネジメント株式会社 在席状況提示方法および在席状況提示システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186490A (ja) * 1999-12-27 2001-07-06 Canon Inc 分散システム、その表示方法および記憶媒体
JP2002260110A (ja) * 2001-02-26 2002-09-13 Nec Corp 在席モニタリングシステムおよびその方法
JP2011123579A (ja) * 2009-12-09 2011-06-23 Daiwa Securities Group Inc 従業員行動の管理方法及び管理システム
JP2011176599A (ja) * 2010-02-24 2011-09-08 Oki Networks Co Ltd 空間情報可視化システム及び関連情報提供装置
US20130217350A1 (en) * 2012-02-16 2013-08-22 Research In Motion Corporation System and method for communicating presence status
JP2013182450A (ja) * 2012-03-02 2013-09-12 Fuji Xerox Co Ltd 所在管理プログラム及び所在管理装置
JP6201432B2 (ja) * 2013-05-30 2017-09-27 富士ゼロックス株式会社 情報処理装置、情報処理システム及び情報処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0758823A (ja) 1993-08-12 1995-03-03 Nippon Telegr & Teleph Corp <Ntt> 電話発信システム
NO20042409L (no) * 2004-06-09 2005-12-12 Tandberg Telecom As System og metode for detektering av tilstedevaerelse.
JP2007026016A (ja) * 2005-07-15 2007-02-01 Hitachi Ltd グループコミュニケーション支援装置
EP1920393A2 (en) * 2005-07-22 2008-05-14 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
JP5714937B2 (ja) * 2011-02-25 2015-05-07 大阪瓦斯株式会社 在席確認システム
US20150003595A1 (en) * 2011-04-25 2015-01-01 Transparency Sciences, Llc System, Method and Computer Program Product for a Universal Call Capture Device
TWI584208B (zh) * 2013-12-03 2017-05-21 鄒朝聖 人員勤務管理系統及其方法
JP6749278B2 (ja) * 2017-04-14 2020-09-02 ダイキン工業株式会社 生理状態判定装置
WO2018193813A1 (ja) * 2017-04-21 2018-10-25 パナソニックIpマネジメント株式会社 滞在状況表示システムおよび滞在状況表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186490A (ja) * 1999-12-27 2001-07-06 Canon Inc 分散システム、その表示方法および記憶媒体
JP2002260110A (ja) * 2001-02-26 2002-09-13 Nec Corp 在席モニタリングシステムおよびその方法
JP2011123579A (ja) * 2009-12-09 2011-06-23 Daiwa Securities Group Inc 従業員行動の管理方法及び管理システム
JP2011176599A (ja) * 2010-02-24 2011-09-08 Oki Networks Co Ltd 空間情報可視化システム及び関連情報提供装置
US20130217350A1 (en) * 2012-02-16 2013-08-22 Research In Motion Corporation System and method for communicating presence status
JP2013182450A (ja) * 2012-03-02 2013-09-12 Fuji Xerox Co Ltd 所在管理プログラム及び所在管理装置
JP6201432B2 (ja) * 2013-05-30 2017-09-27 富士ゼロックス株式会社 情報処理装置、情報処理システム及び情報処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021186569A1 (ja) * 2020-03-17 2021-09-23 日本電気株式会社 訪問支援装置、訪問支援システム、訪問支援方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2023084593A1 (ja) * 2021-11-09 2023-05-19 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
WO2023152889A1 (ja) * 2022-02-10 2023-08-17 日本電気株式会社 監視装置、監視システム、監視方法及びプログラム

Also Published As

Publication number Publication date
US11461736B2 (en) 2022-10-04
GB2585557B (en) 2022-10-12
US20210097488A1 (en) 2021-04-01
GB2585557A (en) 2021-01-13
WO2019163542A1 (ja) 2019-08-29
DE112019000931T5 (de) 2020-12-03
CN111758110A (zh) 2020-10-09
JP6941805B2 (ja) 2021-09-29
GB202013771D0 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
WO2019163542A1 (ja) 滞在状況表示システムおよび滞在状況表示方法
WO2019163543A1 (ja) 執務席提示システムおよび執務席提示方法
JP2019083468A (ja) 出力制御装置、インターホン子機、およびインターホンシステム
US10325144B2 (en) Wearable apparatus and information processing method and device thereof
JP6212414B2 (ja) インターホンシステム
JP2015207806A (ja) 遠隔会議支援システム及び遠隔会議支援プログラム
JP2012213092A (ja) ドアホン装置、来訪者評価方法及びドアホンシステム
EP1162815A2 (en) Method and system for video telephony
JP4287770B2 (ja) 情報伝達方法及びこの方法を実現するための通信装置とそのプログラム
JP6550951B2 (ja) 端末、ビデオ会議システム、及びプログラム
JP2003230116A (ja) 対人通信装置、対人通信システム、プログラムおよび記録媒体
JP5177146B2 (ja) コミュニケーションシステム及びコミュニケーションプログラム
JP7501575B2 (ja) ビデオ会議システム、ビデオ会議方法、およびプログラム
JP7278010B1 (ja) 複数の作業者が連携して業務を行うことを支援する方法、プログラム及び業務支援装置
EP4068699A1 (en) Devices and related methods for providing environments
JP6547467B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法、プログラムおよびコミュニケーション支援システム
WO2024009623A1 (ja) 評価システム、評価装置および評価方法
JP2010130359A (ja) インターホン装置
CN114139750A (zh) 信息处理装置、信息处理方法和计算机可读介质
JP2018028800A (ja) 作業支援装置、作業支援方法、およびプログラム
JP2023047000A (ja) 仮想休憩室提供システム、および仮想休憩室提供方法
JPWO2021186560A5 (ja) 訪問支援装置、訪問支援システム、訪問支援方法及びプログラム
JP2022015268A (ja) 通信端末装置、制御装置、通信制御方法、および制御プログラム
JP2023167830A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JPH08249545A (ja) 通信支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201022

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201022

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201102

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201104

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201204

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20201208

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210413

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210608

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210622

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210727

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210823

R151 Written notification of patent or utility model registration

Ref document number: 6941805

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151