JP2023000288A - 情報処理システム、その制御方法、および、プログラム - Google Patents

情報処理システム、その制御方法、および、プログラム Download PDF

Info

Publication number
JP2023000288A
JP2023000288A JP2021101026A JP2021101026A JP2023000288A JP 2023000288 A JP2023000288 A JP 2023000288A JP 2021101026 A JP2021101026 A JP 2021101026A JP 2021101026 A JP2021101026 A JP 2021101026A JP 2023000288 A JP2023000288 A JP 2023000288A
Authority
JP
Japan
Prior art keywords
person
information
information processing
processing system
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021101026A
Other languages
English (en)
Other versions
JP2023000288A5 (ja
Inventor
泰志 富久
Yasushi Fuku
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021101026A priority Critical patent/JP2023000288A/ja
Priority to US17/841,764 priority patent/US12101283B2/en
Publication of JP2023000288A publication Critical patent/JP2023000288A/ja
Publication of JP2023000288A5 publication Critical patent/JP2023000288A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6889—Rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】円滑なコミュニケーションを実現する情報処理システム、その制御方法及びプログラム提供する。【解決手段】情報処理システムは、第１人物の感情を分析し、第１人物の感情レベルを定量化する分析手段（携帯端末１９０ａのＣＰＵ）と、第１人物のコミュニケーション対象となる第２人物を識別する識別手段（サーバ１６０のＣＰＵ）と、感情レベルが設定された閾値を超えた場合に、第２人物に対して報知を行う報知手段（サーバ１６０のＣＰＵ及び携帯端末１９０ｂのバイブレーション機能やセンサのスピーカ、操作部の画面表示など）と、を含む。分析手段は、第１人物の生体情報、音声情報および映像情報のうち少なくとも１つの情報に基づいて感情レベルを定量化する。【選択図】図２

Description

本発明は、情報処理システム、その制御方法、および、プログラムに関する。
人々の価値観の多様化に伴い、円滑なコミュニケーションをとることが難しい場合がある。特許文献１には、複数の参加者によるコミュニケーションを音声データおよび画像データに基づいて評価し、評価結果を複数の参加者にリアルタイムで提供するコミュニケーション解析装置が示されている。
国際公開第２０１８／１７４０８８号
特許文献１には、参加者のコミュニケーションへの参加度を解析し、参加度が低い参加者に向けて参加や発言を促すことが示されている。しかしながら、参加度が低い参加者に対して参加や発言を促すだけでは、それぞれ異なる価値観を有する参加者の間で円滑なコミュニケーションをとることが難しい可能性がある。
本発明は、円滑なコミュニケーションを実現するのに有利な技術を提供することを目的とする。
上記課題に鑑みて、本発明の実施形態に係る情報処理システムは、第１人物の感情を分析し、前記第１人物の感情レベルを定量化する分析手段と、前記第１人物のコミュニケーション対象となる第２人物を識別する識別手段と、を含む情報処理システムであって、前記感情レベルが設定された閾値を超えた場合に、前記第２人物に対して報知を行う報知手段をさらに含むことを特徴とする。
本発明によれば、円滑なコミュニケーションを実現するのに有利な技術を提供することができる。
本実施形態の情報処理システムの構成例を示すブロック図。 図１の情報処理システムの処理のシーケンスを示す図。 図１の情報処理システムが用いられるコミュニケーションスペースの例を示す図。 図１の情報処理システムの処理フローの例を示す図。 図１の情報処理システムの処理フローの例を示す図。 図１の情報処理システムの処理フローの例を示す図。 図１の情報処理システムのシーンの例を示す図。 図１の情報処理システムの処理のシーケンスを示す図。 図１の情報処理システムが用いられるコミュニケーションスペースの例を示す図。 図１の情報処理システムの処理フローの例を示す図。 図１の情報処理システムの処理フローの例を示す図。 図１の情報処理システムの処理フローの例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図１～図１２を参照して、本開示の実施形態による情報処理システムについて説明する。図１は、本実施形態における情報処理システム１１０の構成例を示す図である。図１に示されるように、情報処理システム１１０には、携帯端末１９０、情報処理装置１００、サーバ１６０が含まれる。１つの情報処理システム１１０には、図１に示されるように、複数の携帯端末１９０が配置されていてもよい。また、１つの情報処理システム１１０には、図１に示されるように、複数の情報処理装置１００が配されていてもよい。サーバ１６０は、例えば、クラウドサーバなどであってもよい。サーバ１６０も、携帯端末１９０や情報処理装置１００と同様に、１つの情報処理システム１１０に対して複数のサーバが分散して配されていてもよい。ここで、本明細書において、情報処理システム１１０に含まれる複数の携帯端末１９０のうち特定の携帯端末を示す場合、携帯端末１９０ａのように、参照符号の末尾に「ａ」、「ｂ」などの添え字を付記する。それぞれの携帯端末を区別する必要がない場合は、単に「携帯端末１９０」と示す。他の構成要素についても同様である。
携帯端末１９０、情報処理装置１００およびサーバ１６０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などのネットワーク１７０を介して、相互に通信可能に接続されている。ネットワーク１７０は、有線ネットワークであってもよいし、無線ネットワークであってもよい。また、ネットワーク１７０は、有線ネットワークと無線ネットワークとが組み合わされた構成であってもよい。
さらに、情報処理システム１１０には、他の装置が接続されていてもよい。本実施形態において、図１に示されるように、情報処理システム１１０には、印刷装置１２１、プロジェクタ１２２、ネットワークカメラ１２３などの周辺装置１２０が接続されている。印刷装置１２１は、印刷物など出力物の画像情報や文書情報など出力データを保持しうる。印刷装置１２１は、出力物の帳票種別や記載内容に基づいて出力データの内容を判断してもよい。出力データの内容の判断は、印刷装置１２１で実施されることに限られるものではない。印刷装置１２１が、出力データをサーバ１６０や情報処理装置１００、携帯端末１９０などに出力し、サーバ１６０や情報処理装置１００、携帯端末１９０が、出力データの内容を判断してもよい。
プロジェクタ１２２は、投影した画像情報や文書情報などの表示データを保持しうる。プロジェクタ１２２は、投影された画像や文書などの帳票種別や記載内容に基づいて表示データの内容を判断してもよい。表示データの内容の判断は、プロジェクタ１２２で実施されることに限られるものではない。プロジェクタ１２２が、表示データをサーバ１６０や情報処理装置１００、携帯端末１９０などに出力し、サーバ１６０や情報処理装置１００、携帯端末１９０が、表示データの内容を判断してもよい。プロジェクタ１２２は、表示装置の一例であり、ディスプレイなど画像や文章を表示可能な他の装置であってもよい。
ネットワークカメラ１２３は、撮影した映像データ（映像情報、音声情報）および映像データに基づいた人物、場所、行動を特定した行動データを保持しうる。行動データの特定は、ネットワークカメラ１２３で実施されることに限られるものではない。ネットワークカメラが、映像データをサーバ１６０や情報処理装置１００、携帯端末１９０などに出力し、サーバ１６０や情報処理装置１００、携帯端末１９０が、行動データを特定してもよい。ネットワークカメラ１２３は、撮影装置の一例であり、スチルカメラやビデオカメラ、テレビカメラなど他の装置であってもよい。
周辺装置１２０は、印刷装置１２１、プロジェクタ１２２、ネットワークカメラ１２３に限定されるものではない。周辺装置１２０を用いて、画像や文書などの情報に基づいて、例えば、どのような内容の議論がされているのかといった情報や、いつ、誰が、どこで、何をしているかを示す行動データなどの情報が得られればよい。例えば、社員カードなど個人を特定可能なツールを用いて会議室の入退室を把握できる会議室利用状況管理システムが、周辺装置１２０として用いられていてもよい。また、例えば、いつ、誰が、何を議論するかといった情報が管理されたスケジュール管理システムが、周辺装置１２０として用いられていてもよい。
携帯端末１９０は、操作部１９５、記憶装置１９６、センサ１９７、制御装置１９１を含み構成されている。操作部１９５、記憶装置１９６、センサ１９７などの携帯端末１９０内の各構成要素を制御するための制御装置１９１は、ＣＰＵ１９２、ＲＯＭ１９３、ＲＡＭ１９４を含む。ＣＰＵ１９２は、ＲＯＭ１９３や他の記憶媒体に格納された制御プログラムであるオペレーティングシステムプログラム（以下、ＯＳと表記する場合がある。）に基づいて、携帯端末１９０の各構成要素を統括制御する。ＲＡＭ１９４は、ＣＰＵ１９２の作業領域として用いられる。
操作部１９５は、ユーザからの入力の受け付けや、画像の表示などを行う。操作部１９５は、例えば、キーボードやポインティングデバイスなどを備えていてもよいし、タッチパネルディスプレイを備えていてもよい。操作部１９５は、ユーザから入力された情報を制御装置１９１へ通知する。記憶装置１９６は、ＣＰＵ１９２の作業領域として利用されうる。また、記憶装置１９６は、データの格納／保存ができる。センサ１９７は、ユーザの状態を取得するための構成要素である。センサ１９７は、例えば、ユーザの心拍数、呼吸数、血圧、発汗、体動などの生体情報を取得のための生体情報センサを含みうる。また、センサ１９７は、例えば、音声情報を取得するためのマイクを含みうる。また、センサ１９７は、例えば、映像情報を取得するためのカメラを含みうる。センサ１９７は、さらに、音声出力のためのスピーカを備えていてもよい。センサ１９７は、生体情報、音声情報、映像情報などを取得するためのデータを制御装置１９１へ出力する。センサ１９７が、生体情報、音声情報、映像情報を解析してもよいし、制御装置１９１が、センサ１９７によって得られたデータに基づいて生体情報、音声情報、映像情報の解析を行ってもよい。
携帯端末１９０は、例えば、情報処理機能や通信機能を有するスマートウォッチのような形態であってもよい。しかしながら、これに限られることはない。例えば、携帯端末１９０は、生体情報を得るためのセンサ１９７を有し、音声情報や映像情報などは、情報処理装置１００や周辺装置１２０などによって取得されてもよい。１つの情報処理システム１１０には、上述したように、複数の携帯端末１９０が、ネットワーク１７０を介して接続されていてもよい。
情報処理装置１００は、制御装置１０１、操作部１０５、記憶装置１０６、入出力部１０７、表示部１０８を含む。制御装置１０１は、情報処理装置１００内の各構成要素を統括的に制御する制御基板（コントローラ）である。制御装置１０１は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４を含む。ＣＰＵ１０２は、システムバス（不図示）を介して、制御装置１０１内の各構成要素を制御する。例えば、ＣＰＵ１９２は、ＲＯＭ１９３やＲＡＭ１９４、記憶装置１９６、または、他の記憶媒体に記憶されたプログラムを読み出して実行することによって、情報処理装置１００の機能を実行する。ＲＯＭ１０３は、例えば、オペレーティングシステムプログラム（ＯＳ）などの各種制御プログラムや、情報処理装置１００の機能を実行する上で必要なテーブルや設定データなどを記憶している。ＲＡＭ１０４は、例えば、ＣＰＵ１０２のワークメモリとして用いられる。記憶装置１０６は、例えば、各種アプリケーションプログラムや、データ、ユーザ情報、機器情報などを記憶する。
操作部１０５は、ユーザからの入力を受付けるためのキーボードやポインティングデバイスなどを備えていてもよいし、タッチパネルディスプレイを備えていてもよい。操作部１０５は、ユーザが入力した操作などの情報を制御装置１０１へ出力する。入出力部１０７は、例えば、音声入力のためのマイク、音声出力のためのスピーカ、画像入力のためのカメラなどを備え、取得した情報を制御装置１０１へ出力する。表示部１０８は、例えば、液晶ディスプレイであり、各種ユーザーインターフェース画面や情報の表示を行う。
サーバ１６０の構成は、情報処理装置１００と同様の構成を備えていてもよい。したがって、ここでは詳細な説明を割愛する。
図２は、本実施形態における情報処理システム１１０の処理の流れを示す図である。情報処理システム１１０は、以下の３つの処理を実施する。１つ目の処理は、参加者がコミュニケーションを行うコミュニケーションスペースのシーンを特定するためのシーン特定処理Ｐ２０１である。２つ目の処理は、コミュニケーションスペースにおいて、携帯端末１９０を使用する人物の感情を分析し、人物の感情レベルを定量化する感情分析処理Ｐ２０２である。３つ目は、感情レベルを定量化された人物のコミュニケーション対象となる人物を識別し、感情レベルが設定された閾値を超えた場合に、コミュニケーション対象となる人物に対して報知を行う報知処理Ｐ２０３である。以下、詳細に説明する。
図３は、情報処理システム１１０が用いられるコミュニケーションスペースの例を示す図である。コミュニケーションスペースは、人物１４１、１４２を含む複数の参加者がコミュニケーションを行う場である。コミュニケーションスペースは、図３に示されるような会議室１４０など、現実的な空間であってもよい。また、コミュニケーションスペースは、後述するようなオンライン上の仮想的な空間であってもよい。
図３に示されるように、会議室１４０には、周辺装置１２０として印刷装置１２１およびネットワークカメラ１２３が設置されている。人物１４１と人物１４２とが、例えば、会議などのコミュニケーションを行う参加者として、会議室１４０に参集している。また、会議室１４０の外部には、人物１４３が存在する。ここで、人物１４３は、コミュニケーションスペースである会議室１４０において会議などのコミュニケーションを行う参加者ではない。
人物１４１は、携帯端末１９０ａを身につけており、印刷装置１２１から出力された印刷物１３０を持っている。人物１４２は、携帯端末１９０ｂを身につけており、人物１４１と同じく印刷物１３０を持っている。人物１４３は、情報処理装置１００ａを利用している。図３に示される例では、人物１４１と人物１４２との１対１の打ち合わせを例に説明を行うが、３人以上の人物が参加する会議などであってもよい。
図４は、シーン特定処理Ｐ２０１のそれぞれの工程を示すフロー図である。図４に示されるシーン特定処理Ｐ２０１は、例えば、サーバ１６０によって実行される。サーバ１６０の制御装置１０１において、ＣＰＵ１０２が、ＲＯＭ１０３に記憶されたプログラムをＲＡＭ１０４に読み出して実行することによって、シーン特定処理Ｐ２０１が実現される。ここでは、一定間隔でシーン特定処理Ｐ２０１が開始されるものとするが、人物１４１と人物１４２とのコミュニケーションが開始されたことをきっかけにシーン特定処理Ｐ２０１を開始するという形態でもよい。より具体的には、例えば、ネットワークカメラ１２３が撮影した映像データから、サーバ１６０（制御装置１０１、ＣＰＵ１０２）が、会議室１４０に人物１４１および人物１４２が入室したことを判定し、シーン特定処理Ｐ２０１が開始されてもよい。また、例えば、周辺装置１２０として会議室１４０の入退室管理システムが配されており、人物１４１および人物１４２が会議室１４０に入室したことをきっかけにシーン特定処理Ｐ２０１が開始されてもよい。
シーン特定処理Ｐ２０１が開始されると、Ｓ４０１において、サーバ１６０のＣＰＵ１０２は、周辺装置１２０に対してシーンを特定するために必要なデータを要求し、周辺装置１２０からデータを取得する。例えば、印刷装置１２１は、印刷物１３０など出力物の画像情報や文書情報などを含む出力データをサーバ１６０に送信する。また、例えば、ネットワークカメラ１２３など周辺装置１２０のうち撮影装置は、撮影した映像情報や音声情報などを含む映像データをサーバ１６０に送信する。この場合、ネットワークカメラ１２３など周辺装置１２０のうち撮影装置は、映像データの解析を実施し、人物１４１、１４２の特定や人物１４１、１４２の行動を特定した行動データをサーバ１６０に送信してもよい。
また、図３には示されていないが、会議室１４０にプロジェクタ１２２やディスプレイなど周辺装置１２０のうち表示装置が配置されていてもよい。表示装置が配されている場合、会議室１４０の表示装置に表示された画像情報や文書情報などを含む表示データが、シーンを特定するために必要なデータとしてサーバ１６０に送信されてもよい。
次いで、Ｓ４０２において、サーバ１６０のＣＰＵ１０２は、Ｓ４０１において周辺装置１２０から取得した各種のデータから、コミュニケーションスペースである会議室１４０のシーンを特定する。サーバ１６０のＣＰＵ１０２は、上述のコミュニケーションスペースにおける画像情報、文章情報、音声情報および映像情報のうち少なくとも１つの情報に基づいてシーンを特定する。
図７に、シーン特定結果の例が示されている。出力物７０２は、例えば、印刷装置１２１が出力した印刷物１３０など出力物の画像情報や文書情報や、会議室１４０のプロジェクタ１２２などの表示装置に表示された画像情報や文書情報などでありうる。人７０３は、出力物７０２の画像情報や文章情報に対応付けられる参加者の情報や、ネットワークカメラ１２３などの撮影装置によって得られた音声情報や映像情報から識別された人物１４１、１４２などコミュニケーションスペースの参加者の情報でありうる。また、人７０３は、会議室１４０の入退室管理システムによって得られたコミュニケーションスペースの参加者の情報であってもよい。場所７０４は、会議室１４０などのコミュニケーションスペースの場所の情報である。
サーバ１６０のＣＰＵ１０２は、コミュニケーションスペースにおける上述の画像情報、文章情報、音声情報および映像情報のうち少なくとも１つの情報に基づいてシーンを特定する。サーバ１６０は、上述のように、サーバ１６０と通信可能な周辺装置１２０からコミュニケーションスペース（会議室１４０）における画像情報、文章情報、音声情報および映像情報の何れかの情報を取得する。サーバ１６０のＣＰＵ１０２は、出力物７０２、人７０３、場所７０４などの情報を基づいて、シーン特定結果７００および重要度７０１を含むコミュニケーションスペースのシーンを判定する。このように、本実施形態において、サーバ１６０（ＣＰＵ１０２）は、参加者がコミュニケーションを行うコミュニケーションスペースのシーンを特定するための特定手段として機能する。
例えば、出力物７０２が成果報告書、人物１４１が資料作成を行った一般社員、人物１４２が承認者権限を持つ管理職、また、人物１４１、１４２以外の人物も入室しているケースでは、成果報告のような重要報告のシーンだと判定される。この場合、重要度は、高いと判定される。判定基準は、予め定められたものに従うだけでなく、利用者が任意の基準を登録するなど、適宜カスタマイズが行われてもよい。以上のように、Ｓ４０２において、サーバ１６０は、コミュニケーションスペースである会議室１４０における議論の情報、参加者の情報、および、コミュニケーションスペースの場所の情報のうち少なくとも１つの情報を含むシーンを特定する。
シーンが特定されると、Ｓ４０３において、サーバ１６０のＣＰＵ１０２は、携帯端末１９０ａ、携帯端末１９０ｂを介して、人物１４１、１４２にシーンの情報（シーン特定結果、重要度）を通知してもよい。
次いで、Ｓ４０４において、サーバ１６０のＣＰＵ１０２は、シーンを特定した結果の履歴を記憶装置１０６に保存し、シーン特定処理Ｐ２０１を終了する。Ｓ４０４で保存された履歴データは、例えば、どのようなシーンでどのようなコミュニケーションが行われているかなどの実績をグラフなどによって可視化し、利用者が、判断基準をカスタマイズする際の参照材料にすることができる。また、例えば、サーバ１６０のＣＰＵ１０２が、履歴データを用いて機械学習を行い、上述したコミュニケーションスペースにおける画像情報、文章情報、音声情報、映像情報などのデータと、コミュニケーションスペースにおける議論の情報、参加者の情報、コミュニケーションスペースの場所の情報などのシーンの情報と、の関係を機械学習した学習済みモデルを生成し記憶装置１０６に保存してもよい。さらに、サーバ１６０のＣＰＵ１０２は、Ｓ４０２において、学習済みモデルを用いてシーンの特定を行ってもよい。これによって、シーンを特定する精度が向上しうる。また、例えば、サーバ１６０のＣＰＵ１０２は、学習済みモデルから、シーンを特定する際の重要度７０１の判定基準のカスタマイズを行ってもよい。
次いで、感情分析処理Ｐ２０２について説明する。図５は、携帯端末１９０ａにおける感情分析処理Ｐ２０２のそれぞれの工程を示すフロー図である。図５に示される感情分析処理Ｐ２０２は、例えば、携帯端末１９０ａの制御装置１９１において、ＣＰＵ１９２が、ＲＯＭ１９３に記憶されたプログラムをＲＡＭ１９４に読み出して実行することで実現される。本実施形態において、所定の間隔で感情分析処理Ｐ２０２が実行される。感情分析処理Ｐ２０２は、携帯端末１９０ｂにおいても同時に行われうる。
感情分析処理Ｐ２０２が開始されると、Ｓ５０１において、携帯端末１９０ａのＣＰＵ１９２は、センサ１９７から上述のように、人物１４１の生体情報、画像情報、音声情報などのデータを取得する。次いで、Ｓ５０２において、携帯端末１９０ａのＣＰＵ１９２は、感情分析を行う必要があるか否か判定する。携帯端末１９０ａのＣＰＵ１９２における処理負荷を抑えるためにＳ５０２の工程が挿入されているが、常にＳ５０３の感情分析の工程を実行してもよい。例えば、携帯端末１９０ａの起動直後など、感情分析処理Ｐ２０２が行われていない場合や、前回の感情分析処理Ｐ２０２の実行から所定の時間が経過している場合などにおいて、携帯端末１９０ａのＣＰＵ１９２は、感情分析を行う必要があると判定してもよい。また、例えば、上述のＳ４０３においてサーバ１６０から受信したシーンの情報が変化している場合や、Ｓ５０１において取得したデータが大きく変化している場合など、携帯端末１９０ａのＣＰＵ１９２は、感情分析を行う必要があると判定してもよい。感情分析を行う必要があると判定された場合、感情分析処理Ｐ２０２は、Ｓ５０３に遷移する。感情分析を行う必要が無いと判定された場合、感情分析処理Ｐ２０２は、Ｓ５０５に遷移する。感情分析を行う必要が無いと判定された場合、感情分析処理Ｐ２０２は終了してもよい。
Ｓ５０３において、携帯端末１９０ａのＣＰＵ１９２は、Ｓ５０１で取得したデータに基づいて、穏やか（平常）、ポジティブな感情（喜び、楽しみ、満足）、ネガティブな感情（怒り、悲しみ、不満）、異常な感情（焦り、虚ろ）など、人物１４１の感情レベルを定量化する。人物１４１の心拍数など上述した生体情報や、人物１４１自身やコミュニケーション対象である人物１４２の発言の内容や強弱、抑揚の音声情報などが、感情分析に用いられうる。また、ネットワークカメラ１２３によって撮影された映像情報に基づく人物１４１や人物１４２の表情のデータが、感情分析に用いられてもよい。このように、携帯端末１９０ａのＣＰＵ１９２は、人物１４１の生体情報、音声情報および映像情報のうち少なくとも１つの情報に基づいて人物１４１の感情レベルを定量化する。さらに、人物１４２の生体情報、音声情報および映像情報のうち少なくとも１つの情報に基づいて、人物１４１の感情レベルが定量化されてもよい。このように、本実施形態において、携帯端末１９０ａ（ＣＰＵ１９２）は、人物１４１の感情を分析し、人物１４１の感情レベルを定量化するための分析手段として機能する。同様に、携帯端末１９０ｂは、人物１４２の感情を分析し、人物１４２の感情レベルを定量化しうる。
人物１４１の感情レベルが定量化されると、Ｓ５０４において、携帯端末１９０ａのＣＰＵ１９２は、感情レベルをサーバ１６０に送信する。図５に示されるフローでは、Ｓ５０３において感情分析を行った場合、常に感情レベルをサーバ１６０に送信しているが、前回の処理結果との差異が無い、または少ない場合、Ｓ５０４の工程は省略されてもよい。次いで、Ｓ５０５において、携帯端末１９０ａのＣＰＵ１９２は、Ｓ５０１で取得したそれぞれの情報のデータとＳ５０３で判定した感情レベルとを履歴として記憶装置１９６に保存して、感情分析処理Ｐ２０２を終了する。
次に、報知処理Ｐ２０３について説明する。図６は、サーバ１６０における報知処理Ｐ２０３のそれぞれの工程を示すフロー図である。図６に示される報知処理Ｐ２０３は、例えば、サーバ１６０によって実行される。サーバ１６０の制御装置１０１において、ＣＰＵ１０２が、ＲＯＭ１０３に記憶されたプログラムをＲＡＭ１０４に読み出して実行することによって、報知処理Ｐ２０３が実現される。図６に示されるフローでは、Ｓ５０４において携帯端末１９０ａからサーバ１６０に送信された感情レベルを受信したことをきっかけに報知処理Ｐ２０３が開始されるが、これに限られることはない。例えば、サーバ１６０は、所定の間隔で報知処理Ｐ２０３を開始してもよい。この場合、サーバ１６０は、報知処理Ｐ２０３の開始に際して、携帯端末１９０ａ、１９０ｂに人物１４１、１４２の感情レベルのデータを要求してもよい。
報知処理Ｐ２０３が開始されると、Ｓ６０１において、サーバ１６０のＣＰＵ１０２は、Ｓ５０４において携帯端末１９０ａから送信された感情レベルを取得する。また、Ｓ６０２において、サーバ１６０のＣＰＵ１０２は、Ｓ４０４においてサーバ１６０の記憶装置１０６に保存した最新のシーンの情報を取得する。Ｓ６０１とＳ６０２とは並行して行われてもよいし、最新のシーンの情報が常に取得された状態であってもよい。
次いで、Ｓ６０３において、サーバ１６０のＣＰＵ１０２は、報知処理Ｐ２０３においてＳ６０４以下の工程、つまり、報知を行うか否かを判定する（報知判定）。例えば、Ｓ６０１において取得した感情レベルが、前回取得した感情レベルから変化し、感情レベルが設定された閾値を超えた場合に、Ｓ６０４以下の工程が実行される（Ｓ６０３のＹＥＳ）。例えば、感情レベルが、ネガティブな感情や異常な感情に変化した場合に、Ｓ６０４以下の工程が実行されてもよい。また、ポジティブ、ネガティブ、異常に関わらず、感情が高まった場合に、Ｓ６０４以下の工程が実行されてもよい。つまり、サーバ１６０（ＣＰＵ１０２）は、感情レベルが設定された閾値を超えた場合に報知を行うための報知手段の少なくとも一部として機能する。感情レベルに変化がない場合、報知処理Ｐ２０３は終了してもよい（Ｓ６０３のＮＯ）。
ここで、コミュニケーションスペースのシーンにおける状態の違いを吸収するため、Ｓ６０２において取得したシーンの重要度７０１や人７０３などの情報に基づいて閾値が変更されてもよい。例えば、重要度が高いシーンの場合、会議などにおけるコミュニケーションを円滑に進めるために、早めに報知が行われるような設定がされていてもよい。また、例えば、参加者間で立場が大きく異なる場合など、下の立場の参加者がネガティブな感情に大きく変化する前に報知されるように、早めに報知が行われるような設定がされていてもよい。シーンごとの閾値は、事前に利用者などが設定しておいてもよい。このように、サーバ１６０（ＣＰＵ１０２）は、シーンに応じて報知を行う閾値の設定を変更する閾値変更手段として機能しうる。
報知処理Ｐ２０３がＳ６０３からＳ６０４に遷移した場合、サーバ１６０のＣＰＵ１０２は、Ｓ６０１において取得した感情レベルおよびＳ６０２において取得したシーンの情報に基づいて、報知する対象を決定する。例えば、人物１４１の感情レベルが、設定された閾値を超えた場合を考える。この場合、まず、サーバ１６０のＣＰＵ１０２は、人物１４１のコミュニケーション対象となる人物１４２を識別する。サーバ１６０のＣＰＵ１０２は、Ｓ６０２において取得したシーンの情報に基づいて、コミュニケーション対象として、コミュニケーションスペースである会議室１４０にて人物１４１と同室している人物１４２を識別してもよい。コミュニケーション対象となる人物１４２が識別されると、サーバ１６０のＣＰＵ１０２は、人物１４２が身につけている携帯端末１９０ｂを報知対象に決定する。このように、本実施形態において、サーバ１６０（ＣＰＵ１０２）は、人物１４１のコミュニケーション対象となる人物１４２を識別するための識別手段として機能する。
Ｓ６０５において、サーバ１６０のＣＰＵ１０２は、Ｓ６０４で決定した報知対象である携帯端末１９０ｂに報知の実施を通知する。携帯端末１９０ｂは、サーバ１６０から受信した報知実施の通知に従って人物１４２に、人物１４１の感情レベルが設定された閾値を超えたことを報知する。例えば、携帯端末１９０ｂは、バイブレーション機能や、センサ１９７などが備えうる音声出力のためスピーカ、操作部１９５などの画面表示など、適当な方法を用いて報知を行う。携帯端末１９０ｂにおいて報知を実施する方法は、サーバ１６０のＣＰＵ１０２が携帯端末１９０ｂの構成に応じて適切なものを選択してもよい。また、人物１４２などの利用者が、操作部１９５などを介して、適当な報知の方法を設定できてもよい。このように、本実施形態において、サーバ１６０（ＣＰＵ１０２）および携帯端末１９０ｂ（例えば、バイブレーション機能やセンサ１９７のスピーカ、操作部１９５の画面表示など）は協働して、人物１４１の感情レベルが設定された閾値を超えた場合に、人物１４２に対して報知を行うための報知手段として機能する。
例えば、コミュニケーションスペースである会議室１４０で会議を行っている人物１４１が、人物１４２の部下である場合を考える。人物１４１が、上長である人物１４２に対して委縮し、焦りの感情レベルにある場合、人物１４１が発表をうまくできないなど、コミュニケーションが円滑に進まない場合が考えられる。この場合、人物１４１に対して感情レベルが閾値を超えたことを報知しても、より焦ってしまい、さらにコミュニケーションに支障をきたしてしまう可能性がある。一方、本実施形態において、人物１４２に対して部下である人物１４１の感情レベルが閾値を超えたことが報知される。これによって、人物１４２は、部下である人物１４１を落ち着かせるなどの対応を取ることができ、円滑なコミュニケーションを実現できる可能性が高まる。
また、例えば、コミュニケーションスペースである会議室１４０で会議を行っている人物１４１が、人物１４２の発表内容に対して不満の感情レベルにある場合を考える。この場合、人物１４１に人物１４１の感情レベルが閾値を超えたことを報知しても円滑なコミュニケーションを実現できる可能性は低い。一方、本実施形態において、人物１４２に対して人物１４１の不満であるという感情レベルが閾値を超えたことを報知することによって、人物１４２は、より詳細な説明や内容の補足ができ、円滑なコミュニケーションを実現できる可能性が高まる。
このように、本実施形態において、感情レベルが定量化された当事者である人物１４１ではなく、当事者のコミュニケーション対象の人物１４２に対して、人物１４１の感情レベルが閾値を超えたことが報知される。これによって、会議室１４０などのコミュニケーションスペースに参加する異なる価値観を有する複数の参加者の間で、より円滑なコミュニケーションが実現される可能性が高くなる。
Ｓ６０５において報知が実施されると、報知処理Ｐ２０３はＳ６０６に遷移し、Ｓ６０５における報知の効果が判定される。より具体的には、人物１４２に人物１４１の感情レベルが閾値を超えたことを報知し、さらに所定の時間を経過した後に、携帯端末１９０ａのＣＰＵ１９２は、人物１４１の感情を再び分析する。例えば、サーバ１６０のＣＰＵ１０２が、携帯端末１９０ａのＣＰＵ１９２に上述の感情分析処理Ｐ２０２を再び実行するように信号を送信してもよい。また、例えば、携帯端末１９０ａのＣＰＵ１９２が、前回の感情分析処理Ｐ２０２の実行から所定の時間が経過したことに応じて、感情分析処理Ｐ２０２を開始してもよい。
サーバ１６０のＣＰＵ１０２は、人物１４１の感情レベルがＳ６０３における感情レベルから改善したか否かを判定する。より具体的には、Ｓ６０３における判定と同様に、所定の時間を経過した後の人物１４１の感情レベルが閾値を超えた場合、再び、Ｓ６０４以下の工程と同様の工程を行い、Ｓ６０５と同様に報知を実施する。この場合、人物１４２に対して再び報知を行ってもよい。また、例えば、コミュニケーションスペースの参加者には含まれていない人物１４３に対して報知が行われてもよい。つまり、人物１４１の感情レベルが改善されない場合、サーバ１６０のＣＰＵ１０２は、第三者の介入が必要だと判定し、事前に通知先として登録されている人物１４３の情報処理装置１００ａに通知を行ってもよい。例えば、人物１４１、１４２が、人物１４３の部下であってもよい。
Ｓ６０６の工程は、必ずしも実行されなくてもよく、Ｓ６０５の工程を実施した後に報知処理Ｐ２０３は終了してもよい。しかしながら、Ｓ６０６の工程を実施することによって、Ｓ６０６の工程が、コミュニケーションスペースにおけるコミュニケーションをより円滑に進めるためのフィードバック工程として機能しうる。Ｓ６０６の工程は、例えば、会議室１４０における会議が行われている間、所定の時間を経過するごとに実施されてもよい。例えば、会議室１４０から人物１４１および人物１４２が退出するまで、Ｓ６０６の工程が繰り返し実施されてもよい。
Ｓ６０５、Ｓ６０６の工程の終了後、Ｓ６０７において、サーバ１６０のＣＰＵ１０２は、記憶装置１０６に履歴データを保存してもよい。保存された履歴データは、例えば、どのようなシーンでどのような参加者によってコミュニケーションが行われ、報知によって参加者の感情レベルがどのように変化したかなどの実績をグラフなどによって可視化し、利用者が、それぞれのシーンごとに報知の閾値を設定する際の参照材料にすることができる。また、例えば、サーバ１６０のＣＰＵ１０２が、履歴データを用いて機械学習を行い、シーンごとに、報知の閾値と報知による感情レベルの変化との関係を機械学習した学習済みモデルを生成し、記憶装置１０６に保存する。サーバ１６０のＣＰＵ１０２は、この学習済みモデルを用いて、自動でシーンごとに感情レベルの報知に対する閾値の設定を変更してもよい。これによって、より適切なタイミングで人物１４２に対して報知を行うことが可能になり、より円滑なコミュニケーションをとることが可能になりうる。
本実施形態において、人物１４１の感情を分析し、感情レベルが設定された閾値を超えた場合に人物１４２に報知することについて説明した。このとき、同時に、人物１４２の感情を分析（携帯端末１９０ｂ）し、人物１４２の感情レベルが設定された閾値を超えた場合に人物１４１に報知してもよい。つまり、情報処理システム１１０に含まれるそれぞれの携帯端末１９０において、それぞれの携帯端末１９０を身に付けた人物の感情分析処理Ｐ２０２が行われる。それぞれの携帯端末１９０を身に付けた人物の感情レベルが閾値を超えた場合に、感情レベルが閾値を超えた参加者以外のコミュニケーション対象の人物に対して、感情レベルが閾値を超えたことの報知が行われてもよい。
以上、コミュニケーションスペースが、会議室１４０のような現実的な空間である場合について図２～図７を用いて説明した。しかしながら、本実施形態の情報処理システム１１０は、コミュニケーションスペースが現実的な空間である場合に適用されることに限定されるものではない。情報処理システム１１０は、オンライン会議などのオンライン上の仮想的な空間のコミュニケーションスペースに対しても適用することが可能である。以下、オンライン会議を例に、上述のコミュニケーションスペースが会議室１４０である場合と異なる点を中心に、図８～図１２を用いて説明する。
図８は、本実施形態における情報処理システム１１０の処理の流れを示す図である。情報処理システム１１０は、以下の３つの処理を実施する。１つ目の処理は、参加者がコミュニケーションを行うコミュニケーションスペースのシーンを特定するためのシーン特定処理Ｐ８０１である。２つ目の処理は、コミュニケーションスペースにおいて、情報処理装置１００ａを使用する人物の感情を分析し、人物の感情レベルを定量化する感情分析処理Ｐ８０２である。３つ目は、感情レベルを定量化された人物のコミュニケーション対象となる人物を識別し、感情レベルが設定された閾値を超えた場合に、コミュニケーション対象となる人物に対して報知を行う報知処理Ｐ８０３である。
図９は、情報処理システム１１０が用いられるコミュニケーションスペースの例を示す図である。図３に示される構成とは異なり、人物１４１が使用する情報処理装置１００ａと、人物１４２が使用する情報処理装置１００ｂとが、オンライン会議システム１４５によって接続されコミュニケーションスペースを構成している。また、コミュニケーションスペースの参加者ではない人物１４３の情報処理装置１００ｃは、オンライン会議システム１４５には接続されていない。図８に示される例では、人物１４１と人物１４２との１対１のオンライン会議を例に説明を行うが、３人以上の人物が参加するオンライン会議であってもよい。
図１０は、シーン特定処理Ｐ８０１のそれぞれの工程を示すフロー図である。図１０に示されるシーン特定処理Ｐ２０１は、例えば、サーバ１６０によって実行される。サーバ１６０の制御装置１０１において、ＣＰＵ１０２が、ＲＯＭ１０３に記憶されたプログラムをＲＡＭ１０４に読み出して実行することによって、シーン特定処理Ｐ８０１が実現される。図１０に示されるシーン特定処理Ｐ８０１のうちＳ４０２およびＳ４０４の工程は、上述の図４に示される工程と同様であってもよい。したがって、ここではＳ４０２およびＳ４０４の工程は説明を省略し、Ｓ４１１の工程について説明する。
シーン特定処理Ｐ８０１は、本実施形態において、一定間隔で開始されるものとするが、人物１４１と人物１４２とのコミュニケーションが開始されたことをきっかけにシーン特定処理Ｐ８０１が開始されてもよい。例えば、人物１４１と人物１４２とが、それぞれ情報処理装置１００ｂと情報処理装置１００ｂとをオンライン会議システム１４５に接続することによって、シーン特定処理Ｐ８０１が開始されてもよい。
シーン特定処理Ｐ８０１が開始されると、Ｓ４１１において、サーバ１６０のＣＰＵ１０２は、オンライン会議システム１４５を介して情報処理装置１００ａ、１００ｂに対してシーンを特定するために必要なデータを要求し、情報処理装置１００ａ、１００ｂからデータを取得する。例えば、情報処理装置１００ａ、１００ｂの入出力部１０７の音声入力のためのマイクで取得した音声情報や画像入力のためのカメラで取得した映像情報などの映像データが、サーバ１６０に送信される。また、例えば、情報処理装置１００ａ、１００ｂの操作部１０５を介して入力されたチャットのコメントなどの文章情報などのデータが、サーバ１６０に送信される。さらに、例えば、情報処理装置１００ａ、１００ｂの表示部１０８に表示された画像情報や文章情報などのデータが、サーバ１６０に送信される。これらのデータに基づいて、次のＳ４０２において、オンライン会議システム１４５を介したオンライン上のコミュニケーションスペースにおける議論の情報、参加者の情報、および、コミュニケーションスペースの場所の情報のうち少なくとも１つの情報を含むシーンが特定される。
図１０に示されるシーン特定処理Ｐ８０１において、Ｓ４０３の工程が省略されているが、Ｓ４０３の工程が実施されてもよい。この場合、サーバ１６０のＣＰＵ１０２は、情報処理装置１００ａ、１００ｂを介して、人物１４１、１４２にシーンの情報を通知してもよい。例えば、情報処理装置１００ａ、１００ｂの表示部１０８に、シーンの情報が表示されうる。
図１１は、サーバ１６０における感情分析処理Ｐ８０２のそれぞれの工程を示すフロー図である。図１１に示される感情分析処理Ｐ８０２は、例えば、サーバ１６０の制御装置１０１において、ＣＰＵ１０２が、ＲＯＭ１０３に記憶されたプログラムをＲＡＭ１０４に読み出して実行することで実現される。本実施形態において、サーバ１６０（ＣＰＵ１０２）が、人物１４１の感情を分析し、人物１４１の感情レベルを定量化するための分析手段として機能する。ここでは、オンライン会議システム１４５に接続されたサーバ１６０上で包括的に感情分析処理Ｐ８０２を行う構成としたが、図５に示される携帯端末１９０ａ、１９０ｂで実施する場合と同様に、情報処理装置１００ａ、１００ｂでそれぞれの処理を行ってもよい。また、上述と同様に人物１４１の感情レベルを定量化する処理について説明するが、人物１４２の感情レベルの定量化が並行して行われうる。
感情分析処理Ｐ８０２が開始されると、Ｓ５１１において、サーバ１６０のＣＰＵ１０２は、オンライン会議システム１４５を介して人物１４１、１４２の音声情報や映像情報などのデータを取得する。例えば、情報処理装置１００ａ、１００ｂの入出力部１０７の音声入力のためのマイクで取得した音声情報や画像入力のためのカメラで取得した映像情報などの映像データが、サーバ１６０に送信される。
ここで、オンライン会議など、人物１４１がオンライン上でコミュニケーションをとっている場合、情報処理装置１００ａの人物１４１を撮影するための撮影手段として機能する入出力部１０７のカメラは、オンライン上において人物１４１の画像表示がない場合であっても動作している。つまり、オンライン会議システム１４５上でのカメラ画像表示をＯＦＦにしている場合であっても、感情分析処理Ｐ８０２のために情報処理装置１００ａの入出力部１０７のカメラは、画像を取得するために動作してもよい。
次いで、Ｓ５１２において、サーバ１６０のＣＰＵ１０２は、感情分析を行う必要があるか否か判定する。サーバ１６０において判定が行われる以外は、上述のＳ５０２の工程と同様の処理であってもよいため、詳細の説明は省略する。
Ｓ５１２において、感情分析が必要であると判定されると、Ｓ５１３において、サーバ１６０のＣＰＵ１０２は、Ｓ５１１で取得したデータに基づいて、人物１４１の感情レベルを定量化する。Ｓ５１２において人物１４１の感情レベルが定量化されると、Ｓ５１４において、サーバ１６０のＣＰＵ１０２は、Ｓ５１１で取得したそれぞれの情報のデータとＳ５１３で判定した感情レベルとを履歴として、記憶装置１０６に保存して、感情分析処理Ｐ８０２を終了する。
図１２は、サーバ１６０における報知処理Ｐ８０３のそれぞれの工程を示すフロー図である。図１２に示される報知処理Ｐ８０３は、例えば、サーバ１６０によって実行される。サーバ１６０の制御装置１０１において、ＣＰＵ１０２が、ＲＯＭ１０３に記憶されたプログラムをＲＡＭ１０４に読み出して実行することによって、報知処理Ｐ８０３が実現される。ここでは、サーバ１６０は、所定の間隔で報知処理Ｐ８０３を開始しているものとする。しかしながら、これに限られることはなく、感情分析処理Ｐ８０２が終了したことをきっかけに報知処理Ｐ８０３が開始されてもよい。
報知処理Ｐ８０３が開始されると、Ｓ６１１において、サーバ１６０のＣＰＵ１０２は、Ｓ５１４においてサーバ１６０の記憶装置１０６に保存した感情データを取得する。Ｓ６０２、Ｓ６０３の工程は、上述の図６を用いて説明した工程と同様であってもよいため、ここでは説明を省略する。
報知処理Ｐ８０３がＳ６１４に遷移した場合、サーバ１６０のＣＰＵ１０２は、Ｓ６１１において取得した感情レベルおよびＳ６０２において取得したシーンの情報に基づいて、報知する対象を決定する。図９に示される構成において、サーバ１６０のＣＰＵ１０２は、Ｓ６０２において取得したシーンの情報に基づいて、コミュニケーションスペースであるオンライン会議システム１４５に接続された情報処理装置１００ｂを報知対象に決定する。サーバ１６０のＣＰＵ１０２は、情報処理装置１００を使用する人物１４１のコミュニケーション対象となる情報処理装置１００ｂを使用する人物１４２を識別している、ともいえる。
次いで、Ｓ６１５において、サーバ１６０のＣＰＵ１０２は、Ｓ６１４で決定した報知対象である情報処理装置１００ｂに報知の実施を通知する。情報処理装置１００ｂは、サーバ１６０から受信した報知実施の通知に従って人物１４２に、人物１４１の感情レベルが設定された閾値を超えたことを報知する。例えば、情報処理装置１００ｂは、入出力部１０７が備えうる音声出力のためスピーカや表示部１０８など、適当な方法を用いて報知を行う。情報処理装置１００ｂにおいて報知を実施する方法は、サーバ１６０のＣＰＵ１０２が情報処理装置１００ｂの構成に応じて適切なものを選択してもよい。また、人物１４２などの利用者が、操作部１０５などを介して、適当な報知の方法を設定できてもよい。このように、本実施形態において、サーバ１６０（ＣＰＵ１０２）および情報処理装置１００ｂ（例えば、入出力部１０７のスピーカや表示部１０８など）は協働して、人物１４１の感情レベルが設定された閾値を超えた場合に、人物１４２に対して報知を行うための報知手段として機能する。
Ｓ６１５において報知が実施されると、報知処理Ｐ８０３はＳ６１６に遷移し、Ｓ６１５における報知の効果が判定される。より具体的には、人物１４２に人物１４１の感情レベルが閾値を超えたことを報知し、さらに所定の時間を経過した後に、サーバ１６０のＣＰＵ１０２は、人物１４１の感情を再び分析する。サーバ１６０のＣＰＵ１０２は、人物１４１の感情レベルがＳ６０３における感情レベルから改善したか否かを判定する。より具体的には、Ｓ６０３における判定と同様に、所定の時間を経過した後の人物１４１の感情レベルが閾値を超えた場合、再び、Ｓ６１４以下の工程と同様の工程を行い、Ｓ６１５の工程と同様に報知を実施する。この場合、人物１４２に対して再び報知を行ってもよい。また、例えば、コミュニケーションスペースの参加者には含まれていない、情報処理装置１００ｃがオンライン会議システム１４５に接続されていない人物１４３に対して報知が行われてもよい。つまり、人物１４１の感情レベルが改善されない場合、サーバ１６０のＣＰＵ１０２は、第三者の介入が必要だと判定し、事前に通知先として登録されている人物１４３の情報処理装置１００ｃに通知を行ってもよい。
Ｓ６１６の工程は、必ずしも実行されなくてもよく、Ｓ６１５の工程を実施した後に報知処理Ｐ８０３は終了してもよい。しかしながら、Ｓ６１６の工程を実施することによって、Ｓ６１６の工程が、コミュニケーションスペースにおけるコミュニケーションをより円滑に進めるためのフィードバック工程として機能しうる。Ｓ６１６の工程は、例えば、オンライン会議システム１４５に情報処理装置１００ａ、１００ｂが接続されている間、所定の時間を経過するごとに実施されてもよい。例えば、情報処理装置１００ａおよび情報処理装置１００ｂがオンライン会議システム１４５から切断されるまで、Ｓ６１６の工程が繰り返し実施されてもよい。Ｓ６０５、Ｓ６０６の工程の終了後、上述のＳ６０７の工程と同様の工程が行われてもよい。
このように、オンライン会議などのオンライン上のコミュニケーションスペースにおいても、本実施形態を適用することによって、異なる価値観を有する参加者の間で、より円滑なコミュニケーションが実現される可能性が高くなる。つまり、本実施形態の情報処理システム１１０は、現実的な空間、仮想的な空間を問わず、複数の参加者がコミュニケーションを行うコミュニケーションスペースにおいて、より円滑なコミュニケーションを可能にする。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
１１０：情報処理システム、１４１、１４２、１４３：人物

Claims (17)

  1. 第１人物の感情を分析し、前記第１人物の感情レベルを定量化する分析手段と、前記第１人物のコミュニケーション対象となる第２人物を識別する識別手段と、を含む情報処理システムであって、
    前記感情レベルが設定された閾値を超えた場合に、前記第２人物に対して報知を行う報知手段をさらに含むことを特徴とする情報処理システム。
  2. 前記分析手段は、前記第１人物の生体情報、音声情報および映像情報のうち少なくとも１つの情報に基づいて前記感情レベルを定量化することを特徴とする請求項１に記載の情報処理システム。
  3. 前記第１人物を含む参加者がコミュニケーションを行うコミュニケーションスペースのシーンを特定するための特定手段と、前記シーンに応じて前記閾値の設定を変更するための閾値変更手段と、をさらに含むことを特徴とする請求項１または２に記載の情報処理システム。
  4. 前記シーンが、前記コミュニケーションスペースにおける議論の情報、前記参加者の情報、および、前記コミュニケーションスペースの場所の情報のうち少なくとも１つの情報を含むことを特徴とする請求項３に記載の情報処理システム。
  5. 前記特定手段は、前記コミュニケーションスペースにおける画像情報、文章情報、音声情報および映像情報のうち少なくとも１つの情報に基づいて前記シーンを特定することを特徴とする請求項３または４に記載の情報処理システム。
  6. 前記特定手段は、前記特定手段と通信可能な周辺装置から前記コミュニケーションスペースにおける画像情報、文章情報、音声情報および映像情報の何れかの情報を取得することを特徴とする請求項５に記載の情報処理システム。
  7. 前記周辺装置が、印刷装置、表示装置および撮影装置のうち少なくとも１つを含むことを特徴とする請求項６に記載の情報処理システム。
  8. 前記識別手段が、前記シーンに基づいて前記第２人物を識別することを特徴とする請求項３乃至７の何れか１項に記載の情報処理システム。
  9. 前記第２人物が、前記参加者に含まれることを特徴とする請求項３乃至８の何れか１項に記載の情報処理システム。
  10. 前記特定手段が、前記コミュニケーションスペースにおける画像情報、文章情報、音声情報および映像情報のうち少なくとも１つの情報と、前記コミュニケーションスペースにおける議論の情報、前記参加者の情報、および、前記コミュニケーションスペースの場所の情報のうち少なくとも１つの情報と、の関係を機械学習した学習済みモデルを用いて前記シーンの特定を行うことを特徴とする請求項３乃至９の何れか１項に記載の情報処理システム。
  11. 前記閾値変更手段が、前記シーンごとに、前記閾値と報知による前記感情レベルの変化との関係を機械学習した学習済みモデルを用いて前記閾値の設定を変更することを特徴とする請求項３乃至１０の何れか１項に記載の情報処理システム。
  12. 前記報知手段が前記第２人物に前記感情レベルが前記閾値を超えたことを報知し、さらに所定の時間を経過した後に、前記分析手段は、前記第１人物の感情を再び分析し、
    前記所定の時間を経過した後の前記感情レベルが前記閾値を超えた場合、前記報知手段は、前記第２人物に対して報知を行うことを特徴とする請求項１乃至１１の何れか１項に記載の情報処理システム。
  13. 前記報知手段が前記第２人物に前記感情レベルが前記閾値を超えたことを報知し、さらに所定の時間を経過した後に、前記分析手段は、前記第１人物の感情を再び分析し、
    前記所定の時間を経過した後の前記感情レベルが前記閾値を超えた場合、前記報知手段は、前記参加者には含まれていない第３人物に対して報知を行うことを特徴とする請求項３乃至１１の何れか１項に記載の情報処理システム。
  14. 前記所定の時間を経過した後の前記感情レベルが前記閾値を超えた場合、前記報知手段は、前記第２人物に対して報知を行うことを特徴とする請求項１３に記載の情報処理システム。
  15. 前記第１人物は、オンライン上でコミュニケーションをとっており、
    前記分析手段は、前記第１人物を撮影するための撮影手段を含み、
    前記撮影手段は、前記オンライン上において前記第１人物の画像表示がない場合であっても動作していることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理システム。
  16. 情報処理システムの制御方法であって、
    第１人物の感情を分析し、前記第１人物の感情レベルを定量化する工程と、
    前記第１人物のコミュニケーション対象となる第２人物を識別する工程と、
    前記感情レベルが設定された閾値を超えた場合に、前記第２人物に対して報知を行う工程と、
    を含むことを特徴とする制御方法。
  17. 請求項１６に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2021101026A 2021-06-17 2021-06-17 情報処理システム、その制御方法、および、プログラム Pending JP2023000288A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021101026A JP2023000288A (ja) 2021-06-17 2021-06-17 情報処理システム、その制御方法、および、プログラム
US17/841,764 US12101283B2 (en) 2021-06-17 2022-06-16 Information processing system, control method thereof, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021101026A JP2023000288A (ja) 2021-06-17 2021-06-17 情報処理システム、その制御方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2023000288A true JP2023000288A (ja) 2023-01-04
JP2023000288A5 JP2023000288A5 (ja) 2024-06-21

Family

ID=84489625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021101026A Pending JP2023000288A (ja) 2021-06-17 2021-06-17 情報処理システム、その制御方法、および、プログラム

Country Status (2)

Country Link
US (1) US12101283B2 (ja)
JP (1) JP2023000288A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023000288A (ja) * 2021-06-17 2023-01-04 キヤノン株式会社 情報処理システム、その制御方法、および、プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10606353B2 (en) * 2012-09-14 2020-03-31 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US10850034B2 (en) * 2013-03-15 2020-12-01 Ivan Osorio Automatic treatment of pain
US10514766B2 (en) * 2015-06-09 2019-12-24 Dell Products L.P. Systems and methods for determining emotions based on user gestures
JP7002143B2 (ja) 2017-03-21 2022-01-20 国立大学法人東京工業大学 コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置
US11290686B2 (en) * 2017-09-11 2022-03-29 Michael H Peters Architecture for scalable video conference management
US11785180B2 (en) * 2017-09-11 2023-10-10 Reelay Meetings, Inc. Management and analysis of related concurrent communication sessions
KR102448382B1 (ko) * 2018-01-22 2022-09-28 삼성전자주식회사 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
US20190266617A1 (en) * 2018-02-28 2019-08-29 International Business Machines Corporation Reader reaction learning-based article cataloging management
KR102533295B1 (ko) * 2018-11-13 2023-05-18 현대자동차주식회사 차량 및 그 제어 방법
US10735579B2 (en) * 2018-11-19 2020-08-04 International Business Machines Corporation Contextual analysis of incoming phone calls to determine probability of connection
CN111696559B (zh) * 2019-03-15 2024-01-16 微软技术许可有限责任公司 提供情绪管理辅助
US11373446B1 (en) * 2019-04-26 2022-06-28 Amazon Technologies, Inc. Interactive media facial emotion-based content selection system
US11188718B2 (en) * 2019-09-27 2021-11-30 International Business Machines Corporation Collective emotional engagement detection in group conversations
JP2023000288A (ja) * 2021-06-17 2023-01-04 キヤノン株式会社 情報処理システム、その制御方法、および、プログラム
US20230178217A1 (en) * 2021-12-07 2023-06-08 Insight Direct Usa, Inc. Adjusting mental state to improve task performance and coaching improvement
US12027061B2 (en) * 2022-06-12 2024-07-02 The Travelers Indemnity Company Systems and methods for artificial intelligence (AI) virtual reality (VR) emotive conversation training

Also Published As

Publication number Publication date
US12101283B2 (en) 2024-09-24
US20220407827A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
JP2020048149A (ja) 画像処理装置、カメラ装置、および画像処理方法
JP2018045545A (ja) ストレスマネジメントシステム及びストレスマネジメント方法
JP5332818B2 (ja) 通信制御装置、通信制御方法、通信制御プログラム
JP2010204926A (ja) モニタリングシステム、モニタリング方法、およびプログラム
US11212488B2 (en) Conference system
WO2022024354A1 (ja) 反応解析システム
JP2020173714A (ja) 対話支援装置、対話支援システム、及び対話支援プログラム
JP2023000288A (ja) 情報処理システム、その制御方法、および、プログラム
US20230093298A1 (en) Voice conference apparatus, voice conference system and voice conference method
JP2021114642A (ja) テレビ会議装置、テレビ会議システム及びプログラム
JP2013182450A (ja) 所在管理プログラム及び所在管理装置
WO2022024194A1 (ja) 感情解析システム
WO2022064621A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
JP2022056108A (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
US11928253B2 (en) Virtual space control system, method for controlling the same, and control program
JP7477909B2 (ja) ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
JP7465040B1 (ja) コミュニケーション可視化システム
WO2022113248A1 (ja) ビデオミーティング評価端末及びビデオミーティング評価方法
WO2023249005A1 (ja) ウェブ会議システムを用いた画面合成方法
JP7121433B1 (ja) 動画像分析プログラム
WO2022064618A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
JP7064159B1 (ja) 情報処理方法、プログラム、及び情報処理装置
WO2022064620A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
KR102135596B1 (ko) 사진 촬영 장치
WO2022201266A1 (ja) 動画像分析プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240613