JP2022146951A - 動画像分析プログラム - Google Patents

Abstract

【課題】会議や講義等、オンラインコミュニケーションが主となる状況において、より効率的なコミュニケーションを行うために、これらのコミュニケーションを客観的に評価する動画像分析システムを提供する。【解決手段】複数のユーザ端末と、ユーザ端末に双方向のビデオセッションを提供するビデオセッションサービス端末と、ビデオセッションに関する評価の一部を行う評価端末と、を備えているビデオセッション評価システムにおいて、評価端末は、オンラインセッション中に参加者を撮影することによって得られる動画像を取得する動画像取得部と、動画像取得部が取得した動画像に基づいて、参加者について生体反応の変化を解析する解析部と、動画像内に含まれる人物を特定する人物特定部と、特定した人物に関して分析を行う分析部と、を備える。【選択図】図１０

Description

本発明は、複数人の参加者でオンラインセッションが行われる環境において、オンライ
ンセッション中に参加者が画面に表示されているか否かによらず、参加者を撮影すること
によって得られる動画像をもとに参加者の反応を解析する動画像分析システムに関する。

発言者の発言に対して他者が受ける感情を解析する技術が知られている（例えば、特許
文献１参照）。また、対象者の表情の変化を長期間にわたり時系列的に解析し、その間に
抱いた感情を推定する技術も知られている（例えば、特許文献２参照）。さらに、感情の
変化に最も影響を与えた要素を特定する技術も知られている（例えば、特許文献３～５参
照）。さらにまた、対象者の普段の表情と現在の表情とを比較して、表情が暗い場合にア
ラートを発する技術も知られている（例えば、特許文献６参照）。また、対象者の平常時
（無表情時）の表情と現在の表情とを比較して、対象者の感情の度合いを判定するように
した技術も知られている（例えば、特許文献７～９参照）。更に、また、組織としての感
情や、個人が感じるグループ内の雰囲気を分析する技術も知られている（例えば、特許文
献１０、１１参照）。

特開２０１９－５８６２５号公報 特開２０１６－１４９０６３号公報 特開２０２０－８６５５９号公報 特開２０００－７６４２１号公報 特開２０１７－２０１４９９号公報 特開２０１８－１１２８３１号公報 特開２０１１－１５４６６５号公報 特開２０１２－８９４９号公報 特開２０１３－３００号公報 特開２０１１－１８６５２１号公報 ＷＯ１５／１７４４２６号公報

上述したすべての技術は、現実空間におけるコミュニケーションが主である状況におけ
るサブ的な機能にすぎない。即ち、昨今の業務のＤＸ（Ｄｉｇｉｔａｌ Ｔｒａｎｓｆｏ
ｒｍａｔｉｏｎ）化や、世界的な感染症の流行等を受け、業務や授業等のコミュニケーシ
ョンがオンラインで行われることが主とされる状況に生まれたものではない。

本発明は、会議や講義等、オンラインコミュニケーションが主となる状況において、よ
り効率的なコミュニケーションを行うために、これらのコミュニケーションを客観的に評
価することを目的とする。

本発明によれば、
複数人の参加者でオンラインセッションが行われる環境において、オンラインセッショ
ン中に参加者が画面に表示されているか否かによらず、前記参加者を撮影することによっ
て得られる動画像をもとに前記参加者の反応を解析する動画像分析システムであって、
前記オンラインセッション中に前記参加者を撮影することによって得られる動画像を取
得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、前記参加者について生体反応の
変化を解析する解析部と、
前記動画像内に含まれる人物を特定する人物特定部と、
特定された前記人物に関して分析を行う分析部と、を備える。
動画像分析システム
が得られる。

本開示によれば、ビデオセッションの動画像を分析評価することにより、特に内容に関
する評価を客観的に行うことができる。

特に、本発明によれば、オンラインコミュニケーションが主となる状況において、より
効率的なコミュニケーションを行うために、交わされたコミュニケーションを客観的に評
価することができる。

本発明の実施の形態によるシステム全体図を示す図である。 本発明の実施の形態による評価端末の機能ブロック図の一例である。 本発明の実施の形態による評価端末の機能構成例１を示す図である。 本発明の実施の形態による評価端末の機能構成例２を示す図である。 本発明の実施の形態による評価端末の機能構成例３を示す図である。 図６の機能構成例３による画面表示例である。 図６の機能構成例３による他の画面表示例である。 本発明の実施の形態による評価端末の機能構成例３の他の構成を示す図である。 本発明の実施の形態による評価端末の機能構成例３の他の構成を示す図である。 本発明の実施の形態によるシステムの機能ブロック図である。 本発明の実施の形態における参加者一覧を示すイメージ図である。 本発明の実施の形態における参加者の分析結果を示す図である。 本発明の実施の形態における参加者の分析結果を示すグラフである。

本開示の実施形態の内容を列記して説明する。本開示は、以下のような構成を備える。
［項目１］
複数人の参加者でオンラインセッションが行われる環境において、オンラインセッショ
ン中に参加者が画面に表示されているか否かによらず、前記参加者を撮影することによっ
て得られる動画像をもとに前記参加者の反応を解析する動画像分析システムであって、
前記オンラインセッション中に前記参加者を撮影することによって得られる動画像を取
得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、前記参加者について生体反応の
変化を解析する解析部と、
前記動画像内に含まれる人物を特定する人物特定部と、
特定された前記人物に関して分析を行う分析部と、を備える。
動画像分析システム。
［項目２］
項目１に記載の動画像分析システムであって、
前記分析部は、所定期間内に特定のユーザと前記オンラインセッションを行った他のユ
ーザの人数をカウントする、
動画像分析システム。
［項目３］
項目２に記載の動画像分析システムであって、
前記分析部は、所定期間内に特定のユーザと前記オンラインセッションを行った他のユ
ニークユーザの人数をカウントする、
動画像分析システム。
［項目４］
項目１乃至項目３のいずれかに記載の動画像分析システムであって、
前記分析部は、前記オンラインセッションにおける対話相手毎に、当該オンラインセッ
ションが行われた時間をカウントする、
動画像分析システム。
［項目５］
項目１乃至項目３のいずれかに記載の動画像分析システムの構成を備えた動画像分析装
置。
［項目６］
項目１乃至項目３のいずれかに記載の動画像分析システムの構成を動画像分析装置に機
能させる動画像分析プログラム。
［項目７］
項目１乃至項目３のいずれかに記載の動画像分析システムの構成をステップとして実行
する動画像分析方法。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。
なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については
、同一の符号を付することにより重複説明を省略する。

＜基本機能＞
本実施形態のビデオセッション評価システムは、複数人でビデオセッション（以下、一
方向及び双方向含めてオンラインセッションという）が行われる環境において、当該複数
人の中の解析対象者について他者とは異なる特異的な感情（自分または他人の言動に対し
て起こる気持ち。快・不快またはその程度など）を解析し評価するシステムである。オン
ラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなど
であり、複数の場所に設置された端末をインターネットなどの通信ネットワークを介して
サーバに接続し、当該サーバを通じて複数の端末間で動画像をやり取りできるようにした
ものである。オンラインセッションで扱う動画像には、端末を使用するユーザの顔画像や
音声が含まれる。また、動画像には、複数のユーザが共有して閲覧する資料などの画像も
含まれる。各端末の画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させ
たり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である
。また、複数人のうち１人の画像を全画面表示させたり、一部または全部のユーザの画像
を小画面に分割して表示させたりすることが可能である。端末を使用してオンラインセッ
ションに参加する複数のユーザのうち、何れか１人または複数人を解析対象者として指定
することが可能である。例えば、オンラインセッションの主導者、進行者または管理者（
以下、まとめて主催者という）が何れかのユーザを解析対象者として指定する。オンライ
ンセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシ
リテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッショ
ンの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通
であるが、オンラインセッションに参加しない別人であってもよい。なお、解析対象者を
指定せず全ての参加者を解析対象としてもよい。また、オンラインセッションの主導者、
進行者または管理者（以下、まとめて主催者という）が何れかのユーザを解析対象者とし
て指定することも可能である。オンラインセッションの主催者は、例えばオンライン授業
の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションの
コーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する
複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別
人であってもよい。

本実施の形態によるビデオセッション評価システムは、複数の端末間においてビデオセ
ッションセッションが確立された場合に、当該ビデオセッションから取得される少なくと
も動画像を表示される。表示された動画像は、端末によって取得され、動画像内に含まれ
る少なくとも顔画像を所定のフレーム単位ごとに識別される。その後、識別された顔画像
に関する評価値が算出される。当該評価値は必要に応じて共有される。特に、本実施の形
態においては、取得した動画像は当該端末に保存され、端末上で分析評価され、その結果
が当該端末のユーザに提供される。従って、例えば個人情報を含むビデオセッションや機
密情報を含むビデオセッションであっても、その動画自体を外部の評価機関等に提供する
ことなく分析評価できる。また、必要に応じて、当該評価結果（評価値）だけを外部端末
に提供することによって、結果を可視化したり、クロス分析等行うことができる。

図１に示されるように、本実施の形態によるビデオセッション評価システムは、少なく
ともカメラ部及びマイク部等の入力部と、ディスプレイ等の表示部とスピーカー等の出力
部とを有するユーザ端末１０、２０と、ユーザ端末１０、２０に双方向のビデオセッショ
ンを提供するビデオセッションサービス端末３０と、ビデオセッションに関する評価の一
部を行う評価端末４０とを備えている。

＜ハードウェア構成例＞
以下に説明する各機能ブロック、機能単位、機能モジュールは、例えばコンピュータに
備えられたハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れに
よっても構成することが可能である。例えばソフトウェアによって構成する場合、実際に
はコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハー
ドディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによ
って実現される。本明細書において説明するシステム及び端末による一連の処理は、ソフ
トウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて
実現されてもよい。本実施形態に係る情報共有支援装置１０の各機能を実現するためのコ
ンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このような
コンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供す
ることが可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク
、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用い
ずに、例えばネットワークを介して配信されてもよい。

本実施の形態による評価端末は、ビデオセッションサービス端末から動画像を取得し、
当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別すると共に、
顔画像に関する評価値を算出する（詳しくは後述する）。

＜動画の取得方法＞
図３に示されるように、ビデオセッションサービス端末が提供するビデオセッションサ
ービス（以下、単に「本サービス」と言うことがある」）は、ユーザ端末１０、２０に対
して双方向に画像および音声によって通信が可能となるものである。本サービスは、ユー
ザ端末のディスプレイに相手のユーザ端末のカメラ部で取得した動画像を表示し、相手の
ユーザ端末のマイク部で取得した音声をスピーカーから出力可能となっている。また、本
サービスは双方の又はいずれかのユーザ端末によって、動画像及び音声（これらを合わせ
て「動画像等」という）を少なくともいずれかのユーザ端末上の記憶部に記録（レコーデ
ィング）することが可能に構成されている。記録された動画像情報Ｖｓ（以下「記録情報
」という）は、記録を開始したユーザ端末にキャッシュされつついずれかのユーザ端末の
ローカルのみに記録されることとなる。ユーザは、必要があれば当該記録情報を本サービ
スの利用の範囲内で自分で視聴、他者に共有等行うこともできる。

＜機能構成例１＞
図４は、本実施形態による構成例を示すブロック図である。図４に示すように、本実施
形態のビデオセッション評価システムは、ユーザ端末１０が有する機能構成として実現さ
れる。すなわち、ユーザ端末１０はその機能として、動画像取得部１１、生体反応解析部
１２、特異判定部１３、関連事象特定部１４、クラスタリング部１５および解析結果通知
部１６を備えている。

動画像取得部１１は、オンラインセッション中に各端末が備えるカメラにより複数人（
複数のユーザ）を撮影することによって得られる動画像を各端末から取得する。各端末か
ら取得する動画像は、各端末の画面上に表示されるように設定されているものか否かは問
わない。すなわち、動画像取得部１１は、各端末に表示中の動画像および非表示中の動画
像を含めて、動画像を各端末から取得する。

生体反応解析部１２は、動画像取得部１１により取得された動画像（画面上に表示中の
ものか否かは問わない）に基づいて、複数人のそれぞれについて生体反応の変化を解析す
る。本実施形態において生体反応解析部１２は、動画像取得部１１により取得された動画
像を画像のセット（フレーム画像の集まり）と音声とに分離し、それぞれから生体反応の
変化を解析する。

例えば、生体反応解析部１２は、動画像取得部１１により取得された動画像から分離し
たフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の
動きの少なくとも１つに関する生体反応の変化を解析する。また、生体反応解析部１２は
、動画像取得部１１により取得された動画像から分離した音声を解析することにより、ユ
ーザの発言内容、声質の少なくとも１つに関する生体反応の変化を解析する。

人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生
体反応の変化となって現れる。本実施形態では、ユーザの生体反応の変化を解析すること
を通じて、ユーザの感情の変化を解析する。本実施形態において解析する感情は、一例と
して、快／不快の程度である。本実施形態において生体反応解析部１２は、生体反応の変
化を所定の基準に従って数値化することにより、生体反応の変化の内容を反映させた生体
反応指標値を算出する。

表情の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、
フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って
特定した顔の表情を複数に分類する。そして、その分類結果に基づいて、連続するフレー
ム画像間でポジティブな表情変化が起きているか、ネガティブな表情変化が起きているか
、およびどの程度の大きさの表情変化が起きているかを解析し、その解析結果に応じた表
情変化指標値を出力する。

目線の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、
フレーム画像の中から目の領域を特定し、両目の向きを解析することにより、ユーザがど
こを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料
を見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さ
いか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。目線の変化はユー
ザの集中度にも関連する。生体反応解析部１２は、目線の変化の解析結果に応じた目線変
化指標値を出力する。

脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、
フレーム画像の中から顔の領域を特定する。そして、顔の色情報（ＲＧＢのＧ）の数値を
捉える学習済みの画像解析モデルを用いて、顔表面のＧ色の変化を解析する。その結果を
時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から
脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。
生体反応解析部１２は、脈拍の変化の解析結果に応じた脈拍変化指標値を出力する。

顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごと
に、フレーム画像の中から顔の領域を特定し、顔の向きを解析することにより、ユーザが
どこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資
料を見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さ
いか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の
動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見て
いるか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するよう
にしてもよい。生体反応解析部１２は、顔の向きの変化の解析結果に応じた顔向き変化指
標値を出力する。

発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、
指定した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声認識処理
を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助
詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをベクト
ル化し、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、
およびどの程度の大きさの感情変化が起きているかを解析し、その解析結果に応じた発言
内容指標値を出力する。

声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部１２は、指定
した時間（例えば、３０～１５０秒程度の時間）の音声について公知の音声解析処理を行
うことによって音声の音響的特徴を特定する。そして、その音響的特徴に基づいて、ポジ
ティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程
度の大きさの声質変化が起きているかを解析し、その解析結果に応じた声質変化指標値を
出力する。

生体反応解析部１２は、以上のようにして算出した表情変化指標値、目線変化指標値、
脈拍変化指標値、顔向き変化指標値、発言内容指標値、声質変化指標値の少なくとも１つ
を用いて生体反応指標値を算出する。例えば、表情変化指標値、目線変化指標値、脈拍変
化指標値、顔向き変化指標値、発言内容指標値および声質変化指標値を重み付け計算する
ことにより、生体反応指標値を算出する。

特異判定部１３は、解析対象者について解析された生体反応の変化が、解析対象者以外
の他者について解析された生体反応の変化と比べて特異的か否かを判定する。本実施形態
において、特異判定部１３は、生体反応解析部１２により複数のユーザのそれぞれについ
て算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化
が他者と比べて特異的か否かを判定する。

例えば、特異判定部１３は、生体反応解析部１２により複数人のそれぞれについて算出
された生体反応指標値の分散を算出し、解析対象者について算出された生体反応指標値と
分散との対比により、解析対象者について解析された生体反応の変化が他者と比べて特異
的か否かを判定する。

解析対象者について解析された生体反応の変化が他者と比べて特異的である場合として
、次の３パターンが考えられる。１つ目は、他者については特に大きな生体反応の変化が
起きていないが、解析対象者について比較的大きな生体反応の変化が起きた場合である。
２つ目は、解析対象者については特に大きな生体反応の変化が起きていないが、他者につ
いて比較的大きな生体反応の変化が起きた場合である。３つ目は、解析対象者についても
他者についても比較的大きな生体反応の変化が起きているが、変化の内容が解析対象者と
他者とで異なる場合である。

関連事象特定部１４は、特異判定部１３により特異的であると判定された生体反応の変
化が起きたときに解析対象者、他者および環境の少なくとも１つに関して発生している事
象を特定する。例えば、関連事象特定部１４は、解析対象者について特異的な生体反応の
変化が起きたときにおける解析対象者自身の言動を動画像から特定する。また、関連事象
特定部１４は、解析対象者について特異的な生体反応の変化が起きたときにおける他者の
言動を動画像から特定する。また、関連事象特定部１４は、解析対象者について特異的な
生体反応の変化が起きたときにおける環境を動画像から特定する。環境は、例えば画面に
表示中の共有資料、解析対象者の背景に写っているものなどである。

クラスタリング部１５は、特異判定部１３により特異的であると判定された生体反応の
変化（例えば、目線、脈拍、顔の動き、発言内容、声質のうち１つまたは複数の組み合わ
せ）と、当該特異的な生体反応の変化が起きたときに発生している事象（関連事象特定部
１４により特定された事象）との相関の程度を解析し、相関が一定レベル以上であると判
定された場合に、その相関の解析結果に基づいて解析対象者または事象をクラスタリング
する。

例えば、特異的な生体反応の変化がネガティブな感情変化に相当するものであり、当該
特異的な生体反応の変化が起きたときに発生している事象もネガティブな事象である場合
には一定レベル以上の相関が検出される。クラスタリング部１５は、その事象の内容やネ
ガティブな度合い、相関の大きさなどに応じて、あらかじめセグメント化した複数の分類
の何れかに解析対象者または事象をクラスタリングする。

同様に、特異的な生体反応の変化がポジティブな感情変化に相当するものであり、当該
特異的な生体反応の変化が起きたときに発生している事象もポジティブな事象である場合
には一定レベル以上の相関が検出される。クラスタリング部１５は、その事象の内容やポ
ジティブな度合い、相関の大きさなどに応じて、あらかじめセグメント化した複数の分類
の何れかに解析対象者または事象をクラスタリングする。

解析結果通知部１６は、特異判定部１３により特異的であると判定された生体反応の変
化、関連事象特定部１４により特定された事象、およびクラスタリング部１５によりクラ
スタリングされた分類の少なくとも１つを、解析対象者の指定者（解析対象者またはオン
ラインセッションの主催者）に通知する。

例えば、解析結果通知部１６は、解析対象者について他者とは異なる特異的な生体反応
の変化が起きたとき（上述した３パターンの何れか。以下同様）に発生している事象とし
て解析対象者自身の言動を解析対象者自身に通知する。これにより、解析対象者は、自分
がある言動を行ったときに他者とは違う感情を持っていることを把握することができる。
このとき、解析対象者について特定された特異的な生体反応の変化も併せて解析対象者に
通知するようにしてもよい。さらに、対比される他者の生体反応の変化を更に解析対象者
に通知するようにしてもよい。

例えば、解析対象者が普段どおりの感情で特に意識せずに行った言動、または、解析対
象者がある感情を伴って特に意識して行った言動に対して他者が受けた感情と、言動の際
に解析対象者自身が抱いていた感情とが相違している場合に、そのときの解析対象者自身
の言動が解析対象者に通知される。これにより、自分の意識に反して他者の受けが良い言
動や他者の受けが良くない言動などを発見することも可能である。

また、解析結果通知部１６は、解析対象者について他者とは異なる特異的な生体反応の
変化が起きたときに発生している事象を、特異的な生体反応の変化と共にオンラインセッ
ションの主催者に通知する。これにより、オンラインセッションの主催者は、指定した解
析対象者に特有の現象として、どのような事象がどのような感情の変化に影響を与えてい
るのかを知ることができる。そして、その把握した内容に応じて適切な処置を解析対象者
に対して行うことが可能となる。

また、解析結果通知部１６は、解析対象者について他者とは異なる特異的な生体反応の
変化が起きたときに発生している事象または解析対象者のクラスタリング結果をオンライ
ンセッションの主催者に通知する。これにより、オンラインセッションの主催者は、指定
した解析対象者がどの分類にクラスタリングされたかによって、解析対象者に特有の行動
の傾向を把握したり、今後起こり得る行動や状態などを予測したりすることができる。そ
して、それに対して適切な処置を解析対象者に対して行うことが可能となる。

なお、上記実施形態では、生体反応の変化を所定の基準に従って数値化することによっ
て生体反応指標値を算出し、複数人のそれぞれについて算出された生体反応指標値に基づ
いて、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定
する例について説明したが、この例に限定されない。例えば、以下のようにしてもよい。

すなわち、生体反応解析部１２は、複数人のそれぞれについて目線の動きを解析して目
線の方向を示すヒートマップを生成する。特異判定部１３は、生体反応解析部１２により
解析対象者について生成されたヒートマップと他者について生成されたヒートマップとの
対比により、解析対象者について解析された生体反応の変化が、他者について解析された
生体反応の変化と比べて特異的か否かを判定する。

このように、本実施の形態においては、ビデオセッションの動画像をユーザ端末１０の
ローカルストレージに保存し、ユーザ端末１０上で上述した分析を行うこととしている。
ユーザ端末１０のマシンスペックに依存する可能性があるとはいえ、動画像の情報を外部
に提供することなく分析することが可能となる。

＜機能構成例２＞
図５に示すように、本実施形態のビデオセッション評価システムは、機能構成として、
動画像取得部１１、生体反応解析部１２および反応情報提示部１３ａを備えていてもよい
。

反応情報提示部１３ａは、画面に表示されていない参加者を含めて生体反応解析部１２
ａにより解析された生体反応の変化を示す情報を提示する。例えば、反応情報提示部１３
ａは、生体反応の変化を示す情報をオンラインセッションの主導者、進行者または管理者
（以下、まとめて主催者という）に提示する。オンラインセッションの主催者は、例えば
オンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的とし
たセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッシ
ョンに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッション
に参加しない別人であってもよい。

このようにすることにより、オンラインセッションの主催者は、複数人でオンラインセ
ッションが行われる環境において、画面に表示されていない参加者の様子も把握すること
ができる。

＜機能構成例３＞
図６は、本実施形態による構成例を示すブロック図である。図６に示すように、本実施
形態のビデオセッション評価システムは、機能構成として、上述した実施の形態１と類似
する機能については同一つの参照符号を付して説明を省略することがある。

本実施の形態によるシステムは、ビデオセッションの映像を取得するカメラ部及び音声
を取得するマイク部と、動画像を分析及び評価する解析部、取得した動画像を評価するこ
とによって得られた情報に基づいて表示オブジェクト（後述する）を生成するオブジェク
ト生成部、前記ビデオセッション実行中にビデオセッションの動画像と表示オブジェクト
の両方を表示する表示部と、を備えている。

解析部は、上述した説明と同様に、動画像取得部１１、生体反応解析部１２、特異判定
部１３、関連事象特定部１４、クラスタリング部１５および解析結果通知部１６を備えて
いる。各要素の機能については上述したとおりである。

図７に示されるように、オブジェクト生成部は、解析部によってビデオセッションから
取得される動画像を解析した結果に基づいて、必要に応じて、当該認識した顔の部分を示
すオブジェクト５０と、上述した分析・評価した内容を示す情報１００を当該動画像に重
畳して表示する。当該オブジェクト５０は、複数人の顔が動画像内に移っている場合には
、複数人全員の顔を識別し、表示することとしてもよい。

また、オブジェクト５０は、例えば、相手側の端末において、ビデオセッションのカメ
ラ機能を停止している場合（即ち、物理的にカメラを覆う等ではなく、ビデオセッション
のアプリケーション内においてソフトウェア的に停止している場合）であっても、相手側
のカメラで相手の顔を認識していた場合には、相手の顔が位置している部分にオブジェク
ト５０やオブジェクト１００を表示することとしてもよい。これにより、カメラ機能がオ
フになっていたとしても、相手側が端末の前にいることがお互い確認することが可能とな
る。この場合、例えば、ビデオセッションのアプリケーションにおいては、カメラから取
得した情報を非表示にする一方、解析部によって認識された顔に対応するオブジェクト５
０やオブジェクト１００のみを表示することとしてもよい。また、ビデオセッションから
取得される映像情報と、解析部によって認識され得られた情報とを異なる表示レイヤーに
分け、前者の情報に関するレイヤーを非表示にすることとしてもよい。

オブジェクト５０やオブジェクト１００は、複数の動画像を表示する領域がある場合に
は、すべての領域又は一部の領域のみに表示することとしてもよい。例えば、図８に示さ
れるように、ゲスト側の動画像のみに表示することとしてもよい。

以上説明した基本構成例１乃至基本構成例３において説明した発明の実施の形態は、単
独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装
置（例えばクラウドサーバ）等により実現されてもよい。例えば、各端末１０の制御部１
１０およびストレージ１３０は、互いにネットワークで接続された異なるサーバにより実
現されてもよい。即ち、本システムは、ユーザ端末１０、２０と、ユーザ端末１０、２０
に双方向のビデオセッションを提供するビデオセッションサービス端末３０と、ビデオセ
ッションに関する評価を行う評価端末４０とを含んでいるところ、以下のような構成のバ
リエーション組み合わせが考えられる。
（１）すべてをユーザ端末のみで処理
図９に示されるように、解析部による処理をビデオセッションを行っている端末で行う
ことにより、（一定の処理能力は必要なものの）ビデオセッションを行っている時間と同
時に（リアルタイムに）分析・評価結果を得ることができる。
（２）ユーザ端末と評価端末とで処理
図１０に示されるように、ネットワーク等で接続された評価端末に解析部を備えさせる
こととしてもよい。この場合、ユーザ端末で取得された動画像は、ビデオセッションと同
時に又は事後的に評価端末に共有され、評価端末における解析部によって分析・評価され
たのちに、オブジェクト５０及びオブジェクト１００の情報がユーザ端末に動画像データ
と共に又は別に（即ち、少なくとも解析データを含む情報が）共有され表示部に表示され
る。

上述した機能構成例１乃至機能構成例３の各構成又はそれらの組み合わせを用いて、以
下のシステムが実現する。

＜実施の形態＞
本発明の実施の形態による動画像分析システム（以下、単に「システム」という）は、
複数人の参加者でオンラインセッションが行われる環境において、当該参加者の全員又は
特定の参加者のみを撮影することによって得られる動画像をもとに参加者の反応を解析・
分析するものである。分析は、オンラインセッション中に参加者が画面に表示されている
か否かによらず行われるものとしてもよい。

図１０に示されるように、本実施の形態によるシステムは、動画像取得部と、解析部と
、人物特定部と、分析部とを備えている。動画像取得部は、オンラインセッション中に参
加者を撮影することによって得られる動画像を取得する。解析部は、動画像取得部により
取得された動画像に基づいて、参加者について生体反応の変化を解析する（図３乃至図５
等も併せて参照）。

人物特定部は、（オンラインセッション中に参加者が画面に表示されているか否かによ
らず）動画像内に含まれる人物を特定する。分析部は、特定された人物に関して分析を行
う。

図１１に示されるように、あるユーザは、時系列で、ユーザＡとの会議、ユーザＡ、Ｂ
、Ｃとの会議、ユーザＡ、Ｃとの会議、ユーザＤとの会議、ユーザＥとの会議が行われた
場合を例示する。分析部は、所定期間内に特定のユーザとオンラインセッションを行った
他のユーザの人数をカウントしたり、他のユニークユーザの人数をカウントする、オンラ
インセッションにおける対話相手毎に当該オンラインセッションが行われた時間をカウン
トする。

図１２に示されるように、分析部は、当日にオンライン会議を行った参加者の数が７名
であることと、そのうちユニークなユーザの数が５名であることを表示することとしても
よい。また、図４に示されるように、オンラインセッションが行われた時間をユーザ毎に
カウントしてグラフ化することとしてもよい。

本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序
で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また
、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上説明した実施の形態を適宜組み合わせて実施することとしてもよい。また、本明細
書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つ
まり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書
の記載から当業者には明らかな他の効果を奏しうる。

１０、２０ ユーザ端末
３０ ビデオセッションサービス端末
４０ 評価端末

Claims (4)

1. 複数人の参加者でオンラインセッションが行われる環境において、オンラインセッショ
   ン中に参加者が画面に表示されているか否かによらず、前記参加者を撮影することによっ
   て得られる動画像をもとに前記参加者の反応を解析する動画像分析システムであって、
   前記オンラインセッション中に前記参加者を撮影することによって得られる動画像を取
   得する動画像取得部と、
   前記動画像取得部により取得された動画像に基づいて、前記参加者について生体反応の
   変化を解析する解析部と、
   前記動画像内に含まれる人物を特定する人物特定部と、
   特定された前記人物に関して分析を行う分析部と、を備える。
   動画像分析システム。
2. 請求項１に記載の動画像分析システムであって、
   前記分析部は、所定期間内に特定のユーザと前記オンラインセッションを行った他のユ
   ーザの人数をカウントする、
   動画像分析システム。
3. 請求項２に記載の動画像分析システムであって、
   前記分析部は、所定期間内に特定のユーザと前記オンラインセッションを行った他のユ
   ニークユーザの人数をカウントする、
   動画像分析システム。
4. 請求項１乃至請求項３のいずれかに記載の動画像分析システムであって、
   前記分析部は、前記オンラインセッションにおける対話相手毎に、当該オンラインセッ
   ションが行われた時間をカウントする、
   動画像分析システム。
   
   

Images