JP2022153255A - オンライン映像配信支援方法およびオンライン映像配信支援装置 - Google Patents

オンライン映像配信支援方法およびオンライン映像配信支援装置 Download PDF

Info

Publication number
JP2022153255A
JP2022153255A JP2022000698A JP2022000698A JP2022153255A JP 2022153255 A JP2022153255 A JP 2022153255A JP 2022000698 A JP2022000698 A JP 2022000698A JP 2022000698 A JP2022000698 A JP 2022000698A JP 2022153255 A JP2022153255 A JP 2022153255A
Authority
JP
Japan
Prior art keywords
viewer
viewers
distributor
online video
video distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022000698A
Other languages
English (en)
Other versions
JP2022153255A5 (ja
Inventor
毅 吉原
Takeshi Yoshihara
孝治 堀内
Koji Horiuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US17/704,139 priority Critical patent/US20220312069A1/en
Priority to CN202210316231.8A priority patent/CN115150652A/zh
Publication of JP2022153255A publication Critical patent/JP2022153255A/ja
Publication of JP2022153255A5 publication Critical patent/JP2022153255A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Figure 2022153255000001
【課題】オンラインでライブ映像を視聴する視聴者の状態を効率的に算出し、配信者による質問者の選定を効率的に支援する。
【解決手段】オンライン映像配信支援方法は、オンライン映像を視聴するN(N:2以上の整数)人の視聴者のそれぞれにより使用される複数の視聴者端末との間で通信可能に接続されたコンピュータが行うオンライン映像配信支援方法であって、オンライン映像の配信中における視聴者に関する情報をそれぞれ取得し、取得された視聴者に関する情報に基づいて、オンライン映像の配信中における視聴者の視聴状況を示す指標を算出し、算出された指標に基づいて、N人の視聴者からM(M:1≦M<Nの整数)人の視聴者のそれぞれを選定して出力する。
【選択図】図13

Description

本開示は、オンライン映像配信支援方法およびオンライン映像配信支援装置に関する。
特許文献1には、受講者の情報端末と通信回路を介して接続され、判定された受講者の理解度に応じて次に抽出する動画像を変更するウェブラーニング装置が開示されている。ウェブラーニング装置は、講義映像および演習問題を含む動画像を動画像記憶手段に記憶し、動画像記憶手段から抽出した動画像を情報端末に配信する。ウェブラーニング装置は、講義映像の配信後に演習問題を情報端末に配信して、情報端末から送信された演習問題に対する回答を受信し、受信した演習問題に対する回答の内容または正誤に基づいて、受講者の動画像に対する理解度を判定する。
特開2019-086549号公報
ここで、事前に記憶された動画像、あるいはライブ映像等を用いたオンライン映像配信サービスを利用する配信者は、オンライン映像配信中にいずれかの視聴者を選定して、この視聴者に質問したり、この視聴者からの質問に答えたりすることがある。このような場合に配信者は、質問内容,配信内容等に応じて視聴者を適応的に選定したいという要望があるが、すべての視聴者の状態(例えば、配信内容に対する関心度、理解度等)を把握することは困難だった。また、ウェブラーニング装置では、講義映像配信中(つまり、オンライン映像配信中)の受講者(視聴者)の理解度を判定することはできなかった。
本開示は、上述した従来の状況に鑑みて案出され、オンラインでライブ映像を視聴する視聴者の状態を効率的に算出し、配信者による質問者の選定を効率的に支援するオンライン映像配信支援方法およびオンライン映像配信支援装置を提供することを目的とする。
本開示は、オンライン映像を視聴するN(N:2以上の整数)人の視聴者のそれぞれにより使用される複数の視聴者端末との間で通信可能に接続された1つ以上のコンピュータを含んで構成されるオンライン映像配信支援システムが行うオンライン映像配信支援方法であって、前記オンライン映像の配信中における前記視聴者に関する情報をそれぞれ取得し、取得された前記視聴者に関する情報に基づいて、前記オンライン映像の配信中における前記視聴者の視聴状況を示す指標を算出し、算出された前記指標に基づいて、前記N人の視聴者からM(M:1≦M<Nの整数)人の視聴者のそれぞれを選定して出力する、オンライン映像配信支援方法を提供する。
また、本開示は、1つ以上のコンピュータを含んで構成されるオンライン映像配信支援装置であって、オンライン映像を視聴するN(N:2以上の整数)人の視聴者に関する情報をそれぞれ取得する取得部と、前記視聴者に関する情報に基づいて、前記オンライン映像の配信中における前記視聴者の視聴状況を示す指標を算出する算出部と、前記算出部により算出された前記指標に基づいて、前記N人の視聴者からM(M:1≦M<Nの整数)人の視聴者のそれぞれを選定して出力する出力部と、を備える、オンライン映像配信支援装置を提供する。
本開示によれば、オンラインでライブ映像を視聴する視聴者の状態を効率的に算出し、配信者による質問者の選定を効率的に支援できる。
実施の形態1に係るオンライン映像配信支援システムにおける配信者端末およびサーバの内部構成例を示すブロック図 実施の形態1に係るオンライン映像配信支援システムにおける視聴者端末の内部構成例を示すブロック図 配信者端末のユースケース例および映像配信画面例を説明する図 視聴者端末のユースケース例および映像配信画面例を説明する図 実施の形態1に係るオンライン映像配信支援システムのデフォルトモードにおける動作手順例を示すシーケンス図 実施の形態1に係るオンライン映像配信支援システムのモード変更手順例を示すシーケンス図 実施の形態1に係るオンライン映像配信支援システムの講演モードにおける動作手順例を示すシーケンス図 実施の形態1に係るオンライン映像配信支援システムにおけるグルーピング方法の設定手順例を示すシーケンス図 実施の形態1に係るオンライン映像配信支援システムのグルーピング手順例を示すシーケンス図 実施の形態1に係るオンライン映像配信支援システムのグルーピング手順例を示すシーケンス図 実施の形態1に係るオンライン映像配信支援システムの質問モードにおける動作手順例を示すシーケンス図 指標値テーブルの一例を示す図 配信者端末に表示される質問モード画面の一例を説明する図 配信者端末に表示される質問モード画面の一例を説明する図 視聴者端末に表示される質問モード画面の一例を説明する図 視聴者端末に表示される質問モード画面の一例を説明する図 配信者端末および視聴者端末に表示される質問モード画面の一例を説明する図 配信者端末および視聴者端末に表示される質問モード画面の一例を説明する図 プレビュー画面の一例を説明する図 プレビュー画面の一例を説明する図 実施の形態2に係るオンライン映像配信支援システムの内部構成例を示すブロック図
以下、適宜図面を参照しながら、本開示に係るオンライン映像配信支援方法およびオンライン映像配信支援装置の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
まず、図1を参照して、実施の形態1に係るオンライン映像配信支援システム100の内部構成について説明する。図1は、実施の形態1に係るオンライン映像配信支援システム100の内部構成例を示すブロック図である。なお、図1に示すオンライン映像配信支援システム100は一例であり、これに限定されなくてもよい。
配信者端末PT1は、オンライン映像配信で映像配信を行う配信者TCにより操作され、例えば、PC(Personal Computer)、ノートPC、タブレット端末、スマートフォン等により実現される。配信者端末PT1は、ネットワークNWを介して、サーバS1およびオンライン映像配信を視聴する1人以上の視聴者のそれぞれにより使用される視聴者端末PS1,…のそれぞれとの間で無線通信可能に接続される。なお、ここでいう無線通信は、例えばWi-Fi(登録商標)等の無線LAN(Local Area Network)を介した通信である。
配信者端末PT1は、配信者TCによる各種設定(例えば、グルーピング方法に関する設定、質問者の選定方法に関する設定、指標値に関する設定等)の設定操作を受け付け、設定された各種設定情報をサーバS1に送信する。また、配信者端末PT1は、サーバS1から送信された映像配信画面SC1(図3参照)を表示部16に表示する。配信者端末PT1は、サーバS1により各種設定情報に基づいて生成され、送信された各種画面(例えば、映像配信画面SC1(図3参照)、質問モード画面SC3,SC4,SC7,SC8(図13、図14、図17、図18参照)、プレビュー画面SC9,SC10(図19、図20参照)を表示部16に表示する。
また、配信者端末PT1は、撮像部13により撮像された配信者TCの撮像画像(以降、「配信者画像」と表記)に基づいて、配信者TCの生体情報(例えば、脈拍、心拍、呼吸、配信者TCの視線位置等)を抽出あるいは算出して取得する。なお、ここでいう視線位置は、表示部16に表示された映像配信画面(例えば、図3に示す映像配信画面SC1等)上において配信者TCの視線が向けられている位置(座標)を示す。配信者端末PT1は、取得された配信者TCの生体情報、音声データ等をサーバS1に送信する。
配信者端末PT1は、通信部10と、プロセッサ11と、メモリ12と、撮像部13と、入力部14と、音声入力部15Aと、音声出力部15Bと、表示部16と、を含んで構成される。なお、図1では図示を省略しているが、配信者端末PT1は、2つ以上の表示部を備えてもよい。
通信部10は、ネットワークNWを介して、サーバS1および複数の視聴者端末PS1,…のそれぞれとの間でデータの送受信を実行する。通信部10は、サーバS1から送信された各種画面をプロセッサ11に出力する。また、通信部10は、プロセッサ11から出力された配信者TCの生体情報、各種設定情報、各種制御指令等をサーバS1に送信したり、配信者TCにより指定された共有資料のデータをサーバS1に送信したりする。
ここで、共有資料について説明する。共有資料は、配信者端末PT1と複数の視聴者端末PS1,…のそれぞれとの間で共有され、オンライン映像配信中に配信者端末PT1の表示部16と複数の視聴者端末PS1,…のそれぞれの表示部26とに表示されるデータであって、配信者TCおよび複数の視聴者のそれぞれにより視聴可能となる。例えば、共有資料は、プレゼンテーション用の複数の画像データのそれぞれにより構成されたスライド資料、PDF(Portable Document Format)形式の資料、ライブ映像(動画)データ、録画映像(動画)データ、画像データ等である。なお、共有資料は、配信者TCにより許可あるいは指定された任意の視聴者の視聴者端末から送信されたデータであってもよい。
プロセッサ11は、例えばCPU(Central Processing Unit)またはFPGA(Field Programmable Gate Array)を用いて構成されて、メモリ12と協働して、各種の処理および制御を行う。具体的には、プロセッサ11はメモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。例えば、プロセッサ11は、配信者画像から配信者TCの生体情報を抽出する機能、配信者画像から配信者TCの視線位置を算出する機能等を実行する。
プロセッサ11は、撮像部13から出力された配信者画像にCNN(Convolutional Neural Network)解析処理を実行し、配信者TCの視線位置を算出する。プロセッサ11は、算出結果である配信者TCの視線位置の情報と、この視線位置の算出に用いられた配信者画像の撮像時刻と、配信者TCを識別可能な識別情報(例えば、配信者TCの氏名、配信者TCのアカウント名、配信者端末PT1のIP(Internet Protocol)アドレス、メールアドレス等)と、を対応付けて通信部10に出力し、サーバS1に送信させる。
また、プロセッサ11は、撮像部13から出力された配信者画像に基づいて、配信者TCの生体情報を抽出する。プロセッサ11は、抽出された配信者TCの生体情報と、この生体情報の抽出に用いられた配信者画像の撮像時刻と、配信者TCを識別可能な識別情報(例えば、配信者TCの氏名、アカウント名、ID(Identification)、配信者端末PT1のIPアドレス、メールアドレス等)と、を対応付けて通信部10に出力し、サーバS1に送信させる。
メモリ12は、RAM(Random Access Memory)およびROM(Read Only Memory)等による半導体メモリと、SSD(Solid State Drive)あるいはHDD(Hard Disk Drive)等によるストレージデバイスのうちいずれかと、を含む記録デバイスを有する。メモリ12は、CNN解析処理に用いられる学習モデル等を記憶する。
撮像部13は、例えばCCD(Charged-Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部13は、配信者TCを撮像した配信者画像をプロセッサ11に出力する。
入力部14は、例えばタッチパネル、キーボード、マウス等を用いて構成されたユーザインタフェースである。入力部14は、受け付けられた配信者TC操作を電気信号(制御指令)に変換して、プロセッサ11に出力する。なお、入力部14がタッチパネルを用いて構成される場合、入力部14は、表示部16と一体的に構成されてよい。
音声入力部15Aは、例えばマイク等により構成され、収音された配信者TCの音声(音)を電気信号に変換し、プロセッサ11に出力する。プロセッサ11に出力された電気信号は、通信部10からネットワークNWを介してサーバS1を経由、あるいは直接各視聴者端末PS1,…に送信され、視聴者端末PS1,…のそれぞれが備えるスピーカ(不図示)から出力される。
音声出力部15Bは、例えばスピーカ、イヤホン、ヘッドフォン等により構成され、複数の視聴者端末PS1,…のそれぞれ、あるいはサーバS1から送信された視聴者の音声信号(電気信号)を、音声あるいは音に変換して出力する。
表示部16は、例えばLCD(Liquid Crystal Display)また
は有機EL(Electroluminescence)等のディスプレイを用いて構成される。表示部16は、プロセッサ11から出力された映像配信画面SC1(図3参照)および各種画面を表示する。
なお、以降の説明では、説明を分かり易くするために配信者端末PT1および複数の視聴者端末PS1,…のそれぞれの映像配信画面SC1に画像データである共有資料が含まれて表示される例について説明するが、映像配信画面SC1に含まれて表示されるデータは、画像データに限定されない。例えば、映像配信画面SC1に含まれて表示されるデータは、配信者TCにより撮像された映像データであってよい。このような場合、複数の視聴者端末PS1,…のそれぞれは、配信者端末PT1からリアルタイムで配信される映像データを映像配信画面SC2上に表示する。
オンライン映像配信支援装置の一例としてのサーバS1は、ネットワークNWを介して、配信者端末PT1および複数の視聴者端末PS1,…のそれぞれとの間で無線通信可能に接続される。なお、ここでいう無線通信は、例えばWi-Fi(登録商標)等の無線LAN)を介した通信である。
サーバS1は、配信者TCおよび複数の視聴者のそれぞれの生体情報を抽出し、抽出された生体情報を人物(配信者TCおよび複数の視聴者のそれぞれ)ごとに記録する。サーバS1は、記録された生体情報に基づいて、人物ごとの関心度、理解度、あるいは共感度等の各種パラメータを算出(評価)する。サーバS1は、各種パラメータの算出(評価)結果と、各種設定情報(グルーピング方法に関する設定情報、質問者候補の選定に関する設定情報)に基づいて、指標値を算出する。なお、ここでいう質問者は、複数の視聴者のそれぞれのうち配信者TCと通話(例えば、質問等)をする視聴者である。また、指標値は、視聴者のグルーピング、あるいは質問者の選定を実行するための指標となる値である。サーバS1は、算出された各種パラメータあるいは指標値に基づいて、オンライン映像配信を視聴する複数の視聴者のそれぞれを複数のグループにグルーピングしたり、1人以上の質問者候補を選定して、選定された質問者候補の顔画像(つまり、視聴者の顔画像)を含む質問モード画面を生成したりする。サーバS1は、通信部30と、プロセッサ31と、メモリ32と、を含んで構成される。
取得部の一例としての通信部30は、ネットワークNWを介して、配信者端末PT1および複数の視聴者端末PS1,…のそれぞれとの間でデータの送受信を実行する。通信部30は、配信者端末PT1から送信された各種制御指令、各種設定情報、共有資料のデータ、配信者画像、視聴者画像、配信者TCあるいは視聴者の生体情報等をプロセッサ31に出力する。また、通信部30は、プロセッサ31から出力された各種画面(例えば、映像配信画面(図3、図4参照)、質問モード画面(図13~図18参照)、プレビュー画面SC9,SC10(図19、図20参照)を対応する端末装置(配信者端末PT1あるいは視聴者端末)に送信する。なお、ここでいう視聴者画像は、視聴者端末により撮像された視聴者の撮像画像である。
プロセッサ31は、例えばCPUまたはFPGAを用いて構成されて、メモリ32と協働して、各種の処理および制御を行う。具体的には、プロセッサ31はメモリ32に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう各部は、処理部31Aおよび比較部31Bである。例えば、プロセッサ31は、配信者端末PT1から送信された配信者TCの生体情報、および各視聴者端末PS1,…のそれぞれから送信された視聴者の生体情報に基づいて、指標値を実行する機能、視聴者をグルーピングする機能、質問者を選定する機能、各種画面を生成する機能等を実行する。
プロセッサ31は、配信者端末PT1から送信された制御指令に基づいて、オンライン映像配信中に各種モードを変更する。ここでいう各種モードは、例えば、講演モード、グループディスカッションモード、質問モード、デフォルトモード等である。
講演モードは、配信者端末PT1および複数の視聴者端末PS1,…のそれぞれが同一の会場(以降、「メイン会場」と表記)にアクセスし、複数の視聴者端末PS1,…のそれぞれで配信者端末PT1から送信(配信)された共有資料、配信者TCの音声等を視聴可能なモードである。講演モードにおけるプロセッサ31は、配信者端末PT1から送信された各種制御指令に基づく制御(例えば、共有資料のデータ、スライド、ページ等の切り替え)を実行したり、配信者TCおよび複数の視聴者のそれぞれの生体情報を取得し、取得された生体情報に基づいて各種パラメータおよび指標値を算出(評価)し、視聴者ごとにメモリ32に蓄積したりする。
グループディスカッションモードは、複数の視聴者のそれぞれを2以上のグループにグルーピングし、各グループにグルーピングされた視聴者のみが参加可能なオンライン映像配信のための会場(以降、「サブ会場」と表記)を生成し、視聴者のそれぞれを対応するサブ会場に移動(アクセス)させることで、各グループにグルーピングされた視聴者同士でのグループディスカッション、グループワーク等を可能にするモードである。
質問モードは、配信者TCにより事前に設定された質問者候補の選定方法に基づいて、複数の視聴者のそれぞれから1人以上の質問者候補を選定し、選定された質問者候補の画像(つまり、視聴者の視聴者画像)を含む質問モード画面を生成し、配信者TCにより指名(選択)された質問者(視聴者)と配信者TCとの通話(対話)を可能にするモードである。
デフォルトモードは、オンライン映像配信を開始したタイミングで実行されるモードである。デフォルトモードは、事前に配信者TCにより上述した講演モード、グループディスカッションモード、あるいは質問モードのいずれかが設定されてもよい。
例えば、配信者TCがオンライン映像配信を開始した直後にいずれかの視聴者と対話(つまり、質問)等を行いたい場合には、デフォルトモードは、質問モードに設定されていてもよい。同様に、配信者TCがオンライン映像配信を開始した直後に複数の視聴者のそれぞれを2つ以上のグループにグルーピングしてグループディスカッション、グループワーク等を行わせたい場合には、グループディスカッションモードは、デフォルトモードに設定されていてもよい。
出力部の一例であって、講演モードにおける処理部31Aは、配信者端末PT1から送信された配信者TCの生体情報と、生体情報の取得に用いられた配信者画像の撮像時刻情報と、配信者TCの識別情報とを対応付けてメモリ32に記録する。また、同様に、複数の視聴者端末PS1,…のそれぞれから送信された視聴者の生体情報と、生体情報の取得に用いられた視聴者画像の撮像時刻情報と、視聴者の識別情報とを対応付けてメモリ32に記録する。
処理部31Aは、グルーピング方法に関する設定情報に含まれる対象期間の情報に基づいて、この対象期間の間に記録された配信者TCおよび複数の視聴者のそれぞれの生体情報を参照する。処理部31Aは、配信者TCおよび視聴者のそれぞれの各種パラメータの算出(評価)に用いられる各種データを生成する。
講演モードにおける処理部31Aは、指標値テーブルTB1(図12参照)に記録された複数の視聴者のそれぞれの表示順位に基づいて、表示順位の上位から所定人数(例えば
、5人、8人あるいは10人等の任意の人数)の視聴者の視聴者画像を含む映像配信画面SC1(図3参照)を生成し、配信者端末PT1に送信する。配信者端末PT1は、サーバS1から送信された映像配信画面SC1を表示部16に出力して表示する。
また、質問モードにおける処理部31Aは、指標値テーブルTB1(図12参照)に記録された複数の視聴者のそれぞれの表示順位と、質問者候補の選定方法に関する設定情報とに基づいて、表示順位の上位から所定人数(例えば、5人、8人あるいは10人等の任意の人数)の視聴者(つまり、質問者候補)の視聴者画像を含む質問モード画面SC3,SC4(図13、図14参照)を生成し、配信者端末PT1に送信する。配信者端末PT1は、サーバS1から送信された質問モード画面SC3,SC4を表示部16に出力して表示する。
なお、表示順位の決定方法は、配信者TCにより設定されてよい。例えば、比較部31Bは、視聴者画像表示領域SC12に表示される複数の視聴者画像の決定方法が視聴者の関心度が高い順に設定されている場合には、指標値テーブルに記録された視聴者の関心度が高い順に表示順位を決定し、複数の視聴者画像の決定方法が視聴者の指標値が低い順に設定されている場合には、指標値テーブルに記録された視聴者の指標値が低い順に表示順位を決定する。上述のように、視聴者画像表示領域SC12に表示される複数の視聴者画像の表示順位を決定するための指標値は、指標値に限定されず、単にいずれかのパラメータを指標値としてもよいし、2つ以上のパラメータを用いて算出された値を指標値としてもよい。
また、ここでいう視聴者画像表示領域は、各種画面(映像配信画面、質問モード画面等)において視聴者画像のそれぞれが表示される領域である。視聴者画像表示領域に表示される視聴者画像は、配信者TCに表示される各種画面と、複数の視聴者端末PS1,…のそれぞれに表示される各種画面とで異なってよい。
算出部の一例であって、講演モードにおける比較部31Bは、配信者端末PT1から送信された制御指令に基づいて、処理部31Aによってメモリ32に蓄積された配信者TCおよび複数の視聴者のそれぞれの生体情報、あるいは処理部31Aにより生成された各種データに基づいて、各視聴者の関心度、理解度、共感度等の各種パラメータを算出(評価)する。比較部31Bは、各種パラメータの算出(評価)結果と、各種設定情報(グルーピング方法に関する設定情報、質問者候補の選定に関する設定情報)とに基づいて、視聴者ごとの指標値を算出(評価)して、メモリ32の指標値テーブルTB1(図12参照)に記録する。なお、比較部31Bは、グループディスカッションモードで用いられる第1の指標値と、質問モードで用いられる第2の指標値とをそれぞれ算出(評価)して、メモリ32の指標値テーブルTB1(図12参照)に記録してもよい。さらに、比較部31Bは、質問者候補の選定方法に関する設定情報に基づいて、質問モード画面に表示される質問者候補の顔画像(視聴者画像)の表示順位を決定し、メモリ32の指標値テーブルTB1(図12参照)に記録する。
グループディスカッションモードにおける処理部31Aは、講演モード中に比較部31Bにより算出(評価)された配信者TCおよび視聴者のそれぞれの各種パラメータあるいは指標値と、グルーピング方法に関する設定情報とに基づいて、複数の視聴者のそれぞれを2以上のグループにグルーピングする。処理部31Aは、各グループにグルーピングされた視聴者のみが参加可能なサブ会場に移動するためのアドレスを生成して、複数の視聴者端末PS1,…のそれぞれに対応するグループ用のサブ会場のアドレス情報を送信する。また、処理部31Aは、各サブ会場に移動(アクセス)した視聴者端末のそれぞれで共有して表示される映像配信画面(不図示)をグループごとに生成し、各グループに対応する視聴者端末に送信する。
質問モードにおける処理部31Aは、講演モード中に比較部31Bにより算出(評価)された配信者TCおよび視聴者のそれぞれの表示順位に基づいて、複数の視聴者のそれぞれを並び替えて、質問モード画面に表示される質問者候補の選定を実行する。処理部31Aは、選定された1人以上の質問者候補の顔画像(視聴者画像)を含む質問モード画面を生成して、配信者端末PT1および複数の視聴者端末PS1,…のそれぞれに送信して表示させる。なお、配信者端末PT1で表示される質問モード画面で表示される質問者候補(つまり、視聴者の視聴者画像)と、複数の視聴者端末PS1,…のそれぞれで表示される質問モード画面で表示される視聴者の視聴者画像とは異なっていてよい。
また、比較部31Bは、算出(評価)された関心度に基づいて、共有資料に対する複数の視聴者のそれぞれの関心度の分布を示す視聴者俯瞰情報(図3参照)を含む映像配信画面SC1を生成して、配信者端末PT1に送信する。配信者端末PT1は、サーバS1から送信された映像配信画面SC1を表示部16に出力して表示する。なお、ここで視聴者俯瞰情報は、一例として関心度の分布を示す例について説明したが、理解度、または共感度の分布であってもよい。
記憶部の一例としてのメモリ32は、RAMおよびROM等による半導体メモリと、SSDあるいはHDD等によるストレージデバイスのうちいずれかと、を含む記録デバイスを有する。メモリ32は、配信者TCの識別情報と、複数の視聴者のそれぞれの識別情報と、指標値テーブルTB1(図12参照)等を記憶する。なお、メモリ32は、グループディスカッションモードで用いられる指標値テーブルと、質問モードで用いられる指標値テーブルとをそれぞれ別のテーブルとして記録してもよい。
ネットワークNWは、配信者端末PT1と複数の視聴者端末PS1,…のそれぞれとの間を有線通信または無線通信可能に接続する。
複数の視聴者端末PS1,…のそれぞれは、オンライン映像配信を視聴する視聴者により操作され、例えば、PC、ノートPC、タブレット端末、スマートフォン等により実現される。複数の視聴者端末PS1,…のそれぞれは、ネットワークNWを介して、サーバS1および配信者端末PT1との間で無線通信可能に接続される。なお、ここでいう無線通信は、例えばWi-Fi(登録商標)等の無線LANを介した通信である。
複数の視聴者端末PS1,…のそれぞれは、視聴者を撮像可能な撮像部23を備え、撮像された視聴者画像(ライブ映像)から視聴者の生体情報の抽出、および視聴者の視線位置の算出等を実行する。複数の視聴者端末PS1,…のそれぞれは、抽出された視聴者の生体情報と、算出された視聴者の視線位置と、視聴者の識別情報とを対応付けてサーバS1に送信する。また、複数の視聴者端末PS1,…のそれぞれは、サーバS1から送信された共有資料、配信者画像等を含む映像配信画面SC2、あるいは各種画面を表示したり、電気信号を音声(音)に変換してスピーカ(不図示)から出力したりする。
次に、図2を参照して、複数の視聴者端末PS1,…のそれぞれの内部構成例について説明する。図2は、実施の形態1に係るオンライン映像配信支援システム100における視聴者端末PS1,…の内部構成例を示すブロック図である。なお、図2に示す視聴者端末PS1は一例であり、これに限定されなくてもよい。また、複数の視聴者端末PS1,…のそれぞれは、同様の構成を有するため、ここでは視聴者端末PS1の内部構成例について説明する。
視聴者端末PS1は、通信部20と、プロセッサ21と、メモリ22と、撮像部23と、入力部24と、音声入力部25Aと、音声出力部25Bと、表示部26と、を含んで構
成される。
通信部20は、ネットワークNWを介して、サーバS1および配信者端末PT1との間でデータの送受信を実行する。通信部20は、サーバS1から送信された映像配信画面、各種画面、サブ会場へ移動するためのアドレス情報等をプロセッサ21に出力する。また、通信部20は、プロセッサ21から出力された視聴者画像、視聴者の生体情報、視聴者の視線位置(つまり、表示部26に表示された映像配信画面SC2(図4参照)上において視聴者の視線が向けられている位置)、視聴者の識別情報、理解度チェック用データに対する回答等をサーバS1に送信する。
ここでいう理解度チェック用データは、例えばテスト、アンケート等であって、オンライン映像配信の配信内容に関する理解度のチェックに用いられるデータである。また、理解度チェック用データは、共有資料であってもよい。
プロセッサ21は、例えばCPUまたはFPGAを用いて構成されて、メモリ22と協働して、各種の処理および制御を行う。具体的には、プロセッサ21はメモリ22に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。例えば、プロセッサ21は、処理部21Aによる視聴者画像から視聴者の生体情報を抽出する機能、視聴者画像から視聴者の視線位置を算出する機能等を実行する。
処理部21Aは、撮像部23から出力された視聴者画像にCNN解析処理を実行し、視聴者の視線位置を算出したり、視聴者の生体情報(脈拍、心拍、呼吸等)を抽出したりする。なお、視線位置および視聴者の生体情報の検知は、別々の異なる処理によってそれぞれ検知されてもよい。例えば、処理部21Aは、撮像部23から出力された視聴者画像にCNN解析処理を実行することで視線位置を検知し、撮像部23から出力された視聴者画像にフィルタ処理やノイズ除去を実行することで視聴者の生体情報を検知しても良い。なお、視線位置の推定処理には、CNN解析処理以外の公知の技術が用いられてもよい。また、処理部21Aは、入力部24から出力された視聴者の各種入力情報を取得する。処理部21Aは、算出結果である視聴者の視線位置の情報と、この視線位置の算出または生体情報の抽出に用いられた視聴者画像の撮像時刻と、視聴者を識別可能な識別情報(例えば、視聴者の氏名、アカウント名、ID、視聴者端末PS1のIPアドレス、メールアドレス等)と、各種入力情報と、を対応付けて通信部20に出力し、サーバS1に送信させる。
メモリ22は、RAMおよびROM等による半導体メモリと、SSDあるいはHDD等によるストレージデバイスのうちいずれかと、を含む記録デバイスを有する。メモリ22は、CNN解析処理に用いられる学習モデル、視聴者の識別情報等を記憶する。
撮像部23は、例えばCCDまたはCMOSの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部23は、視聴者を撮像した視聴者画像をプロセッサ21に出力する。
入力部24は、例えばタッチパネル、キーボード、マウス等を用いて構成されたユーザインタフェースである。入力部24は、受け付けられた視聴者操作を電気信号(制御指令)に変換して、プロセッサ21に出力する。なお、入力部24がタッチパネルを用いて構成される場合、入力部24は、表示部26と一体的に構成されてよい。
音声入力部25Aは、例えばマイク等により構成され、収音された視聴者の音声(音)を電気信号に変換し、プロセッサ21に出力する。プロセッサ21に出力された電気信号
は、通信部20からネットワークNWを介してサーバS1、あるいは配信者端末PT1に送信される。
音声出力部25Bは、例えばスピーカ、イヤホン、ヘッドフォン等により構成され、配信者端末PT1から送信された配信者の音声(音)に基づく電気信号を、音声(音)に変換して出力する。
表示部26は、例えばLCDまたは有機EL等のディスプレイを用いて構成される。表示部26は、プロセッサ21から出力された映像配信画面SC2(図4参照)、質問モード画面SC5,SC6,SC7,SC8(図15~図18参照)等を表示する。
次に、図3を参照して、配信者端末PT1の表示部16に表示される映像配信画面SC1について説明する。図3は、配信者端末PT1のユースケース例および映像配信画面SC1例を説明する図である。なお、図3に示す映像配信画面SC1の表示レイアウトは一例であってこれに限定されない。
図3のユースケース例に示す撮像部13は、配信者TCの顔を撮像可能な位置に設置される。なお、撮像部13の設置位置は、配信者TCの顔を撮像可能な位置であればよく、表示部16上に限定されないことは言うまでもない。
図3のユースケース例に示す入力部14は、キーボードおよびマウスにより実現される。また、音声入力部15Aは、マイクにより実現される。音声出力部15Bは、ヘッドフォンにより実現される。なお、音声入力部15Aは、音声出力部15Bが例えばマイク付きヘッドフォン等により実現される場合、音声出力部15Bと一体的に構成されてもよい。
図3のユースケース例に示す表示部16は、共有資料表示領域SC11と、視聴者画像表示領域SC12と、関心度分布情報表示領域SC13とを含む映像配信画面SC1を表示している。共有資料表示領域SC11は、配信者TC操作により指定されたオンライン映像配信用の共有資料が表示される。
また、視聴者画像表示領域SC12は、プロセッサ31における比較部31Bにより決定された5人の視聴者のそれぞれの視聴者画像FC11,FC12,FC13,FC14,FC15(ライブ映像)が表示される。視聴者画像表示領域SC12に表示される視聴者画像のそれぞれは、配信者TC操作により共有資料表示領域SC11に表示された共有資料のスライドが切り替えられるごと、事前に設定された所定時間(例えば、3分、5分、10分等)ごと、あるいは配信者TCによる視聴者画像の切り替えを要求する操作を受け付けるごとに、処理部31Aにより表示順位に基づいて決定され、切り替えられる。
関心度分布情報表示領域SC13は、プロセッサ31における比較部31Bによって生成された関心度分布画像を表示する。比較部31Bは、指標値テーブルTB1(図12参照)に記録された各視聴者の関心度に基づいて、N(N:2以上の整数)人の視聴者のそれぞれをh(h:2以上の整数)段階のグループに分類する。例えば、図3に示す例において、比較部31Bは、指標値テーブルTB1に記録された各視聴者の関心度に基づいて、関心度が「0.6~1.0」の視聴者を「関心度がとても高いグループ」、関心度が「0.4~0.6」の視聴者を「関心度が高いグループ」、関心度が「0.0~0.4」の視聴者を「関心度が低いグループ」の3段階のグループに分類する。なお、hの値、および各グループに分類するための関心度の範囲は、それぞれ配信者TCにより任意の値が設定されてよい。
比較部31Bは、分類後の各グループの視聴者の人数あるいは割合をそれぞれ算出し、「関心度がとても高いグループ」、「関心度が高いグループ」、「関心度が低いグループ」の3つのグループのそれぞれに対応するアイコン上(紙面上側)に、算出された各グループの視聴者の人数あるいは割合を表示した関心度分布画像を生成する。比較部31Bは、生成された関心度分布画像を関心度分布情報表示領域SC13に含む映像配信画面SC1を生成して、表示部16に表示させる。図3に示す例において、「関心度がとても高いグループ」に分類された視聴者の割合は「50」である。「関心度が高いグループ」に分類された視聴者の割合は「30」である。また、「関心度が低いグループ」に分類された視聴者の割合は「20」である。
これにより、配信者端末PT1は、現在の視聴者のそれぞれの関心度を配信者TCに可視化して提示する。配信者TCは、関心度分布情報表示領域SC13に表示された関心度分布情報に基づいて、視聴者のそれぞれが現在の配信内容に興味があるか否かを一目で確認することができる。
次に、図4を参照して、視聴者端末PS1,…のそれぞれの表示部26に表示される映像配信画面SC2について説明する。図4は、視聴者端末PS1,…のユースケース例および映像配信画面SC2例を説明する図である。なお、図4に示す映像配信画面SC2の表示レイアウトは一例であってこれに限定されない。
図4のユースケース例に示す撮像部23は、視聴者CSの顔を撮像可能な位置に設置される。なお、撮像部23の設置位置は、視聴者CSの顔を撮像可能な位置であればよく、表示部26上に限定されないことは言うまでもない。
図4のユースケース例に示す入力部24は、キーボードおよびマウスにより実現される。音声入力部25Aおよび音声出力部25Bのそれぞれは、一例としてマイク付きのヘッドフォンにより実現される。
図4のユースケース例に示す表示部26は、共有資料表示領域SC21と、配信者画像表示領域SC22とを含む映像配信画面を表示している。共有資料表示領域SC21は、配信者TC操作により指定されたオンライン映像配信用の共有資料が表示される。また、配信者画像表示領域SC22は、配信者端末PT1から送信された配信者画像が表示される。
ここで、図5を参照して、実施の形態1に係るオンライン映像配信支援システム100のデフォルトモードにおける動作手順について説明する。図5は、実施の形態1に係るオンライン映像配信支援システム100のデフォルトモードにおける動作手順例を示すシーケンス図である。
配信者端末PT1は、配信者TCの操作に基づいて、オンライン映像配信を開始する(St101A)。配信者端末PT1は、事前に設定されたデフォルトモードである講演モードに対応する映像配信画面SC1(図3参照)を表示部16に表示する(St102A)。
具体的に、配信者端末PT1は、配信者TCによりオンライン映像配信を開始するための操作を受け付けた場合、オンライン映像配信開始を要求する制御指令を生成して、サーバS1に送信する。サーバS1は、配信者端末PT1から送信された制御指令に基づいて、オンライン映像配信で使用されるメイン会場のアドレスの情報を配信者端末PT1に送信する。配信者端末PT1は、サーバS1から送信されたメイン会場にアクセスした後、音声入力部15Aにより収音された配信者TCの音声、撮像部13により撮像された配信
者画像、配信者画像を用いて取得された配信者TCの生体情報および視線位置の情報、配信者TCにより指定された共有資料のデータ、配信者TCあるいは配信者端末PT1の識別情報等をサーバS1に送信する。サーバS1は、配信者端末PT1から送信されたこれらのデータに基づいて、映像配信画面SC1(図3参照)を生成して、配信者端末PT1に送信する。配信者端末PT1は、サーバS1から送信された映像配信画面SC1を表示部16に表示する。
なお、映像配信画面SC1は、共有資料表示領域SC11、視聴者画像表示領域SC12、および関心度分布情報表示領域SC13のそれぞれ(つまり、視聴者画像、および視聴者俯瞰情報)を含まなくてもよい。例えば、視聴者画像表示領域SC12は、配信者TCにより表示または非表示が選択可能であってよいし、視聴者端末PS1,…のそれぞれから視聴者画像が送信されない場合(つまり、視聴者が不参加である場合、視聴者端末から視聴者画像が送信されない場合等)には非表示であってもよい。また、関心度分布情報表示領域SC13は、配信者TCにより表示または非表示が選択可能であってよいし、視聴者俯瞰情報(図3参照)が生成されるまでの間で非表示であってよい。
配信者端末PT1は、配信者TC操作により映像配信画面SC1上に表示されたオンライン映像配信を終了させる終了ボタン(不図示)が押下(選択)されたか否かを判定する(St103A)。
配信者端末PT1は、ステップSt103Aの処理において、オンライン映像配信を終了させる終了ボタンが押下(選択)されたと判定した場合(St103A,YES)、オンライン映像配信を終了する(St104)。
一方、配信者端末PT1は、ステップSt103Aの処理において、オンライン映像配信を終了させる終了ボタンが押下(選択)されていないと判定した場合(St103A,NO)、配信者TCによりオンライン映像配信のモードを変更する操作が行われたか否か(つまり、モード変更があるか否か)を判定する(St105A)。
ここで、複数の視聴者端末PS1,…のそれぞれの動作手順について説明する。
複数の視聴者端末PS1,…のそれぞれは、視聴者の操作に基づいて、オンライン映像配信を開始する(St101B)。複数の視聴者端末PS1,…のそれぞれは、映像配信画面SC2(図4参照)を表示部26に表示する(St102B)。
具体的に、複数の視聴者端末PS1,…のそれぞれは、メイン会場にアクセスした後、撮像部23により撮像された視聴者画像、視聴者画像を用いて取得された視聴者の生体情報および視線位置の情報、視聴者あるいは視聴者端末の識別情報等をサーバS1に送信する。サーバS1は、複数の視聴者端末PS1,…のそれぞれから送信されたこれらのデータと、配信者端末PT1から送信された各種データとに基づいて、映像配信画面SC2(図4参照)を生成して、複数の視聴者端末PS1,…のそれぞれに送信する。複数の視聴者端末PS1,…のそれぞれは、サーバS1から送信された映像配信画面SC2を表示部26に表示する。
複数の視聴者端末PS1,…のそれぞれは、視聴者操作により映像配信画面SC2上に表示されたオンライン映像配信を終了させる終了ボタン(不図示)が押下(選択)されたか否かを判定する(St103B)。
複数の視聴者端末PS1,…のそれぞれは、ステップSt103Bの処理において、オンライン映像配信を終了させる終了ボタンが押下(選択)されたと判定した場合(St1
03B,YES)、オンライン映像配信を終了する(St109)。
一方、複数の視聴者端末PS1,…のそれぞれは、ステップSt103Bの処理において、オンライン映像配信を終了させる終了ボタンが押下(選択)されていないと判定した場合(St103B,NO)、配信者TCによりオンライン映像配信のモードを変更する操作が行われたか否か(つまり、モード変更があるか否か)を判定する(St105B)。
複数の視聴者端末PS1,…のそれぞれは、ステップSt105Bの処理において、配信者TCによりオンライン映像配信のモードを変更する操作が行われたと判定した場合(St105B,YES)、ステップSt200に移行する。なお、ステップSt200に示すモード変更処理は、図6を参照して後述する。
一方、複数の視聴者端末PS1,…のそれぞれは、ステップSt105Bの処理において、視聴者によりオンライン映像配信のモードを変更する操作が行われていないと判定した場合(St105B,NO)、ステップSt103Bの処理に移行し、オンライン映像配信を終了させる終了ボタンが押下(選択)されたか否かを判定する。
配信者端末PT1は、ステップSt105Aの処理において、配信者TCによりオンライン映像配信のモードを変更する操作が行われたと判定した場合(St105A,YES)、ステップSt200に移行し、現在のモード(ここでは、講演モード)から配信者TCにより指定されたモードへ変更する処理(モード変更処理)を実行する。なお、ステップSt200に示すモード変更処理は、図6を参照して後述する。
一方、配信者端末PT1は、ステップSt105Aの処理において、配信者TCによりオンライン映像配信のモードを変更する操作が行われていないと判定した場合(St105A,NO)、ステップSt103Aの処理に移行し、オンライン映像配信を終了させる終了ボタンが押下(選択)されたか否かを判定する。
配信者端末PT1は、オンライン映像配信終了を要求する制御指令を生成してサーバS1に送信する(St106)。
サーバS1は、配信者端末PT1から送信された制御指令に基づいて、オンライン映像配信終了を要求する制御指令を複数の視聴者端末PS1,…のそれぞれに送信する(St107)。
複数の視聴者端末PS1,…のそれぞれは、配信者端末PT1によりオンライン映像配信終了を要求する制御指令(具体的に、オンライン映像配信終了を要求する制御指令)を受信したか否かを判定する(St108)。
複数の視聴者端末PS1,…のそれぞれは、ステップSt108の処理において、サーバS1から送信された制御指令を受信したと判定した場合(St108,YES)、オンライン映像配信を終了する(St109)。
一方、複数の視聴者端末PS1,…のそれぞれは、ステップSt108の処理において、サーバS1から送信された制御指令を受信していないと判定した場合(St108,NO)、ステップSt103Bの処理に移行する。
次に、図6を参照して、モード変更処理について説明する。図6は、実施の形態1に係るオンライン映像配信支援システム100のモード変更手順例を示すシーケンス図である
。なお、図6に示す例では、デフォルトモードから他のモードへモードが変更される例について説明するが、これに限定されない。
配信者端末PT1は、ステップSt105Aの処理において、配信者TCによりオンライン映像配信のモードを変更する操作が行われたと判定した場合(St105A,YES)、ステップSt200に移行し、現在のモード(ここでは、講演モード)から配信者TCにより指定されたモードへ変更する処理(モード変更処理)を実行する。
配信者端末PT1は、現在のモード(例えば、講演モード)から配信者TCにより指定されたモードへの変更を要求する制御指令を生成して、サーバS1に送信する(St201)。配信者端末PT1は、配信者TCにより指定されたモードへオンライン映像配信のモードを変更する(St202)。
サーバS1は、配信者端末PT1から送信された制御指令に基づいて、オンライン映像配信終了を要求する制御指令を複数の視聴者端末PS1,…のそれぞれに送信する(St203)。
複数の視聴者端末PS1,…のそれぞれは、配信者端末PT1によりオンライン映像配信終了を要求する制御指令(具体的に、オンライン映像配信終了を要求する制御指令)を受信したか否かを判定する(St204)。
複数の視聴者端末PS1,…のそれぞれは、ステップSt204の処理において、サーバS1から送信された制御指令を受信したと判定した場合(St204,YES)、オンライン映像配信を終了する(St205)。
一方、複数の視聴者端末PS1,…のそれぞれは、ステップSt204の処理において、サーバS1から送信された制御指令を受信していないと判定した場合(St204,NO)、ステップSt103Bの処理に移行する。
なお、ここで、オンライン映像配信が講演モードであって、ステップSt312の処理からステップSt200の処理に移行した場合、ステップSt204の処理の後、ステップSt304の処理に移行する。また、オンライン映像配信がグループディスカッションモードであって、ステップSt411の処理からステップSt200の処理に移行した場合、ステップSt204の処理の後、ステップSt407の処理に移行する。同様に、オンライン映像配信が質問モードであって、ステップSt514の処理からステップSt200の処理に移行した場合、ステップSt204の処理の後、ステップSt501Bの処理に移行する。
図7を参照して、講演モードにおける動作手順例について説明する。図7は、実施の形態1に係るオンライン映像配信支援システム100の講演モードにおける動作手順例を示すシーケンス図である。
配信者端末PT1は、オンライン映像配信のモードが講演モードに変更された場合、サーバS1から送信された講演モード画面である映像配信画面SC1(図3参照)を表示部16に表示する(St301)。なお、ステップSt301の処理で表示部16に表示される映像配信画面SC1は、共有資料表示領域SC11、視聴者画像表示領域SC12、および関心度分布情報表示領域SC13のそれぞれ(つまり、共有資料、視聴者画像、および視聴者俯瞰情報)を含まなくてもよい。図7に示す動作手順例における映像配信画面SC1は、以下で説明するステップSt302の処理の後に、共有資料表示領域SC11に共有資料が表示される。
配信者端末PT1は、配信者TCにより指定された共有資料のデータをサーバS1に送信する(St302)。ここでいう共有資料は、プレゼンテーション用の複数の画像データのそれぞれにより構成されたスライド資料、PDF形式の資料、ライブ映像(動画)データ、録画映像(動画)データ、画像データ等である。なお、共有資料は、配信者TCにより許可あるいは指定された任意の視聴者の視聴者端末から送信されたデータであってもよい。このような場合、共有資料は、視聴者端末からサーバS1に送信される。
サーバS1は、配信者端末PT1から送信された共有資料のデータを共有資料表示領域SC11に表示した映像配信画面SC1と、共有資料のデータを共有資料表示領域SC21に表示した映像配信画面SC2とを生成する。サーバS1は、生成された映像配信画面SC1を配信者端末PT1に送信して、表示させる。また、サーバS1は、生成された映像配信画面SC2を複数の視聴者端末PS1,…のそれぞれに送信する(St303)。
複数の視聴者端末PS1,…のそれぞれは、サーバS1から送信された講演モード画面である映像配信画面SC2(図4参照)を表示部26に表示する(St304)。
配信者端末PT1は、配信者TCを撮像した配信者画像から配信者TCの生体情報を抽出する(St305)。なお、ここでいう生体情報は、視線位置、表情、心拍、心拍変動、音声、脳波等である。
配信者端末PT1は、抽出された配信者TCの生体情報と、この生体情報の抽出に使用された配信者画像の撮像時刻と、配信者TCあるいは配信者端末PT1の識別情報とを対応付けて、サーバS1に送信する(St306)。
複数の視聴者端末PS1,…のそれぞれは、視聴者を撮像した視聴者画像、あるいは視聴者の音声を収音した音声データから視聴者の生体情報を抽出する(St305)。なお、ここでいう生体情報は、視線位置、表情、心拍、心拍変動、音声、脳波等であってもよいし、視線位置、表情、心拍、心拍変動、音声、脳波等を分析して推定(評価)された視聴者のリラックス度、集中度、ストレス度等であってもよい。さらに、生体情報は、視聴者による入力部24への入力操作された各種入力情報であってもよいし、各種入力情報を分析して推定(評価)された視聴者のリラックス度、集中度、ストレス度等であってもよい。また、ここでいう各種入力情報は、例えば、マウス、キーボード等のユーザインタフェースへの入力操作履歴、チャット欄へ入力された入力履歴、オンライン映像配信中に配信者端末PT1から配信された小テスト、アンケート、質問等に対して視聴者により入力された回答内容、オンライン映像配信中の発言回数または発言内容等である。
複数の視聴者端末PS1,…のそれぞれは、抽出された視聴者の生体情報と、この生体情報の抽出に使用された視聴者画像の撮像時刻、視聴者の音声データの収音時刻、あるいは各種入力情報の入力時刻と、視聴者あるいは視聴者端末の識別情報とを対応付けて、サーバS1に送信する(St308)。
サーバS1は、配信者端末PT1から送信された配信者TCの生体情報と、この生体情報に対応付けられた各種情報(例えば、配信者画像の撮像時刻、配信者TCあるいは配信者端末PT1の識別情報等)とを受信する(St309)。サーバS1は、複数の視聴者端末PS1,…のそれぞれから送信された視聴者の生体情報と、この生体情報に対応付けられた各種情報(例えば、視聴者画像の撮像時刻、視聴者の音声データの収音時刻、各種入力情報の入力時刻、視聴者あるいは視聴者端末の識別情報等)とを受信する(St309)。
サーバS1は、視聴者ごとに各種パラメータの算出を実行し、算出された各種パラメータに基づいて、視聴者ごとの指標値を算出(評価)する(St310)。なお、ここでいう各種パラメータは、関心度、理解度、共感度等である。また、指標値は、後述するグループディスカッションモードにおける視聴者のグルーピング処理、あるいは質問モードにおける質問者候補の選定に用いられる値である。なお、指標値の算出方法は、配信者TCにより設定される。サーバS1は、設定された指標値の算出に用いられるパラメータ、重み係数等を用いて、指標値を算出する。
サーバS1は、算出(評価)された視聴者ごとの各種パラメータおよび指標値をメモリ32の指標値テーブルTB1に記録する(St311)。なお、サーバS1は、ステップSt309で受信された配信者TCおよび複数の視聴者のそれぞれの各種情報をメモリ32に記録してもよい。
配信者端末PT1は、配信者TCによりオンライン映像配信のモードを変更する操作が行われたか否か(つまり、モード変更があるか否か)を判定する(St312)。
配信者端末PT1は、ステップSt312の処理において、配信者TCによりオンライン映像配信のモードを変更する操作が行われたと判定した場合(St312,YES)、ステップSt200に移行し、現在のモード(ここでは、講演モード)から配信者TCにより指定されたモードへ切り替える処理(モード変更処理)を実行する。
一方、配信者端末PT1は、ステップSt312の処理において、配信者TCによりオンライン映像配信のモードを変更する操作が行われていないと判定した場合(St312,NO)、ステップSt301の処理に移行する。つまり、配信者端末PT1は、講演モードの間、ステップSt301~ステップSt302、およびステップSt305~ステップSt306の処理を繰り返し実行する。
以上により、実施の形態1に係るオンライン映像配信支援システム100は、講演モード中に後述するグループディスカッションモードにおける視聴者のグルーピング処理、あるいは質問モードにおける質問者候補の選定に用いられる指標値を算出して記録できる。
また、オンライン映像配信支援システム100は、講演モード中に指標値の算出に必要な配信者TCおよび複数の視聴者のそれぞれの各種情報を取得して記録する。これにより、オンライン映像配信支援システム100は、配信者TCにより指標値の算出方法の設定が変更された場合であっても、過去の所定期間(例えば、1時間、1週間、1カ月等)に亘って蓄積して記録された配信者TCの生体情報、および複数の視聴者のそれぞれの生体情報、各種入力情報等に基づいて、視聴者ごとの指標値を算出(評価)できる。
また、オンライン映像配信支援システム100は、同一の配信者TCにより他のオンライン映像配信が行われる場合には、過去の所定期間(例えば、1時間、1週間、1カ月等)に亘って蓄積して記録された配信者TCおよび複数の視聴者のそれぞれの各種情報に基づいて、視聴者ごとの指標値を算出(評価)できる。さらに、オンライン映像配信支援システム100は、他の配信者により他のオンライン映像配信が行われる場合であっても、去の所定期間(例えば、1時間、1週間、1カ月等)に亘って蓄積して記録された複数の視聴者のそれぞれの生体情報、各種入力情報等を参照して、視聴者ごとの各種パラメータの変動(例えば、関心度、理解度、共感度の変化等)に基づく指標値を算出(評価)できる。
図8~図10を参照して、グループディスカッションモードにおける動作手順例について説明する。図8は、実施の形態1に係るオンライン映像配信支援システム100におけ
るグルーピング方法の設定手順例を示すシーケンス図である。図9は、実施の形態1に係るオンライン映像配信支援システム100のグルーピング手順例を示すシーケンス図である。図10は、実施の形態1に係るオンライン映像配信支援システム100のグルーピング手順例を示すシーケンス図である。
なお、図8に示す動作手順例では、グループディスカッションのためのグルーピング方法を選択および設定する手順を含む場合について説明するが、グループディスカッションのためのグルーピング方法の選択または設定は、他のモード中あるいはオンライン映像配信開始前に配信者TCにより行われてもよい。
同様に、複数の視聴者端末PS1,…のそれぞれは、他のモードからグループディスカッションモードにモード変更がされると、メイン会場にアクセス(参加)した状態である(St401B)。
配信者端末PT1は、他のモードからグループディスカッションモードにモード変更がされると、メイン会場にアクセス(参加)した状態で(St401A)、配信者TCによるグルーピング方法の選択操作を受け付け可能なグルーピング方法選択画面(不図示)を生成して、表示する(St402)。例えば、グルーピング方法選択画面は、現在設定されているグルーピング方法の設定を変更するか否かを選択させる画面であってもよいし、後述するステップSt414の処理で配信者TCにより設定可能な各種設定情報の入力欄、選択欄等を含む画面であってもよい。
配信者端末PT1は、グルーピング方法選択画面への配信者TC操作を受け付けて(St403)、グルーピング方法の設定処理を実行する(St404)。
ここで、ステップSt414におけるグルーピング方法の設定処理について詳細に説明する。
配信者端末PT1は、配信者TC操作によるグルーピング方法の指定を受け付ける(St421)。なお、ここでいうグルーピング方法は、例えば、配信者TCによる手動操作により視聴者をグルーピングする方法、視聴者ごとに算出された各種パラメータあるいは指標値によらずランダムに視聴者をグルーピングする方法、視聴者ごとに算出された各種パラメータあるいは指標値に基づいて視聴者をグルーピングする方法等である。
配信者端末PT1は、配信者TCにより指定されたグルーピング方法が各種パラメータあるいは指標値を利用するグルーピング方法(つまり、視聴者ごとに算出された各種パラメータあるいは指標値に基づいて視聴者をグルーピングする方法)であるか否かを判定する(St422)。
配信者端末PT1は、ステップSt422の処理において、配信者TCにより指定されたグルーピング方法が各種パラメータあるいは指標値を利用するグルーピング方法であると判定した場合(St422,YES)、グルーピングに用いられる指標値の算出方法について、配信者TCによる設定操作を受け付ける(St423)。
ここで、ステップSt423で設定されるグルーピング用の指標値の算出方法は、単にいずれかのパラメータ(関心度、理解度、あるいは共感度)を指標値として算出する方法であってもよいし、2つ以上のパラメータを組み合わせて指標値を算出する方法であってもよい。さらに、指標値の算出方法の設定において、配信者端末PT1は、配信者TCによる各種パラメータごとの重み係数、各種パラメータの算出に用いられる各種生体情報、各種データ(例えば、視線動線データ、視線ヒートマップ等)のそれぞれに対する重み係
数等の設定操作を受け付けてよい。なお、各種データの生成方法は後述する。
一方、配信者端末PT1は、ステップSt422の処理において、配信者TCにより指定されたグルーピング方法が各種パラメータあるいは指標値を利用するグルーピング方法でない(例えば、手動でグルーピングする方法、あるいはランダムでグルーピングする方法等)と判定した場合(St422,NO)、ステップSt435の処理に移行する。
配信者端末PT1は、グルーピングに用いられる指標値の対象期間について、配信者TCによる設定操作を受け付ける(St424)。具体的に、配信者端末PT1は、指標値の算出に用いられる各種パラメータが算出された日時、あるいは各種パラメータの算出に用いられる配信者画像および視聴者画像の撮像時刻、視聴者の音声データの収音時刻、あるいは各種入力情報の入力時刻等の日時に関する指定操作を受け付ける。これにより、オンライン映像配信支援システム100は、例えば数回に亘って行われるオンライン講義(授業)等のように定期的、あるいは配信内容に関連性があるオンライン映像配信が行われる場合には、過去のオンライン映像配信で算出された各種パラメータを含めた指標値を算出したり、過去に算出された各種パラメータに基づく各視聴者の関心度、理解度、あるいは共感度の変化量を指標値として設定したりできる。
配信者端末PT1は、グルーピングに用いられるアルゴリズムについて、配信者TCによる設定操作を受け付ける(St425)。なお、ここでいうアルゴリズムは、例えば、グルーピング後の各グループのそれぞれに含まれる複数の視聴者の指標値の平均値が各グループのそれぞれで同程度となるようにグルーピングするアルゴリズム、指標値が高い順あるいは低い順に複数の視聴者のそれぞれを並び替え、並び替え後の視聴者を所定人数(例えば、3人、4人、あるいは5人等)ごとにグルーピングするアルゴリズム等である。
配信者端末PT1は、ステップSt423~ステップSt425のそれぞれの処理で設定されたグルーピングのための各種設定情報をサーバS1に送信する(St426)。
サーバS1は、配信者端末PT1から送信されたグルーピング用の設定情報としてメモリ32に記録するとともに、メモリ32に記録された指標値テーブルTB1を参照して、各種設定情報に含まれる対象期間に記録された各種パラメータがあるか否かを判定する(St427)。なお、ここでは各種パラメータがあるか否かを判定する例を示すが、サーバS1は、各種パラメータの算出に用いる配信者TCおよび視聴者の生体情報があるか否かを判定してもよい。
さらに、ステップSt427の処理におけるサーバS1は、現在オンライン映像配信を視聴中の視聴者のうち1人以上の視聴者の各種パラメータがあるか否かを判定してもよい。これにより、オンライン映像配信支援システム100は、オンライン映像配信の途中から視聴を開始した視聴者がいた場合であっても、グルーピング処理を実行できる。
サーバS1は、ステップSt427の処理において、各種設定情報に含まれる対象期間に記録された各種パラメータがあると判定した場合(St427,YES)、ステップSt423の処理で設定された指標値の算出方法に基づいて、視聴者ごとの指標値を算出する(St428)。
一方、サーバS1は、ステップSt427の処理において、各種設定情報に含まれる対象期間に記録された各種パラメータがないと判定した場合(St427,NO)、ステップSt421の処理に移行し、再度、配信者TCによるグルーピング方法についての指定操作を受け付ける(St421)。
サーバS1は、グルーピング用のアルゴリズムと、算出された指標値とに基づいて、複数の視聴者のそれぞれを2つ以上のグループにグルーピングする(St429)。サーバS1は、複数の視聴者画像のそれぞれを各グループにグルーピングしたプレビュー画面SC9,SC10(図19、図20参照)を生成して、配信者端末PT1に送信する(St430)。
配信者端末PT1は、サーバS1から送信された各グループのプレビュー画面SC9,SC10(図19、図20参照)を表示部16にプレビュー表示し(St431)、プレビュー画面に基づく各グループのグルーピング結果について、配信者TCによる追加変更操作を受け付ける。配信者端末PT1は、配信者TCによる追加変更操作があるか否かを判定する(St432)。
配信者端末PT1は、ステップSt432の処理において、配信者TCによる追加変更操作があると判定した場合(St432,YES)、配信者TCによる追加変更操作に基づいて、各グループにグルーピングされる視聴者を変更し、変更後の各グループのグルーピング結果に基づくプレビュー画面SC9,SC10(図19、図20参照)を生成して、表示部16に表示する(St431)。
一方、配信者端末PT1は、ステップSt432の処理において、配信者TCによる追加変更操作がないと判定した場合(St432,NO)、配信者TCによるグルーピング方法の設定のやり直しを要求する操作があるか否かを判定する(St433)。
配信者端末PT1は、ステップSt433の処理において、配信者TCによるグルーピング方法の設定のやり直しを要求する操作があると判定した場合(St433,YES)、再度、配信者TCによるグルーピング方法についての指定操作を受け付ける(St421)。
一方、配信者端末PT1は、ステップSt433の処理において、配信者TCによるグルーピング方法の設定のやり直しを要求する操作がないと判定した場合(St433,NO)、現在設定されているグルーピング方法の設定情報を生成して、グルーピング方法の設定処理を完了する(St434)。
ここで、指標値を利用しない場合のグルーピング方法の設定処理について説明する。
配信者端末PT1は、ステップSt422の処理において、配信者TCにより指定されたグルーピング方法が各種パラメータあるいは指標値を利用するグルーピング方法でないと判定した場合(St422,NO)、設定されたグルーピング方法が複数の視聴者のそれぞれをランダムにグルーピングする方法であるか否かをさらに判定する(St435)。
配信者端末PT1は、ステップSt435の処理において、グルーピング方法が複数の視聴者のそれぞれをランダムにグルーピングする方法であると判定した場合(St435,YES)、2つ以上のグループのそれぞれに複数の視聴者のそれぞれをランダムに割り当ててグルーピングする(St436)。なお、配信者端末PT1は、複数の視聴者のそれぞれをランダムにグルーピングするグループ数、1グループにグルーピングされる視聴者の人数等について、配信者TCによる指定操作を受け付けてよい。配信者端末PT1は、配信者TCにより指定されたグループ数、あるいは人数に基づいて、グルーピング処理を実行する。配信者端末PT1は、グルーピング結果に基づいて、プレビュー画面SC9,SC10(図19、図20参照)を生成して、表示部16に表示する(St431)。
一方、配信者端末PT1は、ステップSt435の処理において、グルーピング方法が複数の視聴者のそれぞれをランダムにグルーピングする方法でないと判定した場合(St435,NO)、配信者TCによる各視聴者に対するグルーピング操作を受け付ける(St437)。配信者端末PT1は、配信者TCの操作によりグルーピングされた各グループのプレビュー画面SC9,SC10(図19、図20参照)を生成して、表示部16に表示する(St431)。
以上により、実施の形態1に係るオンライン映像配信支援システム100は、複数の視聴者のそれぞれのグルーピング方法を設定できる。以下、図9および図10に示す動作手順により設定されたグルーピング方法に基づくグルーピング処理について、再度、図8に示す動作手順を参照して説明する。
配信者端末PT1は、生成されたグルーピング方法の設定情報を、サーバS1に送信する(St405)。
サーバS1は、配信者端末PT1から送信されたグルーピング方法の設定情報をメモリ32に記録するとともに、グルーピング処理を実行する。サーバS1は、グルーピング結果に基づいて、生成された2つ以上のグループのそれぞれのサブ会場のアドレス情報を生成し、各グループでオンライン映像配信を行うためのサブ会場のアドレス情報と、サブ会場のアドレスへの移動(アクセス)を要求する制御指令とを対応付けて、このサブ会場のアドレス情報に対応する視聴者端末に送信する(St406)。なお、サーバS1は、各グループに対応するサブ会場のアドレス情報と、各グループにグルーピングされた視聴者の情報とを対応付けて配信者端末PT1に送信してもよい。
複数の視聴者端末PS1,…のそれぞれは、サーバS1から送信された制御指令に基づいて、現在のアクセス中のメイン会場からサブ会場へ移動(アクセス)する(St407)。なお、ステップSt407の処理は、視聴者操作に基づいて実行されてよい。
配信者端末PT1は、複数の視聴者のそれぞれがグルーピング先のサブ会場でオンライン映像配信を行っている間、メイン会場に待機する(St408)。なお、配信者端末PT1は、サーバS1から各グループに対応するサブ会場のアドレス情報と、各グループにグルーピングされた視聴者の情報とが送信された場合、各サブ会場に移動し、各グループで行われているオンライン映像配信を視聴可能であってよい。
配信者端末PT1は、配信者TCによりグルーピング解除操作があるか否かを判定する(St409)。
配信者端末PT1は、ステップSt409の処理において、配信者TCによりグルーピング解除操作があると判定した場合(St409,YES)、グルーピングの解除を要求する制御指令を生成して、サーバS1に送信する(St410)。なお、ここで配信者端末PT1は、配信者TC操作に基づいて、一部のグループのグルーピングを解除する制御指令を生成して、サーバS1に送信してもよい。
一方、配信者端末PT1は、ステップSt409の処理において、配信者TCによりグルーピング解除操作がないと判定した場合(St409,NO)、配信者TCによりオンライン映像配信のモードを変更する操作があるか否かを判定する(St411)。配信者端末PT1は、ステップSt411の処理において、配信者TCによりオンライン映像配信のモードを変更する操作があると判定した場合(St411,YES)、ステップSt200の処理に移行する。一方、配信者端末PT1は、ステップSt411の処理において、配信者TCによりオンライン映像配信のモードを変更する操作がないと判定した場合
(St411,NO)、ステップSt408の処理に移行し、メイン会場での待機状態を継続する(St408)。
サーバS1は、配信者端末PT1から送信された制御指令に基づいて、メイン会場への移動(アクセス)を要求する制御指令と、メイン会場へ移動するためのアドレスとを対応付けて、複数の視聴者端末PS1,…のそれぞれに送信する(St412)。なお、サーバS1は、配信者端末PT1から送信された制御指令が一部のグループのグルーピングを解除する制御指令である場合には、対応するグループにグルーピングされた複数の視聴者端末のそれぞれに、メイン会場への移動(アクセス)を要求する制御指令と、メイン会場へ移動するためのアドレスとを対応付けて送信してもよい。
複数の視聴者端末PS1,…のそれぞれは、サーバS1からメイン会場のアドレスへの移動(アクセス)を要求する制御指令(つまり、移動要求)があるか否かを判定する(St413)。
複数の視聴者端末PS1,…のそれぞれは、ステップSt413の処理において、サーバS1からメイン会場のアドレスへの移動(アクセス)を要求する制御指令があると判定した場合(St413,YES)、ステップSt401Bの処理に移行する。
一方、複数の視聴者端末PS1,…のそれぞれは、ステップSt413の処理において、サーバS1からメイン会場のアドレスへの移動(アクセス)を要求する制御指令がないと判定した場合(St413,NO)、視聴者によるメイン会場のアドレスへ移動(アクセス)するための操作があるか否かを判定する(St414)。
複数の視聴者端末PS1,…のそれぞれは、ステップSt414の処理において、視聴者によるメイン会場のアドレスへ移動(アクセス)するための操作があると判定した場合(St414,YES)、ステップSt401Bの処理に移行する。
一方、複数の視聴者端末PS1,…のそれぞれは、ステップSt414の処理において、視聴者によるメイン会場のアドレスへ移動(アクセス)するための操作がないと判定した場合(St414,NO)、ステップSt204におけるモード変更要求の有無の判定に移行する。また、複数の視聴者端末PS1,…のそれぞれは、ステップSt204の処理において、モード変更要求がないと判定した場合(St204,NO)、ステップSt407の処理に移行し、指定されたサブ会場で待機する。
以上により、実施の形態1に係るオンライン映像配信支援システム100は、オンライン映像配信においてグループディスカッションモードにモード変更があった場合、配信者TCにより設定されたグルーピング方法の設定情報に基づいて、複数の視聴者のそれぞれを複数のグループにグルーピングできる。なお、図9および図10に示すグルーピング方法の設定手順は、グループディスカッションモード以外のモード中、あるいはオンライン映像配信開始前に実行されてもよい。これにより、オンライン映像配信支援システム100は、オンライン映像配信中のグルーピング処理をより円滑に行うことができる。
図11を参照して、質問モードにおける動作手順例について説明する。図11は、実施の形態1に係るオンライン映像配信支援システム100の質問モードにおける動作手順例を示すシーケンス図である。なお、以下の説明では説明を分かり易くするために、配信者端末PT1で表示される質問モード画面SC3,SC4(図13、図14参照)を「第1の質問モード画面」と表記し、複数の視聴者端末PS1,…のそれぞれで表示される質問モード画面SC5,SC6(図15、図16参照)を「第2の質問モード画面」と表記する。
配信者端末PT1は、質問モードに変更されたタイミングで、サーバS1から第1の質問モード画面に表示される視聴者画像の表示順位の情報を取得する。配信者端末PT1は、取得された表示順位の情報に基づいて、表示順位が高い順に視聴者の視聴者画像を並び替え、並び替え後の複数の視聴者の視聴者画像のそれぞれから質問モード画面に表示される所定人数(例えば、3人、5人、あるいは9人等)の視聴者(つまり、質問者候補)を選定する。配信者端末PT1は、選定された所定人数の視聴者の視聴者画像のそれぞれを視聴者画像表示領域に含む第1の質問モード画面(図13、図14参照)を生成する(St510A)。配信者端末PT1は、生成された現在の質問者選定に関する設定情報(つまり、現在の表示設定)に基づく第1の質問モード画面を表示部16に表示する(St502)。
なお、質問者候補の選定および第1の質問モード画面の生成処理は、サーバS1によって実行されてもよい。このような場合、サーバS1は、事前に配信者端末PT1から送信され、メモリ32に記録された質問者候補の選定に関する設定情報に基づいて、複数の視聴者のそれぞれの表示順位を算出し、算出された表示順位に基づいて、第1の質問モード画面に表示される所定人数(例えば、3人、5人、あるいは9人等)の視聴者(つまり、質問者候補)を選定する。サーバS1は、選定された所定人数の視聴者の視聴者画像のそれぞれを視聴者画像表示領域に含む第1の質問モード画面(図13、図14参照)を生成して、配信者端末PT1に送信する。
また、サーバS1は、複数の視聴者端末PS1,…のそれぞれに表示される第2の質問モード画面の生成を、第1の質問モード画面と同様の生成手順によって生成してもよいし、他の手順により生成されてもよい。例えば、第1の質問モード画面と、第2の質問モード画面とに含まれる視聴者画像を一致させない設定が、質問者候補の選定に関する設定情報に含まれている場合、サーバS1は、第1の質問モード画面に表示される視聴者の視聴者画像と一致しないように、第2の質問モード画面に表示される視聴者の視聴者画像のそれぞれを選定する。例えば、サーバS1は、第2の質問モード画面に表示される視聴者の視聴者画像のそれぞれをランダムに選定してもよいし、第1の質問モード画面に表示される視聴者の視聴者画像のうち少なくとも1人以上の視聴者の視聴者画像を選定し、選定された1人以上の視聴者の視聴者画像を第1の質問モード画面で非表示となる視聴者の視聴者画像に変更することで第2の質問モード画面を生成してもよい。さらに、サーバS1は、配信者画像を含む第2の質問モード画面を生成してもよい。
複数の視聴者端末PS1,…のそれぞれは、質問モードに変更されたタイミングで、サーバS1から送信された第2の質問モード画面(図15、図16参照)を表示部26に表示する(St501B)。
配信者端末PT1は、配信者TCにより、第1の質問モード画面に含まれる1人以上の視聴者の視聴者画像のそれぞれのうちいずれか1人の視聴者(つまり、質問者)の指名(選択)操作があるか否かを判定する(St503)。
なお、ここでいう指名(選択)操作は、第1の質問モード画面(図13、図14参照)に表示された視聴者の視聴者画像を押下(選択)する操作であってもよいし、配信者TCあるいは視聴者の音声を用いた音声入力操作であってよい。音声入力操作の場合、配信者端末PT1は、収音された配信者TCあるいは視聴者の音声データを音声認識し、認識結果に含まれる視聴者の指名、視聴者の識別情報等に基づいて、指名された視聴者を特定することで視聴者(質問者)の選択操作を受け付けたり、視聴者の音声データを解析して、配信者TCによる呼びかけに応答した視聴者を音声認識により特定することで視聴者(質問者)の選択操作を受け付けたりする。
配信者端末PT1は、ステップSt503の処理において、いずれか1人の視聴者(質問者)の指名(選択)操作があると判定した場合(St503,YES)、指名された視聴者の視聴者画像を含む質問モード画面SC7,SC8(図17、図18参照)を生成して(St504)、サーバS1に送信する(St506)。サーバS1は、配信者端末PT1から送信された質問モード画面を複数の視聴者端末PS1,…のそれぞれに送信する(St507)。複数の視聴者端末PS1,…のそれぞれは、サーバS1から送信され、配信者TCにより指名(選択)された視聴者の視聴者画像を含む質問モード画面を表示部26に表示する(St508)。
ここで、配信者端末PT1は、サーバS1から送信された複数の視聴者のそれぞれの各種パラメータ、指標値あるいは表示順位のうち指名された視聴者に対応する各種パラメータ、指標値あるいは表示順位を下げたり、リセットしたりする。これにより、オンライン映像配信支援システム100は、一度配信者TCにより指名された質問者(視聴者)が連続して質問者候補に選定されることを抑制し、より効率的な質問者候補の選定を実現できる。
一方、配信者端末PT1は、ステップSt503の処理において、いずれか1人の視聴者(質問者)の指名(選択)操作がないと判定した場合(St503,NO)、配信者TC操作によって質問者選定に関する設定情報(つまり、第1の質問モード画面の表示設定)が変更されたか否かを判定する(St505)。ここでいう質問者選定に関する設定情報は、質問者候補の選定を行うための表示順位に関する設定(例えば、関心度が低い順、指標値が高い順、共感度と関心度との合計値が高い順等)、質問モード画面に表示される質問者候補(視聴者)の人数の設定等である。
配信者端末PT1は、ステップSt505の処理において、質問者選定に関する設定情報が変更されたと判定した場合(St505,YES)、変更後の設定情報をサーバS1に送信する(St509)。
一方、配信者端末PT1は、ステップSt505の処理において、質問者選定に関する設定情報が変更されたと判定した場合(St505,NO)、ステップSt502の処理に移行し、第1の質問モード画面の表示を継続する。
サーバS1は、配信者端末PT1から送信された変更後の設定情報に基づいて、表示順位を再度算出(評価)して指標値テーブルTB1に記録(更新)するとともに(St510)、算出(評価)された複数の視聴者の視聴者画像のそれぞれの表示順位の情報を配信者端末PT1に送信する(St511)。
配信者端末PT1は、変更後の質問者選定に関する設定情報と、サーバS1から送信された新たな複数の視聴者の視聴者画像のそれぞれの表示順位に基づいて、第1の質問モード画面を生成して、表示部16に表示する(St512)。
配信者端末PT1は、配信者TCによる、第1の質問モード画面に表示された複数の視聴者の視聴者画像を、第1の質問モード画面において現在非表示状態となっている他の複数の視聴者の視聴者画像に切り替えるための表示切替操作があるか否か(具体的に、図14に示す視聴者画像表示切替ボタンBT41を押下(選択)する操作があるか否か)を判定する(St513)。
配信者端末PT1は、ステップSt513の処理において、表示切替操作があると判定した場合(St513,YES)、ステップSt512の処理に移行し、最新の表示順位
に基づいて、第1の質問モード画面において現在非表示状態となっている他の複数の視聴者の視聴者画像のそれぞれを含む新たな第1の質問モード画面を生成して、表示部16に表示する(St512)。なお、ここで配信者端末PT1は、オンライン映像配信のチャット機能、挙手機能、リアクション機能等を使用した視聴者がいる場合、対応する視聴者の表示順位を最も高い表示順位に割り込ませる処理を行い、最新の表示順位を決定してもよい。配信者端末PT1は、最新の表示順位の上位から所定人数(例えば、5人、7人、9人等)の視聴者を質問者候補として選定し、選定された所定人数の質問者候補(視聴者)の視聴者画面を含む最新の第1の質問モード画面を生成して出力する。
配信者端末PT1は、配信者TCによりオンライン映像配信のモードを変更する操作があるか否かを判定する(St514)。配信者端末PT1は、ステップSt514の処理において、配信者TCによりオンライン映像配信のモードを変更する操作があると判定した場合(St514,YES)、ステップSt200の処理に移行する。一方、配信者端末PT1は、ステップSt514の処理において、配信者TCによりオンライン映像配信のモードを変更する操作がないと判定した場合(St514,NO)、ステップSt502の処理に移行し、第1の質問モード画面の表示を継続する。
以上により、実施の形態1に係るオンライン映像配信支援システム100は、質問者候補となる1人以上の視聴者の視聴者画像を選定し、選定された視聴者の視聴者画像を含む第1の質問モード画面を配信者TCに提示することにより、配信者TCによる質問者の選定を支援できる。また、オンライン映像配信支援システム100は、配信者TCにより設定された質問者選定に関する設定情報に基づいて、例えば、配信内容に対する関心度が高い視聴者、理解度が低い視聴者等を選定できるため、配信者TCが質問したい視聴者をより効率的に選定できる。
ここで、図12を参照して、指標値テーブルTB1について説明する。図12は、指標値テーブルTB1の一例を示す図である。なお、図12に示す指標値テーブルTB1では、以降の説明を分かり易くするために視聴者の顔画像SCA,SCB,SCC,SCD,SCE,SCF,SCG,SCH,SCIのそれぞれを含む例を示すが、視聴者の顔画像は必須でない。
指標値テーブルTB1は、視聴者ごとに算出された指標値を記録するテーブルであって、視聴者の識別情報(図12に示す例では、視聴者の氏名、視聴者の顔画像)と、算出(評価)された指標値と、を少なくとも対応付けて記録する。指標値テーブルTB1は、サーバS1におけるプロセッサ31により生成され、メモリ32に記録される。なお、図12に示す指標値テーブルTB1は、指標値の算出(評価)に用いられる各種パラメータである関心度、理解度、共感度と、指標値の算出(評価)に用いられる重み係数とを記録する例を示す。例えば、図12に示す例において、視聴者「A」は、関心度「0.81」、理解度「0.76」、共感度「0.52」であり、配信者TCにより配信されるオンライン映像配信のカテゴリが「配信カテゴリA」である場合に重み係数W0、オンライン映像配信のカテゴリが「配信カテゴリB」である場合に重み係数W1のそれぞれが設定されている。
サーバS1における比較部31Bは、算出された各種パラメータあるいは指標値と、配信者TCにより設定された質問者選定に関する設定情報(つまり、表示順位の設定情報)と、に基づいて、視聴者の視聴者画像の表示順位を決定して記録する。なお、図12では質問者選定に関する設定情報は、指標値が低いほど表示順位が高くなる設定が行われている例を示す。このような場合、比較部31Bは、視聴者のそれぞれを指標値が低い順に並び替えて表示順位を決定する。具体的に、図12に示す例では、視聴者の表示順位は、最も指標値が低い視聴者「B」の表示順位が「1」に決定され、次に指標値が低い視聴者「
D」の表示順位が「2」に決定され、指標値が最も高い視聴者「F」が表示順位「9」にそれぞれ決定される。これにより、サーバS1は、複数の視聴者の視聴者画像のそれぞれの表示順位を決定できる。
なお、ここでいうオンライン映像配信のカテゴリは、オンライン映像配信の配信内容のカテゴリであって、配信者TCにより設定される。カテゴリは、例えば、講義科目(国語、数学、倫理、歴史、英語等)、ジャンル(ニュース、映画、ゲーム、政治、音楽等)であってよい。また、例えば、複数回に亘るオンライン映像配信により完結する配信内容(例えば、講義、授業等)である場合、オンライン映像配信のカテゴリは、「第1回目」、「第2回目」等であってもよい。
以下、視聴者に関する情報から、視聴者の視聴状況を示す指標を算出する具体例について説明する。視聴者に関する情報は、例えば、視聴者の生体情報、視聴者端末PS1,…への入力情報、操作情報である。なお、詳細は後述するが、上記指標を算出する際に、配信者の生体情報や配信者端末PT1への入力情報が利用されてもよい。
ここで、関心度の算出方法の例について説明する。関心度は、配信者TCの生体情報と視聴者の生体情報との相関(つまり、類似度)、各種入力情報、生体情報等に基づいて推定される。
例えば、配信者TCの生体情報と視聴者の生体情報との相関は、配信者TCの視線位置と視聴者の視線位置との間の距離に基づいて算出された類似度を用いて算出(評価)される。このような場合、サーバS1における処理部31Aは、配信者TCが各視線位置を見続けた合計凝視時間を算出し、算出された合計凝視時間が最も長い視線位置を抽出する。同様に、比較部31Bは、視聴者ごとの視線位置の情報に基づいて、各視聴者が各視線位置を見ていた合計凝視時間を算出し、算出された合計凝視時間が最も長い視線位置を視聴者ごとに抽出する。比較部31Bは、抽出された配信者TCの視線位置と視聴者の視線位置との間の距離を正規化することで関心度を算出する。
また、例えば、配信者TCの生体情報と視聴者の生体情報との相関は、配信者TCの視線動線データと視聴者の視線動線データとの類似度を用いて算出(評価)される。このような場合、サーバS1における処理部31Aは、配信者TCの視線位置の情報に対応付けられた撮像時刻に基づいて、配信者TCの視線位置を時系列順に並び変えることで配信者TCの視線位置の時系列変化を示す視線動線データを生成する。同様に、処理部31Aは、視聴者の視線位置の情報に対応付けられた撮像時刻に基づいて、視聴者の視線位置を時系列順に並び変えることで視聴者の視線位置の時系列変化を示す視線動線データを視聴者ごとに生成する。比較部31Bは、生成された配信者TCの視線動線データと視聴者の視線動線データとを用いて、所定時刻ごとの2つの視線動線データ上の視線位置の平均距離(類似度)を算出する。比較部31Bは、抽出された配信者TCの視線位置と視聴者の視線位置との間の平均距離を正規化することで関心度を算出する。
また、例えば、配信者TCの生体情報と視聴者の生体情報との相関は、配信者TCの視線ヒートマップと視聴者の視線ヒートマップとの類似度を用いて算出(評価)される。このような場合、サーバS1における処理部31Aは、蓄積された配信者TCの各視線位置の情報と、これらの視線位置の情報に対応付けられ、配信者TCがこの視線位置を見続けた凝視時間とに基づいて、配信者TCがよく見ていた位置をマッピングした配信者TCの視線ヒートマップを生成する。同様に、処理部31Aは、蓄積された視聴者ごとの各視線位置の情報と、これらの視線位置の情報に対応付けられ、視聴者がこの視線位置を見続けた凝視時間とに基づいて、視聴者がよく見ていた位置をマッピングした視聴者ごとの視線ヒートマップを生成する。比較部31Bは、生成された配信者TCの視線ヒートマップと視聴者の視線ヒートマップとを用いて、画素ごとの色差分を算出し、算出された色差分を正規化して、配信者TCの視線ヒートマップと、視聴者の視線ヒートマップとの相関(類似度)を算出する。比較部31Bは、抽出された配信者TCの視線ヒートマップと視聴者の視線ヒートマップとの間の相関(類似度)を正規化することで関心度を算出する。
なお、処理部31Aは、視線位置ごとの凝視時間に重み付けを実行してもよい。例えば、処理部31Aは、視線位置を見てから現在時刻までの間に経過した経過時間の増加に伴って視線ヒートマップの生成に用いられる視線位置の凝視時間を減少させる重み関数を用いて、合計凝視時間が最長である視線位置、あるいは視線ヒートマップの生成に用いられる視線位置ごとの凝視時間を算出してもよい。なお、ここで使用される重み関数は、経過時間の増加に伴って凝視時間を減少させる関数であればよく、例えば任意の線形関数、累積分布関数、シグモイド関数等である。
また、例えば、サーバS1は、視聴者ごとの各種入力情報および生体情報を用いて、視聴者の感情の変化を推定したり、入力された入力内容(例えば、入力された文字、画像を解析した取得された感情に関する情報等)を解析することで視聴者の感情を推定したり、バイタル情報の変化(例えば、心拍数の変化、呼吸の変化等)に基づいて、視聴者の感情の変化を推定したりする。サーバS1は、推定結果に基づいて、配信内容に対する視聴者ごとの関心度を算出(評価)する。
また、関心度の算出に用いられる視聴者ごとの入力情報(または操作情報)として、例えば、映像配信画面ウィンドウの状態情報が用いられてもよい。この場合、サーバS1は、表示部26に表示された映像配信画面ウィンドウ(例えば、図4に示す共有資料表示領域SC21)の状態情報を各視聴者端末PS1から受信し、この状態情報に基づいて、配信内容に対する視聴者ごとの関心度を算出(評価)する。具体例としては、サーバS1は、時間情報と対応付けられた上記状態情報に基づいて、視聴者の視聴状態の時間帯と非視聴状態の時間帯とを推定し、この視聴状態の時間帯および非視聴状態の時間帯の割合に基づいて、この視聴者の関心度を算出する。すなわち、視聴状態の時間帯が長いほど関心度は高い値で算出され、非視聴状態の時間帯が長いほど関心度は低い値で算出される。なお、上記状態情報として、表示部26に映像配信画面ウィンドウが最大化された状態または最前面に開かれている状態を示す場合、サーバS1はこの時間帯において視聴者は視聴状態であると推定する。一方、上記状態情報として、表示部26に映像配信画面ウィンドウが最小化された状態または映像配信画面ウィンドウの前面に別のウィンドウが開かれている状態を示す場合、サーバS1はこの時間帯において視聴者は非視聴状態であると推定する。
以上より、視聴者の関心度は、例えば、視聴者の各種入力情報および生体情報の一方または両方を用いて算出可能である。また、上述したように、視聴者の関心度を算出する際に、配信者の生体情報が利用されてもよい。なお、関心度の算出は上述の例に限定されず、他の手法が用いられてもよい。
次に、理解度の算出方法の例について説明する。理解度は、配信者TCにより配信されたテスト、抜き打ちクイズ等の点数(採点結果)に基づいて、視聴者ごとに算出される。理解度の算出のためのテスト、抜き打ちクイズ等は、オンライン映像配信中に行われてよい。サーバS1は、事前に配信者TCにより設定された解答情報と、視聴者ごとの入力情報(つまり、テスト、抜き打ちクイズへの回答情報)とに基づいて、視聴者ごとの理解度(点数)を算出する。なお、ここでいうテスト、抜き打ちクイズ等は、過去に配信されたオンライン映像配信で実施されたテスト、抜き打ちクイズ等であってよい。このような場合、サーバS1は、視聴者ごとのすべてあるいは一部のテスト、抜き打ちクイズ等の結果(点数)を抽出し、抽出された各テスト、抜き打ちクイズ等の結果(点数)の平均値、合計値、あるいは合計値を各テスト、抜き打ちクイズ等の満点の値で正規化した値等に基づいて、視聴者ごとの理解度を算出する。
次に、共感度の算出方法の例について説明する。共感度は、例えば、オンライン映像配信中の視聴者の所定の表情回数(例えば、笑顔の回数等)、所定の動作回数(例えば、頷く動作の回数)、あるいは視聴者の生体情報(例えば、心拍等)に基づいて算出されたストレス度の高さ等に基づいて、視聴者ごとに算出される。このような場合、サーバS1は、所定の表情回数、所定の動作回数が多いほど共感度を高く算出したり、ストレス度が高いほど共感度を低く算出したりする。また、サーバS1は、算出された視聴者の生体情報(例えば、心拍等)に基づいて、オンライン映像配信中に視聴者がストレスを感じていると判定された時間を計測し、この視聴者のストレス度が所定値以下である合計時間に基づいて、共感度を算出してもよい。このような場合、サーバS1は、ストレス度が所定値以下である合計時間が長いほど高い共感度を算出する。さらに、サーバS1は、配信者TCの生体情報に基づく配信者TCのストレス度の時間変化を示す感情時系列データと視聴者のストレス度の時間変化を示す感情時系列データとを生成し、これらの相関(類似度)に基づいて、共感度を算出してもよい。このような場合、サーバS1は、感情時系列データの類似度が高い視聴者の共感度を高く算出する。
図13および図14を参照して、質問モードにおいて配信者端末PT1に表示される質問モード画面SC3,SC4(つまり、第1の質問モード画面)のそれぞれの画面例について説明する。図13は、配信者端末PT1に表示される質問モード画面SC3の一例を説明する図である。図14は、配信者端末PT1に表示される質問モード画面SC4の一例を説明する図である。なお、図13および図14に示す質問モード画面SC3,SC4のそれぞれは一例であってこれに限定されないことは言うまでもない。
質問モード画面SC3は、配信者端末PT1あるいはサーバS1によって生成されて、
配信者端末PT1の表示部16に表示される。図13に示す質問モード画面SC3は、質問モード画面SC3の全域が視聴者画像表示領域となり、質問者選定に関する設定情報で指定された方法で並び替えられた8人の視聴者の視聴者画像FC11,FC12,FC13,FC14,FC15,FC16,FC18,FC19のそれぞれと、配信者画像FC20とを含んで生成される。なお、質問モード画面SC3の視聴者画像表示領域で表示される視聴者画像の数(つまり、視聴者の人数)は、講演モードで表示される映像配信画面SC1(図3参照)で表示される視聴者画像の数(つまり、視聴者の人数)より多く表示されることが望ましいが、これに限定されない。これにより、配信者TCは、質問モード画面SC3でより多くの質問者候補の中から質問者を選定できる。
なお、ここで、質問モード画面SC3に含まれて表示される視聴者の視聴者画像のそれぞれは、質問モード画面SC3で表示可能な表示人数を超えた場合には、質問者選定に関する設定情報で指定された方法で選定された所定人数の視聴者の視聴者画像が、質問者選定に関する設定情報で指定された方法で並び替えられて表示されてよい。一方、オンライン映像配信を視聴する視聴者の人数が質問モード画面SC3で表示可能な表示人数以下である場合、質問モード画面SC3に含まれて表示される視聴者の視聴者画像のそれぞれは、質問者選定に関する設定情報で指定された方法で並び替えられて表示されてよい。
また、配信者端末PT1あるいはサーバS1は、複数の視聴者端末PS1,…のそれぞれから送信された視聴者の音声データ(発話音声データの一例)に基づいて、質問モード画面SC3に表示された複数の視聴者のそれぞれのうち発話中(質問中)の視聴者を特定してもよい。このような場合、配信者端末PT1あるいはサーバS1は、発話中(質問中)の視聴者に対応する視聴者画像に枠線を重畳して強調表示してもよい。例えば、図13に示す例において、配信者端末PT1あるいはサーバS1は、視聴者画像FC18に対応する視聴者が発話(質問)していると判定した場合、視聴者画像FC18に枠線を重畳した質問モード画面SC3を生成する。これにより、配信者TCは、質問モード画面SC3に表示された複数の視聴者のそれぞれのうち発話中(質問中)の視聴者を一目で把握することができる。
さらに、配信者端末PT1あるいはサーバS1は、複数の視聴者のそれぞれの各種パラメータあるいは指標値に基づいて、質問モード画面SC3に表示される複数の視聴者のそれぞれの視聴者画像の配置、並び順等を決定してもよい。例えば、配信者端末PT1あるいはサーバS1は、視聴者の関心度が高い順に質問者候補が選定される場合、複数の視聴者のそれぞれの関心度が高い順に複数の視聴者のそれぞれの表示順位を決定する。配信者端末PT1あるいはサーバS1は、決定された表示順位に基づいて、質問モード画面SC3に表示された複数の視聴者のそれぞれの視聴者画像の配置、並び順等を決定する。例えば、配信者端末PT1あるいはサーバS1は、質問モード画面SC3の左上から右下にかけて視聴者の関心度が低くなる(つまり、表示順位が下がる)ように視聴者画像のそれぞれを配置、あるいは並べた質問モード画面SC3を生成してもよい。これにより、配信者TCは、質問モード画面SC3に表示された複数の視聴者のそれぞれの関心度を直感的に把握することができる。
質問モード画面SC4は、配信者端末PT1あるいはサーバS1によって生成されて、配信者端末PT1の表示部16に表示される。図14に示す質問モード画面SC4は、共有資料表示領域SC41と、質問者として選定された視聴者の視聴者画像のそれぞれが表示される視聴者画像表示領域SC42と、配信者画像が表示される配信者画像表示領域SC44と、視聴者画像表示切替ボタンBT41と、を含む。質問モード画面SC4における視聴者画像表示領域SC42は、質問者選定に関する設定情報で指定された方法で選定され、並び替えられた5人の視聴者の視聴者画像FC11,FC12,FC13,FC14,FC15のそれぞれが表示される。なお、配信者画像表示領域SC44は、配信者T
C操作(例えば、ドラッグ操作等)に基づいて、質問モード画面SC4内の任意の位置に移動可能であってよい。
配信者端末PT1あるいはサーバS1は、配信者TC操作により視聴者画像表示切替ボタンBT41が押下(選択)されると、現在質問モード画面に表示されている質問者候補(視聴者)の視聴者画像を、現在質問モード画面で非表示となっている質問者候補(視聴者)の視聴者画像に切り替える。例えば、図14に示す例において、配信者端末PT1あるいはサーバS1は、配信者TC操作により視聴者画像表示切替ボタンBT41が押下(選択)されると、現在質問モード画面に表示されている質問者候補(視聴者)の視聴者画像FC11,FC12,FC13,FC14,FC15のそれぞれを、現在質問モード画面で非表示となっている質問者候補(視聴者)の視聴者画像FC16,FC17,FC18,FC19のそれぞれに切り替える。なお、次に表示される質問者候補(視聴者)の視聴者画像のそれぞれは、指標値テーブルTB1に記録された表示順位に基づいて決定されてもよいし、ランダムに選定されてもよい。配信者端末PT1あるいはサーバS1は、配信者TC操作により視聴者画像表示切替ボタンBT41が再度押下(選択)されると、この質問モード画面で一度も表示されていない質問者候補(視聴者)の視聴者画像のそれぞれの中から質問モード画面に表示する質問者候補(視聴者)の視聴者画像のそれぞれを選定する。
なお、オンライン映像配信を視聴する視聴者の人数が質問モード画面SC3,SC4で表示可能な表示人数を超えている場合、質問モード画面SC3,SC4のそれぞれは、さらに視聴者画像表示切替ボタン(例えば、図14に示す視聴者画像表示切替ボタンBT41)を含んで生成されてよい。配信者端末PT1は、配信者TCにより視聴者画像表示切替ボタンが押下(選択)操作された場合、現在の質問モード画面で非表示となっている視聴者の視聴者画像のそれぞれを視聴者画像表示領域に含む質問モード画面を生成して表示する。なお、現在の質問モード画面で非表示となっている視聴者の視聴者画像のそれぞれを含む質問モード画面の生成は、サーバS1により実行されてもよい。
さらに、配信者端末PT1あるいはサーバS1は、質問モード画面SC3,SC4のそれぞれにおいて、発話中の視聴者(質問者)の視聴者画像に太枠を重畳して強調表示したり(例えば、図13に示す視聴者画像FC18)、発言中でない他の視聴者画像と異なる色の背景色にして表示したり、発言中でない他の視聴者画像のサイズよりも大きいサイズで表示してもよい。また、配信者端末PT1あるいはサーバS1は、質問者の発言(質問)が終了したタイミングで、質問者に対応する視聴者画像と、現在の質問モード画面SC3,SC4で非表示となっている視聴者画像とを入れ替えてもよい。なお、質問者の発言(質問)が終了したタイミングの判定は、配信者TCにより行われてもよいし、配信者端末PT1あるいはサーバS1により行われてもよい。また、配信者端末PT1あるいはサーバS1は、複数の視聴者のそれぞれの視聴者画像にその視聴者の関心度を示す数字もしくは記号を重畳して表示してもよい。
図15および図16を参照して、質問モードにおいて視聴者端末PS1,…のそれぞれに表示される質問モード画面SC5,SC6(つまり、第2の質問モード画面)のそれぞれの画面例について説明する。図15は、視聴者端末PS1,…に表示される質問モード画面SC5の一例を説明する図である。図16は、視聴者端末PS1,…に表示される質問モード画面SC6の一例を説明する図である。なお、図15および図16に示す質問モード画面SC5,SC6のそれぞれは一例であってこれに限定されないことは言うまでもない。
質問モード画面SC5は、サーバS1によって生成されて、視聴者端末PS1,…のそれぞれの表示部26に表示される。図15に示す質問モード画面SC5は、複数の視聴者の視聴者画像を表示する視聴者画像表示領域SC52と、配信者画像を表示する配信者画像表示領域SC54と、を含んで生成される。
なお、質問モード画面SC5の視聴者画像表示領域SC52に表示される複数の視聴者の視聴者画像のそれぞれは、配信者端末PT1で表示される質問モード画面SC3,SC4に含まれる複数の視聴者の視聴者画像のそれぞれと一致しなくてよい。これにより、サーバS1は、配信者端末PT1で表示される質問モード画面と、複数の視聴者端末PS1,…のそれぞれで表示される質問モード画面とで表示される視聴者画像が同じである場合に、この質問モード画面に表示された視聴者画像に対応する視聴者が、質問モード画面を通じて配信者TCにより見られている(視線を向けられている)ことを意識することによって発生する、質問モード画面に表示された視聴者の生体情報に基づく視聴者の関心度、共感度等のパラメータの上昇(つまり、関心度が一時的に高くなる、共感度が一時的に高くなる)をより効果的に抑制できる。
また、図15に示す質問モード画面SC5は、複数の視聴者のそれぞれのうち、例えばランダムに選定された6人の視聴者の視聴者画像FC11,FC12,FC13,FC14,FC15,FC16,FC18,FC19のそれぞれが視聴者画像表示領域SC52に表示される例を示す。なお、配信者画像表示領域SC54は、視聴者操作(例えば、ドラッグ操作等)に基づいて、質問モード画面SC5内の任意の位置に移動可能であってよい。
質問モード画面SC6は、サーバS1によって生成されて、視聴者端末PS1,…のそれぞれの表示部26に表示される。図15に示す質問モード画面SC6は、共有資料表示領域SC61と、複数の視聴者の視聴者画像を表示する視聴者画像表示領域SC62と、配信者画像を表示する配信者画像表示領域SC64と、を含んで生成される。
なお、質問モード画面SC6の視聴者画像表示領域SC62に表示される複数の視聴者の視聴者画像のそれぞれは、配信者端末PT1で表示される質問モード画面SC3,SC4に含まれる複数の視聴者の視聴者画像のそれぞれと一致しなくてよい。
また、図16に示す質問モード画面SC6は、複数の視聴者のそれぞれのうち、例えばランダムに選定された6人の視聴者の視聴者画像FC11,FC12,FC13,FC14,FC15,FC16,FC18,FC19のそれぞれが視聴者画像表示領域SC62に表示される。なお、配信者画像表示領域SC64は、視聴者操作(例えば、ドラッグ操作等)に基づいて、質問モード画面SC6内の任意の位置に移動可能であってよい。
図17および図18を参照して、質問モードにおいて配信者端末PT1および視聴者端末PS1,…のそれぞれに表示される質問モード画面SC7,SC8のそれぞれの画面例について説明する。図17は、視聴者端末PS1,…に表示される質問モード画面SC7の一例を説明する図である。図18は、視聴者端末PS1,…に表示される質問モード画面SC8の一例を説明する図である。なお、図17および図18に示す質問モード画面SC7,SC8のそれぞれは一例であってこれに限定されないことは言うまでもない。
質問モード画面SC7は、配信者端末PT1あるいはサーバS1によって生成されて、配信者端末PT1の表示部16と、視聴者端末PS1,…のそれぞれの表示部26とに表示される。図17に示す質問モード画面SC7は、複数の視聴者の視聴者画像を表示する視聴者画像表示領域SC72と、配信者画像を表示する配信者画像表示領域SC74と、質問者である視聴者の視聴者画像(図17に示す例では、視聴者「G」の視聴者画像)を表示する質問者画像表示領域SC75と、を含んで生成される。なお、質問モード画面SC7の視聴者画像表示領域SC72に表示される複数の視聴者の視聴者画像のそれぞれは、配信者端末PT1で表示される質問モード画面に含まれる複数の視聴者の視聴者画像のそれぞれと、複数の視聴者端末PS1,…のそれぞれで表示される質問モード画面に含ま
れる複数の視聴者の視聴者画像のそれぞれとが一致しなくてもよい。質問モード画面SC7は、複数の視聴者のそれぞれのうち、例えばランダムに選定された5人の視聴者の視聴者画像FC11,FC13,FC15,FC16,FC17のそれぞれが表示される。なお、配信者画像表示領域SC74は、視聴者操作(例えば、ドラッグ操作等)に基づいて、質問モード画面SC7内の任意の位置に移動可能であってよい。
質問モード画面SC8は、配信者端末PT1あるいはサーバS1によって生成されて、配信者端末PT1の表示部16と、視聴者端末PS1,…のそれぞれの表示部26とに表示される。図18に示す質問モード画面SC8は、共有資料表示領域SC81と、複数の視聴者の視聴者画像を表示する視聴者画像表示領域SC82と、質問者である視聴者の視聴者画像(図18に示す例では、視聴者「G」の視聴者画像)を表示する質問者画像表示領域SC85と、を含んで生成される。なお、質問モード画面SC8の視聴者画像表示領域SC82に表示される複数の視聴者の視聴者画像のそれぞれは、配信者端末PT1で表示される質問モード画面に含まれる複数の視聴者の視聴者画像のそれぞれと、複数の視聴者端末PS1,…のそれぞれで表示される質問モード画面に含まれる複数の視聴者の視聴者画像のそれぞれとが一致しなくてもよい。質問モード画面SC8は、複数の視聴者のそれぞれのうち、例えばランダムに選定された5人の視聴者の視聴者画像FC11,FC13,FC15,FC16,FC17のそれぞれが表示される。
図19および図20を参照して、グループディスカッションモードにおいて配信者端末PT1に表示されるプレビュー画面SC9,SC10のそれぞれの画面例について説明する。図17は、プレビュー画面SC9の一例を説明する図である。図18は、プレビュー画面SC10の一例を説明する図である。なお、図17および図18に示すプレビュー画面SC9,SC10のそれぞれは一例であってこれに限定されないことは言うまでもない。
プレビュー画面SC9は、配信者TCにより設定されたグルーピング方法に関する設定情報に基づいて、複数の視聴者のそれぞれを2つ以上のグループにグルーピングしたグルーピング結果を示す画面であり、配信者端末PT1あるいはサーバS1によって生成されて、配信者端末PT1の表示部16に表示される。
図19に示すグルーピング方法に関する設定情報は、一例として指標値が関心度であって、2つのグループのそれぞれにグルーピングされた視聴者の平均関心度が略同じ(具体的には、平均関心度が所定差分(例えば、0.50、0.10等)以内)となるように視聴者をグルーピングするアルゴリズムが設定されている例を示す。このような場合、配信者端末PT1あるいはサーバS1は、各視聴者の指標値(関心度)に基づいて、1つ目のグループ「グループA」、2つ目のグループ「グループB」のそれぞれにグルーピングされた複数の視聴者のそれぞれの平均関心度が略同じ(つまり、所定差分以内)となるように9人の視聴者をグルーピングする。なお、図19に示す「グループA」の平均関心度は0.58である。「グループB」の平均関心度は0.58である。なお、グルーピングの手法は上述した手法に限定されず、他の手法が利用されてもよい。例えば、グルーピングの他の手法は、2つのグループのそれぞれにグルーピングされた視聴者の人数の差が最小限かつ平均関心度の差が最小限となるように視聴者をグルーピングするアルゴリズムが設定されてもよい。この場合、配信者端末PT1あるいはサーバS1は、各視聴者の関心度が大きくばらついたとしても、各グループの人数を略均等になるように複数の視聴者のそれぞれをグルーピングできる。
配信者端末PT1あるいはサーバS1は、グルーピング結果に基づいて、「グループA」にグルーピングされた5人の視聴者の視聴者画像と、「グループB」にグルーピングされた4人の視聴者の視聴者画像とをそれぞれ含むプレビュー画面SC9を生成する。このとき、配信者端末PT1あるいはサーバS1は、プレビュー画面SC9の「グループA」内に表示された複数の視聴者の関心度の平均値をプレビュー画面SC9の「グループA」の表示に重畳して表示してもよい。また、配信者端末PT1あるいはサーバS1は、プレビュー画面SC9の「グループB」内に表示された複数の視聴者の関心度の平均値をプレビュー画面SC9の「グループB」の表示に重畳して表示してもよい。
図20に示すグルーピング方法に関する設定情報は、一例として指標値が関心度であって、指標値(関心度)が高い順に視聴者をグルーピングするアルゴリズムが設定されている例を示す。このような場合、配信者端末PT1あるいはサーバS1は、複数の視聴者のそれぞれの指標値(関心度)に基づいて、指標値(関心度)が高い順に複数の視聴者のそれぞれの順番を並び替える。配信者端末PT1あるいはサーバS1は、並び替え後の視聴者の順番に基づいて、順番が1番~5番の視聴者を1つ目のグループ「グループA」にグルーピングし、順番が6番~9番の視聴者を2つ目のグループ「グループB」にグルーピングする。なお、ここでいう順番は、表示順位として算出されてもよい。また、配信者端末PT1あるいはサーバS1は、並び替え後の視聴者の順番を視聴者の識別情報に対応付けてメモリに記録してもよい。
配信者端末PT1あるいはサーバS1は、グルーピング結果に基づいて、「グループA」にグルーピングされた5人の視聴者の視聴者画像と、「グループB」にグルーピングされた4人の視聴者の視聴者画像とをそれぞれ含むプレビュー画面SC10を生成する。このとき、配信者端末PT1あるいはサーバS1は、プレビュー画面SC10の「グループA」にグルーピングされた5人の視聴者の関心度の平均値をプレビュー画面SC10の「グループA」の領域内に重畳して表示してもよい。また、配信者端末PT1あるいはサーバS1は、プレビュー画面SC10の「グループB」にグルーピングされた4人の視聴者の関心度の平均値をプレビュー画面SC10の「グループB」の領域内に重畳して表示してもよい。
(実施の形態2)
上述した実施の形態1に係るオンライン映像配信支援システム100は、サーバS1により視聴者の各種パラメータあるいは指標値を算出(評価)したり、表示順位を決定したりする例を示した。実施の形態2に係るオンライン映像配信支援システム100Aは、配信者端末PT1Aにより視聴者の各種パラメータあるいは指標値を算出(評価)したり、表示順位を決定したりする例について説明する。
図21を参照して、実施の形態2に係るオンライン映像配信支援システム100Aの内部構成について説明する。図21は、実施の形態2に係るオンライン映像配信支援システム100Aの内部構成例を示すブロック図である。なお、図21に示す実施の形態2に係るオンライン映像配信支援システム100Aの内部構成は、実施の形態1に係るオンライン映像配信支援システム100、配信者端末PT1、および複数の視聴者端末PS1,…のそれぞれと同様の構成に同一の符号を付与して説明を省略する。
実施の形態2に係るオンライン映像配信支援システム100Aは、実施の形態1に係るサーバS1における処理部31Aおよび比較部31Bのそれぞれにより実行される機能を、配信者端末PT1Aの処理部111Aおよび比較部111Bのそれぞれにより実行する。具体的に、実施の形態2における配信者端末PT1Aは、図5~図11に示す動作手順例において、サーバS1および配信者端末PT1により行われる各処理を実行する。
まず、実施の形態2に係る配信者端末PT1Aについて説明する。配信者端末PT1Aは、ネットワークNWを介して、複数の視聴者端末PS1A,…のそれぞれとの間で無線通信可能に接続される。配信者端末PT1Aにおけるプロセッサ11Aは、複数の視聴者端末PS1A,…のそれぞれから送信された視聴者画像、視聴者の音声データ、入力操作情報等に基づいて、視聴者ごとの生体情報を抽出し、抽出された生体情報を視聴者ごとに記録する。配信者端末PT1Aは、記録された生体情報に基づいて、人物ごとの関心度、理解度、あるいは共感度等の各種パラメータを算出(評価)する。配信者端末PT1Aは、各種パラメータの算出(評価)結果と、各種設定情報(グルーピング方法に関する設定情報、質問者候補の選定に関する設定情報)に基づいて、指標値を算出する。また、配信者端末PT1Aは、算出された指標値に基づいて、オンライン映像配信を視聴する複数の視聴者のそれぞれを複数のグループに振り分けたり、複数の視聴者のそれぞれのうち配信者TCと通話(例えば、質問等)をする視聴者(以降、「質問者」と表記)の候補を選定したりする。
通信部10Aは、ネットワークNWを介して、複数の視聴者端末PS1A,…のそれぞれとの間でデータの送受信を実行する。通信部10Aは、視聴者端末PS1A,…のそれぞれから送信された各種制御指令、各種設定情報、共有資料のデータ、視聴者画像、視聴者の生体情報等をプロセッサ31に出力する。また、通信部10Aは、プロセッサ11Aから出力された各種画面を対応する視聴者端末PS1A,…のそれぞれに送信する。
プロセッサ11Aは、メモリ12Aに保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう各部は、処理部111Aおよび比較部111Bである。例えば、プロセッサ11Aは、各視聴者端末PS1A,…のそれぞれから送信された視聴者の生体情報に基づいて、指標値を実行する機能、視聴者をグルーピングする機能、質問者を選定する機能、各種画面を生成する機能等を実行する。
処理部111Aは、実施の形態1におけるサーバS1の処理部31A、および配信者端末PT1のプロセッサ11と同様の処理を実行する。
比較部111Bは、実施の形態1におけるサーバS1の比較部31Bと同様の処理を実行する。
メモリ12Aは、さらに、複数の視聴者のそれぞれの識別情報と、指標値テーブルTB1(図12参照)等を記憶する。また、メモリ12Aは、CNN解析処理に用いられる学習モデル等を記憶する。
以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、1つ以上のコンピュータ(例えば、配信者端末PT1、サーバS1等)を含んで構成され、オンライン映像を視聴するN(N:2以上の整数)人の視聴者のそれぞれにより使用される複数の視聴者端末PS1,…,PS1A,…との間で通信可能に接続されたコンピュータが行うオンライン映像配信支援方法であって、オンライン映像の配信中における視聴者に関する情報をそれぞれ取得し、取得された視聴者に関する情報に基づいて、オンライン映像の配信中における視聴者の視聴状況を示す指標値(指標の一例)を算出し、算出された指標値に基づいて、N人の視聴者からM(M:1≦M<Nの整数)人の視聴者のそれぞれを選定して出力する。
これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、すべての視聴者のそれぞれのうち2人以上の質問者候補(視聴者)のそれぞれを選定して、配信者TCに提示できる。したがって、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、N人の視聴者から選定されたM人の視聴者のそれぞれを提示できるため、配信者TCによるいずれか1人の質問者の選択(指名)を支援できる。また、配信者TCは、N人の視聴者の状態(具体的には、関心度、理解度、共感度等)をすべて把握しなくても、算出されたパラメータあるいは指標値が示す視聴者の状態に基づいて選定されたM人の視聴者のそれぞれのうちいずれか1人の質問者を選択(指名)できるため、質問者の選定(指名)を効率的に行うことができる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、選定されたM人の視聴者のそれぞれの視聴者画像を含む質問モード画面SC3,SC4(画面の一例)を生成して出力する。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、すべての視聴者のそれぞれのうち選定された2人以上の質問者候補(視聴者)のそれぞれの視聴者画像を含む
質問モード画面SC3,SC4(図13、図14参照)を生成して配信者端末PT1の表示部16に出力して、配信者TCによるいずれか1人の質問者の選択(指名)を支援できる。配信者TCは、質問モード画面SC3,SC4に表示されたN人の視聴者の視聴者画像を見ながらいずれか1人の質問者を選択(指名)することが可能となり、質問者の選定(指名)を効率的に行うことができる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、パラメータあるいは指標値に基づいて、M人の視聴者の視聴者画像の表示順位を決定し、決定した表示順位に基づいて、M人の視聴者の画像を並び替えた質問モード画面を生成して出力する。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、質問者候補の表示順位(優先順位)に基づいて、2人以上の質問者候補(視聴者)のそれぞれの並び変えた質問モード画面SC3,SC4(図13、図14参照)を生成することで、配信者TCが質問者候補ごとの表示順位(優先順位)を一目で確認可能な質問モード画面SC3,SC4を生成できる。したがって、オンライン映像配信支援システム100,100Aは、質問モード画面SC3,SC4の視聴者画像の並び、あるいは配置に基づいて、配信者TCによる複数の質問者候補のそれぞれのうちいずれか1人の質問者の選択(指名)を支援できる。配信者TCは、質問モード画面SC3,SC4に表示されたN人の視聴者の視聴者画像の配置、並びに基づいて、視聴者の状態(パラメータあるいは指標値)を直感的に把握できるため、質問者の選定(指名)を効率的に行うことができる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、M人の視聴者のうちオンライン映像を配信する配信者TCにより選択されたいずれか視聴者の視聴者画像に枠線を重畳した質問モード画面SC3(例えば、図13に示す質問モード画面SC3における視聴者画像FC18)を生成して出力する。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、配信者TCにより選択された質問者(視聴者)をより強調表示した質問モード画面SC3を配信者TCに提示できる。したがって、配信者TCは、選択(指名)した視聴者を一目で把握できる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、M人の視聴者のうちオンライン映像を配信する配信者TCにより選択されたいずれか視聴者の視聴者画像の大きさを、選択されていない視聴者の視聴者画像よりも大きく表示した質問モード画面SC7,SC8(画面の一例)を生成して出力する。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、配信者TCにより選択された質問者(視聴者)をより強調表示した質問モード画面SC7,SC8を配信者TCに提示できる。したがって、配信者TCは、選択(指名)した視聴者を一目で把握できる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、視聴者の音声データ(発話音声データの一例)を取得し、音声データに基づいて、M人の質問者候補のそれぞれの視聴者画像のうち発話している(つまり、質問している)と判定された視聴者の視聴者画像に枠線を重畳した質問モード画面SC3を生成して出力する。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、質問モード画面SC3に含まれる複数の視聴者の視聴者画像のうち配信者TCにより選択された質問者(視聴者)をより強調表示できる。したがって、配信者TCは、選択(指名)した視聴者を一目で把握できる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、視聴者の発話音声データを取得し、発話音声データに基づいて、M人の質問者候補のそれぞれの視聴者画像のうち発話していると判定された視聴者の視聴者画像の大
きさを、選択されていない視聴者の視聴者画像よりも大きく表示した質問モード画面を生成して出力する。実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、質問モード画面SC7,SC8に含まれる複数の視聴者の視聴者画像のうち配信者TCにより選択された質問者(視聴者)をより強調表示できる。したがって、配信者TCは、選択(指名)した視聴者を一目で把握できる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aにおける質問モード画面は、M人の視聴者の視聴者画像を切り替えるための視聴者画像表示切替ボタンBT41(切替ボタンの一例)を含んで生成され、オンライン映像を配信する配信者TCにより視聴者画像表示切替ボタンBT41が押下されたと判定した場合、パラメータあるいは指標値に基づいて、質問モード画面SC4に含まれない視聴者のうちK(K:1≦K≦M)人の視聴者を選定し、選定されたK人の視聴者の視聴者画像を含む質問モード画面SC4を生成して出力する。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、質問モード画面SC4に含まれる視聴者の視聴者画像を、現在非表示となっている他の視聴者の視聴者画像に切り替えることができる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、配信者TCにより視聴者画像表示切替ボタンBT41(切替ボタンの一例)が押下されたと判定した場合、M人の視聴者のそれぞれのパラメータあるいは指標値をリセットし、リセット後のN人の視聴者のそれぞれのパラメータあるいは指標値に基づいて、K人の視聴者を選定する。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、同一の視聴者が繰り返し質問モード画面SC3,SC4に表示されることを効率的に抑制できる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aにおけるパラメータあるいは指標値は、視聴者に関する情報およびオンライン映像を配信する配信者TCの生体情報を用いて算出される視聴者の関心度である。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、視聴者の関心度(状態)に基づいて、複数の質問者候補のそれぞれを選定できる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、オンライン映像の配信内容に関する問題(例えば、小テスト、理解度チェック用データ等)を配信し、配信された問題に対する視聴者の回答(例えば、各種入力情報)を取得し、回答の正誤に基づいて、N人の視聴者の理解度を算出し、算出された理解度に基づいて、指標値を算出する。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、視聴者の理解度(状態)に基づいて、複数の質問者候補のそれぞれを選定できる。
以上により、実施の形態1に係るサーバS1は、1つ以上のコンピュータ(例えば、サーバS1)を含んで構成され、オンライン映像を視聴するN(N:2以上の整数)人の視聴者に関する情報を取得する通信部30(取得部の一例)と、視聴者に関する情報に基づいて、オンライン映像の配信中における視聴者の視聴状況を示す指標値(指標の一例)を算出する比較部31B(算出部の一例)と、比較部31Bにより算出された指標値に基づいて、N人の視聴者からM(M:1≦M<Nの整数)人の視聴者のそれぞれを選定して出力する処理部31A(出力部の一例)と、を備える。
これにより、実施の形態1に係るサーバS1は、N人の視聴者から選定されたM人の視聴者のそれぞれを提示できるため、配信者TCによるいずれか1人の質問者の選択(指名)を支援できる。また、配信者TCは、N人の視聴者の状態(具体的には、関心度、理解
度、共感度等)をすべて把握しなくても、算出されたパラメータあるいは指標値が示す視聴者の状態に基づいて選定されたM人の視聴者のそれぞれのうちいずれか1人の質問者を選択(指名)できるため、質問者の選定(指名)を効率的に行うことができる。
以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、1つ以上のコンピュータ(例えば、配信者端末PT1、サーバS1等)を含んで構成され、オンライン映像を視聴するN(N:2以上の整数)人の視聴者のそれぞれにより使用される複数の視聴者端末PS1,…,PS1A,…との間で通信可能に接続されたコンピュータが行うオンライン映像配信支援方法であって、オンライン映像の配信中における視聴者に関する情報を取得し、取得された視聴者に関する情報に基づいて、オンライン映像を視聴中における視聴者の視聴状況を示す指標値(指標の一例)を算出し、指標値と、オンライン映像を配信する配信者TCにより設定されたN人の視聴者を2つ以上のグループにグルーピングするためのグルーピング方法に関する設定情報(グルーピング条件の一例)とに基づいて、オンライン映像の配信中における視聴者の視聴状況を示す指標値を算出し、グルーピング方法に関する設定情報とパラメータあるいは指標値とに基づいて、N人の視聴者のそれぞれを2つ以上のグループにグルーピングして出力する。
これにより、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、視聴者の状態(パラメータあるいは指標値)に基づいて、N人の視聴者のそれぞれを2つ以上のグループにグルーピングできる。したがって、配信者TCは、N人の視聴者のそれぞれの状態(例えば、関心度、理解度、あるいは共感度等)を把握しなくても、グルーピング方法の設定情報の設定によって、N人の視聴者のそれぞれをより効率的にグルーピングできる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、N人の視聴者のそれぞれの視聴者画像(画像の一例)を取得し、N人の視聴者のそれぞれの視聴者画像を2つ以上のグループにグルーピングしたプレビュー画面SC9,SC10(画面の一例)を生成して出力する。これにより、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、配信者TCが所望するグルーピングがされているか否かを可視化して配信者TCに提示できる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、それぞれのグループにグルーピングされた視聴者が参加可能なオンライン映像のサブ会場(配信会場の一例)情報を生成して出力する。これにより、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、グルーピングされたグループごとにグループディスカッション、グループワーク等を実施可能なサブ会場を生成して、各グループに対応するサブ会場に、グルーピングされた視聴者のそれぞれを振り分ける(移動させる)ことができる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aで用いられるグルーピング方法に関する設定情報は、パラメータあるいは指標値の算出に用いられる視聴者に関する情報が取得された日時条件(例えば、対象期間に関する条件)を含み、日時条件を満たす配信者TCの生体情報および視聴者に関する情報があると判定した場合、日時条件を満たす配信者TCの生体情報および視聴者に関する情報に基づいて、視聴者ごとのパラメータあるいは指標値を算出する。これにより、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、例えば数回に亘って行われるオンライン講義(授業)等のように定期的、あるいは配信内容に関連性があるオンライン映像配信が行われる場合には、過去のオンライン映像配信で算出された各種パラメータを含めた指標値を算出したり、過去に算出された各種パラメータに基づく各視聴者の関心度、理解度、あるいは共感度の変化量を指標値として設定したりできる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、配信者TCの操作によりグルーピング方法に関する設定情報が変更されたと判定した場合、変更後のグルーピング方法に関する設定情報に基づいて、N人の視聴者を2つ以上のグループに再度グルーピングして出力する。これにより、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、配信者TCが所望するグルーピングをより適応的に実行できる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、N人の視聴者のそれぞれの視聴者画像を取得し、変更後のグルーピング方法に関する設定情報に基づいて、N人の視聴者のそれぞれの視聴者画像を2つ以上のグループにグルーピングしたプレビュー画面SC9,SC10を再度生成して出力する。これにより、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、変更されたグルーピング方法に関する設定情報が、配信者TCが所望するグルーピング方法であるか否かを、グルーピング結果に基づいて生成されたプレビュー画面SC9,SC10により可視化して提示できる。したがって、配信者TCは、プレビュー画面SC9,SC10に基づいて、設定されたグルーピング方法に関する設定情報が、配信者TCが所望する設定内容となっているか否かを効率的に確認できる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、配信者TCにより少なくとも1つのグループのグルーピング解除操作が行われたと判定した場合、配信者TCが参加しているオンライン映像のメイン会場(配信会場の一例)情報を生成して出力する。これにより、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、グルーピングが解除されたグループを、サブ会場からメイン会場に移動させることができる。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aにおけるパラメータあるいは指標値は、視聴者に関する情報および配信者TCの生体情報に基づいて算出された視聴者の関心度である。これにより、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、視聴者の関心度に基づくグルーピングを実行できる。
以上により、実施の形態1に係るサーバS1は、1つ以上のコンピュータ(例えば、サーバS1)を含んで構成され、オンライン映像を視聴するN(N:2以上の整数)人の視聴者に関する情報をそれぞれ取得する通信部30(取得部の一例)と、オンライン映像を配信する配信者TCにより設定されたN人の視聴者を2つ以上のグループにグルーピングするためのグルーピング条件を記憶するメモリ32(記憶部の一例)と、通信部30により取得された視聴者に関する情報に基づいて、オンライン映像の配信中における視聴者ごとの視聴状況を示す指標値(指標の一例)を算出する比較部31B(算出部の一例)と、グルーピング条件と指標値とに基づいて、N人の視聴者のそれぞれを2つ以上のグループにグルーピングして出力する処理部31A(出力部の一例)と、を備える。
これにより、実施の形態1に係るサーバS1は、視聴者の状態(パラメータあるいは指標値)に基づいて、N人の視聴者のそれぞれを2つ以上のグループにグルーピングできる。したがって、配信者TCは、N人の視聴者のそれぞれの状態(例えば、関心度、理解度、あるいは共感度等)を把握しなくても、グルーピング方法の設定情報の設定によって、N人の視聴者のそれぞれをより効率的にグルーピングできる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される
。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
本開示は、オンラインでライブ映像を視聴する視聴者の状態を効率的に算出し、配信者による質問者の選定を効率的に支援するオンライン映像配信支援方法およびオンライン映像配信支援装置として有用である。
10,10A,30 通信部
11,11A,31 プロセッサ
111A,31A 処理部
111B,31B 比較部
12,22,32 メモリ
13,23 撮像部
14,24 入力部
15A,25A 音声入力部
15B,25B 音声出力部
16,26 表示部
100,100A オンライン映像配信支援システム
NW ネットワーク
TC 配信者
PS1,PS1A 視聴者端末
PT1,PT1A 配信者端末
S1 サーバ
SC3,SC4,SC5,SC6,SC7,SC8 質問モード画面
SC9,SC10 プレビュー画面
一方、複数の視聴者端末PS1,…のそれぞれは、ステップSt105Bの処理において、配信者TCによりオンライン映像配信のモードを変更する操作が行われていないと判定した場合(St105B,NO)、ステップSt103Bの処理に移行し、オンライン映像配信を終了させる終了ボタンが押下(選択)されたか否かを判定する。
複数の視聴者端末PS1,…のそれぞれは、サーバS1から送信されたオンライン映像配信終了を要求する制御指令(具体的に、オンライン映像配信終了を要求する制御指令)を受信したか否かを判定する(St108)。
複数の視聴者端末PS1,…のそれぞれは、サーバS1から送信されたオンライン映像配信終了を要求する制御指令(具体的に、オンライン映像配信終了を要求する制御指令)を受信したか否かを判定する(St204)。
一方、配信者端末PT1は、ステップSt505の処理において、質問者選定に関する設定情報変更がないと判定した場合(St505,NO)、ステップSt502の処理に移行し、第1の質問モード画面の表示を継続する。
図19および図20を参照して、グループディスカッションモードにおいて配信者端末PT1に表示されるプレビュー画面SC9,SC10のそれぞれの画面例について説明する。図1は、プレビュー画面SC9の一例を説明する図である。図20は、プレビュー画面SC10の一例を説明する図である。なお、図1および図20に示すプレビュー画面SC9,SC10のそれぞれは一例であってこれに限定されないことは言うまでもない。
また、以上により、実施の形態1,2に係るオンライン映像配信支援システム100,100Aは、配信者TCにより視聴者画像表示切替ボタンBT41(切替ボタンの一例)が押下されたと判定した場合、M人の視聴者のそれぞれのパラメータあるいは指標値をリセットし、リセット後の人の視聴者のそれぞれのパラメータあるいは指標値に基づいて、K人の視聴者を選定する。これにより、実施の形態1および実施の形態2に係るオンライン映像配信支援システム100,100Aは、同一の視聴者が繰り返し質問モード画面SC3,SC4に表示されることを効率的に抑制できる。

Claims (12)

  1. オンライン映像を視聴するN(N:2以上の整数)人の視聴者のそれぞれにより使用される複数の視聴者端末との間で通信可能に接続された1つ以上のコンピュータを含んで構成されるオンライン映像配信支援システムが行うオンライン映像配信支援方法であって、
    前記オンライン映像の配信中における前記視聴者に関する情報をそれぞれ取得し、
    取得された前記視聴者に関する情報に基づいて、前記オンライン映像の配信中における前記視聴者の視聴状況を示す指標を算出し、
    算出された前記指標に基づいて、前記N人の視聴者からM(M:1≦M<Nの整数)人の視聴者のそれぞれを選定して出力する、
    オンライン映像配信支援方法。
  2. 選定された前記M人の視聴者のそれぞれの画像を含む画面を生成して出力する、
    請求項1に記載のオンライン映像配信支援方法。
  3. 前記指標に基づいて、前記M人の視聴者の画像の表示順位を決定し、
    決定した前記表示順位に基づいて、前記M人の視聴者の前記画像を並び替えた画面を生成して出力する、
    請求項2に記載のオンライン映像配信支援方法。
  4. 前記M人の視聴者のうち前記オンライン映像を配信する配信者により選択されたいずれか視聴者の画像に枠線を重畳した画面を生成して出力する、
    請求項2に記載のオンライン映像配信支援方法。
  5. 前記M人の視聴者のうち前記オンライン映像を配信する配信者により選択されたいずれか視聴者の画像の大きさを、選択されていない視聴者の画像よりも大きく表示した画面を生成して出力する、
    請求項2に記載のオンライン映像配信支援方法。
  6. 前記視聴者の発話音声データを取得し、
    前記発話音声データに基づいて、前記M人の質問者候補のそれぞれの前記画像のうち発話していると判定された視聴者の画像に枠線を重畳した画面を生成して出力する、
    請求項2に記載のオンライン映像配信支援方法。
  7. 前記視聴者の発話音声データを取得し、
    前記発話音声データに基づいて、前記M人の質問者候補のそれぞれの前記画像のうち発話していると判定された視聴者の画像の大きさを、選択されていない視聴者の画像よりも大きく表示した画面を生成して出力する、
    請求項2に記載のオンライン映像配信支援方法。
  8. 前記画面は、前記M人の視聴者の前記画像を切り替えるための切替ボタンを含んで生成され、
    前記オンライン映像を配信する配信者により前記切替ボタンが押下されたと判定した場合、前記指標に基づいて、前記画面に含まれない視聴者のうちK(K:1≦K≦M)人の視聴者を選定し、
    選定された前記K人の視聴者の画像を含む画面を生成して出力する、
    請求項2に記載のオンライン映像配信支援方法。
  9. 前記配信者により前記切替ボタンが押下されたと判定した場合、前記M人の視聴者のそれぞれの指標をリセットし、リセット後の前記N人の視聴者のそれぞれの指標に基づいて、前記K人の視聴者を選定する、
    請求項8に記載のオンライン映像配信支援方法。
  10. 前記指標は、前記視聴者に関する情報および前記オンライン映像を配信する配信者の生体情報を用いて算出される前記視聴者の関心度である、
    請求項1に記載のオンライン映像配信支援方法。
  11. 前記オンライン映像の配信内容に関する問題を配信し、
    配信された前記問題に対する前記視聴者の回答を取得し、
    前記回答の正誤に基づいて、前記N人の視聴者の理解度を算出し、
    算出された前記理解度に基づいて、前記指標を算出する、
    請求項1に記載のオンライン映像配信支援方法。
  12. 1つ以上のコンピュータを含んで構成されるオンライン映像配信支援装置であって、
    オンライン映像を視聴するN(N:2以上の整数)人の視聴者に関する情報をそれぞれ取得する取得部と、
    前記視聴者に関する情報に基づいて、前記オンライン映像の配信中における前記視聴者の視聴状況を示す指標を算出する算出部と、
    前記算出部により算出された前記指標に基づいて、前記N人の視聴者からM(M:1≦M<Nの整数)人の視聴者のそれぞれを選定して出力する出力部と、を備える、
    オンライン映像配信支援装置。
JP2022000698A 2021-03-29 2022-01-05 オンライン映像配信支援方法およびオンライン映像配信支援装置 Pending JP2022153255A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/704,139 US20220312069A1 (en) 2021-03-29 2022-03-25 Online video distribution support method and online video distribution support apparatus
CN202210316231.8A CN115150652A (zh) 2021-03-29 2022-03-28 在线视频分发支持方法和在线视频分发支持设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021055471 2021-03-29
JP2021055471 2021-03-29

Publications (2)

Publication Number Publication Date
JP2022153255A true JP2022153255A (ja) 2022-10-12
JP2022153255A5 JP2022153255A5 (ja) 2024-08-20

Family

ID=83556411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022000698A Pending JP2022153255A (ja) 2021-03-29 2022-01-05 オンライン映像配信支援方法およびオンライン映像配信支援装置

Country Status (1)

Country Link
JP (1) JP2022153255A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361961B1 (ja) 2023-01-10 2023-10-16 Tis株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361961B1 (ja) 2023-01-10 2023-10-16 Tis株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2024098217A (ja) * 2023-01-10 2024-07-23 Tis株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Similar Documents

Publication Publication Date Title
US10977595B2 (en) Security and content protection by continuous identity verification
Lazar et al. A systematic review of the use of technology for reminiscence therapy
Biocca et al. Continuous response measurement (CRM): A computerized tool for research on the cognitive processing of communication messages
Wegge Communication via videoconference: Emotional and cognitive consequences of affective personality dispositions, seeing one's own picture, and disturbing events
RU2673010C1 (ru) Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления
US20130318162A1 (en) Person-to-person matching system
JP2011039860A (ja) 仮想空間を用いる会話システム、会話方法及びコンピュータプログラム
KR20180017821A (ko) 실시간 시청자 반응을 전달하는 방송 서비스 장치
KR102552220B1 (ko) 정신건강 진단 및 치료를 적응적으로 수행하기 위한 컨텐츠 제공 방법, 시스템 및 컴퓨터 프로그램
JP2014230203A (ja) コンテンツ提供プログラム,コンテンツ提供方法及びコンテンツ提供装置
KR20160109575A (ko) 진로 멘토링 방법 및 장치
Cooley Examining development of E-Government in Russia and China: A comparative approach
JP2022153255A (ja) オンライン映像配信支援方法およびオンライン映像配信支援装置
Ma et al. Exploring the adoption of mobile internet services by socioeconomically disadvantaged people: A qualitative user study
US20220309937A1 (en) Online video distribution support method and online video distribution support apparatus
KR20150139395A (ko) 온라인 화상 교육서비스 제공방법 및 이를 수행하는 온라인 화상교육을 위한 서비스 제공서버
KR102478558B1 (ko) 고객 만족도 조사 수행 시스템
JP2022153256A (ja) オンライン映像配信支援方法およびオンライン映像配信支援装置
CN110110056A (zh) 基于ai和智能合成的智能咨询系统及其应用方法
KR102358495B1 (ko) 큐레이션을 통한 동영상 및 카드 뉴스를 제공하는 서버 및 이의 동작 방법
JP2017130170A (ja) 会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラム
US20220312069A1 (en) Online video distribution support method and online video distribution support apparatus
Lee et al. Exploring the outcomes and perceptions of people with aphasia who conversed with speech pathology students via telepractice: a pilot study
López et al. Design and development of sign language questionnaires based on video and web interfaces
JP2022152631A (ja) オンライン映像配信支援方法、オンライン映像配信支援装置およびオンライン映像配信支援システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240809