JP2022152630A - オンライン映像配信支援方法およびオンライン映像配信支援装置 - Google Patents

オンライン映像配信支援方法およびオンライン映像配信支援装置 Download PDF

Info

Publication number
JP2022152630A
JP2022152630A JP2021055469A JP2021055469A JP2022152630A JP 2022152630 A JP2022152630 A JP 2022152630A JP 2021055469 A JP2021055469 A JP 2021055469A JP 2021055469 A JP2021055469 A JP 2021055469A JP 2022152630 A JP2022152630 A JP 2022152630A
Authority
JP
Japan
Prior art keywords
viewer
video distribution
distributor
image
online video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021055469A
Other languages
English (en)
Inventor
毅 吉原
Takeshi Yoshihara
孝治 堀内
Koji Horiuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2021055469A priority Critical patent/JP2022152630A/ja
Priority to US17/704,204 priority patent/US20220309938A1/en
Priority to CN202210315715.0A priority patent/CN115146086A/zh
Publication of JP2022152630A publication Critical patent/JP2022152630A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • G06F16/436Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/067Combinations of audio and projected visual presentation, e.g. film, slides
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】オンライン映像配信を視聴する視聴者のギャラリービューの表示をより効果的に行い、配信者による視聴者の状態の目視確認を効率的に支援する。【解決手段】オンライン映像配信支援方法は、オンライン映像配信を視聴するN(N:3以上の整数)人の視聴者のそれぞれにより使用される複数の視聴者端末との間で通信可能に接続された1つ以上のコンピュータを含んで構成され、それぞれの視聴者端末から視聴者が撮像された視聴者画像を取得し、M(M:2以上の整数、M≦N)人の視聴者それぞれが撮像された視聴者画像を含む画面を表示し、オンライン映像配信を行う配信者を撮像した撮像画像を用いて配信者の視線方向を検知し、視線方向に基づいて、配信者が視線を向けた視聴者画像に対応する視聴者を判定して、画面に表示する視聴者画像の優先順位を決定し、決定された優先順位を用いて画面に表示される視聴者画像を切り替えた画面を生成して表示する。【選択図】図7

Description

本開示は、オンライン映像配信支援方法およびオンライン映像配信支援装置に関する。
特許文献1には、講義コンテンツを受講中の受講者の視線情報に基づいて、講義コンテンツのスライド切替前後における受講者の視線移動方向とスライドのスライド方向とに基づいて、当該スライドに対する受講者の理解度を推定する理解度推定装置が開示されている。理解度推定装置は、講義コンテンツを受講中の受講者の視線情報を取得して記録手段に記録させ、視線情報に含まれる視線座標および当該視線座標の計測時刻と、講義コンテンツのスライドがスライドして切り替えられた切替時刻とを用いて、スライドの切替前後の視線移動方向をそれぞれ算出する。理解度推定装置は、算出されたスライド方向とスライドの切替前の視線移動方向とがなす角度の余弦値と、スライド方向とスライドの切替後の視線移動方向とがなす角度の余弦値とに基づいて、当該スライドに対する受講者の理解度を決定する。
特開2016-114684号公報
ここで、講義コンテンツを利用してオンライン講義をする講師は、講義中の受講者全員の状態を目視確認して、講義の理解度が低く、講義の理解においてフォローが必要な受講者を見つけたいという要望がある。しかし、ビデオ通話システムを利用した大人数の受講者が参加可能なオンライン講義において、講師は、講義をしながら、講師側に設けられたモニタに表示された大人数の受講者のうちどの受講者に目線を配ったかを覚えるのが困難であった。また、このようなオンライン講義では、受講者全員のギャラリービューをモニタ上で同時に表示できない場合には、所定人数ごとに受講者のギャラリービューを切り替えて表示する必要がある。このため、講師は、講義をしながら目線を配っていない受講者が誰であるかを覚えなければならず、目線を配っていない受講者に効率的に目線を配ることが困難であった。
本開示は、上述した従来の状況に鑑みて案出され、オンライン映像配信を視聴する視聴者のギャラリービューの表示をより効果的に行い、配信者による視聴者の状態の目視確認を効率的に支援するオンライン映像配信支援方法およびオンライン映像配信支援装置を提供することを目的とする。
本開示は、オンライン映像配信を視聴するN(N:3以上の整数)人の視聴者のそれぞれにより使用される複数の視聴者端末との間で通信可能に接続された1つ以上のコンピュータを含んで構成されるシステムが行うオンライン映像配信支援方法であって、それぞれの前記視聴者端末から前記視聴者が撮像された視聴者画像を取得し、M(M:2以上の整数、M≦N)人の視聴者それぞれが撮像された視聴者画像を含む画面を表示し、前記オンライン映像配信を行う配信者を撮像した撮像画像を用いて前記配信者の視線方向を検知し、前記視線方向に基づいて、前記配信者が視線を向けた視聴者画像に対応する視聴者を判定して、前記画面に表示する視聴者画像の優先順位を決定し、決定された前記優先順位を用いて前記画面に表示される前記視聴者画像を切り替えた画面を生成して表示する、オンライン映像配信支援方法を提供する。
また、本開示は、1つ以上のコンピュータを含んで構成されるオンライン映像配信支援装置であって、オンライン映像配信を視聴するN(N:3以上の整数)人の視聴者のそれぞれの視聴者画像を取得する取得部と、M(M:2以上の整数、M≦N)人の視聴者それぞれが撮像された前記視聴者画像を含む画面を出力する出力部と、前記オンライン映像配信を行う配信者を撮像した撮像画像を用いて前記配信者の視線方向を検知する検知部と、前記視線方向に基づいて、前記配信者が視線を向けた視聴者画像に対応する視聴者を判定して、前記画面に表示する視聴者画像の優先順位を決定し、決定された前記優先順位を用いて前記画面に表示される前記視聴者画像を切り替えた画面を生成して前記出力部に出力する制御部と、を備える、オンライン映像配信支援装置を提供する。
本開示によれば、オンライン映像配信を視聴する視聴者のギャラリービューの表示をより効果的に行い、配信者による視聴者の状態の目視確認を効率的に支援できる。
実施の形態1に係るオンライン映像配信支援システムの内部構成例を示すブロック図 配信者端末のユースケース例および映像配信画面例を説明する図 実施の形態1に係る配信者端末の動作手順例を示すフローチャート 実施の形態1に係る配信者端末の視線検知手順例を示すフローチャート 実施の形態1における表示順位テーブルの一例を説明する図 実施の形態1における表示順位テーブルの一例を説明する図 実施の形態1における視聴者画像の表示切り替え例を説明する図 他の映像配信画面例を説明する図 実施の形態1の変形例に係るオンライン映像配信支援システムの内部構成例を示すブロック図 実施の形態2に係る配信者端末の動作手順例を示すフローチャート 実施の形態2における表示順位テーブルの一例を説明する図 実施の形態2における表示順位テーブルの一例を説明する図
以下、適宜図面を参照しながら、本開示に係るオンライン映像配信支援方法およびオンライン映像配信支援装置の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
まず、図1を参照して、実施の形態1に係るオンライン映像配信支援システム100の内部構成について説明する。図1は、実施の形態1に係るオンライン映像配信支援システム100の内部構成例を示すブロック図である。なお、図1に示すオンライン映像配信支援システム100は一例であり、これに限定されなくてもよい。
オンライン映像配信支援装置の一例である配信者端末PT1は、オンライン映像配信を行う配信者TCにより操作され、例えば、PC(Personal Computer)、ノートPC、タブレット端末、スマートフォン等により実現される。配信者端末PT1は、ネットワークNWを介して、オンライン映像配信を視聴する1人以上の視聴者のそれぞれにより使用される視聴者端末PS1,…のそれぞれとの間で無線通信可能に接続される。なお、ここでいう無線通信は、例えばWi-Fi(登録商標)等の無線LAN(Local Area Network)を介した通信である。
配信者端末PT1は、オンライン映像配信を視聴する複数の視聴者のそれぞれの状態(例えば、オンライン映像配信の配信内容を視聴者が理解しているか否か等の様子)を配信者TCによる目視確認を可能にするために、第1の表示部16Aあるいは第2の表示部16Bに表示される視聴者の画像(ライブ映像)(以降、「視聴者画像」と表記)を切り替える。配信者端末PT1は、通信部10と、プロセッサ11と、メモリ12と、撮像部13と、入力部14と、音声入力部15Aと、音声出力部15Bと、第1の表示部16Aと、を含んで構成される。なお、第2の表示部16Bは、必須の構成でなく省略されてもよい。また、図1では図示を省略しているが、配信者端末PT1は、3つ以上の表示部を備えていてもよい。
通信部10は、ネットワークNWを介して、それぞれの視聴者が使用する視聴者端末PS1,…のそれぞれとの間でデータの送受信を実行する。通信部10は、各視聴者端末PS1,…から送信された視聴者画像(ライブ映像)をプロセッサ11に出力する。また、通信部10は、入力部14により受け付けられた配信者TCによる操作に基づいて、それぞれの視聴者が使用する視聴者端末PS1,…が備えるモニタ、ディスプレイ等(不図示)に表示される共有資料のデータ等を送信する。
プロセッサ11は、例えばCPU(Central Processing Unit)またはFPGA(Field Programmable Gate Array)を用いて構成されて、メモリ12と協働して、各種の処理および制御を行う。具体的には、プロセッサ11はメモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。ここでいう各部は、例えば、処理部11Aおよび判定部11B等である。
処理部11Aは、撮像部13から出力された撮像画像にCNN(Convolutional Neural Network)解析処理を実行し、配信者TCの視線が向けられている位置(以降、「視線位置」と表記)を推定する。処理部11Aは、推定結果である配信者TCの視線位置の情報を判定部11Bに出力する。なお、視線位置の推定処理には、CNN解析処理以外の公知の技術が用いられてもよい。
判定部11Bは、処理部11Aから出力された配信者TCの視線位置の情報に基づいて、配信者TCが映像配信画面内の共有資料が表示された領域(以降、「共有資料表示領域」と表記)あるいは視聴者画像が表示された領域(以降、「視聴者画像表示領域」と表記)を見ているかを判定する。判定部11Bは、配信者TCの視線位置が視聴者画像表示領域内に位置していると判定した場合、視線位置に基づいて、視聴者画像表示領域のいずれの視聴者画像を見ているか(つまり、配信者TCの視線がいずれの視聴者画像表示領域内に位置しているか)を判定し、配信者TCが視線を向けている視聴者画像に対応する視聴者を特定する。
さらに、判定部11Bは、特定された視聴者の視聴者画像から配信者TCの視線が外れたか否かを判定する。判定部11Bは、特定された視聴者の視聴者画像から配信者TCの視線位置が外れたと判定した場合、配信者TCの視線位置が視聴者画像から配信者TCの視線が外れた時刻を、配信者TCが視聴者画像に対応する視聴者に注目した注目時刻として計測し、計測された注目時刻あるいは注目時刻から経過した経過時間とこの視聴者を識別可能な識別情報とを対応付けて、メモリ12に出力し、メモリ12に記録された表示順位テーブルを更新する。
また、判定部11Bは、注目時刻と視聴者の識別情報とに基づいて、表示順位テーブルに記録されたすべての視聴者の経過時間と、次に第1の表示部16Aあるいは第2の表示部16Bに表示される映像配信画面に含まれる視聴者の視聴者画像の優先順位(以降、「表示順位」と表記)を更新する。なお、本実施の形態1に示す例において、表示順位テーブルは、経過時間と表示順位と記録する例について説明するが、注目時刻と表示順位とを記録してもよい。また、表示順位テーブルに記録されたすべての視聴者の経過時間および表示順位の更新は、配信者端末PT1の撮像部13のフレームレートに対応する頻度で実行されてもよい。
また、判定部11Bは、配信者TCによりオンライン映像配信に使用されている共有資料のスライドが切り替えられたか否かを判定する。判定部11Bは、配信者TCが共有資料のスライドを切り替えた、あるいは所定時間(例えば、3分、5分あるいは10分等)が経過したと判定した場合、メモリ12に記録された表示順位テーブルに基づいて、第1の表示部16Aあるいは第2の表示部16Bに表示される視聴者の視聴者画像の表示順位を決定する。判定部11Bは、決定された視聴者の表示順位に基づいて、視聴者の視聴者画像を含む映像配信画面(図2,図8参照)を生成し、第1の表示部16Aあるいは第2の表示部16Bに出力して表示させる。
ここで、実施の形態1における判定部11Bにより行われる表示順位の決定方法について説明する。判定部11Bは、表示順位テーブルに記録された経過時間がない視聴者(つまり、配信者TCが一度も見ていない視聴者)の経過時間をオンライン映像配信の開始時間からの経過時間に設定し、経過時間が大きい順に視聴者を並び替える。
判定部11Bは、並び替え後の視聴者の順番を視聴者の表示順位に決定する。判定部11Bは、決定された表示順位に基づいて、表示順位の上位から所定人数(例えば、5人、8人あるいは10人等の任意の人数)の視聴者の視聴者画像を含む映像配信画面を生成し、第1の表示部16Aあるいは第2の表示部16Bに出力して表示させる。
なお、第1の表示部16Aに表示された共有資料が事前に設定された所定時間(例えば、3分、5分あるいは10分等)以上切り替えられていないと判定した場合、判定部11Bは、所定時間が経過したタイミングで、メモリ12に記録された表示順位テーブル(図5,図6参照)に基づいて、すべての視聴者のそれぞれの表示順位を決定し、表示順位の上位から所定人数(例えば、5人、8人あるいは10人等の任意の人数)の視聴者の視聴者画像を含む映像配信画面を生成し、第1の表示部16Aあるいは第2の表示部16Bに出力して表示させてもよい。
さらに、配信者TCによる映像配信画面で表示される視聴者画像の表示順位または表示を切り替えるための操作が入力部14により受け付けられた場合、判定部11Bは、この操作を受け付けたタイミングでメモリ12に記録された表示順位テーブルに基づいて、すべての視聴者のそれぞれの表示順位を決定し、表示順位の上位から所定人数の視聴者の視聴者画像を含む映像配信画面を生成し、第1の表示部16Aあるいは第2の表示部16Bに出力して表示させてもよい。
メモリ12は、RAM(Random Access Memory)およびROM(Read Only Memory)等による半導体メモリと、SSD(Solid State Drive)あるいはHDD(Hard Disk Drive)等によるストレージデバイスのうちいずれかと、を含む記録デバイスを有する。メモリ12は、オンライン映像配信を視聴するすべて視聴者を識別可能な識別情報、表示順位テーブル等を記録する。また、メモリ12は、CNN解析処理に用いられる学習モデルを記憶する。
撮像部13は、例えばCCD(Charged-Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部13は、配信者TCを撮像した撮像画像をプロセッサ11における処理部11Aに出力する。
入力部14は、例えばタッチパネル、キーボード、マウス等を用いて構成されたユーザインタフェースである。入力部14は、受け付けられた配信者TC操作を電気信号(制御指令)に変換して、プロセッサ11に出力する。なお、入力部14がタッチパネルを用いて構成される場合、入力部14は、第1の表示部16Aあるいは第2の表示部16Bと一体的に構成されてよい。
音声入力部15Aは、例えばマイク等により構成され、収音された配信者TCの音声(音)を電気信号に変換し、プロセッサ11に出力する。プロセッサ11に出力された電気信号は、通信部10からネットワークNWを介して各視聴者端末PS1,…に送信され、視聴者端末PS1,…のそれぞれが備えるスピーカ(不図示)から出力される。
音声出力部15Bは、例えばスピーカ、イヤホン、ヘッドフォン等により構成され、視聴者端末PS1,…のそれぞれから送信された視聴者の音声(音)に基づく電気信号を、音声(音)に変換して出力する。
第1の表示部16Aおよび第2の表示部16Bのそれぞれは、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)等のディスプレイを用いて構成される。第1の表示部16Aおよび第2の表示部16Bのそれぞれは、プロセッサ11から出力された映像配信画面(図2、図8参照)を表示する。なお、配信者端末PT1が備える表示部の数は、少なくとも1つあればよく、具体的には第1の表示部16Aのみであってよい。
ネットワークNWは、配信者端末PT1と複数の視聴者端末PS1,…のそれぞれとの間を無線通信可能に接続する。
複数の視聴者端末PS1,…のそれぞれは、オンライン映像配信を視聴する視聴者により操作され、例えば、PC、ノートPC、タブレット端末、スマートフォン等により実現される。複数の視聴者端末PS1,…のそれぞれは、ネットワークNWを介して、配信者端末PT1との間で無線通信可能に接続される。なお、ここでいう無線通信は、例えばWi-Fi(登録商標)等の無線LANを介した通信である。複数の視聴者端末PS1,…のそれぞれは、視聴者を撮像可能なカメラ(不図示)を備え、撮像された視聴者画像(ライブ映像)を配信者端末PT1に送信する。また、複数の視聴者端末PS1,…のそれぞれは、配信者端末PT1から送信された共有資料等のデータに基づく映像配信画面を表示したり、電気信号を音声(音)に変換してスピーカ(不図示)から出力したりする。
次に、図2を参照して、配信者端末PT1の第1の表示部16Aに表示される映像配信画面について説明する。図2は、配信者端末PT1のユースケース例および映像配信画面例を説明する図である。
なお、図2に示す映像配信画面の表示レイアウトは一例であってこれに限定されない。また、図2に示す例における配信者端末PT1は、第1の表示部16Aのみを有する構成である例を示すが、第2の表示部16Bを備えていてもよいし、第3の表示部(不図示)を備えていてもよい。配信者端末PT1は、第2の表示部16B、あるいは第3の表示部を備える構成である場合、共有資料表示領域SC11と視聴者画像表示領域SC12とをそれぞれ異なる表示部に表示してよい。
図2に示すユースケース例における撮像部13は、配信者TCの顔を撮像可能な位置に設置される。なお、撮像部13の設置位置は、配信者TCの顔を撮像可能な位置であればよく、第1の表示部16A上に限定されないことは言うまでもない。
図2に示すユースケース例における入力部14は、キーボードおよびマウスにより実現される。また、音声入力部15Aは、マイクにより実現される。音声出力部15Bは、ヘッドフォンにより実現される。なお、音声入力部15Aは、音声出力部15Bが例えばマイク付きヘッドフォン等により実現される場合、音声出力部15Bと一体的に構成されてもよい。
図2に示すユースケース例における第1の表示部16Aは、共有資料表示領域SC11と、視聴者画像表示領域SC12とを含む映像配信画面を表示している。共有資料表示領域SC11は、配信者TC操作により指定されたオンライン映像配信用の共有資料が表示される。また、視聴者画像表示領域SC12は、プロセッサ11における判定部11Bにより決定された5人の視聴者のそれぞれの視聴者画像FC11,FC12,FC13,FC14,FC15(ライブ映像)が表示される。視聴者画像表示領域SC12に表示された5人の視聴者画像FC11~FC15のそれぞれは、配信者TC操作により映像配信画面内における共有資料表示領域SC11に表示された共有資料のスライドが切り替えられるごと、事前に設定された所定時間(例えば、3分、5分、10分等)ごと、あるいは配信者TCによる視聴者画像の切り替えを要求する操作を受け付けるごとに判定部11Bにより決定される。
次に、図3~図4を参照して、実施の形態1に係る配信者端末PT1の動作手順について説明する。図3は、実施の形態1に係る配信者端末PT1の動作手順例を示すフローチャートである。図4は、実施の形態1に係る配信者端末PT1の視線検知手順例を示すフローチャートである。
なお、図3および図4に示す例では、共有資料のスライドの切り替えに基づく映像配信画面に含まれる視聴者画像を切り替え例について説明するが、映像配信画面に含まれる視聴者画像を切り替えは、事前に設定された所定時間ごとに実行されてもよいことは言うまでもない。
配信者端末PT1は、配信者TCによるオンライン映像配信を終了させる終了操作があるか(つまり、入力部14により終了操作を受け付けたか)否かを判定する(St1)。配信者端末PT1は、ステップSt1の処理において、配信者TCによるオンライン映像配信を終了させる終了操作があると判定した場合(St1,YES)、複数の視聴者端末PS1,…のそれぞれとの間の通信を切断し、オンライン映像配信を終了する。
一方、配信者端末PT1は、ステップSt1の処理において、配信者TCによるオンライン映像配信を終了させる終了操作がないと判定した場合(St1,NO)、現在メモリ12に記録されている表示順位テーブルを参照し、表示順位テーブルに記録された表示順位に基づいて、映像配信画面に表示される視聴者の表示順位(優先順位)を決定する(St2)。
配信者端末PT1は、決定された視聴者の表示順位に基づいて、所定人数の視聴者のそれぞれの視聴者画像を含む映像配信画面(図2,図8参照)を生成して、第1の表示部16Aあるいは第2の表示部16Bに表示する(St3)。配信者端末PT1は、撮像部13により撮像された撮像画像に画像解析を実行し、配信者TCの顔を検出し(St4)、検出結果に基づいて、撮像画像から配信者TCの顔が検出できたか否かを判定する(St5)。
配信者端末PT1は、ステップSt5の処理において、撮像画像から配信者TCの顔が検出できたと判定した場合(St5,YES)、配信者TCの視線を検知する(St6)。具体的に、配信者端末PT1は、撮像画像から配信者TCの顔パーツを検出する(St6-1)。配信者端末PT1は、検出された顔パーツにおいて配信者TCの両目を含む領域にCNN解析を実行する(St6-2)。配信者端末PT1は、CNN解析の結果に基づいて、配信者TCの視線が向いている方向が示す配信者TCの視線位置を検知する(St6-3)。なお、視線位置の推定処理には、CNN解析処理以外の公知の技術が用いられてもよい。
一方、配信者端末PT1は、ステップSt5の処理において、撮像画像から配信者TCの顔が検出できたと判定した場合(St5,NO)、配信者TC操作により映像配信画面内における共有資料表示領域SC11に表示された共有資料のスライドの切り替えを検知する(St11)。なお、ここで共有資料は、プレゼンテーション用の複数の画像データのそれぞれにより構成されたスライド資料である例を示すが、これに限定されず、例えばPDF(Portable Document Format)形式の資料であってもよい。共有資料がPDF形式の資料である場合、配信者端末PT1は、共有資料のページの切り替えを検知してよい。
配信者端末PT1は、ステップSt6の処理で検知された配信者TCの視線位置に基づいて、配信者TCが映像配信画面上に表示された共有資料のスライドを見ているか否か(つまり、映像配信画面上に表示された共有資料表示領域SC11内に検知された視線位置が位置しているか否か)を判定する(St7)。配信者端末PT1は、ステップSt7の処理において、配信者TCが映像配信画面上に表示された共有資料のスライドを見ていると判定した場合(St7,YES)、ステップSt11の処理に移行し、配信者TC操作により映像配信画面内における共有資料表示領域SC11に表示された共有資料のスライドの切り替えを検知する(St11)。
一方、配信者端末PT1は、ステップSt7の処理において、配信者TCが映像配信画面上に表示された共有資料のスライドを見ていないと判定した場合(St7,NO)、配信者TCが映像配信画面上に表示されたいずれかの視聴者画像を見ているか否か(つまり、映像配信画面上の視聴者画像表示領域SC12内に検知された配信者TCの視線位置が位置しているか否か)を判定する(St8)。
配信者端末PT1は、ステップSt8の処理において、配信者TCが映像配信画面上に表示されたいずれかの視聴者画像を見ていると判定した場合(St8,YES)、検知された配信者TCの視線位置に基づいて、配信者TCが見ている(注目している)視聴者画像と、この視聴者画像に対応する視聴者を特定する。配信者端末PT1は、配信者TCが映像配信画面上に表示されたいずれかの視聴者画像を見ていると判定した場合、さらに、この視聴者画像から配信者TCの視線が外れたか否かを判定する。配信者端末PT1は、この視聴者画像から配信者TCの視線が外れた(つまり、この視聴者画像が表示された領域外に配信者TCの視線位置が位置している)と判定した場合、視聴者画像から配信者TCの視線が外れたタイミングの時刻を、この視聴者画像に対応する視聴者への注目時刻として計測し、表示順位テーブルに記録する(St9)。なお、ここでは表示順位テーブルに注目時刻を記録する例について説明するが、表示順位テーブルに記録される情報は、注目時刻から現在時刻までの経過時間の情報であってよい。
配信者端末PT1は、メモリ12に記録された表示順位テーブルを参照し、配信者TCにより共有資料の次のスライドを表示させる操作が行われた場合に、この次のスライドを共有資料表示領域SC11に表示した映像配信画面の視聴者画像表示領域SC12で表示される視聴者画像を決定するための表示順位を更新する(St10)。
配信者端末PT1は、ステップSt8の処理において、配信者TCが映像配信画面上に表示されたいずれかの視聴者画像を見ていないと判定した場合(St8,NO)、ステップSt11の処理に移行し、配信者TC操作により映像配信画面内における共有資料表示領域SC11に表示された共有資料のスライドの切り替えを検知する(St11)。
配信者端末PT1は、配信者TC操作により映像配信画面内における共有資料表示領域SC11に表示された共有資料のスライドの切り替えがあるか否かを判定する(St12)。
配信者端末PT1は、ステップSt12の処理において、配信者TC操作により映像配信画面内における共有資料表示領域SC11に表示された共有資料のスライドの切り替えがある(つまり、切り替えを検知した)と判定した場合(St12,YES)、ステップSt1の処理に移行し、配信者TCによるオンライン映像配信の終了の操作があるか(つまり、入力部14により終了操作を受け付けたか)否かを判定する(St1)。
一方、配信者端末PT1は、ステップSt12の処理において、配信者TC操作により映像配信画面内における共有資料表示領域SC11に表示された共有資料のスライドの切り替えがない(つまり、切り替えを検知していない)と判定した場合(St12,NO)、ステップSt4の処理に移行し、撮像部13により撮像された撮像画像に画像解析を実行し、配信者TCの顔を検出する(St4)。
以上により、実施の形態1に係るオンライン映像配信支援システム100は、すべての視聴者の視聴者画像を第1の表示部16Aあるいは第2の表示部16B上に表示できない場合であっても、配信者TCの視線方向に基づいて、配信者TCが目視確認を行った視聴者を特定できる。さらに、オンライン映像配信支援システム100は、特定された視聴者の情報に基づいて、映像配信画面に含まれる視聴者画像を表示するための表示順位(優先順位)を決定し、決定された表示順位(優先順位)を用いて、現在の映像配信画面に含まれる視聴者画像を、表示順位(優先順位)が上からM番目までの視聴者の視聴者画像に切り替えた映像配信画面を生成できる。したがって、オンライン映像配信支援システム100は、配信者TCが目視確認すべき視聴者(つまり、表示順位(優先順位)が上からM番目までの視聴者)の視聴者画像を含む映像配信画面を配信者TCに提示できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成して、配信者TCによるすべての視聴者のそれぞれの目視確認を支援できる。
ここで、図5~図7を参照して、図2で示した映像配信画面の視聴者画像表示領域SC12に表示される視聴者画像の切り替え手順について説明する。図5は、実施の形態1における表示順位テーブルTB1の一例を説明する図である。図6は、実施の形態1における表示順位テーブルTB2の一例を説明する図である。図7は、実施の形態1における視聴者画像の表示切り替え例を説明する図である。
なお、図5~図7に示す例では、共有資料のスライドの切り替えに基づく映像配信画面に含まれる視聴者画像を切り替え例について説明するが、映像配信画面に含まれる視聴者画像を切り替えは、事前に設定された所定時間ごとに実行されてもよいことは言うまでもない。
また、図5に示す表示順位テーブルTB1および図6に示す表示順位テーブルTB2のそれぞれでは、説明を分かり易くするために経過時間を分単位で記録する例を示しているが、経過時間は、例えば秒単位、ミリ秒単位で記録されてよいことは言うまでもない。さらに、図5に示す表示順位テーブルTB1は、説明を分かり易くするために、配信者TC操作によってk(k:2以上の整数)枚目のスライドに切り替えられたタイミングでメモリ12に記録されている表示順位テーブルである。同様に表示順位テーブルTB2は、説明を分かり易くするために、配信者TC操作によって(k+1)枚目のスライドに切り替えられたタイミングでメモリ12に記録されている表示順位テーブルである。
なお、図5に示す表示順位テーブルTB1、および図6に示す表示順位テーブルTB2のそれぞれでは、図7に示すk枚目のスライドから(k+1)枚目のスライドへの切り替え時における映像配信画面上の視聴者画像の表示の切り替えの説明を分かり易くするために視聴者の識別情報と、事前に登録された視聴者の顔画像とが対応付けられている例を示すが、視聴者の顔画像は必須ではない。
表示順位テーブルTB1,TB2のそれぞれは、判定部11Bにより記録(更新)され、メモリ12に記録される。表示順位テーブルTB1は、視聴者の識別情報(例えば、視聴者の氏名、視聴者番号、オンライン映像配信の視聴番号、視聴者端末のIP(Internet Protocol)アドレス、メールアドレス等)と、経過時間と、表示順位とを対応付けて視聴者ごとに記録する。
例えば、図5に示す表示順位テーブルTB1は、オンライン映像配信を視聴する9人の視聴者のそれぞれの経過時間を記録する。例えば、表示順位テーブルTB1は、配信者TC操作によってk枚目のスライドに切り替えられたタイミングで以下の各種データを記録(保持)している。なお、図5に示す視聴者の氏名は、視聴者の識別情報の一例である。
氏名「A」および顔画像SCAに対応する視聴者は、経過時間が「6分」であって、表示順位が「4」である。
氏名「B」および顔画像SCBに対応する視聴者は、経過時間が「5分」であって、表示順位が「5」である。
氏名「C」および顔画像SCCに対応する視聴者は、経過時間が「8分」であって、表示順位が「2」である。
氏名「D」および顔画像SCDに対応する視聴者は、経過時間「なし」であって、表示順位が「1」である。なお、経過時間「なし」は、配信者TCが一度も視線を向けていないことを示す。また、配信者TCが一度も視線を向けていない場合、表示順位テーブルTB1に記録される経過時間は、オンライン映像配信開始時刻からの経過時間であってよい。
氏名「E」および顔画像SCEに対応する視聴者は、経過時間「7分」であって、表示順位が「3」である。
氏名「F」および顔画像SCFに対応する視聴者は、経過時間「1分」であって、表示順位が「9」である。
氏名「G」および顔画像SCGに対応する視聴者は、経過時間「2分」であって、表示順位が「8」である。
氏名「H」および顔画像SCHに対応する視聴者は、経過時間「4分」であって、表示順位が「6」である。
氏名「I」および顔画像SCIに対応する視聴者は、経過時間「3分」であって、表示順位が「7」である。
判定部11Bは、配信者TC操作によってk枚目のスライドに切り替えられたタイミングにおいて、表示順位テーブルTB1に基づいて、経過時間が大きい順に視聴者を並び替えて、並び替え後の視聴者の順位に基づいて、すべての視聴者のそれぞれの表示順位を決定する。なお、経過時間が記録されていない視聴者の経過時間は、オンライン映像配信開始時刻から現在時刻まで経過した経過時間に等しい。
例えば、判定部11Bは、図5に示す表示順位テーブルTB1に基づいて、9人の視聴者のそれぞれの表示順位を、氏名「D」、氏名「C」、氏名「E」、氏名「A」、氏名「B」、氏名「H」、氏名「I」、氏名「G」、氏名「F」であると決定する。ここで、第1の表示部16Aの視聴者画像表示領域SC12に表示可能な視聴者画像の数は、5つである例について説明する。
判定部11Bは、決定された表示順位に基づいて、決定された表示順位の上位5人の視聴者の視聴者画像(ここでは、氏名「D」の視聴者画像FC11、氏名「C」の視聴者画像FC12、氏名「E」の視聴者画像FC13、氏名「A」の視聴者画像FC14、氏名「B」の視聴者画像FC15のそれぞれ)を含む視聴者画像表示領域SC12A(図7参照)を含む映像配信画面を生成し、第1の表示部16Aに表示させる。なお、氏名「H」、氏名「I」、氏名「G」、氏名「F」のそれぞれに対応する4人の視聴者の視聴者画像FC16,FC17,FC18,FC19のそれぞれは、視聴者画像表示領域SC12Aに含まれず、k枚目のスライドが表示された映像配信画面において非表示となる。
判定部11Bは、k枚目のスライドが共有資料表示領域に表示されている間、氏名「D」の視聴者画像FC11、氏名「C」の視聴者画像FC12、氏名「E」の視聴者画像FC13、氏名「A」の視聴者画像FC14、氏名「B」の視聴者画像FC15のそれぞれを含む視聴者画像表示領域SC12Aの表示を継続するとともに、配信者TCの視線位置に基づいて、表示順位テーブルTB1の更新を実行する。
例えば、図6に示す表示順位テーブルTB2は、配信者TC操作によって(k+1)枚目のスライドに切り替えられたタイミングで、メモリ12に記録されている。なお、ここでは、配信者TCは、k枚目のスライドに切り替えてから3分後に(k+1)枚目のスライドに切り替えた例について説明する。表示順位テーブルTB3は、配信者TC操作によってk枚目のスライドに切り替えられたタイミングで以下の各種データを記録(保持)している。
氏名「A」に対応する視聴者は、経過時間「1分」であって、表示順位が「7」である。氏名「B」に対応する視聴者は、経過時間「2分」であって、表示順位が「6」である。氏名「C」に対応する視聴者は、経過時間「1分」であって、表示順位が「8」である。氏名「D」に対応する視聴者は、経過時間「1分」であって、表示順位が「9」である。氏名「E」に対応する視聴者は、経過時間「3分」であって、表示順位が「5」である。氏名「F」に対応する視聴者は、経過時間「4分」であって、表示順位が「4」である。氏名「G」に対応する視聴者は、経過時間「5分」であって、表示順位が「3」である。氏名「H」に対応する視聴者は、経過時間「7分」であって、表示順位が「1」である。氏名「I」に対応する視聴者は、経過時間「6分」であって、表示順位が「2」である。
なお、図6に示す例において、経過時間が同じ長さの視聴者のそれぞれの表示順位は、それぞれ異なる表示順位が決定される例を示すが、同一の表示順位が決定されてもよく、例えば、氏名「A」,「C」,「D」のそれぞれに対応する3人の視聴者の表示順位が「7」に決定されてもよい。また、経過時間が同じ長さの視聴者のそれぞれの表示順位は、ランダムに決定されてもよいし、視聴者ごとのオンライン映像配信への参加時刻が早い順に決定されてもよい。さらに、経過時間が同じ長さの視聴者のそれぞれの表示順位は、視聴者の名前をアルファベット順、五十音順等であってもよいし、視聴者端末PS1,…のそれぞれのIPアドレス順であってもよい。
判定部11Bは、配信者TC操作によって(k+1)枚目のスライドに切り替えられたタイミングでメモリ12に記録された表示順位テーブルTB2に基づいて、経過時間が大きい順に視聴者を並び替え、並び替え後の視聴者の順位に基づいて、オンライン映像配信を視聴するすべての視聴者のそれぞれの表示順位を決定する。
例えば、判定部11Bは、図6に示す表示順位テーブルTB2に基づいて、9人の視聴者のそれぞれの表示順位(優先順位)を、氏名「H」、氏名「I」、氏名「G」、氏名「F」、氏名「E」、氏名「B」、氏名「A」、氏名「C」、氏名「D」であると決定する。
判定部11Bは、決定された表示順位に基づいて、決定された表示順位の上位5人の視聴者の視聴者画像(ここでは、氏名「H」の視聴者画像FC16、氏名「F」の視聴者画像FC17、氏名「G」の視聴者画像FC18、氏名「F」の視聴者画像FC19、氏名「E」の視聴者画像FC15のそれぞれ)を含む視聴者画像表示領域SC12B(図7参照)を含む映像配信画面を生成し、第1の表示部16Aに表示させる。なお、氏名「B」、氏名「A」、氏名「C」、氏名「D」のそれぞれに対応する4人の視聴者の視聴者画像FC11~FC14のそれぞれは、視聴者画像表示領域SC12Bに含まれず、(k+1)枚目のスライドが表示された映像配信画面において非表示となる。
判定部11Bは、(k+1)枚目のスライドが共有資料表示領域SC11に表示されている間、氏名「D」の視聴者画像FC11、氏名「H」の視聴者画像FC16、氏名「F」の視聴者画像FC17、氏名「G」の視聴者画像FC18、氏名「F」の視聴者画像FC19、氏名「E」の視聴者画像FC15のそれぞれを含む視聴者画像表示領域SC12Bの表示を継続するとともに、配信者TCの視線位置に基づいて、表示順位テーブルTB2の更新を実行する。
次に、図8を参照して、配信者端末PT1の第1の表示部16Aに表示される映像配信画面について説明する。図8は、配信者端末PT1のユースケース例および映像配信画面例を説明する図である。なお、図8は、共有資料表示領域を含まない映像配信画面例について説明する。
また、図8に示す視聴者画像表示領域SC13に表示される視聴者画像の表示レイアウトは一例であってこれに限定されない。また、図8に示す例における配信者端末PT1は、シングルディスプレイ(つまり、配信者端末PT1が第1の表示部16Aのみを有する構成)である例を示すが、デュアルディスプレイあるいはマルチディスプレイであってもよい。
図8に示すユースケース例における第1の表示部16Aは、視聴者画像表示領域SC13を含む映像配信画面を表示している。視聴者画像表示領域SC13は、プロセッサ11における判定部11Bにより決定された表示順位に基づいて、9人の視聴者のそれぞれの視聴者画像FC31,FC32,FC33,FC34,FC35,FC36,FC37,FC38,FC39(ライブ映像)が表示される。具体的に、視聴者画像表示領域SC13は、プロセッサ11における判定部11Bにより決定された表示順位に基づいて、表示順位が高い視聴者の視聴者画像FC38,FC39のそれぞれを視聴者画像表示領域SC13の中央に、かつ、他の視聴者の視聴者画像FC31~FC37のそれぞれよりも大きく表示する。視聴者画像表示領域SC13に表示される視聴者画像のそれぞれは、配信者TCによる視聴者画像の切り替えを要求する操作を入力部14が受け付けたタイミング等で判定部11Bにより決定される。
なお、視聴者画像の表示方法は、上述の例に限定されない。例えば、配信者端末PT1は、プロセッサ11における判定部11Bにより決定された表示順位に基づいて、表示順位が高い視聴者の視聴者画像に太枠線を重畳して表示してもよいし、表示順位が高い視聴者の視聴者画像を、表示順位が低い視聴者の視聴者画像の表示サイズよりも大きいサイズで表示してもよいし、表示順位が高い視聴者の視聴者画像の背景の色を所定の色(例えば、赤、黄色、緑等)に変更して表示してもよい。
以上により、実施の形態1に係るオンライン映像配信支援システム100は、視聴者画像表示領域SC12にオンライン映像配信を視聴するすべての視聴者の視聴者画像が第1の表示部16Aあるいは第2の表示部16B上に表示可能な場合であっても、表示順位に基づいて、表示順位が高い視聴者の視聴者画像を強調して表示する。これにより、オンライン映像配信支援システム100は、配信者TCが目視確認すべき視聴者(つまり、表示順位が高い視聴者)が抽出された映像配信画面を配信者TCに提示できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に確認可能に支援できる。
(実施の形態1の変形例)
上述した実施の形態1に係るオンライン映像配信支援システム100は、配信者端末PT1により視聴者の表示順位の決定を実行する例を示した。実施の形態1の変形例に係るオンライン映像配信支援システム100Aは、配信者端末PT1および複数の視聴者端末PS1,…のそれぞれとの間でデータの送受信可能に接続されたサーバS1により視聴者の表示順位の決定を実行する例について説明する。
図9を参照して、実施の形態1の変形例に係るオンライン映像配信支援システム100Aの内部構成について説明する。図9は、実施の形態1の変形例に係るオンライン映像配信支援システム100Aの内部構成例を示すブロック図である。なお、図9に示す実施の形態1の変形例に係るオンライン映像配信支援システム100Aの内部構成は、実施の形態1に係るオンライン映像配信支援システム100および配信者端末PT1と同様の構成に同一の符号を付与して説明を省略する。
実施の形態1の変形例に係るオンライン映像配信支援システム100Aは、実施の形態1に係る配信者端末PT1における処理部11Aおよび判定部11Bにより実行される機能を、実施の形態1の変形例におけるサーバS1の処理部31Aおよび判定部31Bにより実行する。具体的に、実施の形態1の変形例におけるサーバS1は、図3~図4に示す動作手順を実行する。
まず、実施の形態1の変形例に係る配信者端末PT1Aについて説明する。配信者端末PT1Aは、ネットワークNWを介して、サーバS1および複数の視聴者端末PS1,…のそれぞれとの間で無線通信可能に接続される。配信者端末PT1Aにおけるプロセッサ11Cは、撮像部13により撮像された撮像画像をサーバS1に送信する。プロセッサ11Cは、配信者TCにより決定された共有資料のデータを通信部10に出力したり、入力部14により受け付けられた配信者TC操作を電気信号に変換して通信部10に出力したりする。通信部10Aは、プロセッサ11Cから出力された各種データあるいは信号を、ネットワークNWを介してサーバS1に送信する。また、プロセッサ11Cは、サーバS1から送信された映像配信画面を第1の表示部16Aおよび第2の表示部16Bのそれぞれに出力して表示させる。
実施の形態1の変形例に係るサーバS1は、オンライン映像配信支援装置の一例であって、配信者端末PT1Aの第1の表示部16Aおよび第2の表示部16Bのそれぞれに表示される映像配信画面と、複数の視聴者端末PS1,…のそれぞれに表示されるオンライン映像配信の画面とを生成する。サーバS1は、通信部30と、プロセッサ31と、メモリ32と、を含んで構成される。
通信部30は、ネットワークNWを介して、配信者端末PT1Aおよび複数の視聴者端末PS1,…との間でデータの送受信を実行する。通信部30は、配信者端末PT1Aから送信された撮像画像と、各視聴者端末PS1,…から送信された視聴者画像(ライブ映像)のそれぞれとをプロセッサ31に出力する。通信部30は、配信者端末PT1Aから送信された共有資料のデータ、配信者TC操作に基づく電気信号等をプロセッサ31に出力する。また、通信部30は、プロセッサ31における判定部31Bにより生成された映像配信画面を配信者端末PT1Aに送信する。
プロセッサ31は、例えばCPUまたはFPGAを用いて構成されて、メモリ32と協働して、各種の処理および制御を行う。具体的には、プロセッサ31はメモリ32に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。ここでいう各部は、例えば、処理部31Aおよび判定部31B等である。
処理部31Aは、配信者端末PT1Aから送信された撮像画像にCNN処理を実行し、配信者TCの視線位置を推定する。処理部31Aは、推定結果である配信者TCの視線位置の情報を判定部31Bに出力する。なお、視線位置の推定処理には、CNN解析処理以外の公知の技術が用いられてもよい。
判定部31Bは、処理部31Aから出力された配信者TCの視線位置の情報に基づいて、配信者TCが共有資料あるいはいずれかの視聴者画像を見ているかを判定する。判定部31Bは、配信者TCの視線位置がいずれかの視聴者画像を見ていると判定した場合、さらに配信者TCの視線位置がこの視聴者画像に対応する視聴者から外れたか否かを判定する。判定部31Bは、配信者TCの視線位置が視聴者画像から外れたと判定した場合、配信者TCの視線位置が視聴者画像から外れた時刻を、配信者TCが視聴者画像に対応する視聴者に注目した注目時刻として取得し、注目時刻から現在時刻までの経過時間とこの視聴者を識別可能な識別情報とを対応付けて、メモリ32に出力する。メモリ32は、判定部31Bから出力された経過時間と視聴者の識別情報とに基づいて、表示順位テーブルを更新する。
また、判定部31Bは、配信者端末PT1Aから送信された電気信号に基づいて、配信者TCによりオンライン映像配信に使用されている共有資料が切り替えられたか否か(例えば、共有資料のページを移動、共有資料のスライドを切り替える等)を判定する。判定部31Bは、配信者TCが共有資料を切り替えたと判定した場合、表示順位テーブルに基づいて、配信者端末PT1Aにおける第1の表示部16Aあるいは第2の表示部16Bに表示される視聴者画像の表示順位を決定する。判定部31Bは、決定された視聴者の表示順位に基づいて、第1の表示部16Aあるいは第2の表示部16Bに表示される視聴者の視聴者画像を含む映像配信画面(図2,図8参照)を生成し、配信者端末PT1Aに送信して第1の表示部16Aあるいは第2の表示部16Bに表示させる。
なお、共有資料が所定時間以上切り替えられていないと判定した場合、判定部31Bは、所定時間が経過したタイミングで、メモリ32に記録された表示順位テーブル(図5,図6参照)を更新してもよい。
メモリ32は、RAMおよびROM等による半導体メモリと、SSDあるいはHDD等によるストレージデバイスのうちいずれかと、を含む記録デバイスを有する。メモリ32は、オンライン映像配信を視聴するすべて視聴者を識別可能な識別情報、表示順位テーブル等を記録する。また、メモリ32は、CNN解析処理に用いられる学習モデルを記憶する。
(実施の形態2)
上述した実施の形態1に係るオンライン映像配信支援システム100は、配信者TCが視聴者を見てから経過した経過時間に基づいて、視聴者の表示順位の決定を実行する例を示した。実施の形態2に係るオンライン映像配信支援システム100は、配信者TCが視聴者を見てから経過した経過時間と、配信者TCが視聴者に視線を向け続けた(つまり、注目し続けた)注目継続時間とに基づいて、視聴者ごとに配信者TCが注目した(つまり、視線を向けた)スコア(以降、「注目スコア」と表記)を算出し、算出された注目スコアを用いて視聴者の表示順位の決定を実行する例について説明する。
なお、実施の形態2に係るオンライン映像配信支援システム100の内部構成は、実施の形態1に係るオンライン映像配信支援システム100とほぼ同様の構成を有するため、以下の説明では異なる機能について説明する。
実施の形態2に係る判定部11Bは、配信者TCの視線位置に基づいて、配信者TCが映像配信画面上に表示されたいずれかの視聴者画像を見ている(つまり、配信者TCの視線位置がこの視聴者画像の表示領域内に位置する)と判定した場合、配信者TCが映像配信画面上に表示されたいずれかの視聴者画像を見ていると判定したタイミングから、配信者TCがこの視聴者画像を見なくなる(つまり、配信者TCの視線位置がこの視聴者画像の表示領域外に位置する)と判定したタイミングまでの時間(以降、「注目継続時間」)を計測する。また、判定部11Bは、配信者TCの視線位置がこの視聴者画像の表示領域外に位置すると判定したタイミングを注目時刻として計測する。また、判定部11Bは、注目時刻から現在時刻までの経過時間を算出する。
判定部11Bは、計測された注目継続時間Δrと、経過時間tと、視聴者画像に対応する視聴者の識別情報とを対応付けて、メモリ12に記録された表示順位テーブル(図11、図12参照)に記録する。なお、ここでいう表示順位テーブルは、配信者TCが各視聴者に注目した注目スコアSを算出するためのテーブルである。表示順位テーブルは、現在時刻から所定時間(例えば、10分、15分、20分等)の間に計測された注目継続時間と、経過時間とを視聴者ごとに記録する。注目継続時間と、経過時間とを記録する所定時間は、後述する記録時間Tに等しい。
また、判定部11Bは、配信者TC操作により映像配信画面における共有資料表示領域に表示された共有資料の切り替え(つまり、共有資料のスライドあるいはページの切り替え)を検知した場合、この検知のタイミングでメモリ12に記録されている表示順位テーブルを参照し、視聴者ごとの注目スコアSを算出する。注目スコアSは、配信者TCの視聴者に対する注目度を示すスコアであって、経過時間tが最新(つまり、現在時刻に近い時刻)であるほど、注目継続時間Δrが長いほど高い値となる。判定部11Bは、算出された注目スコアSの値が大きい視聴者ほど第1の表示部16Aあるいは第2の表示部16Bに表示するための表示順位を下げ、注目スコアSの値が小さい視聴者ほど表示順位を上げる。
注目スコアSは、配信者TCがいずれかの視聴者に注目してから経過した経過時間tの増加に伴って減衰する重み関数を用いて算出される。なお、本実施の形態2における注目スコアSの算出式では、重み関数として(数式1)に示すゲイン関数(線形関数)を用いる例について説明する。なお、注目スコアSの算出に用いられる重み関数は、例えば任意の線形関数、累積分布関数、シグモイド関数等であってもよい。以下、(数式1)~(数式3)を参照して、注目スコアSの算出式について説明する。
(数式1)は、一例としてゲイン関数であって、配信者TCが注目時刻から経過した経過時間tに比例して減衰する係数の算出式である。つまり、(数式1)により算出される係数は、注目時刻から経過した経過時間tに比例して小さくなり、(数式3)を用いて算出される注目スコアSの値をより小さくする。(数式1)に示す経過時間tは、注目時刻から現在時刻までに経過した時間である。また、(数式1)に示す記録時間Tは、注目スコアSを算出するための表示順位テーブルに配信者TCの視線データ(つまり、経過時間tおよび注目継続時間)を記録(保持)し続ける時間である。
判定部11Bは、表示順位テーブルに経過時間tおよび注目継続時間Δrの情報が記録されたタイミングから経過時間tの計測を開始し、経過時間tが記録時間T以上であると判定した場合、経過時間tが記録時間T以上である経過時間および注目継続時間Δrの情報を削除する。なお、ここで、一例として経過時間tおよび記録時間Tの単位は、分である。
(数式2)は、1分以内の注目継続時間Δrの割合の算出式である。(数式2)に示す注目継続時間Δrは、検知された配信者TCの視線位置が視聴者画像の表示領域内で検知され続けた時間(つまり、配信者TCがいずれかの視聴者を継続して見続けた時間)である。なお、ここで、一例として注目継続時間Δrの単位は、秒である。
(数式3)は、記録時間T(つまり、経過時間t=T)から現在時刻(つまり、経過時間t=0)までの間に記録された1人の視聴者の注目スコアSを算出する算出式である。
Figure 2022152630000002
Figure 2022152630000003
Figure 2022152630000004
判定部11Bは、算出された視聴者ごとの注目スコアSに基づいて、注目スコアSが小さい順に視聴者を並び替えて、並び替え後の視聴者の順番を表示順位(優先順位)に決定する。判定部11Bは、決定された表示順位に基づいて、第1の表示部16Aあるいは第2の表示部16Bの視聴者画像表示領域に表示される所定人数の視聴者を決定する。判定部11Bは、決定された所定人数の視聴者に対応する視聴者画像を含む映像配信画面を生成して、第1の表示部16Aあるいは第2の表示部16Bに出力して、表示させる。
図10を参照して、実施の形態2に係る配信者端末PT1の動作手順について説明する。図10は、実施の形態2に係る配信者端末PT1の動作手順例を示すフローチャートである。なお、図10に示す配信者端末PT1の動作手順例におけるステップSt1~ステップSt8およびステップSt11~ステップSt12は、図5に示す動作手順例における各処理と同様の処理であるため、同一の符号を付与して説明を省略する。
なお、図10に示す例では、共有資料のスライドの切り替えに基づく映像配信画面に含まれる視聴者画像を切り替え例について説明するが、映像配信画面に含まれる視聴者画像を切り替えは、事前に設定された所定時間ごとに実行されてもよいことは言うまでもない。
配信者端末PT1は、配信者TCが映像配信画面上に表示されたいずれかの視聴者画像を見ているか否か(つまり、映像配信画面上の視聴者画像表示領域SC12内に検知された視線位置が位置しているか否か)を判定し(St8)、配信者TCがいずれかの視聴者画像を見ていると判定した場合(St8,YES)、検知された配信者TCの視線位置に基づいて、配信者TCが見ている(注目している)視聴者画像を特定する。配信者端末PT1は、特定された視聴者画像に対応する視聴者への注目継続時間Δrおよび注目時刻のそれぞれを計測する(St9A)。
配信者端末PT1は、メモリ12に記録された表示順位テーブルを参照して、表示順位テーブルに記録されたすべての視聴者のそれぞれの注目スコアを算出して更新する。配信者端末PT1は、配信者TCにより共有資料の次のスライドを表示させる操作が行われた場合に、この次のスライドを共有資料表示領域SC11に表示した映像配信画面の視聴者画像表示領域SC12で表示される視聴者画像を決定するための表示順位を更新する(St10A)。
以上により、実施の形態2に係るオンライン映像配信支援システム100は、すべての視聴者の視聴者画像を第1の表示部16Aあるいは第2の表示部16B上に表示できない場合であっても、配信者TCが視聴者を目視確認した時間(つまり、注目継続時間)と、目視確認した頻度あるいは目視確認してからの経過時間とに基づいて、映像配信画面に含まれる視聴者画像を表示するための表示順位(優先順位)を決定できるため、配信者TCが目視確認すべき視聴者画像の表示順位(優先順位)をより的確に決定できる。したがって、オンライン映像配信支援システム100は、配信者TCが目視確認すべき視聴者(つまり、表示順位(優先順位)が上からM番目までの視聴者)の視聴者画像を含む映像配信画面を配信者TCに提示できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成して、配信者TCによるすべての視聴者のそれぞれの目視確認を支援できる。
ここで、図7、図11および図12のそれぞれを参照して、実施の形態2における映像配信画面の視聴者画像表示領域SC12に表示される視聴者画像の切り替え手順について説明する。図11は、実施の形態2における表示順位テーブルTB3の一例を説明する図である。図12は、実施の形態2における表示順位テーブルTB4の一例を説明する図である。
なお、図7、図11および図12に示す例では、共有資料のスライドの切り替えに基づく映像配信画面に含まれる視聴者画像を切り替え例について説明するが、映像配信画面に含まれる視聴者画像を切り替えは、事前に設定された所定時間(例えば、5分、10分、15分等)ごとに実行されてもよいことは言うまでもない。
また、図11に示す表示順位テーブルTB3および図12に示す表示順位テーブルTB4のそれぞれでは、説明を分かり易くするために視聴者ごとの注目時刻からの経過時間tを分単位で記録する例を示しているが、経過時間tは、例えば秒単位、ミリ秒単位で記録されてよいことは言うまでもない。表示順位テーブルTB3は、説明を分かり易くするために、配信者TC操作によってk枚目のスライドに切り替えられたタイミングでメモリ12に記録されている表示順位テーブルである。表示順位テーブルTB4は、説明を分かり易くするために、配信者TC操作によって(k+1)枚目のスライドに切り替えられたタイミングでメモリ12に記録されている表示順位テーブルである。
なお、表示順位テーブルTB3,TB4のそれぞれでは、図12に示すk枚目のスライドから(k+1)枚目のスライドへの切り替え時における映像配信画面上の視聴者画像の表示の切り替えの説明を分かり易くするために視聴者の識別情報と、事前に登録された視聴者の顔画像とが対応付けられている例を示すが、視聴者の顔画像は必須ではない。
表示順位テーブルTB3,TB4のそれぞれは、メモリ12に記録され、判定部11Bにより記録(更新)される。また、表示順位テーブルTB3,TB4のそれぞれは、記録された経過時間tが記録時間Tを超えたと判定された場合、判定部11Bによって経過時間tが記録時間Tを超えた注目継続時間の情報が削除される。
表示順位テーブルTB3は、視聴者の識別情報(例えば、視聴者の氏名、視聴者番号、オンライン映像配信の視聴番号、視聴者端末のIPアドレス、メールアドレス等)と、経過時間と、注目継続時間とを対応付けて記録する。なお、図11に示す表示順位テーブルTB3は、図12の視聴者画像の表示切り替え例の説明を分かり易くするために注目スコアSをさらに対応付けて記録している例を示しているが、必須でなく省略されてよい。
例えば、図11に示す表示順位テーブルTB3は、オンライン映像配信を視聴する9人の視聴者のそれぞれの経過時間を記録する。例えば、表示順位テーブルTB3は、配信者TC操作によってk枚目のスライドに切り替えられたタイミングで以下の各種データを記録(保持)している。なお、図11に示す視聴者の氏名は、視聴者の識別情報の一例である。
氏名「A」および顔画像SCAに対応する視聴者は、経過時間「6分」に注目継続時間が「30秒」、経過時間「7分」に注目継続時間が「15秒」であって、注目スコアSが「27」である。
氏名「B」および顔画像SCBに対応する視聴者は、経過時間「5分」に注目継続時間が「10秒」であって、注目スコアSが「8」である。
氏名「C」および顔画像SCCに対応する視聴者は、経過時間「8分」に注目継続時間が「30秒」であって、注目スコアSが「10」である。
氏名「D」および顔画像SCDに対応する視聴者は、経過時間および注目継続時間がなく、注目スコアSが「0(ゼロ)」である。つまり、氏名「D」の視聴者は、記録時間Tの間、配信者TCの視線が向けられていない。
氏名「E」および顔画像SCEに対応する視聴者は、経過時間「5分」に注目継続時間が「20秒」、経過時間「7分」に注目継続時間が「10秒」であって、注目スコアSが「21」である。
氏名「F」および顔画像SCFに対応する視聴者は、経過時間「1分」に注目継続時間が「30秒」、経過時間「2分」に注目継続時間が「10秒」であって、注目スコアSが「58」である。
氏名「G」および顔画像SCGに対応する視聴者は、経過時間「2分」に注目継続時間が「15秒」、経過時間「3分」に注目継続時間が「20秒」であって、注目スコアSが「43」である。
氏名「H」および顔画像SCHに対応する視聴者は、経過時間「4分」に注目継続時間が「40秒」であって、注目スコアSが「40」である。
氏名「I」および顔画像SCIに対応する視聴者は、経過時間「3分」に注目継続時間が「15秒」、経過時間「5分」に注目継続時間が「35秒」であって、注目スコアSが「46」である。
判定部11Bは、配信者TC操作によってk枚目のスライドに切り替えられたタイミングで上述した9人の視聴者のそれぞれの注目スコアSを算出し、算出された視聴者ごとの注目スコアSに基づいて、注目スコアSが小さい順に視聴者を並び替える。判定部11Bは、並び替え後の視聴者の順位に基づいて、すべての視聴者のそれぞれの表示順位(優先順位)を決定する。具体的に、判定部11Bは、注目スコアSが最も小さい視聴者の表示順位を最も高い順位に決定する。
例えば、判定部11Bは、図11に示す表示順位テーブルTB3に基づいて、9人の視聴者のそれぞれの表示順位(優先順位)を、氏名「D」、氏名「C」、氏名「E」、氏名「A」、氏名「B」、氏名「H」、氏名「I」、氏名「G」、氏名「F」であると決定する。ここで、第1の表示部16Aの視聴者画像表示領域SC12に表示可能な視聴者画像の数は、5つである例について説明する。
判定部11Bは、決定された表示順位に基づいて、決定された表示順位の上位5人の視聴者の視聴者画像(ここでは、氏名「D」の視聴者画像FC11、氏名「C」の視聴者画像FC12、氏名「E」の視聴者画像FC13、氏名「A」の視聴者画像FC14、氏名「B」の視聴者画像FC15のそれぞれ)を含む視聴者画像表示領域SC12A(図7参照)を含む映像配信画面を生成し、第1の表示部16Aに表示させる。なお、氏名「H」、氏名「I」、氏名「G」、氏名「F」のそれぞれに対応する4人の視聴者の視聴者画像FC16,FC17,FC18,FC19のそれぞれは、視聴者画像表示領域SC12A(図7参照)に含まれず、(k+1)枚目のスライドが表示された映像配信画面で非表示となる。
判定部11Bは、k枚目のスライドが共有資料表示領域SC11に表示されている間、氏名「D」の視聴者画像FC11、氏名「C」の視聴者画像FC12、氏名「E」の視聴者画像FC13、氏名「A」の視聴者画像FC14、氏名「B」の視聴者画像FC15のそれぞれを含む視聴者画像表示領域SC12Aの表示を継続するとともに、配信者TCの視線位置に基づいて、表示順位テーブルTB3の更新を実行する。
例えば、図12に示す表示順位テーブルTB4は、配信者TC操作によって(k+1)枚目のスライドに切り替えられたタイミングで、メモリ12に記録されている。なお、ここでは、配信者TCは、k枚目のスライドに切り替えてから3分後に(k+1)枚目のスライドに切り替えた例について説明する。表示順位テーブルTB3は、配信者TC操作によってk枚目のスライドに切り替えられたタイミングで以下の各種データを記録(保持)している。なお、図12に示す視聴者の氏名は、視聴者の識別情報の一例である。
氏名「A」および顔画像SCAに対応する視聴者は、経過時間「1分」に注目継続時間が「30秒」、経過時間「2分」に注目継続時間が「10秒」であって、注目スコアSが「58」である。
氏名「B」および顔画像SCBに対応する視聴者は、経過時間「1分」に注目継続時間が「30秒」であって、注目スコアSが「45」である。
氏名「C」および顔画像SCCに対応する視聴者は、経過時間「2分」に注目継続時間が「15秒」、経過時間「3分」に注目継続時間が「20秒」であって、注目スコアSが「43」である。
氏名「D」および顔画像SCDに対応する視聴者は、経過時間「4分」に注目継続時間が「40秒」であって、注目スコアSが「40」である。
氏名「E」および顔画像SCEに対応する視聴者は、経過時間「5分」に注目継続時間が「35秒」であって、注目スコアSが「29」である。
氏名「F」および顔画像SCFに対応する視聴者は、経過時間「4分」に注目継続時間が「30秒」、経過時間「5分」に注目継続時間が「10秒」であって、注目スコアSが「38」である。
氏名「G」および顔画像SCGに対応する視聴者は、経過時間「5分」に注目継続時間が「15秒」、経過時間「6分」に注目継続時間が「20秒」であって、注目スコアSが「25」である。
氏名「H」および顔画像SCHに対応する視聴者は、経過時間「7分」に注目継続時間が「40秒」であって、注目スコアSが「20」である。
氏名「I」および顔画像SCIに対応する視聴者は、経過時間「6分」に注目継続時間が「15秒」、経過時間「8分」に注目継続時間が「35秒」であって、注目スコアSが「21」である。
判定部11Bは、配信者TC操作によってk枚目のスライドに切り替えられたタイミングで上述した9人の視聴者のそれぞれの注目スコアSを算出し、算出された視聴者ごとの注目スコアSに基づいて、すべての視聴者のそれぞれの表示順位(優先順位)を決定する。
例えば、判定部11Bは、図11に示す表示順位テーブルTB4に基づいて、9人の視聴者のそれぞれの表示順位(優先順位)を、氏名「H」、氏名「I」、氏名「G」、氏名「F」、氏名「E」、氏名「B」、氏名「A」、氏名「C」、氏名「D」であると決定する。判定部11Bは、決定された表示順位に基づいて、決定された表示順位の上位5人の視聴者の視聴者画像(ここでは、氏名「H」の視聴者画像FC16、氏名「F」の視聴者画像FC17、氏名「G」の視聴者画像FC18、氏名「F」の視聴者画像FC19、氏名「E」の視聴者画像FC15のそれぞれ)を含む視聴者画像表示領域SC12B(図7参照)を含む映像配信画面を生成し、第1の表示部16Aに表示させる。なお、氏名「B」、氏名「A」、氏名「C」、氏名「D」のそれぞれに対応する4人の視聴者の視聴者画像FC11~FC14のそれぞれは、視聴者画像表示領域SC12B(図7参照)に含まれず、(k+1)枚目のスライドが表示された映像配信画面で非表示となる。
判定部11Bは、(k+1)枚目のスライドが共有資料表示領域に表示されている間、氏名「D」の視聴者画像FC11、氏名「H」の視聴者画像FC16、氏名「F」の視聴者画像FC17、氏名「G」の視聴者画像FC18、氏名「F」の視聴者画像FC19、氏名「E」の視聴者画像FC15のそれぞれを含む視聴者画像表示領域SC12Bの表示を継続するとともに、配信者TCの視線位置に基づいて、表示順位テーブルTB4の更新を実行する。
以上により、実施の形態1、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、オンライン映像配信を視聴するN(N:3以上の整数)人の視聴者のそれぞれにより使用される複数の視聴者端末PS1,…との間で通信可能に接続された1つ以上のコンピュータ(例えば、配信者端末PT1、サーバS1等)を含んで構成されるシステムにより行われ、それぞれの視聴者端末PS1,…から視聴者が撮像された視聴者画像を取得し、M(M:2以上の整数、M≦N)人の視聴者それぞれが撮像された視聴者画像を含む映像配信画面(図2,図8参照)(画面の一例)を表示し、オンライン映像配信を行う配信者TCを撮像した撮像画像を用いて配信者TCの視線方向を検知し、視線方向に基づいて、配信者が視線を向けた視聴者画像に対応する視聴者を判定して、映像配信画面に表示する視聴者画像の表示順位(優先順位)を決定し、決定された表示順位(優先順位)を用いて映像配信画面に表示される視聴者画像を切り替えた映像配信画面を生成して表示する。なお、オンライン映像配信支援システム100,100Aは、配信者端末PT1およびサーバS1のいずれか一方のコンピュータを含んで構成されてもよいし、配信者端末PT1およびサーバS1のそれぞれのコンピュータを含んで構成されてもよい。
これにより、実施の形態1、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、すべての視聴者の視聴者画像を第1の表示部16Aあるいは第2の表示部16B上に表示できない場合であっても、配信者TCの視線方向に基づいて、配信者TCが目視確認を行った視聴者を特定できる。さらに、オンライン映像配信支援システム100,100Aは、特定された視聴者の情報に基づいて、映像配信画面に含まれる視聴者画像を表示するための表示順位(優先順位)を決定し、決定された表示順位(優先順位)を用いて、現在の映像配信画面に含まれる視聴者画像を、表示順位(優先順位)が上からM番目までの視聴者の視聴者画像に切り替えた映像配信画面を生成できる。したがって、オンライン映像配信支援システム100,100Aは、配信者TCが目視確認すべき視聴者(つまり、表示順位(優先順位)が上からM番目までの視聴者)の視聴者画像を含む映像配信画面を配信者TCに提示できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成して、配信者TCによるすべての視聴者のそれぞれの目視確認を支援できる。
また、以上により、実施の形態1および実施の形態1の変形例に係るオンライン映像配信支援システム100,100Aは、視線方向に基づいて、配信者TCが視線を向けた視聴者画像から配信者が視線を外した注目時刻(時刻情報の一例)を視聴者ごとに記録し、注目時刻に基づいて、表示順位(優先順位)を決定する。これにより、実施の形態1および実施の形態1の変形例に係るオンライン映像配信支援システム100,100Aは、注目時刻に基づいて、配信者TCが目視確認すべき視聴者の表示順位(優先順位)を決定できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成できる。
また、以上により、実施の形態1および実施の形態1の変形例に係るオンライン映像配信支援システム100,100Aは、注目時刻から現在時刻まで経過した経過時間が大きい順にN人の視聴者のそれぞれを並び替え、並び替え後のN人の視聴者の順番を表示順位(優先順位)に決定する。これにより、実施の形態1および実施の形態1の変形例に係るオンライン映像配信支援システム100,100Aは、注目時刻に基づいて、配信者TCが目視確認すべき視聴者の表示順位(優先順位)を決定できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成できる。
また、以上により、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、視線方向に基づいて、配信者TCが視聴者画像に視線を向け続けた注目継続時間(継続時間情報の一例)と、配信者が視聴者画像から視線を外した注目時刻とを視聴者ごとに記録し、視聴者ごとに記録された注目継続時間および注目時刻に基づいて、表示順位(優先順位)を決定する。これにより、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、配信者TCが視聴者を目視確認した時間(つまり、注目継続時間)と、目視確認した頻度あるいは目視確認してからの経過時間とに基づいて、映像配信画面に含まれる視聴者画像を表示するための表示順位(優先順位)を決定できるため、配信者TCが目視確認すべき視聴者画像の表示順位(優先順位)をより的確に決定できる。したがって、オンライン映像配信支援システム100,100Aは、配信者TCが目視確認すべき視聴者(つまり、表示順位(優先順位)が上からM番目までの視聴者)の視聴者画像を含む映像配信画面を配信者TCに提示できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成できる。
また、以上により、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100は、注目時刻から現在時刻まで経過した経過時間tを算出し、経過時間tの増加に伴って表示順位(優先順位)を下げる関数(具体的に、(数式1)に示す関数)と注目時刻と注目継続時間とに基づいて、配信者TCによる視聴者画像に対応する視聴者への注目度を示す注目スコアS(スコアの一例)を視聴者ごとに算出し、注目スコアSに基づいて、表示順位(優先順位)を決定する。これにより、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100は、目視確認してからの経過時間tに基づいて、表示順位(優先順位)を決定するための注目スコアSが小さくなるため、配信者TCが目視確認すべき視聴者画像の表示順位(優先順位)をより的確に決定できる。したがって、オンライン映像配信支援システム100,100Aは、配信者TCが目視確認すべき視聴者(つまり、表示順位(優先順位)が上からM番目までの視聴者)の視聴者画像を含む映像配信画面を配信者TCに提示できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成できる。
また、以上により、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aにより算出される注目スコアSは、注目時刻が現在時刻から第1の所定時間前までの間に、視聴者ごとに記録されたすべての注目継続時間および注目時刻のそれぞれを用いて算出される。なお、第1の所定時間は、記録時間Tの一例である。これにより、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、記録時間T(つまり、経過時間t=T)から現在時刻(つまり、経過時間t=0)までの間に、視聴者ごとに記録されたすべての注目継続時間および注目時刻のそれぞれを用いて注目スコアSを算出できる。したがって、オンライン映像配信支援システム100,100Aは、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成できる。
また、以上により、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、注目スコアSが小さい順にN人の視聴者のそれぞれを並び替え、並び替え後のN人の視聴者の順番を表示順位(優先順位)に決定する。これにより、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、注目スコアSに基づいて、配信者TCが目視確認すべき視聴者の表示順位(優先順位)を決定できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成できる。
また、以上により、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、配信者TCによる映像配信画面に表示された共有資料の切り替え(例えば、共有資料のスライドの切り替え、ページの切り替え等)があると判定した場合、表示順位(優先順位)を決定する。これにより、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、映像配信画面に含まれる視聴者画像の切り替えのタイミングを配信者TCにより制御可能にするとともに、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面の提示を実現できる。
また、以上により、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、第2の所定時間(例えば、5分、10分、15分等)ごとに優先順位を決定する。これにより、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、映像配信画面に含まれる視聴者画像の切り替えを第2の所定時間(例えば、5分、10分、15分等)ごとに実行できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面の提示を実現できる。
以上により、実施の形態1および実施の形態2に係る配信者端末PT1と、実施の形態1の変形例に係るサーバS1とは、1つ以上のコンピュータ(例えば、配信者端末PT1、サーバS1等)を含んで構成され、オンライン映像配信を視聴するN(N:3以上の整数)人の視聴者のそれぞれの視聴者画像を取得する取得部(配信者端末PT1における通信部10、サーバS1における通信部30)と、M(M:2以上の整数、M≦N)人の視聴者それぞれが撮像された視聴者画像を含む映像配信画面(図2,図8参照)を出力する出力部(配信者端末PT1における第1の表示部16Aあるいは第2の表示部16B、サーバS1における通信部30)と、オンライン映像配信を行う配信者を撮像した撮像画像を用いて配信者の視線方向を検知する検知部(配信者端末PT1における処理部11A、サーバS1における処理部31A)と、視線方向に基づいて、配信者が視線を向けた視聴者画像に対応する視聴者を判定して、映像配信画面に表示する視聴者画像の表示順位(優先順位)を決定し、決定された優先順位を用いて映像配信画面に表示される視聴者画像を切り替えた映像配信画面を生成して出力部に出力する制御部(配信者端末PT1における判定部11B、サーバS1における判定部31B)と、を備える。
これにより、実施の形態1および実施の形態2に係る配信者端末PT1と、実施の形態1の変形例に係るサーバS1とは、すべての視聴者の視聴者画像を第1の表示部16Aあるいは第2の表示部16B上に表示できない場合であっても、配信者TCの視線方向に基づいて、配信者TCが目視確認を行った視聴者を特定できる。さらに、配信者端末PT1およびサーバS1は、特定された視聴者の情報に基づいて、映像配信画面に含まれる視聴者画像を表示するための表示順位(優先順位)を決定し、決定された表示順位(優先順位)を用いて、現在の映像配信画面に含まれる視聴者画像を、表示順位(優先順位)が上からM番目までの視聴者の視聴者画像に切り替えた映像配信画面を生成できる。したがって、配信者端末PT1およびサーバS1は、配信者TCが目視確認すべき視聴者(つまり、表示順位(優先順位)が上からM番目までの視聴者)の視聴者画像を含む映像配信画面を配信者TCに提示できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成して、配信者TCによるすべての視聴者のそれぞれの目視確認を支援できる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
本開示は、オンライン映像配信を視聴する視聴者のギャラリービューの表示をより効果的に行い、配信者による視聴者の状態の目視確認を効率的に支援するオンライン映像配信支援方法およびオンライン映像配信支援装置として有用である。
10,10A,30 通信部
11,11C,31 プロセッサ
11A,31A 処理部
11B,31B 判定部
12,32 メモリ
13 撮像部
14 入力部
15A 音声入力部
15B 音声出力部
16A 第1の表示部
16B 第2の表示部
100,100A オンライン映像配信支援システム
NW ネットワーク
TC 配信者
PS1 視聴者端末
PT1,PT1A 配信者端末
S1 サーバ
氏名「B」および顔画像SCBに対応する視聴者は、経過時間が「分」であって、表示順位が「」である。
氏名「C」および顔画像SCCに対応する視聴者は、経過時間が「分」であって、表示順位が「」である。
氏名「E」および顔画像SCEに対応する視聴者は、経過時間「分」であって、表示順位が「」である。
例えば、判定部11Bは、図5に示す表示順位テーブルTB1に基づいて、9人の視聴者のそれぞれの表示順位を、氏名「D」、氏名「」、氏名「」、氏名「A」、氏名「」、氏名「H」、氏名「I」、氏名「G」、氏名「F」であると決定する。ここで、第1の表示部16Aの視聴者画像表示領域SC12に表示可能な視聴者画像の数は、5つである例について説明する。
判定部11Bは、決定された表示順位に基づいて、決定された表示順位の上位5人の視聴者の視聴者画像(ここでは、氏名「D」の視聴者画像FC11、氏名「」の視聴者画像FC12、氏名「」の視聴者画像FC13、氏名「A」の視聴者画像FC14、氏名「」の視聴者画像FC15のそれぞれ)を含む視聴者画像表示領域SC12A(図7参照)を含む映像配信画面を生成し、第1の表示部16Aに表示させる。なお、氏名「H」、氏名「I」、氏名「G」、氏名「F」のそれぞれに対応する4人の視聴者の視聴者画像FC16,FC17,FC18,FC19のそれぞれは、視聴者画像表示領域SC12Aに含まれず、k枚目のスライドが表示された映像配信画面において非表示となる。
判定部11Bは、k枚目のスライドが共有資料表示領域に表示されている間、氏名「D」の視聴者画像FC11、氏名「」の視聴者画像FC12、氏名「」の視聴者画像FC13、氏名「A」の視聴者画像FC14、氏名「」の視聴者画像FC15のそれぞれを含む視聴者画像表示領域SC12Aの表示を継続するとともに、配信者TCの視線位置に基づいて、表示順位テーブルTB1の更新を実行する。
例えば、図6に示す表示順位テーブルTB2は、配信者TC操作によって(k+1)枚目のスライドに切り替えられたタイミングで、メモリ12に記録されている。なお、ここでは、配信者TCは、k枚目のスライドに切り替えてから3分後に(k+1)枚目のスライドに切り替えた例について説明する。表示順位テーブルTBは、配信者TC操作によって(+1)枚目のスライドに切り替えられたタイミングで以下の各種データを記録(保持)している。
判定部11Bは、決定された表示順位に基づいて、決定された表示順位の上位5人の視聴者の視聴者画像(ここでは、氏名「H」の視聴者画像FC16、氏名「」の視聴者画像FC17、氏名「G」の視聴者画像FC18、氏名「F」の視聴者画像FC19、氏名「E」の視聴者画像FC15のそれぞれ)を含む視聴者画像表示領域SC12B(図7参照)を含む映像配信画面を生成し、第1の表示部16Aに表示させる。なお、氏名「B」、氏名「A」、氏名「C」、氏名「D」のそれぞれに対応する4人の視聴者の視聴者画像FC12、FC14、FC13、FC11のそれぞれは、視聴者画像表示領域SC12Bに含まれず、(k+1)枚目のスライドが表示された映像配信画面において非表示となる。
判定部11Bは、(k+1)枚目のスライドが共有資料表示領域SC11に表示されている間、氏名「H」の視聴者画像FC16、氏名「」の視聴者画像FC17、氏名「G」の視聴者画像FC18、氏名「F」の視聴者画像FC19、氏名「E」の視聴者画像FC15のそれぞれを含む視聴者画像表示領域SC12Bの表示を継続するとともに、配信者TCの視線位置に基づいて、表示順位テーブルTB2の更新を実行する。
まず、実施の形態1の変形例に係る配信者端末PT1Aについて説明する。配信者端末PT1Aは、ネットワークNWを介して、サーバS1および複数の視聴者端末PS1,…のそれぞれとの間で無線通信可能に接続される。配信者端末PT1Aにおけるプロセッサ11Cは、撮像部13により撮像された撮像画像をサーバS1に送信する。プロセッサ11Cは、配信者TCにより決定された共有資料のデータを通信部10に出力したり、入力部14により受け付けられた配信者TC操作を電気信号に変換して通信部10に出力したりする。通信部10Aは、プロセッサ11Cから出力された各種データあるいは信号を、ネットワークNWを介してサーバS1に送信する。また、プロセッサ11Cは、サーバS1から送信された映像配信画面を第1の表示部16Aおよび第2の表示部16Bのそれぞれに出力して表示させる。
処理部31Aは、配信者端末PT1Aから送信された撮像画像にCNN解析処理を実行し、配信者TCの視線位置を推定する。処理部31Aは、推定結果である配信者TCの視線位置の情報を判定部31Bに出力する。なお、視線位置の推定処理には、CNN解析処理以外の公知の技術が用いられてもよい。
図10を参照して、実施の形態2に係る配信者端末PT1の動作手順について説明する。図10は、実施の形態2に係る配信者端末PT1の動作手順例を示すフローチャートである。なお、図10に示す配信者端末PT1の動作手順例におけるステップSt1~ステップSt8およびステップSt11~ステップSt12は、図に示す動作手順例における各処理と同様の処理であるため、同一の符号を付与して説明を省略する。
例えば、判定部11Bは、図11に示す表示順位テーブルTB3に基づいて、9人の視聴者のそれぞれの表示順位(優先順位)を、氏名「D」、氏名「B」、氏名「C」、氏名「E」、氏名「A」、氏名「H」、氏名「G」、氏名「I」、氏名「F」であると決定する。ここで、第1の表示部16Aの視聴者画像表示領域SC12に表示可能な視聴者画像の数は、5つである例について説明する。
判定部11Bは、決定された表示順位に基づいて、決定された表示順位の上位5人の視聴者の視聴者画像(ここでは、氏名「D」の視聴者画像FC11、氏名「」の視聴者画像FC12、氏名「」の視聴者画像FC13、氏名「A」の視聴者画像FC14、氏名「」の視聴者画像FC15のそれぞれ)を含む視聴者画像表示領域SC12A(図7参照)を含む映像配信画面を生成し、第1の表示部16Aに表示させる。なお、氏名「H」、氏名「I」、氏名「G」、氏名「F」のそれぞれに対応する4人の視聴者の視聴者画像FC16,FC17,FC18,FC19のそれぞれは、視聴者画像表示領域SC12A(図7参照)に含まれず、(k+1)枚目のスライドが表示された映像配信画面で非表示となる。
判定部11Bは、k枚目のスライドが共有資料表示領域SC11に表示されている間、氏名「D」の視聴者画像FC11、氏名「」の視聴者画像FC12、氏名「」の視聴者画像FC13、氏名「A」の視聴者画像FC14、氏名「」の視聴者画像FC15のそれぞれを含む視聴者画像表示領域SC12Aの表示を継続するとともに、配信者TCの視線位置に基づいて、表示順位テーブルTB3の更新を実行する。
例えば、判定部11Bは、図12に示す表示順位テーブルTB4に基づいて、9人の視聴者のそれぞれの表示順位(優先順位)を、氏名「H」、氏名「I」、氏名「G」、氏名「E」、氏名「F」、氏名「D」、氏名「C」、氏名「B」、氏名「A」であると決定する。判定部11Bは、決定された表示順位に基づいて、決定された表示順位の上位5人の視聴者の視聴者画像(ここでは、氏名「H」の視聴者画像FC16、氏名「」の視聴者画像FC17、氏名「G」の視聴者画像FC18、氏名「」の視聴者画像FC15、氏名「」の視聴者画像FC19のそれぞれ)を含む視聴者画像表示領域SC12B(図7参照)を含む映像配信画面を生成し、第1の表示部16Aに表示させる。なお、氏名「D」、氏名「C」、氏名「B」、氏名「A」のそれぞれに対応する4人の視聴者の視聴者画像FC11、FC13、FC12、FC14のそれぞれは、視聴者画像表示領域SC12B(図7参照)に含まれず、(k+1)枚目のスライドが表示された映像配信画面で非表示となる。
判定部11Bは、(k+1)枚目のスライドが共有資料表示領域に表示されている間、氏名「」の視聴者画像FC16、氏名「」の視聴者画像FC17、氏名「」の視聴者画像FC18、氏名「」の視聴者画像FC15、氏名「F」の視聴者画像FC19のそれぞれを含む視聴者画像表示領域SC12Bの表示を継続するとともに、配信者TCの視線位置に基づいて、表示順位テーブルTB4の更新を実行する。
また、以上により、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、注目時刻から現在時刻まで経過した経過時間tを算出し、経過時間tの増加に伴って表示順位(優先順位)を下げる関数(具体的に、(数式1)に示す関数)と注目時刻と注目継続時間とに基づいて、配信者TCによる視聴者画像に対応する視聴者への注目度を示す注目スコアS(スコアの一例)を視聴者ごとに算出し、注目スコアSに基づいて、表示順位(優先順位)を決定する。これにより、実施の形態1の変形例および実施の形態2に係るオンライン映像配信支援システム100,100Aは、目視確認してからの経過時間tに基づいて、表示順位(優先順位)を決定するための注目スコアSが小さくなるため、配信者TCが目視確認すべき視聴者画像の表示順位(優先順位)をより的確に決定できる。したがって、オンライン映像配信支援システム100,100Aは、配信者TCが目視確認すべき視聴者(つまり、表示順位(優先順位)が上からM番目までの視聴者)の視聴者画像を含む映像配信画面を配信者TCに提示できるため、オンライン映像配信を視聴するすべての視聴者のそれぞれの視聴者画像を満遍なく、かつ、より効率的に目視確認可能な映像配信画面を生成できる。

Claims (10)

  1. オンライン映像配信を視聴するN(N:3以上の整数)人の視聴者のそれぞれにより使用される複数の視聴者端末との間で通信可能に接続された1つ以上のコンピュータを含んで構成されるシステムが行うオンライン映像配信支援方法であって、
    それぞれの前記視聴者端末から前記視聴者が撮像された視聴者画像を取得し、
    M(M:2以上の整数、M≦N)人の視聴者それぞれが撮像された視聴者画像を含む画面を表示し、
    前記オンライン映像配信を行う配信者を撮像した撮像画像を用いて前記配信者の視線方向を検知し、
    前記視線方向に基づいて、前記配信者が視線を向けた視聴者画像に対応する視聴者を判定して、前記画面に表示する視聴者画像の優先順位を決定し、
    決定された前記優先順位を用いて前記画面に表示される前記視聴者画像を切り替えた画面を生成して表示する、
    オンライン映像配信支援方法。
  2. 前記視線方向に基づいて、前記配信者が前記視線を向けた前記視聴者画像から前記配信者が前記視線を外した時刻情報を前記視聴者ごとに記録し、
    前記時刻情報に基づいて、前記優先順位を決定する、
    請求項1に記載のオンライン映像配信支援方法。
  3. 前記時刻情報から現在時刻まで経過した経過時間が大きい順に前記N人の視聴者のそれぞれを並び替え、並び替え後の前記N人の視聴者の順番を前記優先順位に決定する、
    請求項2に記載のオンライン映像配信支援方法。
  4. 前記視線方向に基づいて、前記配信者が前記視聴者画像に視線を向け続けた継続時間情報と、前記配信者が前記視聴者画像から前記視線を外した時刻情報とを視聴者ごとに記録し、
    前記視聴者ごとに記録された前記継続時間情報および前記時刻情報に基づいて、前記優先順位を決定する、
    請求項1に記載のオンライン映像配信支援方法。
  5. 前記時刻情報から現在時刻まで経過した経過時間を算出し、
    前記経過時間の増加に伴って前記優先順位を下げる関数と前記時刻情報と前記継続時間情報とに基づいて、前記配信者による前記視聴者画像に対応する視聴者への注目度を示すスコアを前記視聴者ごとに算出し、
    前記スコアに基づいて、前記優先順位を決定する、
    請求項4に記載のオンライン映像配信支援方法。
  6. 前記スコアは、前記時刻情報が前記現在時刻から第1の所定時間前までの間に、前記視聴者ごとに記録されたすべての前記継続時間情報および前記時刻情報のそれぞれを用いて算出される、
    請求項5に記載のオンライン映像配信支援方法。
  7. 前記スコアが小さい順に前記N人の視聴者のそれぞれを並び替え、並び替え後の前記N人の視聴者の順番を前記優先順位に決定する、
    請求項5または6に記載のオンライン映像配信支援方法。
  8. 前記配信者による前記画面に表示された共有資料の切り替えがあると判定した場合、前記優先順位を決定する、
    請求項1に記載のオンライン映像配信支援方法。
  9. 第2の所定時間ごとに前記優先順位を決定する、
    請求項1に記載のオンライン映像配信支援方法。
  10. 1つ以上のコンピュータを含んで構成されるオンライン映像配信支援装置であって、
    オンライン映像配信を視聴するN(N:3以上の整数)人の視聴者のそれぞれの視聴者画像を取得する取得部と、
    M(M:2以上の整数、M≦N)人の視聴者それぞれが撮像された前記視聴者画像を含む画面を出力する出力部と、
    前記オンライン映像配信を行う配信者を撮像した撮像画像を用いて前記配信者の視線方向を検知する検知部と、
    前記視線方向に基づいて、前記配信者が視線を向けた視聴者画像に対応する視聴者を判定して、前記画面に表示する視聴者画像の優先順位を決定し、決定された前記優先順位を用いて前記画面に表示される前記視聴者画像を切り替えた画面を生成して前記出力部に出力する制御部と、を備える、
    オンライン映像配信支援装置。
JP2021055469A 2021-03-29 2021-03-29 オンライン映像配信支援方法およびオンライン映像配信支援装置 Pending JP2022152630A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021055469A JP2022152630A (ja) 2021-03-29 2021-03-29 オンライン映像配信支援方法およびオンライン映像配信支援装置
US17/704,204 US20220309938A1 (en) 2021-03-29 2022-03-25 Online video distribution support method and online video distribution support apparatus
CN202210315715.0A CN115146086A (zh) 2021-03-29 2022-03-28 在线影像分发辅助方法和在线影像分发辅助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021055469A JP2022152630A (ja) 2021-03-29 2021-03-29 オンライン映像配信支援方法およびオンライン映像配信支援装置

Publications (1)

Publication Number Publication Date
JP2022152630A true JP2022152630A (ja) 2022-10-12

Family

ID=83362707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021055469A Pending JP2022152630A (ja) 2021-03-29 2021-03-29 オンライン映像配信支援方法およびオンライン映像配信支援装置

Country Status (3)

Country Link
US (1) US20220309938A1 (ja)
JP (1) JP2022152630A (ja)
CN (1) CN115146086A (ja)

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
US5760767A (en) * 1995-10-26 1998-06-02 Sony Corporation Method and apparatus for displaying in and out points during video editing
US6332147B1 (en) * 1995-11-03 2001-12-18 Xerox Corporation Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities
US5758093A (en) * 1996-03-29 1998-05-26 International Business Machine Corp. Method and system for a multimedia application development sequence editor using time event specifiers
US5852435A (en) * 1996-04-12 1998-12-22 Avid Technology, Inc. Digital multimedia editing and data management system
USRE38401E1 (en) * 1997-01-16 2004-01-27 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6463444B1 (en) * 1997-08-14 2002-10-08 Virage, Inc. Video cataloger system with extensibility
US7954056B2 (en) * 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
US6249281B1 (en) * 2000-02-28 2001-06-19 Presenter.Com On-demand presentation graphical user interface
US6807361B1 (en) * 2000-07-18 2004-10-19 Fuji Xerox Co., Ltd. Interactive custom video creation system
US7143362B2 (en) * 2001-12-28 2006-11-28 International Business Machines Corporation System and method for visualizing and navigating content in a graphical user interface
US7213051B2 (en) * 2002-03-28 2007-05-01 Webex Communications, Inc. On-line conference recording system
US7149974B2 (en) * 2002-04-03 2006-12-12 Fuji Xerox Co., Ltd. Reduced representations of video sequences
US7352952B2 (en) * 2003-10-16 2008-04-01 Magix Ag System and method for improved video editing
US20060093309A1 (en) * 2004-10-05 2006-05-04 Magix Ag System and method for creating a photo movie
US7930302B2 (en) * 2006-11-22 2011-04-19 Intuit Inc. Method and system for analyzing user-generated content
CA2802706C (en) * 2010-06-15 2020-08-18 Scholarbox, Inc. Method, system and user interface for creating and displaying of presentations
US10853826B2 (en) * 2012-02-07 2020-12-01 Yeast, LLC System and method for evaluating and optimizing media content
US9257122B1 (en) * 2012-08-06 2016-02-09 Debra Bond Cancro Automatic prediction and notification of audience-perceived speaking behavior
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US20150020086A1 (en) * 2013-07-11 2015-01-15 Samsung Electronics Co., Ltd. Systems and methods for obtaining user feedback to media content
EP3534318A1 (en) * 2013-09-26 2019-09-04 Mark W. Publicover Providing targeted content based on a user´s moral values
US9936916B2 (en) * 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10405786B2 (en) * 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US20160042648A1 (en) * 2014-08-07 2016-02-11 Ravikanth V. Kothuri Emotion feedback based training and personalization system for aiding user performance in interactive presentations
US10446055B2 (en) * 2014-08-13 2019-10-15 Pitchvantage Llc Public speaking trainer with 3-D simulation and real-time feedback
US9336268B1 (en) * 2015-04-08 2016-05-10 Pearson Education, Inc. Relativistic sentiment analyzer
US10043062B2 (en) * 2016-07-13 2018-08-07 International Business Machines Corporation Generating auxiliary information for a media presentation
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
US20180165696A1 (en) * 2016-12-09 2018-06-14 Authors, Inc. Predictive Analytics Diagnostic System and Results on Market Viability and Audience Metrics for Scripted Media
US11258734B1 (en) * 2017-08-04 2022-02-22 Grammarly, Inc. Artificial intelligence communication assistance for editing utilizing communication profiles
US20190349212A1 (en) * 2018-05-09 2019-11-14 International Business Machines Corporation Real-time meeting effectiveness measurement based on audience analysis

Also Published As

Publication number Publication date
CN115146086A (zh) 2022-10-04
US20220309938A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
US11863604B2 (en) Technologies for audiovisual communication using interestingness algorithms
US9473741B2 (en) Teleconference system and teleconference terminal
US9894320B2 (en) Information processing apparatus and image processing system
US8823768B2 (en) Conference system, event management server, and program
JP2015528120A (ja) 目のトラッキングに基づくディスプレイの一部の選択的強調
US12015874B2 (en) System and methods to determine readiness in video collaboration
WO2020054855A1 (ja) 授業支援システム、判定装置、授業支援方法及びプログラム
WO2017018012A1 (ja) 情報処理システム、情報処理方法、および記録媒体
JP2014050018A (ja) 情報処理装置、ビデオ会議システム及びプログラム
US20220309937A1 (en) Online video distribution support method and online video distribution support apparatus
JP2022152630A (ja) オンライン映像配信支援方法およびオンライン映像配信支援装置
US11909776B2 (en) Online video distribution support method, online video distribution support apparatus and online video distribution support system
JP2022153255A (ja) オンライン映像配信支援方法およびオンライン映像配信支援装置
CN112987846B (zh) 一种防作弊键鼠输入监控系统
US20220312069A1 (en) Online video distribution support method and online video distribution support apparatus
KR20200129885A (ko) 온라인 원격 그룹운동 시스템
JP7289169B1 (ja) 情報処理装置、方法、プログラム、およびシステム
JP2022153256A (ja) オンライン映像配信支援方法およびオンライン映像配信支援装置
CN115643365B (zh) 一种远程手术控制方法、装置和电子设备
JP2017092815A (ja) 画像表示システム、画像表示方法、および画像表示プログラム
JP2023117861A (ja) 問題作成支援方法および問題作成支援装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309