JP2022133177A - Information processing device, information processing method and information processing program - Google Patents
Information processing device, information processing method and information processing program Download PDFInfo
- Publication number
- JP2022133177A JP2022133177A JP2021032129A JP2021032129A JP2022133177A JP 2022133177 A JP2022133177 A JP 2022133177A JP 2021032129 A JP2021032129 A JP 2021032129A JP 2021032129 A JP2021032129 A JP 2021032129A JP 2022133177 A JP2022133177 A JP 2022133177A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- user
- information processing
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 157
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 114
- 239000012141 concentrate Substances 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 11
- 230000003247 decreasing effect Effects 0.000 description 10
- 230000008450 motivation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Abstract
Description
本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
近年、複数の拠点間でのオンラインでの会議を可能とするオンライン会議に関する技術の開発がますます盛んになっている。例えば、オンライン会議の各出席者の音声データおよび画像データを取得し、取得した各出席者の音声データおよび画像データに基づいて、音声データにおける各発言の発言者を特定し、取得した各出席者の音声データを発言の時系列でタイムラインとして出力する技術が知られている。 In recent years, the development of technology related to online conferencing that enables online conferencing between multiple bases has become more and more popular. For example, the voice data and image data of each attendee of an online conference is acquired, and based on the voice data and image data of each attendee, the speaker of each utterance in the voice data is identified, and each attendee who is acquired There is known a technique for outputting voice data of utterances in chronological order as a timeline.
しかしながら、上記の従来技術では、各出席者の音声データを発言の時系列でタイムラインとして出力するにすぎない。このため、上記の従来技術では、オンライン会議に参加する利用者の会議への参加意欲を高めることができるとは限らない。 However, in the above conventional technology, the voice data of each attendee is merely output as a timeline in chronological order of utterances. For this reason, the conventional technology described above cannot always increase the willingness of users participating in the online conference to participate in the conference.
本願は、上記に鑑みてなされたものであって、オンライン会議に参加する利用者の会議への参加意欲を高めることができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。 The present application has been made in view of the above, and aims to provide an information processing device, an information processing method, and an information processing program that can increase the willingness of users participating in an online conference to participate in the conference. and
本願に係る情報処理装置は、複数の利用者が参加するオンライン会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する取得部と、前記取得部によって収集された視聴情報に基づいて、前記発言者の発言に対する前記他の利用者の集中度合いを分析する分析部と、前記分析部による分析結果を前記発言者に対して提供する提供部と、を備えたことを特徴とする。 An information processing apparatus according to the present application is an acquisition unit that collects viewing information indicating the viewing status of other users who are viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate. and an analysis unit that analyzes the degree of concentration of the other users on the speech of the speaker based on the viewing information collected by the acquisition unit, and provides the speaker with the analysis result of the analysis unit. and a providing unit for
実施形態の一態様によれば、オンライン会議に参加する利用者の会議への参加意欲を高めることができるという効果を奏する。 According to one aspect of the embodiment, there is an effect that it is possible to increase the willingness of users participating in the online conference to participate in the conference.
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, modes for implementing an information processing apparatus, an information processing method, and an information processing program (hereinafter referred to as "embodiments") according to the present application will be described in detail with reference to the drawings. The information processing apparatus, information processing method, and information processing program according to the present application are not limited to this embodiment. Also, in each of the following embodiments, the same parts are denoted by the same reference numerals, and overlapping descriptions are omitted.
（実施形態）
〔１．情報処理システムの構成〕
まず、図１を用いて、実施形態に係る情報処理システム１の構成について説明する。図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１には、端末装置１０と、情報処理装置１００とが含まれる。端末装置１０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図１に示す情報処理システム１には、任意の数の端末装置１０と任意の数の情報処理装置１００とが含まれてもよい。
(embodiment)
[1. Configuration of information processing system]
First, the configuration of an information processing system 1 according to an embodiment will be described using FIG. FIG. 1 is a diagram showing a configuration example of an information processing system 1 according to an embodiment. As shown in FIG. 1 , the information processing system 1 includes a
端末装置１０は、オンライン会議に参加する利用者によって利用される情報処理装置である。ここで、オンライン会議とは、離れた場所にいる相手とＷｅｂを介してリアルタイムでコミュニケーションをとることができるツール（システム）のことを指す。本願明細書において「オンライン会議」と記載する場合には、会議としてだけでなく、オンライン会議システムを用いた講義や研修が含まれる。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップ型ＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）や、ヘッドマウントディスプレイ等である。本実施形態では、端末装置１０は、デスクトップ型ＰＣであるものとする。
The
また、端末装置１０には、オンライン会議システムを利用するためのアプリケーション（以下、「オンライン会議アプリ」ともいう）がインストールされている。端末装置１０は、オンライン会議アプリに対する操作を行うための各種画像（例えば、ツールバーやアイコン等）を画面に表示する。また、端末装置１０には、カメラ、マイク、スピーカーなどの機能を有するデバイスが接続されている。端末装置１０は、それぞれのデバイスから入力された映像や音声を複数の拠点間で送受信する。
An application for using the online conference system (hereinafter also referred to as “online conference application”) is installed in the
また、端末装置１０には、利用者の物理的な状態を検知する各種のセンサが接続されている。例えば、端末装置１０には、上述したカメラやマイクに加えて、端末装置１０を使用する利用者の視線を計測するための視線計測センサが接続されている。例えば、端末装置１０は、眼球に直接接触しない視線計測センサを備える。例えば、端末装置１０は、眼球に直接接触しない視線計測センサの一例として、角膜反射法（ＰＣＣＲ）によるアイトラッキングのための各種センサを備える。例えば、端末装置１０は、利用者の角膜上に光の反射点を生じさせるための近赤外線ＬＥＤと、角膜上に生じた光の反射点を撮影するためのアイトラッキングカメラ（例えば、赤外線カメラ）を備える。
Various sensors for detecting the physical state of the user are connected to the
また、端末装置１０は、各種のセンサによって、利用者の物理的な状態を示すセンサ情報を検出する。例えば、端末装置１０は、センサ情報の一例として、カメラによって利用者の画像を検出する。また、端末装置１０は、センサ情報の一例として、マイクによって利用者の音声を検出する。また、端末装置１０は、センサ情報の一例として、視線計測センサによって利用者の視線を検出する。端末装置１０は、センサ情報を検出すると、検出したセンサ情報を情報処理装置１００に送信する。
In addition, the
なお、図１に示すように、端末装置１０を利用する利用者に応じて、端末装置１０を端末装置１０－１～１０－Ｎ（Ｎは自然数）のように区別して説明する場合がある。例えば、端末装置１０－１は、図２に示す利用者Ｕ２１によって利用される端末装置１０である。また、例えば、端末装置１０－２は、図２に示す利用者Ｕ１（発言者）によって利用される端末装置１０である。また、例えば、端末装置１０－２は、図２に示す利用者Ｕ２（聞き手）によって利用される端末装置１０である。また、例えば、端末装置１０－３は、図２に示す利用者Ｕ３（聞き手）によって利用される端末装置１０である。また、例えば、端末装置１０－４は、図２に示す利用者Ｕ４（聞き手）によって利用される端末装置１０である。また、以下では、端末装置１０－１～１０－Ｎ（Ｎは自然数）について、特に区別なく説明する場合には、端末装置１０と記載する。
Note that, as shown in FIG. 1, the
情報処理装置１００は、後述する図２で説明する情報処理を実行する情報処理装置である。具体的には、情報処理装置１００は、複数の利用者が参加するオンライン会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する。続いて、情報処理装置１００は、収集した視聴情報に基づいて、発言者の発言に対する他の利用者の集中度合いを分析する。続いて、情報処理装置１００は、発言者の発言に対する他の利用者の集中度合いに関する分析結果を発言者に対して提供する。
The
〔２．情報処理の一例〕
次に、図２を用いて、実施形態に係る情報処理の一例について説明する。図２は、実施形態に係る情報処理の一例を示す図である。図２は、複数の利用者Ｕ１～Ｕ４が参加するオンライン会議の様子を示す。図２の右側に示す利用者Ｕ１は、オンライン会議において発言している発言者である。一方、図２の左側に示す他の利用者Ｕ２～Ｕ４は、発言している利用者Ｕ１が撮影された画像Ｇ１を各自の端末装置１０―２～１０－４で視聴している。図２に示す例では、情報処理装置１００が、利用者Ｕ１の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中度合いに関する分析結果の一例として、他の利用者Ｕ２～Ｕ４それぞれの集中度合いを示す集中スコアの平均を示すグラフを利用者Ｕ１に対して提供する。
[2. Example of information processing]
Next, an example of information processing according to the embodiment will be described using FIG. FIG. 2 is a diagram illustrating an example of information processing according to the embodiment; FIG. 2 shows an online conference in which a plurality of users U1-U4 participate. A user U1 shown on the right side of FIG. 2 is a speaker speaking in an online conference. On the other hand, the other users U2 to U4 shown on the left side of FIG. 2 are viewing the image G1 in which the speaking user U1 is captured on their respective terminal devices 10-2 to 10-4. In the example shown in FIG. 2, the
まず、情報処理装置１００は、利用者Ｕ１が撮影された画像Ｇ１を視聴している他の利用者Ｕ２～Ｕ４それぞれの視聴状況を示す視聴情報を収集する（ステップＳ１）。情報処理装置１００は、オンライン会議の会議中の各時刻における他の利用者Ｕ２～Ｕ４それぞれの視聴情報を収集する。情報処理装置１００は、視聴情報の一例として、利用者Ｕ１が撮影された画像Ｇ１を視聴している他の利用者Ｕ２～Ｕ４の視線に関する視線情報を端末装置１０―２～１０－４からそれぞれ取得する。また、情報処理装置１００は、視聴情報の一例として、利用者Ｕ１が撮影された画像Ｇ１を視聴している他の利用者Ｕ２～Ｕ４の画像Ｇ２～Ｇ４を端末装置１０―２～１０－４からそれぞれ取得する。
First, the
情報処理装置１００は、視聴情報を収集すると、収集した視聴情報に基づいて、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者Ｕ２～Ｕ４の集中度合いを分析する（ステップＳ２）。具体的には、情報処理装置１００は、収集した視聴情報に基づいて、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中度合いを示す集中スコアをリアルタイムに算出する。ここで、集中スコアとは、オンライン会議において発言している発言者の発言に対する他の利用者の集中の度合いを示す数値を指す。例えば、集中スコアは、他の利用者の集中の度合いが高いほど大きく、他の利用者の集中の度合いが低いほど小さい数値であってよい。
After collecting the viewing information, the
例えば、情報処理装置１００は、他の利用者Ｕ２～Ｕ４それぞれの視線情報に基づいて、他の利用者Ｕ２～Ｕ４それぞれが画像Ｇ１を見ているか否かを判定する。そして、情報処理装置１００は、他の利用者Ｕ２～Ｕ４それぞれが画像Ｇ１を見ていないと判定した場合よりも、他の利用者Ｕ２～Ｕ４それぞれが画像Ｇ１を見ていると判定した場合の方が、他の利用者Ｕ２～Ｕ４それぞれの集中スコアを高く算出する。
For example, the
また、情報処理装置１００は、他の利用者Ｕ２～Ｕ４それぞれの画像Ｇ２～Ｇ４に基づいて、他の利用者Ｕ２～Ｕ４それぞれの姿勢が前のめりであるか否かを判定する。そして、情報処理装置１００は、他の利用者Ｕ２～Ｕ４それぞれの姿勢が前のめりでないと判定した場合よりも、他の利用者Ｕ２～Ｕ４それぞれの姿勢が前のめりであると判定した場合の方が、他の利用者Ｕ２～Ｕ４それぞれの集中スコアを高く算出する。
Further, the
情報処理装置１００は、オンライン会議の会議中の各時刻における他の利用者Ｕ２～Ｕ４それぞれの集中スコアを算出すると、オンライン会議の会議中の各時刻における他の利用者Ｕ２～Ｕ４それぞれの集中スコアの平均を示すグラフＧＨ１を生成する（ステップＳ３）。情報処理装置１００は、会議の時刻の進行に合わせて、リアルタイムにグラフＧＨ１を更新する。
When the
情報処理装置１００は、グラフＧＨ１を生成すると、生成したグラフＧＨ１に関する情報を利用者Ｕ１に提供する（ステップＳ４）。具体的には、情報処理装置１００は、生成したグラフＧＨ１に関する情報を端末装置１０―１に送信する。情報処理装置１００は、会議の時刻の進行に合わせて、リアルタイムに更新されるグラフＧＨ１に関する情報を端末装置１０―１に送信する。端末装置１０―１は、情報処理装置１００からグラフＧＨ１に関する情報を受信すると、グラフＧＨ１に関する情報を画面に表示する。
After generating the graph GH1, the
上述したように、情報処理装置１００は、複数の利用者Ｕ１～Ｕ４が参加するオンライン会議において発言している発言者（利用者Ｕ１）が撮影された画像Ｇ１を視聴している他の利用者Ｕ２～Ｕ４の視聴状況を示す視聴情報を収集する。続いて、情報処理装置１００は、収集した視聴情報に基づいて、発言者の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中度合いを分析する。続いて、情報処理装置１００は、発言者の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中度合いに関する分析結果（図２に示す例では、グラフＧＨ１）を発言者に対して提供する。
As described above, the
このように、情報処理装置１００は、オンライン会議中に発言者に対して、リアルタイムに自身の発言に対する聞き手の集中度合いをフィードバックすることを可能にする。これにより、情報処理装置１００は、フィードバックを受けた発言者が聞き手の集中度合いに合わせてオンライン会議中に発言の内容や発言の仕方を変更することを可能にする。例えば、情報処理装置１００は、発言者がグラフＧＨ１から聞き手の集中度合いが低下してきたことを認識した場合には、発言者が会議中に小休止を入れたり、発言者が聞き手に対して集中を促すことを可能にする。また、例えば、情報処理装置１００は、発言者がグラフＧＨ１から聞き手の集中度合いが高まってきたことを認識した場合には、会議の中で特に重要なポイントについて優先的に発言することを可能にする。このように、情報処理装置１００は、リアルタイムに自身の発言に対する聞き手の集中度合いがフィードバックされるので、発言者の意欲を高めることを可能にする。また、情報処理装置１００は、フィードバックを受けた発言者が聞き手に対する発言の内容や発言の仕方を変えることにより、聞き手の視聴意欲を高めることを可能にする。したがって、情報処理装置１００は、オンライン会議に参加する利用者の会議への参加意欲を高めることができる。
In this way, the
なお、図２では、情報処理装置１００がオンライン会議中に発言者に対して、リアルタイムに自身の発言に対する聞き手の集中度合いをフィードバックする場合を例に説明したが、フィードバックするタイミングはリアルタイムに限られない。例えば、情報処理装置１００は、オンライン会議の後に、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者Ｕ２～Ｕ４それぞれの集中スコアの平均を示すグラフＧＨ１を生成する。そして、情報処理装置１００は、オンライン会議の後に、生成したグラフＧＨ１に関する情報を利用者Ｕ１に提供する。これにより、情報処理装置１００は、オンライン会議後に、発言者に対して、会議中の自身の発言に対する聞き手の集中度合いをフィードバックすることを可能にする。これにより、情報処理装置１００は、フィードバックを受けた発言者が自身の発言を振り返り、次回以降の発言の参考情報にすることを可能にする。
Note that FIG. 2 illustrates an example in which the
〔３．情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
[3. Configuration of Information Processing Device]
Next, the configuration of the
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、端末装置１０との間で情報の送受信を行う。
(Communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. The communication unit 110 is connected to a network by wire or wirelessly, and transmits and receives information to and from the
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
(storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or an optical disk.
（制御部１３０）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
(control unit 130)
The control unit 130 is a controller, and for example, various programs (information processing programs) stored in a storage device inside the
図３に示すように、制御部１３０は、取得部１３１と、分析部１３２と、生成部１３３と、提供部１３４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
As shown in FIG. 3, the control unit 130 has an
（取得部１３１）
取得部１３１は、複数の利用者が参加するオンライン会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する。具体的には、取得部１３１は、視聴情報の一例として、他の利用者の視線に関する視線情報を収集する。より具体的には、取得部１３１は、他の利用者の端末装置１０から他の利用者の視線情報を取得する。例えば、取得部１３１は、端末装置１０の視線計測センサによって検出された他の利用者の視線情報を端末装置１０の視線計測センサから取得する。
(Acquisition unit 131)
The
また、取得部１３１は、視聴情報の一例として、他の利用者の画像を収集する。より具体的には、取得部１３１は、他の利用者それぞれの端末装置１０から他の利用者それぞれの画像を取得する。例えば、取得部１３１は、端末装置１０のカメラによって撮影された他の利用者の画像を端末装置１０のカメラから取得する。
The
（分析部１３２）
分析部１３２は、取得部１３１によって収集された視聴情報に基づいて、発言者の発言に対する他の利用者の集中度合いを分析する。具体的には、分析部１３２は、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者の集中度合いを示す集中スコアを算出する。
(Analysis unit 132)
Based on the viewing information collected by the
例えば、分析部１３２は、他の利用者の視線情報に基づいて、他の利用者が画像を見ているか否かを判定する。続いて、分析部１３２は、他の利用者が画像を見ていないと判定した場合よりも、他の利用者が画像を見ていると判定した場合の方が、他の利用者の集中スコアを高く算出する。 For example, the analysis unit 132 determines whether another user is viewing the image based on the line-of-sight information of the other user. Subsequently, the analysis unit 132 determines that the concentration score of the other user is higher when it is determined that the other user is looking at the image than when it is determined that the other user is not looking at the image. calculate higher.
また、分析部１３２は、他の利用者の画像に基づいて、他の利用者の姿勢が前のめりであるか否かを判定する。続いて、分析部１３２は、他の利用者の姿勢が前のめりでないと判定した場合よりも、他の利用者の姿勢が前のめりであると判定した場合の方が、他の利用者の集中スコアを高く算出する。 Also, the analysis unit 132 determines whether or not the posture of the other user is leaning forward based on the image of the other user. Subsequently, the analysis unit 132 increases the concentration score of the other user when it determines that the posture of the other user is leaning forward rather than when it determines that the posture of the other user is not leaning forward. Calculate high.
（生成部１３３）
生成部１３３は、分析部１３２によって算出された他の利用者それぞれの集中スコアに基づいて、集中スコアに関する種々の情報を生成する。具体的には、生成部１３３は、分析部１３２によって算出された他の利用者それぞれの集中スコアの平均を示すグラフを生成する。例えば、生成部１３３は、オンライン会議の会議中の各時刻における他の利用者それぞれの集中スコアの平均を示すグラフを生成する。なお、生成部１３３は、グラフをリアルタイムに生成する場合には、会議の時刻の進行に合わせて、グラフを更新する。
(Generating unit 133)
The generating unit 133 generates various information regarding the concentration score based on the concentration score of each of the other users calculated by the analysis unit 132 . Specifically, the generation unit 133 generates a graph showing the average concentration score of each of the other users calculated by the analysis unit 132 . For example, the generation unit 133 generates a graph showing the average concentration score of each of the other users at each time during the online conference. Note that when generating the graph in real time, the generation unit 133 updates the graph according to the progress of the meeting time.
（提供部１３４）
提供部１３４は、分析部１３２による分析結果を発言者に対して提供する。具体的には、提供部１３４は、分析部１３２によって算出された他の利用者の集中スコアに関する情報を発言者に対して提供する。より具体的には、提供部１３４は、生成部１３３によって生成されたグラフに関する情報を発言者に対して提供する。例えば、提供部１３４は、生成部１３３によって生成されたグラフに関する情報を発言者の端末装置１０に送信する。
(Providing unit 134)
The providing unit 134 provides the result of analysis by the analysis unit 132 to the speaker. Specifically, the providing unit 134 provides the speaker with information on the concentration score of the other user calculated by the analyzing unit 132 . More specifically, the providing unit 134 provides information on the graph generated by the generating unit 133 to the speaker. For example, the providing unit 134 transmits information about the graph generated by the generating unit 133 to the
〔４．情報処理のフロー〕
次に、図４を用いて、実施形態に係る情報処理の手順について説明する。図４は、実施形態に係る情報処理の一例を示すフローチャートである。図４に示す例では、取得部１３１は、複数の利用者が参加するリモート会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する（ステップＳ１０１）。分析部１３２は、取得部１３１によって収集された視聴情報に基づいて、発言者の発言に対する他の利用者の集中度合いを分析する（ステップＳ１０２）。提供部１３４は、分析部１３２による分析結果を発言者に対して提供する（ステップＳ１０３）。
[4. Information processing flow]
Next, the procedure of information processing according to the embodiment will be described with reference to FIG. FIG. 4 is a flowchart illustrating an example of information processing according to the embodiment. In the example shown in FIG. 4, the
〔５．変形例〕
〔５－１．発言者に対するその他の情報提供〕
上述した実施形態では、情報処理装置１００が他の利用者の集中スコアの平均を示すグラフを発言者に対して提供する場合について説明したが、情報処理装置１００が提供する情報は集中スコアの平均を示すグラフに限られない。具体的には、情報処理装置１００が、聞き手の集中スコアが急に低下した時刻や聞き手の集中スコアが急に高くなった時刻の特徴に関する共通性を示す共通情報を発言者に対して提供してよい。
[5. Modification]
[5-1. Other information provided to the speaker]
In the above-described embodiment, the case where the
例えば、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻（以下では、集中スコアが急に低下した時刻、または集中スコアが急に高くなった時刻ともいう）を特定する。続いて、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の特徴を分析する。例えば、分析部１３２は、マーケットバスケット分析によって、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の共通性を分析する。 For example, the analysis unit 132 determines the time when the rate of change in the concentration score of another user exceeds a predetermined threshold (hereinafter referred to as the time when the concentration score suddenly drops or the time when the concentration score (also called time). Subsequently, the analysis unit 132 analyzes the characteristics of the time when the rate of change of the concentration scores of other users exceeds a predetermined threshold. For example, the analysis unit 132 analyzes, by market basket analysis, the commonality of times when the rate of change in the concentration score of at least two or more of the other users exceeds a predetermined threshold.
例えば、分析部１３２は、聞き手のうち、利用者Ｕ２と利用者Ｕ３の集中スコアが急に低下した時刻として、オンライン会議の開始時刻から５分３０秒経った時刻を特定する。また、分析部１３２は、同じく、聞き手である利用者Ｕ２と利用者Ｕ３の集中スコアが急に低下した時刻として、オンライン会議の開始時刻から２０分２０秒経った時刻を特定する。続いて、分析部１３２は、２以上の聞き手の集中スコアが、オンライン会議の開始時刻から５分３０秒経った時刻と開始時刻から２０分２０秒経った時刻に低下したという共通性を分析する。 For example, the analysis unit 132 identifies the time 5 minutes and 30 seconds after the start time of the online conference as the time when the concentration scores of the users U2 and U3 among the listeners suddenly decreased. Similarly, the analysis unit 132 identifies the time 20 minutes and 20 seconds after the start time of the online conference as the time when the concentration scores of the users U2 and U3, who are listeners, suddenly decreased. Subsequently, the analysis unit 132 analyzes the commonality that the concentration scores of two or more listeners decreased at the time 5 minutes and 30 seconds after the start time of the online conference and at the time 20 minutes and 20 seconds after the start time. .
提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を発言者に対して提供する。提供部１３４は、分析部１３２によって分析された特徴を示す特徴情報を発言者に対して提供する。例えば、提供部１３４は、特徴情報の一例として、分析部１３２によって分析された共通性を示す共通情報を発言者に対して提供する。例えば、提供部１３４は、「オンライン会議の開始時刻から５分３０秒くらいで集中度合いが落ちた聞き手は、開始時刻から２０分２０秒あたりでも集中度合いが落ちる傾向にあった」といった分析結果を示すメッセージを発言者の端末装置１０に送信する。
The providing unit 134 provides the speaker with time information indicating the time specified by the analyzing unit 132 . The providing unit 134 provides feature information indicating features analyzed by the analysis unit 132 to the speaker. For example, the providing unit 134 provides the speaker with common information indicating commonality analyzed by the analyzing unit 132 as an example of feature information. For example, the providing unit 134 provides an analysis result such as ``listeners whose degree of concentration decreased about 5 minutes and 30 seconds after the start time of the online conference tended to decrease their degree of concentration about 20 minutes and 20 seconds after the start time''. message is sent to the
これにより、情報処理装置１００は、フィードバックを受けた発言者が自身の発言を振り返り、次回以降の発言の参考情報にすることを可能にする。
As a result, the
〔５－２．聞き手に対する情報提供〕
上述した実施形態では、情報処理装置１００が他の利用者の集中度合いに関する情報を発言者に対して提供する場合について説明したが、情報処理装置１００による情報の提供先は発言者に限られない。具体的には、情報処理装置１００は、聞き手に対して発言者の発言に対する集中を促す通知を提供してよい。
[5-2. Providing information to listeners]
In the above-described embodiment, the
より具体的には、取得部１３１は、発言者の発言状況を示す発言情報を取得する。具体的には、取得部１３１は、発言情報の一例として、発言者の画像を発言者の端末装置１０のカメラから取得する。
More specifically, the acquiring
分析部１３２は、取得部１３１によって取得された発言情報に基づいて、発言者が他の利用者に対して発言者の発言に対する集中を促しているか否かを判定する。例えば、分析部１３２は、発言者の画像に基づいて、発言者の姿勢が前のめりであるか否かを判定する。分析部１３２は、発言者の姿勢が前のめりであると判定した場合、発言者が他の利用者に対して発言者の発言に対する集中を促していると判定する。
Based on the utterance information acquired by the
提供部１３４は、分析部１３２によって発言者が他の利用者に対して発言者の発言に対する集中を促していると判定された場合、発言者の発言に対する集中を促す通知を他の利用者に対して提供する。例えば、提供部１３４は、「ここが聞き所です！」といったメッセージを他の利用者の端末装置１０に送信する。
When the analysis unit 132 determines that the speaker is urging other users to concentrate on the speech of the speaker, the providing unit 134 sends a notification to the other users to encourage concentration on the speech of the speaker. provide for. For example, the providing unit 134 transmits a message such as "This is the place to listen!" to the
これにより、情報処理装置１００は、通知を受けた聞き手が発言者に注目するよう促すことができるので、聞き手の視聴意欲を高めることを可能にする。
As a result, the
〔５－３．新たな聞き手に対する情報提供〕
上述した実施形態では、情報処理装置１００が他の利用者の集中度合いに関する情報を発言者に対して提供する場合について説明したが、情報処理装置１００による情報の提供先は発言者に限られない。具体的には、情報処理装置１００は、オンライン会議において発言している発言者が撮影された画像を新たに視聴する新たな利用者（例えば、オンライン会議における発言者の画像の録画を再生して後から視聴する利用者や、翌年に同じオンライン講義で発言者の講義を新しく受ける利用者など）に対して過去の聞き手の集中度合いに関する情報を提供してよい。なお、本明細書では、オンライン会議システムを用いて発言者が聞き手に対して講義を行う場合には、オンライン会議の代わりに「オンライン講義」と記載する場合がある。
[5-3. Providing information to new listeners]
In the above-described embodiment, the
例えば、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻を特定する。例えば、分析部１３２は、あるオンライン講義で発言している発言者の発言を視聴した過去の聞き手のうち、利用者Ｕ２と利用者Ｕ３の集中スコアが急に高くなった時刻として、オンライン講義の開始時刻から４分３０秒経った時刻を特定する。提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を新たな利用者に対して提供する。例えば、提供部１３４は、翌年に同じ発言者によるオンライン講義を新しく受ける新たな利用者Ｕ５の端末装置１０に対して、オンライン講義の開始時刻から４分３０秒経った時刻のタイミングに合わせて、「去年リアルタイムで聞いていた人たちの集中度合いが高かったタイミングです」といったメッセージを送信する。
For example, the analysis unit 132 identifies the time when the rate of change in the concentration score of another user exceeds a predetermined threshold. For example, the analysis unit 132 determines the time at which the concentration scores of the users U2 and U3 among the listeners in the past who viewed the statements of a speaker speaking in a certain online lecture suddenly increased. Identify the time 4 minutes and 30 seconds after the start time. The provision unit 134 provides the new user with time information indicating the time specified by the analysis unit 132 . For example, the providing unit 134, for the
同様に、分析部１３２は、過去の聞き手のうち、２以上の聞き手の集中スコアが急に低下した時刻を特定する。そして、提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を新たな利用者に対して提供する。例えば、翌年に同じ発言者によるオンライン講義を新しく受ける新たな利用者Ｕ５の端末装置１０に対して、特定された時刻のタイミングに合わせて、「去年リアルタイムで聞いていた人たちの集中度合いが低下したタイミングです」といったメッセージを送信してよい。
Similarly, the analysis unit 132 identifies the time when the concentration scores of two or more listeners among the past listeners suddenly decreased. Then, the providing unit 134 provides the new user with time information indicating the time specified by the analyzing unit 132 . For example, for the
また、分析部１３２は、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻と、新たな利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻との共通性を分析する。提供部１３４は、共通性を示す共通情報を新たな利用者に対して提供する。 In addition, the analysis unit 132 determines the time when the rate of change in the concentration score of at least two or more users out of the other users exceeds a predetermined threshold, and the rate of change in the concentration score of the new user. Analyze the commonality with the time when the value exceeds a predetermined threshold. The providing unit 134 provides new users with common information indicating commonality.
これにより、情報処理装置１００は、情報提示を受けた新たな聞き手の視聴意欲を高めることを可能にする。
As a result, the
例えば、分析部１３２は、オンライン講義で発言している発言者の発言を視聴した過去の聞き手のうち、利用者Ｕ２と利用者Ｕ３の集中スコアが急に高くなった時刻として、オンライン講義の開始時刻から４分３０秒経った時刻を特定する。また、同様に、分析部１３２は、過去の聞き手である利用者Ｕ２と利用者Ｕ３の集中スコアが急に高くなった時刻として、オンライン講義の開始時刻から１９分２０秒経った時刻を特定する。続いて、分析部１３２は、オンライン講義の過去の聞き手のうち、２以上の利用者の集中スコアが、オンライン講義の開始時刻から４分３０秒経った時刻と開始時刻から１９分２０秒経った時刻において急に高くなったという共通性を分析する。 For example, the analysis unit 132 determines that the time at which the concentration score of user U2 and user U3 among the listeners in the past who watched the remarks of the speaker speaking in the online lecture suddenly became high is the start of the online lecture. Specify the time 4 minutes and 30 seconds after the time. Similarly, the analysis unit 132 identifies the time 19 minutes and 20 seconds after the start time of the online lecture as the time at which the concentration scores of the users U2 and U3, who were past listeners, suddenly increased. . Next, the analysis unit 132 determines that the concentration scores of two or more users among the past listeners of the online lecture were 4 minutes and 30 seconds after the start time of the online lecture and 19 minutes and 20 seconds after the start time. Analyze the commonality that it suddenly increased at the time.
また、分析部１３２は、翌年に同じ発言者のオンライン講義を新しく受けている新たな利用者Ｕ５の集中スコアを算出する。続いて、分析部１３２は、新たな利用者Ｕ５の集中スコアが急に高くなった時刻として、オンライン講義の開始時刻から４分３０秒経った時刻を特定する。続いて、分析部１３２は、過去の聞き手のうち、２以上の利用者の集中スコアが、オンライン会議の開始時刻から４分３０秒経った時刻と開始時刻から１９分２０秒経った時刻に急に高くなったという分析結果と、新たな利用者Ｕ５の集中スコアが、オンライン講義の開始時刻から４分３０秒経った時刻に急に高くなったという分析結果との共通性を分析する。 The analysis unit 132 also calculates the concentration score of a new user U5 who will newly take an online lecture by the same speaker in the next year. Subsequently, the analysis unit 132 identifies the time 4 minutes and 30 seconds after the start time of the online lecture as the time when the concentration score of the new user U5 suddenly increased. Subsequently, the analysis unit 132 determines that the concentration scores of two or more users among the past listeners suddenly increased at the time 4 minutes and 30 seconds after the start time of the online conference and at the time 19 minutes and 20 seconds after the start time. and the analysis result that the concentration score of the new user U5 suddenly increased at the time 4 minutes and 30 seconds after the start time of the online lecture is analyzed.
例えば、分析部１３２は、新たな利用者Ｕ５の集中スコアがオンライン講義の開始時刻から４分３０秒経った時刻に急に高くなったので、過去の聞き手と同様に、新たな利用者Ｕ５の集中スコアが開始時刻から１９分２０秒経った時刻にもまた急に高くなると予測する。提供部１３４は、新たな利用者Ｕ５の端末装置１０に対して、「あなたは開始時刻から４分３０秒あたりで集中度合いが高くなったので、開始時刻から１９分２０秒あたりの内容に対しても集中度合いが高くなりますよ。」といったメッセージを送信する。
For example, the analysis unit 132 determines that the new user U5's concentration score suddenly increased at the time 4 minutes and 30 seconds after the start time of the online lecture. It is predicted that the concentration score will rise sharply again at the time 19 minutes and 20 seconds after the start time. The provision unit 134 tells the
これにより、情報処理装置１００は、情報提示を受けた新たな聞き手の視聴意欲をさらに高めることを可能にする。
As a result, the
〔６．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、取得部１３１と、分析部１３２と、提供部１３４を備える。取得部１３１は、複数の利用者が参加するオンライン会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する。分析部１３２は、取得部１３１によって収集された視聴情報に基づいて、発言者の発言に対する他の利用者の集中度合いを分析する。提供部１３４は、分析部１３２による分析結果を発言者に対して提供する。
[6. effect〕
As described above, the
このように、情報処理装置１００は、オンライン会議中に発言者に対して、リアルタイムに自身の発言に対する聞き手の集中度合いをフィードバックすることを可能にする。これにより、情報処理装置１００は、フィードバックを受けた発言者が聞き手の集中度合いに合わせてオンライン会議中に発言の内容や発言の仕方を変更することを可能にする。例えば、情報処理装置１００は、フィードバックを受けた発言者が聞き手の集中度合いが低下してきたことを認識した場合には、発言者が会議中に小休止を入れたり、発言者が聞き手に対して集中を促すことを可能にする。また、例えば、情報処理装置１００は、フィードバックを受けた発言者が聞き手の集中度合いが高まってきたことを認識した場合には、会議の中で特に重要なポイントについて優先的に発言することを可能にする。このように、情報処理装置１００は、リアルタイムに自身の発言に対する聞き手の集中度合いがフィードバックされるので、発言者の意欲を高めることを可能にする。また、情報処理装置１００は、フィードバックを受けた発言者が聞き手に対する発言の内容や発言の仕方を変えることにより、聞き手の視聴意欲を高めることを可能にする。したがって、情報処理装置１００は、オンライン会議に参加する利用者の会議への参加意欲を高めることができる。
In this way, the
また、情報処理装置１００は、オンライン会議の後に、発言者に対して、会議中の自身の発言に対する聞き手の集中度合いをフィードバックすることを可能にする。これにより、情報処理装置１００は、フィードバックを受けた発言者が自身の発言を振り返り、次回以降の発言の参考情報にすることを可能にする。
In addition, the
また、分析部１３２は、オンライン会議の会議中の各時刻における発言者の発言に対する他の利用者の集中度合いを示す集中スコアを算出する。提供部１３４は、分析部１３２によって算出された他の利用者の集中スコアに関する情報を発言者に対して提供する。 The analysis unit 132 also calculates a concentration score indicating the degree of concentration of other users on the speaker's statement at each time during the online conference. The providing unit 134 provides the speaker with information on the concentration scores of other users calculated by the analyzing unit 132 .
これにより、情報処理装置１００は、聞き手の集中度合いを集中スコアの数値によって提供することで、発言者が聞き手の集中度合いを把握しやすくすることを可能にする。
As a result, the
また、取得部１３１は、視聴情報として、他の利用者の視線に関する視線情報を収集する。分析部１３２は、他の利用者の視線情報に基づいて、他の利用者の集中スコアを算出する。例えば、分析部１３２は、他の利用者の視線情報に基づいて、他の利用者が画像を見ているか否かを判定し、他の利用者が画像を見ていないと判定した場合よりも、他の利用者が画像を見ていると判定した場合の方が、他の利用者の集中スコアを高く算出する。
In addition, the
一般的に、発言者が撮影された画像を見ていない利用者よりも、画像を見ている利用者の方が発言者による発言に集中していると考えられる。これにより、情報処理装置１００は、他の利用者が画像を見ているか否かを判定したうえで、他の利用者の集中スコアを適切に算出することを可能にする。
Generally, it is considered that a user who is looking at an image is more focused on the speaker's statement than a user who is not looking at the image in which the speaker is photographed. Accordingly, the
また、取得部１３１は、視聴情報として、他の利用者の画像を収集する。分析部１３２は、他の利用者の画像に含まれる他の利用者の姿勢に基づいて、他の利用者の集中スコアを算出する。例えば、分析部１３２は、他の利用者の画像に基づいて、他の利用者の姿勢が前のめりであるか否かを判定し、他の利用者の姿勢が前のめりでないと判定した場合よりも、他の利用者の姿勢が前のめりであると判定した場合の方が、他の利用者の集中スコアを高く算出する。
The
一般的に、聞き手の姿勢が前のめりになると、そうでない場合よりも、発言者による発言に集中していると考えられる。これにより、情報処理装置１００は、他の利用者の姿勢が前のめりであるか否かを判定したうえで、他の利用者の集中スコアを適切に算出することを可能にする。
In general, when the posture of the listener leans forward, it is considered that the listener concentrates more on the utterance of the speaker than when it does not. Accordingly, the
また、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻を特定する。提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を発言者に対して提供する。 The analysis unit 132 also identifies the time when the change rate of the concentration score of the other user exceeds a predetermined threshold. The providing unit 134 provides the speaker with time information indicating the time specified by the analyzing unit 132 .
これにより、情報処理装置１００は、発言者に対して、自身の発言に対する聞き手の集中度合いが大きく変化したタイミングをフィードバックすることができる。例えば、情報処理装置１００は、発言者に対して、自身の発言に対する聞き手の集中度合いが大きく低下したタイミング、または聞き手の集中度合いが大きく高まったタイミングをフィードバックすることができる。
As a result, the
また、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の特徴を分析する。提供部１３４は、分析部１３２によって分析された特徴を示す特徴情報を発言者に対して提供する。例えば、分析部１３２は、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の共通性を分析する。提供部１３４は、特徴情報として、分析部１３２によって分析された共通性を示す共通情報を発言者に対して提供する。 The analysis unit 132 also analyzes the characteristics of the time when the change rate of the concentration score of the other users exceeds a predetermined threshold. The providing unit 134 provides feature information indicating features analyzed by the analysis unit 132 to the speaker. For example, the analysis unit 132 analyzes the commonality of times when the rate of change in the concentration score of at least two or more of the other users exceeds a predetermined threshold. The providing unit 134 provides the speaker with common information indicating the commonality analyzed by the analyzing unit 132 as feature information.
これにより、情報処理装置１００は、発言者に対して、聞き手の集中度合いに関するマーケットバスケット分析による分析結果を提供可能とする。例えば、情報処理装置１００は、発言者に対して、「オンライン会議の開始時刻から４分３０秒くらいで集中度合いが落ちた聞き手は、開始時刻から１９分２０秒あたりでも集中度合いが落ちる傾向にある」といった分析結果を示すメッセージを提供可能とする。これにより、情報処理装置１００は、フィードバックを受けた発言者が自身の発言を振り返り、次回以降の発言の参考情報にすることを可能にする。
As a result, the
また、情報処理装置１００は、生成部１３３をさらに備える。生成部１３３は、分析部１３２によって算出された他の利用者それぞれの集中スコアの平均を示すグラフを生成する。提供部１３４は、生成部１３３によって生成されたグラフを発言者に対して提供する。
これにより、情報処理装置１００は、発言者が複数の聞き手の集中度合いの平均を示すグラフを見ることによって、複数の聞き手全体の集中度合いに関する大まかな情報を一目で把握可能とすることができる。
As a result, the
また、取得部１３１は、発言者の発言状況を示す発言情報を取得する。分析部１３２は、取得部１３１によって取得された発言情報に基づいて、発言者が他の利用者に対して発言者の発言に対する集中を促しているか否かを判定する。提供部１３４は、分析部１３２によって発言者が他の利用者に対して発言者の発言に対する集中を促していると判定された場合、発言者の発言に対する集中を促す通知を他の利用者に対して提供する。また、取得部１３１は、発言情報として、発言者の画像を収集する。分析部１３２は、発言者の画像に基づいて、発言者の姿勢が前のめりであるか否かを判定し、発言者の姿勢が前のめりであると判定した場合、発言者が他の利用者に対して発言者の発言に対する集中を促していると判定する。
In addition, the
このように、情報処理装置１００は、例えば、発言者が気合を入れたら（例えば、前のめりになったら、ここが聞き所であるといったメッセージを聞き手に対して通知可能とする。これにより、情報処理装置１００は、通知を受けた聞き手が発言者に注目するよう促すことができるので、聞き手の視聴意欲を高めることを可能にする。したがって、情報処理装置１００は、オンライン会議に参加する利用者の会議への参加意欲を高めることができる。
In this way, the
また、提供部１３４は、分析部１３２による分析結果を発言者が撮影された画像を新たに視聴する新たな利用者に対して提供する。また、提供部１３４は、分析部１３２によって算出された他の利用者の集中スコアに関する情報を新たな利用者に対して提供する。また、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻を特定する。提供部１３４は、分析部１３２によって特定された時刻を示す時刻情報を新たな利用者に対して提供する。 Further, the provision unit 134 provides the analysis result by the analysis unit 132 to a new user who newly views the image of the speaker. In addition, the providing unit 134 provides the new user with information on the concentration scores of other users calculated by the analyzing unit 132 . The analysis unit 132 also identifies the time when the change rate of the concentration score of the other user exceeds a predetermined threshold. The provision unit 134 provides the new user with time information indicating the time specified by the analysis unit 132 .
これにより、情報処理装置１００は、例えば、翌年に同じ発言者によるオンライン講義を新しく受ける新たな聞き手に対して、去年リアルタイムで同じ発言者によるオンライン講義を聞いていた利用者たちの集中度合いが高かったタイミングや低かったタイミングとして情報提示することを可能にする。これにより、情報処理装置１００は、情報提示を受けた新たな聞き手の視聴意欲を高めることを可能にする。
As a result, the
また、分析部１３２は、他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の特徴を分析する。例えば、分析部１３２は、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の共通性を分析する。例えば、分析部１３２は、他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻と、新たな利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻との共通性を分析する。提供部１３４は、分析部１３２によって分析された特徴を示す特徴情報を新たな利用者に対して提供する。例えば、提供部１３４は、特徴情報として、分析部１３２によって分析された共通性を示す共通情報を新たな利用者に対して提供する。例えば、提供部１３４は、共通性を示す共通情報を新たな利用者に対して提供する。 The analysis unit 132 also analyzes the characteristics of the time when the change rate of the concentration score of the other users exceeds a predetermined threshold. For example, the analysis unit 132 analyzes the commonality of times when the rate of change in the concentration score of at least two or more of the other users exceeds a predetermined threshold. For example, the analysis unit 132 determines the time when the rate of change in the concentration score of at least two or more users out of the other users exceeds a predetermined threshold, and the rate of change in the concentration score of the new user. Analyze the commonality with the time when the value exceeds a predetermined threshold. The provision unit 134 provides the new user with feature information indicating the features analyzed by the analysis unit 132 . For example, the provision unit 134 provides the new user with common information indicating commonality analyzed by the analysis unit 132 as feature information. For example, the providing unit 134 provides common information indicating commonality to new users.
これにより、情報処理装置１００は、例えば、翌年に同じ発言者によるオンライン講義を新しく受ける新たな聞き手に対して「あなたは開始時刻から４分３０秒あたりで集中度合いが高くなったので、開始時刻から１９分２０秒あたりの内容に対しても集中度合いが高くなりますよ。」というような予測に関する情報を提示することを可能にする。これにより、情報処理装置１００は、情報提示を受けた新たな聞き手の視聴意欲をさらに高めることを可能にする。
As a result, the
〔７．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図５に示すような構成のコンピュータ１０００によって実現される。図５は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
[7. Hardware configuration]
Also, the
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
The CPU 1100 operates based on programs stored in the
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
The
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
The CPU 1100 controls output devices such as displays and printers, and input devices such as keyboards and mice, through an input/
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
For example, when the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail based on the drawings. It is possible to carry out the invention in other forms with modifications.
〔８．その他〕
また、上記各実施形態および変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[8. others〕
In addition, among the processes described in each of the above embodiments and modifications, all or part of the processes described as being automatically performed can be manually performed, or can be performed manually. All or part of the described processing can also be performed automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
例えば、上述した例では、実施形態に係る情報処理システムが中央処理型（集中型ともいう）のコンピューティングシステムである例について説明したが、情報処理システムの構成はこれに限られない。具体的には、他の実施形態に係る情報処理システムは、複数台の端末装置１０で構成される分散型コンピューティングシステムであってよい。例えば、他の実施形態に係る情報処理システムは、複数台の端末装置１０がネットワークを介して互いに接続されている。また、他の実施形態に係る情報処理システムでは、それぞれの端末装置１０に図３で説明した情報処理装置１００の機能が実装されている。
For example, in the above example, the information processing system according to the embodiment is a central processing type (also called centralized type) computing system, but the configuration of the information processing system is not limited to this. Specifically, an information processing system according to another embodiment may be a distributed computing system configured with a plurality of
また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Further, the embodiments and modifications described above can be appropriately combined within a range that does not contradict the processing content.
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、提供部は、提供手段や提供回路に読み替えることができる。 Also, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the providing unit can be read as providing means or a providing circuit.
１ 情報処理システム
１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 分析部
１３３ 生成部
１３４ 提供部
1
Claims (20)
前記取得部によって収集された視聴情報に基づいて、前記発言者の発言に対する前記他の利用者の集中度合いを分析する分析部と、
前記分析部による分析結果を前記発言者に対して提供する提供部と、
を備えることを特徴とする情報処理装置。 an acquisition unit that collects viewing information indicating the viewing status of other users who are viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate;
an analysis unit that analyzes the degree of concentration of the other user on the speech of the speaker based on the viewing information collected by the acquisition unit;
a providing unit that provides the analysis result of the analysis unit to the speaker;
An information processing device comprising:
前記オンライン会議の会議中の各時刻における前記発言者の発言に対する前記他の利用者の集中度合いを示す集中スコアを算出し、
前記提供部は、
前記分析部によって算出された前記他の利用者の集中スコアに関する情報を前記発言者に対して提供する、
ことを特徴とする請求項１に記載の情報処理装置。 The analysis unit
calculating a concentration score indicating the degree of concentration of the other user on the speaker's statement at each time during the online conference;
The providing unit
providing the speaker with information about the other user's concentration score calculated by the analysis unit;
The information processing apparatus according to claim 1, characterized by:
前記視聴情報として、前記他の利用者の視線に関する視線情報を収集し、
前記分析部は、
前記他の利用者の視線情報に基づいて、前記他の利用者の集中スコアを算出する、
ことを特徴とする請求項２に記載の情報処理装置。 The acquisition unit
collecting line-of-sight information related to the line-of-sight of the other user as the viewing information;
The analysis unit
calculating a concentration score of the other user based on the line-of-sight information of the other user;
3. The information processing apparatus according to claim 2, characterized by:
前記他の利用者の視線情報に基づいて、前記他の利用者が前記画像を見ているか否かを判定し、前記他の利用者が前記画像を見ていないと判定した場合よりも、前記他の利用者が前記画像を見ていると判定した場合の方が、前記他の利用者の集中スコアを高く算出する、
ことを特徴とする請求項３に記載の情報処理装置。 The analysis unit
determining whether or not the other user is viewing the image based on the line-of-sight information of the other user, and determining that the other user is not viewing the image; calculating a higher concentration score for the other user when it is determined that another user is viewing the image;
4. The information processing apparatus according to claim 3, characterized by:
前記視聴情報として、前記他の利用者の画像を収集し、
前記分析部は、
前記他の利用者の画像に含まれる前記他の利用者の姿勢に基づいて、前記他の利用者の集中スコアを算出する、
ことを特徴とする請求項２～４のいずれか１つに記載の情報処理装置。 The acquisition unit
collecting images of the other users as the viewing information;
The analysis unit
calculating a concentration score of the other user based on the posture of the other user included in the image of the other user;
The information processing apparatus according to any one of claims 2 to 4, characterized in that:
前記他の利用者の画像に基づいて、前記他の利用者の姿勢が前のめりであるか否かを判定し、前記他の利用者の姿勢が前のめりでないと判定した場合よりも、前記他の利用者の姿勢が前のめりであると判定した場合の方が、前記他の利用者の集中スコアを高く算出する、
ことを特徴とする請求項５に記載の情報処理装置。 The analysis unit
Based on the image of the other user, it is determined whether or not the posture of the other user is leaning forward. calculating the concentration score of the other user higher when it is determined that the posture of the person is leaning forward;
6. The information processing apparatus according to claim 5, characterized by:
前記他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻を特定し、
前記提供部は、
前記分析部によって特定された時刻を示す時刻情報を前記発言者に対して提供する、
ことを特徴とする請求項２～６のいずれか１つに記載の情報処理装置。 The analysis unit
identifying the time when the rate of change in the concentration score of the other user exceeds a predetermined threshold;
The providing unit
providing time information indicating the time specified by the analysis unit to the speaker;
7. The information processing apparatus according to any one of claims 2 to 6, characterized by:
前記他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の特徴を分析し、
前記提供部は、
前記分析部によって分析された特徴を示す特徴情報を前記発言者に対して提供する、
ことを特徴とする請求項７に記載の情報処理装置。 The analysis unit
analyzing the characteristics of the time when the rate of change in the concentration score of the other user exceeds a predetermined threshold;
The providing unit
providing the speaker with feature information indicating the features analyzed by the analysis unit;
8. The information processing apparatus according to claim 7, characterized by:
前記他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の共通性を分析し、
前記提供部は、
前記特徴情報として、前記分析部によって分析された共通性を示す共通情報を前記発言者に対して提供する、
ことを特徴とする請求項８に記載の情報処理装置。 The analysis unit
Analyzing the commonality of times when the rate of change in the concentration score of at least two or more users out of the other users exceeds a predetermined threshold;
The providing unit
Providing common information indicating commonality analyzed by the analysis unit as the characteristic information to the speaker;
9. The information processing apparatus according to claim 8, characterized by:
前記提供部は、
前記生成部によって生成されたグラフを前記発言者に対して提供する、
ことを特徴とする請求項２～９いずれか１つに記載の情報処理装置。 further comprising a generation unit that generates a graph showing the average concentration score of each of the other users calculated by the analysis unit;
The providing unit
providing the graph generated by the generator to the speaker;
10. The information processing apparatus according to any one of claims 2 to 9, characterized by:
前記発言者の発言状況を示す発言情報を取得し、
前記分析部は、
前記取得部によって取得された発言情報に基づいて、前記発言者が前記他の利用者に対して前記発言者の発言に対する集中を促しているか否かを判定し、
前記提供部は、
前記分析部によって前記発言者が前記他の利用者に対して前記発言者の発言に対する集中を促していると判定された場合、前記発言者の発言に対する集中を促す通知を前記他の利用者に対して提供する、
ことを特徴とする請求項１～１０のいずれか１つに記載の情報処理装置。 The acquisition unit
Acquiring utterance information indicating the utterance status of the said speaker;
The analysis unit
Determining whether the speaker is encouraging the other user to concentrate on the speaker's speech based on the speech information acquired by the acquisition unit;
The providing unit
When the analysis unit determines that the speaker is urging the other user to concentrate on the speech of the speaker, a notification urging the other user to concentrate on the speech of the speaker is sent to the other user. to provide for
The information processing apparatus according to any one of claims 1 to 10, characterized by:
前記発言情報として、前記発言者の画像を収集し、
前記分析部は、
前記発言者の画像に基づいて、前記発言者の姿勢が前のめりであるか否かを判定し、前記発言者の姿勢が前のめりであると判定した場合、前記発言者が前記他の利用者に対して前記発言者の発言に対する集中を促していると判定する、
ことを特徴とする請求項１１に記載の情報処理装置。 The acquisition unit
Collecting an image of the speaker as the statement information,
The analysis unit
Based on the image of the speaker, it is determined whether or not the speaker's posture is leaning forward. determines that the speaker is encouraged to concentrate on his or her remarks,
12. The information processing apparatus according to claim 11, characterized by:
前記分析部による分析結果を前記発言者が撮影された画像を新たに視聴する新たな利用者に対して提供する、
ことを特徴とする請求項１～１２のいずれか１つに記載の情報処理装置。 The providing unit
providing the analysis result by the analysis unit to a new user who newly views the image of the speaker;
13. The information processing apparatus according to any one of claims 1 to 12, characterized by:
前記分析部によって算出された前記他の利用者の集中スコアに関する情報を前記新たな利用者に対して提供する、
ことを特徴とする請求項１３に記載の情報処理装置。 The providing unit
providing the new user with information about the other user's concentration score calculated by the analysis unit;
14. The information processing apparatus according to claim 13, characterized by:
前記他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻を特定し、
前記提供部は、
前記分析部によって特定された時刻を示す時刻情報を前記新たな利用者に対して提供する、
ことを特徴とする請求項１３または１４に記載の情報処理装置。 The analysis unit
identifying the time when the rate of change in the concentration score of the other user exceeds a predetermined threshold;
The providing unit
Providing the new user with time information indicating the time specified by the analysis unit;
15. The information processing apparatus according to claim 13 or 14, characterized in that:
前記他の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の特徴を分析し、
前記提供部は、
前記分析部によって分析された特徴を示す特徴情報を前記新たな利用者に対して提供する、
ことを特徴とする請求項１５に記載の情報処理装置。 The analysis unit
analyzing the characteristics of the time when the rate of change in the concentration score of the other user exceeds a predetermined threshold;
The providing unit
Providing the new user with feature information indicating the features analyzed by the analysis unit;
16. The information processing apparatus according to claim 15, characterized by:
前記他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻の共通性を分析し、
前記提供部は、
前記特徴情報として、前記分析部によって分析された共通性を示す共通情報を前記新たな利用者に対して提供する、
ことを特徴とする請求項１６に記載の情報処理装置。 The analysis unit
Analyzing the commonality of times when the rate of change in the concentration score of at least two or more users out of the other users exceeds a predetermined threshold;
The providing unit
Providing common information indicating commonality analyzed by the analysis unit as the feature information to the new user;
17. The information processing apparatus according to claim 16, characterized by:
前記他の利用者のうち少なくとも２以上の利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻と、前記新たな利用者の集中スコアの変化率の大きさが所定の閾値を超えた時刻との共通性を分析し、
前記提供部は、
前記共通性を示す共通情報を前記新たな利用者に対して提供する、
ことを特徴とする請求項１６または１７に記載の情報処理装置。 The analysis unit
The time when the rate of change in the concentration score of at least two or more of the other users exceeds a predetermined threshold, and the rate of change in the concentration score of the new user exceeds a predetermined threshold. Analyze the commonality with the time exceeding
The providing unit
providing common information indicating the commonality to the new user;
18. The information processing apparatus according to claim 16 or 17, characterized by:
複数の利用者が参加するオンライン会議において発言している発言者が撮影された画像を視聴している他の利用者の視聴状況を示す視聴情報を収集する取得工程と、
前記取得工程によって収集された視聴情報に基づいて、前記発言者の発言に対する前記他の利用者の集中度合いを分析する分析工程と、
前記分析工程による分析結果を前記発言者に対して提供する提供工程と、
を含むことを特徴とする情報処理方法。 A computer-executed information processing method comprising:
an acquisition step of collecting viewing information indicating the viewing status of other users who are viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate;
an analysis step of analyzing the degree of concentration of the other users on the speech of the speaker based on the viewing information collected in the acquisition step;
a providing step of providing an analysis result obtained by the analyzing step to the speaker;
An information processing method comprising:
前記取得手順によって収集された視聴情報に基づいて、前記発言者の発言に対する前記他の利用者の集中度合いを分析する分析手順と、
前記分析手順による分析結果を前記発言者に対して提供する提供手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。 an acquisition procedure for collecting viewing information indicating the viewing status of other users viewing an image captured by a speaker speaking in an online conference in which a plurality of users participate;
an analysis procedure for analyzing the degree of concentration of the other user on the speech of the speaker based on the viewing information collected by the acquisition procedure;
a provision procedure for providing the speaker with an analysis result obtained by the analysis procedure;
An information processing program characterized by causing a computer to execute
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021032129A JP7269269B2 (en) | 2021-03-01 | 2021-03-01 | Information processing device, information processing method, and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021032129A JP7269269B2 (en) | 2021-03-01 | 2021-03-01 | Information processing device, information processing method, and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022133177A true JP2022133177A (en) | 2022-09-13 |
| JP7269269B2 JP7269269B2 (en) | 2023-05-08 |
Family
ID=83229628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021032129A Active JP7269269B2 (en) | 2021-03-01 | 2021-03-01 | Information processing device, information processing method, and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7269269B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005051653A (en) * | 2003-07-31 | 2005-02-24 | Sony Corp | Method and apparatus for content regeneration, method and apparatus for content distribution, and control method and control unit for play equipment |
| JP2016100033A (en) * | 2014-11-19 | 2016-05-30 | シャープ株式会社 | Reproduction control apparatus |
| JP2017140107A (en) * | 2016-02-08 | 2017-08-17 | Kddi株式会社 | Concentration degree estimation device |
| JP2018205638A (en) * | 2017-06-08 | 2018-12-27 | 大和ハウス工業株式会社 | Concentration ratio evaluation mechanism |
| JP2019186780A (en) * | 2018-04-12 | 2019-10-24 | 富士通株式会社 | User support program, user support apparatus, and user support method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010141843A (en) | 2008-12-15 | 2010-06-24 | Brother Ind Ltd | Conference system, method of supporting communication conference, conference terminal unit, and program |
| JP5267269B2 (en) | 2009-03-26 | 2013-08-21 | 富士通株式会社 | Conference management apparatus and method |
| JP2015207806A (en) | 2014-04-17 | 2015-11-19 | コニカミノルタ株式会社 | Remote conference support system and remote conference support program |
-
2021
- 2021-03-01 JP JP2021032129A patent/JP7269269B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005051653A (en) * | 2003-07-31 | 2005-02-24 | Sony Corp | Method and apparatus for content regeneration, method and apparatus for content distribution, and control method and control unit for play equipment |
| JP2016100033A (en) * | 2014-11-19 | 2016-05-30 | シャープ株式会社 | Reproduction control apparatus |
| JP2017140107A (en) * | 2016-02-08 | 2017-08-17 | Kddi株式会社 | Concentration degree estimation device |
| JP2018205638A (en) * | 2017-06-08 | 2018-12-27 | 大和ハウス工業株式会社 | Concentration ratio evaluation mechanism |
| JP2019186780A (en) * | 2018-04-12 | 2019-10-24 | 富士通株式会社 | User support program, user support apparatus, and user support method |
Non-Patent Citations (2)
| Title |
|---|
| 入部 百合絵篠原 修二桂田 浩一新田 恒雄: "講義情報を用いた自主学習支援システムの構築", 第１回音声ドキュメント処理ワークショップ講演論文集, JPN6022054463, 27 February 2007 (2007-02-27), JP, pages 25 - 32, ISSN: 0004955838 * |
| 相馬 奈美、日浦 慎作、佐藤 宏介: "受講者の活性度と主観的評価の提示に基づく授業支援システム", 電子情報通信学会技術研究報告 ＨＣＳ２００５−６３〜７５ ヒューマンコミュニケーション基礎, vol. 105, no. 681, JPN6022054462, 15 March 2006 (2006-03-15), JP, pages 67 - 70, ISSN: 0004955837 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7269269B2 (en) | 2023-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5458027B2 (en) | Next speaker guidance device, next speaker guidance method, and next speaker guidance program | |
| US11803579B2 (en) | Apparatus, systems and methods for providing conversational assistance | |
| JP2010074494A (en) | Conference support device | |
| JPWO2018030149A1 (en) | INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD | |
| FR3047628A1 (en) | METHOD FOR MONITORING CONVERSATION FOR A MISSING PERSON | |
| JP7269269B2 (en) | Information processing device, information processing method, and information processing program | |
| JP7152453B2 (en) | Information processing device, information processing method, information processing program, and information processing system | |
| US11831695B2 (en) | User status detection and interface | |
| US20200365172A1 (en) | Storage medium, control device, and control method | |
| WO2022230067A1 (en) | Video analysis system | |
| JP2019101872A (en) | Information processor and program | |
| JP7292343B2 (en) | Information processing device, information processing method and information processing program | |
| WO2022230136A1 (en) | Video analysis system | |
| WO2022201266A1 (en) | Video analysis program | |
| JP7121433B1 (en) | Video analysis program | |
| WO2022269801A1 (en) | Video analysis system | |
| JP7121439B1 (en) | Video image analysis system | |
| JP7121436B1 (en) | Video analysis program | |
| JP7152819B1 (en) | Video analysis program | |
| WO2022249462A1 (en) | Video analysis system | |
| WO2023002562A1 (en) | Video analysis system | |
| US10812707B2 (en) | Computing device haptic timer for photography | |
| WO2022254493A1 (en) | Video analysis system | |
| WO2022254492A1 (en) | Video analysis system | |
| WO2023032058A1 (en) | Video session evaluation terminal, video session evaluation system, and video session evaluation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230421 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7269269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |