JP2016012216A - Congress analysis device, method and program - Google Patents

Congress analysis device, method and program Download PDF

Info

Publication number
JP2016012216A
JP2016012216A JP2014133066A JP2014133066A JP2016012216A JP 2016012216 A JP2016012216 A JP 2016012216A JP 2014133066 A JP2014133066 A JP 2014133066A JP 2014133066 A JP2014133066 A JP 2014133066A JP 2016012216 A JP2016012216 A JP 2016012216A
Authority
JP
Japan
Prior art keywords
degree
conference
excitement
correction
meeting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014133066A
Other languages
Japanese (ja)
Inventor
建鋒 徐
Kenho Jo
建鋒 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2014133066A priority Critical patent/JP2016012216A/en
Publication of JP2016012216A publication Critical patent/JP2016012216A/en
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To calculate a degree of livening up in a congress as a relative evaluation value, not as an absolute evaluation value.SOLUTION: A liven-up degree calculation unit 12 extracts a feature amount as time series along progress of a congress on the basis of congress data recorded as voice and/or video, calculates a liven-up degree as the time series along progress of the congress, as an absolute evaluation value on the basis of the feature amount, and then corrects it to a relative evaluation value at respective units 31, 32 and 33. By considering a reference liven-up degree as all congress participants, the liven-up degree is corrected over whole congress, in an integral correction unit 31. A sub team correction unit 32 considers a reference liven-up degree of some of participants with a topic which some of the participants participated in discussion, as a target, for correcting the liven-up degree for every section where the topic is discussed. An individual correction unit 33 corrects the liven-up degree on the basis of natures of the participants and utterance contents of the participants, for every utterance section of the respective participant in the congress.

Description

本発明は、会議における複数参加者の状態を分析することによって、会議の盛り上がり度を推定する会議分析装置、方法及びプログラムに関する。   The present invention relates to a conference analysis apparatus, method, and program for estimating the degree of excitement of a conference by analyzing the states of a plurality of participants in the conference.

会議の成功に不可欠な要素は盛り上がりである。議論状況をリアルタイムに把握しつつ、より多く参加者からのアイデアを出してもらうようなコントロールを行なうことで、議論の活性化および有効なナレッジ創出が期待できる。例えば、時間毎に盛り上がりを数値化した値を提示することにより、それを参照する会議参加者の気づきを促す効果が期待できる。   A vital part of the success of the conference is the excitement. By grasping the status of discussion in real time and performing control to get more ideas from participants, it is expected to activate discussion and create effective knowledge. For example, by presenting a value obtained by quantifying the excitement every time, it is possible to expect an effect of prompting the attendance of a conference participant who refers to the value.

近年、会議の盛り上がり度合いを測定する技術が開発された。例えば、特許文献1では、会議場における参加者の発話総量を取得し、取得された発話総量に基づき会議場における発言動作を認識し、この認識結果に基づいて前記会議活性度を評価し、算出された会議活性度を提示する。特許文献2では、会議中の複数の参加者の音声を取得して、刻々と変わる参加者の会話状況をリアルタイムに表示することで、より積極的な議論を誘発するような会議可視化システムを提供する。特許文献3では、会合参加者間の発話誘発度などの、会合参加者間の関係性まで考慮して会合活性度を評価することにより、会合の活性化に資する会合関数算定装置を提供する。特許文献4では、音量センサ機能と加速度センサ機能を有する簡易なセンサ装置のみを用いて会議参加者の分析、会議全体の分析を自動的に行うことができる会議分析システムを提供する。   In recent years, techniques have been developed to measure the degree of excitement of meetings. For example, in Patent Document 1, the total amount of utterances of the participants in the conference hall is acquired, the speech action in the conference hall is recognized based on the acquired total utterance amount, and the conference activity is evaluated and calculated based on the recognition result. Presents the activity of the conference. Patent Document 2 provides a conference visualization system that captures the voices of multiple participants during a conference and displays the conversation status of the participants changing in real time, thereby inducing a more active discussion. To do. Patent Document 3 provides a meeting function calculation device that contributes to the activation of a meeting by evaluating the meeting activity in consideration of the relationship between meeting participants, such as the degree of utterance between meeting participants. Patent Document 4 provides a conference analysis system that can automatically analyze conference participants and the entire conference using only a simple sensor device having a volume sensor function and an acceleration sensor function.

また、非特許文献1では、盛り上がり度と音の特徴量(基本周波数F0、エネルギー)間の相関性があることが報告された。非特許文献2では、隠れマルコフモデル(HMM)で音声データをセグメントしながら、各セグメントの盛り上がり度を高と低に分類する。非特許文献3では、Latent Dirichlet allocation(LDA)で話題を分割し、サポートベクターマシン(SVM)で盛り上がり度を推定する。   Further, Non-Patent Document 1 reports that there is a correlation between the degree of excitement and the characteristic amount of sound (basic frequency F0, energy). In Non-Patent Document 2, while segmenting speech data with a Hidden Markov Model (HMM), the degree of excitement of each segment is classified into high and low. In Non-Patent Document 3, topics are divided by Latent Dirichlet allocation (LDA), and the degree of excitement is estimated by a support vector machine (SVM).

特開2006-302047号公報JP 2006-302047 A 特開2008-262046号公報JP 2008-262046 A 特開2009-163431号公報JP 2009-163431 A 特開2012-113442号公報JP 2012-113442 A

B. Wrede and E. Shriberg. Spotting hotspots in meetings: Human judgments and prosodic cues. In Proc. Eurospeech, Geneva, Sep. 2003.B. Wrede and E. Shriberg. Spotting hotspots in meetings: Human judgments and prosodic cues. In Proc. Eurospeech, Geneva, Sep. 2003. Gatica-Perez, D.; McCowan, I.; Zhang, D.; Bengio, S., "Detecting Group Interest-Level in Meetings," Acoustics, Speech, and Signal Processing, 2005. Proceedings. (ICASSP '05). IEEE International Conference on , vol.1, no., pp.489,492, March 18-23, 2005.Gatica-Perez, D .; McCowan, I .; Zhang, D .; Bengio, S., "Detecting Group Interest-Level in Meetings," Acoustics, Speech, and Signal Processing, 2005. Proceedings. (ICASSP '05). IEEE International Conference on, vol.1, no., Pp.489,492, March 18-23, 2005. Kishita, Y.; Noguchi, H.; Sanada, H.; Mori, T., "A probabilistic inference of participants interest level in a multi-party conversation based on multi-modal sensing," Multimedia and Expo Workshops (ICMEW), 2013 IEEE International Conference on , vol., no., pp.1,4, 15-19 July 2013Kishita, Y .; Noguchi, H .; Sanada, H .; Mori, T., "A probabilistic inference of participants interest level in a multi-party conversation based on multi-modal sensing," Multimedia and Expo Workshops (ICMEW), 2013 IEEE International Conference on, vol., No., Pp.1,4, 15-19 July 2013

盛り上がり度は主観的な指標である。人によって、評価が変わる。例えば、AさんとBさんの評価が必ず一致することが言えない。もちろん、どちらが正解とは言えない。よって、測定した盛り上がり度を適切に補正することが必要である。   The degree of excitement is a subjective indicator. Evaluation changes with people. For example, it cannot be said that Mr. A and Mr. B have the same evaluation. Of course, neither is the correct answer. Therefore, it is necessary to appropriately correct the measured degree of swell.

しかしながら、前記の従来技術は全て絶対評価である。参加者や、発言の場所、発言の内容が変わっても、盛り上がり度の評価が変わらない。例えば、明るいAさんと大人しいBさんの盛り上がり度の評価が区別できない。また、プライバシー的な話は当然絶対的な盛り上がり度が落ちる。逆に、自己主張ばかりの盛り上がりは、会議において望まれる本来の盛り上がりではない。   However, all the above prior arts are absolute evaluations. Even if the participants, the location of the speech, and the content of the speech change, the evaluation of the excitement does not change. For example, the evaluation of the degree of excitement between bright A and mature B cannot be distinguished. In addition, the privacy story naturally goes down in absolute excitement. Conversely, the excitement of self-assertion is not the original excitement desired at the meeting.

また、互いに遠隔で会議が実施される場合には、さらに補正が必要となる。すなわち、相互間での音量の違いがあることによる影響があるのはもちろん、遠隔の心理的な距離感によっても、発言の頻度が自然に落ちるといったこともあり、絶対的な評価値の修正が必要である。   Further, when the conference is conducted remotely, further correction is necessary. In other words, not only is there an effect due to the difference in volume between each other, but the frequency of remarks naturally falls due to the remote psychological distance sense, so the absolute evaluation value can be corrected. is necessary.

以上のように、種々の要素に関して、絶対評価ではなく相対評価が必要である。すなわち、参加者の性格と参加場所、発言のコンテンツ、会話関係を考慮することで、相対的な盛り上がり度を推定する必要があるが、前述のように従来技術においては、このような推定の枠組みは提供されていない。   As described above, relative evaluation is necessary for various elements, not absolute evaluation. In other words, it is necessary to estimate the relative excitement by considering the participant's personality and place of participation, the content of the remarks, and the conversational relationship. As described above, in the prior art, such an estimation framework is used. Is not provided.

本発明は、上記従来技術の課題に鑑み、相対評価としての会議の盛り上がり度を算出することのできる会議分析装置、方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the above-described problems of the prior art, and an object of the present invention is to provide a conference analysis apparatus, method, and program capable of calculating the degree of excitement of a conference as a relative evaluation.

上記目的を達成するため、本発明は、音声及び/又は映像を含んで記録された会議データより、会議の盛り上がり度を算出する会議分析装置であって、前記会議データより会議の進行に沿った時系列としての特徴量を抽出し、当該特徴量に基づいて、絶対評価値として、会議の進行に沿った時系列としての盛り上がり度を算出する盛り上がり度算出部と、前記絶対評価値としての盛り上がり度を相対評価値としての盛り上がり度に補正する補正部と、を備え、前記補正部は、以下の(1)〜(3)にそれぞれ示す各部を少なくとも1つを備えることにより、前記相対評価値としての盛り上がり度に補正することを特徴とする。
(1)前記盛り上がり度算出部の算出する盛り上がり度において会議参加者全体としての標準の盛り上がり度を考慮することで、盛り上がり度を会議全体に渡って補正する総合補正部
(2)前記会議データを解析することで、会議参加者の一部が議論に参加したトピックを対象として、当該一部の参加者における標準の盛り上がり度を考慮することで、当該トピックの議論された区間ごとに盛り上がり度を補正するサブチーム補正部
(3)前記会議データを解析することで、会議における各参加者の発言区間ごとに、当該参加者の性質及び当該発言内容に基づいて盛り上がり度を補正する個人補正部
In order to achieve the above object, the present invention provides a conference analysis apparatus for calculating a degree of excitement of a conference from conference data recorded including audio and / or video, and is adapted to the progress of the conference from the conference data. A feature amount as a time series is extracted, and based on the feature amount, a climax calculation unit that calculates a climax as a time series along the progress of the meeting as an absolute evaluation value, and a climax as the absolute evaluation value A correction unit that corrects the degree to a degree of swell as a relative evaluation value, and the correction unit includes at least one of the units shown in the following (1) to (3), whereby the relative evaluation value It is characterized by correcting to the degree of swell.
(1) Comprehensive correction unit that corrects the degree of excitement over the entire meeting by considering the standard degree of excitement as the whole conference participant in the degree of excitement calculated by the excitement degree calculating unit. (2) By analyzing the topic, a topic that a part of the conference participants participated in the discussion is taken into account. (3) A personal correction unit that corrects the degree of excitement based on the nature of the participant and the content of the speech for each speech segment of the participant in the conference by analyzing the conference data

また、本発明は、音声及び/又は映像を含んで記録された会議データより、会議の盛り上がり度を算出する会議分析方法であって、前記会議データより会議の進行に沿った時系列としての特徴量を抽出し、当該特徴量に基づいて、絶対評価値として、会議の進行に沿った時系列としての盛り上がり度を算出する盛り上がり度算出段階と、前記絶対評価値としての盛り上がり度を相対評価値としての盛り上がり度に補正する補正段階と、を備え、前記補正段階は、以下の(1)〜(3)にそれぞれ示す各段階を少なくとも1つを備えることにより、前記相対評価値としての盛り上がり度に補正することを特徴とする。
(1)前記盛り上がり度算出段階の算出する盛り上がり度において会議参加者全体としての標準の盛り上がり度を考慮することで、盛り上がり度を会議全体に渡って補正する総合補正段階
(2)前記会議データを解析することで、会議参加者の一部が議論に参加したトピックを対象として、当該一部の参加者における標準の盛り上がり度を考慮することで、当該トピックの議論された区間ごとに盛り上がり度を補正するサブチーム補正段階
(3)前記会議データを解析することで、会議における各参加者の発言区間ごとに、当該参加者の性質及び当該発言内容に基づいて盛り上がり度を補正する個人補正段階
Further, the present invention is a conference analysis method for calculating a degree of excitement of a conference from conference data recorded including audio and / or video, and is characterized as a time series along the progress of the conference from the conference data. Extract the amount, and based on the feature amount, as an absolute evaluation value, a climax degree calculation stage for calculating the climax degree as a time series along the progress of the meeting, and the climax degree as the absolute evaluation value as a relative evaluation value And a correction stage for correcting the degree of excitement as the degree of excitement, and the correction stage includes at least one of the stages shown in the following (1) to (3), whereby the degree of excitement as the relative evaluation value It is characterized by correcting to.
(1) Comprehensive correction stage for correcting the degree of excitement over the entire meeting by taking into account the standard degree of excitement for the entire conference participants in the degree of excitement calculated in the step of calculating the degree of excitement (2) By analyzing the topic, a topic that a part of the conference participants participated in the discussion is taken into account. Sub-team correction stage for correction (3) Individual correction stage for correcting the degree of excitement based on the nature of the participant and the content of the speech for each speech section of each participant in the conference by analyzing the conference data

さらに、本発明は、コンピュータを前記会議分析装置として機能させるプログラムであることを特徴とする。   Furthermore, the present invention is a program for causing a computer to function as the conference analysis apparatus.

本発明によれば、絶対評価として算出された会議の盛り上がり度を、(1)会議参加者全体としての標準の盛り上がり度、(2)会議参加者の一部が議論に参加したトピックを対象とした、当該一部の参加者における標準の盛り上がり度、(3)会議における各参加者の発言区間ごとの当該参加者の性質及び当該発言内容、の少なくとも1つに基づいて補正するので、相対評価としての盛り上がり度を求めることができる。   According to the present invention, the degree of excitement of the meeting calculated as an absolute evaluation is (1) the standard degree of excitement as a whole meeting participant, and (2) the topic in which some of the meeting participants participated in the discussion. Relative evaluation because correction is made based on at least one of the standard excitement level of the participant, (3) the nature of the participant for each participant's speech section and the content of the speech in the meeting. The degree of excitement can be obtained.

一実施形態に係る会議分析装置の機能ブロック図である。It is a functional block diagram of the meeting analysis device concerning one embodiment. 会議記録部による会議の記録を、会議が2か所の会場に分かれて実施される場合に、模式的に示す図である。It is a figure which shows typically the recording of the meeting by a meeting recording part, when a meeting is divided and implemented in two venues. 盛り上がり算出部が算出する盛り上がり度の例を示す図である。It is a figure which shows the example of the climax degree which a climax calculation part calculates. 会話関係推定部により推定される会話関係の例を示す図である。It is a figure which shows the example of the conversation relationship estimated by the conversation relationship estimation part. 個人補正部において補正するための調整値の例を表として示す図である。It is a figure which shows the example of the adjustment value for correct | amending in a personal correction part as a table | surface.

図1は、一実施形態に係る会議分析装置10の機能ブロック図である。会議分析装置10は、会議記録部11、盛り上がり度算出部12及び補正部30を備える。   FIG. 1 is a functional block diagram of a conference analysis apparatus 10 according to an embodiment. The conference analysis apparatus 10 includes a conference recording unit 11, a climax calculation unit 12, and a correction unit 30.

会議記録部11では、マイク及びカメラにより会議を音声及び/又は映像として記録して、会議データとして盛り上がり度算出部12及び補正部30(総合補正部31、個人補正部33及び会話関係推定部321)に提供する。また、会議が遠隔地の各会場に分かれて実施されている場合であれば、会議記録部11は各会場における音声及び映像を並行して記録することで、会議を記録する。   In the conference recording unit 11, the conference is recorded as audio and / or video with a microphone and a camera, and the excitement degree calculation unit 12 and the correction unit 30 (the total correction unit 31, the personal correction unit 33, and the conversation relation estimation unit 321 as conference data) ) To provide. If the conference is held separately at each remote venue, the conference recording unit 11 records the conference by recording audio and video at each venue in parallel.

図2は、会議記録部11による会議の記録を、会議が2か所の会場(場所L1及び場所L2)に分かれて実施される場合に、模式的に示す図である。場所L1には、Aさん、Bさん及びCさんの3人が会議参加者として存在し、その様子がカメラC1によって撮影されると共にマイクM1で録音されている。場所L2には、Dさん、Eさん、Fさん、Gさん及びHさんの5人が会議参加者として存在し、その様子がカメラC2によって撮影されると共にマイクM2で録音されている。   FIG. 2 is a diagram schematically showing the recording of the conference by the conference recording unit 11 when the conference is divided into two venues (location L1 and location L2). In the place L1, there are three people, Mr. A, Mr. B and Mr. C, as participants in the conference, and the situation is photographed by the camera C1 and recorded by the microphone M1. In the place L2, there are five people, D, E, F, G, and H, as participants in the conference. The situation is recorded by the camera C2 and recorded by the microphone M2.

場所L1,L2間では、図2に不図示のスピーカやディスプレイ等によって相互に会議のための意思疎通が可能となっており、当該両場所L1,L2に存在する合計8人を会議参加者の全体として、会議が進行する。図2に示すように、会議記録部11では当該各場所L1,L2に配置されたカメラC1,C2及びマイクM1,M2のそれぞれの映像及び音声を取得することで、会議全体の進行を記録する。   Communication between the locations L1 and L2 is possible through a speaker or a display (not shown in FIG. 2), and a total of eight people at both locations L1 and L2 can be communicated. As a whole, the conference proceeds. As shown in FIG. 2, the conference recording unit 11 records the progress of the entire conference by acquiring the video and audio of the cameras C1, C2 and microphones M1, M2 arranged at the respective locations L1, L2. .

なお、図2の例では、カメラ及びマイクは会議の場所ごとに用意されているが、会議参加者毎に用意される等していてもよい。このような場合も、同一の会議に参加する参加者毎の記録を会議記録部11は取得して、会議の全体としての進行を記録する。   In the example of FIG. 2, a camera and a microphone are prepared for each meeting place, but may be prepared for each meeting participant. Even in such a case, the conference recording unit 11 acquires a record for each participant who participates in the same conference, and records the progress of the conference as a whole.

また、音声に関しては、会議全体が収録された1つのデータが取得されればよい。例えば、マイクM1が場所L1の参加者の発言のみを録音し、マイクM2が場所L2の参加者の発言のみを録音していれば、当該両録音を時刻同期を取ってミックスしたデータが取得されればよい。場所L1において場所L2からの発言もスピーカで再生されていれば、場所L1で録音したデータを取得すればよい。映像に関しては、会議全体を収録するのに、会場ごとに、あるいは個人ごとに個別に取得されていてもよい。   As for audio, it is only necessary to acquire one data in which the entire conference is recorded. For example, if the microphone M1 records only the speech of the participant at the location L1, and the microphone M2 records only the speech of the participant at the location L2, the data obtained by mixing the recordings in time synchronization is acquired. Just do it. If the speech from the location L2 is also reproduced by the speaker at the location L1, the data recorded at the location L1 may be acquired. Regarding the video, the entire conference may be recorded separately for each venue or for each individual.

なおまた、図2には示していないが、会議記録部11ではさらに、参加者ごとの生体データ等を会議データを構成する情報として取得してもよい。この場合、各参加者は、脳波や脈拍等の生体データを取得するためのセンサあるいは機器を身に着け、当該身に着けたセンサあるいは機器の情報を、会議記録部11において(映像や音声の場合と同様に)会議進行の時間と紐付けて記録すればよい。   Although not shown in FIG. 2, the conference recording unit 11 may further acquire biometric data for each participant as information constituting the conference data. In this case, each participant wears a sensor or device for acquiring biological data such as an electroencephalogram and a pulse, and information on the worn sensor or device is stored in the conference recording unit 11 (video or audio). Just like the case), it can be recorded in association with the conference time.

同様にさらに、センサとしてKinect(登録商標)やGoogle glassのようなデバイスからの情報を取得してもよい。これらは出力データとして、音声、映像以外にデプスデータなど扱うことができ、当該出力データより表情や笑い、頷きの検出することができる。   Similarly, information from a device such as Kinect (registered trademark) or Google glass may be acquired as a sensor. These can handle depth data as output data in addition to audio and video, and can detect facial expressions, laughter and whispering from the output data.

盛り上がり度算出部12では、会議が記録された音声及び/又は映像(及び/又は生体データ等)のそれぞれの特徴量を時系列上で抽出して、会議の進行に沿った時系列として、会議の盛り上がり度を算出する。   The excitement degree calculation unit 12 extracts each feature amount of audio and / or video (and / or biometric data, etc.) in which the conference is recorded on the time series, and uses the time series in accordance with the progress of the conference as the time series. Calculate the degree of excitement.

ここで、盛り上がり度算出部12は、従来技術によって会議の盛り上がり度を算出する。当該算出される盛り上がり度は、音声及び映像の特徴量から抽出されていることよりも明らかなように、絶対評価に属するものである。そこで、当該絶対評価としての盛り上がり度に対して、補正部30が種々の観点からの補正を加えることにより、補正された相対評価としての盛り上がり度を求める。   Here, the excitement degree calculation unit 12 calculates the excitement degree of the meeting by a conventional technique. The calculated degree of excitement belongs to the absolute evaluation, as is clear from the fact that the degree of excitement is extracted from the feature quantities of the audio and video. Accordingly, the correction unit 30 adds corrections from various viewpoints to the degree of climax as the absolute evaluation, thereby obtaining the degree of climax as the corrected relative evaluation.

当該補正するための構成として、補正部30は、総合補正部31、サブチーム補正部32、会話関係推定部321、個人補正部33及び参加者プロファイルDB(データベース)331を備える。当該各部は、以下(1)〜(3)のように3つの観点から補正を行うものに分類される。   As a configuration for the correction, the correction unit 30 includes a general correction unit 31, a subteam correction unit 32, a conversation relationship estimation unit 321, an individual correction unit 33, and a participant profile DB (database) 331. The respective parts are classified into those that perform correction from three viewpoints as follows (1) to (3).

(1)総合補正部31は、チーム全体の性格を考慮することで、盛り上がり度を補正する。   (1) The general correction unit 31 corrects the degree of excitement by considering the character of the entire team.

(2)サブチーム補正部32(及び会話関係推定部321)は、一定時間帯で議論した話題に対するサブチームの活動によって盛り上がり度を補正する。   (2) The subteam correction unit 32 (and the conversation relationship estimation unit 321) corrects the degree of excitement based on the activity of the subteam on the topic discussed in a certain time period.

(3)個人補正部33(及び参加者プロファイルDB331)は、個人的な要素として参加者の性格、役割、または参加場所によって盛り上がり度を補正する   (3) The personal correction unit 33 (and the participant profile DB 331) corrects the degree of excitement according to the personality, role, or participation location of the participant as a personal factor.

以上(1)〜(3)に分類される各構成は、それぞれ独立に盛り上がり度算出部12の算出した盛り上がり度を補正することができるが、図1の機能ブロック図では、一実施形態として、(1)〜(3)の補正を全て適用し、且つこの順番で適用する構成が示されている。適用する順番は任意でよい。また、(1)〜(3)のうち、任意の一部分のみによる補正が適用されてもよい。   Each configuration classified into the above (1) to (3) can independently correct the degree of swell calculated by the swell degree calculation unit 12, but in the functional block diagram of FIG. A configuration in which all the corrections (1) to (3) are applied and applied in this order is shown. The order of application may be arbitrary. Moreover, the correction | amendment by only arbitrary parts may be applied among (1)-(3).

以下、盛り上がり度算出部12以降の図1の各部の詳細を説明する。上記のように、(1)〜(3)の任意の一部分を任意の順で適用することが可能であるが、以下では、図1の構成に示したように、(1)〜(3)の全てをこの順番で適用して補正を行う場合を例として説明する。   Hereinafter, the details of each part of FIG. 1 after the climax calculation part 12 will be described. As described above, any part of (1) to (3) can be applied in any order. Hereinafter, as shown in the configuration of FIG. 1, (1) to (3) A case where correction is performed by applying all of the above in this order will be described as an example.

なお、補正部30の各部(1)〜(3)ではそれぞれ会議データを解析することにより、盛り上がり度算出部12の算出した盛り上がり度を補正するための係数等を求める。ここで、(1)の総合補正部31については、盛り上がり度算出部12が盛り上がり度を算出するのと同様の実施形態により、補正のための係数を算出する。すなわち、盛り上がり度算出部12が特定種類の特徴量を用いて盛り上がり度を算出していれば、総合補正部31もこれと同一種類の特徴量で盛り上がり度を算出したうえで、補正のための係数を算出する。従って、以下説明するように、総合補正部31では盛り上がり度算出部12の算出した盛り上がり度を直接補正する場合であれば、再度盛り上がり度を算出する必要はない。   In addition, each part (1)-(3) of the correction | amendment part 30 calculates | requires the coefficient for correct | amending the excitement degree calculated by the excitement degree calculation part 12 by analyzing meeting data, respectively. Here, for the overall correction unit 31 of (1), the coefficient for correction is calculated by the same embodiment as the degree of swell calculation unit 12 calculates the degree of swell. That is, if the climax calculation unit 12 calculates the climax using a specific type of feature amount, the general correction unit 31 also calculates the climax with the same type of feature amount, Calculate the coefficient. Accordingly, as will be described below, if the overall correction unit 31 directly corrects the climax degree calculated by the climax degree calculation unit 12, it is not necessary to calculate the climax degree again.

一方、(2)の会話関係推定部321では、会議データを解析して会話関係を推定し、当該会話関係よりサブチーム補正部32が、盛り上がり度を補正するための情報を求める。この際の会話関係推定部321の実施形態は、盛り上がり度算出部12とは独立のものを利用することができる。すなわち、会議データから抽出する特徴量などは、盛り上がり度算出部12とは独立のものを利用してよい。   On the other hand, the conversation relationship estimation unit 321 in (2) analyzes the conference data to estimate the conversation relationship, and the subteam correction unit 32 obtains information for correcting the degree of excitement from the conversation relationship. In this case, the embodiment of the conversation relation estimation unit 321 can use an item independent from the excitement degree calculation unit 12. That is, the feature amount extracted from the conference data may be independent from the excitement degree calculation unit 12.

同様に、(3)の個人補正部33でも、会議データを解析して、盛り上がり度を補正するための情報を求める。この際の実施形態は、盛り上がり度算出部12(及び会話関係推定部321)とは独立のものを利用することができる。すなわち、会議データから抽出する特徴量などは、盛り上がり度算出部12(及び会話関係推定部321)とは独立のものを利用してよい。   Similarly, the personal correction unit 33 of (3) analyzes the conference data and obtains information for correcting the degree of excitement. The embodiment at this time can use an independent one from the excitement degree calculation unit 12 (and the conversation relation estimation unit 321). That is, the feature amount extracted from the conference data may be independent from the excitement degree calculation unit 12 (and the conversation relation estimation unit 321).

盛り上がり度算出部12は、会議記録部11の記録(会議データ)を解析し、会議における参加者毎に発言内容、表情、音声特徴量、笑いタイミングと継続時間、笑い音の強さ、うなずきのタイミング、視線などの、映像及び音声に関する特徴量を抽出し、当該特徴量で会議の盛り上がり度を時系列的に算出する。   The excitement degree calculation unit 12 analyzes the recording (conference data) of the conference recording unit 11, and for each participant in the conference, utterance contents, facial expressions, voice features, laughing timing and duration, laughing sound strength, nodding Feature quantities related to video and audio such as timing and line of sight are extracted, and the degree of excitement of the meeting is calculated in time series using the feature quantities.

音声に関する特徴量から盛り上がり度を算出する場合、例えば非特許文献1のように、音声データから基本周波数F0とエネルギーという特徴量を抽出し、一定の時間ウィンドウ毎に盛り上がり度を5段階で推定することができる。図2の例のように、場所L1の3人と場所L2の5人にて例えば2時間程度のリモート会議を行う時、場所L1と場所L2の映像と音声データを収録しておき、それぞれ盛り上がり度を算出することができる。   When calculating the degree of excitement from the feature amount related to speech, for example, as shown in Non-Patent Document 1, feature amounts such as fundamental frequency F0 and energy are extracted from the speech data, and the extent of excitement is estimated in five stages for each fixed time window. be able to. As shown in the example in Fig. 2, when a remote conference of about 2 hours is held with 3 people at location L1 and 5 people at location L2, for example, video and audio data at location L1 and location L2 are recorded and excited. The degree can be calculated.

図3は当該算出した例であり、場所L1で平均2.14の盛り上がりがあった後、場所L2で平均2.5の盛り上がりがあったという、会議の一部分における盛り上がりの時系列の例を示している。   FIG. 3 shows an example of the calculated time series of swells in a part of the conference in which there was an average of 2.14 at place L1 and then an average of 2.5 at place L2.

なお、映像を解析することで盛り上がり度を算出する手法や、映像と音声の両方を解析することで盛り上がり度を算出する手法、脳波と脈拍など生体データで盛り上がり度を算出する手法によって、盛り上がり度算出部12を実現してもよい。例えば、前述の非特許文献2では、音声のみ、映像のみ、音声と映像両方と三つのケースを比較している。比較の際に、音声の特徴量は会話エネルギー、会話頻度、会話ピッチ(speech energy, speaking rate, speech pitch)の三つを採用しており、映像の特徴量は人物の動き、頭の角度(person motion, head angle)と二つを採用している。   In addition, the method of calculating the degree of excitement by analyzing video, the method of calculating the degree of excitement by analyzing both video and audio, and the method of calculating the degree of excitement by biometric data such as brain waves and pulse, The calculation unit 12 may be realized. For example, in the above-mentioned Non-Patent Document 2, three cases are compared with only audio, only video, and both audio and video. In the comparison, the speech features are speech energy, speech frequency, and speech pitch (speech energy, speaking rate, speech pitch). person motion, head angle) and two.

総合補正部31は、チーム全体(会議参加者全体)の性格を吸収するための規格化を行う。   The general correction unit 31 performs standardization to absorb the character of the entire team (the entire conference participants).

すなわち、チーム全体がもともと活発であり大声で発言するような傾向にある場合は、盛り上がり度算出部12で算出した盛り上がり度の値は実際の盛り上がりによらず全体的に大きくなりがちであり、その逆に活発ではない傾向にある場合、実際の盛り上がりによらず全体的に小さくなりがちである。このようなチーム間差異を吸収するための規格化を、総合補正部31が実施する。   That is, when the whole team is originally active and tends to speak loudly, the value of the degree of excitement calculated by the degree of excitement calculation unit 12 tends to increase overall regardless of the actual excitement. On the other hand, when it tends to be inactive, it tends to be smaller as a whole regardless of the actual excitement. The general correction unit 31 performs standardization to absorb such differences between teams.

ここで、チームが平均的な活発さにある状態を抽出するために、会議のうち、挨拶をしているシーンを利用する。会議の最初は挨拶する場合が多い。よって、総合補正部31では、音声や仕草によってその挨拶時刻を切り出す。   Here, in order to extract a state where the team is in an average activity, a scene of greeting in the meeting is used. Many people greet at the beginning of the meeting. Therefore, the general correction unit 31 cuts out the greeting time by voice or gesture.

具体的には、会議データ(音声)を対象として、最初の一定時間(例えば、10分間)で「こんにちは」、「お疲れ様」を検索する。すなわち、周知の音声解析技術を用いて、所定の挨拶単語を検索する。または、会議データ(映像)より、お辞儀やうなずきを検索する。すなわち、周知のジェスチャー解析技術を用いて、所定の挨拶動作を検索する。   Specifically, as the target conference data (voice), the first predetermined time (e.g., 10 minutes) "Hello", the search for "cheers for good work." That is, a predetermined greeting word is searched using a well-known voice analysis technique. Or, search for bows and nods from conference data (video). That is, a predetermined greeting operation is searched using a well-known gesture analysis technique.

以上のようにして挨拶時刻が検出されたら、検出時刻を中心に例えば1分間といったような所定範囲の時間帯を挨拶時間帯と定義する。そして、当該挨拶時間帯の平均盛り上がり度を基準盛り上がり度とする。挨拶時間帯が複数検出されれば、それら全体での平均を利用すればよい。   When the greeting time is detected as described above, a predetermined time range such as one minute is defined as the greeting time zone centering on the detection time. And let the average excitement degree of the said greeting time zone be a reference excitement degree. If a plurality of greeting time zones are detected, the average of all of them may be used.

なお、挨拶時刻が一切検出できなかった場合、基準盛り上がり度は会議全体(会議が開始してから終了するまでの時間全体)の盛り上がり度を平均して求めればよい。   If no greeting time can be detected, the reference excitement degree may be obtained by averaging the excitement degrees of the entire meeting (the entire time from the start to the end of the meeting).

図1の構成では、盛り上がり度算出部12で算出した盛り上がり度を、総合補正部31が以上のように求める基準盛り上がり度によって以下の式(1)のように正規化する。これを、総合盛り上がり度と呼ぶこととする。   In the configuration of FIG. 1, the climax degree calculated by the climax degree calculation unit 12 is normalized as shown in the following formula (1) by the reference climax degree obtained by the general correction unit 31 as described above. This is called the total excitement degree.

なお、前述のように、基準盛り上がり度は盛り上がり度算出部12と同様の実施形態を当該挨拶時間帯に適用することによって求める。従って、上記I(t)の情報が盛り上がり度算出部12で既に求まっており、これを総合補正部31が直接補正する場合には、当該I(t)を挨拶時間帯においてそのまま平均することで基準盛り上がり度を求めればよく、会議データを総合補正部12において再度解析する必要はない。   As described above, the reference excitement degree is obtained by applying the same embodiment as the excitement degree calculation unit 12 to the greeting time zone. Therefore, when the information of I (t) has already been obtained by the degree of excitement calculation unit 12, and this is corrected directly by the general correction unit 31, the I (t) is averaged as it is in the greeting time zone. It is only necessary to obtain the reference excitement level, and it is not necessary to analyze the meeting data again in the general correction unit 12.

サブチーム補正部32は、会話関係によってチーム的な補正を行う。当該会話関係は、予め会話関係推定部321が推定しておく。そこで、以下ではまず、会話関係推定部321を説明する。   The sub team correction unit 32 performs team correction according to the conversational relationship. The conversation relation estimation unit 321 estimates the conversation relation in advance. Therefore, first, the conversation relationship estimation unit 321 will be described below.

会話関係推定部321では、会議データ(音声)に対して周知の話者認識技術により、あるいは、会議データ(映像)に対して顔認識技術で発言者を識別し、会話関係を推定する。図4に、図2のようなチームにおける会議の例に対して会話関係推定部321により推定される会話関係の例を示す。   The conversation relation estimation unit 321 identifies a speaker by using a known speaker recognition technique for conference data (voice) or a face recognition technique for conference data (video), and estimates the conversation relation. FIG. 4 shows an example of the conversation relationship estimated by the conversation relationship estimation unit 321 with respect to the example of the meeting in the team as shown in FIG.

図4は、次のような会話関係を表している。太枠で示すBさんがトピックを発起し、図中の線及び付与した数字で示すように、Dさんと2回のやりとりを行った。更に、当該トピックに関して、DさんとEさんは3回のやりとりを行った。また、当該トピックに関して、EさんとHさんは6回のやりとりを行うと共に、HさんとDさんは1回のやりとりを行った。図中、灰色で示すその他の人は、当該トピックに関して発言していない。   FIG. 4 shows the following conversation relationship. Mr. B, shown by a bold frame, started a topic and interacted with Mr. D twice, as indicated by the line and the number given in the figure. Furthermore, Mr. D and Mr. E exchanged three times on the topic. Regarding the topic, Mr. E and Mr. H exchanged six times, and Mr. H and Mr. D performed one interaction. Other people shown in gray in the figure do not speak on the topic.

以上のように、会話関係推定部321により、発起されたトピックにおける会話関係が推定されると共に、当該トピックについての会話がなされた時間帯{t|t1≦t≦t2}も求められる。会話関係推定部321は、以下の非特許文献4に開示の技術で実現できる。   As described above, the conversation relation estimation unit 321 estimates the conversation relation in the topic that has been started, and also obtains the time zone {t | t1 ≦ t ≦ t2} in which the conversation about the topic was made. The conversation relationship estimation unit 321 can be realized by the technique disclosed in Non-Patent Document 4 below.

[非特許文献4]Michel Galley, Kathleen McKeown, Eric Fosler-Lussier, and Hongyan Jing. 2003. Discourse segmentation of multi-party conversation. In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics - Volume 1 (ACL '03), Vol. 1. Association for Computational Linguistics, Stroudsburg, PA, USA, 562-569.   [Non-Patent Document 4] Michel Galley, Kathleen McKeown, Eric Fosler-Lussier, and Hongyan Jing. 2003. Discourse segmentation of multi-party conversation. In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics-Volume 1 (ACL '03 ), Vol. 1. Association for Computational Linguistics, Stroudsburg, PA, USA, 562-569.

以上、会話関係推定部321がその時間帯{t|t1≦t≦t2}と共に推定した会話関係に基づき、サブチーム補正部32が補正を実施する。具体的には、当該時間帯の会話関係における、チームの参加者(当該トピックの議論に参加した者)及び会話回数が多いほど、実際に盛り上がっていなくとも盛り上がり度の値が自然に大きくなる傾向があるので、逆に、当該時間帯における盛り上がり度を規格化して下げるようにする。同時に、当該時間帯の会話関係において実際に発言した者の会議参加場所の数が多いほど、自ずと遠隔に分断されることで活発さが損なわれる傾向が強まるので、逆に盛り上がり度を規格化して大きくするようにする。   As described above, the subteam correction unit 32 performs correction based on the conversation relationship estimated by the conversation relationship estimation unit 321 together with the time zone {t | t1 ≦ t ≦ t2}. Specifically, in a conversational relationship during the time period, the more the team participants (participants who participated in the discussion of the topic) and the number of conversations, the greater the value of the degree of climax naturally even if it is not actually swelled On the contrary, the degree of excitement in the time zone is normalized and lowered. At the same time, the more people who actually speak in the conversation during the time zone, the more likely it is that the activity will be lost due to the fact that it is divided into remote areas naturally. Try to make it bigger.

以上の方針により、会話関係推定部321では推定された時間帯{t|t1≦t≦t2}ごとの会話関係について、対応する時間帯の盛り上がり度を例えば以下の式(2)によって補正することができる。   Based on the above policy, the conversation relationship estimation unit 321 corrects the degree of excitement of the corresponding time zone for the estimated conversation time zone {t | t1 ≦ t ≦ t2} by the following equation (2), for example. Can do.

ここで、It(t)は時刻tの総合盛り上がり度であり、Mは参加者の数であり、Rは会話回数であり、Pは参加者の参加場所の数である。なお、当該説明においては図1の構成により補正することとしているので、総合盛り上がり度It(t)が補正の対象となり、補正適用された値IS(t)となっている。 Here, I t (t) is the total excitement level at time t, M is the number of participants, R is the number of conversations, and P is the number of participants' participation places. In this description, since correction is performed with the configuration of FIG. 1, the total swell degree I t (t) is a correction target, and is a value I S (t) that has been corrected.

例えば、図3の場合で時刻t1からt2までのサブチームはBさん、Dさん、Eさん、Hさんになる。サブチームの参加者の数Mが4人である。また、会話回数Rが12回である。さらに、参加者の参加場所の数Pが2か所である。   For example, in the case of FIG. 3, the sub-teams from time t1 to t2 are B, D, E, and H. The number M of sub-team participants is 4. The number of conversations R is 12. Furthermore, the number P of participants' participation places is two places.

個人補正部33は、個人的な要素を吸収することで、盛り上がり度を補正する。   The personal correction unit 33 corrects the degree of excitement by absorbing personal elements.

当該補正するために、参加者の役割、性格、参加場所を予め取得し、参加者プロファイルDB331に保存しておく。また、個人補正部33は予め、盛り上がり度算出部12及び/又は会話関係推定部321で解析した発言内容を、個人情報検出技術により解析することで、発言内容のプライバシー性を判定する。個人情報検出技術には周知のものを利用でき、発言内容テキストを解析して、所定のプライバシー関連用語があるか否かで判定すればよい。   In order to perform the correction, the role, personality, and participation place of the participant are acquired in advance and stored in the participant profile DB 331. In addition, the personal correction unit 33 determines the privacy of the speech content by analyzing the speech content analyzed by the excitement degree calculation unit 12 and / or the conversation relation estimation unit 321 in advance using a personal information detection technique. A well-known personal information detection technique can be used, and the speech content text is analyzed to determine whether there is a predetermined privacy-related term.

以上の準備のもと、個人補正部33は、時刻t3からt4まである参加者xが発言している場合に、当該時刻範囲{t|t3≦t≦t4}(複数存在する全ての当該範囲のそれぞれ)を対象として盛り上がり度に対して以下の式(3)のように調整値Mod(x)を加算することにより、盛り上がり度IS(t)からさらにIP(t)へと補正する。 Based on the above preparation, when the participant x from the time t3 to t4 speaks, the personal correction unit 33 concerned the time range {t | t3 ≦ t ≦ t4} (all the relevant ranges that exist in plural) The adjustment value Mod (x) is added to the degree of swell as shown in the following formula (3), and the degree of swell I S (t) is further corrected to I P (t). .

ここで、調整値Mod(x)は当該参加者xの役割、性格、参加場所と、当該参加者xの当該時間範囲における発言内容のプライバシー性とで定まる値(正、負、ゼロのいずれも取りうる)であり、上記事前準備した情報よりその値が定まる。   Here, the adjustment value Mod (x) is a value (both positive, negative, and zero) determined by the role, personality, participation location of the participant x and the privacy of the content of the participant x in the time range. The value is determined from the information prepared in advance.

図5は、調整値を計算するための表の例である。例えばAさんが「性格:外向的」、「役割:リーダー」、参加場所「遠隔」であり、そのある時間帯における発言内容において「プライバシー性:ある」であった場合、当該Aさんの当該時間帯における調整値は以下のように計算される。
Mod(A)=(-0.5)+(-0.5)+0.5+0.5=0
FIG. 5 is an example of a table for calculating the adjustment value. For example, if Mr. A is “personality: outgoing”, “role: leader”, and participation place “remote”, and the content of the statement in that time zone is “privacy: yes”, then Mr. A ’s time The adjustment value in the band is calculated as follows.
Mod (A) = (-0.5) + (-0.5) + 0.5 + 0.5 = 0

なお、図5の表に例示したような調整値の具体的な値は、予め所定値を定めておくが、次のような方針に従ってその値を与えておけばよい。   In addition, although the specific value of the adjustment value illustrated in the table of FIG. 5 is determined in advance, the value may be given according to the following policy.

性格に関しては、外向的であればもともと発言が活発であるので、盛り上がり度を下げるよう調整し、内向的であればその逆とする。役割に関しては、リーダーであればもともと頻発に発言せざるを得ないので、リーダーに関しては盛り上がり度を下げるように調整する。参加場所に関しては、遠隔であればもともと消極的になりがちであるので、盛り上がり度を上げるように調整する。発言内容のプライバシー性に関しては、プライバシーがある話はもともと消極的になりがちであるので、プライバシーがある場合には盛り上がり度をあげるように調整する。   As for the personality, since the remarks are originally active if they are extroverted, the degree of excitement is adjusted, and vice versa if they are introverted. As for the role, since leaders are forced to speak frequently, the leaders are adjusted to reduce the level of excitement. As for the place of participation, if it is remote, it tends to be passive from the beginning, so adjust it to increase the excitement. As for the privacy of the content of speech, since talks with privacy tend to be passive from the beginning, adjustments are made to increase the excitement when there is privacy.

なお、参加場所の遠隔とは、主会場に対するサブ会場を意味する。主会場に会議を主導する主要メンバーが揃っており、遠隔のサブ会場では補助参加的なメンバーが参加している、という前提である。このような区別がなく、各会場が会議参加の積極性に関して対等であれば、遠隔/主会場による調整は省略してよい。   Note that the remote location means a sub venue for the main venue. It is assumed that there are main members who lead the conference at the main venue, and that auxiliary participants are participating at the remote sub-site. If there is no such distinction and each venue is equal in terms of the aggressiveness of participating in the conference, the remote / main venue adjustment may be omitted.

なお、参加者プロファイルDB331はマニュアル入力等により事前用意してもよいし、その内容を自動推定するようにしてもよい。自動推定する場合、以下のような種々の従来技術を利用することができる。   The participant profile DB 331 may be prepared in advance by manual input or the contents thereof may be automatically estimated. For automatic estimation, the following various conventional techniques can be used.

参加者の役割の自動判定において、音声情報で判定する技術として、以下の[非特許文献5]のように、発言内容と対話関係を利用し、AdaBoostなど分類器でリーダーなど役割を自動推定することが可能である。   In the automatic determination of the role of the participant, as a technique for determining by voice information, as shown in [Non-Patent Document 5] below, the role of a leader or the like is automatically estimated by a classifier such as AdaBoost as shown in [Non-Patent Document 5] It is possible.

[非特許文献5] Neha P. Garg, Sarah Favre, Hugues Salamin, Dilek Hakkani Tur, and Alessandro Vinciarelli. 2008. Role recognition for meeting participants: an approach based on lexical information and social network analysis. In Proceedings of the 16th ACM international conference on Multimedia (MM '08). ACM, New York, NY, USA, 693-696.   [Non-Patent Document 5] Neha P. Garg, Sarah Favre, Hugues Salamin, Dilek Hakkani Tur, and Alessandro Vinciarelli. 2008. Role recognition for meeting participants: an approach based on lexical information and social network analysis. In Proceedings of the 16th ACM international conference on Multimedia (MM '08). ACM, New York, NY, USA, 693-696.

また、参加者の性格を会議の音声及び映像のみで自動推定する技術の例として、以下の[非特許文献6]がある。当該技術ではサポートベクトルマシン(Support Vector Machine)を利用している。   Moreover, there is the following [Non-Patent Document 6] as an example of a technique for automatically estimating the personality of a participant only with audio and video of a meeting. The technology uses a support vector machine.

[非特許文献6] Bruno Lepri, Nadia Mana, Alessandro Cappelletti, Fabio Pianesi, Massimo Zancanaro, Modeling the Personality of Participants During Group Interactions, User Modeling, Adaptation, and Personalization, LNCS, Vol. 5535, pp. 114-125, 2009.   [Non-Patent Document 6] Bruno Lepri, Nadia Mana, Alessandro Cappelletti, Fabio Pianesi, Massimo Zancanaro, Modeling the Personality of Participants During Group Interactions, User Modeling, Adaptation, and Personalization, LNCS, Vol. 5535, pp. 114-125, 2009.

また、参加者の参加場所は、各参加者が端末等を保持している前提のもと、Wi-Fi(登録商標)やGPS(全地球測位システム)などから推定できる。例えばGoogle社の「Google Location Service」やクウジット社の「PlaceEngine」も同種のデータベースを持ち、Wi-Fi による測位サービスを提供している。   In addition, the participation location of the participants can be estimated from Wi-Fi (registered trademark), GPS (Global Positioning System), etc., on the assumption that each participant holds a terminal or the like. For example, Google's “Google Location Service” and Kugit ’s “PlaceEngine” have similar databases and provide Wi-Fi positioning services.

以上、本発明の会議分析装置10によれば、音声や表情、仕草などで推定した絶対評価としての値の盛り上がり度を、参加者の個性や参加場所、発言内容、話者関係などによって、全体からサブチーム、個人まで三段階で補正し、相対評価の値とする。これにより、会議の盛り上がり度をより精度高く推定することができる。   As described above, according to the conference analysis apparatus 10 of the present invention, the degree of excitement of the value as an absolute evaluation estimated by voice, facial expression, gesture, etc., depends on the individuality of the participant, the place of participation, the content of the statement, the speaker relationship, etc. From the sub-team to the individual, it is corrected in three stages, and is used as a relative evaluation value. Thereby, the excitement degree of the meeting can be estimated with higher accuracy.

11…会議記録部、12…盛り上がり度算出部、30…補正部、31…総合補正部、32…サブチーム補正部、33…個人補正部   11 ... Meeting recording unit, 12 ... Swelling degree calculation unit, 30 ... Correction unit, 31 ... General correction unit, 32 ... Subteam correction unit, 33 ... Personal correction unit

Claims (6)

音声及び/又は映像を含んで記録された会議データより、会議の盛り上がり度を算出する会議分析装置であって、
前記会議データより会議の進行に沿った時系列としての特徴量を抽出し、当該特徴量に基づいて、絶対評価値として、会議の進行に沿った時系列としての盛り上がり度を算出する盛り上がり度算出部と、
前記絶対評価値としての盛り上がり度を相対評価値としての盛り上がり度に補正する補正部と、を備え、
前記補正部は、以下の(1)〜(3)にそれぞれ示す各部を少なくとも1つを備えることにより、前記相対評価値としての盛り上がり度に補正することを特徴とする会議分析装置。
(1)前記盛り上がり度算出部の算出する盛り上がり度において会議参加者全体としての標準の盛り上がり度を考慮することで、盛り上がり度を会議全体に渡って補正する総合補正部
(2)前記会議データを解析することで、会議参加者の一部が議論に参加したトピックを対象として、当該一部の参加者における標準の盛り上がり度を考慮することで、当該トピックの議論された区間ごとに盛り上がり度を補正するサブチーム補正部
(3)前記会議データを解析することで、会議における各参加者の発言区間ごとに、当該参加者の性質及び当該発言内容に基づいて盛り上がり度を補正する個人補正部
A conference analyzer that calculates the degree of excitement of a conference from conference data recorded including audio and / or video,
A feature amount as a time series along the progress of the conference is extracted from the conference data, and a degree of excitement is calculated based on the feature amount as a time series along the progress of the conference as an absolute evaluation value And
A correction unit that corrects the climax as the absolute evaluation value to the climax as the relative evaluation value,
The said correction | amendment part correct | amends to the excitement degree as said relative evaluation value by providing at least 1 each part shown to each of the following (1)-(3), The meeting analyzer characterized by the above-mentioned.
(1) Comprehensive correction unit that corrects the degree of excitement over the entire meeting by considering the standard degree of excitement as the whole conference participant in the degree of excitement calculated by the excitement degree calculating unit. (2) By analyzing the topic, a topic that a part of the conference participants participated in the discussion is taken into account. (3) A personal correction unit that corrects the degree of excitement based on the nature of the participant and the content of the speech for each speech segment of the participant in the conference by analyzing the conference data
前記総合補正部は、会議開始後の所定区間より、挨拶を含む区間を抽出し、当該抽出した区間における標準の盛り上がり度によって規格化することで補正することを特徴とする請求項1に記載の会議分析装置。   The said total correction | amendment part extracts the area containing a greeting from the predetermined area after a meeting start, and correct | amends by normalizing by the standard excitement degree in the said extracted area, The correction | amendment of Claim 1 characterized by the above-mentioned. Conference analyzer. 前記サブチーム補正部は、前記トピックの議論された区間における、前記一部の参加者の人数、会話回数及び参加場所数に基づいて補正することを特徴とする請求項1または2に記載の会議分析装置。   The conference according to claim 1, wherein the sub-team correction unit corrects based on the number of participants, the number of conversations, and the number of places of participation in the section in which the topic is discussed. Analysis equipment. 前記個人補正部は、会議における各参加者の発言区間ごとに、当該参加者の性格、会議における役割、参加場所、及び、当該発言のプライバシー性有無、に基づいて補正することを特徴とする請求項1ないし3のいずれかに記載の会議分析装置。   The personal correction unit corrects for each participant's speech section in the conference based on the personality of the participant, the role in the conference, the place of participation, and the presence or absence of privacy of the speech. Item 4. The meeting analyzer according to any one of Items 1 to 3. 音声及び/又は映像を含んで記録された会議データより、会議の盛り上がり度を算出する会議分析方法であって、
前記会議データより会議の進行に沿った時系列としての特徴量を抽出し、当該特徴量に基づいて、絶対評価値として、会議の進行に沿った時系列としての盛り上がり度を算出する盛り上がり度算出段階と、
前記絶対評価値としての盛り上がり度を相対評価値としての盛り上がり度に補正する補正段階と、を備え、
前記補正段階は、以下の(1)〜(3)にそれぞれ示す各段階を少なくとも1つを備えることにより、前記相対評価値としての盛り上がり度に補正することを特徴とする会議分析方法。
(1)前記盛り上がり度算出段階の算出する盛り上がり度において会議参加者全体としての標準の盛り上がり度を考慮することで、盛り上がり度を会議全体に渡って補正する総合補正段階
(2)前記会議データを解析することで、会議参加者の一部が議論に参加したトピックを対象として、当該一部の参加者における標準の盛り上がり度を考慮することで、当該トピックの議論された区間ごとに盛り上がり度を補正するサブチーム補正段階
(3)前記会議データを解析することで、会議における各参加者の発言区間ごとに、当該参加者の性質及び当該発言内容に基づいて盛り上がり度を補正する個人補正段階
A meeting analysis method for calculating a degree of excitement of a meeting from meeting data recorded including audio and / or video,
A feature amount as a time series along the progress of the conference is extracted from the conference data, and a degree of excitement is calculated based on the feature amount as a time series along the progress of the conference as an absolute evaluation value Stages,
A correction stage for correcting the degree of swell as the absolute evaluation value to the degree of swell as a relative evaluation value,
The conference analysis method according to claim 1, wherein the correction stage includes at least one of the stages shown in the following (1) to (3) to correct the degree of excitement as the relative evaluation value.
(1) Comprehensive correction stage for correcting the degree of excitement over the entire meeting by taking into account the standard degree of excitement for the entire conference participants in the degree of excitement calculated in the step of calculating the degree of excitement (2) By analyzing the topic, a topic that a part of the conference participants participated in the discussion is taken into account. Sub-team correction stage for correction (3) Individual correction stage for correcting the degree of excitement based on the nature of the participant and the content of the speech for each speech section of each participant in the conference by analyzing the conference data
コンピュータを請求項1ないし4のいずれかに記載の会議分析装置として機能させることを特徴とするプログラム。   A program for causing a computer to function as the conference analyzer according to any one of claims 1 to 4.
JP2014133066A 2014-06-27 2014-06-27 Congress analysis device, method and program Pending JP2016012216A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014133066A JP2016012216A (en) 2014-06-27 2014-06-27 Congress analysis device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014133066A JP2016012216A (en) 2014-06-27 2014-06-27 Congress analysis device, method and program

Publications (1)

Publication Number Publication Date
JP2016012216A true JP2016012216A (en) 2016-01-21

Family

ID=55228901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014133066A Pending JP2016012216A (en) 2014-06-27 2014-06-27 Congress analysis device, method and program

Country Status (1)

Country Link
JP (1) JP2016012216A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934779B2 (en) 2016-03-09 2018-04-03 Honda Motor Co., Ltd. Conversation analyzing device, conversation analyzing method, and program
JP2019057061A (en) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 Information output device and program
JP2019079404A (en) * 2017-10-26 2019-05-23 富士ゼロックス株式会社 Device, management system, and program
US10699224B2 (en) 2016-09-13 2020-06-30 Honda Motor Co., Ltd. Conversation member optimization apparatus, conversation member optimization method, and program
JP2021067846A (en) * 2019-10-24 2021-04-30 菱洋エレクトロ株式会社 Conference support device, conference support method and conference support program
JPWO2022091230A1 (en) * 2020-10-27 2022-05-05
CN114509157A (en) * 2020-11-17 2022-05-17 丰田自动车株式会社 Information processing system, information processing method, and program
US12087090B2 (en) 2019-09-30 2024-09-10 Fujifilm Corporation Information processing system and information processing method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934779B2 (en) 2016-03-09 2018-04-03 Honda Motor Co., Ltd. Conversation analyzing device, conversation analyzing method, and program
US10699224B2 (en) 2016-09-13 2020-06-30 Honda Motor Co., Ltd. Conversation member optimization apparatus, conversation member optimization method, and program
JP2019057061A (en) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 Information output device and program
JP2019079404A (en) * 2017-10-26 2019-05-23 富士ゼロックス株式会社 Device, management system, and program
US11403567B2 (en) 2017-10-26 2022-08-02 Fujifilm Business Innovation Corp. Apparatus, management system, and non-transitory computer readable medium
JP7135295B2 (en) 2017-10-26 2022-09-13 富士フイルムビジネスイノベーション株式会社 Device
US12087090B2 (en) 2019-09-30 2024-09-10 Fujifilm Corporation Information processing system and information processing method
JP2021067846A (en) * 2019-10-24 2021-04-30 菱洋エレクトロ株式会社 Conference support device, conference support method and conference support program
JPWO2022091230A1 (en) * 2020-10-27 2022-05-05
CN114509157A (en) * 2020-11-17 2022-05-17 丰田自动车株式会社 Information processing system, information processing method, and program
CN114509157B (en) * 2020-11-17 2024-04-05 丰田自动车株式会社 Information processing system, information processing method, and program

Similar Documents

Publication Publication Date Title
JP2016012216A (en) Congress analysis device, method and program
US20190130910A1 (en) Information processing apparatus
KR101532705B1 (en) Methods for electronically analysing a dialogue and corresponding systems
Wyatt et al. Inferring colocation and conversation networks from privacy-sensitive audio with implications for computational social science
US9293133B2 (en) Improving voice communication over a network
US9210269B2 (en) Active speaker indicator for conference participants
Eyben et al. Affect recognition in real-life acoustic conditions-a new perspective on feature selection
US10652655B1 (en) Cognitive volume and speech frequency levels adjustment
KR20150031896A (en) Speech recognition device and the operation method
Salamin et al. Automatic detection of laughter and fillers in spontaneous mobile phone conversations
KR101840594B1 (en) Apparatus and method for evaluating participation of video conference attendee
WO2019093392A1 (en) Communication skill evaluation system, device, method, and program
WO2020148920A1 (en) Information processing device, information processing method, and information processing program
US9916843B2 (en) Voice processing apparatus, voice processing method, and non-transitory computer-readable storage medium to determine whether voice signals are in a conversation state
JP2017009825A (en) Conversation state analyzing device and conversation state analyzing method
Włodarczak et al. Respiratory turn-taking cues
US11699043B2 (en) Determination of transcription accuracy
CN106796803A (en) Method and apparatus for separating speech data with background data in voice communication
JP2018077791A (en) Estimation method and estimation system
CN104135638A (en) Optimized video snapshot
Vinciarelli et al. Understanding social signals in multi-party conversations: Automatic recognition of socio-emotional roles in the ami meeting corpus
Khaki et al. Continuous emotion tracking using total variability space.
JP6363987B2 (en) Voice processing system, voice processing apparatus, and voice processing program
KR101996630B1 (en) Method, system and non-transitory computer-readable recording medium for estimating emotion for advertising contents based on video chat
JP2008146268A (en) Method for estimating pronunciation using image

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160823