JP2017112545A - Conference support system - Google Patents

Conference support system Download PDF

Info

Publication number
JP2017112545A
JP2017112545A JP2015246672A JP2015246672A JP2017112545A JP 2017112545 A JP2017112545 A JP 2017112545A JP 2015246672 A JP2015246672 A JP 2015246672A JP 2015246672 A JP2015246672 A JP 2015246672A JP 2017112545 A JP2017112545 A JP 2017112545A
Authority
JP
Japan
Prior art keywords
conference
degree
support information
unit
support system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015246672A
Other languages
Japanese (ja)
Other versions
JP6655378B2 (en
Inventor
平野　啓一郎
Keiichiro Hirano
啓一郎 平野
伊藤　健
Takeshi Ito
健 伊藤
竹内　裕
Yutaka Takeuchi
裕 竹内
佳子 八木
Yoshiko Yagi
佳子 八木
宏一 辻村
Koichi Tsujimura
宏一 辻村
良一 森田
Ryoichi Morita
良一 森田
田中　啓介
Keisuke Tanaka
啓介 田中
浩彰 藤田
Hiroaki Fujita
浩彰 藤田
幸佑 星
Yusuke Hoshi
幸佑 星
哲生 西野
Tetsuo Nishino
哲生 西野
洋介 加藤
Yosuke Kato
洋介 加藤
圭以 中山
Kei Nakayama
圭以 中山
祥子 岸田
Shoko Kishida
祥子 岸田
良 高原
Makoto Takahara
良 高原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Itoki Corp
Original Assignee
Itoki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Itoki Corp filed Critical Itoki Corp
Priority to JP2015246672A priority Critical patent/JP6655378B2/en
Publication of JP2017112545A publication Critical patent/JP2017112545A/en
Application granted granted Critical
Publication of JP6655378B2 publication Critical patent/JP6655378B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a conference support system which quantitatively evaluates an atmosphere during a conference and supports the conference so as to smoothly proceed with a discussion.SOLUTION: As first means, the conference support system comprises: voice acquisition means (an indoor microphone 10 and individual microphones 11a-11f) for acquiring voices of conference participants; support information generation means (arithmetic part 14) for generating conference support information 15a based on voices; and provision means for providing the conference support information to the conference participants. As second means, in the first means, the support information generation means includes a convergence degree discrimination part for discriminating a conclusion degree of a discussion as a convergence degree, and the conference support information includes information indicating the convergence degree. As third means, in the first or second means, the support information generation means includes a buildup degree discrimination part for discriminating a buildup degree of the discussion, and the conference support information includes information indicating the buildup degree.SELECTED DRAWING: Figure 2

Description

本発明は、会議支援システムに関するものである。   The present invention relates to a conference support system.

従来から、会議を補助する会議支援システムが存在している。例えば、特許文献１には、会議中の会話の音声を取得し、当該音声を解析して文章テキストデータを生成し、議事録作成を支援する議事録作成補助装置が開示されている。この議事録作成補助装置によれば、議事録に記載し忘れがあると判断すると、議事録作成者に警告を行うため、議事録作成者が議事内容を記載し忘れることを防止することができる。   Conventionally, there is a conference support system for assisting a conference. For example, Patent Document 1 discloses a minutes creation assisting device that acquires the voice of conversation during a meeting, analyzes the voice to generate text data, and supports the creation of minutes. According to this minutes creation assisting device, if it is determined that there is a forgotten entry in the minutes, a warning is given to the minutes creator, thus preventing the minutes creator from forgetting to write the details of the minutes. .

特開２０１５−７０２９９号公報Japanese Patent Laying-Open No. 2015-70299

ところで、会議を円滑に進めるための最も重要な要件は、会議参加者同士が議題について共通認識を持つことである。しかしながら、例えば会議参加者の年齢に開きがあった場合や、会議参加者の言語が異なっている場合、会議におけるモチベーションに差がある場合等には、会議参加者同士が共通認識を持つことができない可能性がある。また、従来の会議支援システムは、会議参加者の認識を共有し、会議を円滑に進めることを補助するシステムではない。   By the way, the most important requirement for smoothly proceeding with the conference is that the conference participants have a common understanding of the agenda. However, for example, when there is a gap in the age of the conference participants, when the conference participants have different languages, or when there is a difference in the motivation in the conference, the conference participants may have a common recognition. It may not be possible. Further, the conventional conference support system is not a system that shares the recognition of conference participants and assists the smooth progress of the conference.

本発明は、上述する問題点に鑑みてなされたもので、会議における雰囲気を定量的に評価し、議論を円滑に進めることができるように補助することを目的とする。   The present invention has been made in view of the above-described problems, and an object thereof is to quantitatively evaluate the atmosphere in a meeting and assist the discussion to proceed smoothly.

上記課題を解決するために、本発明では、会議支援システムに係る第１の手段として、会議参加者の音声を取得する音声取得手段と、前記音声に基づいて会議支援情報を生成する支援情報生成手段と、前記会議支援情報を前記会議参加者に提供する提供手段とを備える、という手段を採用する。   In order to solve the above problems, in the present invention, as a first means related to a conference support system, voice acquisition means for acquiring the voice of a conference participant, and support information generation for generating conference support information based on the voice And means for providing the conference support information to the conference participants.

上記課題を解決するために、本発明では、会議支援システムに係る第２の手段として、上記第１の手段において、前記支援情報生成手段は、議論のまとまり度合を収束度として判定する収束度判定部を備え、前記会議支援情報は、前記収束度を示す情報を含む、という手段を採用する。   In order to solve the above-described problem, in the present invention, as the second means related to the conference support system, in the first means, the support information generation means determines the degree of discussion as the degree of convergence. And the meeting support information includes information indicating the degree of convergence.

上記課題を解決するために、本発明では、会議支援システムに係る第３の手段として、上記第１または第２の手段において、前記支援情報生成手段は、議論の盛り上がり度合を判定する盛り上がり度判定部を備え、 前記会議支援情報は、前記盛り上がり度を示す情報を含む、という手段を採用する。   In order to solve the above-described problem, in the present invention, as the third means related to the conference support system, in the first or second means, the support information generating means determines the excitement degree of the discussion. The meeting support information includes information indicating the degree of excitement.

上記課題を解決するために、本発明では、会議支援システムに係る第４の手段として、上記第1〜第３のいずれかの手段において、前記会議参加者を撮像する撮像手段をさらに備え、前記支援情報生成手段は、前記撮像手段によって撮像された画像に基づいて前記会議支援情報を生成する、という手段を採用する。   In order to solve the above-mentioned problem, in the present invention, as a fourth means related to the conference support system, in any one of the first to third means, an imaging means for imaging the conference participant is further provided, The support information generation unit employs a unit that generates the conference support information based on the image captured by the imaging unit.

上記課題を解決するために、本発明では、会議支援システムに係る第５の手段として、上記第４の手段において、前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への関心度を判定する関心度判定部を備え、前記会議支援情報は、前記関心度を示す情報を含む、という手段を採用する。   In order to solve the above-mentioned problem, in the present invention, as the fifth means related to the conference support system, in the fourth means, the support information generating means is configured to apply the agenda of the conference participant based on the image. An interest level determination unit that determines an interest level is provided, and the meeting support information includes information indicating the interest level.

上記課題を解決するために、本発明では、会議支援システムに係る第６の手段として、上記第４または第５の手段において、前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への理解度を判定する理解度判定部を備え、前記会議支援情報は、前記理解度を示す情報を含む、という手段を採用する。   In order to solve the above-mentioned problem, in the present invention, as the sixth means related to the conference support system, in the above fourth or fifth means, the support information generating means is configured such that the support information generating means An understanding level determination unit that determines an understanding level of the agenda is provided, and the meeting support information includes information indicating the understanding level.

上記課題を解決するために、本発明では、第７の手段として、上記第４〜第６のいずれかの手段において、前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への同意度を判定する同意度判定部を備え、前記会議支援情報は、前記同意度を示す情報を含む、という手段を採用する。   In order to solve the above-described problem, in the present invention, as the seventh means, in any one of the fourth to sixth means, the support information generating means determines the agenda of the conference participant based on the image. An agreement level determination unit for determining the agreement level is provided, and the meeting support information includes information indicating the agreement level.

上記課題を解決するために、本発明では、第８の手段として、上記第４〜第７のいずれかの手段において、前記支援情報生成手段は、前記音声、前記画像及び前記会議支援情報に基づいて議事録を作成する議事録作成部を備える、という手段を採用する。   In order to solve the above problems, in the present invention, as the eighth means, in any one of the fourth to seventh means, the support information generating means is based on the voice, the image, and the conference support information. A method of providing a minutes creation unit that creates minutes is adopted.

上記課題を解決するために、本発明では、第９の手段として、上記第１〜第８のいずれかの手段において、前記会議参加者に対して注意を促す注意手段をさらに備え、 前記支援情報生成手段は、前記音声に基づいて前記会議参加者の発言頻度を算出し、当該発言頻度の少ない前記会議参加者に対して注意を促すように前記注意手段に指示を出す注意指示部を備える、という手段を採用する。   In order to solve the above-mentioned problem, in the present invention, as the ninth means, in any one of the first to eighth means, further comprising a caution means for calling attention to the conference participant, the support information The generation unit includes a caution instruction unit that calculates the utterance frequency of the conference participant based on the voice and issues an instruction to the caution unit so as to call attention to the conference participant with a low utterance frequency. Adopt the means.

本発明によれば、会議中における会議参加者の状態（状況）に応じた会議支援情報が会議参加者に提供される。これにより、会議参加者は、会議の現状を適宜認識することが可能であり、よって認識を共有することが可能となる。したがって、本発明によれば、議論を円滑に進めることができる。   According to the present invention, conference support information corresponding to the state (situation) of a conference participant during a conference is provided to the conference participant. As a result, the conference participants can appropriately recognize the current status of the conference, and thus can share the recognition. Therefore, according to the present invention, the discussion can proceed smoothly.

本発明の一実施形態に係る会議支援システムが適用される会議室の一例を示すレイアウト図である。It is a layout figure showing an example of a conference room to which a conference support system concerning one embodiment of the present invention is applied. 本発明の一実施形態に係る会議支援システムのシステム構成図である。It is a system configuration figure of a meeting support system concerning one embodiment of the present invention. 本発明の一実施形態における演算部の機能ブロック図である。It is a functional block diagram of the calculating part in one Embodiment of this invention. 本発明の一実施形態における演算部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the calculating part in one Embodiment of this invention. 本発明の一実施形態の会議支援システムによって作成された議事録の一例を示す模式図である。It is a schematic diagram which shows an example of the minutes produced by the meeting assistance system of one Embodiment of this invention.

以下、図面を参照して、本発明の一実施形態に係る会議支援システムについて説明する。   Hereinafter, a conference support system according to an embodiment of the present invention will be described with reference to the drawings.

図１は、本実施形態に係る会議支援システム１が適用される会議室のレイアウトの一例である。図１に示すように、本実施形態の会議室は、机Ａと、椅子Ｂと、プロジェクタＣと、スクリーンＤを基本備品とするものである。机Ａは、天板が長辺と短辺とを有する長方形をしており、長辺側には会議参加者が着席する椅子Ｂ１〜Ｂ６が配置されている。椅子Ｂ１〜Ｂ３と椅子Ｂ４〜Ｂ６は、机Ａを挟んで対向するように３つずつ配置されている。プロジェクタＣは、会議資料等をスクリーンＤに投影する装置である。また、スクリーンＤは、会議室壁面に設置されている。   FIG. 1 is an example of a layout of a conference room to which the conference support system 1 according to the present embodiment is applied. As shown in FIG. 1, the conference room of the present embodiment has desk A, chair B, projector C, and screen D as basic equipment. The desk A has a rectangular shape with a top plate having a long side and a short side, and chairs B1 to B6 on which conference participants are seated are arranged on the long side. Three chairs B1 to B3 and three chairs B4 to B6 are arranged so as to face each other across the desk A. The projector C is a device that projects conference materials and the like onto the screen D. The screen D is installed on the wall surface of the conference room.

続いて、会議支援システム１の構成について説明する。図２は、本実施形態に係る会議支援システムのシステム構成図である。会議支援システム１は、室内マイク１０、個人マイク１１ａ〜１１ｆ、カメラ１２ａ、１２ｂ、操作部１３、演算部１４、記憶部１５、表示部１６ａ〜１６ｆ、通信部１７及び振動子１８ａ〜１８ｂを備えている。なお、この会議支援システム１は、上記基本備品に対して追加された追加備品である。   Next, the configuration of the conference support system 1 will be described. FIG. 2 is a system configuration diagram of the conference support system according to the present embodiment. The conference support system 1 includes an indoor microphone 10, personal microphones 11a to 11f, cameras 12a and 12b, an operation unit 13, a calculation unit 14, a storage unit 15, display units 16a to 16f, a communication unit 17, and vibrators 18a to 18b. ing. The conference support system 1 is an additional equipment added to the basic equipment.

室内マイク１０は、会議室内全体の音声を取得するマイク（無指向性マイク）である。室内マイク１０は、不図示のケーブル等で演算部１４と接続されており、音声信号を演算部１４に出力する。個人マイク１１ａ〜１１ｆは、図１に示すように、椅子Ｂ１〜Ｂ６に対して一つずつ設置されるマイク（指向性マイク）であり、椅子Ｂ１〜Ｂ６に着席した会議参加者の音声を個別に取得する。この個人マイク１１ａ〜１１ｆは、不図示のケーブル等で演算部１４と接続されており、音声信号を演算部１４に出力する。これらの室内マイク１０及び個人マイク１１ａ〜１１ｆは、本発明における音声取得手段に相当する。   The indoor microphone 10 is a microphone (an omnidirectional microphone) that acquires the voice of the entire conference room. The indoor microphone 10 is connected to the calculation unit 14 via a cable or the like (not shown), and outputs an audio signal to the calculation unit 14. As shown in FIG. 1, the personal microphones 11 a to 11 f are microphones (directional microphones) installed one by one with respect to the chairs B1 to B6, and the voices of conference participants seated on the chairs B1 to B6 are individually recorded. To get to. The personal microphones 11 a to 11 f are connected to the calculation unit 14 through a cable or the like (not shown), and output an audio signal to the calculation unit 14. The indoor microphone 10 and the personal microphones 11a to 11f correspond to sound acquisition means in the present invention.

カメラ１２ａは、机Ａに対して椅子Ｂ５の後方に設けられ、椅子Ｂ１〜Ｂ３に着席した会議参加者の表情及び姿勢を動画として撮影する。カメラ１２ｂは、机Ａに対して椅子Ｂ２の後方に設けられ、椅子Ｂ４〜Ｂ６に着席した会議参加者の表情及び姿勢を撮影する。これらカメラ１２ａ、１２ｂは、赤外線センサを備えており、対象物に赤外線を照射することにより対象物との距離を測定することが可能である。これにより、カメラ１２ａ、１２ｂは、会議参加者の上半身を撮影し、さらにカメラ１２ａ、１２ｂと会議参加者との距離を測定することで、上半身の姿勢の変化を取得する。また、カメラ１２ａ、１２ｂは、撮影した画像を示す画像信号を演算部１４に出力する。なお、カメラ１２ａ、１２ｂは、本発明における撮像手段に相当する。操作部１３は、会議参加者または議事録を閲覧する会議関係者が会議支援システム１に議事録作成指示を行うキーボード、あるいはタッチパネルであり、演算部１４に指示信号を出力する。   The camera 12a is provided behind the chair B5 with respect to the desk A, and photographs the facial expressions and postures of the conference participants seated on the chairs B1 to B3 as a moving image. The camera 12b is provided behind the chair B2 with respect to the desk A, and photographs the facial expressions and postures of the conference participants seated in the chairs B4 to B6. These cameras 12a and 12b are provided with an infrared sensor, and can measure the distance to the object by irradiating the object with infrared light. Accordingly, the cameras 12a and 12b capture the upper body of the conference participant, and further measure the distance between the cameras 12a and 12b and the conference participant to acquire a change in the posture of the upper body. Further, the cameras 12a and 12b output image signals indicating captured images to the calculation unit 14. The cameras 12a and 12b correspond to the imaging means in the present invention. The operation unit 13 is a keyboard or a touch panel used by a conference participant or a conference related person who browses the minutes to instruct the conference support system 1 to create the minutes, and outputs an instruction signal to the calculation unit 14.

演算部１４は、上記記憶部１５に予め記憶された会議支援プログラムに基づいて音声信号及び画像信号に対して所定の演算処理を行う一種のコンピュータである。この演算部１４は、図３に示すように、演算部１４は、音声解析部１４ａ、画像解析部１４ｂ、収束度判定部１４ｃ、盛り上がり度判定部１４ｄ、関心度判定部１４ｅ、理解度判定部１４ｆ、同意度判定部１４ｇ及び議事録作成部１４ｈを備えている。なお、これら各機能構成要素は、ハードウエア的な機能構成要素ではなく、演算部１４が会議支援プログラムを実行することによって実現されるソフトウエア的な機能構成要素である。   The calculation unit 14 is a kind of computer that performs predetermined calculation processing on audio signals and image signals based on a conference support program stored in advance in the storage unit 15. As shown in FIG. 3, the calculation unit 14 includes a voice analysis unit 14a, an image analysis unit 14b, a convergence determination unit 14c, a climax determination unit 14d, an interest determination unit 14e, and an understanding determination unit. 14f, an agreement degree determination unit 14g, and a minutes creation unit 14h. Each of these functional components is not a hardware functional component but a software functional component realized by the arithmetic unit 14 executing the conference support program.

音声解析部１４ａは、室内マイク１０及び個人マイク１１ａ〜１１ｆから取得した音声を解析し、音圧の算出及び音声テキストの生成を行う。画像解析部１４ｂは、カメラ１２ａ、１２ｂから取得した会議参加者の画像データを解析し、会議参加者各人の表情及び姿勢を判定する。収束度判定部１４ｃは、音声解析部１４ａから取得した音声テキストデータを基に頻出キーワードを抽出する。さらに、収束度判定部１４ｃは、頻出キーワードの変化傾向から収束度を判定する。また、収束度判定部１４ｃは、収束度及び頻出キーワードを記憶部１５に会議支援情報１５ａとして記憶する。   The voice analysis unit 14a analyzes voices acquired from the indoor microphone 10 and the personal microphones 11a to 11f, and calculates sound pressure and generates voice text. The image analysis unit 14b analyzes the image data of the conference participants acquired from the cameras 12a and 12b, and determines the facial expression and posture of each conference participant. The convergence determination unit 14c extracts frequent keywords based on the speech text data acquired from the speech analysis unit 14a. Furthermore, the convergence degree determination unit 14c determines the degree of convergence from the tendency of frequent keywords to change. In addition, the convergence degree determination unit 14c stores the convergence degree and the frequent keywords as conference support information 15a in the storage unit 15.

盛り上がり度判定部１４ｄは、音声解析部１４ａから取得した会議室内の音圧の大きさから盛り上がり度を判定し、記憶部１５に会議支援情報１５ａとして記憶する。関心度判定部１４ｅは、画像解析部１４ｂから取得した会議参加者各人の姿勢データの前傾角度及び表情に基づいて、会議参加者各人の関心度を判定する。さらに、関心度判定部１４ｅは、会議参加者各人の関心度の平均を算出して記憶部１５に会議支援情報１５ａとして記憶する。   The excitement level determination unit 14d determines the excitement level from the magnitude of sound pressure in the conference room acquired from the voice analysis unit 14a, and stores it in the storage unit 15 as conference support information 15a. The interest level determination unit 14e determines the level of interest of each conference participant based on the forward tilt angle and facial expression of the posture data of each conference participant acquired from the image analysis unit 14b. Furthermore, the interest level determination unit 14e calculates the average of the interest levels of each conference participant and stores the average in the storage unit 15 as the conference support information 15a.

本実施形態においては、理解度、関心度及び同意度は、会議参加者の表情及び姿勢に基づいて判定される。これらの理解度、関心度及び同意度は、例えば、Ａ〜Ｅの５段階で評価され、会議支援情報として記憶部１５に記憶される。理解度判定部１４ｆは、画像解析部１４ｂから取得した会議参加者各人の姿勢データの前傾角度及び表情に基づいて、会議参加者各人の理解度を判定する。さらに、理解度判定部１４ｆは、会議参加者各人の関心度の平均値を算出して記憶部１５に会議支援情報１５ａとして記憶する。同意度判定部１４ｇは、画像解析部１４ｂから取得した会議参加者各人の表情及び姿勢データに基づいて、会議参加者全体の同意度を判定し、記憶部１５に会議支援情報１５ａとして記憶する。   In the present embodiment, the degree of understanding, the degree of interest, and the degree of consent are determined based on the facial expressions and postures of the conference participants. The degree of understanding, the degree of interest, and the degree of consent are evaluated, for example, in five stages A to E, and stored in the storage unit 15 as meeting support information. The understanding level determination unit 14f determines the level of understanding of each conference participant based on the forward tilt angle and facial expression of the posture data of each conference participant acquired from the image analysis unit 14b. Furthermore, the understanding level determination unit 14f calculates an average value of the interest level of each conference participant and stores it in the storage unit 15 as the conference support information 15a. The agreement level determination unit 14g determines the agreement level of the entire conference participant based on the facial expression and posture data of each conference participant acquired from the image analysis unit 14b, and stores the agreement level as conference support information 15a in the storage unit 15. .

議事録作成部１４ｈは、会議支援情報１５ａに基づいて、収束度が高い頻出キーワードと、盛り上がり度が高い場面の画像とを取得する。さらに、議事録作成部１４ｈは、収束度、盛り上がり度、関心度、理解度及び同意度の時間変化を示すグラフ作成し、頻出キーワード及び画像と共に編集し、議事録を作成する。注意指示部１４ｊは、音声解析部１４ａが生成したテキストデータに基づいて、会議参加者各人の発言頻度が閾値以上であるかを判断し、閾値未満である場合には、通信部１７を介して発言頻度の低い会議参加者の椅子Ｂ１〜Ｂ６に取り付けられた振動子１８ａ〜１８ｆを振動させることで、会議参加者に注意を促す。   Based on the meeting support information 15a, the minutes creation unit 14h acquires a frequent keyword with a high degree of convergence and an image of a scene with a high degree of excitement. Further, the minutes creation unit 14h creates a graph showing the temporal change in convergence, excitement, interest, understanding, and agreement, and edits it together with the frequently used keywords and images to create the minutes. The attention instruction unit 14j determines whether the speech frequency of each conference participant is equal to or higher than the threshold based on the text data generated by the voice analysis unit 14a. By vibrating the vibrators 18a to 18f attached to the chairs B1 to B6 of the conference participants with low speech frequency, the conference participants are cautioned.

このような演算部１４は、室内マイク１０及び個人マイク１１ａ〜１１ｆの音声信号、カメラ１２ａ、１２ｂの画像信号及び操作部１３の指示信号に基づいて収束度、盛り上がり度、関心度、理解度及び同意度を判定し、議事録を生成する。さらに、演算部１４は、プロジェクタＣと不図示のケーブルにより接続されており、プロジェクタＣに表示される画像データを取得している。また、演算部１４は、ネットワーク２を介してサーバ３と通信し、会議参加者が発声する単語の意味の取得を行っている。なお、演算部１４は、記憶部１５と協働することにより、本発明における支援情報生成手段を構成している。   Such a calculation part 14 is based on the audio | voice signal of the indoor microphone 10 and personal microphone 11a-11f, the image signal of camera 12a, 12b, and the instruction | indication signal of the operation part 13, and a convergence degree, a degree of excitement, an interest degree, an understanding degree, and Judge the degree of consent and generate the minutes. Further, the calculation unit 14 is connected to the projector C through a cable (not shown), and acquires image data displayed on the projector C. Moreover, the calculating part 14 communicates with the server 3 via the network 2, and acquires the meaning of the word which a conference participant utters. In addition, the calculating part 14 comprises the assistance information generation means in this invention by cooperating with the memory | storage part 15. FIG.

記憶部１５は、演算部１４からの指示に従いデータを記憶するメモリ及びハードディスクである。この記憶部１５には、会議支援情報１５ａが記憶される。会議支援情報１５ａは、演算部１４によって常に更新されており、会議進行中は常に最新の状態となっている。表示部１６ａ〜１６ｆは、会議参加者が各自で閲覧できるよう個々の座席に設けられ、個々に表示可能なモニタである。これらの表示部１６ａ〜１６ｆには、演算部１４から出力された、頻出キーワードの意味や、会議支援情報１５ａである収束度、関心度、理解度及び同意度がリアルタイムで表示される。また、このような表示部１６ａ〜１６ｆは、本発明における提供手段に相当する。なお、この表示部１６ａ〜１６ｆは、会議参加者が個々に所持しているタブレット端末等を、ネットワークに接続することにより表示部として利用してもよい。   The storage unit 15 is a memory and a hard disk that store data in accordance with instructions from the calculation unit 14. The storage unit 15 stores conference support information 15a. The meeting support information 15a is constantly updated by the calculation unit 14, and is always up-to-date while the meeting is in progress. The display units 16a to 16f are monitors that can be individually displayed and provided in individual seats so that conference participants can view the conferences themselves. On these display units 16a to 16f, the meaning of the frequent keywords and the degree of convergence, the degree of interest, the degree of understanding, and the degree of consent, which are the conference support information 15a, are displayed in real time. Moreover, such display parts 16a-16f correspond to the provision means in this invention. In addition, you may utilize these display parts 16a-16f as a display part by connecting the tablet terminal etc. which the meeting participant has individually to a network.

通信部１７は、演算部１４と振動子１８ａ〜１８ｆとの無線通信を行うための無線ＬＡＮ通信装置である。この通信部１７は、演算部１４からの指示に従い振動子１８ａ〜１８ｆに作動信号を送信する。振動子１８ａ〜１８ｆは、作動信号によって作動／停止を切り替え可能なバイブレータであり、椅子Ｂ１〜Ｂ６に一つずつ設けられている。これらの振動子１８ａ〜１８ｆは、本発明における注意手段に相当する。   The communication unit 17 is a wireless LAN communication device for performing wireless communication between the calculation unit 14 and the vibrators 18a to 18f. The communication unit 17 transmits an operation signal to the vibrators 18a to 18f in accordance with an instruction from the calculation unit 14. The vibrators 18a to 18f are vibrators that can be switched between operation and stop by an operation signal, and are provided one by one in the chairs B1 to B6. These vibrators 18a to 18f correspond to the attention means in the present invention.

ネットワーク２は、会議支援システム及びサーバ３が接続されたローカルエリアネットワークである。サーバ３は、単語の意味が登録された辞書が保存されており、演算部１４がアクセス可能となっている。   The network 2 is a local area network to which the conference support system and the server 3 are connected. The server 3 stores a dictionary in which word meanings are registered, and is accessible by the calculation unit 14.

続いて、このような会議支援システム１の動作について説明する。
図４は、会議支援プログラムに基づく演算部１４の動作を示すフローチャートである。 Subsequently, the operation of the conference support system 1 will be described.
FIG. 4 is a flowchart showing the operation of the calculation unit 14 based on the conference support program.

会議支援システムが立ち上げられると、演算部１４は、室内マイク１０、個人マイク１１ａ〜１１ｆ、カメラ１２ａ、１２ｂ及び操作部１３からの入力があるまで待機する（ステップＳ１）。入力を受け付けると、演算部１４は、入力の種類を判断する（ステップＳ２）。マイクからの入力と判断されると、演算部１４は、個人マイク１１ａ〜１１ｆからの入力であるかをさらに判断する（ステップＳ３）。   When the conference support system is started up, the calculation unit 14 waits for input from the indoor microphone 10, the personal microphones 11a to 11f, the cameras 12a and 12b, and the operation unit 13 (step S1). When receiving the input, the calculation unit 14 determines the type of input (step S2). If it is determined that the input is from the microphone, the calculation unit 14 further determines whether the input is from the personal microphones 11a to 11f (step S3).

個人マイク１１ａ〜１１ｆからの入力と判断した場合、すなわちステップＳ３の判断がＹＥＳである場合には、演算部１４は、音声解析部１４ａに関する処理として、会議参加者各人の音声解析を行い（ステップＳ４）、音声をテキスト化する（ステップＳ５）。なお、このテキスト化された音声データは、記憶部１５に記憶される。次に、演算部１４は、収束度判定部１４ｃに関する処理として、上記テキスト化された音声データから頻出する単語である頻出キーワードを抽出する（ステップＳ６）。このとき、演算部１４は、会議参加者個人ごとのテキストデータを全て集約し、所定の回数以上出現する単語を頻出キーワードとして抽出する。   If it is determined that the input is from the personal microphones 11a to 11f, that is, if the determination in step S3 is YES, the calculation unit 14 performs a voice analysis of each conference participant as a process related to the voice analysis unit 14a ( Step S4), the voice is converted into text (step S5). The text-formatted voice data is stored in the storage unit 15. Next, the calculation part 14 extracts the frequent keyword which is a word which appears frequently from the said text-formed audio | voice data as a process regarding the convergence determination part 14c (step S6). At this time, the calculation unit 14 aggregates all the text data for each individual conference participant and extracts words that appear more than a predetermined number of times as frequent keywords.

次に、演算部１４は、新しい頻出キーワードがあるか判断する（ステップＳ７）。このとき、演算部１４は、今回抽出された頻出キーワードと、記憶部１５に記憶された頻出キーワードとを比較して、新しい頻出キーワードがあるかを判断する。新しい頻出キーワードがある場合、すなわちステップＳ７の判断がＹＥＳの場合には、新しい頻出キーワードの意味を表示部１６ａ〜１６ｆに表示する（ステップＳ８）。このとき、演算部１４は、ネットワーク２を介してサーバ３と通信することにより新しい頻出キーワードの意味を検索し、その検索結果を表示部１６ａ〜１６ｆに表示する。さらに、演算部１４は、新しい頻出キーワードの単語数を算出する（ステップＳ９）。なお、新しい頻出キーワードが無い場合、すなわち、ステップＳ７の判断がＮＯの場合には、ステップＳ８の処理は行われず、ステップＳ９へと進む。   Next, the calculation unit 14 determines whether there is a new frequent keyword (step S7). At this time, the calculation unit 14 compares the frequently extracted keyword extracted this time with the frequent keyword stored in the storage unit 15 to determine whether there is a new frequent keyword. If there is a new frequent keyword, that is, if the determination in step S7 is YES, the meaning of the new frequent keyword is displayed on the display units 16a to 16f (step S8). At this time, the calculation unit 14 searches for the meaning of the new frequent keyword by communicating with the server 3 via the network 2 and displays the search results on the display units 16a to 16f. Furthermore, the calculating part 14 calculates the number of words of a new frequent keyword (step S9). If there is no new frequent keyword, that is, if the determination in step S7 is NO, the process of step S8 is not performed, and the process proceeds to step S9.

次に、演算部１４は、収束度判定部１４ｃに関する処理として、収束度の判定を行う（ステップＳ１０）。このとき、演算部１４は、新しい頻出キーワードの単語数の多さで収束度を判定する。つまり、本実施形態における収束度は、新しい頻出キーワードの単語数が少ない場合に高く、新しい頻出キーワードの単語数が多い場合に低いと判断するように設定されている。続いて、演算部１４は、収束度判定部１４ｃに関する処理として、最新の収束度を表示部１６ａ〜１６ｆに表示する（ステップＳ１１）。さらに、演算部１４は、収束度及び最新の頻出キーワードを会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ１２）。   Next, the calculating part 14 determines a convergence degree as a process regarding the convergence degree determination part 14c (step S10). At this time, the calculation unit 14 determines the degree of convergence based on the number of words of the new frequent keyword. In other words, the degree of convergence in this embodiment is set so as to be determined to be high when the number of words of the new frequent keyword is small and low when the number of words of the new frequent keyword is large. Subsequently, the calculation unit 14 displays the latest degree of convergence on the display units 16a to 16f as processing related to the degree of convergence determination unit 14c (step S11). Furthermore, the calculating part 14 memorize | stores the convergence degree and the newest frequent keyword in the memory | storage part 15 as meeting assistance information 15a (step S12).

次に、演算部１４は、注意指示部１４ｊに関する処理として、会議参加者個人の発言頻度が所定の閾値以上であるかを判断する（ステップＳ１３）。会議参加者個人の発言頻度が所定の閾値以上の場合、すなわち、ステップＳ１３における判断がＹＥＳの場合、演算部１４は、ステップＳ１へと戻る。会議参加者個人の発言頻度が所定の閾値未満である場合、すなわち、ステップＳ１３における判断がＮＯの場合、演算部１４は、注意指示部１４ｊに関する処理として、通信部１７を介して当該会議参加者の着席している椅子Ｂｎ（ｎは１〜６のいずれか）に設置された振動子１８ｘ（ｘはａ〜ｆのいずれか）を振動させ（ステップＳ１４）、ステップＳ１へと戻る。   Next, the calculation unit 14 determines whether or not the speech frequency of the individual conference participant is equal to or higher than a predetermined threshold as processing related to the attention instruction unit 14j (step S13). If the conference participant's individual speaking frequency is equal to or higher than the predetermined threshold, that is, if the determination in step S13 is YES, the calculation unit 14 returns to step S1. When the speech frequency of the individual conference participant is less than the predetermined threshold value, that is, when the determination in step S13 is NO, the calculation unit 14 performs processing related to the caution instruction unit 14j via the communication unit 17 The vibrator 18x (x is any one of a to f) installed in the chair Bn (where n is any one of 1 to 6) is vibrated (step S14), and the process returns to step S1.

続いて、室内マイク１０からの入力である場合、すなわち、ステップＳ３において判断がＮＯである場合には、演算部１４は、音声解析部１４ａに関する処理として、音圧の算出を行う（ステップＳ１５）。さらに、演算部１４は、会議参加者全員の発言頻度の算出を行う（ステップＳ１６）。このとき、演算部１４は、音声解析部１４ａに関する処理として、室内マイク１０の音声データを取得し、無音部分の長さを算出する。つまり、演算部１４は、会議参加者全員の発言が無い時間の長さを求める。これにより、会議参加者全員の発言頻度が求められる。   Subsequently, when the input is from the indoor microphone 10, that is, when the determination is NO in step S3, the calculation unit 14 calculates a sound pressure as a process related to the voice analysis unit 14a (step S15). . Furthermore, the calculating part 14 calculates the speech frequency of all the conference participants (step S16). At this time, the calculation unit 14 acquires the audio data of the indoor microphone 10 as a process related to the audio analysis unit 14a, and calculates the length of the silent part. That is, the calculating part 14 calculates | requires the length of time when there is no statement of all the meeting participants. Thereby, the speaking frequency of all the participants in the conference is required.

次に、演算部１４は、盛り上がり度の判定を行う（ステップＳ１７）。このとき、演算部１４は、盛り上がり度判定部１４ｄに関する処理として、音圧及び会議参加者全員の発言頻度に基づいて、判定を行う。本実施形態における盛り上がり度は、音圧が大きいほど高く、また、会議参加者の発言頻度が多いほど高く判定するように設定されている。次に、演算部１４は、盛り上がり度判定部１４ｄに関する処理として、判定された盛り上がり度を会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ１８）。   Next, the calculating part 14 determines the degree of excitement (step S17). At this time, the calculation unit 14 performs determination on the basis of the sound pressure and the speech frequency of all the conference participants as processing related to the excitement level determination unit 14d. The degree of excitement in the present embodiment is set so as to be higher as the sound pressure is higher, and higher as the conference participant speaks more frequently. Next, the calculation part 14 memorize | stores the determined excitement degree in the memory | storage part 15 as meeting assistance information 15a as a process regarding the excitement degree determination part 14d (step S18).

また、ステップＳ２において、カメラ１２ａ、１２ｂからの入力である場合には、まず、演算部１４は、画像解析部１４ｂに関する処理として、カメラ１２ａ、１２ｂから取得した画像データから、人物の抽出を行う（ステップＳ１９）。さらに、演算部１４は、画像解析部１４ｂに関する処理として表情及び姿勢の判定を行う（ステップＳ２０）。このとき、演算部１４は、会議参加者の顔を特定し、記憶部１５に保存された表情データと照合することで表情を判定する。また、演算部１４は、カメラ１２ａ、１２ｂの赤外線データから、会議参加者各人とカメラ１２ａ、１２ｂとの距離を算出し、会議参加者の前傾角度及び顔の向きを判定する。   In step S2, if the input is from the cameras 12a and 12b, the calculation unit 14 first extracts a person from the image data acquired from the cameras 12a and 12b as processing related to the image analysis unit 14b. (Step S19). Further, the calculation unit 14 performs facial expression and posture determination as processing related to the image analysis unit 14b (step S20). At this time, the calculation unit 14 determines the facial expression by specifying the face of the conference participant and comparing it with the facial expression data stored in the storage unit 15. In addition, the calculation unit 14 calculates the distance between each conference participant and the cameras 12a and 12b from the infrared data of the cameras 12a and 12b, and determines the forward tilt angle and the face direction of the conference participant.

続いて、演算部１４は、理解度判定部１４ｆに関する処理として、会議参加者各人の表情及び姿勢に基づいて、理解度の判定を行う（ステップＳ２１）。本実施形態における理解度は、会議参加者各人の姿勢に基づいて、頷く等の「理解をしているときの動作」であるか首を傾げる等の「理解をしていないときの動作」であるかを判定するとともに、さらに、会議参加者各人の表情に基づいて、笑顔等の「理解をしている表情」であるか、眉間に皺を寄せる等の「理解をしていない表情」であるかを判定し、それらをＡ〜Ｅの５段階で評価することにより、決定するように設定されている。さらに、演算部１４は、理解度判定部１４ｆに関する処理として、会議参加者全員の理解度の平均値を算出し（ステップＳ２２）、理解度の平均値を会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ２３）。   Subsequently, as a process related to the understanding level determination unit 14f, the calculation unit 14 determines the level of understanding based on the facial expression and posture of each conference participant (step S21). The degree of understanding in this embodiment is based on the attitude of each participant in the conference, such as “operation when understanding” such as whispering or “operation when not understanding” such as tilting the head. In addition, based on the facial expressions of each participant in the meeting, the expression is an “understanding expression” such as a smile, or a “unintelligible expression” such as putting a eyelid between the eyebrows. It is set so as to be determined by evaluating whether or not and evaluating them in five stages of A to E. Further, as a process related to the understanding level determination unit 14f, the calculation unit 14 calculates an average value of the understanding level of all the conference participants (step S22), and stores the average value of the understanding level in the storage unit 15 as the conference support information 15a. (Step S23).

次に、演算部１４は、関心度判定部１４ｅに関する処理として、会議参加者各人の表情及び姿勢に基づいて、関心度の判定を行う（ステップＳ２４）。本実施形態における関心度は、会議参加者各人の表情に基づいて、「話題に関心をもっている表情」であるか、「話題に関心をもっていない表情」であるかを判定するとともに、会議参加者各人の姿勢に基づいて、「話題に関心をもっている姿勢」であるか、「話題に関心を持っていない姿勢」であるかを判定して、それらをＡ〜Ｅの５段階で評価することにより、決定するように設定されている。さらに、演算部１４は、会議参加者全員の関心度の平均値を算出し（ステップＳ２５）、関心度の平均値を会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ２６）。   Next, the calculation unit 14 determines the degree of interest as processing related to the degree of interest determination unit 14e based on the facial expression and posture of each conference participant (step S24). In this embodiment, the degree of interest is determined based on the facial expression of each person in the conference, whether it is an “expression that is interested in the topic” or “an expression that is not interested in the topic”, and the conference participant Based on the posture of each person, determine whether it is a “posture interested in the topic” or a “posture not interested in the topic”, and evaluate them in five stages A to E Is set to be determined. Furthermore, the calculating part 14 calculates the average value of the interest level of all the conference participants (step S25), and stores the average value of the interest level in the storage part 15 as the meeting support information 15a (step S26).

続いて、演算部１４は、同意度判定部１４ｇに関する処理として、会議参加者全員の姿勢の合致度を算出する（ステップＳ２７）。このとき、演算部１４は、同意度判定部１４ｇに関する処理として、画像解析部１４ｂから取得した会議参加者各人の姿勢の変化を比較することにより、会議参加者各人の姿勢の合致度を算出する。さらに、演算部１４は、同意度判定部１４ｇに関する処理として、会議参加者全員の同意度の判定を行う（ステップＳ２８）。本実施形態における関心度は、会議参加者各人の表情に基づいて、「話題に同意している表情」であるか、「話題に同意していない表情」であるかを判定するとともに、会議参加者各人の姿勢に基づいて、「話題に同意している姿勢」であるか、「話題に同意していない姿勢」であるかを判定し、それらをＡ〜Ｅの５段階で評価することにより、決定するように設定されている。続いて、判定した同意度を表示部１６ａ〜１６ｆに表示し（ステップＳ２９）、上記同意度を会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ３０）。   Subsequently, the calculation unit 14 calculates the degree of coincidence of the postures of all the conference participants as a process related to the consent level determination unit 14g (step S27). At this time, the calculation unit 14 compares the change in posture of each conference participant acquired from the image analysis unit 14b as a process related to the agreement determination unit 14g, thereby determining the degree of match of the posture of each conference participant. calculate. Furthermore, the calculation part 14 determines the consent level of all the conference participants as a process regarding the consent level determination part 14g (step S28). The degree of interest in this embodiment is determined based on the facial expression of each person in the conference, whether it is “an expression that agrees with the topic” or “an expression that does not agree with the topic”, and the conference. Based on the posture of each participant, it is determined whether it is a “posture that agrees with the topic” or a “posture that does not agree with the topic”, and is evaluated in five stages A to E Is set to be determined. Subsequently, the determined degree of consent is displayed on the display units 16a to 16f (step S29), and the degree of consent is stored in the storage unit 15 as conference support information 15a (step S30).

また、ステップＳ３において、入力が操作部１３からの議事録作成指示である場合には、まず、演算部１４は、議事録作成部１４ｈに関する処理として、記憶部から会議支援情報１５ａを取得する（ステップＳ３１）。次に、演算部１４は、議事録作成部１４ｈに関する処理として、盛り上がり度の高い時刻の画像及び頻出キーワード等を抽出する（ステップＳ３２）。このとき、演算部１４は、議事録作成部１４ｈに関する処理として、盛り上がり度の高いタイミングを抽出し、当該時刻にカメラ１２ａ、１２ｂが撮影した画像Ｘ１を取得する。また、演算部１４は、記憶部１５に記憶された音声テキストデータより、会議のテーマ及びテーマの要約Ｘ２を生成する。演算部１４は、関心度、理解度及び同意度の時間ごとの変動を示すグラフの画像Ｘ３を生成し、盛り上がり度の高い時刻において表示されていた資料Ｘ４をプロジェクタＣより取得する。なお、グラフ画像Ｘ３は、関心度、理解度及び同意度以外に、盛り上がり度等を表示するものとしてもよい。   If the input is a minutes creation instruction from the operation unit 13 in step S3, the calculation unit 14 first acquires the meeting support information 15a from the storage unit as a process related to the minutes creation unit 14h ( Step S31). Next, the calculation part 14 extracts the image of a high excitement time, a frequent keyword, etc. as a process regarding the minutes creation part 14h (step S32). At this time, the calculation unit 14 extracts a timing with a high degree of excitement as processing related to the minutes creation unit 14h, and acquires the image X1 captured by the cameras 12a and 12b at the time. Further, the calculation unit 14 generates a conference theme and a theme summary X2 from the voice text data stored in the storage unit 15. The computing unit 14 generates an image X3 of a graph indicating the fluctuation of the interest level, the understanding level, and the agreement level over time, and acquires the material X4 displayed at the time when the excitement level is high from the projector C. The graph image X3 may display a degree of excitement in addition to the degree of interest, the degree of understanding, and the degree of consent.

さらに、演算部１４は、収束度の高い時刻における頻出キーワードＸ５を抽出する。続いて、演算部１４は、議事録作成部１４ｈにおいて、議事録を作成する（ステップＳ３３）。   Further, the calculation unit 14 extracts a frequent keyword X5 at a time with a high degree of convergence. Subsequently, the calculation unit 14 creates a minutes in the minutes creation unit 14h (step S33).

図５は、本実施形態の会議支援システム１によって作成された議事録の一例である。図５に示すように、議事録には、盛り上がり度の高いタイミングにおいてカメラ１２ａ、１２ｂが撮影した画像Ｘ１と、会議の要約Ｘ２と、グラフ画像Ｘ３と、盛り上がり度の高いタイミングにおいて表示されていた資料Ｘ４と、収束度の高い時刻における頻出キーワードＸ５が表示される。   FIG. 5 is an example of the minutes created by the conference support system 1 of the present embodiment. As shown in FIG. 5, in the minutes, the images X1 taken by the cameras 12a and 12b at the timing of high excitement, the meeting summary X2, and the graph image X3 were displayed at the timing of high excitement. The material X4 and the frequent keyword X5 at a time with a high degree of convergence are displayed.

図４に戻り、演算部１４は、議事録作成部１４ｈに関する処理として、このようにして作成された議事録を記憶部１５に記憶し（ステップＳ２４）、作業を終了する。   Returning to FIG. 4, the calculation unit 14 stores the minutes created in this way in the storage unit 15 as processing related to the minutes creation unit 14 h (step S <b> 24), and ends the operation.

このような本実施形態に係る会議支援システム１によれば、議論の収束度等、会議中における会議参加者の状態（状況）に応じた会議支援情報１５ａが会議参加者にタイムリーに提供される。これにより、会議参加者は、表示部１６ａ〜１６ｆに表示された会議支援情報１５ａを確認することによって会議の現状をタイムリーに認識することが可能である。したがって、本実施形態に係る会議支援システム１によれば、会議参加者同士の認識を共有することが可能となり、よって議論を円滑に進めることができる。   According to the conference support system 1 according to the present embodiment, the conference support information 15a corresponding to the state (situation) of the conference participant during the conference, such as the degree of convergence of the discussion, is provided to the conference participant in a timely manner. The Thereby, the conference participant can recognize the current state of the conference in a timely manner by confirming the conference support information 15a displayed on the display units 16a to 16f. Therefore, according to the conference support system 1 according to the present embodiment, it becomes possible to share the recognition among the conference participants, and thus the discussion can be smoothly advanced.

また、本実施形態の演算部１４は、盛り上がり度判定部１４ｄを備えており、作成された議事録には盛り上がり度を示す情報が含まれる。このため、議事録を閲覧した会議関係者は、会議のどの場面において議論が盛り上がったのかを容易に確認することができる。したがって、会議関係者が認識を共有することが可能となり、議論を円滑に進めることができる。   Moreover, the calculation part 14 of this embodiment is provided with the excitement degree determination part 14d, and the information which shows the excitement degree is contained in the produced minutes. For this reason, the person concerned with the conference who has viewed the minutes can easily confirm in which scene of the conference the discussion has been raised. Therefore, it becomes possible for the parties involved in the conference to share the recognition, and the discussion can proceed smoothly.

また、本実施形態に係る会議支援システム１によれば、カメラ１２ａ、１２ｂを備え、演算部１４は、関心度判定部１４ｅを備えている。これにより、会議参加者は、表示部１６ａ〜１６ｆを見ることで、会議参加者全員の関心度の平均を確認することができる。したがって、会議参加者は、議論に対する他の会議参加者の認識を共有することが可能となり、これによっても、議論を円滑に進めることができる。   Further, according to the conference support system 1 according to the present embodiment, the cameras 12a and 12b are provided, and the calculation unit 14 is provided with the interest level determination unit 14e. Thereby, the conference participant can confirm the average of the interest level of all the conference participants by looking at the display units 16a to 16f. Therefore, the conference participants can share the recognition of other conference participants with respect to the discussion, and the discussion can smoothly proceed.

また、本実施形態の演算部１４は、理解度判定部１４ｆを備えている。これにより、会議参加者は、表示部１６ａ〜１６ｆを見ることで、会議参加者全員の理解度の平均を確認することができる。これにより、会議参加者は、他の会議参加者が議論の流れを理解しているか常に確認しながら発言することができる。したがって、これによっても、議論を円滑に進めることができる。   Further, the calculation unit 14 of the present embodiment includes an understanding level determination unit 14f. Thereby, the conference participant can confirm the average understanding degree of all the conference participants by looking at the display units 16a to 16f. Thereby, the conference participant can speak while always confirming whether other conference participants understand the flow of discussion. Therefore, the discussion can proceed smoothly by this.

また、本実施形態の演算部１４は、同意度判定部１４ｇを備えている。これにより、会議参加者は、表示部１６ａ〜１６ｆを見ることで、会議参加者全員の同意度を確認することができる。これにより、会議参加者は、議論の認識の同意が得られているかを確認することが可能である。したがって、これによっても、議論を円滑に進めることができる。   Moreover, the calculation part 14 of this embodiment is provided with the consent degree determination part 14g. Thereby, the conference participant can confirm the degree of consent of all the conference participants by looking at the display units 16a to 16f. Thereby, the meeting participant can confirm whether the consent of recognition of discussion is obtained. Therefore, the discussion can proceed smoothly by this.

また、本実施形態の演算部１４は、会議支援情報１５ａに基づいた議事録を作成する議事録作成部１４ｈを備えている。これにより、会議に参加していない会議関係者は、議事録を閲覧することで、会議の収束度、盛り上がり度、理解度、関心度及び同意度を直感的に認識することが可能である。したがって、議論を素早く把握することができる。   In addition, the calculation unit 14 of this embodiment includes a minutes creation unit 14h that creates minutes based on the meeting support information 15a. Thereby, the meeting officials who have not participated in the conference can intuitively recognize the convergence, excitement, understanding, interest, and agreement of the conference by browsing the minutes. Therefore, the discussion can be grasped quickly.

また、本実施形態の演算部１４は、発言頻度の低い会議参加者に注意を促す注意指示部１４ｊを備えている。これにより、会議参加者は、会議において意見を述べる会議参加者による活発な議論を促進することができる。   In addition, the calculation unit 14 of the present embodiment includes a caution instruction unit 14j that calls attention to a conference participant with a low utterance frequency. Thereby, the meeting participant can promote the active discussion by the meeting participant who expresses an opinion in the meeting.

なお、本発明は上記実施形態に限定されるものではなく、例えば以下のような変形例が考えられる。
（１）上記実施形態においては、音声取得手段として、室内マイク１０及び個人マイク１１ａ〜１１ｆを用いて会議の音声を取得するものとしたが、本発明はこれに限定されない。個人マイク１１ａ〜１１ｆのみを備えるものとし、室内の音圧は個人マイク１１ａ〜１１ｆの音圧の合計としてもよい。また、室内マイク１０は、マイクアレーを有する構成とすると、室内マイク１０のみで、会議参加者各人の音声を取得することも可能である。 In addition, this invention is not limited to the said embodiment, For example, the following modifications can be considered.
(1) In the above embodiment, the audio of the conference is acquired using the indoor microphone 10 and the personal microphones 11a to 11f as the audio acquisition means, but the present invention is not limited to this. Only the personal microphones 11a to 11f are provided, and the sound pressure in the room may be the sum of the sound pressures of the personal microphones 11a to 11f. Moreover, if the indoor microphone 10 is configured to have a microphone array, it is also possible to acquire the audio of each conference participant using only the indoor microphone 10.

（２）また、上記実施形態においては、画像取得手段として、カメラ１２ａ、１２ｂを備えるものとしたが、本発明はこれに限定されない。会議参加者全員の顔を確認することが可能な配置の会議室であれば、カメラを１台のみとしてもよい。また、会議室全体を鳥瞰する位置にカメラをもう１台取り付け、会議室全体の画像を取得可能としてもよい。 (2) In the above embodiment, the cameras 12a and 12b are provided as the image acquisition means, but the present invention is not limited to this. If the conference room is arranged so that the faces of all the conference participants can be confirmed, only one camera may be used. Further, another camera may be attached at a position where the entire conference room is viewed from above, and an image of the entire conference room may be acquired.

（３）また、上記実施形態においては、会議の盛り上がり度を表示部１６ａ〜１６ｆには表示しないものとしたが、本発明はこれに限定されない。演算部１４は、盛り上がり度判定部１４ｄにおいて、盛り上がり度を判定した後、表示部１６ａ〜１６ｆに現状の盛り上がり度を表示するものとしてもよい。 (3) Moreover, in the said embodiment, although the excitement degree of the meeting was not displayed on the display parts 16a-16f, this invention is not limited to this. The calculation part 14 is good also as what displays the present excitement degree on display part 16a-16f, after determining the excitement degree in the excitement degree determination part 14d.

（４）また、上記実施形態においては、議事録作成部１４ｈは、図５に示すように、画像を含む議事録を作成するものとしたが、本発明はこれに限定されない。議事録は、画像を含まず、文章のみにより構成されるものとしてもよい。また、議事録をコンピュータやタブレット等の電子媒体で閲覧する場合には、動画を掲載するものとしてもよい。 (4) Moreover, in the said embodiment, as shown in FIG. 5, although the minutes preparation part 14h shall produce the minutes containing an image, this invention is not limited to this. The minutes may be composed only of sentences without including images. Moreover, when browsing the minutes with electronic media, such as a computer and a tablet, it is good also as what publishes a moving image.

（５）また、上記実施形態においては、表示部１６ａ〜１６ｆはモニタであるとしたが、本発明はこれに限定されない。表示部１６ａ〜１６ｆは、机Ａの上部からプロジェクタによって投映されるプロジェクションマッピングの表示や、会議室内の照明の明るさまたは色による表示を含むものとしてもよい。 (5) Moreover, in the said embodiment, although the display parts 16a-16f were monitors, this invention is not limited to this. The display units 16a to 16f may include a display of projection mapping projected by the projector from the top of the desk A, and a display by brightness or color of illumination in the conference room.

（６）また、上記実施形態においては、操作部１３は議事録作成指示のみを行うものとしたが、本発明はこれに限定されない。操作部１３は、表示部１６ａ〜１６ｆの表示設定や、議事録のレイアウトなどの変更指示を可能としてもよい。 (6) Moreover, in the said embodiment, although the operation part 13 shall only perform the minutes production instruction | indication, this invention is not limited to this. The operation unit 13 may be capable of instructing to change the display settings of the display units 16a to 16f and the layout of the minutes.

（７）また、上記実施形態においては、注意指示部１４ｊは、振動子１８ａ〜１８ｆを振動させることで会議参加者に注意を促すものとしたが、本発明はこれに限定されない。注意指示部１４ｊは、表示部１６ａ〜１６ｆに注意を促す表示を表示させるものとしてもよい。 (7) Moreover, in the said embodiment, although the caution instruction | indication part 14j shall call a meeting participant's attention by vibrating the vibrator | oscillators 18a-18f, this invention is not limited to this. The attention instruction unit 14j may display a display for calling attention on the display units 16a to 16f.

（８）また、上記実施形態においては、収束度、盛り上がり度、理解度、関心度及び同意度を判定するものとしたが、本発明はこれに限定されない。演算部１４は、収束度、盛り上がり度、理解度、関心度及び同意度のうち、いずれか１つまたは複数のみを判定するものとしてもよい。また、収束度、盛り上がり度、理解度、関心度及び同意度のいずれか１つまたは複数は、議事録に表示せず、表示部１６ａ〜１６ｆにリアルタイムで表示するものとしてもよい。収束度、盛り上がり度、理解度、関心度及び同意度のいずれか１つまたは複数をリアルタイムで表示することにより、会議におけるプレゼンターまたは発言者が会議参加者の雰囲気を把握しながら発言することができる。 (8) In the above embodiment, the degree of convergence, the degree of excitement, the degree of understanding, the degree of interest, and the degree of consent are determined, but the present invention is not limited to this. The calculating part 14 is good also as what determines only any one or more among a convergence degree, a degree of excitement, an understanding degree, an interest degree, and an agreement degree. In addition, any one or more of convergence, excitement, understanding, interest, and agreement may be displayed in real time on the display units 16a to 16f without being displayed in the minutes. By displaying one or more of convergence, excitement, comprehension, interest and consent in real time, the presenter or speaker at the conference can speak while grasping the atmosphere of the conference participants. .

（９）また、収束度、盛り上がり度、理解度、関心度及び同意度の表示のタイミングは、会議参加者からの表示要求に基づくものとしてもよい。 (9) In addition, the display timing of the degree of convergence, the degree of excitement, the degree of understanding, the degree of interest, and the degree of consent may be based on a display request from a conference participant.

（１０）また、学校等の教育施設の授業または講義（会議）において、本発明に係る会議支援システムを用いて生徒（会議参加者）の理解度、盛り上がり度を判定することも可能である。教育施設で会議支援システムを適用することにより、教師（発言者）は、生徒（会議参加者）の理解度、盛り上がり度を把握しながら授業を進行することができる。 (10) It is also possible to determine the degree of understanding and excitement of a student (conference participant) in a class or lecture (conference) at an educational facility such as a school using the conference support system according to the present invention. By applying the conference support system at the educational facility, the teacher (speaker) can proceed with the class while grasping the degree of understanding and excitement of the student (conference participant).

１ 会議支援システム
１０ 室内マイク（音声取得手段）
１１ａ〜１１ｆ 個人マイク（音声取得手段）
１２ａ、１２ｂ カメラ（撮像手段）
１３ 操作部
１４ 演算部
１４ａ 音声解析部
１４ｂ 画像解析部
１４ｃ 収束度判定部
１４ｄ 盛り上がり度判定部
１４ｅ 関心度判定部
１４ｆ 理解度判定部
１４ｇ 同意度判定部
１４ｈ 議事録作成部
１４ｊ 注意指示部
１５ 記憶部
１５ａ 会議支援情報
１６ 表示部
１７ 通信部
１８ａ 振動子
２ ネットワーク
３ サーバ 1 Conference support system 10 Indoor microphone (voice acquisition means)
11a to 11f Personal microphone (voice acquisition means)
12a, 12b Camera (imaging means)
13 operation unit 14 operation unit 14a audio analysis unit 14b image analysis unit 14c convergence degree determination unit 14d excitement level determination unit 14e interest level determination unit 14f understanding level determination unit 14g agreement level determination unit 14h minutes creation unit 14j attention instruction unit 15 storage Unit 15a meeting support information 16 display unit 17 communication unit 18a transducer 2 network 3 server

Claims (9)

会議参加者の音声を取得する音声取得手段と、
前記音声に基づいて会議支援情報を生成する支援情報生成手段と、
前記会議支援情報を前記会議参加者に提供する提供手段と
を備えることを特徴とする会議支援システム。 Audio acquisition means for acquiring audio of conference participants;
Support information generating means for generating conference support information based on the voice;
Providing means for providing the conference support information to the conference participants. A conference support system, comprising: 前記支援情報生成手段は、議論のまとまり度合を収束度として判定する収束度判定部を備え、
前記会議支援情報は、前記収束度を示す情報を含む
ことを特徴とする請求項１に記載の会議支援システム。 The support information generating means includes a convergence determination unit that determines the degree of discussion as a convergence,
The conference support system according to claim 1, wherein the conference support information includes information indicating the degree of convergence. 前記支援情報生成手段は、議論の盛り上がり度合を判定する盛り上がり度判定部を備え、
前記会議支援情報は、前記盛り上がり度を示す情報を含む
ことを特徴とする請求項１または２に記載の会議支援システム。 The support information generating means includes a climax determination unit that determines a climax of discussion,
The conference support system according to claim 1, wherein the conference support information includes information indicating the degree of excitement. 前記会議参加者を撮像する撮像手段をさらに備え、
前記支援情報生成手段は、前記撮像手段によって撮像された画像に基づいて前記会議支援情報を生成する
ことを特徴とする請求項１〜３のいずれか一項に記載の会議支援システム。 It further comprises imaging means for imaging the conference participants,
The conference support system according to claim 1, wherein the support information generation unit generates the conference support information based on an image captured by the imaging unit. 前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への関心度を判定する関心度判定部を備え、
前記会議支援情報は、前記関心度を示す情報を含む
ことを特徴とする請求項４に記載の会議支援システム。 The support information generating unit includes an interest level determination unit that determines an interest level of the conference participants based on the image,
The conference support system according to claim 4, wherein the conference support information includes information indicating the degree of interest. 前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への理解度を判定する理解度判定部を備え、
前記会議支援情報は、前記理解度を示す情報を含む
ことを特徴とする請求項４または５に記載の会議支援システム。 The support information generation means includes an understanding level determination unit that determines an understanding level of the agenda of the conference participant based on the image,
The conference support system according to claim 4, wherein the conference support information includes information indicating the degree of understanding. 前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への同意度を判定する同意度判定部を備え、
前記会議支援情報は、前記同意度を示す情報を含む
ことを特徴とする請求項４〜６のいずれか一項に記載の会議支援システム。 The support information generation means includes an agreement level determination unit that determines the agreement level of the conference participants based on the image,
The conference support system according to any one of claims 4 to 6, wherein the conference support information includes information indicating the degree of consent. 前記支援情報生成手段は、前記音声、前記画像及び前記会議支援情報に基づいて議事録を作成する議事録作成部を備えることを特徴とする請求項４〜７のいずれか一項に記載の会議支援システム。   The meeting according to any one of claims 4 to 7, wherein the support information generation unit includes a minutes creation unit that creates a minutes based on the voice, the image, and the meeting support information. Support system. 前記会議参加者に対して注意を促す注意手段をさらに備え、
前記支援情報生成手段は、前記音声に基づいて前記会議参加者の発言頻度を算出し、当該発言頻度の少ない前記会議参加者に対して注意を促すように前記注意手段に指示を出す注意指示部を備える
ことを特徴とする請求項１〜８のいずれか一項に記載の会議支援システム。 A warning means for calling attention to the conference participants;
The support information generating unit calculates a speech frequency of the conference participant based on the voice, and a caution instruction unit that instructs the caution unit to call attention to the conference participant with a low speech frequency The conference support system according to any one of claims 1 to 8, further comprising:
JP2015246672A 2015-12-17 2015-12-17 Meeting support system Active JP6655378B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015246672A JP6655378B2 (en) 2015-12-17 2015-12-17 Meeting support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015246672A JP6655378B2 (en) 2015-12-17 2015-12-17 Meeting support system

Publications (2)

Publication Number Publication Date
JP2017112545A true JP2017112545A (en) 2017-06-22
JP6655378B2 JP6655378B2 (en) 2020-02-26

Family

ID=59079866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015246672A Active JP6655378B2 (en) 2015-12-17 2015-12-17 Meeting support system

Country Status (1)

Country Link
JP (1) JP6655378B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079404A (en) * 2017-10-26 2019-05-23 富士ゼロックス株式会社 Device, management system, and program
JP2019086992A (en) * 2017-11-06 2019-06-06 Kddi株式会社 Device, program and method for triggering appropriate coaching timing for activating discussion
JP2019139625A (en) * 2018-02-14 2019-08-22 富士ゼロックス株式会社 Information processing apparatus and information processing program
JP2019179477A (en) * 2018-03-30 2019-10-17 本田技研工業株式会社 Information providing apparatus, information providing method, and program
JP2020005030A (en) * 2018-06-25 2020-01-09 シャープ株式会社 Information processing apparatus, information processing method, and program
JP2020042720A (en) * 2018-09-13 2020-03-19 京セラドキュメントソリューションズ株式会社 Facilitation support system and facilitation support program
JP2020144433A (en) * 2019-03-04 2020-09-10 Kddi株式会社 Integration degree estimation device and integration degree estimation method
WO2022004567A1 (en) * 2020-07-02 2022-01-06 パナソニックＩｐマネジメント株式会社 Communication analysis system, and communication analysis method
JP2022068904A (en) * 2020-10-23 2022-05-11 本田技研工業株式会社 Conference support device, conference support method, and conference support program
JP2022068905A (en) * 2020-10-23 2022-05-11 本田技研工業株式会社 Conference support device, conference support method, and conference support program

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124160A (en) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd Conference supporting system, information display, program and control method
US20050131744A1 (en) * 2003-12-10 2005-06-16 International Business Machines Corporation Apparatus, system and method of automatically identifying participants at a videoconference who exhibit a particular expression
JP2007047461A (en) * 2005-08-10 2007-02-22 Ricoh Co Ltd Conference active state analyzing device, method, program, and recording medium
JP2008272019A (en) * 2007-04-25 2008-11-13 Oki Electric Ind Co Ltd Group emotion recognition support system
US20090271438A1 (en) * 2008-04-24 2009-10-29 International Business Machines Corporation Signaling Correspondence Between A Meeting Agenda And A Meeting Discussion
JP2009267621A (en) * 2008-04-23 2009-11-12 Yamaha Corp Communication apparatus
JP2010074494A (en) * 2008-09-18 2010-04-02 Yamaha Corp Conference support device
JP2010541057A (en) * 2007-09-28 2010-12-24 アルカテル−ルーセント How to determine a user's reaction to specific content on a displayed page
JP2011066794A (en) * 2009-09-18 2011-03-31 Sharp Corp Meeting management device, and meeting management method
JP2011081504A (en) * 2009-10-05 2011-04-21 Hitachi Ltd Conference support system and program
JP2015114855A (en) * 2013-12-12 2015-06-22 日本電信電話株式会社 Discussion support device and discussion support program
JP2015138103A (en) * 2014-01-21 2015-07-30 株式会社リコー Support device, support method, and program

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124160A (en) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd Conference supporting system, information display, program and control method
US20050131744A1 (en) * 2003-12-10 2005-06-16 International Business Machines Corporation Apparatus, system and method of automatically identifying participants at a videoconference who exhibit a particular expression
JP2007047461A (en) * 2005-08-10 2007-02-22 Ricoh Co Ltd Conference active state analyzing device, method, program, and recording medium
JP2008272019A (en) * 2007-04-25 2008-11-13 Oki Electric Ind Co Ltd Group emotion recognition support system
JP2010541057A (en) * 2007-09-28 2010-12-24 アルカテル−ルーセント How to determine a user's reaction to specific content on a displayed page
JP2009267621A (en) * 2008-04-23 2009-11-12 Yamaha Corp Communication apparatus
US20090271438A1 (en) * 2008-04-24 2009-10-29 International Business Machines Corporation Signaling Correspondence Between A Meeting Agenda And A Meeting Discussion
JP2010074494A (en) * 2008-09-18 2010-04-02 Yamaha Corp Conference support device
JP2011066794A (en) * 2009-09-18 2011-03-31 Sharp Corp Meeting management device, and meeting management method
JP2011081504A (en) * 2009-10-05 2011-04-21 Hitachi Ltd Conference support system and program
JP2015114855A (en) * 2013-12-12 2015-06-22 日本電信電話株式会社 Discussion support device and discussion support program
JP2015138103A (en) * 2014-01-21 2015-07-30 株式会社リコー Support device, support method, and program

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079404A (en) * 2017-10-26 2019-05-23 富士ゼロックス株式会社 Device, management system, and program
JP7135295B2 (en) 2017-10-26 2022-09-13 富士フイルムビジネスイノベーション株式会社 Device
US11403567B2 (en) 2017-10-26 2022-08-02 Fujifilm Business Innovation Corp. Apparatus, management system, and non-transitory computer readable medium
JP2019086992A (en) * 2017-11-06 2019-06-06 Kddi株式会社 Device, program and method for triggering appropriate coaching timing for activating discussion
JP7098949B2 (en) 2018-02-14 2022-07-12 富士フイルムビジネスイノベーション株式会社 Information processing equipment and information processing programs
JP2019139625A (en) * 2018-02-14 2019-08-22 富士ゼロックス株式会社 Information processing apparatus and information processing program
US10902301B2 (en) 2018-02-14 2021-01-26 Fuji Xerox Co., Ltd. Information processing device and non-transitory computer readable medium storing information processing program
JP2019179477A (en) * 2018-03-30 2019-10-17 本田技研工業株式会社 Information providing apparatus, information providing method, and program
JP2020005030A (en) * 2018-06-25 2020-01-09 シャープ株式会社 Information processing apparatus, information processing method, and program
JP7220525B2 (en) 2018-06-25 2023-02-10 シャープ株式会社 Information processing device, information processing method and program
JP2020042720A (en) * 2018-09-13 2020-03-19 京セラドキュメントソリューションズ株式会社 Facilitation support system and facilitation support program
JP7185179B2 (en) 2018-09-13 2022-12-07 京セラドキュメントソリューションズ株式会社 Facilitation support system and facilitation support program
JP7068215B2 (en) 2019-03-04 2022-05-16 Kddi株式会社 Integration degree estimation device and integration degree estimation method
JP2020144433A (en) * 2019-03-04 2020-09-10 Kddi株式会社 Integration degree estimation device and integration degree estimation method
JPWO2022004567A1 (en) * 2020-07-02 2022-01-06
WO2022004567A1 (en) * 2020-07-02 2022-01-06 パナソニックＩｐマネジメント株式会社 Communication analysis system, and communication analysis method
JP7369942B2 (en) 2020-07-02 2023-10-27 パナソニックＩｐマネジメント株式会社 Communication analysis system and communication analysis method
JP2022068905A (en) * 2020-10-23 2022-05-11 本田技研工業株式会社 Conference support device, conference support method, and conference support program
JP2022068904A (en) * 2020-10-23 2022-05-11 本田技研工業株式会社 Conference support device, conference support method, and conference support program
JP7430132B2 (en) 2020-10-23 2024-02-09 本田技研工業株式会社 Conference support device, conference support method, and conference support program
JP7430618B2 (en) 2020-10-23 2024-02-13 本田技研工業株式会社 Conference support device, conference support method, and conference support program

Also Published As

Publication number Publication date
JP6655378B2 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
JP6655378B2 (en) Meeting support system
JP7230394B2 (en) Teleconferencing device and teleconferencing program
US10241990B2 (en) Gesture based annotations
JP2009077380A (en) Method, system and program for modifying image
JP2000352996A (en) Information processing device
US20210195031A1 (en) Information processing apparatus and information processing method
WO2011013605A1 (en) Presentation system
WO2019206186A1 (en) Lip motion recognition method and device therefor, and augmented reality device and storage medium
CN110162598B (en) Data processing method and device for data processing
JP2014220619A (en) Conference information recording system, information processing unit, control method and computer program
JP7276158B2 (en) Information processing device, information processing method and program
JP2013062640A5 (en)
JP2007213282A (en) Lecturer support device and lecturer support method
CN117321984A (en) Spatial audio in video conference calls based on content type or participant roles
JP2017064853A (en) Robot, content deciding device, content deciding method, and program
JP6456163B2 (en) Information processing apparatus, audio output method, and computer program
US20230100151A1 (en) Display method, display device, and display system
JP7105380B2 (en) Information processing system and method
JP2007251355A (en) Relaying apparatus for interactive system, interactive system, and interactive method
WO2021245759A1 (en) Voice conference device, voice conference system, and voice conference method
JP6619072B2 (en) SOUND SYNTHESIS DEVICE, SOUND SYNTHESIS METHOD, AND PROGRAM THEREOF
CN110166844B (en) Data processing method and device for data processing
JP2020088637A (en) Conference support system and conference robot
JP7231301B2 (en) Online meeting support system and online meeting support program
Alzubaidi et al. Discussion-facilitator: towards enabling students with hearing disabilities to participate in classroom discussions

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20160114

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181011

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181009

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R150 Certificate of patent or registration of utility model

Ref document number: 6655378

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150