JP2019016360A - Information processing apparatus and information processing method, and program - Google Patents
Information processing apparatus and information processing method, and program Download PDFInfo
- Publication number
- JP2019016360A JP2019016360A JP2018140703A JP2018140703A JP2019016360A JP 2019016360 A JP2019016360 A JP 2019016360A JP 2018140703 A JP2018140703 A JP 2018140703A JP 2018140703 A JP2018140703 A JP 2018140703A JP 2019016360 A JP2019016360 A JP 2019016360A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- idea support
- word
- words
- diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 101
- 238000003672 processing method Methods 0.000 title claims 2
- 238000010586 diagram Methods 0.000 claims abstract description 43
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 3
- 238000000034 method Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 25
- 230000000877 morphologic effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101000934888 Homo sapiens Succinate dehydrogenase cytochrome b560 subunit, mitochondrial Proteins 0.000 description 1
- 102100025393 Succinate dehydrogenase cytochrome b560 subunit, mitochondrial Human genes 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、情報処理システムに関する。 The present invention relates to an information processing system.
＜マインドマップ＞
独創的な着想を生み出す着想支援法として、様々な手法が既に提案され、知られている。
<Mind map>
Various methods have already been proposed and known as idea support methods for creating original ideas.
二次元図式的な着想支援法として、日本で広く用いられている方法として、川喜田二郎氏の紙カード式の「ＫＪ法」があげられる。また、海外では英国のTony Buzan氏による「マインドマップ（MindMap）」も普及している。その他にもさまざまな二次元図式的着想支援法が開発されている。 As a two-dimensional schematic idea support method, Jiro Kawakita's paper card type “KJ method” is widely used in Japan. Overseas, “MindMap” by Tony Buzan from the UK is also popular. Various other two-dimensional schematic idea support methods have been developed.
タスクの記述された電子付箋をデスクトップに表示させる技術が知られている（例えば、特許文献１参照）。入力された複数のタスクを記憶部に格納し、当該記憶部に格納された一のタスクと他のタスクを関連付け、当該関連付けられた複数のタスクを組織化して図表を表示する。各ユーザの作業やスケジュール、アイデア、発言内容などのタスクを他人のタスクと関連付けさせて表示することによって、各タスクの位置づけを容易に把握できるようにし、業務の効率化を図る。 A technique for displaying an electronic sticky note in which a task is described on a desktop is known (for example, see Patent Document 1). A plurality of input tasks are stored in a storage unit, one task stored in the storage unit is associated with another task, the plurality of associated tasks are organized, and a chart is displayed. By displaying tasks such as each user's work, schedule, ideas, and remarks in association with other people's tasks, the position of each task can be easily grasped, and work efficiency is improved.
また、マインドマップ等の多項目表現を作成する際に、関連する項目を情報処理装置で自動生成し、着想や文章作成等を支援する技術が知られている（例えば、非特許文献２参照）。 In addition, when creating a multi-item expression such as a mind map, a technology is known in which related items are automatically generated by an information processing apparatus to support idea creation and sentence creation (see Non-Patent Document 2, for example). .
＜会議の会話による音声情報処理＞
会議の会話による音声情報は、議事録担当者が聞き取り、パーソナルコンピュータ（ＰＣ）などの情報処理端末を用いて手入力を行うやり方が一般的である。
<Voice information processing by conference conversation>
In general, audio information from a conference conversation is listened to by a person in charge of minutes, and manually input using an information processing terminal such as a personal computer (PC).
会話中の発話に関心または興味のある内容かどうかを分析し可視化する技術が知られている（例えば、特許文献３参照）。 There is known a technique for analyzing and visualizing whether or not the content is an interest or interest in an utterance during conversation (see, for example, Patent Document 3).
会議の音声情報から議事録を自動生成する技術が知られている（例えば、特許文献４参照）。 A technique for automatically generating minutes from audio information of a meeting is known (see, for example, Patent Document 4).
遠隔地でのネットワーク会議において、議事録を作成する技術が知られている（例えば、特許文献５参照）。 A technique for creating minutes in a network conference at a remote location is known (see, for example, Patent Document 5).
会議の振り返りの支援として、挙手、起立、板書などの動作解析、話者交代、話者同定から会議の重要部分を重み付けし、会議の重要部分の区間内における発話単語数、言い淀みの感動詞、声量、声量の変化率、音声のピッチ変化、顔の傾きからキーパーソンを推定する技術が知られている（例えば、特許文献６参照）。 As support for the review of the meeting, weighting the important parts of the meeting from motion analysis of raising hand, standing up, board writing, speaker change, speaker identification, etc. A technique for estimating a key person from a voice volume, a voice rate change rate, a voice pitch change, and a face inclination is known (for example, see Patent Document 6).
会議の参加者間でやり取りされる会話の音声信号を認識し、単語に分解し集計することにより、会議が本論から逸れているか否かを判断する技術が知られている（例えば、特許文献７参照）。 A technique for determining whether or not a conference deviates from the main topic by recognizing speech signals of conversations exchanged between conference participants, decomposing them into words, and collecting them (for example, Patent Document 7) is known. reference).
会議中の音声情報やマインドマップなどの着想支援法を使ったシステムでは、会議の目標に対して、現在どの部分を話しているかがわからず会議が効率よく進まない。また、会議で話さなければならないトピックに対してどのトピックは十分に議論ができていて、どのトピックが不十分であるかということもその場で把握することができない。 In a system that uses an idea support method such as voice information or mind map during a conference, the conference does not proceed efficiently because it does not know which part is currently spoken against the conference target. In addition, it is impossible to grasp on the spot which topics are sufficiently discussed with respect to topics that must be spoken at the meeting, and which topics are insufficient.
そこで、本発明は、会議などの目標に対して、どの部分を話しているかをメンバー間で共有させることを目的とする。 Therefore, an object of the present invention is to allow members to share which part is being spoken with respect to a goal such as a meeting.
開示の一実施例の情報処理装置は、
会議中の音声情報をテキストに変換するテキスト変換手段と、
前記テキスト変換手段により変換されたテキストを単語に分解する単語分解手段と、
前記単語分解手段により分解された単語に基づいて、二次元の図式で表される着想支援図を生成する着想支援図生成手段と、
前記着想支援図生成手段により生成された着想支援図について、前記会議中の議論している部分が判別可能であるようにリアルタイムに可視化表示する着想支援図表示手段と、
を備える。
An information processing apparatus according to an embodiment of the disclosure
Text conversion means for converting audio information during a meeting into text;
Word decomposing means for decomposing the text converted by the text converting means into words;
An idea support diagram generating means for generating an idea support diagram represented by a two-dimensional diagram based on the words decomposed by the word decomposing means;
About the idea support diagram generated by the idea support diagram generating means, an idea support diagram display means for visualizing and displaying in real time so that the part being discussed in the meeting can be identified,
Is provided.
開示の実施例によれば、会議などの目標に対して、どの部分を話しているかをメンバー間で共有させることができる。 According to the disclosed embodiment, it is possible to share which part is spoken with respect to a goal such as a meeting among members.
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施の形態は、以下の実施例に限られない。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
Next, the form for implementing this invention is demonstrated, referring drawings based on the following Examples. Examples described below are merely examples, and embodiments to which the present invention is applied are not limited to the following examples.
In all the drawings for explaining the embodiments, the same reference numerals are used for those having the same function, and repeated explanation is omitted.
＜実施例＞
＜情報処理システム＞
図１は、情報処理システムの一実施例を示す。
<Example>
<Information processing system>
FIG. 1 shows an embodiment of an information processing system.
情報処理システムは、会議などにおける会話による音声情報、図式的に項目間を関連づけた表現などの着想支援図を用いて、着想能力、文書能力、コミュニケーション能力の向上などの支援を行う。図式的に項目間を関連づけた表現などの着想支援図には、ＫＪ法や、マインドマップなどあるが、これらに限られない。 The information processing system supports improvement of the idea ability, document ability, communication ability, etc., using the idea support diagram such as the voice information by the conversation in the meeting or the like, and the expression that schematically associates the items. Inspiration support diagrams such as expressions that graphically relate items to each other include, but are not limited to, the KJ method and a mind map.
情報処理システムの一実施例は、着想支援図としてマインドマップにより支援を行う場合について説明する。マインドマップは、二次元の図式で表されるのが好ましい。情報処理システムの一実施例では、３人の参加者、つまり第１の参加者３１００、第２の参加者３２００、第３の参加者３３００により会議が行われる。会議は、２人の参加者で行われてもよいし、４人以上の参加者で行われてもよい。
In an embodiment of the information processing system, a case where support is provided using a mind map as an idea support diagram will be described. The mind map is preferably represented in a two-dimensional diagram. In one embodiment of the information processing system, a conference is held by three participants, that is, a
会議システムには、情報処理装置２０００及び２１００と、携帯端末装置５０００が含まれる。
The conference system includes
第１の参加者３１００は情報処理装置２０００を有し、第２の参加者３２００は情報処理装置２１００を有し、第３の参加者３３００は携帯端末装置５０００を有する。
The
会議システムには、プロジェクタ３４００と、スクリーン３５００が含まれる。プロジェクタ３４００は、スクリーン３５００に投影する。
The conference system includes a
プロジェクタ３４００は、スクリーン３５００を分割した各領域に複数の情報をそれぞれ投影する。図１に示される例では、プロジェクタ３４００は、スクリーン３５００を２つに分割した各領域に２つの情報をそれぞれ投影する。スクリーン３５００の右側の領域には、モバイルパソコン３６００から入力された画面が投影される。スクリーン３５００の左側の領域には、モバイルパソコン３６００から入力されたマインドマップ情報の画面情報が投影される。マインドマップ情報は、情報処理装置２０００、及び２１００、携帯端末装置５０００で処理されたものである。
The
スクリーン３５００の複数の領域に、複数の情報をそれぞれ表示することにより、参加者に、現時点の説明のポイントと、今までの会議の内容と現在の話し合いの内容を把握させることができる。また、参加者に、話し合いが不足している部分を把握させることができる。
By displaying a plurality of pieces of information in a plurality of areas of the
プロジェクタ３４００に赤外線センサが備えられ、スクリーン３５００の左側に投影されている画面に手を当てることにより、該左側の画面を操作できるのが好ましい。図１に示される例では、スクリーン３５００の左側には、マインドマップが表示される。この場合、マインドマップに手を当てることにより、マインドマップを操作できる。
It is preferable that the
また、プロジェクタ３４００に赤外線センサなどの接触されたことを検出する機能がない場合には、携帯端末装置５０００や、モバイルパソコン３６００の画面に表示されるマインドマップに触れることにより、マインドマップを操作するようにしてもよい。
When the
＜情報処理装置２０００＞
図２は、情報処理装置２０００の一実施例を示す。図２には、情報処理装置２０００の模式図を示す。
<
FIG. 2 shows an embodiment of the
情報処理装置２０００は、腕時計に含まれる。情報処理装置２０００は、マイク２００１と、ボタン２００２と、ディスプレイ２００３とを有する。
図３は、情報処理装置２０００の一実施例を示す。図２には、情報処理装置２０００のハードウェア構成が示される。
FIG. 3 shows an embodiment of the
情報処理装置２０００は、マイク２００１と、ボタン２００２と、ディスプレイ２００３と、ＲＯＭ（Read Only Memory）２００４と、プロセッサ２００５と、ＲＡＭ（Random Access Memory）２００６と、ハードウェアアクセラレータ２００７と、内蔵メモリ２００８とを有する。
The
マイク２００１は、第１の参加者３１００が話した音声（アナログ情報）をデジタル情報に変換する。マイク２００１は、音声入力があったことを割り込みなどの信号を使ってプロセッサ２００５に伝える。音声情報はＲＡＭ２００６に一旦保存されてもよいし、内部バッファで直接プロセッサ２００５に入力してもよい。
The
プロセッサ２００５は、ハードウェアアクセラレータ２００７と連携して音声認識、形態素解析、マインドマップ化と順に処理を行う。
The
ボタン２００２は、時計の表示切替や日付、時刻調整、ストップウォッチの開始、停止を行う機能を有する。音声認識の認識精度を高めるために音声認識の開始と終了ボタンを設けてもよい。
The
ディスプレイ２００３は、時計の表示を行う。
A
ＲＯＭ２００４は、情報処理装置２０００を起動する際に必要なブートローダ、ファイルシステム、ＯＳ(Operating System)を格納する。情報処理装置２０００の起動時にプロセッサ２００５はＲＯＭ２００４から起動プログラムを読込み、起動する。
The
内蔵メモリ２００８は、電源をオフする際に一時的にマインドマップ情報、音声認識、形態素解析を行うための辞書、マインドマップ化を行うためのパラメータを保持する。内蔵メモリ２００８は、不揮発メモリであるのが好ましい。
The built-in
＜情報処理装置２１００＞
図４は、情報処理装置２１００の一実施例を示す。図４には、情報処理装置２１００の模式図を示す。
<
FIG. 4 shows an embodiment of the
情報処理装置２１００は、ＩＣレコーダに含まれる。情報処理装置２１００は、マイク２１０１と、スピーカ２１０２と、ディスプレイ２１０３と、ボタン２１０４とを有する。
図５は、情報処理装置２１００の一実施例を示す。図５には、情報処理装置２１００のハードウェア構成が示される。
FIG. 5 shows an embodiment of the
情報処理装置２１００は、マイク２１０１と、スピーカ２１０２と、ディスプレイ２１０３と、ボタン２１０４と、内蔵メモリ２１０５と、ＲＯＭ２１０６と、プロセッサ２１０７と、ＲＡＭ２１０８と、ハードウェアアクセラレータ２１０９とを有する。
The
マイク２１０１、内蔵メモリ２１０５、ＲＯＭ２１０６、プロセッサ２１０７、ＲＡＭ２１０８、及びハードウェアアクセラレータ２１０９は、それぞれ情報処理装置２０００のマイク２００１、内蔵メモリ２００８、ＲＯＭ２００４、プロセッサ２００５、ＲＡＭ２００６、及びハードウェアアクセラレータ２００７と略同一である。
The
スピーカ２１０２は、ICレコーダとして音声を記録した後で再生する際に、音声を出力する。
The
ディスプレイ２１０３は、記録したどの音声ファイルを再生するかを表示し、ボタン２１０４と連携して選択して実行するためのユーザインタフェース(UI)の役割を果たす。
The
＜携帯端末装置５０００＞
図6は、携帯端末装置５０００の一実施例を示す。
<
FIG. 6 shows an embodiment of the
携帯端末装置５０００は、カメラ５００１と、ディスプレイ５００２と、ボタン５００３と、マイク５００４とを有する。
The
ディスプレイ５００２は、タッチパネルを有する。タッチパネルに接触することにより、種々の操作が可能である。例えば、ディスプレイ５００２に表示されたマインドマップに接触することにより、プロジェクタ３４００によりスクリーン３５００に投影されたマインドマップと同期して、マインドマップを操作することができる。具体的には、ディスプレイ５００２に表示されたマインドマップに接触することにより、ノードの挿入、削除、名前変更、切り取り、貼り付け、移動、展開又は省略などの操作を行うことができる。さらに、ディスプレイ５００２に表示されたマインドマップに接触することにより、表示全体の拡大、縮小も行うことができる。
The
また、ディスプレイ５００２に表示されたノードをタッチすることにより、タッチしたノードの関連語をWeb検索して表示することや、ノードの単語が含まれる一文を表示することもできる。
Further, by touching a node displayed on the
＜情報処理装置２０００の機能＞
図７は、情報処理装置２０００の機能の一実施例を示す。情報処理装置２１００の機能は、情報処理装置２０００の機能と略同一である。
<Function of
FIG. 7 shows an example of functions of the
情報処理装置２０００は、マイク２００１と、時計部２０５０と、通信部２０５４と、マインドマップデータベース２０６１と、辞書データベース２０６２とを有する。
The
プロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従って、ＯＳ２０５１と、ミドルウェア２０５２と、エンジン部２０５３として機能する。
The
マイク２００１は、音声を入力してアナログ信号からデジタル信号に変換する。
The
時計部２０５０は通常の腕時計の機能を提供するユニットである。
The
ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）２０５１は、Ｌｉｎｕｘ（登録商標）やＡｎｄｒｏｉｄ（登録商標）などのマルチタスクをスケジューリングして実行することを可能とする基本ソフトウェアである。 An OS (Operating System) 2051 is basic software that makes it possible to schedule and execute multitasks such as Linux (registered trademark) and Android (registered trademark).
ミドルウェア２０５２は、基本ソフトウェア上で動作しエンジン部２０５３や通信部２０５４から利用されるライブラリ群である。
The
通信部２０５４は、情報処理装置２０００とモバイルパソコン３６００との間で通信するための通信プロトコルなどの制御を実行する。通信プロトコルの例は、ＨＴＴＰ(Hyper Text Transfer Protocol)などである。
The
マインドマップデータベース２０６１は、情報処理装置２０００が生成した会議の内容をマインドマップ化した情報を格納するデータベースである。
The
辞書データベース２０６２は、音声認識や形態素解析、マインドマップ生成などの一連の処理の中で利用する音響モデル、単語モデル、単語間の関連モデルを格納するデータベースである。
The
エンジン部２０５３には、テキスト変換手段としての音声認識部２０５５と、学習手段としての単語学習部２０５６と、検索手段としての検索部２０５７と、単語分解手段、フィルタ手段としての形態素解析部２０５８と、着想支援図生成手段としてのマインドマップ生成部２０５９と、操作処理手段としてのマインドマップ操作部２０６０とが含まれる。
The
音声認識部２０５５は、マイク２００１から入力された音声信号の音声認識処理を行い、テキストへ変換する。音声認識部２０５５は、音声信号の音声認識処理の際に、辞書データベース２０６２に格納された音響モデル、単語モデル、単語間の関連モデルを利用するのが好ましい。音声認識部２０５５は、音声信号の音声認識処理の際に、内蔵メモリ２００８に格納された情報を利用してもよい。
The
単語学習部２０５６は、マインドマップの操作で検索ボタンが押し下げ（タッチ）され、関連語が選択された際に、辞書データベース２０６２に格納された音響モデル、単語モデル、単語間の関連モデルを検索しても該当する単語が存在しない場合に新規単語として登録する。また、単語学習部２０５６は、マインドマップの操作で検索ボタンが押し下げ（タッチ）され、関連語が選択された際に、内蔵メモリ２００８に格納された情報を検索しても該当する単語が存在しない場合に新規単語として登録する。該当する単語が存在しない場合に新規単語として登録することにより、辞書を学習させることができる。
The
検索部２０５７は、マインドマップの操作で検索ボタンが押し下げ（タッチ）され、関連語をＷｅｂ検索する処理のロジック部分である。
The
形態素解析部２０５８は、音声認識部２０５５により音声認識することにより変換したテキストを品詞レベルの単語に分解する処理を行う。
The
マインドマップ生成部２０５９には、形態素解析部２０５８で品詞レベルに分解した単語が入力される。マインドマップ生成部２０５９は、形態素解析部２０５８からの単語に基づいてマインドマップを構築する。
The mind
マインドマップ操作部２０６０は、マインドマップへの操作に基づいて、該操作に応じた処理を実行する。マインドマップへの操作の例は、ノードの挿入、削除、名前変更、切り取り、貼り付け、移動、展開又は省略などの処理である。
The mind
＜携帯端末装置５０００の機能＞
図８は、携帯端末装置５０００の機能の一実施例を示す。
<Function of mobile
FIG. 8 shows an example of functions of the
携帯端末装置５０００は、ハードウェア部５０５０を有する。ハードウェア部５０５０は、カメラ５００１、ディスプレイ５００２、ボタン５００３、マイク５００４、タッチパネル部５００５、バッテリ５００６、アンテナ５００７、センサ５００８、スピーカ５００９、外部メモリスロット５０１０、マインドマップデータベース５０５７、辞書データベース５０５８を有する。
The
カメラ５００１は、画像の撮影を行うユニットである。
The
ディスプレイ５００２は、マインドマップの表示やその他のアプリケーション５０５６の情報を表示する。
The
ボタン５００３にはホームボタンが含まれる。ホームボタンが押し下げされることによりホーム画面に遷移する処理が実行される。
The
マイク５００４は、音声信号をアナログ信号からデジタル信号に変換する。
The
タッチパネル部５００５は、タッチ（接触）によりユーザインタフェースを提供するユニットである。
The
バッテリ５００６は、携帯端末装置５０００に電源を供給するユニットである。
The
アンテナ５００７は、無線通信を行うための電波受信に利用される。
The
センサ５００８の例は、加速度センサ、ジャイロセンサ、赤外線センサ、ＧＰＳ(Global Positioning System）などである。
Examples of the
スピーカ５００９は、音声出力に使われＹｏｕｔｕｂｅ（登録商標）などの動画の再生の際に、音を出力する。
The
外部メモリスロット５０１０は、microＳＤカードやＳＤＨＣカードなどのメモリカードを挿入し、補助記憶として利用するためのインタフェースである。
The
マインドマップデータベース５０５７は、情報処理装置２０００及び情報処理装置２１００が生成した会議の内容をマインドマップ化した情報を格納するデータベースである。
The
辞書データベース５０５８は、音声認識や形態素解析、マインドマップ生成などの一連の処理の中で利用する音響モデル、単語モデル、単語間の関連モデルを格納するデータベースである。
The
ＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従って、ＯＳ５０５１、ミドルウェア５０５２、アプリケーションラッパ部５０５３、その他のアプリケーション５０５６として機能する。
A CPU (not shown) functions as an
ＯＳ５０５１は、Ｌｉｎｕｘ（登録商標）やＡｎｄｒｏｉｄ（登録商標）などのマルチタスクをスケジューリングして実行することを可能とする基本ソフトウェアである。
The
ミドルウェア５０５２は、基本ソフトウェア上で動作しエンジン部５０５４や通信部５０５５、その他のアプリケーション５０５６から利用されるライブラリ群である。
The
アプリケーションラッパ部５０５３は、携帯端末装置５０００上で動作するようエンジン部５０５４とミドルウェア５０５２との間のインタフェースを接続する役割を担うユニットである。アプリケーションラッパ部５０５３は、エンジン部５０５４と、通信部５０５５とを有する。
The
エンジン部５０５４は、図７を参照して説明したエンジン部２０５３と略同一であるため、説明を省略する。
The
通信部５０５５は、モバイルパソコン３６００との間で通信するための通信プロトコルなどを制御する。通信プロトコルの例は、ＨＴＴＰなどである。
The
その他のアプリケーション５０５６の例は、Ｔｗｉｔｔｅｒ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）などの一般的なアプリケーションである。
Other examples of the
＜通信システムの動作（その１）＞
図９は、通信システムの動作（その１）の一実施例を示すシーケンスチャートである。
<Operation of communication system (1)>
FIG. 9 is a sequence chart showing an embodiment of the operation (part 1) of the communication system.
図９には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従って通信部２０５４としての機能を実行する処理が示される。また、図９には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従って通信部としての機能を実行する処理が示される。また、図９には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従って通信部５０５５としての機能を実行する処理が示される。
FIG. 9 mainly illustrates processing in which the
ステップＳ１では、情報処理装置２０００は、モバイルパソコン３６００に対して会議開始を要求する。このとき、接続するユーザ情報と再開するデータベース名を指定する。新規のデータベースとする場合には特に指定する必要は無い。
In step S <b> 1, the
ステップＳ２では、会議開始要求を受けたモバイルパソコン３６００は、ユーザ認証、データベースオープン等の前処理を実施する。
In step S2, the mobile
ステップＳ３では、モバイルパソコン３６００は、前処理を実施した後、接続結果のＯＫあるいはＮＧとセッションＩＤを情報処理装置２０００に返信する。ここで、セッションＩＤとは会議参加者の間でのみ共有することが可能な識別子である。通信システムの動作（その１）の一実施例では、モバイルパソコン３６００は、接続結果のＯＫとセッションＩＤを情報処理装置２０００に返信する。
In step S <b> 3, the mobile
ステップＳ４では、情報処理装置２１００は、モバイルパソコン３６００に対して、会議ＩＤとユーザ情報を引数として接続要求を行う。
In step S4, the
ステップＳ５では、接続要求を受けたモバイルパソコン３６００はメンバー追加の処理を行う。
In step S5, the mobile
ステップＳ６では、メンバーの追加処理が完了したら、モバイルパソコン３６００は情報処理装置２１００に対して接続ＯＫ（あるいはＮＧ）を返信する。
In step S 6, when the member addition process is completed, the mobile
ステップＳ７では、携帯端末装置５０００は、モバイルパソコン３６００に対して、会議ＩＤとユーザ情報を引数として接続要求を行う。
In step S7, the
ステップＳ８では、接続要求を受けたモバイルパソコン３６００はメンバー追加の処理を行う。
In step S8, the mobile
ステップＳ９では、メンバーの追加処理が完了したら、モバイルパソコン３６００は携帯端末装置５０００に対して接続ＯＫ（あるいはＮＧ）を返信する。
In step S9, when the member addition process is completed, the mobile
ステップＳ１０では、会議参加者の全てのデバイスがモバイルパソコン３６００に接続できたら、情報処理装置２０００から表示設定の要求を行う。ここで、ＩＰアドレスとは、表示先のＩＰアドレスであり、この例ではプロジェクタ３４００のＩＰアドレスである。この表示先設定要求は、情報処理装置２１００、携帯端末装置５０００が実施してもよい。
In
ステップＳ１１では、表示先設定要求を受信すると、モバイルパソコン３６００は、表示先登録を行う。
In step S11, when the display destination setting request is received, the mobile
ステップＳ１２では、モバイルパソコン３６００は、プロジェクタ３４００に画面投影要求を送信する。ここで、引数のマインドマップとは、画面に投影するマインドマップ情報を指している。また、ステップＳ１１で表示先登録を行うのは、会議終了時に表示終了や表示トラブル時の再表示を行うためである。
In
ステップＳ１３では、プロジェクタ３４００は、画面投影要求を受信すると、画面投影処理を実行する。
In step S13, upon receiving the screen projection request,
ステップＳ１４以降は、プロジェクタ３４００で投影している画面を操作するために、携帯端末装置５０００でも同じ画面を表示するためのシーケンスである。
Step S14 and subsequent steps are a sequence for displaying the same screen on the
ステップＳ１４では、携帯端末装置５０００のＩＰアドレスとともに表示先設定要求をモバイルパソコン３６００に送信する。
In
ステップＳ１５では、モバイルパソコン３６００は表示先追加登録を行う。
In step S15, the mobile
ステップＳ１６では、モバイルパソコン３６００は、マインドマップ情報を携帯端末装置５０００に返信する。
In step S16, the mobile
ステップＳ１７では、携帯端末装置５０００は、モバイルパソコン３６００から受信したマインドマップ情報を画面に表示する。
In step S17,
＜通信システムの動作（その２）＞
図１０は、通信システムの動作（その２）の一実施例を示すシーケンスチャートである。
<Operation of communication system (2)>
FIG. 10 is a sequence chart showing an embodiment of the operation (part 2) of the communication system.
図１０には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図９には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図９には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。
FIG. 10 mainly illustrates processing in which the
ステップＳ２０では、参加者３１００が発言した音声情報を情報処理装置２０００が音声信号として入力し、音声認識、形態素解析、マインドマップ化、データベースへ保存する。
In step S20, the voice information uttered by the
ステップＳ２１では、情報処理装置２０００はマインドマップ画面情報をモバイルパソコン３６００に送信する。
In step S21, the
ステップＳ２２では、モバイルパソコン３６００は、自身の画面表示を更新する。
In step S22, mobile
ステップＳ２３では、同じ画面を表示しているプロジェクタ３４００に表示更新を要求する。
In step S23, the
ステップＳ２４では、同じ画面を表示している携帯端末装置５０００に表示更新を要求する。
In step S24, the
続いて、携帯端末装置５０００でマインドマップ操作があった場合の処理について説明する。
Next, processing when a mind map operation is performed on the
ステップＳ２５では、携帯端末装置５０００が操作に応じて画面の表示を更新する。
In step S25, the
ステップＳ２６では、携帯端末装置５０００からモバイルパソコン３６００へ表示更新を要求する。
In step S26, the
ステップＳ２７では、モバイルパソコン３６００は、携帯端末装置５０００の要求を受けてプロジェクタ３４００に対して表示の更新を要求する。
In step S27, the mobile
ステップＳ２８では、携帯端末装置５０００は、マインドマップの表示情報をデータベースに保存するために、情報処理装置２０００へマインドマップ表示情報を送信する。
In step S28, the
ステップＳ２９では、情報処理装置２０００はデータベースへの保存を行う。
In step S29, the
その後、参加者３３００が発言した場合の処理について説明する。
Thereafter, processing when the
ステップＳ３０では、参加者３３００が発言した音声情報を携帯端末装置５０００が音声信号として入力し、音声認識し、形態素解析し、マインドマップ化し、データベースへ保存する。
In step S30, the voice information spoken by the
ステップＳ３１では、携帯端末装置５０００はマインドマップ画面情報をモバイルパソコン３６００に送信する。
In step S <b> 31, the
ステップＳ３２では、モバイルパソコン３６００は、同じ画面を表示しているプロジェクタ３４００にも表示画面の更新を要求する。ここで、表示画面の更新を要求する際に、モバイルパソコン３６００を経由するのは、モバイルパソコン３６００がサーバとして振舞うためである。
In step S32, the mobile
＜通信システムの動作（その３）＞
図１１は、通信システムの動作（その３）の一実施例を示すシーケンスチャートである。
<Operation of communication system (part 3)>
FIG. 11 is a sequence chart showing an embodiment of the operation (part 3) of the communication system.
図１１には、会議を終了する際の動作が示される。図１１には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従って通信部２０５４としての機能を実行する処理が示される。
FIG. 11 shows an operation when the conference is ended. FIG. 11 mainly illustrates processing in which the
ステップＳ４０では、情報処理装置２０００が接続終了要求を行う。図１１では、情報処理装置２０００により接続終了要求が実行される場合について示すが、情報処理装置２１００により接続終了要求が実行されてもよいし、携帯端末装置５０００により接続終了要求が実行されてもよい。
In step S40, the
ステップＳ４１では、モバイルパソコン３６００は会議終了処理を行う。具体的には、モバイルパソコン３６００は、データベースを保存して閉じ、セッションをクリアし、表示をクリアするのが好ましい。また、モバイルパソコン３６００は。表示をクリアする要求を携帯端末装置５０００、プロジェクタ３４００に送信するのが好ましい。
In step S41, the mobile
ステップＳ４２では、会議終了処理が完了したら、情報処理装置２０００に対して接続終了結果を返信する。ここで、仮に結果がＮＧである場合には、ユーザに終了するために必要な作業を伝えるのが好ましい。
In step S42, when the conference end process is completed, a connection end result is returned to the
＜マインドマップを操作する際の動作＞
図１２は、マインドマップの一実施例を示す。
<Operation when operating mind map>
FIG. 12 shows an example of a mind map.
"XXXXX"と表示された単語のノード１２０１をタッチすると、詳細ボタン１２０２、挿入ボタン１２０３、展開ボタン１２０４、検索ボタン１２０５が表示される。展開ボタン１２０４の代わりに省略ボタン１２０６が表示されることもある。
When a
ノード１２０１自体を再度タッチすると、"XXXXX"という文字列を編集するモードになる。例えば、"XXXXY"などと名前を変更してEnterボタンを押すと名前の変更が確定される。
When the
新規ノードを追加する場合には、挿入ボタン１２０３をタッチして作成したい位置まで枝を伸ばし離す。そうすると、新規ノードが生成される。新規ノードの名前については、空にして名前の変更をユーザに促すようにしてもよいし、適当な名前を付けて表示するようにしてもよい。
When adding a new node, the branch button is extended to a position to be created by touching the
展開ボタン１２０４をタッチした場合には、該タッチしたノードの子ノード以下のノードのうち、表示対象となっているノードが表示される。仮に、子ノード以下で省略状態となっているノードがあればそのノードは省略されたままとなる。省略ボタン１２０６の場合には展開ボタンと逆の操作となる。展開ボタン１２０４を押すと省略ボタン１２０６になり、省略ボタン１２０６を押すと展開ボタン１２０４になるのが好ましい。子ノード以下をもたないノードについてはこの展開（あるいは省略）ボタンは表示されない。
When the expand
検索ボタン１２０５をタッチした際には、"XXXXX"という単語に関連する単語を設定された数、表示する。"XXXXX"という単語に関連する単語は、リング上に表示されてもよい。関連する単語に関しては、ウィキペディアなどの単語の意味を説明するサイトの関連語の部分を利用してもよい。例えば、「関連語２」を選択したとすると、"XXXXX"の子ノードとして「関連語２」が新規に追加される。このとき、辞書データベース２０６２あるいは５０５８を検索して、仮に辞書に「関連語２」がない場合には追加する学習処理も同時に行うのが好ましい。
When the
詳細ボタン１２０２をタッチした際には、会議の発言の中で"XXXXX"が含まれる一文をマインドマップデータベース２０６１あるいは５０５７より検索してポップアップ形式で表示するのが好ましい。
When the
＜マインドマップを生成する処理＞
図１３は、マインドマップを生成する処理を示す。
<Process to generate mind map>
FIG. 13 shows a process for generating a mind map.
図１３には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１３には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１３には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。
FIG. 13 mainly illustrates processing in which the
ステップＳ１３０２では、会議参加者の音声情報をマイク２００１、２１０１、５００４で拾いアナログ信号からデジタル信号へ変換する。
In step S1302, the audio information of the conference participants is picked up by the
ステップＳ１３０４では、ステップＳ１３０２により変換したデジタル音声信号を音声認識することによりテキストに変換する。 In step S1304, the digital voice signal converted in step S1302 is converted into text by voice recognition.
ステップＳ１３０６では、ステップＳ１３０４による音声認識の結果得られたテキストを、形態素解析し品詞レベルの単語に分解する。 In step S1306, the text obtained as a result of the speech recognition in step S1304 is morphologically analyzed and decomposed into parts of speech level words.
ステップＳ１３０８では、ステップＳ１３０６で品詞レベルに分解された単語から、単語毎の重要度と関連度の重み付けを計算し、マインドマップ形式（木構造）のデータを生成する。この時のデータの表現方法の例は、ＸＭＬ（eXtensible Markup Language）やJSON(JavaScript Object Notation)などの記法であるのが好ましい。 In step S1308, weighting of importance and relevance for each word is calculated from the words decomposed to the part of speech level in step S1306, and data in a mind map format (tree structure) is generated. An example of a data expression method at this time is preferably a notation such as XML (eXtensible Markup Language) or JSON (JavaScript Object Notation).
ステップＳ１３１０では、ステップＳ１３０８で生成されたマインドマップ形式のデータはマインドマップデータベース２０６１、５０５７に保存される。
In step S1310, the mind map format data generated in step S1308 is stored in the
＜マインドマップが操作された際の表示処理＞
図１４は、マインドマップが操作された際の表示処理の一実施例を示す。
<Display process when the mind map is operated>
FIG. 14 shows an embodiment of display processing when a mind map is operated.
図１３には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１３には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１３には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。
FIG. 13 mainly illustrates processing in which the
ステップＳ１４０２では、ノードが選択されることにより、図１２に示されるように、検索ボタン１２０５と、詳細ボタン１２０２と、挿入ボタン１２０３と、展開ボタン１２０４又は省略ボタン１２０６の４つのボタンが表示される。
In step S1402, when a node is selected, as shown in FIG. 12, four buttons of a
ステップＳ１４０４では、検索ボタン１２０５が押下げられたか否かを判定する。
In step S1404, it is determined whether the
ステップＳ１４０６では、ステップＳ１４０４で検索ボタン１２０５が押下（タッチ）された場合、関連語をＷｅｂ検索する。関連語については、ウィキペディアなどの辞書サイトにある関連語を検索する方式が利用されるのが好ましい。
In step S1406, when the
ステップＳ１４０８では、ステップＳ１４０４で検索ボタンの押下（タッチ）がされない場合、詳細ボタンが押下げられたか否かを判定する。 In step S1408, if the search button is not pressed (touched) in step S1404, it is determined whether the detail button is pressed.
ステップＳ１４１０では、ステップＳ１４０８で詳細ボタンの押下（タッチ）がされた場合、マインドマップデータベース２０６１、及び５０５７からノードの単語が含まれる文書を取得する。
In step S1410, when the detail button is pressed (touched) in step S1408, a document including the word of the node is acquired from the
ステップＳ１４１２では、ステップＳ１４０８で詳細ボタンの押下（タッチ）がされない場合、再度ノードが押下げられたか否かを判定する。 In step S1412, if the detail button is not pressed (touched) in step S1408, it is determined whether the node is pressed again.
ステップＳ１４１４では、ステップＳ１４１２で再度ノードの押下（タッチ）がされた場合、そのノードの単語を編集できるモードに遷移する。 In step S1414, when the node is pressed (touched) again in step S1412, the mode is changed to a mode in which the word of the node can be edited.
ステップＳ１４１６では、ステップＳ１４１２で再度ノードの押下（タッチ）がない場合、挿入ボタンが押下げられたか否かを判定する。 In step S1416, if the node is not pressed (touched) again in step S1412, it is determined whether or not the insert button has been pressed.
ステップＳ１４１８では、ステップＳ１４１６で挿入ボタンが押下げされた場合、子ノードを追加するモードに遷移し、枝が伸された後にタッチが離された場合にノードが追加される。 In step S1418, when the insert button is pressed in step S1416, the mode transits to a mode for adding a child node, and a node is added when the touch is released after the branch is extended.
ステップＳ１４２０では、ステップＳ１４１６で挿入ボタンが押下げられない場合、展開ボタン又は省略ボタンが押下げられたか否かを判定する。 In step S1420, if the insert button is not pressed in step S1416, it is determined whether the expand button or the omit button is pressed.
ステップＳ１４２２では、ステップＳ１４２０で、展開ボタン又は省略ボタンが押下げされた場合、展開ボタンの場合には非表示にされている子ノード以下を表示し、省略ボタンの場合には表示されている子ノード以下を非表示にする。 In step S1422, when the expand button or the omission button is pressed in step S1420, in the case of the expand button, the hidden child nodes and below are displayed, and in the case of the omission button, the displayed child node is displayed. Hide below nodes.
ステップＳ１４２０で、展開ボタン、省略ボタンのいずれも押下げられない場合には終了する。 If it is determined in step S1420 that neither the expand button nor the omit button is pressed, the process ends.
ステップＳ１４２４では、ステップＳ１４０６により検索された関連語を、選択しているノードを囲むように設定された数だけ候補として表示する。または、ステップＳ１４２４では、ステップＳ１４１０により取得された文書をノードに対する吹き出しとしてポップアップ形式で表示する。または、ステップＳ１４２４では、ステップＳ１４１４により遷移した編集モードに従って、テキストフィールド及びカーソルを表示する。または、ステップＳ１４２４では、ステップＳ１４１８により追加した子ノードを表示する。または、ステップＳ１４２４では、ステップＳ１４２２による表示に従って表示する。 In step S1424, the related words searched in step S1406 are displayed as candidates by the number set so as to surround the selected node. Alternatively, in step S1424, the document acquired in step S1410 is displayed in a pop-up format as a balloon for the node. Alternatively, in step S1424, the text field and the cursor are displayed according to the edit mode transitioned in step S1414. Alternatively, in step S1424, the child node added in step S1418 is displayed. Or in step S1424, it displays according to the display by step S1422.
なお、スクリーン３５００（キャンバス）をタッチしたまま上下左右に動かした場合に、その動きに従ってマインドマップ全体が平行移動するのが好ましい。ノードをタッチしたまま上下左右に動かした場合には、その動きに従ってタッチしたノードとそのノードの子ノード以下全体が平行移動するのが好ましい。 When the screen 3500 (canvas) is touched and moved up, down, left, and right, it is preferable that the entire mind map is translated in accordance with the movement. When a node is moved up, down, left, and right while touching, it is preferable that the touched node and the entire child node of the node move in parallel according to the movement.
＜関連語の選択処理＞
図１５は、関連語の選択処理の一実施例を示す。
<Related word selection process>
FIG. 15 shows an example of related word selection processing.
図１５には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１５には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１５には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。
FIG. 15 mainly illustrates processing in which the
ステップＳ１５０２では、関連語を選択したイベントを受け付けると、図１２に示されるように、選択した関連語を子ノードとして追加する。 In step S1502, when an event for selecting a related word is received, the selected related word is added as a child node as shown in FIG.
ステップＳ１５０４では、追加した関連語が、辞書データベース２０６２あるいは５０５８に登録済であるか否かを確認する。
In step S1504, it is confirmed whether or not the added related word is registered in the
追加した関連語が辞書データベース２０６２もしくは５０５８に登録済みである場合、終了する。
If the added related word is already registered in the
ステップＳ１５０６では、追加した関連語が辞書データベース２０６２もしくは５０５８に登録済みでない場合、新規単語として追加処理を行う。
In step S1506, if the added related word is not already registered in the
追加した関連語が辞書データベース２０６２もしくは５０５８に登録済みでない場合に、新規単語として追加処理を行うことにより、ユーザは学習させていることを意識することなく、単語を追加することができる。
When the added related word is not registered in the
＜関連語の選択処理＞
図１６は、関連語の選択処理の一実施例を示す。
<Related word selection process>
FIG. 16 shows an example of related word selection processing.
図１６には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１６には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１６には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。
FIG. 16 mainly illustrates processing in which the
ステップＳ１６０２では、情報処理装置２０００のボタン２００２、情報処理装置２１００のボタン２１０４が操作されることにより、設定メニューから音声学習モードに切り替えて、音声学習に必要な定型テキストを朗読させる。また、携帯端末装置５０００では設定メニューから音声学習モードに切り替えて、音声学習に必要な定型テキストを朗読させる。朗読するテキストは、ディスプレイ２００３、２１０３、５００２に表示される。
In step S1602, the
ステップＳ１６０２では、入力された音声情報（アナログ信号）は、マイク２００１、２１０１、５００４でデジタル信号に変換される。音声認識部２０５５は、音響モデルを生成する。
In step S1602, the input audio information (analog signal) is converted into a digital signal by the
ステップＳ１６０４では、ステップＳ１６０２で生成した音響モデルを、情報処理装置２０００の内蔵メモリ２００８、情報処理装置２１００の内蔵メモリ２１０５あるいは辞書データベース５０５８に保存する。以上の処理により、個人個人の指向性をもたせることができるため、認識精度を上げることができる。
In step S1604, the acoustic model generated in step S1602 is stored in the
＜マインドマップを生成する処理の詳細＞
図１７は、マインドマップを生成する処理の詳細を示す。
<Details of processing to generate mind map>
FIG. 17 shows details of processing for generating a mind map.
図１７には、主に、情報処理装置２０００のプロセッサ２００５がＲＯＭ２００４に格納されたプログラムに従ってエンジン部２０５３としての機能を実行する処理が示される。また、図１７には、主に、情報処理装置２１００のプロセッサ２１０７がＲＯＭ２１０６に格納されたプログラムに従ってエンジン部としての機能を実行する処理が示される。また、図１７には、主に、携帯端末装置５０００のＣＰＵ（図示なし）が記憶部（図示なし）に格納されたプログラムに従ってエンジン部５０５４としての機能を実行する処理が示される。
FIG. 17 mainly illustrates processing in which the
ステップＳ１７０２では、品詞、種別でフィルタ処理を行う。例えば、品詞レベルに分解された単語を入力として、形態素解析で、品詞・種別でマインドマップ化において不要な品詞である単語を除外する。単語を除外することによりその後の処理を高速化することができる。 In step S1702, filter processing is performed by part of speech and type. For example, a word decomposed to the part of speech level is used as an input, and words that are unnecessary parts of speech in the mind mapping by part of speech and type are excluded by morphological analysis. By excluding words, the subsequent processing can be speeded up.
ステップＳ１７０４では、ステップＳ１７０２によるフィルタ処理後、単語連結・重み付け処理を行う。具体的には、「マインド」と「マップ」といった品詞レベルでは意味が違ってしまう単語について、連続する名詞は連結する処理を行う。また、単語（名詞）に接続する助詞から、その単語が文の中で主語として扱われているか、目的語として扱われているかを判定し、重要度の重み付けを行う。なお、この重要度は単語の出現頻度も考慮に入れるのが好ましい。文の終わりについては、意味の切れ目と判定し、マイナスの重み付けを行うのが好ましい。さらに、ユーザが事前に重要と位置付けてある単語に関してはさらに重み付けを行うものとする。 In step S1704, word filtering / weighting processing is performed after the filtering processing in step S1702. Specifically, consecutive nouns are connected to words that have different meanings at the part-of-speech level such as “mind” and “map”. In addition, from the particle connected to the word (noun), it is determined whether the word is treated as a subject or an object in the sentence, and weighting of importance is performed. Note that this importance level preferably takes into account the appearance frequency of words. Regarding the end of a sentence, it is preferable to determine that it is a break in meaning and to perform negative weighting. Furthermore, it is assumed that weighting is further performed on words that are positioned as important in advance by the user.
ステップＳ１７０６では、ステップＳ１７０４により個々の単語の重み付けが完了したら、重み付け行列を作成する。 In step S1706, when weighting of individual words is completed in step S1704, a weighting matrix is created.
図１８は、重み付け行列の一実施例を示す。 FIG. 18 shows an example of a weighting matrix.
重み付け行列は、対角成分はステップＳ１７０４で求めた重要度の値が入る。対角成分以外は、単語間の関連度を数値化したものが入る。単語間の出現位置や意味的な関連から重み付けの値を決定する。 In the weighting matrix, the importance value obtained in step S1704 is entered in the diagonal component. Except for the diagonal component, a numerical value of the degree of association between words is entered. The weighting value is determined from the appearance position between words and the semantic relationship.
ステップＳ１７０８では、ステップＳ１７０６で重み付け行列が完成したら、マインドマップを構築する。 In step S1708, when the weighting matrix is completed in step S1706, a mind map is constructed.
図１９は、マインドマップの一実施例を示す。 FIG. 19 shows an example of a mind map.
重要度が一番高いものがルートとなり、重要度が一番小さいものがリーフとなる。図１９に示される例では、重要度が一番高い「単語４」がルートとなり、重要度が一番小さい「単語２」がリーフとなる。 The one with the highest importance is the root, and the one with the lowest importance is the leaf. In the example shown in FIG. 19, “word 4” having the highest importance is the root, and “word 2” having the lowest importance is the leaf.
＜マインドマップのデータフォーマット＞
図２０は、マインドマップのデータフォーマットの一実施例を示す。
<Mind map data format>
FIG. 20 shows an embodiment of a mind map data format.
マインドマップは、マインドマップデータベース２０６１、５０５７に格納される。
The mind map is stored in
マインドマップのデータ形式の例は、ユーザ情報、会議（イベント）情報、単語情報の３つであるのが好ましい。 It is preferable that there are three examples of the mind map data format: user information, conference (event) information, and word information.
ユーザ情報は、所属、名前、保有するマインドマップをセットにしたものである。ユーザ情報は、保有するマインドマップより、個々の会議のマインドマップ情報を検索して取得することができる。 User information is a set of affiliation, name, and owned mind map. The user information can be acquired by searching for the mind map information of each conference from the held mind map.
会議情報は、ＩＤ、最終更新日時、作成者、マインドマップ情報をセットにしたものであり、イベント毎にデータが追加される。 The conference information is a set of ID, last update date, creator, and mind map information, and data is added for each event.
単語情報は、単語とその単語を含む文書をマッピングした情報であり、この単語情報により、マインドマップの各ノードの詳細情報を取得する際に高速に処理することができる。 The word information is information obtained by mapping a word and a document including the word, and can be processed at a high speed when detailed information of each node of the mind map is acquired based on the word information.
情報処理システムの一実施例によれば、会議中の音声情報を認識し、認識した単語の重要度を重み付けできる。さらに、情報処理システムの一実施例によれば、単語間の関連度についても重み付けしてマインドマップ形式でリアルタイムに会議中の議論している部分を全体に対してどの部分であるかを表示することができる。このようにすることにより、会議の目標に対して現在どの部分を話しているかをメンバー間で共有でき、会議の方向性をメンバー間で一致させながら効率よく会議を進行することができる。 According to one embodiment of the information processing system, it is possible to recognize voice information during a meeting and weight the importance of the recognized word. Furthermore, according to one embodiment of the information processing system, the degree of relevance between words is also weighted, and the part being discussed in the meeting is displayed in real time in the form of a mind map. be able to. In this way, it is possible to share which part is currently spoken with respect to the goal of the conference among the members, and it is possible to efficiently advance the conference while matching the direction of the conference between the members.
本発明は特定の実施例、変形例を参照しながら説明されてきたが、各実施例、変形例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に従った装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウエアで又はそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。 Although the present invention has been described with reference to specific embodiments and modifications, each embodiment and modification is merely an example, and those skilled in the art will recognize various modifications, modifications, alternatives, substitutions, and the like. Will understand. For convenience of explanation, an apparatus according to an embodiment of the present invention has been described using a functional block diagram, but such an apparatus may be implemented in hardware, software, or a combination thereof. The present invention is not limited to the above-described embodiments, and various variations, modifications, alternatives, substitutions, and the like are included without departing from the spirit of the present invention.
２０００ 情報処理装置
２１００ 情報処理装置
３４００ プロジェクタ
３５００ スクリーン
３６００ モバイルパソコン
５０００ 携帯端末装置
2000
開示の一実施例の情報処理装置は、
会議中の音声情報をテキストに変換するテキスト変換手段と、
前記テキスト変換手段により変換されたテキストを単語に分解する単語分解手段と、
前記単語を用いて、前記会議中の議論している部分が判別可能であるように可視化表示する表示手段と、
を備える。
An information processing apparatus according to an embodiment of the disclosure
Text conversion means for converting audio information during a meeting into text;
Word decomposing means for decomposing the text converted by the text converting means into words;
Using the word, and Viewing means that displays visualization as is discussed to have part in the conference can be determined,
Is provided.
Claims (10)
前記テキスト変換手段により変換されたテキストを単語に分解する単語分解手段と、
前記単語分解手段により分解された単語に基づいて、二次元の図式で表される着想支援図を生成する着想支援図生成手段と、
前記着想支援図生成手段により生成された着想支援図について、前記会議中の議論している部分が判別可能であるようにリアルタイムに可視化表示する着想支援図表示手段と、
を備える情報処理装置。 Text conversion means for converting audio information during a meeting into text;
Word decomposing means for decomposing the text converted by the text converting means into words;
An idea support diagram generating means for generating an idea support diagram represented by a two-dimensional diagram based on the words decomposed by the word decomposing means;
About the idea support diagram generated by the idea support diagram generating means, an idea support diagram display means for visualizing and displaying in real time so that the part being discussed in the meeting can be identified,
An information processing apparatus comprising:
前記着想支援図を生成する際に利用する単語を格納する辞書データベースと、
前記着想支援図に含まれる単語に関連する関連語をウェブ検索する検索手段と、
該検索手段により検索された関連語が前記辞書データベースに含まれない場合に、該辞書データベースに登録する学習手段と
を有する、請求項１に記載の情報処理装置。 Based on an operation to the idea support diagram generated by the idea support diagram generating means, an operation processing means for executing processing according to the operation;
A dictionary database for storing words used when generating the idea support diagram;
Search means for searching the web for related terms related to the words included in the idea support diagram;
The information processing apparatus according to claim 1, further comprising: a learning unit that registers in the dictionary database when the related word searched by the search unit is not included in the dictionary database.
を有し、
前記着想支援図生成手段は、前記単語分解手段により分解された単語のうち、前記フィルタ手段により除外された単語以外の単語に基づいて、前記着想支援図を生成する、請求項１又は２に記載の情報処理装置。 Filter means for excluding words having a predetermined attribute from the words decomposed by the word decomposition means;
The said idea support figure production | generation means produces | generates the said idea support figure based on words other than the word excluded by the said filter means among the words decomposed | disassembled by the said word decomposition | disassembly means. Information processing device.
を有し、
前記着想支援図生成手段は、前記着想支援図を生成する際に、前記重み付け手段により重み付けされた単語に基づいて、前記着想支援図を生成する、請求項１ないし４のいずれか１項に記載の情報処理装置。 Weighting means for weighting the words decomposed by the word decomposition means,
The said idea support figure production | generation means produces | generates the said idea support figure based on the word weighted by the said weighting means, when producing | generating the said idea support figure. Information processing device.
前記変換されたテキストを単語に分解し、
前記分解された単語に基づいて、二次元の図式で表される着想支援図を生成し、
前記生成された着想支援図について、前記会議中の議論している部分が判別可能であるようにリアルタイムに可視化表示する、
情報処理装置における情報処理方法。 Convert audio information during the meeting into text,
Decomposing the converted text into words;
Based on the decomposed word, generate an idea support diagram represented by a two-dimensional diagram,
The generated idea support diagram is visualized and displayed in real time so that the part being discussed in the meeting can be identified,
Information processing method in information processing apparatus.
会議中の音声情報をテキストに変換し、
前記変換されたテキストを単語に分解し、
前記分解された単語に基づいて、二次元の図式で表される着想支援図を生成し、
前記生成された着想支援図について、前記会議中の議論している部分が判別可能であるようにリアルタイムに可視化表示する、
処理を実行させるプログラム。 In the information processing device,
Convert audio information during the meeting into text,
Decomposing the converted text into words;
Based on the decomposed word, generate an idea support diagram represented by a two-dimensional diagram,
The generated idea support diagram is visualized and displayed in real time so that the part being discussed in the meeting can be identified,
A program that executes processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018140703A JP6822448B2 (en) | 2018-07-26 | 2018-07-26 | Information processing equipment, information processing methods and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018140703A JP6822448B2 (en) | 2018-07-26 | 2018-07-26 | Information processing equipment, information processing methods and programs |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013049225A Division JP6375592B2 (en) | 2013-03-12 | 2013-03-12 | Information processing apparatus, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019016360A true JP2019016360A (en) | 2019-01-31 |
| JP6822448B2 JP6822448B2 (en) | 2021-01-27 |
Family
ID=65358705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018140703A Active JP6822448B2 (en) | 2018-07-26 | 2018-07-26 | Information processing equipment, information processing methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6822448B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4181114A1 (en) | 2021-11-15 | 2023-05-17 | Fujitsu Limited | Virtual workspace shared by multiple terminals |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10301927A (en) * | 1997-04-23 | 1998-11-13 | Nec Software Ltd | Electronic conference speech arrangement device |
| JP2000123041A (en) * | 1998-10-19 | 2000-04-28 | Nippon Telegr & Teleph Corp <Ntt> | Similarity judging method, document retrieving device, document classifying device, storage medium stored with document retrieval program and storage medium stored with document classification program |
| JP2008282228A (en) * | 2007-05-10 | 2008-11-20 | Hi Enterprise:Kk | Information processor, method, program and recording medium |
| JP2009501370A (en) * | 2005-07-15 | 2009-01-15 | シンク ソフトウェア ピーティーワイ リミテッド | Method and apparatus for providing structured data for free text messages |
| JP2009032118A (en) * | 2007-07-27 | 2009-02-12 | Nec Corp | Information structuring device, information structuring method, and program |
| JP2011043716A (en) * | 2009-08-21 | 2011-03-03 | Sharp Corp | Information processing apparatus, conference system, information processing method and computer program |
| JP2012073396A (en) * | 2010-09-28 | 2012-04-12 | Toshiba Corp | Conference support device, method and program |
| JP2012181358A (en) * | 2011-03-01 | 2012-09-20 | Nec Corp | Text display time determination device, text display system, method, and program |
-
2018
- 2018-07-26 JP JP2018140703A patent/JP6822448B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10301927A (en) * | 1997-04-23 | 1998-11-13 | Nec Software Ltd | Electronic conference speech arrangement device |
| JP2000123041A (en) * | 1998-10-19 | 2000-04-28 | Nippon Telegr & Teleph Corp <Ntt> | Similarity judging method, document retrieving device, document classifying device, storage medium stored with document retrieval program and storage medium stored with document classification program |
| JP2009501370A (en) * | 2005-07-15 | 2009-01-15 | シンク ソフトウェア ピーティーワイ リミテッド | Method and apparatus for providing structured data for free text messages |
| JP2008282228A (en) * | 2007-05-10 | 2008-11-20 | Hi Enterprise:Kk | Information processor, method, program and recording medium |
| JP2009032118A (en) * | 2007-07-27 | 2009-02-12 | Nec Corp | Information structuring device, information structuring method, and program |
| JP2011043716A (en) * | 2009-08-21 | 2011-03-03 | Sharp Corp | Information processing apparatus, conference system, information processing method and computer program |
| JP2012073396A (en) * | 2010-09-28 | 2012-04-12 | Toshiba Corp | Conference support device, method and program |
| JP2012181358A (en) * | 2011-03-01 | 2012-09-20 | Nec Corp | Text display time determination device, text display system, method, and program |
Non-Patent Citations (1)
| Title |
|---|
| 趙雲超、外２名: "音声認識された議事録からの議論マップ自動生成", ２００６年度人工知能学会全国大会（第２０回）論文集 ［ＣＤ−ＲＯＭ］, JPN6020017670, 7 June 2006 (2006-06-07), pages 1 - 4, ISSN: 0004270114 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4181114A1 (en) | 2021-11-15 | 2023-05-17 | Fujitsu Limited | Virtual workspace shared by multiple terminals |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6822448B2 (en) | 2021-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019018061A1 (en) | Automatic integration of image capture and recognition in a voice-based query to understand intent | |
| CN110556127B (en) | Method, device, equipment and medium for detecting voice recognition result | |
| CN107040452B (en) | Information processing method and device and computer readable storage medium | |
| JP6375592B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2009026108A (en) | Idea support apparatus, idea support system, idea support program, and idea support method | |
| JP7331044B2 (en) | Information processing method, device, system, electronic device, storage medium and computer program | |
| CN109782997B (en) | Data processing method, device and storage medium | |
| JP2014222290A (en) | Minute recording device, minute recording method, and program | |
| CN110660375B (en) | Method, device and equipment for generating music | |
| CN112269898A (en) | Background music obtaining method and device, electronic equipment and readable storage medium | |
| US20230139416A1 (en) | Search content matching method, and electronic device and storage medium | |
| WO2019169722A1 (en) | Shortcut key recognition method and apparatus, device, and computer-readable storage medium | |
| JP6822448B2 (en) | Information processing equipment, information processing methods and programs | |
| CN113055529B (en) | Recording control method and recording control device | |
| CN114064943A (en) | Conference management method, conference management device, storage medium and electronic equipment | |
| US11443738B2 (en) | Electronic device processing user utterance and control method thereof | |
| CN113220590A (en) | Automatic testing method, device, equipment and medium for voice interaction application | |
| CN113190307A (en) | Control adding method, device, equipment and storage medium | |
| CN112383662A (en) | Information display method and device and electronic equipment | |
| EP4141704A1 (en) | Method and apparatus for music generation, electronic device, storage medium | |
| WO2022213943A1 (en) | Message sending method, message sending apparatus, electronic device, and storage medium | |
| CN109684501A (en) | Lyrics information generation method and its device | |
| CN113160782B (en) | Audio processing method and device, electronic equipment and readable storage medium | |
| CN111640432B (en) | Voice control method, voice control device, electronic equipment and storage medium | |
| JPWO2017199486A1 (en) | Information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180824 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201221 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6822448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |