CN102063461A - 发言记录装置以及发言记录方法 - Google Patents
发言记录装置以及发言记录方法 Download PDFInfo
- Publication number
- CN102063461A CN102063461A CN2010105268329A CN201010526832A CN102063461A CN 102063461 A CN102063461 A CN 102063461A CN 2010105268329 A CN2010105268329 A CN 2010105268329A CN 201010526832 A CN201010526832 A CN 201010526832A CN 102063461 A CN102063461 A CN 102063461A
- Authority
- CN
- China
- Prior art keywords
- proposition
- sound
- speech
- keyword
- voice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 230000019771 cognition Effects 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 29
- 239000000203 mixture Substances 0.000 description 24
- 238000012545 processing Methods 0.000 description 23
- 230000001149 cognitive effect Effects 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 3
- 101100247626 Drosophila melanogaster Rtc1 gene Proteins 0.000 description 2
- 101100247627 Homo sapiens RCL1 gene Proteins 0.000 description 2
- 102100027566 RNA 3'-terminal phosphate cyclase-like protein Human genes 0.000 description 2
- 101100488920 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) RTC2 gene Proteins 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/268—Morphological analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及发言记录装置和发言记录方法，其目的在于，配合正在进行的会议进展状况，按照每个发言者简单地显示或回顾会议中被记录了的发言。该装置包括：声音取得部(31)，用于经麦克风输入的发言声音，并将其作为声音数据，和论题指示装置从多个预存在论题DB中的论题中指定的论题、以及被从声音数据中识别的发言者一起记录到声音DB(22)中；声音认知部(32)，对记录在声音DB中的声音数据进行认知，取得文信息；形态解析部(33)，对声音认知部得到的文信息进行形态解析，并将从得到的单词中抽取的关键词，和一起记录在声音DB中的论题以及发言人一起，记录到关键词DB中；显示生成部(34)，用于将关键词显示在点阵中。
Description
技术领域
本发明涉及用于会议中发言的记录以及该记录的可视化、进而应使用者要求重放该发言记录的发言记录装置以及发言记录方法。
背景技术
会议信息记录重放装置用于可视化地显示会议中的发言构成，并将该发言构成用于作为被记录了的会议信息的访问索引。目前存在一种会议信息记录重放装置，该装置对会议的声音或者视频记录实行发言者指定处理，按照发言者来分割声音记录或影像记录，利用者从被可视化了的分割结果中指定声音或影像来进行重放。
例如，专利文献1(JP特开2004-023661号公报)公开了一种设备，其利用自然语言处理中的重要文抽取技术、以及声音处理中确定发言者技术和声音Grep技术，来解析会议的记录影像和记录声音，自动抽取各位发言者讲述的每个话题的发言影像或发言声音，而且，为了提高记录信息的再利用性，根据会议记录中抽取的重要话题以及每个发言者的发言，生成有关相同发言者关于相同话题的会议影像分段。
但是，专利文献1公开的会议记录重放装置存在以下问题，即该装置是将发言者前后的发言者等作为算法(algorithm)来参考，而不能深入到发言主题和内容中进行检索，若不记住前后文则难以检索，而且，由于需要利用会议记录，因此，会议记录完成之前的正在进行之中的会议不能利用该装置。
发明内容
鉴于上述课题，本发明提供以下装置。
(1)本发明的一个方面为，提供一种发言记录装置，其中具备声音输入装置以及声音输出装置，用于记录并重放发言的声音，其特征在于，包括：声音取得部，用于取得该声音输入装置输入的发言的声音，并将该发言的声音作为声音数据，和论题指示装置从多个预先记录在论题数据库中的论题中指定的论题、以及被从声音数据中识别的发言者一起，记录到声音数据库中；声音认知部，对记录在该声音数据库中的声音数据进行声音认知，取得文信息；形态解析部，对该声音认知部得到的文信息进行形态解析，并将从得到的单词中抽取的关键词，和被与声音数据一起记录在该声音数据库中的论题以及发言人一起，记录到关键词数据库中；以及，显示生成部，用于将该关键词显示在论题和发言人被相关了的点阵中。
(2)本发明的另一个方面为，提供根据(1)所述的发言记录装置，其中，所述关键词为所述文信息中的名词。
(3)本发明的另一个方面为，提供根据(1)或(2)所述的发言记录装置，其中，针对所述点阵中显示的关键词，所述显示生成部显示位于该关键词前后预定数量的单词所形成的文章。
(4)本发明的另一个方面为，提供根据(3)所述的发言记录装置，其中包括：实时计测装置，用于计测实际时间；以及，声音重放部，用所述声音输出装置重放所述声音数据库中记录的声音数据，所述声音取得部取得该声音数据，同时根据该实时计测装置的计测结果取得该声音数据的开始时间，所述形态解析部取得该声音数据中的各个单词的开始时间，所述声音重放部根据构成所述文章的单词的开始时间重放声音数据。
(5)本发明的另一个方面为，提供根据(1)所述的发言记录装置，其中，当目前正在进行的发言的声音数据是被指示为以与所述论题指示装置所指示的论题没有关系的状态记录在声音数据库中时，所述显示生成部将从该声音数据中得到的关键词显示在所述点阵中的专用区域以作区别。
(6)本发明的另一个方面为，提供根据(5)所述的发言记录装置，其中，所述论题数据库中保存每个论题的说明文，当所述专用区域中显示的关键词与所述形态解析部对该说明文进行形态解析而得到的单词一致时，所述显示生成部在所述点阵中与包含该单词的论题相对应的部位中显示该关键词。
(7)本发明的另一个方面为，提供根据(1)所述的发言记录装置，其中，可以根据所述点阵中显示的关键词，在所述论题数据库中增加新的论题。
(8)本发明的另一个方面为，提供根据(1)所述的发言记录装置，其中，还包括用于输入所述点阵中显示的关键词的重要程度或该关键词与论题之间的相关程度的装置。
(9)本发明的另一个方面为，提供根据(1)所述的发言记录装置，其中，可以删除所述点阵中显示的关键词，当关键词被删除后，所述声音认知部重新进行声音认知。
(10)本发明的另一个方面为，提供根据一种发言记录方法，用于具备声音输入装置以及声音输出装置的发言记录装置，其特征在于包括以下步骤：该发言记录装置中的声音取得部取得该声音输入装置输入的声音，并将该声音作为声音数据，和论题指示装置从多个预先记录在论题数据库中的论题中指定的论题、以及被从声音数据中识别的发言者一起，记录到声音数据库中；该发言记录装置中的声音认知部对记录在该声音数据库中的声音数据进行声音认知，取得文信息；该发言记录装置中的形态解析部对该声音认知部得到的文信息进行形态解析，并将从得到的单词中抽取的关键词，和被与声音数据一起记录在该声音数据库中的论题以及发言人一起，记录到关键词数据库中；以及，该发言记录装置中的显示生成部将该关键词显示在论题和发言人被相关了的点阵中。
本发明效果如下。由于具备了上述构成，本发明能够在正在召开的会议中，配合会议进展状况，简单显示每个发言者的发言以及发言记录，而且，可反复重放发言。
附图说明
图1是本实施方式的发言记录装置结构的示意图。
图2是本发明的发言记录装置中的基本接口的示意图。
图3是显示向发言记录装置明确指示改变话题即讲述的论题时的状态的示意图。
图4是显示向发言记录装置明确指示正在记录的发言涉及到论题以外的话题的状态的示意图。
图5是大致显示论题DB中的记录内容的示意图。
图6是声音DB中记录内容的示意图。
图7是声音取得部在声音DB中记录声音的处理流程图。
图8是大致显示认知声音文DB中的记录内容的示意图。
图9是用于说明形态解析部将正在发言中的单词记录到认知声音文DB中的处理流程图。
图10是大致显示关键词DB中的记录内容的示意图。
图11是用形态解析部将声音认知文DB的单词记录到关键词DB中的处理流程图。
图12是用于说明用形态解析部将论题DB的单词记录到关键词DB中的处理流程图。
图13是显示生成部在点阵中显示标签云的处理流程图。
图14是将其他栏中显示的标签云中的单词移动到明确表示论题的栏中的状态的示意图。
图15是用于说明有关联的发言关键词出现的状态的示意图。
图16是显示生成部显示有关联关键词的处理流程图。
图17是用于说明回顾显示以前的发言的示意图。
图18是用于说明用显示生成部来回顾显示以前的发言的的处理流程图。
图19是用于说明重放被记录了的发言的图。
图20是声音重放部进行发言重放的处理流程图。
图21是用于说明制作新论题的示意图。
图22是用于说明重要性、相关性滑块的示意图。
图23是用于说明删除误认标签的图。
标记说明
1 CPU
2 实时时钟
3 I/O
4 显示屏
5 键盘
6 鼠标
7 麦克风
8 扬声器
9 硬盘
10 RAM
21 日程DB
22 声音DB
23 认知声音文DB
24 关键词DB
31 声音取得部
32 声音认知部
33 形态解析部
34 显示生成部
35 声音重放部
40 点阵
具体实施方式
以下参见附图详细说明本发明的实施方式。
图1是本发明实施方式的发言记录装置的系统结构示意图。
图1A是本发明实施方式的发言记录装置的硬件结构框图。如图1A所示，该系统包括：CPU(中央处理器)1，作为控制部，用于控制整个系统的动作，并实行各种程序；实时时钟(RTC，Real Time Clock)2，用于测定实际时间；硬盘9，作为存储部，用于保存各种程序或数据库；RAM(Random Access Memory)10，用于展开存放在硬盘9中的程序以供CPU1处理。
另外，还包括：显示屏4，其作为人机接口，经由I/O3；键盘5和鼠标6，用于作为输入装置；麦克风(声音输入装置)8，用于会议中发言者声音的录音；扬声器(声音输出装置)，用于重放被录音了的声音。
图1B是本实施方式发言记录装置的软件结构框图。
如图1B所示，装置的硬盘9中保存了：议程DB(数据库)21，作为论题数据库，在其中记录会议的论题(话题)、议程ID(以下仅表示为ID)以及该议程的详细内容；声音DB22，其中记录通过麦克风7获得的声音；认知声音文DB23，其中记录了包括根据声音DB中记录的声音认知的声音文的单词；关键词DB24，其中记录从认知声音文DB23中记录的声音文、以及从议程DB21中记录的论题和详细信息中抽取的名词。
上述装置所具备的RAM10中包括以下部分，声音取得部31，用于将麦克风7取得的会议中发言的声音按照发言者以及论题分割后的声音数据，与从RTC2得到的实际发言所费时间一起记录到声音DB22中；声音认知部32；对声音DB22中记录的声音数据进行声音认知，以获得声音文；形态解析部33，对得到的声音文进行形态解析，将从中获得的单词记录到认知声音文DB23中，同时从记录了的单词中抽取名词并记录在关键词DB24中。形态解析部33还从议程DB21中记录的论题和详细信息中抽取每个论题的关键词(名词)并记录到关键词DB24中。
另外，还具备显示生成部34，根据各个程序的实行结果或各个数据库中记录的信息，在显示屏上显示接口画面，更改显示内容；以及，声音重放部35，其用扬声器8输出声音DB22中存放的声音数据，进行重放处理。
作为这些处理部的程序被存放在CD-ROM或存储卡等存储媒体中，可以用内藏麦克风以及扬声器的一般计算机，作为本实施方式的发言记录装置，来实行这些程序。
图2是本实施方式的发言记录装置的基本的接口示意图。
图2所示的接口画面是显示生成部34在显示屏4上显示的画面，是用预先输入到议程DB21中的议程和发言者构成的点阵40。
在图2的点阵40中，ID列41显示会议的议题，关键词列42中的每个会议发言者单元中显示关键词DB24中记录的关键词。
具体为，麦克风7取得的发言者的发言通过声音取得部31被分割为每个发言者的每一次发言(可用现有的声音处理中的发言者确定技术)，而后通过声音认知部32以及形态解析部33的处理，抽取关键词，并将该关键词作为标签云(tag cloud)显示在点阵40内关键词列42中与发言者相对应的列中的单元上。
在图2的示例中，关键词(交货、客户、临时工等)作为标签云43，表示在ID1论题内与列41-1中的发言者C相对应的单元中。
另外，在声音DB22中为了按照论题来记录发言者的声音，需要声音取得部31指示发言记录装置目前正在以哪一个论题为话题。
对此，在本实施方式的发言记录装置中利用鼠标6操作鼠标点P，该鼠标点P作为话题指示装置，指示目前的会议中正在将哪一个论题作为话题进行议论。
图3显示了向发言记录装置明确指示改变话题即讲述的论题时的状态。
例如，当话题从ID1的论题改为ID2的论题时，将鼠标点P移动到点阵40内ID列41中的ID2论题单元。
论题移动后，在其移动到的单元开始生成标签云。当然也可以用键盘等输入来移动论题。
具体为，声音取得部31根据鼠标点P在点阵40的ID列中所在的位置来改变写入声音数据ID的声音数据和论题的ID。例如，当鼠标点P位于对应ID2论题的列41-2时，则声音取得部31将变为ID2的论题时的发言记录到声音DB22中。对于列41-3、41-4也相同。
此外，在以某个论题为话题时，会涉及到该论题以外的话题，此时，也需要将此情况指示给发言记录装置。
图4是显示向发言记录装置明确指示正在记录的发言涉及到论题以外的话题的状态的示意图。
如图4所示，当发言涉及到目前正在讲述的话题以外的论题时，鼠标点P被置于图2所示的点阵40中的列41-5(其他)，由此发言作为ID“其他”被记录到声音DB22中，接着，经过形态解析部33以及显示生成部34的处理，此时的发言作为标签云，被显示在其他列41-5中对应于该发言者的单元之中(如发言者为C，记录到单元C中)。
下面详细说明各个数据库中的记录内容、以及各个处理部(程序)为了在各个数据库中进行记录所实行的动作、和为了在点阵40中显示关键词所需要的处理。
图5是大致显示论题DB21中的记录内容的示意图。
ID51表示各个论题ID，论题列52表示该论题的题目，详细列53表示论题的详细内容。
图6是声音DB22中记录内容的示意图。
声音DB22中记录了将声音取得部31所取得的声音数据分割成一个人的一次发言。
列61中记录了发言开始时间，列62中记录了该发言的持续时间(到下一个发言开始为止的时间)，列63中记录了发言者，列64中记录了用于识别分割后的文件的ID，列65中记录了该发言的状态，是与那个论题有关的发言。
上述数据取决于在图3以及图4的说明中点阵中鼠标点P的位置。
例如，在图6中X栏表示从15点43分25秒01开始的5秒04期间，发言者A针对ID1的论题进行的发言被保存在ID56的文件中。
图7是声音取得部31在声音DB22中记录声音的处理流程图。
如图7所示，首先，声音取得31从麦克风7中取得会议中的声音(S101)，而后按照发言者分割声音文件(S102)，接着从RTC2取得时间信息(S103)，从而在声音DB22中记录发言者、声音数据、时间、文件ID(S104)。
图8是大致显示认知声音文DB23中的记录内容的示意图。
认知声音文DB23是将形态解析部33对声音DB22中记录的发言者的一次发言进行形态解析而抽取的单词，和该发言的开始时间、用该单词发言的时间、用该单词发言的发言者、单词的词类、用单词发言时的话题的议题ID一起记录其中的DB。
图8中列71表示使用该单词的发言的开始时间，列72表示发言时间(单位为微妙)，列73表示发言者，列74表示单词，列75表示该单词的词类，列76表示作为状态，用该单词发言的话题的议题。
例如在图8中，Y栏记录了在15点43分25秒01开始的84微秒的期间中，发言者A针对ID1的话题使用“交货日期”一词进行了发言。
图9是用于说明形态解析部33将正在发言中的单词记录到认知声音文DB中的处理流程图。
首先，声音认知部32从声音DB22中取得记录在其中的声音数据(S201)后，对声音数据进行声音认知，取得声音文(S202)。
此时，声音认知部32取得与被声音认知了的认知语相对应的时间信息(S203)。即取得与声音数据中各个发音相对应的发言时间中的时间点。
接着，形态解析部33对取得的声音文信息进行形态解析，分割成单词，并判断该单词的词类(S204)。
接着，形态解析部33根据S203中得到的时间信息，将各个单词的开始时间、发言时间、单词、发言者、词类信息记录到认知声音文DB23之中(S205)。
图10是大致显示关键词DB24中的记录内容的示意图。
关键词DB24是将记录于认知声音文DB23中的单词内的名词，和用该单词发言的论题、图2的点阵中表示该单词的ID列、发言者、以及发言中的使用次数记录在一起的DB。
在图10中，列81中记录了点阵40中单词的显示位置(ID列)，列82中记录了用该单词发言的论题的ID用以作为状态，列83中记录了该单词，列84中记录了用该单词发言的发言者，列85中记录了发言中该单词的使用次数(即在点阵40的显示位置中该单词出现的次数)。
例如在图10中，“开发环境”一词被记录为，在ID1的论题成为话题时，发言者A在发言中两次使用该单词，而且，该单词在图2所示的点阵中，应被记录在关键词列42中关于发言者A的列中与ID1的论题相对应的单元中的标签云43中。关于单元87将在图11中说明。
图10的行86中，将通过形态解析部33对论题DB21的论题以及详细栏中记录的文进行形态解析而得到的单词(名词)，与列51所示的对应论题的ID以及出现次数记录在一起。
图11是用形态解析部33将认知声音文DB23的单词记录到关键词DB24中的处理的流程图。
形态解析部33取得认知声音文DB23中的词类为名词的单词，同时取得发言者、状态(论题)(S301)。
在图4相关的叙述中进行了如下说明，即当发言与正在议论的论题没有关系时，可以指示发言记录装置将状态作为ID的“其他”来记录声音。如果记录的状态为“其他”(S302的“是”)，则对认知声音文DB23中记录的除此以外的单词中的状态和ID(除“其他”以外)中的单词进行对比(S303)，如果存在相同单词(S304的“是”)，则将该单词的ID连同“其他”一起输入到列81中的相应单元中(S305)(参见图10的单元87)。
如果没有相同单词(S304为“否”)，则在列81的单元中写入“其他”(S06)。
接着检索关键词DB的相同状态(论题)中是否存在相同单词(S307)。如果不存在(S308的“否”)，则在关键词DB24中增加行(S309)，并输入显示位置、状态、单词、发言者、次数。而如果存在相同单词(S308的“是”)，则该单词对应的行中的列85即次数进行计数，即作加法运算(S310)。
在S302中如果为“否”，即状态为ID时，则直接移动到S307。
图12是用于说明用形态解析部33将论题DB21的单词记录到关键词DB24中的处理流程图。
形态解析部33从论题DB21取得论题、详细信息(S401)。接着对该取得的论题和详细信息进行形态解析(S402)，其结果，从得到的单词中取得名词(S403)。而后，将该名词与其ID一起按照论题输入到关键词DB24之中(S404)。
图13是显示生成部34在点阵中显示标签云的处理流程图。
显示生成部34访问关键词DB24，取得显示位置(列81)、单词(列83)、发言者(列84)、以及次数(列85)(S501)。
而后，对每个显示位置中的单词出现的次数进行加法运算，并除以各个单词出现的次数，求出比值(S502)。
进而，考虑显示位置、发言者，并用基于S502中求出的比值的字体大小来生成单词(S503)。
以上是本实施方式的装置中从发言者的发言中抽取并显示关键词的基本流程。
图14是将其他栏中显示的标签云中的单词移动到明确表示论题的栏中的状态的示意图。
图14中，当其他栏的单元中显示的标签云中的单词100被认为与ID2的论题相对应时，可操作鼠标点P将单词100拉到相同发言者的ID2中相应的论题的单元91中，从而使得单元91的标签云中包括单词100。
随此，关键词DB24中列81(显示位置)的内容当然发生改动。
另外，在本发明的装置中，如图2所示当移动到其他论题时，可从该其他的列中所显示的关键词作为可能与移动到的论题有关联的单词标签云来显示。
图15是用于说明有关联的发言关键词出现的状态的示意图。
例如，当移动到ID2的论题时，在关于ID“其他”的论题的单元90中与ID2的论题有关联的单词如“寄费、卡车、仓库、利润”被作为标签云92显示。
由此，可以利用单词来回顾有过怎样的发言。
图16是生成部显示相关关键词的处理的流程图。
当论题移动后，显示生成部34取得移动后的状态(论题)(S601)。
接着，访问关键词DB24，取得其他显示位置中该当副显示位置(单元87)的单词、发言人、次数(S602)。
而后，将取得的单词的出现次数合计后分别除以各个单词的出现次数，求出比值(S603)。
而后，考虑显示位置、发言者，用基于求出的比值的字体大小来生成并显示单词(S604)。
图17是用于说明回顾显示以前的发言的示意图。
当将鼠标点P对准点阵40中的单元所表示的标签云中的单词后，显示生成部34根据认知声音文DB中记录的文章，将被选单词出现前后(例如50文字)的单词一起例举在文章93中。这样，便能够简单地回顾以前的发言。
当然，点击如图2所示的强调显示的标签云中的单词也具有相同效果。
图18是用于说明用显示生成部34来回顾显示以前的发言的处理流程图。
如图18所示，当标签云中的单词被点击后(S701的“是”)，取得被点击的单词和显示位置(S702)。接着，从关键词DB24中取得状态(论题)(S703)，并检索认知声音文DB23中是否具有与该状态对应的单词(S704)。当存在该单词时(S705的“是”)，取得该单词前后规定数(例如50文字)的文字列(S706)，并生成规定数的文字列(S707)。此时，还可以改变文字列中该单词的颜色或将该单词用粗体表示等进行强调显示。
而后，返回S705，直到不再存在该当单词为止。
图19是用于说明重放被记录了的发言的图。
在图19中，以图17状态，用鼠标点P进一步选择(点击)该文章，由此重放声音。这样便能够完全回顾发言内容。
图20是声音重放部进行发言重放的处理流程图。
当通过I/O3检测到点阵40中的文章被点击后(S801)，声音重放部35取得被点击的文章(S802)。接着，访问认知声音文DB23，取得开始时间和发言者(S803)。进而，基于开始时间和发言者，从声音DB22中取得文件ID(S804)。而后，根据文件ID取得声音文件(S805)，进行重放(S806)。
图21是用于说明制作新论题的示意图。
在利用标签云中的单词生成新论题，用鼠标等将该目标单词拉到ID列41中，以在议程DB中制作论题，同时改变图2所示的点阵40中的显示。
图22是用于说明重要性、相关性滑块的示意图。
对于讲话内容的重要性或相关性，促进者可一边加入等级一边起促进作用。即可从论题的下面的等级输入UI102输入，也可考虑用滚轮鼠标输入的方法。
图23是用于说明删除误认标签的图。
当显示了误认、不适当的单词时，将该单词103拉到显示屏4中另外显示的垃圾箱中，由此可消除该误认标签。还可通过设定来改正该部分的声音认知。
Claims (10)
1.一种发言记录装置，其中具备声音输入装置以及声音输出装置，用于记录并重放发言的声音，其特征在于，包括：
声音取得部，用于取得该声音输入装置输入的发言的声音，并将该发言的声音作为声音数据，和论题指示装置从多个预先记录在论题数据库中的论题中指定的论题、以及被从声音数据中识别的发言者一起，记录到声音数据库中；
声音认知部，对记录在该声音数据库中的声音数据进行声音认知，取得文信息；
形态解析部，对该声音认知部得到的文信息进行形态解析，并将从得到的单词中抽取的关键词，和被与声音数据一起记录在该声音数据库中的论题以及发言人一起，记录到关键词数据库中；以及，
显示生成部，用于将该关键词显示在论题和发言人被相关了的点阵中。
2.根据权利要求1所述的发言记录装置，其中，所述关键词为所述文信息中的名词。
3.根据权利要求1或2所述的发言记录装置，其中，针对所述点阵中显示的关键词，所述显示生成部显示位于该关键词前后预定数量的单词所形成的文章。
4.根据权利要求3所述的发言记录装置，其中包括：
实时计测装置，用于计测实际时间；以及，
声音重放部，用所述声音输出装置重放所述声音数据库中记录的声音数据，
所述声音取得部取得该声音数据，同时根据该实时计测装置的计测结果取得该声音数据的开始时间，所述形态解析部取得该声音数据中的各个单词的开始时间，
所述声音重放部根据构成所述文章的单词的开始时间重放声音数据。
5.根据权利要求1所述的发言记录装置，其中，当目前正在进行的发言的声音数据是被指示为以与所述论题指示装置所指示的论题没有关系的状态记录在声音数据库中时，所述显示生成部将从该声音数据中得到的关键词显示在所述点阵中的专用区域以作区别。
6.根据权利要求5所述的发言记录装置，其中，所述论题数据库中保存每个论题的说明文，当所述专用区域中显示的关键词与所述形态解析部对该说明文进行形态解析而得到的单词一致时，所述显示生成部在所述点阵中与包含该单词的论题相对应的部位中显示该关键词。
7.根据权利要求1所述的发言记录装置，其中，可以根据所述点阵中显示的关键词，在所述论题数据库中增加新的论题。
8.根据权利要求1所述的发言记录装置，其中，还包括用于输入所述点阵中显示的关键词的重要程度或该关键词与论题之间的相关程度的装置。
9.根据权利要求1所述的发言记录装置，其中，可以删除所述点阵中显示的关键词，当关键词被删除后，所述声音认知部重新进行声音认知。
10.一种发言记录方法，用于具备声音输入装置以及声音输出装置的发言记录装置，其特征在于包括以下步骤：
该发言记录装置中的声音取得部取得该声音输入装置输入的声音，并将该声音作为声音数据，和论题指示装置从多个预先记录在论题数据库中的论题中指定的论题、以及被从声音数据中识别的发言者一起，记录到声音数据库中；
该发言记录装置中的声音认知部对记录在该声音数据库中的声音数据进行声音认知，取得文信息；
该发言记录装置中的形态解析部对该声音认知部得到的文信息进行形态解析，并将从得到的单词中抽取的关键词，和被与声音数据一起记录在该声音数据库中的论题以及发言人一起，记录到关键词数据库中；以及，
该发言记录装置中的显示生成部将该关键词显示在论题和发言人被相关了的点阵中。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP255361/09 | 2009-11-06 | ||
| JP2009255361A JP5257330B2 (ja) | 2009-11-06 | 2009-11-06 | 発言記録装置、発言記録方法、プログラム及び記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102063461A true CN102063461A (zh) | 2011-05-18 |
Family
ID=43638831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105268329A Pending CN102063461A (zh) | 2009-11-06 | 2010-10-25 | 发言记录装置以及发言记录方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8862473B2 (zh) |
| EP (1) | EP2320333A3 (zh) |
| JP (1) | JP5257330B2 (zh) |
| CN (1) | CN102063461A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294906A (zh) * | 2012-02-27 | 2013-09-11 | 株式会社东芝 | 医用信息处理系统和医用信息处理装置 |
| CN106448683A (zh) * | 2016-09-30 | 2017-02-22 | 珠海市魅族科技有限公司 | 查看多媒体文件中录音的方法及装置 |
| CN107210036A (zh) * | 2015-02-03 | 2017-09-26 | 杜比实验室特许公司 | 会议词语云 |
| WO2019016647A1 (en) * | 2017-07-19 | 2019-01-24 | International Business Machines Corporation | AUTOMATED SYSTEM AND METHOD FOR IMPROVING COMMUNICATION RELATING TO HEALTH CARE |
| WO2019148583A1 (zh) * | 2018-02-02 | 2019-08-08 | 深圳市鹰硕技术有限公司 | 一种会议智能管理方法及系统 |
| US10832803B2 (en) | 2017-07-19 | 2020-11-10 | International Business Machines Corporation | Automated system and method for improving healthcare communication |
| TWI767189B (zh) * | 2020-02-15 | 2022-06-11 | 淡江大學 | 工作日誌登載系統 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9058814B2 (en) * | 2010-11-15 | 2015-06-16 | At&T Intellectual Property I, L.P. | Mobile devices, methods, and computer program products for enhancing social interactions with relevant social networking information |
| US8825478B2 (en) * | 2011-01-10 | 2014-09-02 | Nuance Communications, Inc. | Real time generation of audio content summaries |
| US20130007635A1 (en) * | 2011-06-30 | 2013-01-03 | Avaya Inc. | Teleconferencing adjunct and user interface to support temporary topic-based exclusions of specific participants |
| US20140129221A1 (en) * | 2012-03-23 | 2014-05-08 | Dwango Co., Ltd. | Sound recognition device, non-transitory computer readable storage medium stored threreof sound recognition program, and sound recognition method |
| US10373508B2 (en) | 2012-06-27 | 2019-08-06 | Intel Corporation | Devices, systems, and methods for enriching communications |
| US9495350B2 (en) * | 2012-09-14 | 2016-11-15 | Avaya Inc. | System and method for determining expertise through speech analytics |
| JP2014085998A (ja) * | 2012-10-26 | 2014-05-12 | Univ Of Yamanashi | 電子ノート作成支援装置および電子ノート作成支援装置用プログラム |
| KR20140064246A (ko) * | 2012-11-20 | 2014-05-28 | 한국전자통신연구원 | 착용형 디스플레이 장치 |
| JP6232716B2 (ja) | 2013-03-11 | 2017-11-22 | 株式会社リコー | 情報処理装置、表示制御システムおよびプログラム |
| JP6375592B2 (ja) * | 2013-03-12 | 2018-08-22 | 株式会社リコー | 情報処理装置及び情報処理方法並びにプログラム |
| EP3087505A4 (en) * | 2013-12-25 | 2017-08-16 | Heyoya Systems Ltd. | System and methods for vocal commenting on selected web pages |
| JP6356779B2 (ja) * | 2014-02-19 | 2018-07-11 | 帝人株式会社 | 情報処理装置および情報処理方法 |
| JP6027580B2 (ja) * | 2014-08-27 | 2016-11-16 | 京セラドキュメントソリューションズ株式会社 | 情報表示システムおよび情報表示プログラム |
| JP2016091487A (ja) * | 2014-11-11 | 2016-05-23 | セイコーエプソン株式会社 | 表示装置および表示制御方法 |
| EP3254455B1 (en) * | 2015-02-03 | 2019-12-18 | Dolby Laboratories Licensing Corporation | Selective conference digest |
| US9672829B2 (en) * | 2015-03-23 | 2017-06-06 | International Business Machines Corporation | Extracting and displaying key points of a video conference |
| JP6618992B2 (ja) * | 2015-04-10 | 2019-12-11 | 株式会社東芝 | 発言提示装置、発言提示方法およびプログラム |
| CN108027823B (zh) * | 2015-07-13 | 2022-07-12 | 帝人株式会社 | 信息处理装置、信息处理方法以及计算机可读取的存储介质 |
| CN105808733B (zh) | 2016-03-10 | 2019-06-21 | 深圳创维－Rgb电子有限公司 | 显示方法及装置 |
| JP6165913B1 (ja) | 2016-03-24 | 2017-07-19 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
| JP6091690B1 (ja) * | 2016-08-08 | 2017-03-08 | 株式会社ミサゴ技研 | 議会運営支援システム及び議会運営支援方法 |
| KR102444165B1 (ko) | 2017-01-20 | 2022-09-16 | 삼성전자주식회사 | 적응적으로 회의를 제공하기 위한 장치 및 방법 |
| JP6737398B2 (ja) | 2017-03-24 | 2020-08-05 | ヤマハ株式会社 | 重要単語抽出装置、関連会議抽出システム、及び重要単語抽出方法 |
| US10679182B2 (en) | 2017-05-17 | 2020-06-09 | International Business Machines Corporation | System for meeting facilitation |
| US10535352B2 (en) * | 2017-11-16 | 2020-01-14 | International Business Machines Corporation | Automated cognitive recording and organization of speech as structured text |
| JP6969040B2 (ja) * | 2017-12-18 | 2021-11-24 | 一般社団法人 教育環境デザイン研究所 | 授業改善のためのネットワークシステム |
| CN111149153B (zh) * | 2017-12-25 | 2023-11-07 | 京瓷办公信息系统株式会社 | 信息处理装置以及说话解析方法 |
| US10673913B2 (en) * | 2018-03-14 | 2020-06-02 | 8eo, Inc. | Content management across a multi-party conference system by parsing a first and second user engagement stream and transmitting the parsed first and second user engagement stream to a conference engine and a data engine from a first and second receiver |
| JP6783029B2 (ja) * | 2018-03-22 | 2020-11-11 | Kddi株式会社 | 研修におけるユーザ同士の議論内容を分析する装置、プログラム及び方法 |
| CN108538299A (zh) * | 2018-04-11 | 2018-09-14 | 深圳市声菲特科技技术有限公司 | 一种自动会议记录方法 |
| JP6937730B2 (ja) * | 2018-09-10 | 2021-09-22 | ヤフー株式会社 | 情報共有支援装置、情報共有支援方法、およびプログラム |
| JP7218547B2 (ja) | 2018-11-16 | 2023-02-07 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
| WO2024176327A1 (ja) * | 2023-02-21 | 2024-08-29 | ハイラブル株式会社 | 情報処理装置、情報処理方法及びプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1245317A (zh) * | 1998-07-08 | 2000-02-23 | 松下电器产业株式会社 | 多媒体数据检索装置和方法 |
| CN1503164A (zh) * | 2002-11-26 | 2004-06-09 | ������������ʽ���� | 信息处理装置、用于实现该信息处理装置的程序 |
| CN1663249A (zh) * | 2002-06-24 | 2005-08-31 | 松下电器产业株式会社 | 元数据生成装置、其生成方法以及检索装置 |
| US20050209848A1 (en) * | 2004-03-22 | 2005-09-22 | Fujitsu Limited | Conference support system, record generation method and a computer program product |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03185505A (ja) | 1989-12-14 | 1991-08-13 | Honda Motor Co Ltd | 自走車の操向制御装置 |
| JP2844925B2 (ja) | 1990-12-13 | 1999-01-13 | ブラザー工業株式会社 | ラベルセット可能な加工布折曲げ装置 |
| GB2285895A (en) * | 1994-01-19 | 1995-07-26 | Ibm | Audio conferencing system which generates a set of minutes |
| JPH08317365A (ja) | 1995-05-22 | 1996-11-29 | Matsushita Electric Ind Co Ltd | 電子会議装置 |
| US5855000A (en) * | 1995-09-08 | 1998-12-29 | Carnegie Mellon University | Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input |
| US5794249A (en) | 1995-12-21 | 1998-08-11 | Hewlett-Packard Company | Audio/video retrieval system that uses keyword indexing of digital recordings to display a list of the recorded text files, keywords and time stamps associated with the system |
| JPH10271430A (ja) | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | 情報処理装置および情報処理方法 |
| US6850609B1 (en) * | 1997-10-28 | 2005-02-01 | Verizon Services Corp. | Methods and apparatus for providing speech recording and speech transcription services |
| US6298129B1 (en) * | 1998-03-11 | 2001-10-02 | Mci Communications Corporation | Teleconference recording and playback system and associated method |
| US6754631B1 (en) * | 1998-11-04 | 2004-06-22 | Gateway, Inc. | Recording meeting minutes based upon speech recognition |
| JP2000352995A (ja) * | 1999-06-14 | 2000-12-19 | Canon Inc | 会議音声処理方法および記録装置、情報記憶媒体 |
| US6996526B2 (en) * | 2002-01-02 | 2006-02-07 | International Business Machines Corporation | Method and apparatus for transcribing speech when a plurality of speakers are participating |
| US20030187632A1 (en) * | 2002-04-02 | 2003-10-02 | Menich Barry J. | Multimedia conferencing system |
| JP2004023661A (ja) | 2002-06-19 | 2004-01-22 | Ricoh Co Ltd | 記録情報処理方法、記録媒体及び記録情報処理装置 |
| US20040021765A1 (en) * | 2002-07-03 | 2004-02-05 | Francis Kubala | Speech recognition system for managing telemeetings |
| US7466334B1 (en) * | 2002-09-17 | 2008-12-16 | Commfore Corporation | Method and system for recording and indexing audio and video conference calls allowing topic-based notification and navigation of recordings |
| US7248684B2 (en) * | 2002-12-11 | 2007-07-24 | Siemens Communications, Inc. | System and method for processing conference collaboration records |
| JP4558308B2 (ja) * | 2003-12-03 | 2010-10-06 | ニュアンス コミュニケーションズ，インコーポレイテッド | 音声認識システム、データ処理装置、そのデータ処理方法及びプログラム |
| US7542971B2 (en) * | 2004-02-02 | 2009-06-02 | Fuji Xerox Co., Ltd. | Systems and methods for collaborative note-taking |
| US7133513B1 (en) * | 2004-07-21 | 2006-11-07 | Sprint Spectrum L.P. | Method and system for transcribing voice content of an on-going teleconference into human-readable notation |
| US20060074623A1 (en) * | 2004-09-29 | 2006-04-06 | Avaya Technology Corp. | Automated real-time transcription of phone conversations |
| JP2006251898A (ja) * | 2005-03-08 | 2006-09-21 | Fuji Xerox Co Ltd | 情報処理装置、情報処理方法およびプログラム |
| US20070106724A1 (en) * | 2005-11-04 | 2007-05-10 | Gorti Sreenivasa R | Enhanced IP conferencing service |
| US20070185857A1 (en) * | 2006-01-23 | 2007-08-09 | International Business Machines Corporation | System and method for extracting salient keywords for videos |
| JP4215792B2 (ja) * | 2006-09-22 | 2009-01-28 | 株式会社東芝 | 会議支援装置、会議支援方法および会議支援プログラム |
| JP4466665B2 (ja) * | 2007-03-13 | 2010-05-26 | 日本電気株式会社 | 議事録作成方法、その装置及びそのプログラム |
| JP4466666B2 (ja) * | 2007-03-14 | 2010-05-26 | 日本電気株式会社 | 議事録作成方法、その装置及びそのプログラム |
| US7831427B2 (en) | 2007-06-20 | 2010-11-09 | Microsoft Corporation | Concept monitoring in spoken-word audio |
| US8731919B2 (en) * | 2007-10-16 | 2014-05-20 | Astute, Inc. | Methods and system for capturing voice files and rendering them searchable by keyword or phrase |
| US8214242B2 (en) * | 2008-04-24 | 2012-07-03 | International Business Machines Corporation | Signaling correspondence between a meeting agenda and a meeting discussion |
| US20100268534A1 (en) * | 2009-04-17 | 2010-10-21 | Microsoft Corporation | Transcription, archiving and threading of voice communications |
-
2009
- 2009-11-06 JP JP2009255361A patent/JP5257330B2/ja not_active Expired - Fee Related
-
2010
- 2010-10-25 CN CN2010105268329A patent/CN102063461A/zh active Pending
- 2010-11-04 EP EP10251899A patent/EP2320333A3/en not_active Withdrawn
- 2010-11-04 US US12/939,646 patent/US8862473B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1245317A (zh) * | 1998-07-08 | 2000-02-23 | 松下电器产业株式会社 | 多媒体数据检索装置和方法 |
| CN1663249A (zh) * | 2002-06-24 | 2005-08-31 | 松下电器产业株式会社 | 元数据生成装置、其生成方法以及检索装置 |
| CN1503164A (zh) * | 2002-11-26 | 2004-06-09 | ������������ʽ���� | 信息处理装置、用于实现该信息处理装置的程序 |
| US20050209848A1 (en) * | 2004-03-22 | 2005-09-22 | Fujitsu Limited | Conference support system, record generation method and a computer program product |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103294906A (zh) * | 2012-02-27 | 2013-09-11 | 株式会社东芝 | 医用信息处理系统和医用信息处理装置 |
| US9529975B2 (en) | 2012-02-27 | 2016-12-27 | Toshiba Medical Systems Corporation | Medical information processing system and medical information processing apparatus |
| CN107210036A (zh) * | 2015-02-03 | 2017-09-26 | 杜比实验室特许公司 | 会议词语云 |
| CN107210036B (zh) * | 2015-02-03 | 2021-02-26 | 杜比实验室特许公司 | 会议词语云 |
| CN106448683A (zh) * | 2016-09-30 | 2017-02-22 | 珠海市魅族科技有限公司 | 查看多媒体文件中录音的方法及装置 |
| WO2019016647A1 (en) * | 2017-07-19 | 2019-01-24 | International Business Machines Corporation | AUTOMATED SYSTEM AND METHOD FOR IMPROVING COMMUNICATION RELATING TO HEALTH CARE |
| US10825558B2 (en) | 2017-07-19 | 2020-11-03 | International Business Machines Corporation | Method for improving healthcare |
| US10832803B2 (en) | 2017-07-19 | 2020-11-10 | International Business Machines Corporation | Automated system and method for improving healthcare communication |
| WO2019148583A1 (zh) * | 2018-02-02 | 2019-08-08 | 深圳市鹰硕技术有限公司 | 一种会议智能管理方法及系统 |
| TWI767189B (zh) * | 2020-02-15 | 2022-06-11 | 淡江大學 | 工作日誌登載系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011100355A (ja) | 2011-05-19 |
| JP5257330B2 (ja) | 2013-08-07 |
| US20110112835A1 (en) | 2011-05-12 |
| EP2320333A2 (en) | 2011-05-11 |
| EP2320333A3 (en) | 2012-06-20 |
| US8862473B2 (en) | 2014-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102063461A (zh) | 发言记录装置以及发言记录方法 | |
| Bokhove et al. | Automated generation of ‘good enough’transcripts as a first step to transcription of audio-recorded data | |
| US11455475B2 (en) | Human-to-human conversation analysis | |
| Love | Overcoming challenges in corpus construction: The spoken British National Corpus 2014 | |
| Komter | From talk to text: The interactional construction of a police record | |
| JP6604836B2 (ja) | 対話テキスト要約装置及び方法 | |
| Pavel et al. | Sceneskim: Searching and browsing movies using synchronized captions, scripts and plot summaries | |
| US11238854B2 (en) | Facilitating creation and playback of user-recorded audio | |
| Evers | From the past into the future. How technological developments change our ways of data collection, transcription and analysis | |
| CN101998107B (zh) | 信息处理装置、会议系统和信息处理方法 | |
| US20080077869A1 (en) | Conference supporting apparatus, method, and computer program product | |
| JP2006178087A (ja) | 字幕生成装置、検索装置、文書処理と音声処理とを融合する方法、及びプログラム | |
| KR20130133872A (ko) | 자동화된 대화 지원 | |
| Fantinuoli | Conference interpreting and new technologies | |
| Adolphs et al. | Crowdsourcing formulaic phrases: towards a new type of spoken corpus | |
| Le Ferrand et al. | Fashioning local designs from generic speech technologies in an Australian aboriginal community | |
| KR101508718B1 (ko) | 온라인상에서의 듣고 받아쓰기 시스템 | |
| CN112951013A (zh) | 一种学习交互方法、装置、电子设备以及存储介质 | |
| Berez-Kroeker et al. | Recent Advances in Technologies for Resource Creation and Mobilization in Language Documentation | |
| Ward et al. | Data collection for the Similar Segments in Social Speech task | |
| US20190179892A1 (en) | Cognitive presentation system and method | |
| KR20130015317A (ko) | 온라인상에서의 듣고 받아쓰기 시스템 | |
| Pavel | Navigating Video Using Structured Text | |
| Rossi et al. | The New Media Writing Prize Special Collection | |
| Huijnen | Everyday memory: a computational analysis of changing relations between past and present in Dutch newspapers in the 20th century |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110518 |