JP2012129950A - 会議支援装置および会議支援方法 - Google Patents
会議支援装置および会議支援方法 Download PDFInfo
- Publication number
- JP2012129950A JP2012129950A JP2010282152A JP2010282152A JP2012129950A JP 2012129950 A JP2012129950 A JP 2012129950A JP 2010282152 A JP2010282152 A JP 2010282152A JP 2010282152 A JP2010282152 A JP 2010282152A JP 2012129950 A JP2012129950 A JP 2012129950A
- Authority
- JP
- Japan
- Prior art keywords
- delay
- data
- information
- conference
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/62—Establishing a time schedule for servicing the requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【解決手段】実施形態の会議支援装置は、少なくとも2つ以上の端末間で行う会議を支援する会議支援装置であって、一方の端末が取得した第1の音声データに対する情報抽出処理によって生じた遅延を前記第1の音声データに適用する遅延手段と、当該遅延手段によって前記第1の音声データに適用された遅延に関する情報を視覚化した遅延情報映像を生成する遅延情報映像生成手段とを備えている。
【選択図】図1
Description
図1は、第1の実施形態にかかる会議システムの構成を示すブロック図である。第1の実施形態にかかる会議システムは、日本と米国の間で行う遠隔電話会議を想定している。この会議システムでは、米国側に設けられた端末10と、日本側に設けられた端末11とが、例えば日本側に設けられ会議支援装置12を備える遠隔サーバーに、それぞれ通信回線を介して接続する。ここでは、米国側の参加者は英語を喋るものとし、会議支援装置12が米国側での発言を音声認識して得た結果を英語の字幕データとして端末11に表示させることで、日本側の参加者を支援している。このとき、会議支援装置12は、音声認識によって生じた遅延の分だけ音声データに遅延を適用して端末11に提供する。これにより、日本側端末での音声データと字幕データの同期ずれを補正できる。また、会議支援装置12は、音声認識により生じた遅延量を示す映像を生成して端末10へ提供し、端末10は、米国側の音声データに適用された遅延に関する情報を映像で表示する。これにより、日本側で生じている遅延量などの情報を米国側の参加者が把握できるように支援している。なお、本実施形態では、日本側の参加者も英語を喋るものとし、米国側の端末10では日本側の端末11に入力された日本側の音声がそのまま再生される。
終了時遅延量 = 再生終了時刻 − 発言終了時刻 …(2)
このような抽出方法をとることにより、音声認識による遅延量が字幕データごとに増減しても正しい値を計算できる。また、追っかけ再生など音声の再生速度を変換するような場合でも正しい値を計算できる。本実施形態では、遅延情報として遅延量以外の情報を含んでいる。しかし、後述するタイムバー形式の遅延情報映像の生成ように、遅延情報映像生成部123において遅延量以外の情報を必要としない場合は、遅延量のみを遅延情報として抽出すればよい。
例えば、図8のID1に対応する第1の音声データの再生中において、現在の時刻情報が21秒である場合、表示した字幕文字列の左から下記の(4)式で示される割合の箇所に境界線900が表示される。
図9における境界線900は、現在の時刻情報とともに右側にシフトする。同図では、境界線900の左右で字幕データ中の文字列およびその背景の色を変えているが、境界線900が無いもの、色を変えのないもの、境界線900の左右で文字の大きさが異なるもの、などの視覚化手法も考えられる。このように、遅延情報映像生成部123は、遅延部121が各発言に対する遅延再生データを出力する毎に、その発言に対するカラオケ型の字幕形式の動画像を生成する。
図8のID2に対応する第1の音声データの再生中において、現在の時刻情報が38秒である場合、遅延量は下記の(6)式により計算できる。
図10の文字列1001は、現在の遅延量を秒数で表示したものである。
第1の実施形態の会議システムでは、情報抽出処理として音声認識を用いており、第1の音声データから字幕データを生成している。ここで、情報抽出処理は音声認識に限定されない。例えば、情報抽出処理として音声認識のみでなく英日の自動翻訳を用いて日本語の字幕データを生成してもよい。また、米国側の第1の音声データから感情を認識するための情報処理を適用し、喜怒哀楽や、否定肯定を示す画像を日本側に表示してもよい。この場合、遅延情報映像生成部123は、感情認識によって生じた遅延量などの遅延情報を視覚化する。
第1の実施形態における視覚化手法の変形例について説明する。この変形例では、日本側の端末11が参加者の映像を撮影する映像入力部(図示なし)を備える。そして、遅延情報映像生成部123は、映像入力部で撮影された映像に字幕データを重畳した映像を遅延情報映像として生成する。図11に表示例を示す。人物映像1100は日本側の参加者の映像であり、字幕データは前述したカラオケ型の字幕形式で表示される。また、タイムバー形式で遅延量も表示している。3台以上の端末で行う会議においては、端末によって遅延が異なる可能性がある。そのような場合には、カラオケ型の字幕形式において、同一の字幕データに複数の境界線が表示され、境界線ごとに端末を特定する名前が付加されるような視覚化手法も考えられる。さらに、タイムバーを複数個表示してもよい。
図12は、第2の実施形態にかかる会議システムの構成を示すブロック図である。第2の実施形態が第1の実施形態と異なる点は、遠隔サーバーに備えられた会議支援装置12に音量制御部124が追加されていることである。この音量制御部124は、遅延部121が出力する遅延情報に応じて、米国側に送信する日本側の音声データ(第2の音声データ)の音量を制御している。
11 端末
12 会議支援装置(遠隔サーバー)
100 第1音声入力部
101 第2音声再生部
102 第2映像表示部
103 通信部
110 第1音声再生部
111 第1映像表示部
112 第2音声入力部
113 通信部
120 音声認識部
121 遅延部
123 遅延情報映像生成部
125 通信部
126 通信部
130 制御部
131 記憶部
132 外部記憶部
133 操作部
134 通信部
135 バス
136 音声入力部
137 音声再生部
139 映像表示部
900 境界線
1000 タイムバー
1001 文字列
1100 人物映像
Claims (7)
- 少なくとも2つ以上の端末間で行う会議を支援する会議支援装置であって、
一方の端末が取得した第1の音声データに対する情報抽出処理によって生じた遅延を前記第1の音声データに適用する遅延手段と、
当該遅延手段によって前記第1の音声データに適用された遅延に関する情報を視覚化した遅延情報映像を生成する遅延情報映像生成手段と、
を備える会議支援装置。 - 前記情報抽出処理が音声認識処理であり、
前記遅延手段が前記音声認識処理の字幕データの生成によって生じた遅延を前記第1の音声データに適用する請求項1記載の会議支援装置。 - 前記遅延情報映像生成手段が前記音声認識手段によって生成された字幕データを取得し、前記字幕データの映像に前記第1の音声データの再生箇所を表示する映像を遅延情報映像として生成する請求項2記載の会議支援装置。
- 前記遅延情報映像生成手段で生成された遅延情報映像が前記第1の音声データに加えられた遅延量の時間変化を表す映像である請求項1記載の会議支援装置。
- 前記遅延情報映像生成手段で生成された遅延情報映像が前記第1の音声データに適用された遅延量を所定区間の長さで表示する請求項4記載の会議支援装置。
- 前記第1の音声データを取得した端末とは異なる端末が取得した第2の音声データの音量を、前記第1の音声データに適用した遅延量に応じて減少させる音量制御手段を、さらに備える請求項1記載の会議支援装置。
- 少なくとも2つ以上の端末間で行う会議を支援する会議支援方法であって、
一方の端末が取得した第1の音声データに対する情報抽出処理によって生じた遅延を前記第1の音声データに適用する遅延工程と、
当該遅延工程によって前記第1の音声データに適用された遅延に関する情報を視覚化した遅延情報映像を生成する遅延情報映像生成工程と、
を備える会議支援方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010282152A JP5727777B2 (ja) | 2010-12-17 | 2010-12-17 | 会議支援装置および会議支援方法 |
US13/232,314 US8553855B2 (en) | 2010-12-17 | 2011-09-14 | Conference support apparatus and conference support method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010282152A JP5727777B2 (ja) | 2010-12-17 | 2010-12-17 | 会議支援装置および会議支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012129950A true JP2012129950A (ja) | 2012-07-05 |
JP5727777B2 JP5727777B2 (ja) | 2015-06-03 |
Family
ID=46233844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010282152A Active JP5727777B2 (ja) | 2010-12-17 | 2010-12-17 | 会議支援装置および会議支援方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8553855B2 (ja) |
JP (1) | JP5727777B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018151533A (ja) * | 2017-03-14 | 2018-09-27 | 株式会社リコー | 通信端末、通信プログラム及び通信方法 |
JP2020017897A (ja) * | 2018-07-26 | 2020-01-30 | 株式会社リコー | 端末装置、会議システム、端末装置の制御方法、及びプログラム |
WO2021255831A1 (ja) * | 2020-06-16 | 2021-12-23 | 日本電信電話株式会社 | 送信装置、コミュニケーション方法、及びプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140076056A (ko) * | 2012-12-12 | 2014-06-20 | 한국전자통신연구원 | 음성 기반 캡차 방법 및 장치 |
US10224057B1 (en) * | 2017-09-25 | 2019-03-05 | Sorenson Ip Holdings, Llc | Presentation of communications |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002010138A (ja) * | 2000-06-20 | 2002-01-11 | Nippon Telegr & Teleph Corp <Ntt> | 情報処理方法及び情報処理装置 |
US20080077390A1 (en) * | 2006-09-27 | 2008-03-27 | Kabushiki Kaisha Toshiba | Apparatus, method and computer program product for translating speech, and terminal that outputs translated speech |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6816468B1 (en) * | 1999-12-16 | 2004-11-09 | Nortel Networks Limited | Captioning for tele-conferences |
JP2003345379A (ja) | 2002-03-20 | 2003-12-03 | Japan Science & Technology Corp | 音声映像変換装置及び方法、音声映像変換プログラム |
JP2005286969A (ja) | 2004-03-31 | 2005-10-13 | Sharp Corp | 記録再生装置、表示装置、及び字幕放送の字幕表示遅れ補正方法 |
US7830408B2 (en) * | 2005-12-21 | 2010-11-09 | Cisco Technology, Inc. | Conference captioning |
JP2008061060A (ja) | 2006-09-01 | 2008-03-13 | Matsushita Electric Ind Co Ltd | 会議システム |
US7991801B2 (en) * | 2008-06-10 | 2011-08-02 | International Business Machines Corporation | Real-time dynamic and synchronized captioning system and method for use in the streaming of multimedia data |
US8330864B2 (en) * | 2008-11-02 | 2012-12-11 | Xorbit, Inc. | Multi-lingual transmission and delay of closed caption content through a delivery system |
-
2010
- 2010-12-17 JP JP2010282152A patent/JP5727777B2/ja active Active
-
2011
- 2011-09-14 US US13/232,314 patent/US8553855B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002010138A (ja) * | 2000-06-20 | 2002-01-11 | Nippon Telegr & Teleph Corp <Ntt> | 情報処理方法及び情報処理装置 |
US20080077390A1 (en) * | 2006-09-27 | 2008-03-27 | Kabushiki Kaisha Toshiba | Apparatus, method and computer program product for translating speech, and terminal that outputs translated speech |
JP2008083376A (ja) * | 2006-09-27 | 2008-04-10 | Toshiba Corp | 音声翻訳装置、音声翻訳方法、音声翻訳プログラムおよび端末装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018151533A (ja) * | 2017-03-14 | 2018-09-27 | 株式会社リコー | 通信端末、通信プログラム及び通信方法 |
JP2020017897A (ja) * | 2018-07-26 | 2020-01-30 | 株式会社リコー | 端末装置、会議システム、端末装置の制御方法、及びプログラム |
JP7087779B2 (ja) | 2018-07-26 | 2022-06-21 | 株式会社リコー | 端末装置、会議システム、端末装置の制御方法、及びプログラム |
WO2021255831A1 (ja) * | 2020-06-16 | 2021-12-23 | 日本電信電話株式会社 | 送信装置、コミュニケーション方法、及びプログラム |
JPWO2021255831A1 (ja) * | 2020-06-16 | 2021-12-23 | ||
JP7279861B2 (ja) | 2020-06-16 | 2023-05-23 | 日本電信電話株式会社 | 送信装置、コミュニケーション方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20120154514A1 (en) | 2012-06-21 |
JP5727777B2 (ja) | 2015-06-03 |
US8553855B2 (en) | 2013-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5750380B2 (ja) | 音声翻訳装置、音声翻訳方法および音声翻訳プログラム | |
US20090150151A1 (en) | Audio processing apparatus, audio processing system, and audio processing program | |
JP5727777B2 (ja) | 会議支援装置および会議支援方法 | |
JP2013521523A (ja) | 聴覚障害者向けに音声言語を手話に翻訳するシステム | |
CN110740283A (zh) | 一种基于视频通讯的语音转文字方法 | |
WO2016202176A1 (zh) | 一种媒体文件合成方法、装置和设备 | |
JP2013025299A (ja) | 書き起こし支援システムおよび書き起こし支援方法 | |
JP2016091057A (ja) | 電子機器 | |
JP2021090172A (ja) | 字幕データ生成装置、コンテンツ配信システム、映像再生装置、プログラム及び字幕データ生成方法 | |
TW202236084A (zh) | 處理語音音頻流中斷的系統和方法 | |
JP2013005423A (ja) | 映像再生装置、映像再生方法およびプログラム | |
JP2019176375A (ja) | 動画出力装置、動画出力方法および動画出力プログラム | |
JP2016186646A (ja) | 音声翻訳装置、音声翻訳方法および音声翻訳プログラム | |
JP5777233B1 (ja) | 動画生成装置及び動画生成方法 | |
JP2002084505A (ja) | 映像閲覧時間短縮装置及び方法 | |
JP6802264B2 (ja) | 表示装置、出力装置、および情報表示方法 | |
JP5391175B2 (ja) | 遠隔会議方法、遠隔会議システム及び遠隔会議プログラム | |
JP4662228B2 (ja) | マルチメディア記録装置および発言録作成装置 | |
JP7279861B2 (ja) | 送信装置、コミュニケーション方法、及びプログラム | |
JP7051987B2 (ja) | 出力装置および情報表示方法 | |
JP2006157692A (ja) | 映像再生方法及び装置及びプログラム | |
JP6387044B2 (ja) | テキスト処理装置、テキスト処理方法およびテキスト処理プログラム | |
JP2010093614A (ja) | 映像信号再生装置 | |
JP2010141754A (ja) | 留守番電話システム、留守番電話サービスサーバ、受話者端末及び留守番電話サービス方法 | |
JP2016170767A (ja) | 動画生成装置及び動画生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141028 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150216 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150403 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5727777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |