JP2008005028A - Video voice conference system and terminal - Google Patents
Video voice conference system and terminal Download PDFInfo
- Publication number
- JP2008005028A JP2008005028A JP2006170167A JP2006170167A JP2008005028A JP 2008005028 A JP2008005028 A JP 2008005028A JP 2006170167 A JP2006170167 A JP 2006170167A JP 2006170167 A JP2006170167 A JP 2006170167A JP 2008005028 A JP2008005028 A JP 2008005028A
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- video
- terminal
- audio
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、ネットワークを介して会議を行うシステムに関する。特に、話頭切断の回避技術に関する。 The present invention relates to a system for conducting a conference via a network. In particular, the present invention relates to a technique for avoiding talk head disconnection.
例えば、特許文献１に開示されている映像音声会議方法では、各参加者の発話状態に基づいて話者を選択し、その話者の映像ストリームを受信する。 For example, in the video / audio conference method disclosed in Patent Document 1, a speaker is selected based on the speech state of each participant, and the video stream of the speaker is received.
このような映像音声会議方法では、音声ストリームは常時配信されており、映像ストリームのみを選択的に受信する。これにより、参加者の発話に伴って、表示される参加者映像をリアルタイムに変更することができる。また、実際には、トラフィックや復号処理を軽減するために、音声ストリームを選択的に受信することも考えられる。 In such a video / audio conference method, the audio stream is always distributed, and only the video stream is selectively received. Thereby, the participant video to be displayed can be changed in real time as the participant speaks. In practice, it may be possible to selectively receive an audio stream in order to reduce traffic and decoding processing.
さらに、従来技術を図１および図２を参照して説明する。図１はシステム構成例を示す図である。図２は従来技術の説明に用いるシーケンス図である。図１のように、端末１〜３がネットワーク４に接続されている。説明を分かりやすくするために、同時にストリームを受信する参加者（話者）の数は１とする。 Furthermore, the prior art will be described with reference to FIGS. FIG. 1 is a diagram showing a system configuration example. FIG. 2 is a sequence diagram used for explaining the prior art. As shown in FIG. 1, terminals 1 to 3 are connected to the network 4. In order to make the explanation easy to understand, it is assumed that the number of participants (speakers) who simultaneously receive a stream is 1.
この会議システムでは、各端末装置がマイク音量などを基に発話中かどうかを判断し、発話状態が変化したら他の端末装置に通知する。通知を受信した端末装置は、発話中の端末装置に対してストリームを要求して受信する。ここでは、端末装置１に注目して説明を行うが、実際には全ての端末装置が同様に動作する。 In this conference system, it is determined whether or not each terminal device is speaking based on the microphone volume or the like, and the other terminal devices are notified when the speaking state changes. The terminal device that has received the notification requests and receives the stream from the terminal device that is speaking. Here, the description will be given focusing on the terminal device 1, but in practice, all the terminal devices operate in the same manner.
図２のシーケンス図を用いて説明を行う。まず、端末装置２が発言を開始したとする。すると、端末装置２は発話状態の変化を端末装置１および３に通知する（図には端末装置１への通知のみを示す）。通知を受信した端末装置１は、端末装置２に「音声・映像要求」を送信する。端末装置２は、端末装置１に音声ストリームと映像ストリームとを送信する。 This will be described with reference to the sequence diagram of FIG. First, it is assumed that the terminal device 2 starts speaking. Then, the terminal device 2 notifies the terminal devices 1 and 3 of the change in the utterance state (only the notification to the terminal device 1 is shown in the figure). The terminal device 1 that has received the notification transmits an “audio / video request” to the terminal device 2. The terminal device 2 transmits an audio stream and a video stream to the terminal device 1.
しばらくして、端末装置３が発言を開始し、発話状態の変化を通知したとする。このとき、端末装置１は、端末装置２に「音声・映像停止」を要求する。同時に、端末装置１は端末装置３に「音声・映像要求」を送信する。端末装置３は、端末装置１に音声ストリームと映像ストリームとを送信する。 After a while, it is assumed that the terminal device 3 starts speaking and notifies the change of the utterance state. At this time, the terminal device 1 requests the terminal device 2 to “sound / video stop”. At the same time, the terminal device 1 transmits a “voice / video request” to the terminal device 3. The terminal device 3 transmits an audio stream and a video stream to the terminal device 1.
しばらくして、端末装置２が発言を再開し、発話状態の変化を通知したとする。このとき、端末装置１は「音声・映像要求」を送信するが、端末装置２からの音声ストリームが届くまで再生することができない。このようにして、話頭切断が発生する。 It is assumed that the terminal device 2 resumes speaking after a while and notifies the change of the utterance state. At this time, the terminal device 1 transmits an “audio / video request”, but cannot reproduce it until an audio stream from the terminal device 2 arrives. In this way, talk disconnection occurs.
発話状態によってストリームを選択的に受信する会議システムでは、発話を開始した直後に音声の先頭部分を配信できないことがある。この現象を「話頭切断」という。話頭切断が発生すると、発話者の説明の冒頭部分を聞き漏らすなど、会議参加者にとってストレスとなる。 In a conference system that selectively receives a stream depending on an utterance state, the head portion of the voice may not be delivered immediately after the utterance is started. This phenomenon is called "talk head disconnection". When a talk disconnection occurs, it is stressful for conference participants, such as missing the beginning of the speaker's explanation.
このような話頭切断は、音声ストリームのみならず、映像ストリームについても同様に発生する。映像ストリームにおける話頭切断の場合でも、例えば、発話者が図面を指し示して説明を行っているような場合には、冒頭の説明を見逃すなど、会議参加者にとってストレスとなる。 Such talk disconnection occurs not only in the audio stream but also in the video stream. Even in the case of talk head disconnection in a video stream, for example, when a speaker is pointing and explaining a drawing, it may be stressful for the conference participants, such as missing the explanation at the beginning.
本発明は、このような背景の下に行われたものであって、話頭切断を回避し、会議参加者はストレス無く会議を行うことができる映像音声会議システムを提供することを目的とする。 The present invention has been made under such a background, and it is an object of the present invention to provide a video / audio conferencing system capable of avoiding the disconnection of a talk head and allowing a conference participant to hold a conference without stress.
会議では多くの参加者が順番に発言することは少なく、少数の参加者が交互に発言することが多い。本発明は、この点に注目した発明であり、直近に発話していた参加者は、すぐに再び発話する可能性が高いと予想し、しばらく継続してストリームを受信しておくことを特徴とする。 In a conference, many participants rarely speak in sequence, and a small number of participants often speak alternately. The present invention is an invention paying attention to this point, and it is characterized that a participant who has spoken most recently is likely to speak again soon and continuously receives a stream for a while. To do.
すなわち、本発明は、複数の端末装置が相互に通信可能なネットワークに接続され、発話中の端末装置からの音声または映像ストリームをその他の端末装置が受信する映像音声会議システムであって、本発明の特徴とするところは、これまで発話中の端末装置における発話が終了した時点から所定時間は、その他の端末装置は、当該端末装置からの音声または映像ストリームを継続して受信するところにある。 That is, the present invention is a video / audio conference system in which a plurality of terminal devices are connected to a mutually communicable network, and other terminal devices receive audio or a video stream from a terminal device that is speaking. This is characterized in that the other terminal devices continuously receive the audio or video stream from the terminal device for a predetermined time from the end of the utterance at the terminal device that has been speaking so far.
これによれば、少数の参加者が交互に発言を繰り返した場合でも、話頭切断を回避することができる。 According to this, even when a small number of participants repeatedly speak, it is possible to avoid disconnection of the talk head.
また、本発明を端末装置の観点から観ることができる。すなわち、本発明は、複数の端末装置が相互に通信可能なネットワークに接続され、発話中の端末装置からの音声または映像ストリームをその他の端末装置が受信する映像音声会議システムに適用される前記端末装置であって、本発明の特徴とするところは、これまで発話中の端末装置における発話が終了した時点から所定時間は、当該端末装置からの音声または映像ストリームを継続して受信する手段を備えたところにある。 Further, the present invention can be viewed from the viewpoint of a terminal device. That is, the present invention is applied to a video / audio conference system in which a plurality of terminal devices are connected to a network capable of communicating with each other, and other terminal devices receive audio or video streams from a terminal device that is speaking. The present invention is characterized in that the present invention is characterized by comprising means for continuously receiving an audio or video stream from the terminal device for a predetermined time from the end of the utterance in the terminal device that has been speaking so far. There is.
また、本発明をプログラムの観点から観ることができる。すなわち、本発明は、汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、本発明の端末装置の機能に相応する機能を実現させるプログラムである。本発明のプログラムは記録媒体に記録されることにより、前記汎用の情報処理装置は、この記録媒体を用いて本発明のプログラムをインストールすることができる。あるいは、本発明のプログラムを保持するサーバからネットワークを介して直接前記汎用の情報処理装置に本発明のプログラムをインストールすることもできる。 Further, the present invention can be viewed from the viewpoint of a program. That is, the present invention is a program that, when installed in a general-purpose information processing apparatus, causes the general-purpose information processing apparatus to realize a function corresponding to the function of the terminal device of the present invention. By recording the program of the present invention on a recording medium, the general-purpose information processing apparatus can install the program of the present invention using this recording medium. Alternatively, the program of the present invention can be directly installed on the general-purpose information processing apparatus via a network from a server that holds the program of the present invention.
これにより、汎用の情報処理装置を用いて、本発明の端末装置を実現することができる。 Thereby, the terminal device of this invention is realizable using a general purpose information processing apparatus.
本発明によれば、話頭切断を回避し、会議参加者はストレス無く会議を行うことができる。 According to the present invention, the head disconnection is avoided, and the conference participants can hold the conference without stress.
本発明の実施例を図３および図４を参照して説明する。図４に、端末装置の構成を示す。発話判定手段１０は、マイク音量などを基に発話中かどうかを判断し、発話状態が変化したら他の端末に通知する機能である。ストリーム要求手段１１は、他端末の発話状態変化通知を受信すると、その端末に対してストリーム受信開始または停止要求を送信する。ストリーム生成手段１２は、マイクやカメラの信号からストリームデータを生成し、要求されている端末に対して送受信手段１３を介して送信する機能である。送受信手段１３は、ネットワークを介して音声ストリームおよび映像ストリームを送受信する機能である。図には省略したが、端末は映像や音声を再生する装置（ディスプレイやスピーカなど）を備える。
An embodiment of the present invention will be described with reference to FIGS. FIG. 4 shows the configuration of the terminal device. The utterance determination means 10 is a function that determines whether or not the utterance is being performed based on the microphone volume and the like and notifies other terminals when the utterance state changes. When the stream request unit 11 receives the utterance state change notification of another terminal, the stream request unit 11 transmits a stream reception start or stop request to the terminal. The
図３のシーケンス図を用いて説明を行う。端末装置３が発言を開始したところまでは、従来技術と同じである。端末装置３が発言を開始し、発話状態の変化を通知したところから説明する。このとき、端末装置１は、端末装置２に「映像のみ停止」を要求し、音声は継続して受信することにする。同時に、端末装置１は端末装置３に「音声・映像要求」を送信する。端末装置３は、端末装置１に音声ストリームと映像ストリームとを送信する。端末装置１は、端末装置２および３の音声ストリームを受信するが、端末装置３のみを再生する。 This will be described with reference to the sequence diagram of FIG. The process up to the point where the terminal device 3 starts speaking is the same as that in the prior art. A description will be given from the point where the terminal device 3 starts speaking and notifies the change of the utterance state. At this time, the terminal device 1 requests the terminal device 2 to “stop video only” and continuously receives the audio. At the same time, the terminal device 1 transmits a “voice / video request” to the terminal device 3. The terminal device 3 transmits an audio stream and a video stream to the terminal device 1. The terminal device 1 receives the audio streams of the terminal devices 2 and 3, but reproduces only the terminal device 3.
しばらくして、端末装置２が発言を再開し、発話状態の変化を通知したとする。このとき、端末装置１は「通知を受信した直後から」端末装置２の音声を再生することができる。これによって話頭切断を回避することができる。この後、端末装置３が発言を開始したときも同様である。 It is assumed that the terminal device 2 resumes speaking after a while and notifies the change of the utterance state. At this time, the terminal device 1 can reproduce the voice of the terminal device 2 “immediately after receiving the notification”. As a result, talk head disconnection can be avoided. Thereafter, the same applies when the terminal device 3 starts speaking.
この例では、音声ストリームのみを継続して受信したが、映像の話頭切断も避けたい場合には、映像ストリームも継続して受信すればよい。また、この例では、継続して受信する「非発話端末装置」の数を１としているが、参加者が多いときには増やしてもよい。また、非発話状態になってから継続して受信する条件を「時間」によって決定する（非発話状態になっても、例えば１０秒間は継続して受信する）。 In this example, only the audio stream is continuously received. However, if it is desired to avoid the disconnection of the head of the video, the video stream may be continuously received. In this example, the number of “non-speech terminal devices” continuously received is 1, but may be increased when there are many participants. In addition, the condition for continuous reception after entering the non-speech state is determined by “time” (even if the non-speech state is entered, reception is continued for, for example, 10 seconds).
また、本実施例は、汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、本実施例の端末装置の機能に相応する機能を実現させるプログラムとして実施することができる。このプログラムは、記録媒体に記録されて汎用の情報処理装置にインストールされ、あるいは通信回線を介して汎用の情報処理装置にインストールされることにより当該汎用の情報処理装置に、発話判定手段１０、ストリーム要求手段１１、ストリーム生成手段１２、送受信手段１３の機能にそれぞれ相応する機能を実現させることができる。汎用の情報処理装置は、例えば、汎用のパーソナル・コンピュータである。
Further, the present embodiment can be implemented as a program that, when installed in a general-purpose information processing apparatus, causes the general-purpose information processing apparatus to realize a function corresponding to the function of the terminal device of the present embodiment. This program is recorded in a recording medium and installed in a general-purpose information processing apparatus, or installed in a general-purpose information processing apparatus via a communication line, so that the speech determination means 10, stream Functions corresponding to the functions of the request unit 11, the
本発明によれば、話頭切断を回避し、会議参加者はストレス無く会議を行うことができるので、ネットワークユーザの利便性を向上させることができる。また、ネットワーク運営者は、ネットワークを介して行われる会議を利用する多くのユーザを獲得することができる。 According to the present invention, it is possible to avoid the disconnection of the talk head and the conference participants can hold the conference without stress, so that the convenience of the network user can be improved. In addition, the network operator can acquire many users who use a conference held via the network.
１〜３ 端末装置
４ ネットワーク
１０ 発話判定手段
１１ ストリーム要求手段
１２ ストリーム生成手段
１３ 送受信手段
1-3 Terminal device 4
Claims (3)
これまで発話中の端末装置における発話が終了した時点から所定時間は、その他の端末装置は、当該端末装置からの音声または映像ストリームを継続して受信する
ことを特徴とする映像音声会議システム。 In a video / audio conference system in which a plurality of terminal devices are connected to a network that can communicate with each other, and other terminal devices receive audio or video streams from the terminal device that is speaking,
A video / audio conferencing system characterized in that another terminal device continuously receives an audio or video stream from the terminal device for a predetermined time from the end of the utterance in the terminal device that has been speaking so far.
これまで発話中の端末装置における発話が終了した時点から所定時間は、当該端末装置からの音声または映像ストリームを継続して受信する手段を備えた
ことを特徴とする端末装置。 In the terminal device applied to a video / audio conference system in which a plurality of terminal devices are connected to a network capable of communicating with each other and other terminal devices receive audio or video streams from the terminal device that is speaking.
A terminal device comprising means for continuously receiving an audio or video stream from the terminal device for a predetermined time from the end of the utterance in the terminal device that has been speaking up to now.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006170167A JP4531013B2 (en) | 2006-06-20 | 2006-06-20 | Audiovisual conference system and terminal device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006170167A JP4531013B2 (en) | 2006-06-20 | 2006-06-20 | Audiovisual conference system and terminal device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008005028A true JP2008005028A (en) | 2008-01-10 |
| JP4531013B2 JP4531013B2 (en) | 2010-08-25 |
Family
ID=39009094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006170167A Active JP4531013B2 (en) | 2006-06-20 | 2006-06-20 | Audiovisual conference system and terminal device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4531013B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100813167B1 (en) * | 2006-06-09 | 2008-03-17 | 삼성전자주식회사 | Method and system for fast and accurate face detection and face detection learning |
| KR100842656B1 (en) * | 2006-04-29 | 2008-06-30 | 충북대학교 산학협력단 | Fabrication Method of Sensing Structure Of Biochip |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH024095A (en) * | 1988-06-22 | 1990-01-09 | Nippon Telegr & Teleph Corp <Ntt> | Speaker deciding system for inter-multispot video conference |
| JPH05111020A (en) * | 1991-10-17 | 1993-04-30 | Matsushita Electric Ind Co Ltd | Picture switching control device for video conference |
-
2006
- 2006-06-20 JP JP2006170167A patent/JP4531013B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH024095A (en) * | 1988-06-22 | 1990-01-09 | Nippon Telegr & Teleph Corp <Ntt> | Speaker deciding system for inter-multispot video conference |
| JPH05111020A (en) * | 1991-10-17 | 1993-04-30 | Matsushita Electric Ind Co Ltd | Picture switching control device for video conference |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100842656B1 (en) * | 2006-04-29 | 2008-06-30 | 충북대학교 산학협력단 | Fabrication Method of Sensing Structure Of Biochip |
| KR100813167B1 (en) * | 2006-06-09 | 2008-03-17 | 삼성전자주식회사 | Method and system for fast and accurate face detection and face detection learning |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4531013B2 (en) | 2010-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8345849B2 (en) | Telecommunications endpoint that prompts a user to focus on a monitored call | |
| WO2016184118A1 (en) | Method and device for realizing multimedia conference | |
| US7822050B2 (en) | Buffering, pausing and condensing a live phone call | |
| US9112981B2 (en) | Method and apparatus for overlaying whispered audio onto a telephone call | |
| US11706332B2 (en) | Smart notification system for voice calls | |
| US11782674B2 (en) | Centrally controlling communication at a venue | |
| JP2009514324A (en) | Method and apparatus for capturing audio during a conference call | |
| JP2024505944A (en) | System and method for handling voice audio stream interruptions | |
| US8451317B2 (en) | Indexing a data stream | |
| JP4531013B2 (en) | Audiovisual conference system and terminal device | |
| JP5436743B2 (en) | Communication terminal device and communication control device | |
| JP2007259293A (en) | Conference call system, terminal with call function, conference call method, and program and recording medium | |
| JP2020036225A (en) | Information processing apparatus, information processing method, and information processing program | |
| CN113079267B (en) | Audio conferencing in a room | |
| US20080266381A1 (en) | Selectively privatizing data transmissions in a video conference | |
| JP4522332B2 (en) | Audiovisual distribution system, method and program | |
| JP2008109170A (en) | Voice level adjusting device of remote conference system | |
| JP2022108957A (en) | Data processing device, data processing system, and voice processing method | |
| JP5391175B2 (en) | Remote conference method, remote conference system, and remote conference program | |
| JP2018137614A (en) | Communication device, communication system, communication method, and program | |
| JP2001036576A (en) | Sound transmitting method, data transmission processing method, recording medium in which data transmission processing program is recorded, data reception processing method and recording medium in which data reception processing program is recorded | |
| JP2005229464A (en) | Speech volume managing communication system and method therefor | |
| JP2009194489A (en) | Voice processing method in image distribution system | |
| JP2015007665A (en) | Information presentation method and information presentation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20090601 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090601 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090601 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100608 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4531013 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140618 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |