JP2012175192A - Content playback apparatus with video telephone function and video telephone voice processing method - Google Patents
Content playback apparatus with video telephone function and video telephone voice processing method Download PDFInfo
- Publication number
- JP2012175192A JP2012175192A JP2011032557A JP2011032557A JP2012175192A JP 2012175192 A JP2012175192 A JP 2012175192A JP 2011032557 A JP2011032557 A JP 2011032557A JP 2011032557 A JP2011032557 A JP 2011032557A JP 2012175192 A JP2012175192 A JP 2012175192A
- Authority
- JP
- Japan
- Prior art keywords
- content
- specifying information
- audio signal
- unit
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、映像および音声から構成されるコンテンツを出力する装置(代表的にはテレビジョン受像機(以下、単にテレビまたはTVと記載))に、テレビ電話による通話を可能とする機能を設けて、コンテンツ視聴とともに、他の装置との間でテレビ電話による通話を行なうことができるようにした、画像音声通信技術に関する。 The present invention provides an apparatus (typically a television receiver (hereinafter simply referred to as TV or TV)) that outputs content composed of video and audio with a function that enables a telephone call. The present invention also relates to a video / audio communication technique that enables a videophone call to be made with another device while viewing content.
従来から実現されているテレビ電話に加えて、最近では、常時接続ブロードバンド技術の進展に伴い、IP(Internet Protocol)テレビ電話が普及しつつある。このようなIPテレビ電話機では、内蔵のカメラによって撮影された映像情報、および、内蔵のマイクによって取得された音声情報を、IPネットワークを介して通信相手先に送信することが可能である。さらに、IPテレビ電話機に内蔵されたカメラおよびマイクを別体のモジュールとして、そのモジュールをパソコンに接続してIPテレビ電話を実現する場合もある。さらに、モニタの代わりにテレビの表示部を用いることもある。テレビを用いたIPテレビ電話においては、カメラおよびマイクから構成されるモジュールを、インターネット接続されたテレビに接続したり内蔵したりすることが考えられる。 In addition to videophones that have been realized in the past, recently, IP (Internet Protocol) videophones are becoming popular with the progress of always-on broadband technology. In such an IP videophone, video information captured by a built-in camera and audio information acquired by a built-in microphone can be transmitted to a communication partner via an IP network. Further, there are cases where an IP videophone is realized by using a camera and a microphone built in the IP videophone as separate modules and connecting the module to a personal computer. Further, a television display unit may be used instead of the monitor. In an IP videophone using a television, it is conceivable that a module including a camera and a microphone is connected to or built in a television connected to the Internet.
特開2007−281923号公報(特許文献1)は、カメラおよびマイクから構成されるモジュールをテレビに内蔵した装置を開示する。この装置は、テレビ電話機能を備えたテレビであって、チャンネル切換などに応じてその情報を遠隔地のテレビに送信して、遠隔地のテレビはこれを受信して遠隔地のテレビに同じ番組を表示する。両者が同じ番組を見ることにより体験共有感を演出する。このようにすると、たとえば、互いに遠隔地に住んでいる家庭どうしがテレビ鑑賞を通じて日常的に情報を交換し、お互いの様子を見守るとともに体験の共有による擬似的な団らんを演出することができる。 Japanese Patent Laying-Open No. 2007-281923 (Patent Document 1) discloses a device in which a module including a camera and a microphone is built in a television. This device is a television having a videophone function, and transmits the information to a remote television according to channel switching or the like, and the remote television receives this information and receives the same program as the remote television. Is displayed. Both will produce a sense of shared experience by watching the same program. In this way, for example, homes living in remote locations can exchange information on a daily basis through television viewing, watch each other's situation, and produce a simulated group by sharing experiences.
しかしながら、特許文献1に開示された技術を用いて、テレビ視聴とテレビ電話とを同時に実行すると、同じ番組を視聴しているときに、以下の問題が発生する。相手先のテレビにおいて、相手先のユーザの声のみならずテレビ音声もマイクに入力されてしまい、自機へ送信される。自機のスピーカから、相手先のテレビから受信した(相手先のテレビのチューナーが受信して出力した)テレビ音声が出力されてしまい、自機で受信したテレビ音声とハウリングを起こしてしまう。 However, using the technique disclosed in Patent Literature 1 to simultaneously perform TV viewing and videophone calls, the following problems occur when viewing the same program. In the other party's television, not only the voice of the other party's user but also the TV sound is input to the microphone and transmitted to the own device. The TV sound received from the TV of the other party (received and output by the TV tuner of the other party) is output from the speaker of the own apparatus, and howling with the TV sound received by the own apparatus occurs.
これに対応するために、相手先のテレビでは、チューナーが受信したテレビ音声をスピーカから出力しないようにすることも考えられる。しかしながら、これでは、異なる番組を視聴していた場合、相手先のテレビ音声が背景音として送信されないので、テレビ視聴とテレビ電話とを両立できない。 In order to cope with this, it may be possible not to output the TV sound received by the tuner from the speaker in the other party's TV. However, in this case, when a different program is viewed, the other party's TV sound is not transmitted as background sound, so that TV viewing and videophone cannot be compatible.
本発明は、上述した問題点を解決するためになされたものであって、その目的は、テレビ視聴(広くはコンテンツ視聴)とテレビ電話とを両立することのできる、画像音声通信技術を提供することである。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an image / audio communication technique capable of achieving both TV viewing (generally viewing content) and videophone. That is.
本発明のある局面に係るテレビ電話機能付きコンテンツ再生装置は、TV電話の相手機と映像信号及び音声信号を通信するTV電話通信部と、映像信号を入力する映像入力部と、音声信号を入力する音声入力部と、コンテンツを取得する取得部と、取得部が取得したコンテンツの映像信号とTV電話通信部が取得した映像信号とを出力する映像出力部と、取得部が取得したコンテンツの音声信号とTV電話通信部が取得した音声信号とを出力する音声出力部と、音声入力部に入力された音声信号から、指定された音声信号を消去するエコーキャンセル部と、TV電話通信部に、エコーキャンセル部から出力された音声信号と映像入力部から入力された映像信号とを相手機に送信させるTV電話制御部と、を備える。このTV電話制御部は、TV電話通信部を介して相手機において視聴中のコンテンツの情報である第1コンテンツ特定情報を取得し、取得した第1コンテンツ特定情報と自機において視聴中のコンテンツの情報である第2コンテンツ特定情報とを比較し、第1コンテンツ特定情報と第2コンテンツ特定情報が一致すると判断した場合は、エコーキャンセル部に対して、音声入力部に入力された音声信号から、TV電話通信部が取得した音声信号及び取得部が取得したコンテンツの音声信号を消去させる。 A content playback device with a videophone function according to an aspect of the present invention is a videophone communication unit that communicates video signals and audio signals with a videophone partner, a video input unit that inputs video signals, and an audio signal input An audio input unit for acquiring content, an acquisition unit for acquiring content, a video output unit for outputting the video signal of the content acquired by the acquisition unit and the video signal acquired by the videophone communication unit, and the audio of the content acquired by the acquisition unit An audio output unit that outputs a signal and an audio signal acquired by the TV phone communication unit, an echo cancel unit that deletes a specified audio signal from the audio signal input to the audio input unit, and a TV phone communication unit. A videophone control unit that transmits the audio signal output from the echo canceling unit and the video signal input from the video input unit to the counterpart device. The TV phone control unit acquires first content specifying information that is information of content being viewed on the other device via the TV phone communication unit, and the acquired first content specifying information and the content being viewed on the own device. When comparing the second content specifying information, which is information, and determining that the first content specifying information and the second content specifying information match, from the audio signal input to the audio input unit, The audio signal acquired by the TV phone communication unit and the audio signal of the content acquired by the acquisition unit are deleted.
本発明の別の局面に係るテレビ電話音声処理方法は、視聴中のコンテンツの情報である第2コンテンツ特定情報を特定するステップと、TV電話の相手機と映像信号及び音声信号を送受信するステップと、自機の映像信号を入力するステップと、自機の音声信号を入力するステップと、送受信するステップを介して、相手機において視聴中のコンテンツの情報である第1コンテンツ特定情報を取得するステップと、第1コンテンツ特定情報と第2コンテンツ特定情報とを比較するステップと、第1コンテンツ特定情報と第2コンテンツ特定情報が一致する場合、入力した自機の音声信号から、送受信するステップを介して取得した音声信号及び視聴中のコンテンツの音声信号を消去した音声信号を生成するステップと、送受信するステップに、自機の映像信号及び生成した音声信号を送信させるステップと、を有する。 A videophone audio processing method according to another aspect of the present invention includes a step of specifying second content specifying information that is information of a content being viewed, and a step of transmitting and receiving a video signal and an audio signal with a videophone partner. The step of acquiring the first content specifying information which is the information of the content being viewed on the other device through the step of inputting the video signal of the own device, the step of inputting the audio signal of the own device, and the step of transmitting and receiving And the step of comparing the first content specifying information and the second content specifying information, and if the first content specifying information and the second content specifying information match, the step of transmitting / receiving from the input audio signal of the own device And generating and transmitting / receiving the audio signal obtained by erasing the audio signal of the content being viewed and the audio signal of the content being viewed. Having a step of transmitting a video signal and generated audio signal of its own.
上述したテレビ電話機能付きコンテンツ再生装置によると、相手機と自機で同じコンテンツを視聴していると判定されると、音声入力部から入力された音声のうち、相手機から受信した相手側音声および自機で取得したコンテンツ音声が消去されて、相手機に送信される。このため、相手機から、相手機が出力したコンテンツ音声が消去されて送信されてくるので、自機でコンテンツ音声がハウリングすることを回避できる。さらに、相手機と自機で同じコンテンツを視聴していると判定されないと、音声入力部から入力された音声のうち、相手機から受信した相手側音声が消去されて、相手機に送信される。このため、相手機から、相手機が取得したコンテンツ音声が消去されないで送信されてくるので、相手機が自機とは異なるコンテンツを視聴していることがわかるとともに、そのコンテンツを視聴しているときの相手の声を聞くことができる。 According to the above-described content playback device with a videophone function, when it is determined that the other device and the own device are watching the same content, the other party's audio received from the other device out of the audio input from the audio input unit Also, the content sound acquired by the own device is deleted and transmitted to the other device. For this reason, since the content sound output from the partner device is erased and transmitted from the partner device, it is possible to avoid howling the content sound in the own device. Further, if it is not determined that the same content is being watched by the other device and the own device, the other party's voice received from the other device is erased and transmitted to the other device from the audio input unit. . For this reason, the content audio acquired by the partner device is transmitted without being erased from the partner device, so that it can be seen that the partner device is viewing content different from the own device and the content is being viewed. You can hear the voice of the other party.
以下、図面を参照しつつ本発明の実施の形態に係るTV電話システムについて説明する。以下の説明においては、同一の構成には同一の符号を付してある。それらの名称及び機能は同じである。従って、それらについての詳細な説明は繰り返さない。 A TV phone system according to an embodiment of the present invention will be described below with reference to the drawings. In the following description, the same reference numerals are given to the same components. Their names and functions are the same. Therefore, detailed description thereof will not be repeated.
(構成)
図1を参照して、本実施の形態に係るTV電話システムは、地上放送局からのデジタル放送波または放送衛星からのデジタル放送波を受信して映像と音声とを出力するテレビ機能に加えてTV電話機能を備えた2台のテレビ(テレビ電話機能付きコンテンツ再生装置)100を、ネットワークで接続したシステムである。なお、放送された電波に限定されず、TV機能に代えて/加えて、ネットワークを介して受信したコンテンツデータに基づいて映像と音声とを出力する機能を有しても構わない。このテレビ100が、テレビ電話機能付きコンテンツ再生装置の一例である。
(Constitution)
Referring to FIG. 1, the TV telephone system according to the present embodiment receives a digital broadcast wave from a terrestrial broadcast station or a digital broadcast wave from a broadcast satellite and outputs a video and audio in addition to the TV function. This is a system in which two televisions (content reproduction device with a videophone function) 100 having a videophone function are connected via a network. In addition, it is not limited to the broadcasted radio wave, and instead of / in addition to the TV function, it may have a function of outputting video and audio based on content data received via a network. This
これらのテレビ100は、相手先のテレビ100において視聴中の番組情報(第1コンテンツ特定情報)を取得し、同一番組を視聴中であると(第1コンテンツ特定情報と自機において視聴中の番組情報(第2コンテンツ特定情報)とが一致していると)判断した場合は、マイク144から入力された音声(相手機から受信した通話音声、自機で受信してスピーカ134から出力したテレビ音声および自機の周囲の通話音声)から、相手機から受信した通話音声および自機で受信してスピーカ134から出力したテレビ音声を消去して、自機の周囲の通話音声のみを相手機へ送信するという特徴を備える。図1に示すシステム構成図においては、機能が全く同じテレビ100どうしをネットワーク接続しているが、上述した特徴を実現するための機能を備えたテレビであればよく、全く同じ機能を備えるテレビである必要はない。
These
図1に示すように、これらのテレビ100は、映像を出力する液晶ディスプレイまたはプラズマディスプレイ等からなるモニタ124と、音声を出力するスピーカ134と、テレビ電話用の音声が入力されるマイク144および映像が入力されるカメラ154とを備える。
As shown in FIG. 1, these
図2に、テレビ100のハードウェア構成図を示す。チューナー(取得部)102は、アンテナ(図示せず)で受信したデジタル放送波を受けて、復調などの処理を行った信号をDEMUX回路104へ送る。DEMUX回路104は、チューナー102から受けた信号をMPEGデータと番組付属情報とに分離して、MPEGデータをデコード部106へ送る。デコード部106は、DEMUX回路104から受けたMPEGデータを復調し、得られた映像信号を映像合成部120へ、音声信号を音声合成部130へ送る。
FIG. 2 shows a hardware configuration diagram of the
メインメモリ108は、番組付属情報などを格納する。番組表制御部110は、メインメモリ108の番組付属情報などから、現在視聴中の番組情報をTV電話制御部160へ送る。
The
映像合成部120は、デコード部106から送られた映像信号とTV電話制御部160で生成した映像信号とを合成した信号を、映像出力回路122へ送る。映像出力回路122は、映像合成部120から送られた映像信号をモニタ124へ出力する。映像合成部120と映像出力回路122とモニタ124とで映像出力部121を構成する。
Video synthesizing
音声合成部130は、デコード部106から送られた音声信号とTV電話制御部160で生成した音声信号とを合成した信号を、音声出力回路132へ送る。音声出力回路132は、音声合成部130から送られた音声信号をスピーカ134へ出力する。音声合成部130と音声出力回路132とスピーカ134とで音声出力部131を構成する。
The
音声入力回路142は、マイク144から入力された音声信号をエコーキャンセル部140へ送る。映像入力回路152は、カメラ154から入力された映像信号をTV電話制御部160へ送る。音声入力回路142とマイク144とで音声入力部141を構成し、映像入力回路152とカメラ154とで映像入力部151を構成する。
The
ネットワーク制御部(テレビ電話通信部)170は、TV電話制御部160と通信して、相手側のテレビ100(相手機)にTV電話の映像信号および音声信号を送信したり、相手機からTV電話の映像信号および音声信号を受信したりする。
The network control unit (videophone communication unit) 170 communicates with the
リモコン受光部180は、ユーザ操作などによる外部要求を受信して、リモコン制御部182へ通知する。リモコン制御部182は、ユーザの操作に応じて、TV電話についての要求を、TV電話制御部160へ送る。
The remote control
TV電話制御部160は、ユーザ操作等により、TV電話が開始されたときに、相手機のTV電話制御部160に、視聴中の番組情報(第1コンテンツ特定情報)を問い合わせる。さらに、TV電話制御部160は、自機側のテレビ100(自機)で現在視聴中の番組情報(第2コンテンツ特定情報)と、相手機で現在視聴中の番組情報とが一致するか否かを判定する。
When a TV phone call is started by a user operation or the like, the TV
TV電話制御部160は、視聴中の番組が一致すると判定すると、エコーキャンセル部140へ、マイク144から入力された音声(相手機から受信した通話音声、自機で受信してスピーカ134から出力したテレビ音声および自機の周囲の通話音声)から、相手機から受信した通話音声および自機で受信してスピーカ134から出力したテレビ音声を消去するように指示する。
When the video
TV電話制御部160は、視聴中の番組が一致しないと判定すると、エコーキャンセル部140へ、マイク144から入力された音声(相手機から受信した通話音声、自機で受信してスピーカ134から出力したテレビ音声および自機の周囲の通話音声)から、相手機から受信した通話音声のみを消去するように指示する。
If the
エコーキャンセル部140は、上述したように、TV電話制御部160からの指示に基づいて、音声入力回路142からの音声から、相手機から受信した通話音声および自機で受信してスピーカ134から出力したテレビ音声を消去したり、相手機から受信した通話音声のみを消去したりする。このとき、エコーキャンセル部140は、TV電話制御部160から送られた相手機から受信した通話音声信号およびデコード部106から送られたTV音声信号を基準信号として、指示された音声を消去する。
As described above, the
(ソフトウェア構成)
図3を参照して、TV電話制御部160で実行されるTV電話音声処理の制御構造について説明する。ステップ(以下、ステップをSと記載)1000にて、TV電話制御部160は、リモコン等を用いたユーザの指示に基づいて、TV電話を開始する要求を検出したか否かを判定する。TV電話を開始する要求を検出したと判定されると(S1000にてYES)、処理はS1010へ移される。もしそうでないと(S1000にてNO)、この処理はS1000へ移される。
(Software configuration)
With reference to FIG. 3, the control structure of the TV phone audio processing executed by TV
S1010にて、TV電話制御部160は、通話処理を開始する。このとき、TV電話制御部160は、通信プロトコルに基づいてTV電話が実現できるように処理する。S1020にて、TV電話制御部160は、相手機へ視聴中の番組情報を問い合わせる。ここで、TV電話制御部160は、所定のプロトコル(たとえばhttp)を用いて、相手機へ番組情報を問い合わせる。なお、視聴中の番組情報の問い合わせを受けたテレビ100のTV電話制御部160は、相手機へ番組情報を送信する。ここで、番組情報は、コンテンツ特定情報の一例である。
In S1010, the TV
S1030にて、TV電話制御部160は、番組情報を相手機から受信したか否かを判定する。番組情報を相手機から受信すると(S1030にてYES)、処理はS1040へ移される。もしそうでないと(S1030にてNO)、この処理はS1030へ移される。
In S1030, TV
S1040にて、TV電話制御部160は、予め定められた時間、双方(相手機、自機)ともチャンネル変更されていないか否かを判定する。このように判定するのは、ザッピング(リモコンでチャンネルを頻繁に切り替えながら視聴する行為)による誤動作を防止するためである。予め定められた時間、双方ともチャンネル変更されていないと判定されると(S1040にてYES)、処理はS1050へ移される。もしそうでないと(S1040にてNO)、この処理はS1020へ移される。
At S1040, TV
S1050にて、TV電話制御部160は、自機と相手機とで同じ番組を視聴しているか否かを判定する。このとき、TV電話制御部160は、番組表制御部110から送られた番組情報(自機)と、受信した番組情報(相手機)とに基づいて判定する。自機と相手機とで同じ番組を視聴していると判定されると(S1050にてYES)、処理はS1060へ移される。もしそうでないと(S1050にてNO)、処理はS1070へ移される。
In S1050, video
S1060にて、TV電話制御部160は、自機のマイク144から入力された信号から、相手機から受信した音声信号および自機のスピーカ134からの出力TV音声信号を消去するように、エコーキャンセル部140に指示する。なお、自機のマイク144から入力された信号には、相手機から受信した音声信号および自機のスピーカ134からの出力TV音声信号に加えて、自機の周囲の人の音声信号が含まれる。ここで、相手機も同じ処理を実行するので、相手機から受信した音声信号には、背景のTV音声信号は含まれておらず、相手機の周囲の人の音声信号のみが含まれている。その後、処理はS1080へ移される。
At S1060, TV
S1070にて、TV電話制御部160は、自機のマイク144から入力された信号から、相手機から受信した音声信号を消去するように、エコーキャンセル部140に指示する。ここで、同じ処理を相手機も実行するので、相手機から受信した音声信号には、背景のTV音声信号に加えて、相手機の周囲の人の音声信号が含まれている。その後、処理はS1080へ移される。
In S1070, TV
S1080にて、TV電話制御部160は、通話処理を実行する。このとき、エコーキャンセル部140で消去されなかった音声信号が相手機へネットワークを介して送信される。
In S1080, the TV
S1090にて、TV電話制御部160は、リモコン等を用いたユーザの指示に基づいて、TV電話を終了する要求を検出したか否かを判定する。TV電話を終了する要求を検出したと判定されると(S1090にてYES)、処理はS1100へ移される。もしそうでないと(S1090にてNO)、この処理はS1110へ移される。
In S1090, video
S1100にて、TV電話制御部160は、通話処理を終了する。その後、この処理は終了する。
In S1100, TV
S1110にて、TV電話制御部160は、チャンネル変更されたか否かを判定する。チャンネル変更されたと判定されると(S1110にてYES)、処理はS1020へ移される。もしそうでないと(S1110にてNO)、この処理はS1080へ移される。
In S1110, the TV
(動作)
以上のような構造及びフローチャートに基づく本実施の形態に係るテレビ100の動作について説明する。
(Operation)
An operation of
・視聴している番組が同じである場合
以下において、自機と相手機とで同じ番組を視聴している場合の動作を図4および図5を用いて説明する。
When the program being viewed is the same The operation when the same program is viewed on the own device and the partner device will be described below with reference to FIGS. 4 and 5.
TV電話が開始されて(S1000にてYES、S1010)、相手機へ視聴中の番組情報が問合せされて(S1020)、番組情報を受信する(S1030)。予め定められた時間において、図4に示すように同じ番組を視聴している場合には(S1040にてYES、S1050にてYES)、自機のマイク144から入力された信号から、相手機から受信した音声信号および自機のスピーカ134からの出力TV音声信号が、エコーキャンセル部140により消去される(S1060)。
The TV phone is started (YES in S1000, S1010), the partner program is inquired about the program information being viewed (S1020), and the program information is received (S1030). When watching the same program as shown in FIG. 4 at a predetermined time (YES in S1040, YES in S1050), from the signal input from
自機も相手機も同じ制御を実行するので、図5に示すように、スピーカ134からは、相手機から受信した通話音声(背景TV音なしで相手の声のみ)および自機で受信してデコードした放送音声が出力される。マイク144では、スピーカ134から出力された音声に加えて、自機の周囲の音声(ここでは自分の音声とする)が入力される。
Since the own device and the other device perform the same control, as shown in FIG. 5, the
マイク144から入力された音声のうち、相手機から受信した通話音声(背景TV音なしで相手の声のみ)および自機で受信してデコードした放送音声が消去されて、通話処理が行われて、映像信号および音声信号(自分の声のみ)が相手機に送信される(S1080)。このような処理が、TV電話の終了要求を検出するまで継続される。このため、相手機から、相手機が受信して出力したTV音声信号が消去されて送信されてくるので、自機でTV音声がハウリングすることを回避できる。
Of the voices input from the
・視聴している番組が同じでない場合
以下において、自機と相手機とで異なる番組を視聴している場合の動作を図6および図7を用いて説明する。上述した動作と同じ説明は繰り返さない。
When the program being viewed is not the same The operation when viewing different programs between the own device and the partner device will be described below with reference to FIGS. The same description as the above-described operation will not be repeated.
予め定められた時間において、図6に示すように異なる番組を視聴している場合には(S1040にてYES、S1050にてNO)、自機のマイク144から入力された信号から、相手機から受信した音声信号が、エコーキャンセル部140により消去される(S1070)。
When watching a different program as shown in FIG. 6 at a predetermined time (YES in S1040, NO in S1050), from the signal input from
自機も相手機も同じ制御を実行するので、図7に示すように、スピーカ134からは、相手機から受信した通話音声(背景TV音+相手の声)および自機で受信してデコードした放送音声が出力される。マイク144では、スピーカ134から出力された音声に加えて、自機の周囲の音声(ここでは自分の音声とする)が入力される。
Since the own device and the other device perform the same control, as shown in FIG. 7, the
マイク144から入力された音声のうち、相手機から受信した通話音声(背景TV音+相手の声)が消去されて、通話処理が行われて、映像信号および音声信号(自機のTV音声および自分の声のみ)が相手機に送信される(S1080)。このような処理が、TV電話の終了要求を検出するまで継続される。このため、相手機から、相手機が受信して出力したTV音声信号が消去されないで送信されてくるので、相手機が自機とは異なる番組を視聴していることがわかるとともに、その番組を視聴しているときの相手の声を聞くことができる。
Among the voices input from the
なお、いずれの動作においても、同じ番組を視聴しているか否かに関わらず、相手機から受信した通話音声(背景TV音なしで相手の声のみ、または、背景TV音および相手の声)は消去されるので、自機で音声がハウリングすることを回避できる。 In any operation, regardless of whether or not the same program is being watched, the call voice (only the other party's voice without the background TV sound or the background TV sound and the other party's voice) is received from the other party. Since it is erased, it is possible to avoid howling the sound by itself.
(変形例)
なお、本発明の実施の形態については、以下のように変形することができる。
(1)受信する放送波は、デジタル放送波でなく、アナログ放送波でも構わない。
(2)ネットワーク回線を介した動画再生中であっても、番組情報の代わりに、たとえばURL(Uniform Resource Locators)のようなコンテンツを一意に識別できる識別子(コンテンツ特定データ)を利用することで、上述と同様の制御を行うことができる。すなわち、現在再生されているコンテンツの一致/不一致により、エコーキャンセル部におけるTV電話における音声信号の消去を決定する。
(3)現在視聴中の番組を示す番組情報は、相手機からの問合せ(TV電話開始時およびチャンネル変更時に送信される問合せ)に応答して相手機へ送信するようにしているが、一定時間毎に相手機へ送信するようにしても構わない。
(4)現在視聴中の番組を示す番組が変更されると(問合せるのではなく)、番組情報を相手機へ送信するようにしても構わない。
(Modification)
In addition, about embodiment of this invention, it can deform | transform as follows.
(1) The broadcast wave to be received may be an analog broadcast wave instead of a digital broadcast wave.
(2) Even during video playback via a network line, by using an identifier (content specifying data) such as URL (Uniform Resource Locators) that can uniquely identify content, instead of program information, Control similar to that described above can be performed. That is, erasure of the audio signal in the TV phone in the echo canceling unit is determined based on the match / mismatch of the currently reproduced content.
(3) The program information indicating the program currently being viewed is transmitted to the partner machine in response to an inquiry from the partner machine (inquiry sent at the start of the videophone and when the channel is changed). You may make it transmit to a partner machine every time.
(4) When the program indicating the currently viewed program is changed (not inquired), the program information may be transmitted to the partner device.
本発明は、たとえば、テレビ視聴(広くはコンテンツ視聴)とテレビ電話とを両立することのできる、画像音声通信に広く適用することができる。 The present invention can be widely applied to, for example, video / audio communication capable of achieving both TV viewing (generally viewing content) and videophone.
100 テレビ
124 モニタ
134 スピーカ
140 エコーキャンセル部
144 マイク
154 カメラ
160 TV電話制御部
100
Claims (8)
映像信号を入力する映像入力部と、
音声信号を入力する音声入力部と、
コンテンツを取得する取得部と、
前記取得部が取得した前記コンテンツの映像信号と前記TV電話通信部が取得した映像信号とを出力する映像出力部と、
前記取得部が取得した前記コンテンツの音声信号と前記TV電話通信部が取得した音声信号とを出力する音声出力部と、
前記音声入力部に入力された前記音声信号から、指定された音声信号を消去するエコーキャンセル部と、
前記TV電話通信部に、前記エコーキャンセル部から出力された音声信号と前記映像入力部から入力された映像信号とを前記相手機に送信させるTV電話制御部と、を備え、
前記TV電話制御部は、前記TV電話通信部を介して前記相手機において視聴中のコンテンツの情報である第1コンテンツ特定情報を取得し、取得した前記第1コンテンツ特定情報と自機において視聴中のコンテンツの情報である第2コンテンツ特定情報とを比較し、前記第1コンテンツ特定情報と前記第2コンテンツ特定情報が一致すると判断した場合は、前記エコーキャンセル部に対して、前記音声入力部に入力された前記音声信号から、前記TV電話通信部が取得した音声信号及び前記取得部が取得した前記コンテンツの音声信号を消去させる、ことを特徴とするテレビ電話機能付きコンテンツ再生装置。 A videophone communication unit for communicating video signals and audio signals with a videophone partner,
A video input unit for inputting a video signal;
An audio input unit for inputting an audio signal;
An acquisition unit for acquiring content;
A video output unit for outputting the video signal of the content acquired by the acquisition unit and the video signal acquired by the TV phone communication unit;
An audio output unit for outputting the audio signal of the content acquired by the acquisition unit and the audio signal acquired by the TV phone communication unit;
An echo cancellation unit for erasing a designated audio signal from the audio signal input to the audio input unit;
A TV phone control unit that causes the video phone communication unit to transmit the audio signal output from the echo cancel unit and the video signal input from the video input unit to the counterpart device;
The TV phone control unit acquires first content specifying information, which is information of content being viewed on the counterpart device, via the TV phone communication unit, and is currently watching on the acquired first content specifying information and the own device. Is compared with the second content specifying information, which is information of the content, and if it is determined that the first content specifying information and the second content specifying information match, the echo input unit A content reproduction apparatus with a videophone function, wherein the audio signal acquired by the TV phone communication unit and the audio signal of the content acquired by the acquisition unit are deleted from the input audio signal.
TV電話の相手機と映像信号及び音声信号を送受信するステップと、
自機の映像信号を入力するステップと、
自機の音声信号を入力するステップと、
前記送受信するステップを介して、前記相手機において視聴中のコンテンツの情報である第1コンテンツ特定情報を取得するステップと、
前記第1コンテンツ特定情報と前記第2コンテンツ特定情報とを比較するステップと、
前記第1コンテンツ特定情報と前記第2コンテンツ特定情報が一致する場合、入力した前記自機の音声信号から、前記送受信するステップを介して取得した前記音声信号及び前記視聴中のコンテンツの音声信号を消去した音声信号を生成するステップと、
前記送受信するステップに、前記自機の映像信号及び前記生成した音声信号を送信させるステップと、
を有することを特徴とするテレビ電話音声処理方法。 Identifying second content identification information which is information of content being viewed;
Sending and receiving video signals and audio signals to and from a videophone partner;
A step of inputting a video signal of the own machine;
A step of inputting a sound signal of the own device;
Obtaining first content specifying information, which is information of content being viewed on the counterpart device, through the transmitting and receiving step;
Comparing the first content specifying information with the second content specifying information;
When the first content specifying information and the second content specifying information match, the audio signal acquired through the transmitting / receiving step and the audio signal of the content being viewed are input from the input audio signal of the own device. Generating an erased audio signal;
Transmitting and receiving the video signal of the own device and the generated audio signal to the transmitting and receiving step;
A videophone audio processing method characterized by comprising:
を更に有することを特徴とする請求項5に記載のテレビ電話音声処理方法。 When the first content specifying information does not match the second content specifying information, generating an audio signal obtained by erasing the audio signal acquired through the transmitting / receiving step from the input audio signal of the own device; ,
The videophone audio processing method according to claim 5, further comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011032557A JP2012175192A (en) | 2011-02-17 | 2011-02-17 | Content playback apparatus with video telephone function and video telephone voice processing method |
PCT/JP2011/007033 WO2012111059A1 (en) | 2011-02-17 | 2011-12-16 | Content reproduction device with videophone function and method of processing audio for videophone |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011032557A JP2012175192A (en) | 2011-02-17 | 2011-02-17 | Content playback apparatus with video telephone function and video telephone voice processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012175192A true JP2012175192A (en) | 2012-09-10 |
Family
ID=46672025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011032557A Withdrawn JP2012175192A (en) | 2011-02-17 | 2011-02-17 | Content playback apparatus with video telephone function and video telephone voice processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2012175192A (en) |
WO (1) | WO2012111059A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103096176A (en) * | 2012-12-25 | 2013-05-08 | 广州中大电讯科技有限公司 | Video telephone system based on digital television middleware |
JP2014165807A (en) * | 2013-02-27 | 2014-09-08 | Doshisha | Home care support system |
WO2015045157A1 (en) * | 2013-09-30 | 2015-04-02 | 株式会社 東芝 | Electronic device, method, and program |
JP2017123648A (en) * | 2016-12-20 | 2017-07-13 | ソニー株式会社 | Audio device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010258941A (en) * | 2009-04-28 | 2010-11-11 | Sony Corp | Echo removing apparatus, echo removing method, and communication apparatus |
-
2011
- 2011-02-17 JP JP2011032557A patent/JP2012175192A/en not_active Withdrawn
- 2011-12-16 WO PCT/JP2011/007033 patent/WO2012111059A1/en active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103096176A (en) * | 2012-12-25 | 2013-05-08 | 广州中大电讯科技有限公司 | Video telephone system based on digital television middleware |
JP2014165807A (en) * | 2013-02-27 | 2014-09-08 | Doshisha | Home care support system |
WO2015045157A1 (en) * | 2013-09-30 | 2015-04-02 | 株式会社 東芝 | Electronic device, method, and program |
JP2017123648A (en) * | 2016-12-20 | 2017-07-13 | ソニー株式会社 | Audio device |
Also Published As
Publication number | Publication date |
---|---|
WO2012111059A1 (en) | 2012-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8994881B2 (en) | Method and apparatus for simultaneously viewing multimedia content and accepting an incoming video call communication | |
US20030005462A1 (en) | Noise reduction for teleconferencing within an interactive television system | |
JP4772800B2 (en) | Broadcast content information providing method and system | |
US20100272251A1 (en) | Echo removing apparatus, echo removing method, and communication apparatus | |
US8352993B2 (en) | Method for providing viewing information for displaying a list of channels viewed by call recipients | |
KR20130076947A (en) | Imaging apparatus and control method for the same | |
JP2008182463A (en) | Television receiving device | |
WO2012111059A1 (en) | Content reproduction device with videophone function and method of processing audio for videophone | |
KR20070059808A (en) | Device and method for connecting video phone in the set-top box | |
KR100919629B1 (en) | method of using apparatus for video telephony | |
JP4372519B2 (en) | Information device with videophone function, communication system including the same, communication method using information device with videophone function, program, and recording medium recording the program | |
CN105704556A (en) | Method for solely enjoying program audio of set top box | |
JP5010748B1 (en) | Video display device, video processing method, and video display system | |
JP2006148741A (en) | Television set with video phone function and remote controller set with video phone function | |
EP1892961A1 (en) | Method of audio-visual communication using a television and television using the same | |
JP4988022B2 (en) | Video display device and audio output control method | |
KR20100001536A (en) | Video telecommunication system using ip set-top box | |
JP5417502B2 (en) | Device information communication method, video display device, and video display system | |
KR100823209B1 (en) | Portable terminal having alternate image transmitting function and method for transmitting alternate image for portable terminal | |
JP2022118416A (en) | Television receiver, television reception system, and television reception method | |
JP4884501B2 (en) | Call system and call device used in the call system | |
KR20050112673A (en) | Method for controlling portable home theater with multi-function in wireless terminal | |
JP2005236676A (en) | Remote control video system | |
KR20090028404A (en) | Apparatus for video telephony | |
KR20060101650A (en) | The set top box having cable modem and method for voip service of the set top box having cable modem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |