JP2012049723A - Video sound output device and video sound output method - Google Patents

Video sound output device and video sound output method Download PDF

Info

Publication number
JP2012049723A
JP2012049723A JP2010188761A JP2010188761A JP2012049723A JP 2012049723 A JP2012049723 A JP 2012049723A JP 2010188761 A JP2010188761 A JP 2010188761A JP 2010188761 A JP2010188761 A JP 2010188761A JP 2012049723 A JP2012049723 A JP 2012049723A
Authority
JP
Japan
Prior art keywords
video
audio output
output device
audio
installation position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010188761A
Other languages
Japanese (ja)
Inventor
Manabu Sasamoto
学 佐々本
Yoshihiro Machida
芳広 町田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2010188761A priority Critical patent/JP2012049723A/en
Publication of JP2012049723A publication Critical patent/JP2012049723A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide various functions without increasing processing capacity of a server and an occupied transmission bandwidth of a network when a multiple picture display is constituted by combining a plurality of video sound output devices.SOLUTION: The video sound output device includes: a network processing means receiving a stream of video sound data through the network; a decoding means decoding the video sound data received by the network processing means; a video display means displaying a video signal decoded by the decoding means; a sound output means outputting a sound signal decoded by the decoding means; a control means controlling the video display means and the sound output means; and an input means inputting an installation position in the multiple picture display. The video signals which the respective video sound output devices are to display are cut out among the video signals decoded by the control means in accordance with installation position information from the input means, and the video signals are outputted to the video display means.

Description

映像及び音声を出力する映像音声出力装置に関する。   The present invention relates to a video / audio output device that outputs video and audio.

コンピュータネットワークの普及に伴い、例えば、下記特許文献1にみられるように、この種の映像音声出力装置を組み合わせてLANで接続し、同期再生機能を与えた大画面のマルチ画面ディスプレイが開発されている。
今後、こうした大画面のマルチ画面ディスプレイの画質、音質の向上、多機能化に合わせて、更に高度な通信機能を持った映像再生装置が普及することが予想されている。
With the spread of computer networks, for example, as seen in Patent Document 1 below, a large-screen multi-screen display is developed in which this type of video / audio output device is connected by a LAN and provided with a synchronous playback function. Yes.
In the future, it is anticipated that video playback devices having more advanced communication functions will be widely used in accordance with the improvement in image quality, sound quality, and multi-functionality of such large-screen multi-screen displays.

特開2007−183654号公報JP 2007-183654 A

上記特許文献1に記載されたマルチ画面ディスプレイにおいては、サーバの処理能力と、ネットワークの伝送帯域幅を十分に確保しなければ、複数の映像再生装置が同期して元となる映像を円滑に再生することができなかった。   In the multi-screen display described in the above-mentioned Patent Document 1, a plurality of video playback devices can smoothly reproduce the original video if the server processing capacity and the network transmission bandwidth are not sufficiently secured. I couldn't.

そこで本明細書では例えば、映像信号および音声信号を再生する機器の設置位置に応じて、表示する前記映像信号の切り出し位置と拡大率、および出力する前記音声信号の出力バランスを制御する構成とする。   Therefore, in this specification, for example, the cut-out position and enlargement ratio of the video signal to be displayed and the output balance of the audio signal to be output are controlled in accordance with the installation position of a device that reproduces the video signal and the audio signal. .

本映像音声出力装置あるいは映像音声出力方法によれば、サーバの処理能力、およびネットワークの占有伝送帯域幅を増加させることなく、円滑なマルチ画面ディスプレイの映像信号及び音声信号の再生を実現できる。   According to the video / audio output device or the video / audio output method, it is possible to smoothly reproduce the video signal and the audio signal of the multi-screen display without increasing the processing capacity of the server and the occupied transmission bandwidth of the network.

映像音声出力装置を含む映像音声伝送システムの一例を示す図The figure which shows an example of the audio-video transmission system containing an audio-video output apparatus 映像音声出力装置の構成の一例を示す図The figure which shows an example of a structure of an audio-video output apparatus サーバの構成の一例を示す図Diagram showing an example of server configuration 映像音声出力装置の時計部の構成の一例を示す図The figure which shows an example of a structure of the timepiece part of an audio-video output apparatus 映像音声出力装置の同期再生処理のフローチャートの一例を示す図The figure which shows an example of the flowchart of the synchronous reproduction process of an audio-video output apparatus サーバから映像音声出力装置に送信される映像の一例を示す図The figure which shows an example of the image | video transmitted to the audio-video output apparatus from a server 4台の映像音声出力装置を組み合わせて映像を表示させた場合の表示画面の一例を示す図The figure which shows an example of the display screen at the time of displaying an image | video by combining four audio-video output apparatuses. 映像音声出力装置のブロック構成の一例を示す図The figure which shows an example of the block configuration of an audio-video output apparatus 映像音声出力装置の設置位置検出方法の一例を示す図The figure which shows an example of the installation position detection method of an audio-video output apparatus

(実施例1)
図1は、映像音声出力装置を含む映像音声伝送システムの一例である。ここでは、大画面のマルチ画面ディスプレイとして、4個の映像音声出力装置11〜14を使用し、それぞれをネットワークで接続した状態を示している。
2は映像音声データを配信するサーバ、3は例えばインターネットのようなネットワークであり、それぞれの装置がネットワーク3にLAN(Local Area Network)5及びルータ4を介して接続されている。ネットワークにおいては、ネットワークプロトコルとして標準のIP(Internet Protocol)を使用し、上位のトランスポートプロトコルにはTCP(Transmission Control Protocol)及びUDP(User Datagram Protocol)を用いる。コンテンツの伝送には更に上位のアプリケーションプロトコル、例えばRTP(Real−time Transport Protocol)やHTTP(Hyper Text Transfer Protocol)、FTP(File Transfer Protocol)等が使用される。映像音声出力装置11、12,13、14は、サーバ2から配信される映像音声データを受信し、映像、音声を出力する。
Example 1
FIG. 1 is an example of a video / audio transmission system including a video / audio output device. Here, a state in which four video / audio output devices 11 to 14 are used as a large-screen multi-screen display and each is connected via a network is shown.
Reference numeral 2 denotes a server that distributes video / audio data, and 3 denotes a network such as the Internet. Each device is connected to the network 3 via a LAN (Local Area Network) 5 and a router 4. In the network, standard IP (Internet Protocol) is used as a network protocol, and TCP (Transmission Control Protocol) and UDP (User Datagram Protocol) are used as upper transport protocols. For transmission of content, higher-level application protocols such as RTP (Real-time Transport Protocol), HTTP (Hyper Text Transfer Protocol), FTP (File Transfer Protocol) and the like are used. The video / audio output devices 11, 12, 13, and 14 receive the video / audio data distributed from the server 2 and output video and audio.

図2は映像音声出力装置11の構成の一例を示す図である。
映像音声出力装置11は、放送信号入力端子201、チューナ202、復調部203、デスクランブラ204、暗号化/復号処理部205、ストリーム処理部206、映像デコーダ207、音声デコーダ208、時計部209、映像処理部210、音声処理部211、映像出力部212、音声出力部213、映像音声入出力端子214、ネットワーク接続部215、ネットワーク接続端子216、外部機器制御部217、外部機器接続端子218、制御部219、記憶部220、メモリ221、から構成される。ただし、本実施例を実現することができれば、映像音声出力装置11は図2に含まれる全ての構成を有する必要は無く、また、図2に含まれない他の構成が含まれることを除外するものでもない。
FIG. 2 is a diagram showing an example of the configuration of the video / audio output device 11.
The video / audio output device 11 includes a broadcast signal input terminal 201, a tuner 202, a demodulation unit 203, a descrambler 204, an encryption / decryption processing unit 205, a stream processing unit 206, a video decoder 207, an audio decoder 208, a clock unit 209, video Processing unit 210, audio processing unit 211, video output unit 212, audio output unit 213, video / audio input / output terminal 214, network connection unit 215, network connection terminal 216, external device control unit 217, external device connection terminal 218, control unit 219, a storage unit 220, and a memory 221. However, if this embodiment can be realized, the video / audio output apparatus 11 does not have to have all the configurations included in FIG. 2 and excludes other configurations not included in FIG. 2. Not a thing.

放送信号入力端子201は、アンテナ、ケーブル等が受信した放送信号データの入力を受け付ける。放送信号入力端子201が受け付ける放送信号は地上波デジタル信号、アナログ地上波信号やBS、CSなどの放送信号である。放送信号入力端子201が地上波デジタル信号の入力を受け付ける場合、チューナ202は、放送信号入力端子201が受け付けた放送信号データから特定の番組の情報を抽出し、デジタル信号に変換する。復調部203は、チューナ202が抽出した特定の番組の情報からテレビ番組用の符号化された映像音声データおよび各種データが多重化されたストリームを生成する。   Broadcast signal input terminal 201 accepts input of broadcast signal data received by an antenna, a cable, or the like. Broadcast signals received by the broadcast signal input terminal 201 are terrestrial digital signals, analog terrestrial signals, and broadcast signals such as BS and CS. When the broadcast signal input terminal 201 receives an input of a terrestrial digital signal, the tuner 202 extracts information on a specific program from the broadcast signal data received by the broadcast signal input terminal 201 and converts it into a digital signal. The demodulator 203 generates a stream in which encoded video / audio data and various data for a television program are multiplexed from information on a specific program extracted by the tuner 202.

デスクランブラ204は、サービス事業者との契約者のみに視聴させる場合や地上波デジタル放送を視聴する場合など、復調部203が生成したストリームにスクランブルがかかっている場合に、図示しない、サービス事業者から発行された情報、またはB−CASカード(登録商標)から取得した情報および放送波に多重されている鍵情報を使うなどして、スクランブルを解除する。
スクランブルを解除されたストリームを記憶部220などに記憶させる場合について説明する。ストリームのコピー制限情報が世代コピー可の制限をもつ場合、デスクランブラ204から送信されたストリームをストリーム処理部206はストリームを暗号化/復号処理部205に送信する。暗号化/復号処理部205は、受信したストリームを暗号化し、暗号化したストリームを記憶部220に記憶させる。暗号化の際の鍵は、例えば、映像音声出力装置11の持つ固有情報、記憶部220の持つ固有情報、そのほか乱数などから生成される。記憶部220に記憶されるストリームは、制御部219によってストリームリストとして管理される。
The descrambler 204 is not shown when the stream generated by the demodulator 203 is scrambled, such as when viewing only by a contractor with the service provider or when viewing terrestrial digital broadcasting. The scramble is canceled by using information issued from the Internet or information obtained from the B-CAS card (registered trademark) and key information multiplexed on the broadcast wave.
A case where the scrambled stream is stored in the storage unit 220 or the like will be described. When the stream copy restriction information has a generation copy restriction, the stream processing unit 206 transmits the stream transmitted from the descrambler 204 to the encryption / decryption processing unit 205. The encryption / decryption processing unit 205 encrypts the received stream and causes the storage unit 220 to store the encrypted stream. The key for encryption is generated from, for example, unique information of the video / audio output device 11, unique information of the storage unit 220, and other random numbers. Streams stored in the storage unit 220 are managed as a stream list by the control unit 219.

放送信号入力端子201およびネットワーク接続端子215から入力されたストリームを視聴する場合、ストリームはストリーム処理部206に入力される。また、記憶部220から再生されるストリームは、暗号化/復号処理部205によって復号された後にストリーム処理部206に入力される。
放送信号入力端子201およびネットワーク接続端子215から受信したストリーム、記憶部220で記憶したストリームがMPEG2のトランスポートストリーム(TS:Transport Stream)である場合は、映像データと音声データを同期して出力できるように、映像音声出力装置11が参照する時刻基準情報値であるプログラムクロックリファレンス(PCR)がストリームに多重されている。ストリーム処理部206は、入力されるトランスポートストリームからPAT(Program Association Table)/PMT(Program Map Table)を取得し、パケット識別子(PID)を判別する。ストリーム処理部206は、判別したPIDを持つTSパケットに多重分離(Demultiplex)する。ストリーム処理部206は、圧縮符号化映像データと、圧縮符号化音声データと、PCRと、をPIDに応じてそれぞれ映像デコーダ207、音声デコーダ208、時計部209に出力する。
When viewing a stream input from the broadcast signal input terminal 201 and the network connection terminal 215, the stream is input to the stream processing unit 206. The stream reproduced from the storage unit 220 is input to the stream processing unit 206 after being decrypted by the encryption / decryption processing unit 205.
When the stream received from the broadcast signal input terminal 201 and the network connection terminal 215 and the stream stored in the storage unit 220 are MPEG2 transport streams (TS: Transport Stream), video data and audio data can be output in synchronization. As described above, the program clock reference (PCR), which is the time base information value referred to by the video / audio output device 11, is multiplexed in the stream. The stream processing unit 206 acquires a PAT (Program Association Table) / PMT (Program Map Table) from the input transport stream, and determines a packet identifier (PID). The stream processing unit 206 demultiplexes the TS packet having the determined PID. The stream processing unit 206 outputs the compression encoded video data, the compression encoded audio data, and the PCR to the video decoder 207, the audio decoder 208, and the clock unit 209 according to the PID, respectively.

圧縮符号化映像データは、映像デコーダ207で伸張が施された後、映像処理部210にて付属情報が重畳されて映像信号とされ、映像出力部212によって出力される。ここで、映像処理部210は、映像信号に文字情報などを重畳することができる。また、圧縮符号化音声データは音声デコーダ208で慎重が施された後、音声処理部211にて左右の音声のバランス調整などの処理を施されて音声信号とされ、音声出力部213によって出力される。さらに、映像信号および音声信号は映像音声入出力端子214からそれぞれ外部の機器に出力することができ、必要であれば映像処理部210および音声処理部211はそれぞれ映像信号および音声信号をデジタル形式からアナログ形式へ変換して映像音声入出力端子214に出力する。なお、映像音声入出力端子214は、HDMI(登録商標)などの端子のように、映像および音声を同時に出力することができる端子として1つにまとめることもできる。さらに、映像音声入出力端子214は、外部の機器から映像信号および音声信号の入力を受け付けることができ、映像音声入出力端子214から入力された映像信号および音声信号は、それぞれ映像出力部212および音声出力部213から出力される。なお、映像音声入出力端子214は、映像入出力端子と音声入出力端子とに分かれていてもよい。   The compressed encoded video data is decompressed by the video decoder 207, and then the video processing unit 210 superimposes the attached information into a video signal, which is output by the video output unit 212. Here, the video processing unit 210 can superimpose character information or the like on the video signal. The compressed encoded audio data is carefully processed by the audio decoder 208 and then subjected to processing such as a left / right audio balance adjustment by the audio processing unit 211 to be converted into an audio signal, which is output by the audio output unit 213. The Further, the video signal and the audio signal can be output from the video / audio input / output terminal 214 to external devices, respectively. If necessary, the video processing unit 210 and the audio processing unit 211 can convert the video signal and the audio signal from a digital format, respectively. The data is converted into an analog format and output to the video / audio input / output terminal 214. Note that the video / audio input / output terminal 214 can be integrated into a single terminal that can simultaneously output video and audio, such as a terminal such as HDMI (registered trademark). Furthermore, the video / audio input / output terminal 214 can accept input of a video signal and an audio signal from an external device, and the video signal and the audio signal input from the video / audio input / output terminal 214 are input to the video output unit 212 and the audio signal, respectively. Output from the audio output unit 213. The video / audio input / output terminal 214 may be divided into a video input / output terminal and an audio input / output terminal.

時計部209は、ストリーム処理部206から出力されたPCRをシステムタイムクロック(STC)カウンタの計数値の初期値として設定する。時計部209はカウンタの計数値を増加させ、各映像データに付随している復号時刻情報(DTS)がこの計数値に一致した時刻にデコード(復号)を行うように映像デコーダ207および音声デコーダ208に指示を行う。映像音声出力装置11は映像または音声データに付随する再生出力時刻情報(PTS)が一致した時刻に映像または音声データの出力を行う。   The clock unit 209 sets the PCR output from the stream processing unit 206 as the initial value of the count value of the system time clock (STC) counter. The clock unit 209 increases the count value of the counter, and the video decoder 207 and the audio decoder 208 are configured to perform decoding (decoding) at a time when the decoding time information (DTS) attached to each video data matches the count value. To give instructions. The video / audio output device 11 outputs video or audio data at a time when reproduction output time information (PTS) attached to the video or audio data coincides.

受信したストリームがMPEG2のPESパケットの場合には、PESに含まれるPTS、DTSの値と時計部209のカウンタ値とに基づき、デコード開始及び出力開始タイミングが制御される。
ネットワーク接続端子216は、図1のLAN5に接続される。ネットワーク接続部215は、ネットワーク接続端子216を介してサーバ2や他の映像音声出力装置と各種情報の送受信を行う。また、ネットワーク接続部215は、例えば、データの到達が保証されず信頼性はないがリアルタイム性のある伝送モード(以降、リアルタイム伝送モードと呼ぶこともある)と、データの到達が保証され信頼性はあるがリアルタイム性のない伝送モード(以降、信頼性のある伝送モードと呼ぶこともある)に動作を切り換え可能である。
When the received stream is an MPEG2 PES packet, the decoding start and output start timings are controlled based on the PTS and DTS values included in the PES and the counter value of the clock unit 209.
The network connection terminal 216 is connected to the LAN 5 in FIG. The network connection unit 215 transmits and receives various types of information to and from the server 2 and other video / audio output devices via the network connection terminal 216. In addition, the network connection unit 215 has, for example, a transmission mode that has no real time data arrival guarantee and is not reliable but has a real time property (hereinafter sometimes referred to as a real time transmission mode), and data arrival guaranteed and reliability. However, the operation can be switched to a transmission mode that does not have real-time characteristics (hereinafter also referred to as a reliable transmission mode).

ここで、リアルタイム伝送モードには、例えば、UDP(User Datagram Protocol)、およびRTP(Real−Time Transport Protocol)が用いられる。この方式では、送信したデータが相手に届いたかどうかを確認しないので、伝送パケットが失われて相手に届かない場合があり、映像や音声が途切れることがあるが、反面、データの送信は継続するので遅延が少なく、リアルタイム性が維持できる。
例えば、RTPでは、ネットワークを経由して転送されると、パケットの喪失や、配送の遅れが起こる。しかし、映像や音声のデータは、データの一部が欠けていても再生が可能である。データの受信側では、喪失や、配送の遅れたパケットは無視し、受信側が期待する時間に到着したパケットだけを利用してデータの再生を行う。受信側は、受信したパケットについて、受信確認応答(ACKnowledgement)を逐一送ることはしない。
また、信頼性のある伝送モードには、例えば、TCP(Transmission Control Protocol)、およびHTTP(HyperText Transfer Protocol)またはFTP(File Transfer Protocol)が用いられる。この方式では、送信したデータが相手に届いたかどうかを確認し、伝送パケットが失われて相手に届かなかった場合は、再度送信処理を行うので、その間、映像や音声が停止してしまうことあるが、データの信頼性は確保される。
Here, for example, UDP (User Datagram Protocol) and RTP (Real-Time Transport Protocol) are used for the real-time transmission mode. This method does not check whether the transmitted data has arrived at the other party, so the transmission packet may be lost and may not reach the other party, and the video and audio may be interrupted. Therefore, there is little delay and the real-time property can be maintained.
For example, in RTP, packet loss and delivery delay occur when transferred via a network. However, video and audio data can be reproduced even if a part of the data is missing. The data receiving side ignores lost or delayed packets, and uses only the packet that arrives at the time expected by the receiving side to reproduce the data. The receiving side does not send a reception acknowledgment (ACKnowledgement) for each received packet.
Further, for example, TCP (Transmission Control Protocol), HTTP (Hyper Text Transfer Protocol), or FTP (File Transfer Protocol) is used as the reliable transmission mode. In this method, it is checked whether the transmitted data has arrived at the other party, and if the transmission packet is lost and does not reach the other party, the transmission process is performed again, so the video and audio may stop during that time. However, data reliability is ensured.

ネットワーク接続部215は、LAN5に接続されたネットワーク接続端子216を介して、サーバ2からストリームを受信する。外部機器制御部217は、外部機器接続端子218を介して図1の外部機器400に接続されており、USB(Universal Serial Bus)デバイスなどの外部機器400からの入力情報を受信し、作成した外部機器400を制御するための制御情報を外部機器400に送信する。
制御部219は、映像音声出力装置11全体の動作を制御する。同期処理部227は、記憶部220に記憶された同期処理プログラム222を制御部219がメモリ221に展開して実行することで、ソフトウェアによって同期処理の機能が実現される。ソフトウェアとして実現された同期処理の機能は同期処理部227のように同期処理を行う処理部として集積回路化するなどしてハードウェアとして実現することもできる。以下では説明を簡略化するために、同期処理プログラム222を制御部219が実行することで実現される各処理を、同期処理部227が主体となって行うものとして説明する。なお、同期処理部227をハードウェアで実現した場合には、同期処理部227が主体となって各処理を行う。
The network connection unit 215 receives a stream from the server 2 via the network connection terminal 216 connected to the LAN 5. The external device control unit 217 is connected to the external device 400 of FIG. 1 via the external device connection terminal 218, receives input information from the external device 400 such as a USB (Universal Serial Bus) device, and creates the created external device Control information for controlling the device 400 is transmitted to the external device 400.
The control unit 219 controls the entire operation of the video / audio output device 11. The synchronization processing unit 227 realizes the function of the synchronization processing by software by causing the control unit 219 to develop and execute the synchronization processing program 222 stored in the storage unit 220 in the memory 221. The function of the synchronization processing realized as software can also be realized as hardware by integrating it as a processing unit that performs synchronization processing like the synchronization processing unit 227. In the following, in order to simplify the description, it is assumed that each process realized by the control unit 219 executing the synchronization processing program 222 is performed mainly by the synchronization processing unit 227. When the synchronization processing unit 227 is realized by hardware, the synchronization processing unit 227 performs each process mainly.

図3は、サーバの構成の一例を示す図である。
サーバ2は、制御部301、メモリ302、記憶部303、ネットワーク接続部304、ネットワーク接続端子305、外部機器制御部306、外部機器接続端子307、エンコーダ308から構成される。
制御部301は、記憶部303に記憶されたプログラムをメモリ302に展開し、展開したプログラムを実行することで、サーバ2の起動、情報処理、情報の送受信など、サーバとしての機能を実現する。記憶部303は、HDDやSSD、DVD、BD、ICカードなどの記憶装置であり、映像音声出力装置11に出力するコンテンツ、制御部301がメモリ302に展開するプログラム、テーブルなどを記憶することができる。
FIG. 3 is a diagram illustrating an example of the configuration of the server.
The server 2 includes a control unit 301, a memory 302, a storage unit 303, a network connection unit 304, a network connection terminal 305, an external device control unit 306, an external device connection terminal 307, and an encoder 308.
The control unit 301 expands the program stored in the storage unit 303 to the memory 302 and executes the expanded program, thereby realizing functions as a server such as activation of the server 2, information processing, and transmission / reception of information. The storage unit 303 is a storage device such as an HDD, SSD, DVD, BD, or IC card, and can store content to be output to the video / audio output device 11, programs and tables developed by the control unit 301 in the memory 302. it can.

ネットワーク接続端子305は、図1のLAN5に接続される。ネットワーク接続部304は、ネットワーク接続端子305を介して他のサーバや映像音声出力装置11と各種情報の送受信を行う。外部機器制御部306は、USB(Universal Serial Bus)デバイスなどの外部機器を接続するための外部機器接続端子307に接続された外部機器からの入力を受付け、外部機器の動作を制御する。エンコーダ309は、映像音声出力装置11に出力する映像や音声などの出力情報を、動画形式にエンコードし、ネットワーク接続部304に送信する。   The network connection terminal 305 is connected to the LAN 5 in FIG. The network connection unit 304 transmits and receives various types of information to and from other servers and the video / audio output device 11 via the network connection terminal 305. The external device control unit 306 receives input from an external device connected to an external device connection terminal 307 for connecting an external device such as a USB (Universal Serial Bus) device, and controls the operation of the external device. The encoder 309 encodes output information such as video and audio to be output to the video / audio output device 11 into a moving image format and transmits the encoded information to the network connection unit 304.

映像音声出力装置11,12、13、14がサーバ2から映像音声データの配信を受けるため、例えば、サーバ2は、4内の各映像音声出力装置に対し、映像音声データをIPマルチキャスト方式で送信する。IPマルチキャスト方式は、例えばルータ4に接続されているすべての端末装置を宛先として映像音声データを伝送する。この方式により、サーバ2は、複数の映像音声出力装置に対し同じ映像音声データを、サーバ2の処理量、およびネットワークの占有伝送帯域幅を増加させることなく効率よく伝送できる。
映像音声出力装置11、12、13、14がサーバ2から配信される映像音声データを同時に出力する際に、各映像音声出力装置の映像、音声を組み合わせて出力する場合、各映像音声出力装置は、互いに映像、音声の出力タイミングを同期させ出力する必要がある。そのために基準時刻を示す同期パケットをネットワーク上のいずれかの装置が出力し、各映像音声出力装置はその基準時刻に合わせて映像、音声を出力する。例えば、映像音声出力装置11が時刻マスタ装置となり、映像音声データを受信した場合に、基準時刻を示す同期パケットを他の映像音声出力装置12、13、14に送信し、他の映像音声出力装置12、13、14は受信した同期パケットに合わせて受信した映像、音声を出力する。時刻マスタ装置となるかどうかは、例えばユーザがあらかじめ各映像音声出力装置の内の一つの機器に対し設定しておくなどの方法がある。
Since the video / audio output devices 11, 12, 13, and 14 receive the distribution of the video / audio data from the server 2, for example, the server 2 transmits the video / audio data to each of the video / audio output devices in 4 by the IP multicast method. To do. In the IP multicast method, for example, video / audio data is transmitted to all terminal devices connected to the router 4 as destinations. With this method, the server 2 can efficiently transmit the same video / audio data to a plurality of video / audio output devices without increasing the processing amount of the server 2 and the occupied transmission bandwidth of the network.
When the video and audio output devices 11, 12, 13, and 14 simultaneously output the video and audio data distributed from the server 2, when the video and audio of each video and audio output device are combined and output, Therefore, it is necessary to synchronize the output timing of video and audio with each other. For this purpose, any device on the network outputs a synchronization packet indicating the reference time, and each video / audio output device outputs video and audio in accordance with the reference time. For example, when the video / audio output device 11 is a time master device and receives video / audio data, a synchronization packet indicating the reference time is transmitted to the other video / audio output devices 12, 13, and 14, and the other video / audio output devices are transmitted. Reference numerals 12, 13, and 14 output received video and audio in accordance with the received synchronization packet. For example, there is a method in which the user makes a setting for one device in each video / audio output device in advance as to whether or not to become the time master device.

図4は、時計部109の構成の一例を示す図である。
時計部209は、PCR取得部2091、時計制御部2092、27MHzカウンタ2093、発振部2094、90kHzカウンタ2095から構成される。
PCR取得部2091は、ストリーム処理部206から送信されるPCRを受信し、時計制御部2092に送信する。時計制御部2092は、PCR取得部2091から受信したPCRを、27MHzカウンタ2093及び90kHzカウンタ2095に設定する。発振部2094は、27MHzカウンタ2093及び90kHzカウンタ2095を動作させるためのクロックを生成し、それぞれ27MHzカウンタ2093及び90kHzカウンタ2095に供給する。
27MHzカウンタ2093は、発振部2094から供給されるクロックを参照して計数値をカウントアップするとともに、計数値をネットワーク送受信部215に供給する。90kHzカウンタ2095は、発振部2094から供給されるクロックを参照して計数値をカウントアップするとともに、計数値を映像デコーダ207、音声デコーダ208に供給する。
FIG. 4 is a diagram illustrating an example of the configuration of the clock unit 109.
The clock unit 209 includes a PCR acquisition unit 2091, a clock control unit 2092, a 27 MHz counter 2093, an oscillation unit 2094, and a 90 kHz counter 2095.
The PCR acquisition unit 2091 receives the PCR transmitted from the stream processing unit 206 and transmits it to the clock control unit 2092. The clock control unit 2092 sets the PCR received from the PCR acquisition unit 2091 in the 27 MHz counter 2093 and the 90 kHz counter 2095. The oscillation unit 2094 generates a clock for operating the 27 MHz counter 2093 and the 90 kHz counter 2095 and supplies the clock to the 27 MHz counter 2093 and the 90 kHz counter 2095, respectively.
The 27 MHz counter 2093 counts up the count value with reference to the clock supplied from the oscillation unit 2094 and supplies the count value to the network transmission / reception unit 215. The 90 kHz counter 2095 counts up the count value with reference to the clock supplied from the oscillation unit 2094, and supplies the count value to the video decoder 207 and the audio decoder 208.

図5は、同期再生処理のフローチャートの一例である。ユーザからの操作により、映像音声出力の要求があった場合、映像音声出力装置11のネットワーク接続部127はサーバ2に対し、映像音声データの配信を要求する(ステップS501)。また、同期処理部227は、ローカルエリアネットワーク5上の映像音声出力装置に対して同期再生を行う旨を通知する(ステップS503)。
次に、同期処理部227は、自装置がマスタ装置であるか否かを確認する(ステップS504)。自装置がマスタ装置である場合は、映像音声出力装置のストリーム処理部206はステップS501の配信要求に応じてサーバから送信された映像音声データからPCRを取得する。次にストリーム処理部206は取得したPCRを時計部209に通知し、時計部209の時計制御部2092は通知されたPCRをSTCの初期値として設定する(ステップS505)。その後、同期処理部227は、時計部209から取得した基準時刻を示す同期パケットをネットワーク5上の他の映像音声出力装置に送信する(ステップ506)。
FIG. 5 is an example of a flowchart of the synchronized playback process. When a video / audio output is requested by a user operation, the network connection unit 127 of the video / audio output device 11 requests the server 2 to distribute the video / audio data (step S501). Also, the synchronization processing unit 227 notifies the video / audio output device on the local area network 5 that synchronized playback is to be performed (step S503).
Next, the synchronization processing unit 227 confirms whether or not the own device is a master device (step S504). If the device itself is a master device, the stream processing unit 206 of the video / audio output device acquires the PCR from the video / audio data transmitted from the server in response to the distribution request in step S501. Next, the stream processing unit 206 notifies the acquired PCR to the clock unit 209, and the clock control unit 2092 of the clock unit 209 sets the notified PCR as an initial value of the STC (step S505). Thereafter, the synchronization processing unit 227 transmits a synchronization packet indicating the reference time acquired from the clock unit 209 to another video / audio output device on the network 5 (step 506).

また、ステップS504において映像音声出力装置がマスタ装置でない場合は、映像音声出力装置のネットワーク接続部127はマスタ装置である他の映像音声出力装置から送信される同期パケットを受信する(ステップS507)。映像音声出力装置のストリーム処理部206はネットワーク接続部127を介して受信した同期パケットを時計部117に送信する。PCR取得部2091を介して同期パケットを取得した時計制御部2092は、取得した同期パケットをSTCの初期値に設定する(ステップS508)。   If the video / audio output device is not the master device in step S504, the network connection unit 127 of the video / audio output device receives a synchronization packet transmitted from another video / audio output device which is the master device (step S507). The stream processing unit 206 of the video / audio output apparatus transmits the synchronization packet received via the network connection unit 127 to the clock unit 117. The clock control unit 2092 that has acquired the synchronization packet via the PCR acquisition unit 2091 sets the acquired synchronization packet to the initial value of the STC (step S508).

次に映像音声出力装置における時計部209の時計制御部2092はカウンタの計数値を増加させ、各映像音声データに付随している復号時刻情報(DTS)がこの計数値に一致した時刻に映像デコーダ207および音声デコーダ208はそれぞれ映像および音声のデコード(復号)を行い、映像または音声データに付随する再生出力時刻情報(PTS)が一致した時刻に再生(表示)を行う(ステップ509、510)。
また、映像音声出力装置11、12、13、14がサーバ2から配信される映像音声データを同時に出力する際に、各映像音声出力装置の映像、音声を組み合わせて出力する場合、その映像音声出力装置の各映像音声出力装置の同期処理部227は、自装置の位置を取得し、自装置の位置取得した同期処理部227は、拡大倍率と、自装置の位置を映像処理部118に通知する。同期処理部227から出力すべき位置と拡大倍率を通知された映像処理部210は、映像デコーダ207がデコードした映像のうち、受信した位置の映像を通知された拡大倍率で拡大する(ステップ511)。なお、同期処理部227が取得する字装置の位置および映像の拡大倍率は、ユーザが赤外線リモコン等を利用して、各映像音声出力装置のID番号とその設置位置(上下の段数、左右の列数)を逐次入力するような方法を採用すればよい。
Next, the clock control unit 2092 of the clock unit 209 in the video / audio output device increments the count value of the counter, and at the time when the decoding time information (DTS) attached to each video / audio data matches the count value, the video decoder 207 and audio decoder 208 decode and decode video and audio, respectively, and perform reproduction (display) at times when reproduction output time information (PTS) attached to the video or audio data coincides (steps 509 and 510).
Further, when the video / audio output devices 11, 12, 13, and 14 simultaneously output the video / audio data distributed from the server 2, when the video and audio of each video / audio output device are combined and output, the video / audio output is performed. The synchronization processing unit 227 of each video / audio output device of the device acquires the position of the own device, and the synchronization processing unit 227 that acquired the position of the own device notifies the video processing unit 118 of the enlargement magnification and the position of the own device. . The video processing unit 210 notified of the position to be output and the enlargement magnification from the synchronization processing unit 227 enlarges the video at the received position from the video decoded by the video decoder 207 at the notified enlargement magnification (step 511). . Note that the position of the character device acquired by the synchronization processing unit 227 and the magnification of the video are determined by the user using an infrared remote controller or the like, and the ID number of each video / audio output device and its installation position (the number of upper and lower stages, the left and right columns). A method of sequentially inputting the number) may be adopted.

映像の一部分の拡大方法としては、画面全体に映像の一部分が出力されるように映像の一部分のアスペクト比を変更して拡大する方法、映像の一部分のアスペクト比を保持したまま映像出力部212の縦もしくは横のサイズに合わせて拡大する方法、などがあるが、各映像音声出力装置が同じ方法で映像を拡大するのであればどのような方法で拡大してもよい。
また、出力する音声の左右バランスを映像音声出力装置の組み合わせの位置により、左チャンネル、右チャンネルの音声バランス処理を行い、音声出力部123に出力させる(ステップ512)。
As a method of enlarging a part of the video, a method of enlarging by changing the aspect ratio of a part of the video so that a part of the video is output on the entire screen, or the video output unit 212 maintaining the aspect ratio of the part of the video. There is a method of enlarging in accordance with the vertical or horizontal size, etc. However, any method may be used as long as each video / audio output device enlarges the video by the same method.
Further, the left / right balance of the audio to be output is subjected to the audio balance processing of the left channel and the right channel according to the combination position of the video / audio output device, and is output to the audio output unit 123 (step 512).

図6は、サーバ2から映像音声出力装置に送信される映像の一例である。
図7は、4台の映像音声出力装置を組み合わせて映像を表示させた場合の表示画面の一例を示す図である。図7では4つの映像音声出力装置11、12、13、14を2段、2列に設置している。サーバ2から配信される映像音声データを同時に出力する際に、各映像音声出力装置の映像、音声を組み合わせて出力する場合の表示パネルの表示例である。61はサーバ2から配信される映像を示し、711、712、713、714は、それぞれ、映像音声出力装置11、12、13、14の表示パネルが表示している映像である。各映像音声出力装置は、あらかじめその組み合わせ設置位置をユーザからの指示等により設定されている。
このように同期再生処理を行うことで、コンテンツの視聴者に複数の映像音声出力装置を組み合わせた大画面でコンテンツを提供することができる。
FIG. 6 is an example of a video transmitted from the server 2 to the video / audio output device.
FIG. 7 is a diagram showing an example of a display screen when video is displayed by combining four video / audio output devices. In FIG. 7, four video / audio output devices 11, 12, 13, and 14 are arranged in two rows and two rows. It is a display example of a display panel when outputting video and audio of each video and audio output device in combination when outputting video and audio data distributed from the server 2 at the same time. Reference numeral 61 denotes a video distributed from the server 2, and reference numerals 711, 712, 713, and 714 denote videos displayed on the display panels of the video / audio output apparatuses 11, 12, 13, and 14, respectively. Each video / audio output device has its combination installation position set in advance by an instruction from the user or the like.
By performing the synchronous playback process in this way, it is possible to provide content on a large screen combining a plurality of video / audio output devices to the viewer of the content.

映像音声出力装置11に組み込まれた制御手段は、例えば、左上に設置される映像音声出力装置711の場合、サーバ2から配信された映像音声出力装置61の左上四分の一の部分を縦横2倍の拡大率で拡大し、映像711として表示する。同様に他の映像音声出力装置も、組み合わせ設置位置に応じて映像61の一部を拡大して表示する。また、図示しないが、各映像音声出力装置の組み合わせの位置に応じてスピーカから出力する音声についても、例えば左側の映像音声出力装置11、13は左チャンネルの音声を左チャンネル用のスピーカから出力し、右側の映像音声出力装置12、14は右チャンネルの音声を右チャンネル用のスピーカから出力する。
このように各映像音声出力装置が同期して、組み合わせ設置位置に応じて映像を表示し音声を出力することで、ネットワークの占有伝送帯域幅を増加させることなく効率よくサーバ2からの映像音声データを出力することが可能になる。本実施例では、4つの映像音声出力装置を組み合わせた際の例を示したが、映像音声出力装置の数は4つに限定するものではなく、組み合わせの数に応じて、映像61の切り出し位置と拡大率を変えればよい。
また、サーバ2から配信される映像データのうち、任意の箇所を中心に所定の切り出し率で一部を切り出し、各映像音声出力装置がこれをさらに切り出して、映像データの切り出し比率に基づいて、各映像音声出力装置の拡大率を自動的に計算するようにすれば、各映像音声出力装置11、12、13、14を使用して、サーバ2から配信される映像データの任意の箇所をズームアップすることなども可能である。
For example, in the case of the video / audio output device 711 installed at the upper left, the control means incorporated in the video / audio output device 11 is the vertical / horizontal 2 portion of the upper left quarter of the video / audio output device 61 distributed from the server 2. The image is enlarged at a double magnification and displayed as an image 711. Similarly, other video / audio output devices also enlarge and display a part of the video 61 according to the combination installation position. Although not shown, for example, the left video and audio output devices 11 and 13 output the left channel audio from the left channel speaker as to the audio output from the speaker according to the position of the combination of the video and audio output devices. The right and audio output devices 12 and 14 output the right channel audio from the right channel speaker.
In this way, the video / audio output devices from the server 2 efficiently without increasing the occupied transmission bandwidth of the network by displaying the video according to the combination installation position and outputting the audio in synchronization with each other. Can be output. In this embodiment, an example in which four video / audio output devices are combined has been described. However, the number of video / audio output devices is not limited to four, and the cut-out position of the video 61 is determined according to the number of combinations. Change the enlargement ratio.
Further, a part of the video data distributed from the server 2 is cut out at a predetermined cut-out rate centering on an arbitrary portion, and each video / audio output device further cuts it out, based on the cut-out ratio of the video data, If the enlargement ratio of each video / audio output device is automatically calculated, an arbitrary portion of the video data distributed from the server 2 can be zoomed using each video / audio output device 11, 12, 13, 14. It is also possible to upgrade.

(実施例2)
図8は、映像音声出力装置の構成の一例を示す図である。
図8において、映像音声出力装置11はデジタル放送受信装置である。また、222は映像信号圧縮部、223はカメラやA/Dコンバータを含む撮像部、224は音声信号圧縮部、225はマイクロフォンやA/Dコンバータを含む音声入力端子、226はエンコーダであり、その他の構成は、図2に示した実施形態と同様である。
本実施例では、映像音声出力装置として、例えば、出力する映像や音声に対する視聴者の反応を調べるため、映像や音声を視聴する視聴者の様子を撮影するための撮像部223を有し、複数の映像音声出力装置の組み合わせ設置位置を検出することが可能になる。
(Example 2)
FIG. 8 is a diagram illustrating an example of the configuration of the video / audio output apparatus.
In FIG. 8, the video / audio output device 11 is a digital broadcast receiving device. Also, 222 is a video signal compression unit, 223 is an imaging unit including a camera and an A / D converter, 224 is an audio signal compression unit, 225 is an audio input terminal including a microphone and an A / D converter, 226 is an encoder, and others The configuration of is the same as that of the embodiment shown in FIG.
In this embodiment, the video / audio output device includes an imaging unit 223 for photographing the state of the viewer who views the video and audio, for example, in order to examine the reaction of the viewer to the video and audio to be output. It becomes possible to detect the combined installation position of the video and audio output devices.

図9は、映像音声出力装置の設置位置検出方法の一例である。本実施例では、各映像音声出力装置の撮像部222が撮影する映像信号により、各映像音声出力装置の相対的な設置位置を検出する。901は前述した表示パネル、902は撮像部のカメラである。911、912、913、914は、前述の実施例のように4つの表示パネルが組み合わされた場合、図7の表示パネル711、712、713、714に対応した、CCD等の各カメラ902による撮影映像の例である。
例えば、前述の映像音声出力装置11、12、13、14の前方にある被写体91が各撮像回路で撮影される場合、各映像音声出力装置の設置位置に応じて、特定の撮像対象である被写体91の映像情報を、周知の映像処理により特定すると図9に示されるように、各撮像装置の設置位置の相違に対応して左右方向(X1〜X4)、上下方向(Y1〜Y4)に撮像映像が変化する。
FIG. 9 is an example of a method for detecting the installation position of the video / audio output device. In this embodiment, the relative installation position of each video / audio output device is detected based on the video signal captured by the imaging unit 222 of each video / audio output device. Reference numeral 901 denotes the display panel described above, and reference numeral 902 denotes a camera of the imaging unit. 911, 912, 913, and 914 are taken by each camera 902 such as a CCD corresponding to the display panels 711, 712, 713, and 714 of FIG. 7 when four display panels are combined as in the above-described embodiment. It is an example of a video.
For example, when the subject 91 in front of the video / audio output devices 11, 12, 13, and 14 is shot by each imaging circuit, the subject that is a specific imaging target according to the installation position of each video / audio output device If the 91 pieces of video information are specified by known video processing, as shown in FIG. 9, the left and right directions (X1 to X4) and the up and down directions (Y1 to Y4) are picked up corresponding to the difference in the installation positions of the respective image pickup devices. The image changes.

すなわち、同図に示すように、撮影領域に対する被写体91の位置は、撮影映像911と撮影映像913との間では、撮影領域の横方向の位置(距離X1、距離X2)は同じとなり、同様に撮影映像912と撮影映像914との間では、撮影領域の横方向の位置(距離X3、距離X4)は同じになる。
また、撮影映像911と撮影映像912、また、撮影映像913と撮影映像914との間では、撮影領域の縦方向の位置(距離Y1、距離Y2)及び(距離Y3、距離Y4)は同じになる。
したがって、各映像音声出力装置11、12、13、14は、撮影領域の横方向の位置及び縦方向の位置を演算し、その演算結果をネットワーク接続部215を介して他の映像音声出力装置に出力し、他の映像音声出力装置から受信した演算結果および自身の演算結果を相互に比較することにより、各表示パネルの相対的な設置位置を判定することが可能である。なお、ネットワーク接続部215を使用することなく、各映像音声出力装置の映像音声入出力端子214を利用して、相互に演算結果を入出力するようにしてもよい。
That is, as shown in the figure, the position of the subject 91 with respect to the shooting area is the same in the horizontal direction (distance X1, distance X2) of the shooting area between the shot video 911 and the shot video 913. Between the photographic video 912 and the photographic video 914, the horizontal position (distance X3, distance X4) of the photographic region is the same.
In addition, the vertical positions (distance Y1, distance Y2) and (distance Y3, distance Y4) of the shooting area are the same between the shot video 911 and the shot video 912, and between the shot video 913 and the shot video 914. .
Therefore, each of the video / audio output devices 11, 12, 13, and 14 calculates the horizontal position and the vertical position of the shooting region, and the calculation result is sent to another video / audio output device via the network connection unit 215. The relative installation position of each display panel can be determined by comparing the calculation results output and the calculation results received from other video / audio output devices with each other. It should be noted that the calculation results may be mutually input and output using the video / audio input / output terminal 214 of each video / audio output device without using the network connection unit 215.

各被写体91の判別は、撮影映像の濃淡から被写体の輪郭を検出し、その位置を得る方法や、あらかじめ設定した形状パターンを、撮影映像内で検索し、その符合度合いでその位置を検出する方法などがある。
ここで、各映像音声出力装置は、例えばユーザからの操作により、設置位置判定の指示を受けると、各カメラ902により、撮像回路前方の映像を撮影する。このとき、ユーザはあらかじめ決められた標準被写体を各映像音声出力装置の撮像回路前方の任意の箇所に設置してもよい。
制御部219は、撮影した映像を他の映像音声出力装置に送信するとともに、他の映像音声出力装置からの映像を受信し、各映像を前述の方法などで比較し、それらの相対的な設置位置を求めることが可能になる。各映像音声出力装置は、撮影した映像を送信するのではなく、前述の方法で被写体の位置等の処理結果を送信するとともに、他の映像音声出力装置からの被写体の位置等の処理結果を受信し、比較して設置位置を決めてもよい。以上の例では、四つの映像音声出力装置の場合の例を示したが、それ以上の数の組み合わせ設置の場合も同様に設置位置を求めることができる。
Each subject 91 is identified by detecting the contour of the subject from the shade of the photographed image and obtaining the position thereof, or by searching for a preset shape pattern in the photographed image and detecting the position based on the degree of agreement. and so on.
Here, each video / audio output device captures a video in front of the imaging circuit by each camera 902 when receiving an installation position determination instruction, for example, by an operation from a user. At this time, the user may install a predetermined standard subject at an arbitrary position in front of the imaging circuit of each video / audio output device.
The control unit 219 transmits the captured video to the other video / audio output device, receives the video from the other video / audio output device, compares the videos by the above-described method, and the like, and installs them relative to each other. The position can be obtained. Each video / audio output device does not transmit the captured video, but transmits the processing results such as the position of the subject by the above-described method, and receives the processing results such as the position of the subject from other video / audio output devices. However, the installation position may be determined by comparison. In the above example, an example in the case of four video / audio output devices has been shown. However, in the case of a larger number of combined installations, installation positions can be obtained in the same manner.

制御部219は、自装置の設置位置を判断した場合に、例えば他の映像音声出力装置から送信された映像の数や、LAN5に接続されている映像音声出力装置の数などから、何台の映像音声出力装置によって映像を組み合わせて出力するかを判断する。本実施例では、映像音声出力装置11は、撮影映像912、913、914を取得しているため、制御部219は、自装置を含めて4台で映像を出力していることが分かり、さらに、撮影映像911、912、913、914の被写体X軸、Y軸の位置から上述のように縦に2台、横に2台の映像音声出力装置が並んでいることが分かる。制御部219は、縦に2台、横に2台の映像音声出力装置が並んでいることから、他の映像音声出力装置と組合せて映像を出力する場合は、縦2倍、横2倍に映像を表示すると判断する。
以上のようにして、制御部219は、自装置の設置位置、組合せて映像を表示する映像音声出力装置の数、映像の拡大率を得ることができ、この情報を設置位置情報として記憶部220もしくはメモリ221などに記憶させる。他の映像音声出力装置と組合せて映像を表示する場合、制御部219は、設置位置情報を参照して映像の拡大率や切り取り位置を取得し、映像処理部210は、制御部219が取得した拡大率に応じて映像を拡大し、切り取り位置に応じて拡大した映像の一部を切り取り、切り取った映像を映像出力部212に出力させる。
When determining the installation position of the own device, the control unit 219 determines how many units from the number of videos transmitted from other video / audio output devices, the number of video / audio output devices connected to the LAN 5, and the like. The video / audio output device determines whether the video is combined and output. In this embodiment, since the video / audio output device 11 has acquired the captured videos 912, 913, and 914, it can be seen that the control unit 219 outputs the video with four units including its own device. From the positions of the subject X-axis and Y-axis of the captured images 911, 912, 913, and 914, it can be seen that two video audio output devices are arranged vertically and two as described above. The control unit 219 has two video and audio output devices arranged vertically and two horizontally. Therefore, when outputting video in combination with other video and audio output devices, the control unit 219 is doubled vertically and doubled horizontally. It is determined that an image is displayed.
As described above, the control unit 219 can obtain the installation position of the own device, the number of video / audio output devices that display the video in combination, and the enlargement ratio of the video, and this information as the installation position information is stored in the storage unit 220. Alternatively, it is stored in the memory 221 or the like. When displaying a video in combination with another video / audio output device, the control unit 219 refers to the installation position information to acquire a video enlargement ratio or cutout position, and the video processing unit 210 acquires the video processing unit 210. The video is enlarged according to the enlargement ratio, a part of the enlarged video is cut according to the cut position, and the cut video is output to the video output unit 212.

さらに、各映像音声出力装置の外枠となるフレームに、他の映像音声出力装置が上下、あるいは左右に設置されたのを検出する設置センサを配置して、各映像音声出力装置がそのセンサ出力を相互に比較して、その設置位置を自動的に判定することも可能である。
すなわち、フレームの上面、下面及び両側面の同一箇所に、他の各映像音声出力装置のフレームが密着されたのを検出するとともに、相互に信号を入出力できるプッシュピンなどからなる設置センサを配置し、例えば、ある映像音声出力装置が最上段、最左列に設定された場合、そのフレームの下面及び右側面に配置された設置センサのみがオンとなり、上面及び左側面に配置された設置センサはオフとなるので、このセンサ出力の組み合わせにより、その映像音声出力装置が最上段、最左列に設定されたことを判別することができる。
そして、最上段の左から2列目の映像音声出力装置は、上述した最上段、最左列の映像音声出力装置からの判別データと左側面のセンサ出力により、最上段、最左列の映像音声出力装置と左側面で接続されたことを判別できるので、各映像音声出力装置は順次自分の設置箇所を自己判別することが可能になる。
Furthermore, an installation sensor for detecting whether another video / audio output device is installed vertically or horizontally is arranged in a frame which is an outer frame of each video / audio output device, and each video / audio output device outputs its sensor output. Can be compared with each other to automatically determine the installation position.
In other words, installation sensors such as push pins that can detect the close contact of the frames of other video / audio output devices at the same location on the top, bottom, and both sides of the frame and that can mutually input and output signals are arranged. For example, when a certain video / audio output device is set in the top row and the leftmost row, only the installation sensors arranged on the lower surface and the right side surface of the frame are turned on, and the installation sensors arranged on the upper surface and the left side surface are turned on. Since is turned off, it can be determined from the combination of the sensor outputs that the video / audio output device is set to the uppermost row and the leftmost row.
Then, the video / audio output device in the second row from the left in the uppermost row uses the discrimination data from the video / audio output device in the uppermost row and the leftmost row as described above and the sensor output on the left side to output the video in the uppermost row and the leftmost row. Since it can be determined that the audio output device is connected to the left side surface, each video / audio output device can sequentially determine its installation location sequentially.

さらに、各映像音声出力装置として、ディスプレイの下方や左右に超薄型のスピーカが組み込まれたものを使用する場合、ユーザより指示された設置位置情報あるいは自動的に判別した設置位置情報に基づいて、マルチチャンネル化した音声信号に基づいて、サラウンド効果を実現するよう、上述の映像信号と同様に音声信号を切り出し、各映像音声出力装置のスピーカを連携させることも可能である。
もちろん、スピーカを分離することができる映像音声出力装置を使用する場合は、そのスピーカ、あるいは個別に設置した他のスピーカに、切り出した音声信号を出力するようにしてサラウンド効果を実現してもよい。
Furthermore, when using an audio / video output device that incorporates ultra-thin speakers below or on the left and right of the display, it is based on installation position information instructed by the user or automatically determined installation position information. Based on the multi-channel audio signal, it is also possible to cut out the audio signal in the same manner as the video signal described above and to link the speakers of the respective video / audio output devices so as to realize the surround effect.
Of course, when a video / audio output device capable of separating speakers is used, the surround effect may be realized by outputting the cut out audio signals to the speakers or other speakers installed individually. .

以上のように、本実施例では、各映像音声出力装置の組み合わせ設置位置をユーザが指定することなく、設定することが可能になるので、ユーザの設置作業が軽減される。また、前述のように、サーバ2の処理量、およびネットワークの占有伝送帯域幅を増加させることなく効率よくサーバ2からの映像音声データを出力することが可能になり、多彩な映像効果、音声効果をシステム全体で実現することが可能になるので、スタジアムや広告塔などで使用される大型マルチ画面ディスプレイとして広く利用されることが期待できる。   As described above, according to the present embodiment, it is possible to set the combination installation position of each video / audio output device without designating the user, so that the installation work of the user is reduced. In addition, as described above, it is possible to output video / audio data from the server 2 efficiently without increasing the processing amount of the server 2 and the occupied transmission bandwidth of the network, and various video effects and audio effects can be output. Can be realized as a whole system, so it can be expected to be widely used as a large multi-screen display used in stadiums and advertising towers.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、制御部219がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD(Digital Versatile Disk)等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Each of the above-described configurations, functions, and the like may be realized by software by the control unit 219 interpreting and executing a program that realizes each function. Information such as programs, tables, and files for realizing each function is stored in a recording device such as a memory, a hard disk, and an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD (Digital Versatile Disk). Can be put.
Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

11、12、13、14…映像音声出力装置、2…サーバ、3…ネットワーク、4…ルータ、5…LAN、201…放送信号入力端子、202…チューナ、203…復調部、204…デスクランブラ、205…暗号化/復号処理部、206…ストリーム処理部、207…映像デコーダ、208…音声デコーダ、209…時計部、210…映像処理部、211…音声処理部、212…映像出力部、213…音声出力部、214…映像音声入出力端子、215…ネットワーク接続部、216…ネットワーク接続端子、217…外部機器制御部、218…外部機器接続端子、219…制御部、220…記憶部、221…メモリ、301…制御部、302…メモリ、303…記憶部、304…ネットワーク接続部、305…ネットワーク接続端子、306…外部機器制御部、307…外部機器接続端子、308…エンコーダ DESCRIPTION OF SYMBOLS 11, 12, 13, 14 ... Audio / video output device, 2 ... Server, 3 ... Network, 4 ... Router, 5 ... LAN, 201 ... Broadcast signal input terminal, 202 ... Tuner, 203 ... Demodulator, 204 ... Descrambler, 205 ... Encryption / decryption processing unit, 206 ... Stream processing unit, 207 ... Video decoder, 208 ... Audio decoder, 209 ... Clock unit, 210 ... Video processing unit, 211 ... Audio processing unit, 212 ... Video output unit, 213 ... Audio output unit, 214 ... video / audio input / output terminal, 215 ... network connection unit, 216 ... network connection terminal, 217 ... external device control unit, 218 ... external device connection terminal, 219 ... control unit, 220 ... storage unit, 221 ... Memory 301... Control unit 302 302 Memory 303 Storage unit 304 Network connection unit 305 Network connection terminal 3 6 ... external device control unit, 307 ... external device connection terminal, 308 ... encoder

Claims (10)

映像音声出力装置を複数組み合わせて映像音声信号を出力する映像音声出力装置であって、
前記映像音声信号に含まれる映像信号を出力する映像表示部と、
前記映像信号のうち、前記映像音声出力装置が表示する部分を示す設置位置情報を記憶する記憶部と、
前記設置位置情報に基づき、前記映像信号の前記映像音声出力装置が表示する部分の映像信号を切り出し、前記映像表示部に切り出した映像信号を表示させる制御部と、
を有することを特徴とする映像音声出力装置。
A video / audio output device that outputs a video / audio signal by combining a plurality of video / audio output devices,
A video display unit for outputting a video signal included in the video and audio signal;
A storage unit that stores installation position information indicating a portion displayed by the video / audio output device of the video signal;
Based on the installation position information, a control unit that cuts out the video signal of the video signal that is displayed by the video / audio output device, and displays the cut out video signal on the video display unit;
A video / audio output device comprising:
請求項1に記載の映像音声出力装置において、
前記設置位置情報は、前記映像音声出力装置が表示する映像信号を拡大する倍率を示す拡大率情報を含み、
前記制御部は、前記設置位置情報に含まれる拡大率情報に基づき、前記映像信号を表示する場合に、切り出した前記映像信号を拡大することを特徴とする映像音声出力装置。
The video / audio output device according to claim 1,
The installation position information includes magnification rate information indicating a magnification for enlarging a video signal displayed by the video / audio output device,
The video / audio output device, wherein the control unit enlarges the cut-out video signal when displaying the video signal based on enlargement ratio information included in the installation position information.
請求項1または2に記載の映像音声出力装置において、
前記映像音声出力装置は、さらに音声出力部を備え、
前記設置位置情報は、前記音声信号のうち前記映像音声出力装置が出力する部分の音声信号を示す情報が含まれており、
前記制御部は、前記設置位置情報に基づき、前記映像音声出力装置が出力する前記音声信号を出力する場合の出力バランスを制御することを特徴とする映像音声出力装置。
The video / audio output device according to claim 1 or 2,
The video / audio output device further includes an audio output unit,
The installation position information includes information indicating an audio signal of a portion output from the video / audio output device in the audio signal,
The video and audio output device, wherein the control unit controls an output balance when outputting the audio signal output from the video and audio output device based on the installation position information.
請求項1ないし請求項3に記載の映像音声出力装置において、
前記設置位置情報は、前記映像音声出力装置を隣接して複数設置した場合のそれぞれの位置とすることを特徴とする映像音声出力装置。
In the video and audio output device according to claim 1,
The video / audio output apparatus according to claim 1, wherein the installation position information is a position when a plurality of video / audio output apparatuses are installed adjacent to each other.
請求項1ないし4に記載の映像音声出力装置において、
所定の被写体の映像を撮像する映像撮影部と、
前記他の映像音声出力装置から情報を受信するネットワーク接続部と、を備え、
前記制御部は、前記映像表示部が撮像した画像に基づいて、撮像した前記映像の前記被写体の位置を取得し、前記他の映像音声出力装置が撮像した前記被写体の画像に映る前記被写体の位置と、を比較することにより、前記映像音声出力装置の設置位置を判別し、判別した設置位置を前記設置位置情報に記録することを特徴とする映像音声出力装置。
In the video and audio output device according to claim 1,
A video shooting unit that captures a video of a predetermined subject;
A network connection unit for receiving information from the other video / audio output device,
The control unit acquires the position of the subject in the captured video based on the image captured by the video display unit, and the position of the subject in the subject image captured by the other video / audio output device To determine the installation position of the video / audio output apparatus, and record the determined installation position in the installation position information.
請求項5に記載の映像音声出力装置において、
前記ネットワーク接続部は、前記映像撮影部が撮影した映像を前記他の映像音声出力装置に送信することを特徴とする映像音声出力装置。
The video and audio output device according to claim 5,
The video / audio output device, wherein the network connection unit transmits the video captured by the video imaging unit to the other video / audio output device.
請求項6に記載の映像音声出力装置において、
前記制御部は、前記映像撮影部が撮影した映像における前記被写体の横方向の位置と、縦方向の位置と、に基づいて前記被写体の前記映像撮影部からの視角を演算し、前記ネットワーク接続部は、他の映像音声出力装置の制御部が演算した他の映像音声出力装置が備える映像撮影部からの前記被写体の視角を相互に比較することにより前記設置位置を取得することを特徴とする映像音声出力装置。
The video / audio output device according to claim 6,
The control unit calculates a viewing angle of the subject from the video shooting unit based on a horizontal position and a vertical position of the subject in the video shot by the video shooting unit, and the network connection unit The image is characterized in that the installation position is acquired by comparing the viewing angles of the subject with each other from the video photographing unit included in the other video / audio output device calculated by the control unit of the other video / audio output device. Audio output device.
請求項4に記載の映像音声出力装置において、
前記映像音声出力装置の上面、下面、左面、右面に、他の映像音声出力装置が上あるいは下あるいは左あるいは右に設置されたことを検出する設置センサを備え、
前記制御部は、前記設置センサが他の映像音声出力装置が上あるいは下あるいは左あるいは右に設置されたことを検出した場合に、その設置位置を判定することで前記設置位置を取得することを特徴とする映像音声出力装置。
The video / audio output device according to claim 4,
On the upper surface, lower surface, left surface, and right surface of the video / audio output device, an installation sensor that detects that another video / audio output device is installed on the upper, lower, left, or right,
The control unit obtains the installation position by determining the installation position when the installation sensor detects that another video / audio output device is installed on the top, bottom, left, or right. A featured audio / video output device.
映像音声出力装置を複数組み合わせて映像音声信号を出力する映像出力方法であって、
前記映像音声信号に含まれる映像信号を出力し、
前記映像信号のうち、前記映像音声出力装置が表示する部分を示す設置位置情報を記憶し、
前記設置位置情報に基づき、前記映像信号の前記映像音声出力装置が表示する部分の映像信号を切り出し、前記映像表示部に切り出した映像信号を表示することを特徴とする映像音声出力方法。
A video output method for outputting a video / audio signal by combining a plurality of video / audio output devices,
Outputting a video signal included in the video and audio signal;
Of the video signal, storing installation position information indicating a portion displayed by the video and audio output device,
A video / audio output method comprising: cutting out a video signal of a portion of the video signal displayed by the video / audio output device based on the installation position information and displaying the cut-out video signal on the video display unit.
請求項9に記載の映像音声出力方法において、
前記映像音声出力装置が出力する部分の音声信号を含む記設置位置情報に基づき、前記映像音声出力装置が出力する前記音声信号を出力する場合の出力バランスを制御することを特徴とする映像音声出力方法。
The video and audio output method according to claim 9, wherein
An audio / video output characterized by controlling an output balance when outputting the audio signal output by the audio / video output device based on the installation position information including an audio signal of a portion output by the audio / video output device. Method.
JP2010188761A 2010-08-25 2010-08-25 Video sound output device and video sound output method Pending JP2012049723A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010188761A JP2012049723A (en) 2010-08-25 2010-08-25 Video sound output device and video sound output method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010188761A JP2012049723A (en) 2010-08-25 2010-08-25 Video sound output device and video sound output method

Publications (1)

Publication Number Publication Date
JP2012049723A true JP2012049723A (en) 2012-03-08

Family

ID=45904117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010188761A Pending JP2012049723A (en) 2010-08-25 2010-08-25 Video sound output device and video sound output method

Country Status (1)

Country Link
JP (1) JP2012049723A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187841A (en) * 2012-03-09 2013-09-19 Casio Comput Co Ltd Electronic apparatus, output control method, and program
JP2016225744A (en) * 2015-05-28 2016-12-28 株式会社リコー Radio communication system and method
JP2016224104A (en) * 2015-05-27 2016-12-28 ファンテック株式会社 Image display system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187841A (en) * 2012-03-09 2013-09-19 Casio Comput Co Ltd Electronic apparatus, output control method, and program
JP2016224104A (en) * 2015-05-27 2016-12-28 ファンテック株式会社 Image display system
JP2016225744A (en) * 2015-05-28 2016-12-28 株式会社リコー Radio communication system and method

Similar Documents

Publication Publication Date Title
JP6316538B2 (en) Content transmission device, content transmission method, content reproduction device, content reproduction method, program, and content distribution system
JP2022010382A (en) Reception method and receiving device
US10341672B2 (en) Method and system for media synchronization
EP2728858B1 (en) Receiving apparatus and receiving method thereof
JP2009100246A (en) Display device
JP5784631B2 (en) Method, apparatus and system for previewing content simultaneously from multiple protected sources
WO2013061525A1 (en) Broadcast receiver, playback device, broadcast communication system, broadcast receiving method, playback method and program
JP5841715B2 (en) VIDEO / AUDIO OUTPUT DEVICE, VIDEO / AUDIO OUTPUT SYSTEM, AND MASTER DEVICE
CN104581188A (en) Method and apparatus for IP video signal synchronization
JP5951893B2 (en) Multiplexer, receiver, multiplexing method, and delay adjustment method
KR101311463B1 (en) remote video transmission system
JP2012049723A (en) Video sound output device and video sound output method
JP5283914B2 (en) Display control apparatus and display control method
KR101748382B1 (en) Method and system for providing video streaming
JP2012137900A (en) Image output system, image output method and server device
KR101700626B1 (en) Multi angle view processing apparatus
JP2012004991A (en) Broadcast receiving apparatus and control method for the same
WO2014162748A1 (en) Reception device and reception method
JP6408660B2 (en) Display device
JP2016048846A (en) Information display device, information display method, information display program, relevant information forming device, and distribution system
KR102599664B1 (en) System operating method for transfering multiview video and system of thereof
JP6348627B2 (en) Display device
JP6105129B2 (en) Display device
JP5960312B2 (en) Portable video equipment
GB2561343A (en) Signalling of auxiliary content for a broadcast signal