JP2010141498A - Video receiver and video transmitter - Google Patents

Video receiver and video transmitter Download PDF

Info

Publication number
JP2010141498A
JP2010141498A JP2008314526A JP2008314526A JP2010141498A JP 2010141498 A JP2010141498 A JP 2010141498A JP 2008314526 A JP2008314526 A JP 2008314526A JP 2008314526 A JP2008314526 A JP 2008314526A JP 2010141498 A JP2010141498 A JP 2010141498A
Authority
JP
Japan
Prior art keywords
video
decoding
time
video signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008314526A
Other languages
Japanese (ja)
Inventor
Migaku Saito
琢 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2008314526A priority Critical patent/JP2010141498A/en
Publication of JP2010141498A publication Critical patent/JP2010141498A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a video receiver for outputting a video signal with no time lag in decoding time without mounting a delay circuit. <P>SOLUTION: The video receiver is provided with a video DTS correction part 35 for correcting a decoding start time shown by the video DTS so that a decoding time shown by the video DTS separated by a separation part 31 of a video decoder 12 coincides with a decoding time shown by a video DTSr. A video decoding part 36 starts decoding encoded data CDATA stored in a video buffer 32 at a timing where time reference STC reproduced by an STC reproduction part 33 coincides with the decoding start time shown by the video DTS corrected by the video DTS correction part 35. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、例えば、大画面を分割して、分割画面のビデオ信号を符号化して送信する映像送信装置と、映像送信装置から送信された分割画面のビデオ信号を復号する映像受信装置とに関するものである。   The present invention relates to, for example, a video transmission device that divides a large screen, encodes and transmits a video signal of the divided screen, and a video reception device that decodes the video signal of the divided screen transmitted from the video transmission device. It is.

図5は特許文献1に開示されている映像送信装置を示す構成図である。
映像送信装置の画面分割回路102は、入力端子101から画像信号を入力すると、図中、点線で示しているフィールド前半の部分画像Pと、フィールド後半の部分画像Qとに分割することで、部分画像Pの画像データを符号化回路103に出力し、部分画像Qの画像データを符号化回路104に出力する。
FIG. 5 is a block diagram showing a video transmission device disclosed in Patent Document 1. In FIG.
When an image signal is input from the input terminal 101, the screen dividing circuit 102 of the video transmitting apparatus divides the image into a partial image P in the first half of the field indicated by a dotted line and a partial image Q in the second half of the field in FIG. The image data of the image P is output to the encoding circuit 103, and the image data of the partial image Q is output to the encoding circuit 104.

符号化回路103は、画面分割回路102から部分画像Pの画像データを受けると、例えば、MPEG規格に則して、その画像データを符号化する。
符号化回路104は、画面分割回路102から部分画像Qの画像データを受けると、例えば、MPEG規格に則して、その画像データを符号化する。
一般に、MPEG規格による符号化では、復号タイミングを同期させる時間情報としてタイムスタンプを符号化ストリームに挿入するのが普通である。
この映像送信装置においても、2つの符号化回路103,104の同期を取るために、時計回路105が上記タイムスタンプの基準となる時刻データを発生し、その時刻データを符号化回路103,104に供給するようにしている。
When receiving the image data of the partial image P from the screen dividing circuit 102, the encoding circuit 103 encodes the image data in accordance with, for example, the MPEG standard.
When receiving the image data of the partial image Q from the screen dividing circuit 102, the encoding circuit 104 encodes the image data in accordance with, for example, the MPEG standard.
In general, in encoding according to the MPEG standard, it is common to insert a time stamp into an encoded stream as time information for synchronizing decoding timing.
Also in this video transmission apparatus, in order to synchronize the two encoding circuits 103 and 104, the clock circuit 105 generates time data serving as a reference for the time stamp, and the time data is transmitted to the encoding circuits 103 and 104. I am trying to supply.

そこで、符号化回路103,104は、部分画像P,Qの画像データを符号化する際、時計回路105より供給された時刻データからタイムスタンプを生成し、そのタイムスタンプを画像データの符号化データに挿入して、符号化ストリームを生成するようにしている。
符号化回路103,104は、符号化ストリームを生成すると、その符号化ストリームを記録装置106,107に記録するとともに、その符号化ストリームを再編成回路108に出力する。
Therefore, when encoding the image data of the partial images P and Q, the encoding circuits 103 and 104 generate a time stamp from the time data supplied from the clock circuit 105, and use the time stamp as the encoded data of the image data. So that an encoded stream is generated.
When generating the encoded stream, the encoding circuits 103 and 104 record the encoded stream in the recording devices 106 and 107 and output the encoded stream to the reorganization circuit 108.

再編成回路108は、符号化回路103,104から符号化ストリームをそれぞれ受けると、2つの符号化ストリームを1つに再編成して、1つの符号化ストリームを伝送装置109に出力する。
伝送装置109は、再編成回路108から符号化ストリームを受けると、その符号化ストリームを図6の映像受信装置に送信する。
Upon receiving the encoded streams from the encoding circuits 103 and 104, the reorganization circuit 108 reorganizes the two encoded streams into one and outputs one encoded stream to the transmission device 109.
Upon receiving the encoded stream from the reorganization circuit 108, the transmission apparatus 109 transmits the encoded stream to the video reception apparatus in FIG.

図6は特許文献1に開示されている映像受信装置を示す構成図である。
映像受信装置の再生装置111は、図5の映像送信装置の記録装置106によって記録された符号化ストリームを再生する。
再生装置112は、図5の映像送信装置の記録装置107によって記録された符号化ストリームを再生する。
デコーダ113には、再生装置111によって再生された符号化ストリームが供給される。あるいは、伝送装置109により伝送された符号化ストリームから符号化回路103により生成された符号化ストリームが分離されて、その符号化ストリームが供給される。
デコーダ114には、再生装置112によって再生された符号化ストリームが供給される。あるいは、伝送装置109により伝送された符号化ストリームから符号化回路104により生成された符号化ストリームが分離されて、その符号化ストリームが供給される。
FIG. 6 is a block diagram showing a video receiving device disclosed in Patent Document 1. In FIG.
The playback device 111 of the video reception device plays back the encoded stream recorded by the recording device 106 of the video transmission device of FIG.
The playback device 112 plays back the encoded stream recorded by the recording device 107 of the video transmission device in FIG.
The encoded stream reproduced by the reproducing device 111 is supplied to the decoder 113. Alternatively, the encoded stream generated by the encoding circuit 103 is separated from the encoded stream transmitted by the transmission apparatus 109, and the encoded stream is supplied.
The encoded stream reproduced by the reproduction device 112 is supplied to the decoder 114. Alternatively, the encoded stream generated by the encoding circuit 104 is separated from the encoded stream transmitted by the transmission apparatus 109, and the encoded stream is supplied.

デコーダ113は、符号化ストリームの供給を受けると、同期回路115から出力される同期データに同期して、その符号化ストリームの復号処理を実施し、復号後の画像データ(部分画像Pの画像データ)を画面合成回路117に出力する。
デコーダ114は、符号化ストリームの供給を受けると、同期回路115から出力される同期データに同期して、その符号化ストリームの復号処理を実施し、遅延回路116を介して、復号後の画像データ(部分画像Qの画像データ)を画面合成回路117に出力する。
部分画像Qの画像データが遅延回路116を介して画面合成回路117に出力されることで、デコーダ113とデコーダ114間の復号時間の時間ズレを吸収している。
When the decoder 113 is supplied with the encoded stream, the decoder 113 performs a decoding process on the encoded stream in synchronization with the synchronization data output from the synchronization circuit 115, and outputs decoded image data (image data of the partial image P). ) Is output to the screen composition circuit 117.
When the decoder 114 receives the encoded stream, the decoder 114 performs a decoding process on the encoded stream in synchronization with the synchronization data output from the synchronization circuit 115, and the decoded image data via the delay circuit 116. (Image data of the partial image Q) is output to the screen composition circuit 117.
By outputting the image data of the partial image Q to the screen composition circuit 117 via the delay circuit 116, the time lag of the decoding time between the decoder 113 and the decoder 114 is absorbed.

画面合成回路117は、部分画像Pの画像データと部分画像Qの画像データを受けると、2つの画像データから1つの画像データを合成し、その画像データを出力端子118に出力する。   Upon receiving the image data of the partial image P and the image data of the partial image Q, the screen composition circuit 117 synthesizes one image data from the two image data and outputs the image data to the output terminal 118.

特開2002−125203号公報(段落番号[0002]から[0005]、図10及び図11)JP 2002-125203 A (paragraph numbers [0002] to [0005], FIG. 10 and FIG. 11)

従来の映像送信装置は以上のように構成されているので、時計回路105を実装して、復号タイミングを同期させるための時刻データを符号化回路103,104に供給する必要がある。
また、映像受信装置では、デコーダ113とデコーダ114間の復号時間の時間ズレを吸収するために、遅延回路116を実装する必要がある。
分割数が多くなる程、映像送信装置では、時計回路105が時刻データを供給する対象の符号化回路が増加し、映像受信装置では、多くの遅延回路116を実装する必要が生じる。そのため、システム構成が複雑化して、コストアップの要因になるなどの課題があった。
Since the conventional video transmission apparatus is configured as described above, it is necessary to mount the clock circuit 105 and supply the time data for synchronizing the decoding timing to the encoding circuits 103 and 104.
Further, in the video reception device, it is necessary to mount the delay circuit 116 in order to absorb the time lag of the decoding time between the decoder 113 and the decoder 114.
As the number of divisions increases, in the video transmission device, the number of encoding circuits to which the clock circuit 105 supplies time data increases, and in the video reception device, it becomes necessary to mount more delay circuits 116. For this reason, there is a problem that the system configuration becomes complicated and causes a cost increase.

この発明は上記のような課題を解決するためになされたもので、遅延回路を実装することなく、復号時間の時間ズレがないビデオ信号を出力することができる映像受信装置を得ることを目的とする。
また、この発明は、上記の映像受信装置に適用することができる映像送信装置を得ることを目的とする。
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a video receiving apparatus capable of outputting a video signal without a time lag of decoding time without mounting a delay circuit. To do.
Another object of the present invention is to provide a video transmission device that can be applied to the above video reception device.

この発明に係る映像受信装置は、分離手段により分離された第1の復号タイムスタンプが示す復号開始時刻が第2の復号タイムスタンプが示す復号開始時刻と一致するように、第1の復号タイムスタンプが示す復号開始時刻を補正する補正手段と、分離手段により分離された時刻管理情報にしたがって時刻基準を再生する再生手段とを設け、復号手段が再生手段により再生された時刻基準が補正手段により補正された第1の復号タイムスタンプが示す復号開始時刻と一致するタイミングで、分離手段により分離されたビデオ信号の復号を開始するようにしたものである。   The video receiving apparatus according to the present invention provides the first decoding time stamp so that the decoding start time indicated by the first decoding time stamp separated by the separating means matches the decoding start time indicated by the second decoding time stamp. Is provided with a correcting means for correcting the decoding start time indicated by and a reproducing means for reproducing the time reference according to the time management information separated by the separating means, and the correcting means corrects the time reference reproduced by the reproducing means. The decoding of the video signal separated by the separating means is started at a timing that coincides with the decoding start time indicated by the first decoding time stamp.

この発明によれば、分離手段により分離された第1の復号タイムスタンプが示す復号開始時刻が第2の復号タイムスタンプが示す復号開始時刻と一致するように、第1の復号タイムスタンプが示す復号開始時刻を補正する補正手段と、分離手段により分離された時刻管理情報にしたがって時刻基準を再生する再生手段とを設け、復号手段が再生手段により再生された時刻基準が補正手段により補正された第1の復号タイムスタンプが示す復号開始時刻と一致するタイミングで、分離手段により分離されたビデオ信号の復号を開始するように構成したので、遅延回路を実装することなく、復号時間の時間ズレがないビデオ信号を出力することができる効果がある。   According to this invention, the decoding indicated by the first decoding time stamp so that the decoding start time indicated by the first decoding time stamp separated by the separating means matches the decoding start time indicated by the second decoding time stamp. A correction means for correcting the start time and a reproduction means for reproducing the time reference according to the time management information separated by the separation means are provided, and the time reference reproduced by the reproduction means by the reproduction means is corrected by the correction means. Since the decoding of the video signal separated by the separation means is started at a timing that coincides with the decoding start time indicated by the decoding time stamp of 1, there is no time lag of the decoding time without mounting a delay circuit. There is an effect that a video signal can be output.

実施の形態1.
図1はこの発明の実施の形態1による映像受信装置を示す構成図である。
図1において、映像送信装置1はビデオ信号が表す大画面を分割し、各分割画面のビデオ信号を符号化して符号化ストリームを生成し、その符号化ストリームを送信する装置である。
この実施の形態1では、説明の簡単化のため、大画面を2つの画面(例えば、上半分の画面と、下半分の画面)に分割する例を説明する。
この場合、映像送信装置1から送信される符号化ストリームには、以下のデータ等が含まれている。ただし、以下のデータ等は、2つの画面に分割する場合の一例であり、3つ以上の画面に分割する場合には、分割画面数分の符号化データ等が含まれる。
Embodiment 1 FIG.
1 is a block diagram showing a video receiving apparatus according to Embodiment 1 of the present invention.
In FIG. 1, a video transmission device 1 is a device that divides a large screen represented by a video signal, encodes the video signal of each divided screen to generate an encoded stream, and transmits the encoded stream.
In the first embodiment, for simplification of description, an example in which a large screen is divided into two screens (for example, an upper half screen and a lower half screen) will be described.
In this case, the encoded stream transmitted from the video transmission device 1 includes the following data and the like. However, the following data is an example when dividing into two screens. When dividing into three or more screens, encoded data and the like for the number of divided screens are included.

なお、この実施の形態1では、下半分の画面のビデオ信号の復号を、上半分の画面のビデオ信号を基準にして、復号を同一時刻に行うので、上半分の画面のビデオ信号を必要に応じて「復号基準のビデオ信号」と称し、上半分の画面のビデオ信号の符号化データCDATArを「復号基準の符号化データ」と称する。
一方、下半分の画面のビデオ信号を必要に応じて「復号対象のビデオ信号」と称し、下半分の画面のビデオ信号の符号化データCDATAを「復号対象の符号化データ」と称する。
In the first embodiment, the video signal of the lower half screen is decoded at the same time with reference to the video signal of the upper half screen, so the video signal of the upper half screen is required. Accordingly, it is referred to as “decoding reference video signal”, and the encoded data CDATAr of the video signal of the upper half screen is referred to as “decoding reference encoded data”.
On the other hand, the video signal of the lower half screen is referred to as “decoding target video signal” as necessary, and the encoded data CDATA of the lower half screen video signal is referred to as “decoding target encoded data”.

(1−1)上半分の画面のビデオ信号の符号化データCDATAr
(1−2)下半分の画面のビデオ信号の符号化データCDATA
(2−1)符号化データCDATArの復号開始時刻を示すデコーディングタイムスタンプ(第2の復号タイムスタンプ:以下、「ビデオDTSr」と称する)
(2−2)符号化データCDATAの復号開始時刻を示すデコーディングタイムスタンプ(第1の復号タイムスタンプ:以下、「ビデオDTS」と称する)
(3−1)上半分の画面のビデオ信号を符号化している符号化器(映像送信装置1内の符号化器)における時刻基準STCr(System Time Clock)の再生に用いる時刻管理情報PCRr(Program Clock Reference)
(3−2)下半分の画面のビデオ信号を符号化している符号化器(映像送信装置1内の符号化器)における時刻基準STCの再生に用いる時刻管理情報PCR
(1-1) Encoded data CDATAr of the video signal of the upper half screen
(1-2) Encoded data CDATA of the video signal of the lower half screen
(2-1) Decoding time stamp indicating the decoding start time of the encoded data CDATAr (second decoding time stamp: hereinafter referred to as “video DTSr”)
(2-2) Decoding time stamp indicating the decoding start time of the encoded data CDATA (first decoding time stamp: hereinafter referred to as “video DTS”)
(3-1) Time management information PCRr (Program) used for reproduction of a time reference STCr (System Time Clock) in an encoder (encoder in the video transmission apparatus 1) that encodes the video signal of the upper half screen. (Clock Reference)
(3-2) Time management information PCR used for reproduction of the time reference STC in the encoder (encoder in the video transmission apparatus 1) that encodes the video signal of the lower half screen

伝送装置2は映像送信装置1から送信された符号化ストリームを映像受信装置3に伝送する装置である。
映像受信装置3は伝送装置2により伝送された分割画面のビデオ信号を復号する装置である。
The transmission device 2 is a device that transmits the encoded stream transmitted from the video transmission device 1 to the video reception device 3.
The video receiving device 3 is a device that decodes the video signal of the divided screen transmitted by the transmission device 2.

映像受信装置3のビデオデコーダ11は符号化ストリームから符号化データCDATArを分離し、その符号化データCDATArから上半分の画面のビデオ信号(復号基準のビデオ信号)を復号する処理を実施する。
ビデオデコーダ12は符号化ストリームから符号化データCDATAを分離し、その符号化データCDATAから下半分の画面のビデオ信号を復号する処理を実施する。
画面合成回路13はビデオデコーダ11,12によって同一時刻に復号された上半分の画面のビデオ信号と下半分の画面のビデオ信号を合成し、合成画面のビデオ信号を出力端子14に出力する処理を実施する。
The video decoder 11 of the video receiver 3 separates the encoded data CDATAAr from the encoded stream, and performs a process of decoding the upper half screen video signal (decoding reference video signal) from the encoded data CDATAAr.
The video decoder 12 separates the encoded data CDATA from the encoded stream, and performs a process of decoding the video signal of the lower half screen from the encoded data CDATA.
The screen synthesis circuit 13 synthesizes the video signal of the upper half screen and the video signal of the lower half screen decoded at the same time by the video decoders 11 and 12 and outputs the video signal of the synthesized screen to the output terminal 14. carry out.

ビデオデコーダ11の分離部21は符号化ストリームから復号基準の符号化データCDATAr、ビデオDTSr及び時刻管理情報PCRrを分離する処理を実施する。
ビデオバッファ22は分離部21により分離された復号基準の符号化データCDATArを一時的に格納するメモリである。
STC再生部23は分離部21により分離された時刻管理情報PCRrにしたがって時刻基準STCrを再生する処理を実施する。
ビデオ復号部24はSTC再生部23により再生された時刻基準STCrが分離部21により分離されたビデオDTSrが示す復号開始時刻と一致するタイミングで、ビデオバッファ22に格納されている符号化データCDATArに対する復号処理を開始して、復号結果である上半分の画面のビデオ信号を画面合成回路13に出力する。
The separation unit 21 of the video decoder 11 performs a process of separating the decoding reference encoded data CDATAr, the video DTSr, and the time management information PCRr from the encoded stream.
The video buffer 22 is a memory that temporarily stores the decoding standard encoded data CDATAr separated by the separation unit 21.
The STC reproduction unit 23 performs a process of reproducing the time reference STCr according to the time management information PCRr separated by the separation unit 21.
The video decoding unit 24 performs the processing for the encoded data CDATAr stored in the video buffer 22 at a timing at which the time reference STCr reproduced by the STC reproduction unit 23 coincides with the decoding start time indicated by the video DTSr separated by the separation unit 21. The decoding process is started, and the video signal of the upper half screen as the decoding result is output to the screen synthesis circuit 13.

ビデオデコーダ12の分離部31は符号化ストリームから復号対象の符号化データCDATA、ビデオDTS、ビデオDTSr、時刻管理情報PCR、時刻管理情報PCRrを分離する処理を実施する。
なお、分離部31は分離手段を構成している。
ビデオバッファ32は分離部31により分離された復号対象の符号化データCDATAを一時的に格納するメモリである。
The separation unit 31 of the video decoder 12 performs a process of separating the encoded data CDATA, video DTS, video DTSr, time management information PCR, and time management information PCRr to be decoded from the encoded stream.
The separating unit 31 constitutes a separating unit.
The video buffer 32 is a memory that temporarily stores the encoded data CDATA to be decoded separated by the separation unit 31.

STC再生部33は分離部31により分離された時刻管理情報PCRにしたがって時刻基準STCを再生する処理を実施する。
STC再生部34は分離部31により分離された時刻管理情報PCRrにしたがって時刻基準STCrを再生する処理を実施する。
なお、STC再生部33,34は再生手段を構成している。
The STC reproduction unit 33 performs processing for reproducing the time reference STC according to the time management information PCR separated by the separation unit 31.
The STC reproduction unit 34 performs processing for reproducing the time reference STCr in accordance with the time management information PCRr separated by the separation unit 31.
Note that the STC playback units 33 and 34 constitute playback means.

ビデオDTS補正部35は分離部31により分離されたビデオDTSが示す復号開始時刻が、ビデオDTSrが示す復号開始時刻と一致するように、そのビデオDTSが示す復号開始時刻を補正する処理を実施する。
即ち、ビデオDTS補正部35は分離部31により分離されたビデオDTSが示す復号開始時刻とビデオDTSrが示す復号開始時刻の時刻差となる補正値(=DTSr−DTS)を算出して、その補正値をビデオDTSが示す復号開始時刻に加算する処理を実施する。
なお、ビデオDTS補正部35は補正手段を構成している。
The video DTS correction unit 35 performs a process of correcting the decoding start time indicated by the video DTS so that the decoding start time indicated by the video DTS separated by the separation unit 31 matches the decoding start time indicated by the video DTSr. .
That is, the video DTS correction unit 35 calculates a correction value (= DTSr−DTS) that is a time difference between the decoding start time indicated by the video DTS separated by the separation unit 31 and the decoding start time indicated by the video DTSr. A process of adding the value to the decoding start time indicated by the video DTS is performed.
The video DTS correction unit 35 constitutes correction means.

ビデオ復号部36はSTC再生部33により再生された時刻基準STCがビデオDTS補正部35により補正されたビデオDTSが示す復号開始時刻と一致するタイミングで、ビデオバッファ32に格納されている符号化データCDATAに対する復号処理を開始して、復号結果である下半分の画面のビデオ信号を画面合成回路13に出力する。
なお、ビデオ復号部36は復号手段を構成している。
図2はこの発明の実施の形態1による映像受信装置のビデオデコーダ11,12における復号タイミングを示す説明図である。
The video decoding unit 36 encodes the encoded data stored in the video buffer 32 at a timing at which the time reference STC reproduced by the STC reproduction unit 33 coincides with the decoding start time indicated by the video DTS corrected by the video DTS correction unit 35. The decoding process for CDATA is started, and the video signal of the lower half screen as the decoding result is output to the screen synthesis circuit 13.
Note that the video decoding unit 36 constitutes decoding means.
FIG. 2 is an explanatory diagram showing the decoding timing in the video decoders 11 and 12 of the video receiving apparatus according to Embodiment 1 of the present invention.

次に動作について説明する。
映像送信装置1は、大画面を表すビデオ信号を入力すると、例えば、大画面を上半分と下半分に分割して、上半分の画面のビデオ信号を符号化し、下半分の画面のビデオ信号を符号化する。
このとき、ビデオ信号の符号化方式として、例えば、動画像圧縮の国際基準であるMPEG(Moving Picture Experts Group)−2規格が用いられる場合、ビデオ信号の復号・再生の単位毎(例えば、1フレーム毎)に復号タイムスタンプが付加され、この復号タイムスタンプの時刻基準として、システムタイムクロックが定義される。
Next, the operation will be described.
When the video transmission device 1 receives a video signal representing a large screen, for example, the video transmission device 1 divides the large screen into an upper half and a lower half, encodes the video signal of the upper half screen, and converts the video signal of the lower half screen to Encode.
At this time, for example, when the MPEG (Moving Picture Experts Group) -2 standard, which is an international standard for moving picture compression, is used as a video signal encoding method, each video signal decoding / playback unit (for example, one frame) is used. A decoding time stamp is added to each), and a system time clock is defined as a time reference for the decoding time stamp.

したがって、映像送信装置1において、上半分の画面のビデオ信号(復号基準のビデオ信号)を符号化する符号化器は、MPEG−2規格を用いる場合、上半分の画面のビデオ信号を符号化して符号化データCDATArを生成する際、その符号化データCDATArの復号開始時刻を示すビデオDTSrを生成する。
また、この符号化器は、そのビデオDTSrの時刻基準STCrを映像受信装置3で再生できるようにするために、その時刻基準STCrの再生に用いる時刻管理情報PCRrを生成し、その符号化データCDATAr、ビデオDTSr及び時刻管理情報PCRrからなる符号化ストリームを生成する。
Therefore, in the video transmission apparatus 1, an encoder that encodes the video signal of the upper half screen (decoding reference video signal) encodes the video signal of the upper half screen when using the MPEG-2 standard. When the encoded data CDATAAr is generated, a video DTSr indicating the decoding start time of the encoded data CDATAAr is generated.
Further, this encoder generates time management information PCRr used for reproduction of the time reference STCr so that the video receiving device 3 can reproduce the time reference STCr of the video DTSr, and the encoded data CDATAr. Then, an encoded stream composed of the video DTSr and the time management information PCRr is generated.

映像送信装置1において、下半分の画面のビデオ信号を符号化する符号化器は、MPEG−2規格を用いる場合、下半分の画面のビデオ信号を符号化して符号化データCDATAを生成する際、その符号化データCDATAの復号開始時刻を示すビデオDTSを生成する。
また、この符号化器は、そのビデオDTSの時刻基準STCを映像受信装置3で再生できるようにするために、その時刻基準STCの再生に用いる時刻管理情報PCRを生成し、その符号化データCDATA、ビデオDTS及び時刻管理情報PCRからなる符号化ストリームを生成する。
In the video transmitting apparatus 1, an encoder that encodes the video signal of the lower half screen, when using the MPEG-2 standard, encodes the video signal of the lower half screen to generate encoded data CDATA. A video DTS indicating the decoding start time of the encoded data CDATA is generated.
Further, this encoder generates time management information PCR used for reproduction of the time reference STC so that the video reference apparatus 3 can reproduce the time reference STC of the video DTS, and the encoded data CDATA. Then, an encoded stream including the video DTS and the time management information PCR is generated.

映像送信装置1は、各符号化器が符号化ストリームを生成すると、2つの符号化ストリームを再編成して、1つの符号化ストリームを生成する。
伝送装置2は、映像送信装置1が1つの符号化ストリームを生成すると、その符号化ストリームを映像受信装置3に伝送する。
When each encoder generates an encoded stream, the video transmission device 1 reorganizes the two encoded streams to generate one encoded stream.
When the video transmission device 1 generates one encoded stream, the transmission device 2 transmits the encoded stream to the video reception device 3.

映像受信装置3のビデオデコーダ11は、伝送装置2から符号化ストリームを受信すると、その符号化ストリームから符号化データCDATArを分離し、その符号化データCDATArに対する復号処理を実施して、上半分の画面のビデオ信号(復号基準のビデオ信号)を出力する。
以下、ビデオデコーダ11の処理内容を具体的に説明する。
When the video decoder 11 of the video reception device 3 receives the encoded stream from the transmission device 2, the video decoder 11 separates the encoded data CDATAr from the encoded stream, performs a decoding process on the encoded data CDATAAr, The screen video signal (decoding reference video signal) is output.
Hereinafter, the processing content of the video decoder 11 is demonstrated concretely.

ビデオデコーダ11の分離部21は、符号化ストリームから復号基準の符号化データCDATAr、ビデオDTSr及び時刻管理情報PCRrを分離して、その符号化データCDATArをビデオバッファ22に格納する。
また、分離部21は、ビデオDTSrをビデオ復号部24に出力し、その時刻管理情報PCRrをSTC再生部23に出力する。
The separation unit 21 of the video decoder 11 separates the decoding reference encoded data CDATAr, the video DTSr, and the time management information PCRr from the encoded stream, and stores the encoded data CDATAr in the video buffer 22.
In addition, the separation unit 21 outputs the video DTSr to the video decoding unit 24 and outputs the time management information PCRr to the STC reproduction unit 23.

ビデオデコーダ11のSTC再生部23は、分離部21から時刻管理情報PCRrを受けると、その時刻管理情報PCRrにしたがって時刻基準STCrを再生し、その時刻基準STCrをビデオ復号部24に出力する。
ビデオデコーダ11のビデオ復号部24は、図2に示すように、STC再生部23により再生された時刻基準STCrが分離部21から出力されたビデオDTSrが示す復号開始時刻と一致するタイミングで、ビデオバッファ22に格納されている符号化データCDATArに対する復号処理を開始して、復号結果である上半分の画面のビデオ信号を画面合成回路13に出力する。
図2の例では、時刻基準STCrが時刻00:05になるタイミングで、符号化データCDATArに対する復号処理を開始している。
When receiving the time management information PCRr from the separation unit 21, the STC reproduction unit 23 of the video decoder 11 reproduces the time reference STCr according to the time management information PCRr and outputs the time reference STCr to the video decoding unit 24.
As shown in FIG. 2, the video decoding unit 24 of the video decoder 11 performs video processing at a timing at which the time reference STCr reproduced by the STC reproduction unit 23 matches the decoding start time indicated by the video DTSr output from the separation unit 21. The decoding process for the encoded data CDATAr stored in the buffer 22 is started, and the video signal of the upper half screen as the decoding result is output to the screen synthesis circuit 13.
In the example of FIG. 2, the decoding process for the encoded data CDATAr is started at the timing when the time reference STCr becomes time 00:05.

映像受信装置3のビデオデコーダ12は、伝送装置2から符号化ストリームを受信すると、その符号化ストリームから符号化データCDATAを分離し、その符号化データCDATAに対する復号処理を実施して、下半分の画面のビデオ信号を出力する。
以下、ビデオデコーダ12の処理内容を具体的に説明する。
When the video decoder 12 of the video reception device 3 receives the encoded stream from the transmission device 2, the video decoder 12 separates the encoded data CDATA from the encoded stream and performs a decoding process on the encoded data CDATA, Outputs the video signal of the screen.
Hereinafter, the processing content of the video decoder 12 will be specifically described.

ビデオデコーダ12の分離部31は、符号化ストリームから復号対象の符号化データCDATA、ビデオDTS、ビデオDTSr、時刻管理情報PCR、時刻管理情報PCRrを分離して、その符号化データCDATAをビデオバッファ32に格納する。
また、分離部31は、そのビデオDTS及びビデオDTSrをビデオDTS補正部35に出力し、その時刻管理情報PCRをSTC再生部33に出力し、その時刻管理情報PCRrをSTC再生部34に出力する。
The separation unit 31 of the video decoder 12 separates the encoded data CDATA, the video DTS, the video DTSr, the time management information PCR, and the time management information PCRr to be decoded from the encoded stream, and uses the encoded data CDATA as a video buffer 32. To store.
Further, the separation unit 31 outputs the video DTS and the video DTSr to the video DTS correction unit 35, outputs the time management information PCR to the STC reproduction unit 33, and outputs the time management information PCRr to the STC reproduction unit 34. .

図2の例では、映像送信装置1における2つの符号化器の時刻基準STC、STCrにズレがあるために、ビデオDTSが示す復号開始時刻とビデオDTSrが示す復号開始時刻の間にズレが生じている。
このため、ビデオDTSが示す復号開始時刻を補正しなければ、上半分の画面のビデオ信号(復号基準のビデオ信号)より、下半分の画面のビデオ信号が早く復号されて出力されるタイミングずれが発生する。
In the example of FIG. 2, since there is a difference between the time references STC and STCr of the two encoders in the video transmission device 1, a difference occurs between the decoding start time indicated by the video DTS and the decoding start time indicated by the video DTSr. ing.
For this reason, if the decoding start time indicated by the video DTS is not corrected, there is a timing shift in which the video signal of the lower half screen is decoded and output earlier than the video signal of the upper half screen (decoding reference video signal). appear.

ビデオデコーダ12のSTC再生部33は、分離部31から時刻管理情報PCRを受けると、その時刻管理情報PCRにしたがって時刻基準STCを再生し、その時刻基準STCをビデオ復号部36及びビデオDTS補正部35に出力する。
ビデオデコーダ12のSTC再生部34は、分離部31から時刻管理情報PCRrを受けると、その時刻管理情報PCRrにしたがって時刻基準STCrを再生し、その時刻基準STCrをビデオDTS補正部35に出力する。
When receiving the time management information PCR from the separation unit 31, the STC reproduction unit 33 of the video decoder 12 reproduces the time reference STC according to the time management information PCR, and the time reference STC is converted into the video decoding unit 36 and the video DTS correction unit. 35.
When receiving the time management information PCRr from the separation unit 31, the STC reproduction unit 34 of the video decoder 12 reproduces the time reference STCr according to the time management information PCRr and outputs the time reference STCr to the video DTS correction unit 35.

ビデオDTS補正部35は、分離部31からビデオDTSとビデオDTSrを受けると、そのビデオDTSが示す復号開始時刻が、そのビデオDTSrが示す復号開始時刻と一致するように、そのビデオDTSが示す復号開始時刻を補正する。
即ち、ビデオDTS補正部35は、ビデオDTSが示す復号開始時刻とその到着時間ATSから遅延量を算出するとともに、ビデオDTSrが示す復号開始時刻とその到着時間ATSrから遅延量を算出し、その2つの遅延量と到着時間差(ATSr−ATS)から補正値(=DTSr−DTS)を算出して、その補正値をビデオDTSが示す復号開始時刻に加算する。
補正値=DTSr−DTS
=((ATSr−ATS)+(DTSr−DTS))−(DTS−ATS)
When the video DTS correction unit 35 receives the video DTS and the video DTSr from the separation unit 31, the video DTS correction unit 35 decodes the video DTS indicated by the video DTS so that the decoding start time indicated by the video DTS matches the decoding start time indicated by the video DTSr. Correct the start time.
That is, the video DTS correction unit 35 calculates the delay amount from the decoding start time indicated by the video DTS and the arrival time ATS, and calculates the delay amount from the decoding start time indicated by the video DTSr and the arrival time ATSr. A correction value (= DTSr-DTS) is calculated from one delay amount and the arrival time difference (ATSr-ATS), and the correction value is added to the decoding start time indicated by the video DTS.
Correction value = DTSr−DTS
= ((ATSr-ATS) + (DTSr-DTS))-(DTS-ATS)

ビデオ復号部36は、ビデオDTS補正部35から補正後のビデオDTSを受けると、STC再生部33により再生された時刻基準STCが、補正後のビデオDTSが示す復号開始時刻と一致するタイミングで、ビデオバッファ32に格納されている符号化データCDATAに対する復号処理を開始して、復号結果である下半分の画面のビデオ信号を画面合成回路13に出力する。
図2の例では、時刻基準STCが時刻01:04になるタイミングで、ビデオ復号部36が符号化データCDATAに対する復号処理を開始しており、ビデオ復号部24の復号タイミングと一致している。
When the video decoding unit 36 receives the corrected video DTS from the video DTS correction unit 35, the time reference STC reproduced by the STC reproduction unit 33 coincides with the decoding start time indicated by the corrected video DTS, The decoding process for the encoded data CDATA stored in the video buffer 32 is started, and the video signal of the lower half screen as the decoding result is output to the screen synthesis circuit 13.
In the example of FIG. 2, the video decoding unit 36 starts the decoding process on the encoded data CDATA at the timing when the time reference STC becomes time 01:04, which coincides with the decoding timing of the video decoding unit 24.

画面合成回路13は、ビデオデコーダ11,12によって同一時刻に復号された上半分の画面のビデオ信号と下半分の画面のビデオ信号を合成し、合成画面のビデオ信号を出力端子14に出力する。   The screen synthesis circuit 13 synthesizes the video signal of the upper half screen and the video signal of the lower half screen decoded at the same time by the video decoders 11 and 12 and outputs the video signal of the synthesized screen to the output terminal 14.

以上で明らかなように、この実施の形態1によれば、ビデオデコーダ12の分離部31により分離されたビデオDTSが示す復号開始時刻がビデオDTSrが示す復号開始時刻と一致するように、ビデオDTSが示す復号開始時刻を補正するビデオDTS補正部35と、分離部31により分離された時刻管理情報PCRにしたがって時刻基準STCを再生するSTC再生部33とを設け、ビデオ復号部36がSTC再生部33により再生された時刻基準STCがビデオDTS補正部35により補正されたビデオDTSが示す復号開始時刻と一致するタイミングで、ビデオバッファ32に格納されている符号化データCDATAの復号を開始するように構成したので、従来例のように、遅延回路を実装することなく、上半分の画面のビデオ信号と下半分の画面のビデオ信号との間で、復号時間がズレていない合成画面のビデオ信号を出力することができる効果を奏する。   As is apparent from the above, according to the first embodiment, the video DTS is set so that the decoding start time indicated by the video DTS separated by the separation unit 31 of the video decoder 12 matches the decoding start time indicated by the video DTSr. The video DTS correction unit 35 that corrects the decoding start time indicated by FIG. 4 and the STC reproduction unit 33 that reproduces the time reference STC according to the time management information PCR separated by the separation unit 31 are provided, and the video decoding unit 36 is an STC reproduction unit. The decoding of the encoded data CDATA stored in the video buffer 32 is started at a timing when the time reference STC reproduced by the video data 33 is coincident with the decoding start time indicated by the video DTS corrected by the video DTS correction unit 35. Since it is configured, the video signal of the upper half screen is not required without mounting a delay circuit as in the conventional example. Between the video signal of the lower half screen, an effect capable of outputting a video signal of a combined screen the decoding time does not shift.

また、この実施の形態1によれば、ビデオDTS補正部35が、ビデオDTSが示す復号開始時刻とその到着時間ATSから遅延量を算出するとともに、ビデオDTSrが示す復号開始時刻とその到着時間ATSrから遅延量を算出し、その2つの遅延量と到着時間差(ATSr−ATS)から補正値(=DTSr−DTS)を算出して、その補正値をビデオDTSが示す復号開始時刻に加算するように構成したので、上半分の画面のビデオ信号を符号化している符号化器(映像送信装置1内の符号化器)における時刻基準STCrと、下半分の画面のビデオ信号を符号化している符号化器(映像送信装置1内の符号化器)における時刻基準STCとの間にズレが生じている場合でも、ビデオDTSが示す復号開始時刻を正確にビデオDTSrが示す復号開始時刻に一致させることができる効果を奏する。   Further, according to the first embodiment, the video DTS correction unit 35 calculates the delay amount from the decoding start time indicated by the video DTS and the arrival time ATS, and also the decoding start time indicated by the video DTSr and the arrival time ATSr. The delay amount is calculated from the two delay amounts, and a correction value (= DTSr-DTS) is calculated from the difference between the two delay amounts and the arrival time (ATSr-ATS), and the correction value is added to the decoding start time indicated by the video DTS. Since it is configured, the time reference STCr in the encoder that encodes the video signal of the upper half screen (encoder in the video transmission apparatus 1) and the encoding that encodes the video signal of the lower half screen Even when there is a deviation from the time reference STC in the video encoder (encoder in the video transmission apparatus 1), the decoding start time indicated by the video DTS is accurately determined. An effect that can be matched to the decoding start time indicated by.

なお、この実施の形態1では、ビデオDTS補正部35が、ビデオDTSが示す復号開始時刻を補正するものについて示したが、MPEG−2規格では、映像送信装置からビデオDTSのほかに、画面を表示する時刻を示すプレゼンテーションタイムスタンプ(以下、「PTS」と称する)が付加されるので、ビデオDTSが示す復号開始時刻の代わりに、PTS(=ビデオDTS+固定の復号遅延)が示す表示時刻を補正するようにしてもよい。   In the first embodiment, the video DTS correction unit 35 corrects the decoding start time indicated by the video DTS. However, in the MPEG-2 standard, a screen is displayed in addition to the video DTS from the video transmission device. Since a presentation time stamp (hereinafter referred to as “PTS”) indicating the display time is added, the display time indicated by PTS (= video DTS + fixed decoding delay) is corrected instead of the decoding start time indicated by the video DTS. You may make it do.

また、この実施の形態1では、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArを復号開始の基準として、ビデオデコーダ12のビデオ復号部36における符号化データCDATAの復号タイミングを補正しているが、MPEG−2ビデオの符号化時において、例えば、15フレーム毎に挿入されるイントラピクチャを復号開始の基準としてもよく、より大きな時間的なズレに対応することができる。   In the first embodiment, the decoding timing of the encoded data CDATA in the video decoding unit 36 of the video decoder 12 is corrected using the encoded data CDATAr decoded by the video decoding unit 24 of the video decoder 11 as a reference for starting decoding. However, when MPEG-2 video is encoded, for example, an intra picture inserted every 15 frames may be used as a reference for starting decoding, and a larger temporal shift can be dealt with.

また、この実施の形態1では、伝送装置2が、ビデオデコーダ11が復号する符号化データCDATArと、ビデオデコーダ12が復号する符号化データCDATAとを多重している符号化ストリームを映像受信装置3に送信するものについて示したが、ビデオデコーダ11が復号する符号化データCDATArと、ビデオデコーダ12が復号する符号化データCDATAとを別個に伝送して、ビデオデコーダ11,12の分離部21,31に与えるようにしてもよい。
また、この実施の形態1では、分割画面を符号化する複数の符号化器を1つの映像送信装置1として示したが、複数の送信装置から出力した符号化データを再編成回路で1つのストリームにしても良い。
また、この実施の形態1では、ビデオデコーダ11とビデオデコーダ12を1つの映像受信装置3として示したが、別個のビデオデコーダを持つ映像受信装置として外部で画面合成を行っても良い。
In the first embodiment, the transmission apparatus 2 generates an encoded stream in which the encoded data CDATAr decoded by the video decoder 11 and the encoded data CDATA decoded by the video decoder 12 are multiplexed. However, the encoded data CDATAAr decoded by the video decoder 11 and the encoded data CDATA decoded by the video decoder 12 are separately transmitted, and the separating units 21 and 31 of the video decoders 11 and 12 are transmitted. You may make it give to.
In the first embodiment, a plurality of encoders that encode divided screens are shown as one video transmission apparatus 1, but encoded data output from the plurality of transmission apparatuses is converted into one stream by a reorganization circuit. Anyway.
Further, in the first embodiment, the video decoder 11 and the video decoder 12 are shown as one video receiving device 3, but screen synthesis may be performed externally as a video receiving device having a separate video decoder.

実施の形態2.
図3はこの発明の実施の形態2による映像送信装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
画面分割回路52は入力端子51から大画面を表すビデオ信号を入力すると、その大画面を分割して、分割後の画面を表す複数のビデオ信号を出力する処理を実施する。図3では、2つの画面に分割する例を示している。
なお、画面分割回路52は画面分割手段を構成している。
Embodiment 2. FIG.
FIG. 3 is a block diagram showing a video transmission apparatus according to Embodiment 2 of the present invention. In the figure, the same reference numerals as those in FIG.
When a video signal representing a large screen is input from the input terminal 51, the screen dividing circuit 52 divides the large screen and performs a process of outputting a plurality of video signals representing the divided screen. FIG. 3 shows an example of dividing into two screens.
The screen dividing circuit 52 constitutes a screen dividing means.

時計回路53はタイムスタンプの基準となる時刻データを符号化回路54,55に供給するクロックである。
符号化回路54はMPEG−2規格に則して、例えば、画面分割回路52から出力された上半分の画面のビデオ信号を符号化し、その符号化データCDATArを含む符号化ストリームを出力する処理を実施する。
符号化回路55はMPEG−2規格に則して、例えば、画面分割回路52から出力された下半分の画面のビデオ信号を符号化し、その符号化データCDATAを含む符号化ストリームを出力する処理を実施する。
なお、符号化回路54,55は符号化器を構成している。
The clock circuit 53 is a clock that supplies time data serving as a time stamp reference to the encoding circuits 54 and 55.
In accordance with the MPEG-2 standard, for example, the encoding circuit 54 encodes the video signal of the upper half screen output from the screen division circuit 52 and outputs an encoded stream including the encoded data CDATAr. carry out.
In accordance with the MPEG-2 standard, for example, the encoding circuit 55 encodes the video signal of the lower half of the screen output from the screen division circuit 52 and outputs an encoded stream including the encoded data CDATA. carry out.
Note that the encoding circuits 54 and 55 constitute an encoder.

再編成回路56は符号化回路54,55から出力された2つの符号化ストリームを1つに再編成して、1つの符号化ストリームを伝送装置2に出力する処理を実施する。
なお、再編成回路56及び伝送装置2から送信手段が構成されている。
The reorganization circuit 56 performs a process of reorganizing the two encoded streams output from the encoding circuits 54 and 55 into one and outputting one encoded stream to the transmission apparatus 2.
The reorganization circuit 56 and the transmission device 2 constitute transmission means.

符号化回路54のビデオ符号化部61は画面分割回路52から出力された上半分の画面のビデオ信号を符号化して、その符号化データCDATArを生成する処理を実施する。
なお、ビデオ符号化部61は符号化手段を構成している。
STC生成部62は時計回路53から供給される時刻データにしたがって時刻基準STCrを生成するとともに、その時刻基準STCrの再生に用いる時刻管理情報PCRrを生成する処理を実施する。
なお、STC生成部62は時刻基準生成手段を構成している。
The video encoding unit 61 of the encoding circuit 54 encodes the video signal of the upper half screen output from the screen dividing circuit 52 and performs processing for generating the encoded data CDATAr.
Note that the video encoding unit 61 constitutes encoding means.
The STC generation unit 62 generates a time reference STCr according to the time data supplied from the clock circuit 53 and performs processing for generating time management information PCRr used for reproduction of the time reference STCr.
The STC generator 62 constitutes a time reference generator.

タイムスタンプ生成部63はSTC生成部62により生成された時刻基準STCrを参照して、ビデオ符号化部61により符号化されるビデオ信号の復号開始時刻を示すビデオDTSr(あるいは、ビデオ信号の表示時刻を示すPTSr)を生成する処理を実施する。ここでは、ビデオDTSr又はPTSrを生成するものについて示しているが、ビデオDTSrとPTSrの双方を生成するようにしてもよい。
なお、タイムスタンプ生成部63はタイムスタンプ生成手段を構成している。
The time stamp generator 63 refers to the time base STCr generated by the STC generator 62 and refers to the video DTSr (or video signal display time) indicating the decoding start time of the video signal encoded by the video encoder 61. To generate a PTSr). Here, the video DTSr or the PTSr is generated, but both the video DTSr and the PTSr may be generated.
The time stamp generation unit 63 constitutes a time stamp generation unit.

オフセット設定部64は例えばキーボードやスイッチなどのマンマシンインタフェースなどから構成されており、所定のオフセットの設定を受け付ける処理を実施する。
ここでは、オフセット設定部64がユーザにより設定されたオフセットを加算部65に出力する構成を示しているが、予め内部のメモリ内に格納しているオフセットを加算部65に出力するようにしてもよい。
加算部65はタイムスタンプ生成部63により生成されたビデオDTSrが示す復号開始時刻(あるいは、PTSrが示すビデオ信号の表示時刻)に対して、オフセット設定部64から出力されたオフセットを加算する処理を実施する。
なお、オフセット設定部64及び加算部65から補正値加算手段が構成されている。
The offset setting unit 64 includes, for example, a man-machine interface such as a keyboard and a switch, and performs processing for receiving a predetermined offset setting.
Here, a configuration is shown in which the offset setting unit 64 outputs the offset set by the user to the adding unit 65, but the offset stored in the internal memory in advance may be output to the adding unit 65. Good.
The adding unit 65 performs processing for adding the offset output from the offset setting unit 64 to the decoding start time indicated by the video DTSr generated by the time stamp generating unit 63 (or the display time of the video signal indicated by PTSr). carry out.
The offset setting unit 64 and the adding unit 65 constitute correction value adding means.

多重化部66はビデオ符号化部61により生成された符号化データCDATAr、加算部65から出力されたオフセット付のビデオDTSr及びSTC生成部62により生成された時刻管理情報PCRrを多重化して符号化ストリームを生成し、その符号化ストリームを再編成回路56に出力する処理を実施する。
なお、多重化部66は多重化手段を構成している。
The multiplexing unit 66 multiplexes and encodes the encoded data CDATAr generated by the video encoding unit 61, the video DTSr with an offset output from the adding unit 65, and the time management information PCRr generated by the STC generation unit 62. A process of generating a stream and outputting the encoded stream to the reorganization circuit 56 is performed.
The multiplexing unit 66 constitutes a multiplexing unit.

符号化回路55のビデオ符号化部71は画面分割回路52から出力された下半分の画面のビデオ信号を符号化して、その符号化データCDATAを生成する処理を実施する。
なお、ビデオ符号化部71は符号化手段を構成している。
STC生成部72は時計回路53から供給される時刻データにしたがって時刻基準STCを生成するとともに、その時刻基準STCの再生に用いる時刻管理情報PCRを生成する処理を実施する。
なお、STC生成部72は時刻基準生成手段を構成している。
The video encoding unit 71 of the encoding circuit 55 encodes the video signal of the lower half screen output from the screen dividing circuit 52, and performs processing for generating the encoded data CDATA.
Note that the video encoding unit 71 constitutes encoding means.
The STC generation unit 72 generates a time reference STC according to the time data supplied from the clock circuit 53, and performs processing for generating time management information PCR used for reproduction of the time reference STC.
Note that the STC generator 72 constitutes a time reference generator.

タイムスタンプ生成部73はSTC生成部72により生成された時刻基準STCを参照して、ビデオ符号化部71により符号化されるビデオ信号の復号開始時刻を示すビデオDTS(あるいは、ビデオ信号の表示時刻を示すPTS)を生成する処理を実施する。ここでは、ビデオDTS又はPTSを生成するものについて示しているが、ビデオDTSとPTSの双方を生成するようにしてもよい。
なお、タイムスタンプ生成部73はタイムスタンプ生成手段を構成している。
The time stamp generation unit 73 refers to the time reference STC generated by the STC generation unit 72 and refers to the video DTS indicating the decoding start time of the video signal encoded by the video encoding unit 71 (or the display time of the video signal). To generate a PTS). Here, the video DTS or PTS is generated, but both the video DTS and PTS may be generated.
The time stamp generator 73 constitutes a time stamp generator.

オフセット設定部74は例えばキーボードやスイッチなどのマンマシンインタフェースなどから構成されており、所定のオフセットの設定を受け付ける処理を実施する。
ここでは、オフセット設定部74がユーザにより設定されたオフセットを加算部75に出力する構成を示しているが、予め内部のメモリ内に格納しているオフセットを加算部75に出力するようにしてもよい。
加算部75はタイムスタンプ生成部73により生成されたビデオDTSが示す復号開始時刻(あるいは、PTSが示すビデオ信号の表示時刻)に対して、オフセット設定部74から出力されたオフセットを加算する処理を実施する。
なお、オフセット設定部74及び加算部75から補正値加算手段が構成されている。
The offset setting unit 74 includes, for example, a man-machine interface such as a keyboard and a switch, and performs processing for receiving a predetermined offset setting.
Here, a configuration is shown in which the offset setting unit 74 outputs the offset set by the user to the adding unit 75. However, the offset stored in advance in the internal memory may be output to the adding unit 75. Good.
The adding unit 75 adds the offset output from the offset setting unit 74 to the decoding start time indicated by the video DTS generated by the time stamp generating unit 73 (or the display time of the video signal indicated by the PTS). carry out.
The offset setting unit 74 and the adding unit 75 constitute correction value adding means.

多重化部76はビデオ符号化部71により生成された符号化データCDATA、加算部75から出力されたオフセット付のビデオDTS及びSTC生成部72により生成された時刻管理情報PCRを多重化して符号化ストリームを生成し、その符号化ストリームを再編成回路56に出力する処理を実施する。
なお、多重化部76は多重化手段を構成している。
図4はこの発明の実施の形態2による映像受信装置のビデオデコーダ11,12における復号タイミングを示す説明図である。
The multiplexing unit 76 multiplexes the encoded data CDATA generated by the video encoding unit 71, the video DTS with an offset output from the addition unit 75, and the time management information PCR generated by the STC generation unit 72, and encodes them. A process of generating a stream and outputting the encoded stream to the reorganization circuit 56 is performed.
The multiplexing unit 76 constitutes multiplexing means.
FIG. 4 is an explanatory diagram showing the decoding timing in the video decoders 11 and 12 of the video receiving apparatus according to the second embodiment of the present invention.

次に動作について説明する。
映像受信装置3では、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArを復号開始の基準として、ビデオデコーダ12のビデオ復号部36における符号化データCDATAの復号タイミングを補正するようにしている。
したがって、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAが伝送遅延等の影響で、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATAより遅くに到着すると、ビデオDTS補正部35による補正処理が不可能になり、復号タイミングの一致を図ることができなくなる。
Next, the operation will be described.
In the video receiving device 3, the decoding timing of the encoded data CDATA in the video decoding unit 36 of the video decoder 12 is corrected using the encoded data CDATAr decoded by the video decoding unit 24 of the video decoder 11 as a reference for starting decoding. Yes.
Therefore, when the encoded data CDATA decoded by the video decoding unit 36 of the video decoder 12 arrives later than the encoded data CDATA decoded by the video decoding unit 24 of the video decoder 11 due to the influence of transmission delay or the like, the video DTS correction unit The correction processing by 35 becomes impossible, and it becomes impossible to match the decoding timing.

図4の例では、映像送信装置が後述する復号基準補正値の加算処理を実施しなければ、ビデオDTS補正部35により補正されたビデオDTSに基づく表示時間、即ち、そのビデオDTSに固定の復号遅延が付加された時間(あるいは、ビデオDTS補正部35により補正されたPTS)が、分離部21からビデオ復号部24に出力されるビデオDTSrに基づく表示時間、即ち、そのビデオDTSrに固定の復号遅延が付加された時間(あるいは、分離部21からビデオ復号部24に出力されるPTS)より遅くなり、表示時刻が逆転して正確に表示することができなくなっている。   In the example of FIG. 4, if the video transmission device does not perform decoding reference correction value addition processing described later, the display time based on the video DTS corrected by the video DTS correction unit 35, that is, decoding fixed to the video DTS is performed. The time to which the delay is added (or the PTS corrected by the video DTS correction unit 35) is a display time based on the video DTSr output from the separation unit 21 to the video decoding unit 24, that is, decoding fixed to the video DTSr. It becomes later than the time to which the delay is added (or the PTS output from the separation unit 21 to the video decoding unit 24), and the display time is reversed and the display cannot be performed accurately.

そこで、この実施の形態2では、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAが、伝送遅延等の影響で、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArより遅くに到着しても、適切に表示することができるように、映像送信装置の構成を工夫している。
以下、映像送信装置の処理内容を具体的に説明する。
Therefore, in the second embodiment, the encoded data CDATA decoded by the video decoding unit 36 of the video decoder 12 is slower than the encoded data CDATAr decoded by the video decoding unit 24 of the video decoder 11 due to the influence of transmission delay or the like. The structure of the video transmission device has been devised so that it can be displayed properly even if it arrives at.
Hereinafter, the processing content of the video transmission apparatus will be specifically described.

例えば、符号化回路54のオフセット設定部64が出力するオフセットの値と、符号化回路55のオフセット設定部74が出力するオフセットの値が同一値である場合、伝送遅延等の影響がなければ、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArと、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAとは、同一時刻に到着する。
しかし、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAが、遅延等の影響によって、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArよりも、例えば、1フレームの伝送に相当する時間だけ到着が遅れる場合には、符号化回路54のオフセット設定部64が出力するオフセットの値を、符号化回路55のオフセット設定部74が出力するオフセットの値より、1フレームの伝送に相当する時間より大きな値にする。
例えば、符号化回路54のオフセット設定部64が出力するオフセットの値を2フレームの伝送に相当する時間に設定し、符号化回路55のオフセット設定部74が出力するオフセットの値を“0”に設定する。
For example, when the offset value output from the offset setting unit 64 of the encoding circuit 54 and the offset value output from the offset setting unit 74 of the encoding circuit 55 are the same value, there is no influence on transmission delay, etc. The encoded data CDATAr decoded by the video decoding unit 24 of the video decoder 11 and the encoded data CDATA decoded by the video decoding unit 36 of the video decoder 12 arrive at the same time.
However, the encoded data CDATA decoded by the video decoding unit 36 of the video decoder 12 is, for example, transmitted in one frame more than the encoded data CDATAr decoded by the video decoding unit 24 of the video decoder 11 due to the influence of delay or the like. When the arrival is delayed by a corresponding time, the offset value output from the offset setting unit 64 of the encoding circuit 54 is transmitted to one frame from the offset value output from the offset setting unit 74 of the encoding circuit 55. Set a value larger than the corresponding time.
For example, the offset value output from the offset setting unit 64 of the encoding circuit 54 is set to a time corresponding to transmission of two frames, and the offset value output from the offset setting unit 74 of the encoding circuit 55 is set to “0”. Set.

このように、オフセット設定部64,74のオフセットを設定した場合、加算部65,75がオフセット設定部64,74により設定されたオフセットをタイムスタンプ生成部63,73により生成されたビデオDTSr,DTSが示す復号開始時刻に加算することで、双方のオフセットの差分(復号基準補正値)だけ、ビデオDTSrが示す復号開始時刻が、ビデオDTSが示す復号開始時刻より遅くなる。
図4の例では、双方のオフセットの差分(復号基準補正値)だけ、ビデオDTSrが示す復号開始時刻が遅くなっている。
その結果、先に、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArが到着していても、その符号化データCDATArの復号タイミングと、その符号化データCDATAの復号タイミングの適正化を図ることが可能になっている。
即ち、ビデオDTS補正部35による補正処理が可能なり、最終的に復号タイミングを一致させることができるようになる。
As described above, when the offsets of the offset setting units 64 and 74 are set, the video DTSr and DTS generated by the time stamp generating units 63 and 73 are the offsets set by the adding units 65 and 75 by the offset setting units 64 and 74, respectively. The decoding start time indicated by the video DTSr is later than the decoding start time indicated by the video DTS by the difference between the two offsets (decoding reference correction value).
In the example of FIG. 4, the decoding start time indicated by the video DTSr is delayed by the difference between the two offsets (decoding reference correction value).
As a result, even if the encoded data CDATAAr to be decoded by the video decoding unit 24 of the video decoder 11 has arrived first, the decoding timing of the encoded data CDATAAr and the decoding timing of the encoded data CDATA are optimized. It is possible to plan.
That is, correction processing by the video DTS correction unit 35 can be performed, and finally the decoding timing can be matched.

以上で明らかなように、この実施の形態2によれば、符号化回路54,55が、タイムスタンプ生成部63,73により生成されたビデオDTSr,DTSが示す復号開始時刻に対して、オフセット設定部64,74から出力されたオフセットを加算する加算部65,75を搭載するように構成したので、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAが、伝送遅延等の影響で、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArより遅くに到着しても、適切に表示することができる効果を奏する。   As is apparent from the above, according to the second embodiment, the encoding circuits 54 and 55 set the offset with respect to the decoding start time indicated by the video DTSr and DTS generated by the time stamp generators 63 and 73. Since the addition units 65 and 75 for adding the offsets output from the units 64 and 74 are mounted, the encoded data CDATA decoded by the video decoding unit 36 of the video decoder 12 is affected by transmission delay and the like. Even if it arrives later than the encoded data CDATAr decoded by the video decoding unit 24 of the video decoder 11, it is possible to display appropriately.

この発明の実施の形態1による映像受信装置を示す構成図である。It is a block diagram which shows the video receiver by Embodiment 1 of this invention. この発明の実施の形態1による映像受信装置のビデオデコーダ11,12における復号タイミングを示す説明図である。It is explanatory drawing which shows the decoding timing in the video decoders 11 and 12 of the video receiver by Embodiment 1 of this invention. この発明の実施の形態2による映像送信装置を示す構成図である。It is a block diagram which shows the video transmission apparatus by Embodiment 2 of this invention. この発明の実施の形態2による映像受信装置のビデオデコーダ11,12における復号タイミングを示す説明図である。It is explanatory drawing which shows the decoding timing in the video decoders 11 and 12 of the video receiver by Embodiment 2 of this invention. 特許文献1に開示されている映像送信装置を示す構成図である。1 is a configuration diagram illustrating a video transmission device disclosed in Patent Document 1. FIG. 特許文献1に開示されている映像受信装置を示す構成図である。1 is a configuration diagram illustrating a video reception device disclosed in Patent Document 1. FIG.

符号の説明Explanation of symbols

1 映像送信装置、2 伝送装置(送信手段)、3 映像受信装置、11 ビデオデコーダ、12 ビデオデコーダ、13 画面合成回路、14 出力端子、21 分離部、22 ビデオバッファ、23 STC再生部、24 ビデオ復号部、31 分離部(分離手段)、32 ビデオバッファ、33,34 STC再生部(再生手段)、35 ビデオDTS補正部(補正手段)、36 ビデオ復号部(復号手段)、51 入力端子、52 画面分割回路(画面分割手段)、53 時計回路、54,55 符号化回路(符号化器)、56 再編成回路(送信手段)、61,71 ビデオ符号化部(符号化手段)、62,72 STC生成部(時刻基準生成手段)、63,73 タイムスタンプ生成部(タイムスタンプ生成手段)、64,74 オフセット設定部(補正値加算手段)、65,75 加算部(補正値加算手段)、66,76 多重化部(多重化手段)、101 入力端子、102 画面分割回路、103,104 符号化回路、105 時計回路、106,107 記録装置、108 再編成回路、109 伝送装置、111,112 再生装置、113,114 デコーダ、115 同期回路、116 遅延回路、117 画面合成回路、118 出力端子。   1 video transmission device, 2 transmission device (transmission means), 3 video reception device, 11 video decoder, 12 video decoder, 13 screen composition circuit, 14 output terminal, 21 separation unit, 22 video buffer, 23 STC playback unit, 24 video Decoding unit, 31 Separating unit (separating unit), 32 Video buffer, 33, 34 STC reproducing unit (reproducing unit), 35 Video DTS correcting unit (correcting unit), 36 Video decoding unit (decoding unit), 51 Input terminal, 52 Screen division circuit (screen division means), 53 clock circuit, 54, 55 encoding circuit (encoder), 56 reorganization circuit (transmission means), 61, 71 video encoding unit (encoding means), 62, 72 STC generator (time reference generator), 63, 73 Time stamp generator (time stamp generator), 64, 74 Offset setting (Correction value adding means), 65, 75 adding section (correction value adding means), 66, 76 multiplexing section (multiplexing means), 101 input terminal, 102 screen dividing circuit, 103, 104 encoding circuit, 105 clock circuit 106, 107 Recording device, 108 Reorganization circuit, 109 Transmission device, 111, 112 Playback device, 113, 114 Decoder, 115 Synchronization circuit, 116 Delay circuit, 117 Screen composition circuit, 118 Output terminal.

Claims (3)

符号化ストリームから符号化されている復号対象のビデオ信号、上記ビデオ信号の復号開始時刻を示す第1の復号タイムスタンプ、上記ビデオ信号を符号化している符号化器における時刻基準の再生に用いる時刻管理情報及び上記ビデオ信号の復号開始の基準となるビデオ信号の復号開始時刻を示す第2の復号タイムスタンプを分離する分離手段と、上記分離手段により分離された第1の復号タイムスタンプが示す復号開始時刻が第2の復号タイムスタンプが示す復号開始時刻と一致するように、上記第1の復号タイムスタンプが示す復号開始時刻を補正する補正手段と、上記分離手段により分離された時刻管理情報にしたがって時刻基準を再生する再生手段と、上記再生手段により再生された時刻基準が上記補正手段により補正された第1の復号タイムスタンプが示す復号開始時刻と一致するタイミングで、上記分離手段により分離されたビデオ信号の復号を開始する復号手段とを備えた映像受信装置。   A decoding target video signal encoded from the encoded stream, a first decoding time stamp indicating a decoding start time of the video signal, and a time used for reproduction of a time reference in an encoder encoding the video signal Separation means for separating the management information and a second decoding time stamp indicating a decoding start time of the video signal that is a reference for starting decoding of the video signal, and a decoding indicated by the first decoding time stamp separated by the separation means The correction means for correcting the decoding start time indicated by the first decoding time stamp and the time management information separated by the separating means so that the start time matches the decoding start time indicated by the second decoding time stamp. Therefore, the reproduction means for reproducing the time reference, and the first reference in which the time reference reproduced by the reproduction means is corrected by the correction means. At a timing that matches the decoding start time of the decoding time stamp indicates, the video receiver including a decoding unit to start decoding the separated video signal by said separating means. 分離手段がビデオ信号を符号化している符号化器における時刻基準の再生に用いる時刻管理情報の他に、符号化ストリームから復号開始の基準となるビデオ信号を符号化している符号化器における時刻基準の再生に用いる時刻管理情報を分離し、再生手段が双方の時刻管理情報にしたがって時刻基準をそれぞれ再生し、補正手段が第1の復号タイムスタンプが示す復号開始時刻と第2の復号タイムスタンプが示す復号開始時刻の時刻差と、双方の時刻基準の時刻差とから補正値を算出して、上記補正値を上記第1の復号タイムスタンプが示す復号開始時刻に加算することを特徴とする請求項1記載の映像受信装置。   In addition to the time management information used for the reproduction of the time reference in the encoder in which the separation means encodes the video signal, the time reference in the encoder that encodes the video signal that is the reference for starting decoding from the encoded stream The time management information used for the reproduction is separated, the reproduction means reproduces the time reference according to both time management information, and the correction means obtains the decoding start time and the second decoding time stamp indicated by the first decoding time stamp. A correction value is calculated from the time difference between the decoding start times indicated and the time difference between the two time references, and the correction value is added to the decoding start time indicated by the first decoding time stamp. Item 14. The video receiving device according to Item 1. ビデオ信号が表す画面を分割して、分割後の画面を表す複数のビデオ信号を出力する画面分割手段と、上記画面分割手段から出力されたビデオ信号を符号化する複数の符号化器と、上記複数の符号化器により符号化されたビデオ信号を含む符号化ストリームを生成し、上記符号化ストリームを送信する送信手段とを備えた映像送信装置において、上記複数の符号化器は、上記画面分割手段から出力されたビデオ信号を符号化する符号化手段と、時刻基準を生成するとともに、上記時刻基準の再生に用いる時刻管理情報を生成する時刻基準生成手段と、上記時刻基準生成手段により生成された時刻基準を参照して、上記符号化手段により符号化されるビデオ信号の復号開始時刻を示す復号タイムスタンプを生成するタイムスタンプ生成手段と、上記タイムスタンプ生成手段により生成された復号タイムスタンプが示す復号開始時刻に所定の復号基準補正値を加算する補正値加算手段と、上記符号化手段により符号化されたビデオ信号、上記補正値加算手段から出力された復号タイムスタンプ及び上記時刻基準生成手段により生成された時刻管理情報を多重化する多重化手段とを備えていることを特徴とする映像送信装置。   A screen dividing unit that divides the screen represented by the video signal and outputs a plurality of video signals representing the divided screen, a plurality of encoders that encode the video signal output from the screen dividing unit, and A video transmission apparatus comprising: a transmission means for generating an encoded stream including a video signal encoded by a plurality of encoders and transmitting the encoded stream; wherein the plurality of encoders include the screen division Generated by the encoding means for encoding the video signal output from the means, the time reference generating means for generating time management information used for reproducing the time reference, and the time reference generating means. A time stamp generating means for generating a decoding time stamp indicating a decoding start time of the video signal encoded by the encoding means with reference to the time reference, Correction value adding means for adding a predetermined decoding reference correction value to the decoding start time indicated by the decoding time stamp generated by the time stamp generating means, the video signal encoded by the encoding means, and the correction value adding means A video transmission apparatus comprising: a multiplexing unit that multiplexes the decoding time stamp output from the time management information generated by the time reference generation unit.
JP2008314526A 2008-12-10 2008-12-10 Video receiver and video transmitter Pending JP2010141498A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008314526A JP2010141498A (en) 2008-12-10 2008-12-10 Video receiver and video transmitter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008314526A JP2010141498A (en) 2008-12-10 2008-12-10 Video receiver and video transmitter

Publications (1)

Publication Number Publication Date
JP2010141498A true JP2010141498A (en) 2010-06-24

Family

ID=42351248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008314526A Pending JP2010141498A (en) 2008-12-10 2008-12-10 Video receiver and video transmitter

Country Status (1)

Country Link
JP (1) JP2010141498A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013059021A (en) * 2011-08-25 2013-03-28 Mitsubishi Electric Corp Method for distributed information source encoding of wavelet coefficient in zero tree
JP2017212515A (en) * 2016-05-24 2017-11-30 日本電信電話株式会社 Transcoding device, image distribution system, transcoding method, image distribution method, and transcoding program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013059021A (en) * 2011-08-25 2013-03-28 Mitsubishi Electric Corp Method for distributed information source encoding of wavelet coefficient in zero tree
JP2017212515A (en) * 2016-05-24 2017-11-30 日本電信電話株式会社 Transcoding device, image distribution system, transcoding method, image distribution method, and transcoding program

Similar Documents

Publication Publication Date Title
US6404818B1 (en) Video transmission device and its method
JP5137345B2 (en) Encoding / decoding method and apparatus for implementing local 3D video
US9628771B2 (en) Transmitter and receiver for transmitting and receiving multimedia content, and reproduction method therefor
JP6184408B2 (en) Receiving apparatus and receiving method thereof
JP4991129B2 (en) Video / audio playback apparatus and video / audio playback method
JP5586511B2 (en) Synchronous control device and program
JP6313704B2 (en) Reception device and synchronization processing method thereof
JPWO2013136754A1 (en) Display device and transmission device
WO2014188960A1 (en) Transmission device, transmission method, reception device and reception method
JPWO2013140485A1 (en) Encoding device, decoding device, encoding method, and decoding method
US8750389B2 (en) Video data decoder and method for decoding video data
US20140307805A1 (en) Encoding apparatus, decoding apparatus, encoding method, and decoding method
US20080198921A1 (en) Method and apparatus for reproducing digital broadcasting
KR100864009B1 (en) Lip-synchronize method
JP2872104B2 (en) Time stamp adding apparatus and method, and moving image compression / expansion transmission system and method using the same
JP2018182617A (en) Information processing apparatus, information processing method, program, and recording medium manufacturing method
JP2010141498A (en) Video receiver and video transmitter
JP6318953B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP2002369163A (en) Method of controlling multistream output timing and control apparatus therefor
JP6801668B2 (en) Content playback device and content playback method
JP5023190B2 (en) Video transmission system
JP2007201797A (en) Transmission system and video output method
KR20100106688A (en) Device and method for synchronizing signal in mobile broadcasting receiver
JP2002290969A (en) Synchronizing control device
WO2014045614A1 (en) Video signal transmitting method, video signal receiving apparatus, and video signal receiving method