JP2010141498A - Video receiver and video transmitter - Google Patents
Video receiver and video transmitter Download PDFInfo
- Publication number
- JP2010141498A JP2010141498A JP2008314526A JP2008314526A JP2010141498A JP 2010141498 A JP2010141498 A JP 2010141498A JP 2008314526 A JP2008314526 A JP 2008314526A JP 2008314526 A JP2008314526 A JP 2008314526A JP 2010141498 A JP2010141498 A JP 2010141498A
- Authority
- JP
- Japan
- Prior art keywords
- video
- decoding
- time
- video signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
Description
この発明は、例えば、大画面を分割して、分割画面のビデオ信号を符号化して送信する映像送信装置と、映像送信装置から送信された分割画面のビデオ信号を復号する映像受信装置とに関するものである。 The present invention relates to, for example, a video transmission device that divides a large screen, encodes and transmits a video signal of the divided screen, and a video reception device that decodes the video signal of the divided screen transmitted from the video transmission device. It is.
図5は特許文献1に開示されている映像送信装置を示す構成図である。
映像送信装置の画面分割回路102は、入力端子101から画像信号を入力すると、図中、点線で示しているフィールド前半の部分画像Pと、フィールド後半の部分画像Qとに分割することで、部分画像Pの画像データを符号化回路103に出力し、部分画像Qの画像データを符号化回路104に出力する。
FIG. 5 is a block diagram showing a video transmission device disclosed in
When an image signal is input from the
符号化回路103は、画面分割回路102から部分画像Pの画像データを受けると、例えば、MPEG規格に則して、その画像データを符号化する。
符号化回路104は、画面分割回路102から部分画像Qの画像データを受けると、例えば、MPEG規格に則して、その画像データを符号化する。
一般に、MPEG規格による符号化では、復号タイミングを同期させる時間情報としてタイムスタンプを符号化ストリームに挿入するのが普通である。
この映像送信装置においても、2つの符号化回路103,104の同期を取るために、時計回路105が上記タイムスタンプの基準となる時刻データを発生し、その時刻データを符号化回路103,104に供給するようにしている。
When receiving the image data of the partial image P from the screen dividing
When receiving the image data of the partial image Q from the screen dividing
In general, in encoding according to the MPEG standard, it is common to insert a time stamp into an encoded stream as time information for synchronizing decoding timing.
Also in this video transmission apparatus, in order to synchronize the two
そこで、符号化回路103,104は、部分画像P,Qの画像データを符号化する際、時計回路105より供給された時刻データからタイムスタンプを生成し、そのタイムスタンプを画像データの符号化データに挿入して、符号化ストリームを生成するようにしている。
符号化回路103,104は、符号化ストリームを生成すると、その符号化ストリームを記録装置106,107に記録するとともに、その符号化ストリームを再編成回路108に出力する。
Therefore, when encoding the image data of the partial images P and Q, the
When generating the encoded stream, the
再編成回路108は、符号化回路103,104から符号化ストリームをそれぞれ受けると、2つの符号化ストリームを1つに再編成して、1つの符号化ストリームを伝送装置109に出力する。
伝送装置109は、再編成回路108から符号化ストリームを受けると、その符号化ストリームを図6の映像受信装置に送信する。
Upon receiving the encoded streams from the
Upon receiving the encoded stream from the
図6は特許文献1に開示されている映像受信装置を示す構成図である。
映像受信装置の再生装置111は、図5の映像送信装置の記録装置106によって記録された符号化ストリームを再生する。
再生装置112は、図5の映像送信装置の記録装置107によって記録された符号化ストリームを再生する。
デコーダ113には、再生装置111によって再生された符号化ストリームが供給される。あるいは、伝送装置109により伝送された符号化ストリームから符号化回路103により生成された符号化ストリームが分離されて、その符号化ストリームが供給される。
デコーダ114には、再生装置112によって再生された符号化ストリームが供給される。あるいは、伝送装置109により伝送された符号化ストリームから符号化回路104により生成された符号化ストリームが分離されて、その符号化ストリームが供給される。
FIG. 6 is a block diagram showing a video receiving device disclosed in
The
The
The encoded stream reproduced by the reproducing
The encoded stream reproduced by the
デコーダ113は、符号化ストリームの供給を受けると、同期回路115から出力される同期データに同期して、その符号化ストリームの復号処理を実施し、復号後の画像データ(部分画像Pの画像データ)を画面合成回路117に出力する。
デコーダ114は、符号化ストリームの供給を受けると、同期回路115から出力される同期データに同期して、その符号化ストリームの復号処理を実施し、遅延回路116を介して、復号後の画像データ(部分画像Qの画像データ)を画面合成回路117に出力する。
部分画像Qの画像データが遅延回路116を介して画面合成回路117に出力されることで、デコーダ113とデコーダ114間の復号時間の時間ズレを吸収している。
When the
When the
By outputting the image data of the partial image Q to the
画面合成回路117は、部分画像Pの画像データと部分画像Qの画像データを受けると、2つの画像データから1つの画像データを合成し、その画像データを出力端子118に出力する。
Upon receiving the image data of the partial image P and the image data of the partial image Q, the
従来の映像送信装置は以上のように構成されているので、時計回路105を実装して、復号タイミングを同期させるための時刻データを符号化回路103,104に供給する必要がある。
また、映像受信装置では、デコーダ113とデコーダ114間の復号時間の時間ズレを吸収するために、遅延回路116を実装する必要がある。
分割数が多くなる程、映像送信装置では、時計回路105が時刻データを供給する対象の符号化回路が増加し、映像受信装置では、多くの遅延回路116を実装する必要が生じる。そのため、システム構成が複雑化して、コストアップの要因になるなどの課題があった。
Since the conventional video transmission apparatus is configured as described above, it is necessary to mount the
Further, in the video reception device, it is necessary to mount the
As the number of divisions increases, in the video transmission device, the number of encoding circuits to which the
この発明は上記のような課題を解決するためになされたもので、遅延回路を実装することなく、復号時間の時間ズレがないビデオ信号を出力することができる映像受信装置を得ることを目的とする。
また、この発明は、上記の映像受信装置に適用することができる映像送信装置を得ることを目的とする。
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a video receiving apparatus capable of outputting a video signal without a time lag of decoding time without mounting a delay circuit. To do.
Another object of the present invention is to provide a video transmission device that can be applied to the above video reception device.
この発明に係る映像受信装置は、分離手段により分離された第1の復号タイムスタンプが示す復号開始時刻が第2の復号タイムスタンプが示す復号開始時刻と一致するように、第1の復号タイムスタンプが示す復号開始時刻を補正する補正手段と、分離手段により分離された時刻管理情報にしたがって時刻基準を再生する再生手段とを設け、復号手段が再生手段により再生された時刻基準が補正手段により補正された第1の復号タイムスタンプが示す復号開始時刻と一致するタイミングで、分離手段により分離されたビデオ信号の復号を開始するようにしたものである。 The video receiving apparatus according to the present invention provides the first decoding time stamp so that the decoding start time indicated by the first decoding time stamp separated by the separating means matches the decoding start time indicated by the second decoding time stamp. Is provided with a correcting means for correcting the decoding start time indicated by and a reproducing means for reproducing the time reference according to the time management information separated by the separating means, and the correcting means corrects the time reference reproduced by the reproducing means. The decoding of the video signal separated by the separating means is started at a timing that coincides with the decoding start time indicated by the first decoding time stamp.
この発明によれば、分離手段により分離された第1の復号タイムスタンプが示す復号開始時刻が第2の復号タイムスタンプが示す復号開始時刻と一致するように、第1の復号タイムスタンプが示す復号開始時刻を補正する補正手段と、分離手段により分離された時刻管理情報にしたがって時刻基準を再生する再生手段とを設け、復号手段が再生手段により再生された時刻基準が補正手段により補正された第1の復号タイムスタンプが示す復号開始時刻と一致するタイミングで、分離手段により分離されたビデオ信号の復号を開始するように構成したので、遅延回路を実装することなく、復号時間の時間ズレがないビデオ信号を出力することができる効果がある。 According to this invention, the decoding indicated by the first decoding time stamp so that the decoding start time indicated by the first decoding time stamp separated by the separating means matches the decoding start time indicated by the second decoding time stamp. A correction means for correcting the start time and a reproduction means for reproducing the time reference according to the time management information separated by the separation means are provided, and the time reference reproduced by the reproduction means by the reproduction means is corrected by the correction means. Since the decoding of the video signal separated by the separation means is started at a timing that coincides with the decoding start time indicated by the decoding time stamp of 1, there is no time lag of the decoding time without mounting a delay circuit. There is an effect that a video signal can be output.
実施の形態1.
図1はこの発明の実施の形態1による映像受信装置を示す構成図である。
図1において、映像送信装置1はビデオ信号が表す大画面を分割し、各分割画面のビデオ信号を符号化して符号化ストリームを生成し、その符号化ストリームを送信する装置である。
この実施の形態1では、説明の簡単化のため、大画面を2つの画面(例えば、上半分の画面と、下半分の画面)に分割する例を説明する。
この場合、映像送信装置1から送信される符号化ストリームには、以下のデータ等が含まれている。ただし、以下のデータ等は、2つの画面に分割する場合の一例であり、3つ以上の画面に分割する場合には、分割画面数分の符号化データ等が含まれる。
1 is a block diagram showing a video receiving apparatus according to
In FIG. 1, a
In the first embodiment, for simplification of description, an example in which a large screen is divided into two screens (for example, an upper half screen and a lower half screen) will be described.
In this case, the encoded stream transmitted from the
なお、この実施の形態1では、下半分の画面のビデオ信号の復号を、上半分の画面のビデオ信号を基準にして、復号を同一時刻に行うので、上半分の画面のビデオ信号を必要に応じて「復号基準のビデオ信号」と称し、上半分の画面のビデオ信号の符号化データCDATArを「復号基準の符号化データ」と称する。
一方、下半分の画面のビデオ信号を必要に応じて「復号対象のビデオ信号」と称し、下半分の画面のビデオ信号の符号化データCDATAを「復号対象の符号化データ」と称する。
In the first embodiment, the video signal of the lower half screen is decoded at the same time with reference to the video signal of the upper half screen, so the video signal of the upper half screen is required. Accordingly, it is referred to as “decoding reference video signal”, and the encoded data CDATAr of the video signal of the upper half screen is referred to as “decoding reference encoded data”.
On the other hand, the video signal of the lower half screen is referred to as “decoding target video signal” as necessary, and the encoded data CDATA of the lower half screen video signal is referred to as “decoding target encoded data”.
(1−1)上半分の画面のビデオ信号の符号化データCDATAr
(1−2)下半分の画面のビデオ信号の符号化データCDATA
(2−1)符号化データCDATArの復号開始時刻を示すデコーディングタイムスタンプ(第2の復号タイムスタンプ:以下、「ビデオDTSr」と称する)
(2−2)符号化データCDATAの復号開始時刻を示すデコーディングタイムスタンプ(第1の復号タイムスタンプ:以下、「ビデオDTS」と称する)
(3−1)上半分の画面のビデオ信号を符号化している符号化器(映像送信装置1内の符号化器)における時刻基準STCr(System Time Clock)の再生に用いる時刻管理情報PCRr(Program Clock Reference)
(3−2)下半分の画面のビデオ信号を符号化している符号化器(映像送信装置1内の符号化器)における時刻基準STCの再生に用いる時刻管理情報PCR
(1-1) Encoded data CDATAr of the video signal of the upper half screen
(1-2) Encoded data CDATA of the video signal of the lower half screen
(2-1) Decoding time stamp indicating the decoding start time of the encoded data CDATAr (second decoding time stamp: hereinafter referred to as “video DTSr”)
(2-2) Decoding time stamp indicating the decoding start time of the encoded data CDATA (first decoding time stamp: hereinafter referred to as “video DTS”)
(3-1) Time management information PCRr (Program) used for reproduction of a time reference STCr (System Time Clock) in an encoder (encoder in the video transmission apparatus 1) that encodes the video signal of the upper half screen. (Clock Reference)
(3-2) Time management information PCR used for reproduction of the time reference STC in the encoder (encoder in the video transmission apparatus 1) that encodes the video signal of the lower half screen
伝送装置2は映像送信装置1から送信された符号化ストリームを映像受信装置3に伝送する装置である。
映像受信装置3は伝送装置2により伝送された分割画面のビデオ信号を復号する装置である。
The
The
映像受信装置3のビデオデコーダ11は符号化ストリームから符号化データCDATArを分離し、その符号化データCDATArから上半分の画面のビデオ信号(復号基準のビデオ信号)を復号する処理を実施する。
ビデオデコーダ12は符号化ストリームから符号化データCDATAを分離し、その符号化データCDATAから下半分の画面のビデオ信号を復号する処理を実施する。
画面合成回路13はビデオデコーダ11,12によって同一時刻に復号された上半分の画面のビデオ信号と下半分の画面のビデオ信号を合成し、合成画面のビデオ信号を出力端子14に出力する処理を実施する。
The
The
The
ビデオデコーダ11の分離部21は符号化ストリームから復号基準の符号化データCDATAr、ビデオDTSr及び時刻管理情報PCRrを分離する処理を実施する。
ビデオバッファ22は分離部21により分離された復号基準の符号化データCDATArを一時的に格納するメモリである。
STC再生部23は分離部21により分離された時刻管理情報PCRrにしたがって時刻基準STCrを再生する処理を実施する。
ビデオ復号部24はSTC再生部23により再生された時刻基準STCrが分離部21により分離されたビデオDTSrが示す復号開始時刻と一致するタイミングで、ビデオバッファ22に格納されている符号化データCDATArに対する復号処理を開始して、復号結果である上半分の画面のビデオ信号を画面合成回路13に出力する。
The
The
The
The
ビデオデコーダ12の分離部31は符号化ストリームから復号対象の符号化データCDATA、ビデオDTS、ビデオDTSr、時刻管理情報PCR、時刻管理情報PCRrを分離する処理を実施する。
なお、分離部31は分離手段を構成している。
ビデオバッファ32は分離部31により分離された復号対象の符号化データCDATAを一時的に格納するメモリである。
The
The separating
The
STC再生部33は分離部31により分離された時刻管理情報PCRにしたがって時刻基準STCを再生する処理を実施する。
STC再生部34は分離部31により分離された時刻管理情報PCRrにしたがって時刻基準STCrを再生する処理を実施する。
なお、STC再生部33,34は再生手段を構成している。
The
The
Note that the
ビデオDTS補正部35は分離部31により分離されたビデオDTSが示す復号開始時刻が、ビデオDTSrが示す復号開始時刻と一致するように、そのビデオDTSが示す復号開始時刻を補正する処理を実施する。
即ち、ビデオDTS補正部35は分離部31により分離されたビデオDTSが示す復号開始時刻とビデオDTSrが示す復号開始時刻の時刻差となる補正値(=DTSr−DTS)を算出して、その補正値をビデオDTSが示す復号開始時刻に加算する処理を実施する。
なお、ビデオDTS補正部35は補正手段を構成している。
The video
That is, the video
The video
ビデオ復号部36はSTC再生部33により再生された時刻基準STCがビデオDTS補正部35により補正されたビデオDTSが示す復号開始時刻と一致するタイミングで、ビデオバッファ32に格納されている符号化データCDATAに対する復号処理を開始して、復号結果である下半分の画面のビデオ信号を画面合成回路13に出力する。
なお、ビデオ復号部36は復号手段を構成している。
図2はこの発明の実施の形態1による映像受信装置のビデオデコーダ11,12における復号タイミングを示す説明図である。
The
Note that the
FIG. 2 is an explanatory diagram showing the decoding timing in the
次に動作について説明する。
映像送信装置1は、大画面を表すビデオ信号を入力すると、例えば、大画面を上半分と下半分に分割して、上半分の画面のビデオ信号を符号化し、下半分の画面のビデオ信号を符号化する。
このとき、ビデオ信号の符号化方式として、例えば、動画像圧縮の国際基準であるMPEG(Moving Picture Experts Group)−2規格が用いられる場合、ビデオ信号の復号・再生の単位毎(例えば、1フレーム毎)に復号タイムスタンプが付加され、この復号タイムスタンプの時刻基準として、システムタイムクロックが定義される。
Next, the operation will be described.
When the
At this time, for example, when the MPEG (Moving Picture Experts Group) -2 standard, which is an international standard for moving picture compression, is used as a video signal encoding method, each video signal decoding / playback unit (for example, one frame) is used. A decoding time stamp is added to each), and a system time clock is defined as a time reference for the decoding time stamp.
したがって、映像送信装置1において、上半分の画面のビデオ信号(復号基準のビデオ信号)を符号化する符号化器は、MPEG−2規格を用いる場合、上半分の画面のビデオ信号を符号化して符号化データCDATArを生成する際、その符号化データCDATArの復号開始時刻を示すビデオDTSrを生成する。
また、この符号化器は、そのビデオDTSrの時刻基準STCrを映像受信装置3で再生できるようにするために、その時刻基準STCrの再生に用いる時刻管理情報PCRrを生成し、その符号化データCDATAr、ビデオDTSr及び時刻管理情報PCRrからなる符号化ストリームを生成する。
Therefore, in the
Further, this encoder generates time management information PCRr used for reproduction of the time reference STCr so that the
映像送信装置1において、下半分の画面のビデオ信号を符号化する符号化器は、MPEG−2規格を用いる場合、下半分の画面のビデオ信号を符号化して符号化データCDATAを生成する際、その符号化データCDATAの復号開始時刻を示すビデオDTSを生成する。
また、この符号化器は、そのビデオDTSの時刻基準STCを映像受信装置3で再生できるようにするために、その時刻基準STCの再生に用いる時刻管理情報PCRを生成し、その符号化データCDATA、ビデオDTS及び時刻管理情報PCRからなる符号化ストリームを生成する。
In the
Further, this encoder generates time management information PCR used for reproduction of the time reference STC so that the
映像送信装置1は、各符号化器が符号化ストリームを生成すると、2つの符号化ストリームを再編成して、1つの符号化ストリームを生成する。
伝送装置2は、映像送信装置1が1つの符号化ストリームを生成すると、その符号化ストリームを映像受信装置3に伝送する。
When each encoder generates an encoded stream, the
When the
映像受信装置3のビデオデコーダ11は、伝送装置2から符号化ストリームを受信すると、その符号化ストリームから符号化データCDATArを分離し、その符号化データCDATArに対する復号処理を実施して、上半分の画面のビデオ信号(復号基準のビデオ信号)を出力する。
以下、ビデオデコーダ11の処理内容を具体的に説明する。
When the
Hereinafter, the processing content of the
ビデオデコーダ11の分離部21は、符号化ストリームから復号基準の符号化データCDATAr、ビデオDTSr及び時刻管理情報PCRrを分離して、その符号化データCDATArをビデオバッファ22に格納する。
また、分離部21は、ビデオDTSrをビデオ復号部24に出力し、その時刻管理情報PCRrをSTC再生部23に出力する。
The
In addition, the
ビデオデコーダ11のSTC再生部23は、分離部21から時刻管理情報PCRrを受けると、その時刻管理情報PCRrにしたがって時刻基準STCrを再生し、その時刻基準STCrをビデオ復号部24に出力する。
ビデオデコーダ11のビデオ復号部24は、図2に示すように、STC再生部23により再生された時刻基準STCrが分離部21から出力されたビデオDTSrが示す復号開始時刻と一致するタイミングで、ビデオバッファ22に格納されている符号化データCDATArに対する復号処理を開始して、復号結果である上半分の画面のビデオ信号を画面合成回路13に出力する。
図2の例では、時刻基準STCrが時刻00:05になるタイミングで、符号化データCDATArに対する復号処理を開始している。
When receiving the time management information PCRr from the
As shown in FIG. 2, the
In the example of FIG. 2, the decoding process for the encoded data CDATAr is started at the timing when the time reference STCr becomes time 00:05.
映像受信装置3のビデオデコーダ12は、伝送装置2から符号化ストリームを受信すると、その符号化ストリームから符号化データCDATAを分離し、その符号化データCDATAに対する復号処理を実施して、下半分の画面のビデオ信号を出力する。
以下、ビデオデコーダ12の処理内容を具体的に説明する。
When the
Hereinafter, the processing content of the
ビデオデコーダ12の分離部31は、符号化ストリームから復号対象の符号化データCDATA、ビデオDTS、ビデオDTSr、時刻管理情報PCR、時刻管理情報PCRrを分離して、その符号化データCDATAをビデオバッファ32に格納する。
また、分離部31は、そのビデオDTS及びビデオDTSrをビデオDTS補正部35に出力し、その時刻管理情報PCRをSTC再生部33に出力し、その時刻管理情報PCRrをSTC再生部34に出力する。
The
Further, the
図2の例では、映像送信装置1における2つの符号化器の時刻基準STC、STCrにズレがあるために、ビデオDTSが示す復号開始時刻とビデオDTSrが示す復号開始時刻の間にズレが生じている。
このため、ビデオDTSが示す復号開始時刻を補正しなければ、上半分の画面のビデオ信号(復号基準のビデオ信号)より、下半分の画面のビデオ信号が早く復号されて出力されるタイミングずれが発生する。
In the example of FIG. 2, since there is a difference between the time references STC and STCr of the two encoders in the
For this reason, if the decoding start time indicated by the video DTS is not corrected, there is a timing shift in which the video signal of the lower half screen is decoded and output earlier than the video signal of the upper half screen (decoding reference video signal). appear.
ビデオデコーダ12のSTC再生部33は、分離部31から時刻管理情報PCRを受けると、その時刻管理情報PCRにしたがって時刻基準STCを再生し、その時刻基準STCをビデオ復号部36及びビデオDTS補正部35に出力する。
ビデオデコーダ12のSTC再生部34は、分離部31から時刻管理情報PCRrを受けると、その時刻管理情報PCRrにしたがって時刻基準STCrを再生し、その時刻基準STCrをビデオDTS補正部35に出力する。
When receiving the time management information PCR from the
When receiving the time management information PCRr from the
ビデオDTS補正部35は、分離部31からビデオDTSとビデオDTSrを受けると、そのビデオDTSが示す復号開始時刻が、そのビデオDTSrが示す復号開始時刻と一致するように、そのビデオDTSが示す復号開始時刻を補正する。
即ち、ビデオDTS補正部35は、ビデオDTSが示す復号開始時刻とその到着時間ATSから遅延量を算出するとともに、ビデオDTSrが示す復号開始時刻とその到着時間ATSrから遅延量を算出し、その2つの遅延量と到着時間差(ATSr−ATS)から補正値(=DTSr−DTS)を算出して、その補正値をビデオDTSが示す復号開始時刻に加算する。
補正値=DTSr−DTS
=((ATSr−ATS)+(DTSr−DTS))−(DTS−ATS)
When the video
That is, the video
Correction value = DTSr−DTS
= ((ATSr-ATS) + (DTSr-DTS))-(DTS-ATS)
ビデオ復号部36は、ビデオDTS補正部35から補正後のビデオDTSを受けると、STC再生部33により再生された時刻基準STCが、補正後のビデオDTSが示す復号開始時刻と一致するタイミングで、ビデオバッファ32に格納されている符号化データCDATAに対する復号処理を開始して、復号結果である下半分の画面のビデオ信号を画面合成回路13に出力する。
図2の例では、時刻基準STCが時刻01:04になるタイミングで、ビデオ復号部36が符号化データCDATAに対する復号処理を開始しており、ビデオ復号部24の復号タイミングと一致している。
When the
In the example of FIG. 2, the
画面合成回路13は、ビデオデコーダ11,12によって同一時刻に復号された上半分の画面のビデオ信号と下半分の画面のビデオ信号を合成し、合成画面のビデオ信号を出力端子14に出力する。
The
以上で明らかなように、この実施の形態1によれば、ビデオデコーダ12の分離部31により分離されたビデオDTSが示す復号開始時刻がビデオDTSrが示す復号開始時刻と一致するように、ビデオDTSが示す復号開始時刻を補正するビデオDTS補正部35と、分離部31により分離された時刻管理情報PCRにしたがって時刻基準STCを再生するSTC再生部33とを設け、ビデオ復号部36がSTC再生部33により再生された時刻基準STCがビデオDTS補正部35により補正されたビデオDTSが示す復号開始時刻と一致するタイミングで、ビデオバッファ32に格納されている符号化データCDATAの復号を開始するように構成したので、従来例のように、遅延回路を実装することなく、上半分の画面のビデオ信号と下半分の画面のビデオ信号との間で、復号時間がズレていない合成画面のビデオ信号を出力することができる効果を奏する。
As is apparent from the above, according to the first embodiment, the video DTS is set so that the decoding start time indicated by the video DTS separated by the
また、この実施の形態1によれば、ビデオDTS補正部35が、ビデオDTSが示す復号開始時刻とその到着時間ATSから遅延量を算出するとともに、ビデオDTSrが示す復号開始時刻とその到着時間ATSrから遅延量を算出し、その2つの遅延量と到着時間差(ATSr−ATS)から補正値(=DTSr−DTS)を算出して、その補正値をビデオDTSが示す復号開始時刻に加算するように構成したので、上半分の画面のビデオ信号を符号化している符号化器(映像送信装置1内の符号化器)における時刻基準STCrと、下半分の画面のビデオ信号を符号化している符号化器(映像送信装置1内の符号化器)における時刻基準STCとの間にズレが生じている場合でも、ビデオDTSが示す復号開始時刻を正確にビデオDTSrが示す復号開始時刻に一致させることができる効果を奏する。
Further, according to the first embodiment, the video
なお、この実施の形態1では、ビデオDTS補正部35が、ビデオDTSが示す復号開始時刻を補正するものについて示したが、MPEG−2規格では、映像送信装置からビデオDTSのほかに、画面を表示する時刻を示すプレゼンテーションタイムスタンプ(以下、「PTS」と称する)が付加されるので、ビデオDTSが示す復号開始時刻の代わりに、PTS(=ビデオDTS+固定の復号遅延)が示す表示時刻を補正するようにしてもよい。
In the first embodiment, the video
また、この実施の形態1では、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArを復号開始の基準として、ビデオデコーダ12のビデオ復号部36における符号化データCDATAの復号タイミングを補正しているが、MPEG−2ビデオの符号化時において、例えば、15フレーム毎に挿入されるイントラピクチャを復号開始の基準としてもよく、より大きな時間的なズレに対応することができる。
In the first embodiment, the decoding timing of the encoded data CDATA in the
また、この実施の形態1では、伝送装置2が、ビデオデコーダ11が復号する符号化データCDATArと、ビデオデコーダ12が復号する符号化データCDATAとを多重している符号化ストリームを映像受信装置3に送信するものについて示したが、ビデオデコーダ11が復号する符号化データCDATArと、ビデオデコーダ12が復号する符号化データCDATAとを別個に伝送して、ビデオデコーダ11,12の分離部21,31に与えるようにしてもよい。
また、この実施の形態1では、分割画面を符号化する複数の符号化器を1つの映像送信装置1として示したが、複数の送信装置から出力した符号化データを再編成回路で1つのストリームにしても良い。
また、この実施の形態1では、ビデオデコーダ11とビデオデコーダ12を1つの映像受信装置3として示したが、別個のビデオデコーダを持つ映像受信装置として外部で画面合成を行っても良い。
In the first embodiment, the
In the first embodiment, a plurality of encoders that encode divided screens are shown as one
Further, in the first embodiment, the
実施の形態2.
図3はこの発明の実施の形態2による映像送信装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
画面分割回路52は入力端子51から大画面を表すビデオ信号を入力すると、その大画面を分割して、分割後の画面を表す複数のビデオ信号を出力する処理を実施する。図3では、2つの画面に分割する例を示している。
なお、画面分割回路52は画面分割手段を構成している。
FIG. 3 is a block diagram showing a video transmission apparatus according to
When a video signal representing a large screen is input from the
The
時計回路53はタイムスタンプの基準となる時刻データを符号化回路54,55に供給するクロックである。
符号化回路54はMPEG−2規格に則して、例えば、画面分割回路52から出力された上半分の画面のビデオ信号を符号化し、その符号化データCDATArを含む符号化ストリームを出力する処理を実施する。
符号化回路55はMPEG−2規格に則して、例えば、画面分割回路52から出力された下半分の画面のビデオ信号を符号化し、その符号化データCDATAを含む符号化ストリームを出力する処理を実施する。
なお、符号化回路54,55は符号化器を構成している。
The clock circuit 53 is a clock that supplies time data serving as a time stamp reference to the
In accordance with the MPEG-2 standard, for example, the
In accordance with the MPEG-2 standard, for example, the
Note that the
再編成回路56は符号化回路54,55から出力された2つの符号化ストリームを1つに再編成して、1つの符号化ストリームを伝送装置2に出力する処理を実施する。
なお、再編成回路56及び伝送装置2から送信手段が構成されている。
The
The
符号化回路54のビデオ符号化部61は画面分割回路52から出力された上半分の画面のビデオ信号を符号化して、その符号化データCDATArを生成する処理を実施する。
なお、ビデオ符号化部61は符号化手段を構成している。
STC生成部62は時計回路53から供給される時刻データにしたがって時刻基準STCrを生成するとともに、その時刻基準STCrの再生に用いる時刻管理情報PCRrを生成する処理を実施する。
なお、STC生成部62は時刻基準生成手段を構成している。
The
Note that the
The
The
タイムスタンプ生成部63はSTC生成部62により生成された時刻基準STCrを参照して、ビデオ符号化部61により符号化されるビデオ信号の復号開始時刻を示すビデオDTSr(あるいは、ビデオ信号の表示時刻を示すPTSr)を生成する処理を実施する。ここでは、ビデオDTSr又はPTSrを生成するものについて示しているが、ビデオDTSrとPTSrの双方を生成するようにしてもよい。
なお、タイムスタンプ生成部63はタイムスタンプ生成手段を構成している。
The time stamp generator 63 refers to the time base STCr generated by the
The time stamp generation unit 63 constitutes a time stamp generation unit.
オフセット設定部64は例えばキーボードやスイッチなどのマンマシンインタフェースなどから構成されており、所定のオフセットの設定を受け付ける処理を実施する。
ここでは、オフセット設定部64がユーザにより設定されたオフセットを加算部65に出力する構成を示しているが、予め内部のメモリ内に格納しているオフセットを加算部65に出力するようにしてもよい。
加算部65はタイムスタンプ生成部63により生成されたビデオDTSrが示す復号開始時刻(あるいは、PTSrが示すビデオ信号の表示時刻)に対して、オフセット設定部64から出力されたオフセットを加算する処理を実施する。
なお、オフセット設定部64及び加算部65から補正値加算手段が構成されている。
The offset setting
Here, a configuration is shown in which the offset setting
The adding
The offset setting
多重化部66はビデオ符号化部61により生成された符号化データCDATAr、加算部65から出力されたオフセット付のビデオDTSr及びSTC生成部62により生成された時刻管理情報PCRrを多重化して符号化ストリームを生成し、その符号化ストリームを再編成回路56に出力する処理を実施する。
なお、多重化部66は多重化手段を構成している。
The multiplexing
The multiplexing
符号化回路55のビデオ符号化部71は画面分割回路52から出力された下半分の画面のビデオ信号を符号化して、その符号化データCDATAを生成する処理を実施する。
なお、ビデオ符号化部71は符号化手段を構成している。
STC生成部72は時計回路53から供給される時刻データにしたがって時刻基準STCを生成するとともに、その時刻基準STCの再生に用いる時刻管理情報PCRを生成する処理を実施する。
なお、STC生成部72は時刻基準生成手段を構成している。
The
Note that the
The
Note that the
タイムスタンプ生成部73はSTC生成部72により生成された時刻基準STCを参照して、ビデオ符号化部71により符号化されるビデオ信号の復号開始時刻を示すビデオDTS(あるいは、ビデオ信号の表示時刻を示すPTS)を生成する処理を実施する。ここでは、ビデオDTS又はPTSを生成するものについて示しているが、ビデオDTSとPTSの双方を生成するようにしてもよい。
なお、タイムスタンプ生成部73はタイムスタンプ生成手段を構成している。
The time stamp generation unit 73 refers to the time reference STC generated by the
The time stamp generator 73 constitutes a time stamp generator.
オフセット設定部74は例えばキーボードやスイッチなどのマンマシンインタフェースなどから構成されており、所定のオフセットの設定を受け付ける処理を実施する。
ここでは、オフセット設定部74がユーザにより設定されたオフセットを加算部75に出力する構成を示しているが、予め内部のメモリ内に格納しているオフセットを加算部75に出力するようにしてもよい。
加算部75はタイムスタンプ生成部73により生成されたビデオDTSが示す復号開始時刻(あるいは、PTSが示すビデオ信号の表示時刻)に対して、オフセット設定部74から出力されたオフセットを加算する処理を実施する。
なお、オフセット設定部74及び加算部75から補正値加算手段が構成されている。
The offset setting
Here, a configuration is shown in which the offset setting
The adding
The offset setting
多重化部76はビデオ符号化部71により生成された符号化データCDATA、加算部75から出力されたオフセット付のビデオDTS及びSTC生成部72により生成された時刻管理情報PCRを多重化して符号化ストリームを生成し、その符号化ストリームを再編成回路56に出力する処理を実施する。
なお、多重化部76は多重化手段を構成している。
図4はこの発明の実施の形態2による映像受信装置のビデオデコーダ11,12における復号タイミングを示す説明図である。
The multiplexing
The multiplexing
FIG. 4 is an explanatory diagram showing the decoding timing in the
次に動作について説明する。
映像受信装置3では、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArを復号開始の基準として、ビデオデコーダ12のビデオ復号部36における符号化データCDATAの復号タイミングを補正するようにしている。
したがって、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAが伝送遅延等の影響で、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATAより遅くに到着すると、ビデオDTS補正部35による補正処理が不可能になり、復号タイミングの一致を図ることができなくなる。
Next, the operation will be described.
In the
Therefore, when the encoded data CDATA decoded by the
図4の例では、映像送信装置が後述する復号基準補正値の加算処理を実施しなければ、ビデオDTS補正部35により補正されたビデオDTSに基づく表示時間、即ち、そのビデオDTSに固定の復号遅延が付加された時間(あるいは、ビデオDTS補正部35により補正されたPTS)が、分離部21からビデオ復号部24に出力されるビデオDTSrに基づく表示時間、即ち、そのビデオDTSrに固定の復号遅延が付加された時間(あるいは、分離部21からビデオ復号部24に出力されるPTS)より遅くなり、表示時刻が逆転して正確に表示することができなくなっている。
In the example of FIG. 4, if the video transmission device does not perform decoding reference correction value addition processing described later, the display time based on the video DTS corrected by the video
そこで、この実施の形態2では、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAが、伝送遅延等の影響で、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArより遅くに到着しても、適切に表示することができるように、映像送信装置の構成を工夫している。
以下、映像送信装置の処理内容を具体的に説明する。
Therefore, in the second embodiment, the encoded data CDATA decoded by the
Hereinafter, the processing content of the video transmission apparatus will be specifically described.
例えば、符号化回路54のオフセット設定部64が出力するオフセットの値と、符号化回路55のオフセット設定部74が出力するオフセットの値が同一値である場合、伝送遅延等の影響がなければ、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArと、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAとは、同一時刻に到着する。
しかし、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAが、遅延等の影響によって、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArよりも、例えば、1フレームの伝送に相当する時間だけ到着が遅れる場合には、符号化回路54のオフセット設定部64が出力するオフセットの値を、符号化回路55のオフセット設定部74が出力するオフセットの値より、1フレームの伝送に相当する時間より大きな値にする。
例えば、符号化回路54のオフセット設定部64が出力するオフセットの値を2フレームの伝送に相当する時間に設定し、符号化回路55のオフセット設定部74が出力するオフセットの値を“0”に設定する。
For example, when the offset value output from the offset setting
However, the encoded data CDATA decoded by the
For example, the offset value output from the offset setting
このように、オフセット設定部64,74のオフセットを設定した場合、加算部65,75がオフセット設定部64,74により設定されたオフセットをタイムスタンプ生成部63,73により生成されたビデオDTSr,DTSが示す復号開始時刻に加算することで、双方のオフセットの差分(復号基準補正値)だけ、ビデオDTSrが示す復号開始時刻が、ビデオDTSが示す復号開始時刻より遅くなる。
図4の例では、双方のオフセットの差分(復号基準補正値)だけ、ビデオDTSrが示す復号開始時刻が遅くなっている。
その結果、先に、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArが到着していても、その符号化データCDATArの復号タイミングと、その符号化データCDATAの復号タイミングの適正化を図ることが可能になっている。
即ち、ビデオDTS補正部35による補正処理が可能なり、最終的に復号タイミングを一致させることができるようになる。
As described above, when the offsets of the offset setting
In the example of FIG. 4, the decoding start time indicated by the video DTSr is delayed by the difference between the two offsets (decoding reference correction value).
As a result, even if the encoded data CDATAAr to be decoded by the
That is, correction processing by the video
以上で明らかなように、この実施の形態2によれば、符号化回路54,55が、タイムスタンプ生成部63,73により生成されたビデオDTSr,DTSが示す復号開始時刻に対して、オフセット設定部64,74から出力されたオフセットを加算する加算部65,75を搭載するように構成したので、ビデオデコーダ12のビデオ復号部36が復号する符号化データCDATAが、伝送遅延等の影響で、ビデオデコーダ11のビデオ復号部24が復号する符号化データCDATArより遅くに到着しても、適切に表示することができる効果を奏する。
As is apparent from the above, according to the second embodiment, the
1 映像送信装置、2 伝送装置(送信手段)、3 映像受信装置、11 ビデオデコーダ、12 ビデオデコーダ、13 画面合成回路、14 出力端子、21 分離部、22 ビデオバッファ、23 STC再生部、24 ビデオ復号部、31 分離部(分離手段)、32 ビデオバッファ、33,34 STC再生部(再生手段)、35 ビデオDTS補正部(補正手段)、36 ビデオ復号部(復号手段)、51 入力端子、52 画面分割回路(画面分割手段)、53 時計回路、54,55 符号化回路(符号化器)、56 再編成回路(送信手段)、61,71 ビデオ符号化部(符号化手段)、62,72 STC生成部(時刻基準生成手段)、63,73 タイムスタンプ生成部(タイムスタンプ生成手段)、64,74 オフセット設定部(補正値加算手段)、65,75 加算部(補正値加算手段)、66,76 多重化部(多重化手段)、101 入力端子、102 画面分割回路、103,104 符号化回路、105 時計回路、106,107 記録装置、108 再編成回路、109 伝送装置、111,112 再生装置、113,114 デコーダ、115 同期回路、116 遅延回路、117 画面合成回路、118 出力端子。 1 video transmission device, 2 transmission device (transmission means), 3 video reception device, 11 video decoder, 12 video decoder, 13 screen composition circuit, 14 output terminal, 21 separation unit, 22 video buffer, 23 STC playback unit, 24 video Decoding unit, 31 Separating unit (separating unit), 32 Video buffer, 33, 34 STC reproducing unit (reproducing unit), 35 Video DTS correcting unit (correcting unit), 36 Video decoding unit (decoding unit), 51 Input terminal, 52 Screen division circuit (screen division means), 53 clock circuit, 54, 55 encoding circuit (encoder), 56 reorganization circuit (transmission means), 61, 71 video encoding unit (encoding means), 62, 72 STC generator (time reference generator), 63, 73 Time stamp generator (time stamp generator), 64, 74 Offset setting (Correction value adding means), 65, 75 adding section (correction value adding means), 66, 76 multiplexing section (multiplexing means), 101 input terminal, 102 screen dividing circuit, 103, 104 encoding circuit, 105 clock circuit 106, 107 Recording device, 108 Reorganization circuit, 109 Transmission device, 111, 112 Playback device, 113, 114 Decoder, 115 Synchronization circuit, 116 Delay circuit, 117 Screen composition circuit, 118 Output terminal.
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008314526A JP2010141498A (en) | 2008-12-10 | 2008-12-10 | Video receiver and video transmitter |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008314526A JP2010141498A (en) | 2008-12-10 | 2008-12-10 | Video receiver and video transmitter |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010141498A true JP2010141498A (en) | 2010-06-24 |
Family
ID=42351248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008314526A Pending JP2010141498A (en) | 2008-12-10 | 2008-12-10 | Video receiver and video transmitter |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010141498A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013059021A (en) * | 2011-08-25 | 2013-03-28 | Mitsubishi Electric Corp | Method for distributed information source encoding of wavelet coefficient in zero tree |
JP2017212515A (en) * | 2016-05-24 | 2017-11-30 | 日本電信電話株式会社 | Transcoding device, image distribution system, transcoding method, image distribution method, and transcoding program |
-
2008
- 2008-12-10 JP JP2008314526A patent/JP2010141498A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013059021A (en) * | 2011-08-25 | 2013-03-28 | Mitsubishi Electric Corp | Method for distributed information source encoding of wavelet coefficient in zero tree |
JP2017212515A (en) * | 2016-05-24 | 2017-11-30 | 日本電信電話株式会社 | Transcoding device, image distribution system, transcoding method, image distribution method, and transcoding program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6404818B1 (en) | Video transmission device and its method | |
JP5137345B2 (en) | Encoding / decoding method and apparatus for implementing local 3D video | |
US9628771B2 (en) | Transmitter and receiver for transmitting and receiving multimedia content, and reproduction method therefor | |
JP6184408B2 (en) | Receiving apparatus and receiving method thereof | |
JP4991129B2 (en) | Video / audio playback apparatus and video / audio playback method | |
JP5586511B2 (en) | Synchronous control device and program | |
JP6313704B2 (en) | Reception device and synchronization processing method thereof | |
JPWO2013136754A1 (en) | Display device and transmission device | |
WO2014188960A1 (en) | Transmission device, transmission method, reception device and reception method | |
JPWO2013140485A1 (en) | Encoding device, decoding device, encoding method, and decoding method | |
US8750389B2 (en) | Video data decoder and method for decoding video data | |
US20140307805A1 (en) | Encoding apparatus, decoding apparatus, encoding method, and decoding method | |
US20080198921A1 (en) | Method and apparatus for reproducing digital broadcasting | |
KR100864009B1 (en) | Lip-synchronize method | |
JP2872104B2 (en) | Time stamp adding apparatus and method, and moving image compression / expansion transmission system and method using the same | |
JP2018182617A (en) | Information processing apparatus, information processing method, program, and recording medium manufacturing method | |
JP2010141498A (en) | Video receiver and video transmitter | |
JP6318953B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP2002369163A (en) | Method of controlling multistream output timing and control apparatus therefor | |
JP6801668B2 (en) | Content playback device and content playback method | |
JP5023190B2 (en) | Video transmission system | |
JP2007201797A (en) | Transmission system and video output method | |
KR20100106688A (en) | Device and method for synchronizing signal in mobile broadcasting receiver | |
JP2002290969A (en) | Synchronizing control device | |
WO2014045614A1 (en) | Video signal transmitting method, video signal receiving apparatus, and video signal receiving method |