JP2012054800A - Video transmitter - Google Patents
Video transmitter Download PDFInfo
- Publication number
- JP2012054800A JP2012054800A JP2010196419A JP2010196419A JP2012054800A JP 2012054800 A JP2012054800 A JP 2012054800A JP 2010196419 A JP2010196419 A JP 2010196419A JP 2010196419 A JP2010196419 A JP 2010196419A JP 2012054800 A JP2012054800 A JP 2012054800A
- Authority
- JP
- Japan
- Prior art keywords
- video
- video stream
- network
- transcoder
- bit rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、符号化した映像ストリームをネットワークを介して映像受信装置へ送信する映像送信装置に関するものである。 The present invention relates to a video transmission device that transmits an encoded video stream to a video reception device via a network.
ビデオ機器に記録した映像をテレビにて再生する際、ビデオ機器から圧縮符号化した映像ストリームをテレビに送り、テレビ側で映像ストリームのデコードを行い表示する方式が用いられる。その際、ビデオ機器（送信装置）とテレビ（受信装置）の接続は直結による接続ではなく、他の機器と共通したネットワークを通じて行う接続形態とすることで、接続構成の多様性に富み使い勝手が向上する。このような形態は、ＤＬＮＡ（Digital Living Network Alliance）といった業界団体により標準化が進められており、今後の普及が予想される。 When a video recorded on a video device is played back on a television, a method is used in which a video stream compressed and encoded is sent from the video device to the television, and the video stream is decoded and displayed on the television side. At that time, the connection between the video device (transmitting device) and the television (receiving device) is not a direct connection, but a connection form that is performed through a network that is shared with other devices. To do. Such a form is being standardized by an industry group such as DLNA (Digital Living Network Alliance) and is expected to spread in the future.
ビデオ機器からテレビへ映像ストリームを送る場合、テレビがデコード可能な映像ストリームの形式で出力を行わねばならない。例えばビデオ機器はＭＰＥＧ−４＿ＡＶＣ（ISO/IEC 14496-10）で記録を行い、テレビはＭＰＥＧ−２（ISO/IEC 13818-2）のデコードに対応しているときは、ビデオ機器はＭＰＥＧ−４＿ＡＶＣからＭＰＥＧ−２にトランスコードを行い、テレビに映像ストリームを送信する。また、他の機器と共通したネットワークバスを使用することから、映像ストリームの送受信においては他のデータの送受信による遅延の影響を受ける。すなわち、トランスコード処理に伴う遅延やネットワーク遅延に伴うデコード遅延により、ユーザがビデオ機器に対し再生開始や特殊再生（早送り・巻戻し）の指示を行ってからテレビに再生映像が表示されるまで、映像信号を専用線を用いて送信する方法に比べて遅延時間が大きくなるという問題がある。 When a video stream is sent from a video device to a television, it must be output in the form of a video stream that can be decoded by the television. For example, when a video device records in MPEG-4_AVC (ISO / IEC 14496-10) and a television supports MPEG-2 (ISO / IEC 13818-2) decoding, the video device starts from MPEG-4_AVC. Transcodes to MPEG-2 and transmits a video stream to the television. In addition, since a network bus common to other devices is used, transmission / reception of a video stream is affected by delay due to transmission / reception of other data. That is, until the playback video is displayed on the TV after the user instructs the video device to start playback or special playback (fast forward / rewind) due to the delay associated with the transcoding process or the network delay, There is a problem that the delay time is longer than the method of transmitting a video signal using a dedicated line.
これに関連する技術として、例えば特許文献１では、ユーザの操作が反映されて映像が更新されるまでに大きな遅延が生じることを課題とし、過去のユーザの視聴操作履歴を保持しておき、早送りや巻戻しなどの操作が行われた時点から数秒間については、現在再生に使用している再生データのトランスコード処理と平行して先読みデータを取得してトランスコード処理を行い、変換済みの先読みデータを作成して保存しておく構成としている。
As a technology related to this, for example,
また、例えば特許文献２では、映像コンテンツの配信開始時に映像が再生されるまでの待ち時間を短縮することを課題とし、映像コンテンツを最低限の画像品質しか保証されない基本レイヤと、基本レイヤのみをデコードした結果以上の画像品質を得ることができる拡張レイヤから構成し、映像コンテンツの配信開始時から基本レイヤの配信データ量が第１の目標量となるまでの間は、基本レイヤの配信ビットレートをそのエンコードビットレートよりも増大させ、その分、上位の拡張レイヤの配信ビットレートを減少させる構成としている。
Also, for example, in
映像の再生開始時にネットワークを通じて映像ストリームを送受信する際、ストリームの表示に必要なビットレートを超えた大きな帯域を用いることで、表示するまでの遅延時間をある程度低減することができる。しかし、高画質の映像であるほどビットレートが高くなるため、表示は遅れることになる。逆に、ビットレートを下げることで表示を早めることができるが、画質が低下してしまう。画質と再生開始までの遅延はトレードオフの関係にあり、受信装置の状況やユーザの使用傾向によっていずれを優先させるかは異なり、一義的に条件を設定することは難しい。 When a video stream is transmitted / received through a network at the start of video reproduction, a delay time until display can be reduced to some extent by using a large band exceeding a bit rate necessary for displaying the stream. However, the higher the quality of the video, the higher the bit rate, so the display will be delayed. Conversely, the display can be accelerated by lowering the bit rate, but the image quality is degraded. The image quality and the delay until the start of reproduction are in a trade-off relationship, and depending on the status of the receiving apparatus and the user's usage tendency, which is prioritized, it is difficult to set a condition uniquely.
前記特許文献１の技術は、データの先読みを行って画質を維持しつつ遅延を少なくするものであるが、ユーザの使用傾向や受信機の状況により、画質の維持よりもストリームの遅延を小さくすることを優先したい場合には対応できない。
The technique of the above-mentioned
前記特許文献２の技術は、階層符号化を用いて遅延を少なくする方法であり、ビデオ機器とテレビが階層符号化された映像ストリームのデコードに対応している必要がある。しかしながら、階層符号化された映像ストリームを用いた放送は実施されていないため、多くのテレビではこれに対応しておらず文献記載の技術を適用することはできない。
The technique of
本発明は、上記課題を鑑み、再生開始などの指示をビデオ機器（送信装置）に行ってからテレビ（受信装置）に映像が表示されるまでの遅延時間を、受信装置の状況やユーザの使用傾向に適応して低減することを目的とする。 In view of the above-mentioned problems, the present invention determines the delay time from when an instruction to start playback is given to a video device (transmitting device) to when an image is displayed on a television (receiving device). The aim is to adapt to the trend and reduce it.
本発明の映像送信装置は、ネットワークから入力した映像ストリームのトランスコード処理を行うトランスコーダと、トランスコード処理された映像ストリームを記録する記録媒体と、記録媒体に記録されている映像ストリームをネットワークを介して映像受信装置へ送信するネットワークＩ／Ｆと、ネットワークを介して映像受信装置からの制御信号を受信し、トランスコーダのトランスコード処理を制御する制御部を備える。制御部は、受信した制御信号がデバイス記述であるとき、デバイス記述に含まれる映像受信装置にて再生可能な映像ストリームのフォーマットと再生開始時のビットレートの情報を取得し、トランスコーダに対し、取得したフォーマットの情報に従い入力した映像ストリームのトランスコード処理を行わせるとともに、取得した再生開始時のビットレートの情報に合わせて映像ストリームの先頭期間のビットレートを設定する。 A video transmission apparatus according to the present invention includes a transcoder for transcoding a video stream input from a network, a recording medium for recording the transcoded video stream, and a video stream recorded on the recording medium through the network. A network I / F that is transmitted to the video receiving device via the network, and a control unit that receives a control signal from the video receiving device via the network and controls transcoding processing of the transcoder. When the received control signal is a device description, the control unit obtains information on a video stream format that can be played back by the video receiver included in the device description and information on a bit rate at the start of playback. The transcoding processing of the input video stream is performed according to the acquired format information, and the bit rate of the head period of the video stream is set according to the acquired bit rate information at the start of reproduction.
さらに制御部は、トランスコーダに対し、映像ストリームの先頭期間は、画面内符号化によるＩピクチャと順方向予測符号化によるＰピクチャのみの組み合わせ、あるいはＩピクチャのみで構成するように制御する。 Further, the control unit controls the transcoder so that the head period of the video stream is composed of only a combination of an I picture by intra-frame coding and a P picture by forward predictive coding, or only an I picture.
あるいは制御部は、受信した制御信号がユーザの操作指示に基づくものであるとき、映像受信装置から受信した制御信号の発生回数を一定期間保持し、トランスコーダに対し、保持している制御信号の発生回数に応じて、入力した映像ストリームの先頭期間のビットレートを下げてトランスコード処理を行わせる。 Alternatively, when the received control signal is based on a user operation instruction, the control unit holds the number of generations of the control signal received from the video receiving device for a certain period of time, and transmits the control signal held to the transcoder. Depending on the number of occurrences, the transcoding process is performed by lowering the bit rate of the head period of the input video stream.
本発明によれば、ユーザが再生開始などの指示をビデオ機器（送信装置）に行ってからテレビ（受信装置）に映像が表示されるまでの遅延時間は、受信装置の状況やユーザの使用傾向に適応して低減するので、ユーザにとって使い勝手がすぐれたものになる。 According to the present invention, the delay time from when the user gives an instruction to start playback to the video device (transmitting device) until the video is displayed on the television (receiving device) depends on the status of the receiving device and the user's usage tendency. Therefore, it is easy to use for the user.
以下、本発明の実施形態を図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、実施例１における映像送信装置を含むストリーム送受信システムを示す概略図である。
本実施例のシステムでは、映像送信装置１はネットワーク２を介して映像受信装置３と接続されている。映像送信装置１は映像ストリームを蓄積して送信するＤＬＮＡサーバが相当し、映像受信装置３は受信した映像ストリームをデコードして表示部に映像を表示するＤＬＮＡクライアントが相当する。ユーザは、映像受信装置３を操作して映像送信装置１から所望の映像コンテンツを入手し、これを視聴する。映像送信装置１は映像受信装置３から再生開始の制御信号を受けると、要求された映像ストリームを映像受信装置３に送信する。その際映像送信装置１は、映像受信装置３の仕様やユーザの操作傾向に合わせて映像ストリームをトランスコード処理し、映像送信装置１内の記録媒体１４に保持している構成としている。
FIG. 1 is a schematic diagram illustrating a stream transmission / reception system including a video transmission apparatus according to the first embodiment.
In the system of this embodiment, the
映像送信装置１は、ネットワークＩ／Ｆ１１、制御部１２、バス１３、記録媒体１４、トランスコーダ１６を備える。
ネットワークＩ／Ｆ１１は、ネットワーク２から情報やデータを受け取り、制御部１２やトランスコーダ１６に供給するとともに、制御部１２や記録媒体１４が出力する情報やデータをネットワーク２に出力する。制御部１２は、ネットワーク２とネットワークＩ／Ｆ１１を通じて映像受信装置３が出力する制御信号を受け取り、制御信号に応じて記録媒体１４とトランスコーダ１６を制御する。バス１３は、制御部１２の出力する制御信号を記録媒体１４やトランスコーダ１６に供給する。
The
The network I /
トランスコーダ１６は、ネットワーク２からネットワークＩ／Ｆ１１を経由して映像ストリームを得るとともに、制御部１２から映像受信装置３の仕様（デコーダとモニタの仕様）やユーザの操作傾向を得て、これらに応じたトランスコード処理を行い、記録媒体１４に出力する。本実施例では、映像ストリームをＭＰＥＧ−２にトランスコードする場合を例に説明するが、映像フォーマットはこれに限らず、ＭＰＥＧ−４＿ＡＶＣやＶＣ−１など任意の方式が可能である。
The
記録媒体１４は、トランスコーダ１６が出力する映像ストリームを記録する。また記録媒体１４は、制御部１２からファイル名とその再生開始時間を受け取ると、対応する映像ストリームを再生して、そのデータをネットワークＩ／Ｆ１１とネットワーク２を経由して映像受信装置３に出力する。
The
一方、映像受信装置３は、ネットワークＩ／Ｆ３１、制御部３２、バス３３、デコーダ３４、モニタ３５、操作部３６を備える。
ネットワークＩ／Ｆ３１は、ネットワーク２から情報やデータを受け取り、制御部３２やデコーダ３４に供給するとともに、制御部３２が出力する情報をネットワーク２に出力する。制御部３２は、ネットワーク２とネットワークＩ／Ｆ３１を通じて映像送信装置１が出力する制御信号を受け取り、また、操作部３６からユーザの操作指示を受け取る。制御部３２はこれらの制御信号に応じて、バス３３を介してデコーダ３４とモニタ３５を制御する。
On the other hand, the
The network I /
デコーダ３４は、ネットワークＩ／Ｆ３１を経由して映像送信装置１からの映像ストリームを入力し、制御部３２からの制御信号に従いデコード処理を行う。デコード後の映像信号はモニタ３５に出力され、ユーザはその映像を視聴する。操作部３６は、ユーザが所望する映像コンテンツを選択し、またそれの再生操作を行うためのものである。
The
図２は、映像送信装置１から映像受信装置３へ映像ストリームを送信する手順を示すシーケンス図である。ここでは、映像送信装置１と映像受信装置３の互いの認識処理から、映像送信装置１から映像ストリームを出力するまでの手順（コマンド）を示す。
FIG. 2 is a sequence diagram illustrating a procedure for transmitting a video stream from the
映像送信装置１および映像受信装置３は、ネットワーク２に接続した際互いの存在を認識することができない。このため映像送信装置１は、ネットワークに対し予め定めた時間間隔で通知コマンド（Ｃ１００）を送出する。映像受信装置３はネットワークから通知（Ｃ１００）を受け取ると、映像送信装置１のアドレスを得ることができ、映像送信装置１にデバイス発見（Ｃ１１０）を返す。映像送信装置１は、デバイス発見（Ｃ１１０）を受け取ることで映像受信装置３のアドレスを得ることができ、映像受信装置３のみに対しデータを送ることができる。
The
続いて映像受信装置３は、映像送信装置１にデバイス・サービス情報取得（Ｃ１２０）を出力し、デバイス・サービス情報（Ｃ１３０）を得る。デバイス・サービス情報（Ｃ１３０）には、映像送信装置１が提供するサービスの情報が記載され、映像ストリームを送信するサーバであることや、通信に用いるプロトコルの情報などが含まれている。これより映像受信装置３は、映像送信装置１が映像ストリームを送信するデバイスであることを認識する。
Subsequently, the
映像受信装置３は、デバイス記述（Ｃ１４０）を送信する。デバイス記述（Ｃ１４０）には、映像受信装置３の受信機能の仕様が記載され、デコーダ３４の仕様（再生可能な映像フォーマットの情報、再生開始時のビットレート情報）とモニタ３５の仕様（画面解像度、最大輝度設定、コントラスト比など）が含まれている。
The
ユーザは映像受信装置３の操作部３６から、映像送信装置１の保持する映像コンテンツを入手する操作をする。そのため映像受信装置３はコンテンツリスト取得（Ｃ１５０）を出力し、映像送信装置１からコンテンツリスト（Ｃ１６０）を受け取る。コンテンツリスト（Ｃ１６０）には、映像送信装置１が保持している映像ストリームのファイル名が記載されている。映像受信装置３はコンテンツリスト（Ｃ１６０）を受け取ると、モニタ３５にファイル名の一覧を表示する。
The user performs an operation of obtaining video content held by the
ユーザが、ファイル名の一覧から所望の映像ストリームを選択し再生の操作を行うと、映像受信装置３は再生開始（Ｃ１７０）を送信する。再生開始（Ｃ１７０）には、再生開始の命令、ファイル名、再生開始時間、再生時間が含まれている。ここでファイル名は、記録媒体１４に保持されている映像ストリームを特定するための情報である。再生開始時間は、特定された映像ストリームを再生開始する時間軸上の位置を示す。再生時間は、映像ストリームの再生を行う時間の長さである。
When the user selects a desired video stream from the list of file names and performs a playback operation, the
映像送信装置１は再生開始（Ｃ１７０）を受け取ると、ストリーム送信（Ｃ１８０）を行い要求された映像ストリームを出力する。映像受信装置３は映像ストリームを受信し、これをデコードし表示することで、ユーザは所望する映像コンテンツを視聴することができる。
Upon receiving the reproduction start (C170), the
図３は、映像送信装置１のトランスコーダ１６が行うトランスコード処理の手順を示すフローチャートである。映像送信装置１は前記図２におけるデバイス記述（Ｃ１４０）により、送信先となる映像受信装置３の仕様（デコーダ３４とモニタ３５の仕様）を入手している。そして、ネットワーク２から映像ストリームを受け取ると、映像受信装置３の仕様に合わせたトランスコード処理を実行し、記録媒体１４に記録する。以下、その手順を説明する。
FIG. 3 is a flowchart showing a procedure of transcoding processing performed by the
Ｓ２００にて映像送信装置１は、映像受信装置３からデバイス記述（Ｃ１４０）を受け取り、デバイス記述（Ｃ１４０）に含まれるデコーダ３４とモニタ３５の仕様を取得する。Ｓ２１０にて、ネットワーク２から映像ストリームが入力すると、制御部１２はトランスコーダ１６に対しトランスコード処理を指示する。その際、映像受信装置３の仕様のうち、再生可能な映像フォーマットの情報と再生開始時のビットレート情報に合わせたトランスコード条件を設定する。
In S200, the
Ｓ２２０とＳ２４０において、制御部１２は、トランスコードする符号化方法を選択する。符号化方法としては、画面内符号化（Ｉピクチャ）、トランスコードするピクチャよりも再生時間が前のピクチャを参照して予測符号化を行う順方向予測符号化（Ｐピクチャ）、トランスコードするピクチャの再生時間の前後のピクチャを用いて予測符号化を行う双方向予測符号化（Ｂピクチャ）の３種類がある。Ｓ２２０では、Ｉピクチャかそれ以外かを選択し、Ｓ２４０では、後述するＶＢＶ（Video Buffer Verifier）値を確認しながらＰピクチャかＢピクチャかを選択する。
In S220 and S240, the
Ｓ２３０、Ｓ２５０、Ｓ２６０において、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャのトランスコード処理を行う。Ｓ２７０では、トランスコード処理を行った映像ストリームを記録媒体１４に記録する。なお、トランスコード処理後の映像ストリームを記録媒体１４へ記録するタイミングはこれに限らず、バッファメモリに一旦保持して任意のタイミングで記録媒体１４へ記録しても良い。Ｓ２８０では、入力した映像ストリームが全て処理を終了したかどうか判定し、終了していないときはＳ２１０に戻り、残りの映像ストリームについてトランスコード処理を繰り返す。
In S230, S250, and S260, transcoding processing of I picture, P picture, and B picture is performed. In S270, the video stream subjected to the transcoding process is recorded on the
上記のフローチャートでは、トランスコード処理する映像ストリームはネットワーク２より入力するものとしたが、映像送信装置１にて放送波を受信し復調する復調回路を備え、復調回路から映像ストリームを取得するようにしてもよい。また、取得した映像ストリームをそのまま一時的に記録媒体１４に記録し、後でこれを読み出してトランスコード処理を行い再度記録媒体１４に記録するようにしても良い。
In the above flowchart, the video stream to be transcoded is input from the
本実施例の映像送信装置１は、トランスコード済みの映像ストリームを記録媒体１４に保持している。そして、映像受信装置３から要求されたとき保持している映像ストリームを送信するので、送信時に行うトランスコード処理が不要となる。よって、映像受信装置３においては、映像コンテンツ要求から映像表示開始までの遅延時間を短縮することができる。
The
次に、トランスコーダ１６が行うトランスコード処理の具体例を説明する。符号化方法の選択において、Ｉピクチャの選択（Ｓ２２０）では、トランスコード開始時、もしくは予め定めた一定間隔でＩピクチャを選択する。Ｐピクチャ、Ｂピクチャの選択（Ｓ２４０）では、出力される映像ストリームが仮想的なデコーダによりバッファ量がどのように推移するかを示すＶＢＶ（Video Buffer Verifier）モデルを用いて行う。
Next, a specific example of transcoding processing performed by the
図４は、トランスコード処理にて参照するＶＢＶモデルのバッファ量推移を示す図である。横軸は時間、縦軸はＶＢＶモデルのバッファ量を示し、図中の直線の勾配はビットレートに対応する。
符号ｔ０〜ｔ８は、仮想的なデコーダがピクチャをデコードし、表示するタイミングを示す。また、各タイミングにおけるピクチャ列Ｉ０、Ｐ１、Ｐ２・・・Ｂ８は符号化の種別と表示順番を示し、例えば、Ｉ０はＩピクチャの０番目（最初）に表示するピクチャであることを示す。
FIG. 4 is a diagram showing transition of the buffer amount of the VBV model referred to in transcoding processing. The horizontal axis represents time, the vertical axis represents the buffer amount of the VBV model, and the slope of the straight line in the figure corresponds to the bit rate.
Reference numerals t0 to t8 indicate timings at which a virtual decoder decodes and displays a picture. Also, picture sequences I0, P1, P2,... B8 at each timing indicate the type of encoding and the display order. For example, I0 indicates a picture to be displayed at the 0th (first) I picture.
トランスコーダ１６は、映像受信装置３のデバイス記述（Ｃ１４０）に記載される再生開始時のビットレートに従い、最初のＩピクチャＩ０の符号量を定めてエンコードを開始する。ＶＢＶバッファのバッファ量が、最初のＩピクチャＩ０をデコードしても枯渇しないレベルａに到達したタイミングｔ０にて、最初のデコードが行われる。このｔ０の値を、ｖｂｖ＿ｄｅｌａｙ値としてピクチャヘッダに記録する。ｔ０の値はＤＴＳ（Decoding Time Stamp）値の作成にも用いられ、ＤＴＳ値は出力映像ストリームに付加される。以後、フレームレートに従いｔ１、ｔ２・・・と等間隔でデコードを行うものとし、各デコード位置にてＶＢＶバッファのバッファ量が各ピクチャをデコードしても枯渇しないようビットレートの調整を行う。
The
双方向予測を行うＢピクチャは、表示するピクチャの再生時間の前後のピクチャを用いて予測を行っているため、デコードの際はピクチャを並び替えて出力する。このため、タイミングｔ３〜ｔ４間でデコードしたＩピクチャＩ６はｔ４では表示されず、その後のタイミングｔ６にて表示される。一方、ＩピクチャとＰピクチャのみでエンコードした映像ストリームはデコード順に表示を行うことができるため、ｔ０でデコードしたＩピクチャＩ０を最初に表示でき、遅延を少なくできる。 The B picture for which bi-directional prediction is performed uses the pictures before and after the reproduction time of the picture to be displayed, so that the pictures are rearranged and output at the time of decoding. For this reason, the I picture I6 decoded between the timings t3 and t4 is not displayed at t4 but is displayed at the subsequent timing t6. On the other hand, since the video stream encoded with only the I picture and the P picture can be displayed in the decoding order, the I picture I0 decoded at t0 can be displayed first, and the delay can be reduced.
本実施例では、出力映像ストリームの先頭部分（Ｉ０〜Ｐ３）はＩピクチャとＰピクチャのみで構成し、デバイス記述（Ｃ１４０）により定義される再生開始時のビットレートに従いエンコードを行っている。そして、ＶＢＶバッファのバッファ量が、Ｉ６およびＢ４をデコードしても枯渇しないレベルｂに達したタイミングｔ３から、Ｂピクチャを用いた符号化を開始している。 In this embodiment, the head portion (I0 to P3) of the output video stream is composed of only I and P pictures, and encoding is performed according to the bit rate at the start of playback defined by the device description (C140). Then, the encoding using the B picture is started from the timing t3 when the buffer amount of the VBV buffer reaches the level b that does not run out even when I6 and B4 are decoded.
この符号化方法によれば、出力映像ストリームの先頭部分をＩピクチャとＰピクチャのみを用いて符号化することにより、映像の表示までの時間を早めることができる。また、最初のＩピクチャを再生開始時のビットレートに従いエンコードすることで、デコード開始点において必要とする映像ストリームのバッファ量ａの値を下げ、デコード開始までの時間ｔ０（ｖｂｖ＿ｄｅｌａｙ値）を短縮することができる。 According to this encoding method, it is possible to shorten the time until video display by encoding the head portion of the output video stream using only the I picture and the P picture. Also, by encoding the first I picture according to the bit rate at the start of playback, the value of the buffer amount a of the video stream required at the decoding start point is reduced, and the time t0 (vbv_delay value) until the decoding starts is shortened. be able to.
またこの符号化方法では、ＶＢＶバッファの枯渇が起きないデータ量まで格納した段階でＢピクチャを用いた予測符号化を開始するようにしている。Ｂピクチャを用いて予測符号化することで画質は２ｄＢほど向上するため、再生開始直後を除き、Ｉ、Ｐピクチャだけでトランスコードした場合と比べ動画の画質を向上させることができる。 Also, in this encoding method, predictive encoding using a B picture is started when a data amount that does not cause depletion of the VBV buffer is stored. Since the picture quality is improved by about 2 dB by performing predictive coding using a B picture, the picture quality of a moving image can be improved as compared with the case of transcoding only with I and P pictures except immediately after the start of reproduction.
このように本実施例では、デジタル放送で用いられるＰピクチャ、Ｂピクチャの配列を好適に組み換えてトランスコードすることにより、映像送信装置１が出力する映像ストリームを映像受信装置３にて低遅延でデコード・表示することができる。
As described above, in the present embodiment, the video stream output from the
図５は比較例として示したもので、ストリームの先頭部分のトランスコードを行わない場合のＶＢＶの推移を示す図である。ここでは、表示するピクチャ列が、双方向予測符号化によるＢピクチャＢ０を先頭にＢ１、Ｂ２、Ｉ３・・・と続く場合を例とする。 FIG. 5 shows a transition example of VBV when the transcoding of the head portion of the stream is not performed, as a comparative example. Here, an example is shown in which a picture sequence to be displayed continues from B picture B0 obtained by bidirectional predictive coding to B1, B2, I3.
先行して表示するＢ０をデコードするためには、Ｂ０が参照画像として使用するＩ３を先にデコードせねばならず、Ｂ０のデコードの前にＩ３のデコード処理が割り込んでくる。このため、先頭のピクチャＢ０をデコードして表示するタイミングｔ０（ｖｂｖ＿ｄｅｌａｙ値）は、Ｉ３のデコードに要するＶＢＶバッファ量がレベルａまで到達するまでの時間に、Ｂ０のデコードに要する最大１フレーム期間（毎秒３０フレームの場合３３ｍｓ）を加算した時間となる。 In order to decode B0 displayed in advance, I3 that B0 uses as a reference image must be decoded first, and the decoding process of I3 interrupts before decoding of B0. For this reason, the timing t0 (vbv_delay value) for decoding and displaying the first picture B0 is the maximum one frame period required for decoding B0 during the time until the VBV buffer amount required for decoding I3 reaches level a ( This is the sum of 33 ms) for 30 frames per second.
このような場合には前記図４の符号化方法を導入し、Ｉ６の前にＩ０〜Ｐ３のピクチャを付加する組み換えを行うことで、遅延時間を１フレーム期間（３３ｍｓ）程度短縮し、再生開始から表示までの動作レスポンスを改善することができる。 In such a case, the encoding method shown in FIG. 4 is introduced and recombination is performed by adding pictures I0 to P3 before I6, so that the delay time is shortened by about one frame period (33 ms) and reproduction starts. The operation response from display to display can be improved.
本実施例は、以下の変形例が可能である。
＜変形１＞上記例では、トランスコーダ１６は映像ストリームの先頭部分をＩピクチャとＰピクチャのみにトランスコードするとしたが、先頭部分をＩピクチャのみでトランスコードを行ってもよい。Ｉピクチャのみのトランスコードを行うことで、予測符号化の処理量が減るため、トランスコーダ１６の処理量が減り、トランスコードの速度を上げ最初のＩ０のピクチャ出力を早めることができる。
The present embodiment can be modified as follows.
<
＜変形２＞上記例では、トランスコーダ１６は映像ストリームの全体に対しトランスコードするとしたが、入力する映像ストリームと映像受信装置３に送信する映像ストリームのフォーマットが等しく、かつ予測符号化方法が等しい場合には、ストリームの先頭部分のみトランスコードを行い、途中（例えば図４のレベルｂに達したタイミング）からはトランスコードを行わずに記録してもよい。映像ストリームの途中からトランスコードを省略することで、トランスコーダの処理負荷を下げることができる。例えば、映像送信装置に複数の映像ストリームが入力する場合でも、トランスコーダにて時分割処理することにより複数のストリームを記録媒体に記録することが可能になる。
<
＜変形３＞上記例では、トランスコーダは映像受信装置３のデバイス記述（Ｃ１４０）に含まれるデコーダ３４の仕様（再生開始時のビットレート情報）に合わせてトランスコードを行うものとした。これは一例であり、デバイス記述（Ｃ１４０）に含まれるモニタ３５の仕様をもとにトランスコードを行うこともできる。利用できる情報としては、（ａ）画面解像度、（ｂ）最大輝度設定、（ｃ）コントラスト比などが挙げられる。
<
例えば（ａ）画面解像度について説明する。出力映像ストリームのビットレートは、モニタ３５の画面解像度の大きさに合わせて設定するのが好ましい。映像受信装置３にて映像表示する画面解像度に合わせてトランスコードすることで、必要以上のビットレートになることを抑え、ネットワークの伝送に伴う遅延を低減することができる。（ｂ）最大輝度設定、（ｃ）コントラスト比を利用する場合でも、同様の効果が得られる。
For example, (a) screen resolution will be described. The bit rate of the output video stream is preferably set in accordance with the screen resolution of the
前記実施例１では、映像送信装置におけるトランスコード処理は、映像ストリームの先頭部分の符号化（Ｉ、Ｐ、Ｂピクチャ）を組み換えるものとした。これに対し実施例２では、符号化の組み換えは行わず、量子化精度を下げてトランスコードを行う構成とする。量子化精度を下げることでビットレートも下がり、トランスコード処理やデコード処理の負担が軽減する。なお、映像送信装置の構成は実施例１（図１）と同様である。 In the first embodiment, the transcoding process in the video transmission apparatus is performed by recombining the encoding (I, P, B picture) of the head portion of the video stream. On the other hand, in the second embodiment, the encoding is not recombined and the transcoding is performed with the quantization accuracy lowered. Decreasing the quantization accuracy also reduces the bit rate and reduces the burden of transcoding and decoding. The configuration of the video transmission device is the same as that of the first embodiment (FIG. 1).
図６は、本実施例におけるＶＢＶモデルのバッファ量推移を示す図である。ピクチャ列は図５と同じ配列を例に、その予測符号化の順序は変えずに量子化精度を下げることでビットレートを下げたものである。 FIG. 6 is a diagram showing the transition of the buffer amount of the VBV model in the present embodiment. The picture sequence has the same arrangement as that of FIG. 5 as an example, and the bit rate is lowered by lowering the quantization accuracy without changing the order of predictive encoding.
ビットレートを下げることで、映像ストリームが持つａ点のバッファ量を下げることができ、最初のピクチャＢ０表示までの時間ｔ０を早めることができる。また、Ｂピクチャのデコード・表示を行う際には、参照するＩピクチャのデコードを先に実行せねばならない。例えば図４に示すストリームを表示する場合、タイミングｔ３〜ｔ４の期間で２ピクチャ（Ｐ３とＩ６）のデコードが必要となる。これに対しビットレートを下げてトランスコードすることで、１フレーム期間に２ピクチャをデコードせずにデコード映像を表示できる。 By reducing the bit rate, the buffer amount at point a in the video stream can be reduced, and the time t0 until the first picture B0 display can be shortened. In addition, when decoding and displaying a B picture, it is necessary to first decode an I picture to be referenced. For example, when the stream shown in FIG. 4 is displayed, two pictures (P3 and I6) need to be decoded in the period from timing t3 to t4. On the other hand, by transcoding at a lower bit rate, decoded video can be displayed without decoding two pictures in one frame period.
前記実施例１では、デバイス記述（Ｃ１４０）により再生開始時のビットレート情報を受け取り、これに合わせてビットレートを設定するとしたが、本実施例では、映像受信装置３が出力する制御信号（ユーザの操作指示）の発生頻度に応じてビットレートを設定する。以下、ユーザの操作傾向に合わせてビットレートを調整する具体例を説明する。
In the first embodiment, the bit rate information at the start of playback is received from the device description (C140), and the bit rate is set according to the received information. In this embodiment, however, the control signal (user) output from the
ユーザは視聴している映像から所望の部分を探すとき、早送りと再生を繰り返す操作を行うが、このような場合には、映像の画質よりも目的の映像部分を探すことが優先される。よって映像送信装置１は、再生開始命令と早送りの特殊再生の命令を短い間隔で受け取った場合には、画質を下げて動作レスポンスを上げることが望ましい。すなわち、トランスコードの際、映像ストリームの先頭部分（図４におけるｂ点のバッファ量に到達するまで期間）のビットレートをより低く割り当てるようにする。
When the user searches for a desired portion from the video being viewed, the user performs an operation of repeating fast forward and playback. In such a case, priority is given to searching for the target video portion over the image quality of the video. Therefore, when the
このようなユーザの操作傾向については、映像受信装置３から受ける制御信号の発生回数を一定期間保持し、ユーザの操作履歴情報として取得しておく。そして制御信号の発生回数が多いほど、ユーザは動作レスポンスの向上を求めていると判断する。その場合には、デバイス記述（Ｃ１４０）に記載されるビットレート情報の値よりビットレートを下げてトランスコードする。
Regarding the user's operation tendency, the number of generations of the control signal received from the
ユーザから以下の操作指示を受けた時も、同様に動作レスポンスの向上を求めていると判断して、ビットレートを下げてトランスコードする。
（１）ユーザが再生開始が遅いと感じ、再生ボタンを複数回押すことにより、図４においてデコーダ側で表示を行うｔ０の時間より前に複数回の再生開始命令が出た場合。
（２）ユーザが再生するストリームを選んでいるとき、ストリームの終端まで視聴せず、次の番組の再生を開始するため、再生時間よりも短い時間で次の再生命令が発行される場合。
（３）ユーザが明示的にレスポンス向上を望んでおり、映像受信装置３にあるレスポンス向上の操作ボタンを押すことにより、デバイス記述（Ｃ１４０）に含まれる再生開始時のビットレート情報の値を更新した場合。
When the following operation instruction is received from the user, it is determined that the improvement of the operation response is demanded in the same manner, and transcoding is performed at a reduced bit rate.
(1) When the user feels that the start of playback is slow and presses the playback button a plurality of times, and a playback start command is issued a plurality of times before the time t0 when display is performed on the decoder side in FIG.
(2) When the user selects a stream to be played back, the next playback command is issued in a time shorter than the playback time in order to start playback of the next program without viewing until the end of the stream.
(3) The user explicitly wants to improve the response, and the value of the bit rate information at the start of playback included in the device description (C140) is updated by pressing the response improvement operation button in the
本実施例によれば、ユーザの操作傾向をもとに再生開始時のビットレートを下げることで、ユーザに応じて操作レスポンスと画質のバランスを図ることができる。 According to the present embodiment, by reducing the bit rate at the start of playback based on the user's operation tendency, it is possible to achieve a balance between the operation response and the image quality according to the user.
実施例３では、映像送信装置１はユーザから要求された映像ストリームを記録媒体から読み出し、トランスコード処理して映像受信装置３に送信するものである。すなわち記録媒体には、トランスコード処理前のストリームが保持されている。その際トランスコーダ１６は、映像受信装置３の仕様やユーザの操作傾向に合わせて映像ストリームをトランスコード処理する構成としている。
In the third embodiment, the
図７は、実施例３における映像送信装置を含むストリーム送受信システムを示す概略図である。システムの構成は実施例１（図１）を基本構成とし、相違する部分を中心に説明する。
映像送信装置１は、ネットワークＩ／Ｆ１１、制御部１２、バス１３、記録媒体１４、トランスコーダ１６の他に、スイッチ１５、スイッチ１７を設けている。制御部１２は映像受信装置３から制御信号を受け取り、記録媒体１４、スイッチ１５、トランスコーダ１６、スイッチ１７を制御する。記録媒体１４は複数の映像ストリームを保持しており、制御部１２からファイル名、再生開始時間を受け取ると、対応する映像ストリームのデータをスイッチ１５に出力する。
FIG. 7 is a schematic diagram illustrating a stream transmission / reception system including a video transmission device according to the third embodiment. The system configuration is based on the first embodiment (FIG. 1), and the differences will be mainly described.
The
スイッチ１５は制御部１２からの制御信号により、記録媒体１４からの映像ストリームを、トランスコーダ１６もしくはスイッチ１７のいずれかに出力する。トランスコーダ１６は、スイッチ１５を通じて受け取った映像ストリームを、制御部１２からの制御信号に従いトランスコードしてスイッチ１７へ出力する。スイッチ１７は制御部１２からの制御信号により、スイッチ１５もしくはトランスコーダ１６が出力する映像ストリームを選択し、ネットワークＩ／Ｆ１１を通じて映像受信装置３に出力する。
The
映像送信装置１は映像受信装置３から再生開始の要求を受け取ると、要求された映像ストリームを記録媒体１４から読み出してトランスコード処理し、映像受信装置３に送信する。映像送信装置１が映像ストリームを出力するまでのシーケンスは、図２と同様であるため説明を省略する。
When the
図８は、映像送信装置１のトランスコーダ１６が行うトランスコード処理の手順を示すフローチャートである。図２の再生開始（Ｃ１７０）を受け取り、ストリーム送信（Ｃ１８０）を行うまでのフローチャートである。前記図３と共通する部分は簡単に説明する。
FIG. 8 is a flowchart showing a procedure of transcoding processing performed by the
映像送信装置１は再生開始コマンド（Ｃ１７０）を受け取ると、Ｓ３００にて制御部１２を用いて再生開始（Ｃ１７０）に含まれる再生開始の命令、ファイル名、再生開始時間、再生時間を分離する。制御部１２は記録媒体１４に対し、ファイル名と等しい映像ストリームを再生開始時間から出力するよう制御信号を出力する。またスイッチ１５、スイッチ１７に制御信号を送り、記録媒体１４の映像ストリームがトランスコーダ１６を通ってネットワークＩ／Ｆ１１から出力されるよう設定する。
Upon receiving the playback start command (C170), the
Ｓ３１０にて記録媒体１４はストリームを読み出し、スイッチ１５に出力する。Ｓ３２０とＳ３４０で、制御部１２はトランスコードする符号化方法を決定する。符号化方法として画面内符号化（Ｉピクチャ）、順方向予測符号化（Ｐピクチャ）、双方向予測符号化（Ｂピクチャ）の３種類がある。
In S310, the
Ｓ３３０、Ｓ３５０、Ｓ３６０にて、それぞれのピクチャのトランスコードを行い、Ｓ３７０で再生開始（Ｃ１７０）に含まれる再生時間の情報と比較し、再生が終了していないときはＳ３１０に戻り、映像ストリームを読み出す。 In S330, S350, and S360, each picture is transcoded, and in S370, compared with the reproduction time information included in the reproduction start (C170). When reproduction is not completed, the process returns to S310, and the video stream is converted. read out.
本実施例の符号化方法（Ｓ３２０とＳ３４０）は、実施例１と同様であり、図４のＶＢＶモデルの推移となるように実行する。すなわち、出力映像ストリームの先頭部分をＩピクチャ、Ｐピクチャを用いて予測符号化することにより、映像の表示までの時間ｔ０を早めることができる。また、最初のＩピクチャを再生開始時のビットレートに従いデコードすることで、映像ストリームのデコード開始を行うａ点の値を下げることができ、ｔ０の時間を早めることができる。さらに、ＶＢＶバッファの枯渇が起きないデータ量まで格納した段階でＢピクチャを用いた予測符号化に切り替えることにより、動画の画質は向上する。このように本実施例では、デジタル放送で用いられるＰピクチャ、Ｂピクチャの配列を好適に組み換えてトランスコードすることにより、映像送信装置１が出力する映像ストリームを映像受信装置３にて低遅延でデコード・表示することができる。
The encoding method (S320 and S340) of the present embodiment is the same as that of the first embodiment, and is executed so that the transition of the VBV model in FIG. 4 is obtained. That is, by predictively encoding the head portion of the output video stream using the I picture and P picture, the time t0 until video display can be shortened. Also, by decoding the first I picture in accordance with the bit rate at the start of playback, the value of point a for starting decoding of the video stream can be lowered, and the time t0 can be advanced. Furthermore, by switching to predictive encoding using a B picture at the stage of storing up to the amount of data that does not cause the VBV buffer to be exhausted, the image quality of moving images is improved. As described above, in the present embodiment, the video stream output from the
以下、本実施例の変形例を述べる。
上記例ではトランスコーダは記録映像ストリームの先頭部分をＩピクチャとＰピクチャにトランスコードするとしたが、先頭部分をＩピクチャのみでトランスコードを行ってもよい。
Hereinafter, modifications of the present embodiment will be described.
In the above example, the transcoder transcodes the head portion of the recorded video stream into an I picture and a P picture. However, the transcoder may transcode the head portion with only the I picture.
上記例ではトランスコーダは映像ストリームの全体に対しトランスコードするとしたが、記録している映像ストリームと出力映像ストリームのフォーマットが等しく、予測符号化方法も等しい場合、図４のｂ点のタイミングからトランスコードを行わずに出力してもよい。 In the above example, the transcoder transcodes the entire video stream. However, if the recorded video stream and the output video stream have the same format and the same predictive coding method, the transcoder starts from the timing of point b in FIG. You may output without code.
上記例では、デバイス記述（Ｃ１４０）により再生開始時のビットレート情報を受け取るとしたが、映像受信装置３の情報として、（ａ）画面解像度、（ｂ）最大輝度設定、（ｃ）コントラスト比のいずれかを受け取り、トランスコードをしてもよい。例えば映像受信装置３が表示する画面解像度に合わせてトランスコードすることで、映像ストリームの先頭部分のビットレートを下げ、ネットワークの伝送に伴う遅延を低減することができる。
In the above example, the bit rate information at the start of playback is received by the device description (C140). However, as information of the
さらに本実施例において、前記実施例２の手法を適用することができる。すなわち、図６に示すように、予測符号化の方法は変えずに量子化精度を下げてビットレートを下げてもよい。その際制御部１２は、実施例２で述べたように、ユーザから以下の操作を受け取った時、動作レスポンスの向上を求めていると判断して、映像ストリームの先頭部分ビットレートを低く割り当てる。
（１）ユーザが視聴している映像から望んでいる部分を探すとき、早送りと再生を繰り返すことにより、再生開始命令と早送りの特殊再生の命令を短い間隔で受け取った場合。
（２）ユーザが再生開始が遅いと感じ、再生ボタンを複数回押すことで、図４においてデコーダ側で表示を行うｔ０の時間より前に複数回の再生開始命令を出す場合。
（３）ユーザが再生するストリームを選んでいるとき、ストリームの終端まで視聴せず、次の番組の再生を開始するため、再生開始（Ｃ１７０）に含まれる再生時間よりも短い時間で次の再生命令を発行する場合。
（４）ユーザが明示的にレスポンス向上を望んでおり、映像受信装置３にあるレスポンス向上の操作ボタンを押すことで、デバイス記述（Ｃ１４０）に含まれる再生開始時のビットレート情報の値を更新した場合。
Furthermore, in the present embodiment, the method of the second embodiment can be applied. That is, as shown in FIG. 6, the bit rate may be lowered by lowering the quantization accuracy without changing the predictive coding method. At that time, as described in the second embodiment, when the following operation is received from the user, the
(1) When searching for a desired portion from the video being viewed by the user, a playback start command and a fast-forward special playback command are received at short intervals by repeating fast-forwarding and playback.
(2) When the user feels that the start of playback is slow and presses the playback button a plurality of times, and issues a playback start command a plurality of times before the time t0 when the display is performed on the decoder side in FIG.
(3) When the user selects a stream to be played back, the next playback is started in a time shorter than the playback time included in the playback start (C170) because the next program is started without being viewed until the end of the stream. When issuing instructions.
(4) The user explicitly wants to improve the response, and the value of the bit rate information at the start of playback included in the device description (C140) is updated by pressing the response improvement operation button in the
上記に示すユーザの操作傾向をもとに再生開始時のビットレートを下げることで、ユーザに応じて操作レスポンスと画質のバランスを図ることができる。 By reducing the bit rate at the start of playback based on the above-described user operation tendency, it is possible to achieve a balance between operation response and image quality according to the user.
実施例４は、映像受信装置で再生した映像を一時停止したときの画質向上を図るものである。装置構成は図７と同様であるため、説明を省略する。 The fourth embodiment is intended to improve the image quality when the video reproduced by the video receiving device is paused. The apparatus configuration is the same as in FIG.
図９は、実施例４において一時停止したときの再生方法を示すシーケンス図である。図２との同一部分（Ｃ１００〜Ｃ１８０）については同一番号を付して説明を省略する。
映像受信装置３が送信されたストリームを再生しているとき、ユーザが一時停止の操作を行ったとする。このとき映像受信装置３から映像送信装置１へ一時停止コマンド（Ｃ１７５）が出力される。一時停止（Ｃ１７５）は一時停止の命令と一時停止する時間の情報からなる。
FIG. 9 is a sequence diagram illustrating a playback method when paused in the fourth embodiment. The same parts (C100 to C180) as in FIG.
It is assumed that the user performs a pause operation while the
制御部１２は一時停止（Ｃ１７５）を受け取り、再生中のファイル名と一時停止する時間を記録媒体１４に出力する。記録媒体１４は対応する映像ストリームを出力する。また制御部１２は、一時停止の命令、再生可能な映像ストリームのフォーマットをトランスコーダ１６に出力する。トランスコーダ１６は、映像ストリームをスイッチ１５を通じて受け取り、画面内符号化（Ｉピクチャ）を行い、得られた出力映像ストリームを静止画ストリーム（Ｃ１８５）として出力する。
The
順方向予測符号化（Ｐピクチャ）、双方向予測符号化（Ｂピクチャ）は、予測符号化を用いて低いビットレートでも画質が維持できる反面、予測誤差の累積のため画面内予測符号化に比べると画質が劣る。本実施例によれば、映像送信装置１から一時停止時の映像ストリームを画面内符号化して再送することで、一時停止時の画面の画質を向上させることが可能になる。
Forward predictive coding (P picture) and bi-directional predictive coding (B picture) can maintain image quality even at a low bit rate using predictive coding, but they are compared with intra-screen predictive coding due to accumulation of prediction errors. And the image quality is inferior. According to the present embodiment, it is possible to improve the image quality of the screen at the time of pause by encoding the video stream at the time of pause from the
実施例５は、早送り、巻戻しといった特殊再生時において、ユーザが指示を行ってから映像受信装置で特殊再生動作が行われるまでのレスポンスの向上を図ったものである。装置構成は図７と同様であるため、説明を省略する。 In the fifth embodiment, during special playback such as fast-forward and rewind, the response is improved from when the user gives an instruction until the special playback operation is performed in the video reception device. The apparatus configuration is the same as in FIG.
図１０は、実施例５において特殊再生（早送り）したときの再生方法を示すシーケンス図である。図２との同一部分（Ｃ１００〜Ｃ１８０）については同一番号を付して説明を省略する。
ユーザが早送りの操作を行うと、映像受信装置３は再生開始（Ｃ１７１〜Ｃ１７３）を出力する。再生開始（Ｃ１７１〜Ｃ１７３）は再生開始時間が例えば２秒ずつ異なっており、再生時間は例えば０．５秒を指定する。映像受信装置３は対応するストリーム送信（Ｃ１８１〜Ｃ１８３）を受け取り、ストリームの一部分を再生することで早送り映像を得る。
FIG. 10 is a sequence diagram illustrating a playback method when special playback (fast forward) is performed in the fifth embodiment. The same parts (C100 to C180) as in FIG.
When the user performs a fast-forward operation, the
映像送信装置１は、予め定めた値より短い再生時間を含む再生開始命令を連続して受け取った場合、早送りの制御であると判断する。制御部１２はトランスコーダ１６に対し、ビットレートを下げてトランスコードするよう指示する。トランスコーダ１６は、指定されたビットレートに下げてトランスコードを行う。
The
本実施例によれば、早送り時にビットレートを下げてトランスコードすることにより、ネットワーク２による遅延を少なくし、ユーザが早送りの操作を行ってからのレスポンスを向上することができる。
According to the present embodiment, by transcoding by lowering the bit rate at the time of fast-forwarding, the delay due to the
上記例では早送りの場合について説明したが、巻戻しについても再生開始（Ｃ１７１〜Ｃ１７３）に含まれる再生開始時間の時間順が異なるだけであり、同様にビットレートを下げてトランスコードすることにより動作レスポンスを向上することができる。 In the above example, the case of fast-forwarding has been described. However, in the case of rewinding, only the time order of the playback start times included in the playback start (C171 to C173) is different. Response can be improved.
トランスコーダはビットレートを下げてトランスコードする制御信号を受け取ったとき、映像の解像度を下げてトランスコードしてもよい。解像度を下げることにより、トランスコードの処理負荷、および映像受信装置のデコード処理の負荷を下げることができ、動作レスポンスを向上することができる。また、１画素あたりのビット量が増えるため、トランスコードした映像が量子化精度の不足により視認できるブロックノイズが発生する確率が減る。 When the transcoder receives a control signal for transcoding at a reduced bit rate, the transcoder may transcode at a lower video resolution. By reducing the resolution, it is possible to reduce the transcoding processing load and the decoding processing load of the video receiving apparatus, and to improve the operation response. In addition, since the bit amount per pixel increases, the probability that block noise that can be visually recognized due to insufficient quantization accuracy of the transcoded video is reduced.
また、トランスコーダはビットレートを下げてトランスコードする制御信号を受け取ったとき、通常の再生命令によるトランスコードと比べて、Ｉピクチャにビットが多く割り振られるようにトランスコードしてもよい。映像受信装置は特殊再生時、Ｉピクチャだけをデコードし表示し、残りのピクチャはデコードしない場合がある。Ｉピクチャにビットを多く割り当てることにより、出力映像ストリームのビットレートに対する画質を向上させることができる。 Further, when the transcoder receives a control signal to be transcoded at a reduced bit rate, the transcoder may transcode so that more bits are allocated to the I picture than transcoding by a normal reproduction instruction. At the time of special reproduction, the video receiving apparatus may decode and display only the I picture and may not decode the remaining pictures. By assigning more bits to the I picture, the image quality with respect to the bit rate of the output video stream can be improved.
実施例６は、ユーザの操作傾向により、映像送信装置１からネットワーク２へストリームを送信するときの帯域割当てを変更するものである。
In the sixth embodiment, bandwidth allocation when a stream is transmitted from the
図１１は、実施例６における映像送信装置を含むストリーム送受信システムの概略図である。システムの構成は図１を基本構成とし、映像送信装置１からトランスコーダ１６を省いたものである。
FIG. 11 is a schematic diagram of a stream transmission / reception system including a video transmission apparatus according to the sixth embodiment. The system configuration is based on the basic configuration shown in FIG. 1, and the
記録媒体１４は、制御部１２からファイル名、再生開始時間を受け取ると、対応する映像ストリームをネットワークＩ／Ｆ１１に出力する。その際、映像ストリームに対するトランスコード処理は行わない。映像送信装置１が映像受信装置３から再生開始の制御信号を受け取り、映像ストリームを出力するまでのシーケンスは、図２と同様であるため説明を省略する。
When the
図１２は、実施例６におけるＶＢＶモデルのバッファ量推移を示す図である。本実施例ではトランスコーダを使用しないため、Ｉ０〜Ｂ３までの期間は、ネットワークＩ／Ｆ１１は映像ストリームが持つビットレートよりも高いネットワーク帯域を割り当ててネットワーク２に送信し、バッファのアンダフローが発生しないようにする。
FIG. 12 is a diagram illustrating changes in the buffer amount of the VBV model according to the sixth embodiment. Since the transcoder is not used in this embodiment, during the period from I0 to B3, the network I /
ネットワークＩ／Ｆ１１は、映像受信装置３が出力する制御信号の発生頻度を用いて高いネットワーク帯域を割り当てる。制御部１２は、実施例２で述べたように以下の操作指示の発生回数を一定期間保持し、発生回数が多いほど、ネットワーク帯域を段階的に高く割り当てる。
（１）ユーザが視聴している映像から望んでいる部分を探すとき、早送りと再生を繰り返すことにより、再生開始命令と早送りの特殊再生の命令を短い間隔で受け取った場合。
（２）ユーザが再生開始が遅いと感じ、再生ボタンを複数回押すことにより、図１２においてデコーダ側で表示を行うｔ０の時間より前に複数回の再生開始命令が出た場合。
（３）ユーザが再生するストリームを選んでいるとき、ストリームの終端まで視聴せず、次の番組の再生を開始するため、再生開始（Ｃ１７０）に含まれる再生時間よりも短い時間で次の再生命令が発行される場合。
（４）ユーザが明示的にレスポンス向上を望んでおり、映像受信装置３にあるレスポンス向上の操作ボタンを押すことにより、デバイス記述（Ｃ１４０）に含まれる再生開始時のビットレート情報の値を更新した場合。
The network I /
(1) When searching for a desired portion from the video being viewed by the user, a playback start command and a fast-forward special playback command are received at short intervals by repeating fast-forwarding and playback.
(2) When the user feels that the start of playback is slow and presses the playback button a plurality of times, so that a playback start command is issued a plurality of times before the time t0 when display is performed on the decoder side in FIG.
(3) When the user selects a stream to be played back, the next playback is started in a time shorter than the playback time included in the playback start (C170) because the next program is started without being viewed until the end of the stream. When an order is issued.
(4) The user explicitly wants to improve the response, and the value of the bit rate information at the start of playback included in the device description (C140) is updated by pressing the response improvement operation button in the
本実施例によれば、ユーザの操作傾向により再生開始時のネットワーク帯域が段階的に上がるため、ユーザに応じて操作レスポンスと画質のバランスを取ることができる。上記したユーザの操作指示の記録は一定期間後に破棄することで、高く割り当てたネットワーク帯域が保持されることはなく、映像送信装置１の出力がネットワークバスを常に占有してしまうことはない。
According to the present embodiment, the network bandwidth at the start of playback gradually increases depending on the user's operation tendency, so that the operation response and the image quality can be balanced according to the user. By discarding the above-mentioned recording of user operation instructions after a certain period of time, the highly allocated network bandwidth is not retained, and the output of the
上記例では、ユーザの操作傾向により再生開始時のネットワーク帯域を段階的に上げるようにしたが、映像受信装置３の情報として、（ａ）画面解像度、（ｂ）最大輝度設定、（ｃ）コントラスト比のいずれかをデバイス記述（Ｃ１４０）から受け取り、再生開始時のネットワーク帯域を定めてもよい。
In the above example, the network bandwidth at the start of playback is gradually increased due to the user's operation tendency. However, as information of the
例えば映像受信装置３が表示する（ａ）画面解像度の場合を述べる。出力映像ストリームのビットレートは画面解像度の大きさに比例する。映像受信装置３が表示する画面解像度に合わせてネットワーク帯域を上げることで、映像受信装置に応じて表示までの遅延を低減することができる。（ｂ）最大輝度設定、（ｃ）コントラスト比についても同様の効果が得られる。
For example, the case of (a) screen resolution displayed by the
以上、本発明にかかる実施例１〜６を説明したが、各実施例は単独でも、あるいは適宜組み合わせても有効であることは言うまでもない。 As mentioned above, although Example 1-6 concerning this invention was demonstrated, it cannot be overemphasized that each Example is effective even if it combines individually or suitably.
１…映像送信装置、
２…ネットワーク、
３…映像受信装置、
１１…ネットワークＩ／Ｆ、
１２…制御部、
１３…バス、
１４…記録媒体、
１５…スイッチ、
１６…トランスコーダ、
１７…スイッチ、
３１…ネットワークＩ／Ｆ、
３２…制御部、
３３…バス、
３４…デコーダ、
３５…モニタ、
３６…操作部。
1 ... Video transmission device,
2 ... Network,
3 ... Video receiver,
11 ... Network I / F,
12 ... control unit,
13 ... Bus
14 ... Recording medium,
15 ... switch,
16 ... Transcoder,
17 ... switch,
31 ... Network I / F,
32. Control unit,
33 ... Bus
34. Decoder,
35 ... monitor,
36. Operation unit.
Claims (4)
前記ネットワークから入力した映像ストリームのトランスコード処理を行うトランスコーダと、
前記トランスコード処理された映像ストリームを記録する記録媒体と、
前記記録媒体に記録されている映像ストリームを前記ネットワークを介して前記映像受信装置へ送信するネットワークＩ／Ｆと、
前記ネットワークを介して前記映像受信装置からの制御信号を受信し、前記トランスコーダのトランスコード処理を制御する制御部を備え、
該制御部は、前記受信した制御信号がデバイス記述であるとき、該デバイス記述に含まれる前記映像受信装置にて再生可能な映像ストリームのフォーマットと再生開始時のビットレートの情報を取得し、前記トランスコーダに対し、前記取得したフォーマットの情報に従い前記入力した映像ストリームのトランスコード処理を行わせるとともに、前記取得した再生開始時のビットレートの情報に合わせて前記映像ストリームの先頭期間のビットレートを設定することを特徴とした映像送信装置。 In a video transmission device that transmits an encoded video stream to a video reception device via a network,
A transcoder for transcoding a video stream input from the network;
A recording medium for recording the transcoded video stream;
A network I / F for transmitting a video stream recorded on the recording medium to the video receiving device via the network;
A control unit that receives a control signal from the video reception device via the network and controls transcoding processing of the transcoder;
When the received control signal is a device description, the control unit obtains information on a video stream format that can be played back by the video receiver included in the device description and information on a bit rate at the start of playback, and The transcoder is caused to transcode the input video stream according to the acquired format information, and the bit rate of the start period of the video stream is set in accordance with the acquired bit rate information at the start of playback. A video transmission device characterized by setting.
前記制御部は前記トランスコーダに対し、前記映像ストリームの先頭期間は、画面内符号化によるＩピクチャと順方向予測符号化によるＰピクチャのみの組み合わせ、あるいはＩピクチャのみで構成するように制御することを特徴とした映像送信装置。 The video transmission device according to claim 1,
The control unit controls the transcoder so that the head period of the video stream is configured by a combination of only an I picture by intra-frame coding and a P picture by forward predictive coding, or only an I picture. A video transmission device characterized by this.
前記制御部は、前記デバイス記述に含まれる再生開始時のビットレートの情報に代えて、前記デバイス記述に含まれる前記映像受信装置の画面解像度、最大輝度設定、コントラスト比のいずれかの情報を取得し、前記トランスコーダに対し、前記取得した情報に合わせて前記映像ストリームの先頭期間のビットレートを設定することを特徴とした映像送信装置。 The video transmission device according to claim 1,
The control unit obtains information on the screen resolution, the maximum brightness setting, and the contrast ratio of the video reception device included in the device description instead of the information on the bit rate at the start of playback included in the device description. And a bit rate for the head period of the video stream is set for the transcoder in accordance with the acquired information.
前記ネットワークから入力した映像ストリームのトランスコード処理を行うトランスコーダと、
前記トランスコード処理された映像ストリームを記録する記録媒体と、
前記記録媒体に記録されている映像ストリームを前記ネットワークを介して前記映像受信装置へ送信するネットワークＩ／Ｆと、
前記ネットワークを介して前記映像受信装置からの制御信号を受信し、前記トランスコーダのトランスコード処理を制御する制御部を備え、
該制御部は、前記受信した制御信号がユーザの操作指示に基づくものであるとき、前記映像受信装置から受信した制御信号の発生回数を一定期間保持し、前記トランスコーダに対し、前記保持している制御信号の発生回数に応じて、前記入力した映像ストリームの先頭期間のビットレートを下げてトランスコード処理を行わせることを特徴とした映像送信装置。 In a video transmission device that transmits an encoded video stream to a video reception device via a network,
A transcoder for transcoding a video stream input from the network;
A recording medium for recording the transcoded video stream;
A network I / F for transmitting a video stream recorded on the recording medium to the video receiving device via the network;
A control unit that receives a control signal from the video reception device via the network and controls transcoding processing of the transcoder;
When the received control signal is based on a user operation instruction, the control unit holds the number of generations of the control signal received from the video receiving apparatus for a certain period, and holds the held number for the transcoder. A video transmission apparatus characterized in that the transcoding process is performed by lowering the bit rate of the head period of the input video stream in accordance with the number of generated control signals.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010196419A JP2012054800A (en) | 2010-09-02 | 2010-09-02 | Video transmitter |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010196419A JP2012054800A (en) | 2010-09-02 | 2010-09-02 | Video transmitter |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012054800A true JP2012054800A (en) | 2012-03-15 |
Family
ID=45907667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010196419A Pending JP2012054800A (en) | 2010-09-02 | 2010-09-02 | Video transmitter |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012054800A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015033629A1 (en) * | 2013-09-03 | 2015-03-12 | ソニー株式会社 | Transmission apparatus, relay apparatus and reception apparatus |
| JP2020174365A (en) * | 2015-02-27 | 2020-10-22 | ソニー株式会社 | Transmission method and transmission device |
-
2010
- 2010-09-02 JP JP2010196419A patent/JP2012054800A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015033629A1 (en) * | 2013-09-03 | 2015-03-12 | ソニー株式会社 | Transmission apparatus, relay apparatus and reception apparatus |
| JP2020174365A (en) * | 2015-02-27 | 2020-10-22 | ソニー株式会社 | Transmission method and transmission device |
| JP2021132398A (en) * | 2015-02-27 | 2021-09-09 | ソニーグループ株式会社 | Transmission method and transmission apparatus |
| JP7095776B2 (en) | 2015-02-27 | 2022-07-05 | ソニーグループ株式会社 | Transmission method and transmission device |
| JP2022125084A (en) * | 2015-02-27 | 2022-08-26 | ソニーグループ株式会社 | Receiving device |
| US11627367B2 (en) | 2015-02-27 | 2023-04-11 | Sony Corporation | Transmitting device, transmitting method, receiving device, and receiving method |
| JP7375857B2 (en) | 2015-02-27 | 2023-11-08 | ソニーグループ株式会社 | receiving device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11588998B2 (en) | Conversion method and conversion apparatus | |
| JP5592716B2 (en) | Video transmission device | |
| JP2006513608A (en) | Audio-visual content transmission system and method | |
| JP2006050604A (en) | Method and apparatus for flexibly adjusting buffer amount when receiving av data depending on content attribute | |
| JP2017520940A (en) | Method and apparatus for multiplexing hierarchically encoded content | |
| JP5881219B2 (en) | Receiver capable of channel change with a single decoder and method at the receiver | |
| JP2017050840A (en) | Conversion method and conversion device | |
| US20180288452A1 (en) | Method of delivery audiovisual content and corresponding device | |
| TWI242371B (en) | Decoder and decoding method | |
| JP2012054800A (en) | Video transmitter | |
| US20210400334A1 (en) | Method and apparatus for loop-playing video content | |
| US7269839B2 (en) | Data distribution apparatus and method, and data distribution system | |
| JP4320509B2 (en) | Video re-encoding apparatus and method | |
| CN115278288B (en) | Display processing method and device, computer equipment and readable storage medium | |
| JP6643669B2 (en) | Display device and display method | |
| JP2012160982A (en) | Video transmission device and video reception device, and video transmission/reception control device | |
| JP2005277803A (en) | Motion picture reproducer | |
| KR20230065737A (en) | Media service buffering improvement method and apparatus and system therefor | |
| WO2017037971A1 (en) | Conversion method and conversion apparatus | |
| JP2016171471A (en) | Program distribution system | |
| JP2004242061A (en) | Electronic apparatus and method for selecting encoding system |