JP2016163134A - Moving image playback device and program - Google Patents
Moving image playback device and program Download PDFInfo
- Publication number
- JP2016163134A JP2016163134A JP2015038575A JP2015038575A JP2016163134A JP 2016163134 A JP2016163134 A JP 2016163134A JP 2015038575 A JP2015038575 A JP 2015038575A JP 2015038575 A JP2015038575 A JP 2015038575A JP 2016163134 A JP2016163134 A JP 2016163134A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- processing
- data piece
- processing circuit
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、動画再生装置及びプログラムに関する。 The present invention relates to a moving image playback apparatus and a program.
例えばセットトップボックスなどの動画再生装置は、例えばデジタル化された入力信号を復号(デコード)し、映像信号としてテレビなどの表示装置に出力する。表示装置は、動画再生装置から受信した映像信号を表示データに変換し、例えば2次元映像として表示する。例えば、特許文献1には、コンテンツ再生装置及びその制御方法において、高精細マルチメディアインターフェース(HDMI)アプリケーションを使用して制御装置とコンテンツ再生装置との間の通信を確立すること、確立されたHDMI通信およびベンダー固有のコマンドを使用して、コンテンツ再生装置の再生機能を制御することが開示されている。 For example, a moving image reproducing device such as a set top box decodes (decodes) a digitized input signal and outputs it as a video signal to a display device such as a television. The display device converts the video signal received from the moving image playback device into display data and displays it as, for example, a two-dimensional video. For example, Patent Document 1 discloses that in a content playback device and its control method, communication between the control device and the content playback device is established using a high-definition multimedia interface (HDMI) application. Controlling the playback function of a content playback device using communications and vendor specific commands is disclosed.
例えばこれらの動画再生装置において、入力信号は動画再生装置内でデコードされて表示装置に出力されるが、このデコード処理を行う際には多くの演算処理を要する場合がある。例えばフルHD映像などの高精細な動画用の入力信号、また、複雑な符号化(エンコード)形式の入力信号に対してデコード処理を行う際には、再生装置に多くの負荷がかかる。また、近年は、例えばウェブページの表示や多チャンネル同時表示など、再生装置には多くのサービスに対応することが要求される場合がある。 For example, in these video playback devices, the input signal is decoded in the video playback device and output to the display device, but when performing this decoding processing, a lot of arithmetic processing may be required. For example, when a decoding process is performed on an input signal for a high-definition moving image such as full HD video or an input signal in a complicated encoding format, a large load is applied to the playback device. In recent years, there are cases where the playback apparatus is required to support many services such as web page display and multi-channel simultaneous display.
このように、例えば動画再生と様々なサービスとの同時提供を行う際には、一時的に再生装置のCPUリソースが輻輳する。このため、当該同時サービスが満足に行われない場合、また再生される動画(映像)が乱れる場合がある。 As described above, for example, when simultaneously playing a moving image and various services, the CPU resource of the playback device is temporarily congested. For this reason, when the simultaneous service is not performed satisfactorily, the reproduced moving image (video) may be disturbed.
本発明は上記した点に鑑みてなされたものであり、動画再生装置の処理部が高負荷状態となることを抑制し、確実に動画再生を行うことが可能な動画再生装置及びプログラムを提供することを目的としている。 The present invention has been made in view of the above points, and provides a moving image reproducing device and a program that can reliably perform moving image reproduction while suppressing the processing unit of the moving image reproducing device from being in a high load state. The purpose is that.
本発明による動画再生装置は、各々が映像データ片を有する複数の入力パケットからなる映像ストリームをデコードする処理回路と、処理回路の使用率を監視する制御部と、を有し、処理回路は、使用率に基づいて、映像ストリームを映像データ片毎に順次デコードする順次処理と、少なくとも2つの映像データ片を結合して結合映像データ片を生成し、結合映像データ片を一括でデコードする一括処理とを選択的に行うことを特徴としている。 A moving image reproducing apparatus according to the present invention includes a processing circuit that decodes a video stream including a plurality of input packets each having a video data fragment, and a control unit that monitors a usage rate of the processing circuit. Sequential processing to sequentially decode the video stream for each video data piece based on the usage rate, and batch processing to generate a combined video data piece by combining at least two video data pieces and decode the combined video data pieces at once Is selectively performed.
また、本発明によるプログラムは、コンピュータを、各々が映像データ片を有する複数の入力パケットからなる映像ストリームをデコードする処理回路と、処理回路の使用率を監視する制御部と、を有し、処理回路は、使用率に基づいて、映像ストリームを映像データ片毎に順次デコードする順次処理と、少なくとも2つの映像データ片を結合して結合映像データ片を生成し、結合映像データ片を一括でデコードする一括処理とを選択的に行う動画再生装置として機能させることを特徴としている。 A program according to the present invention includes a computer having a processing circuit that decodes a video stream including a plurality of input packets each having a video data piece, and a control unit that monitors a usage rate of the processing circuit. The circuit sequentially decodes the video stream for each video data piece based on the usage rate, combines the at least two video data pieces to generate a combined video data piece, and decodes the combined video data pieces at once. It is characterized by functioning as a moving image playback apparatus that selectively performs batch processing.
以下、本発明の実施例について詳細に説明する。 Examples of the present invention will be described in detail below.
図1は、実施例1に係る動画再生装置(以下、単に再生装置と称する)10の構成を示すブロック図である。再生装置10は、各々が映像データ片PVDを有する入力パケットIPからなる映像ストリームを受信し、映像ストリームをデコードする処理回路20を有する。再生装置10は、映像ストリームをデコードした後、再生用の映像信号VSに変換し、映像信号VSを出力するように構成されている。映像データ片PVDは、複数個で1つのフレーム画像を構成し、さらに複数のフレーム画像によって映像ストリームを構成している。映像データ片PVDは、入力パケットIP内の一部として再生装置10に受信される。すなわち、再生装置10は、順次入力される複数の入力パケットIPの各々から映像データ片PVDをそれぞれ抽出し、デコード処理を行った後、映像信号VSとして出力する。
FIG. 1 is a block diagram illustrating a configuration of a moving image playback apparatus (hereinafter simply referred to as a playback apparatus) 10 according to the first embodiment. The
再生装置10は、例えば映像のストリーム再生に対応し、入力パケットIPの受信と映像信号VSの出力を同時に行うことが可能である。また、再生装置10は、複数の映像ストリームの同時再生(同時デコード)を行うように構成されている。再生装置10は、例えばセットトップボックスである。再生装置10は、受信部RE、データベースDB、メモリME、処理回路20及び出力部OUを有している。
For example, the
再生装置10は、入力パケットIPを受信する受信部REを有している。受信部REは、例えばIEEE802.3などの無線LAN規格に準拠したインターフェースを有している。受信部REは、受信した入力パケットIP内の映像データ片PVDから、映像データ片PVDが構成する映像ストリームを一意に判別する。また、再生装置10は、入力パケットIPに対応した映像ストリーム情報VSIが格納されたデータベースDBを有している。データベースDBには、映像ストリーム情報VSIとして、例えば、映像ストリームのストリームID、映像ストリームのフレーム情報、データ長、パケット処理用のフラグ情報などが格納されている。
The
受信部REは、入力パケットIPにデコード処理用のフラグ情報を付与したフラグ情報付き入力パケットFIPを生成する。受信部REは、生成したフラグ情報付き入力パケットFIPをメモリMEに格納する。また、受信部REは、入力パケットIPをメモリMEに格納した後、処理回路20(後述するパケット処理部22)に対して、メモリMEへの格納が完了したことを示す格納通知信号SNSを送信する。また、受信部REは、データベースDB内の映像ストリーム情報VSIを追加、更新、削除する機能を有している。
The receiving unit RE generates an input packet FIP with flag information in which flag information for decoding is added to the input packet IP. The receiving unit RE stores the generated input packet FIP with flag information in the memory ME. Further, after storing the input packet IP in the memory ME, the receiving unit RE transmits a storage notification signal SNS indicating that the storage in the memory ME is completed to the processing circuit 20 (
再生装置10は、フラグ情報付き入力パケットFIPをメモリMEから取得し、フラグ情報付き入力パケットFIPから映像データ片PVDを抽出した後、デコード処理を行うように構成された処理回路20を有している。処理回路20は、例えばセットトップボックスのCPUである。処理回路20は、処理回路20の使用率を監視し、当該使用率に基づいて入力パケットIPに付与するフラグ情報を切替える切替信号SSを生成する制御部21を有している。制御部21は、切替信号SSを受信部REに送信し、受信部REは、受信した切替信号SSに基づいて、フラグ情報付き入力パケットFIPを生成する。
The
処理回路20は、処理回路20の使用率に基づいて、入力パケットIP内の映像データ片PVDのデコード処理と、映像データ片PVDの結合処理とを選択的に行うように構成されている。具体的には、処理回路20は、自身の負荷の大きさに応じて、映像データ片PVD毎に順次デコードする順次処理と、映像データ片PVDに対するデコード処理(順次処理)を一時的に停止し、複数の映像データ片PVDのうちの少なくとも2つの映像データ片PVDを結合して結合映像データ片CVDを生成し、結合映像データ片CVDを一括でデコードする一括処理とを切替えるように構成されている。
The
より具体的には、処理回路20は、入力パケットIPにフラグが付与されていない場合(入力パケットIPに順次処理を示すフラグ情報が付与されている場合)、入力パケットIPから映像データ片PVDを抽出し、順次映像データ片PVDをデコードする(順次処理を行う)。一方、入力パケットIPにフラグが付与されている場合(入力パケットIPに一括処理を示すフラグ情報が付与されている場合)、処理回路20は、この入力パケットIP内の映像データ片PVDに対するデコード処理を一時的に停止し、入力パケットIPから映像データ片PVDを抽出した後、メモリMEに格納(キャッシュ)する(一括処理の準備)。
More specifically, when the flag is not given to the input packet IP (when the flag information indicating sequential processing is given to the input packet IP), the
処理回路20は、受信部REからの格納通知信号SNSに基づいてフラグ情報付き入力パケットFIPをメモリMEから取得する(読み出す)。処理回路20は、入力パケットIPに付与されているフラグ情報に基づいて、入力パケットIPを処理するパケット処理部22を有している。また、処理回路20は、メモリME内の映像データ片PVD又はパケット処理部22から受信した結合映像データ片CVDをデコードしてデコード後映像データ片ADDを生成するデコーダ23を有している。
The
パケット処理部22は、メモリME上の入力パケットIP(フラグ情報付き入力パケットIP)を読み取り、その中から映像データ片PVDを抽出する機能を有している。また、パケット処理部22は、以下の処理を行う機能を有している。まず、パケット処理部22は、入力パケットIPから抽出した映像データ片PVDをデコード前映像データBDDとしてデコーダ23に送信する(送信処理を行う)機能を有している。また、パケット処理部22は、当該抽出された映像データ片PVDをメモリMEに格納する機能と、当該抽出された映像データ片PVDをメモリME内の同一映像ストリームの結合映像データ片CVDに結合して結合映像データ片CVDを生成する(結合処理、すなわち一括処理の準備を行う)機能と、を有している。
The
また、パケット処理部22は、入力パケットIPを解析し、抽出した映像データ片PVDの映像ストリーム内における位置を判別する機能を有している。例えば、パケット処理部22は、処理中の映像データ片PVDが映像ストリーム内の最初若しくは最後の映像データ片PVDであることを判別(判定)する機能を有している。また、パケット処理部22は、処理中の映像データ片PVDが映像ストリーム内における何番目のフレームのデータ片PVDであるか、また当該映像データ片PVDのフレーム内における位置を判別する機能を有している。これらは、例えば入力パケットIP内のデータ長を示す情報やフレーム情報、又は映像ストリーム情報VSIに基づいて判別させることが可能である。
The
また、パケット処理部22は、入力パケットIPに付与されたフラグ情報に基づいて、映像データ片PVDをデコード前映像データ片BDDとしてデコーダ23に送信するか、映像データ片PVDをメモリMEにキャッシュして結合映像データ片CVDを生成するかを切替えながら行う。具体的には、パケット処理部22は、入力パケットIPに順次処理を示すフラグ情報が付与されていた場合、入力パケットIP内の映像データ片PVDをデコード前映像データ片BDDとしてデコーダ23に送信する。また、パケット処理部22は、入力パケットIPに一括処理を示すフラグ情報が付与されていた場合、入力パケットIP内の映像データ片PVDをメモリME内の映像データ片(PVD股やCVD)に結合してメモリMEに格納する。パケット処理部22は、映像データ片PVDをメモリMEに戻す場合、一括処理されるべき結合映像データ片CVDの生成が完了した後、デコーダ23に対して、結合映像データ片CVDの生成完了を示す結合通知信号CNSを送信する。
Further, based on the flag information given to the input packet IP, the
デコーダ23は、結合通知信号CNSを受信した場合、メモリME内から結合映像データ片CVDを読み取り、結合映像データ片CVDに対するデコード処理(一括処理)を行う。一方、デコーダ23は、パケット処理部22からデコード前映像データ片BDDを受信した場合、デコード前映像データ片BDD毎にデコード処理(順次処理)を行う。すなわち、デコーダ23は、パケット処理部22からのデコード前映像データ片BDDの受信又はパケット処理部22からの結合通知信号CNSの受信に基づいて映像データ片PVD又は結合映像データ片CVDのデコード処理を行う。換言すれば、パケット処理部22は、デコーダ23のデコード動作を制御している。また、このデコーダ23の順次処理及び一括処理は、制御部21からの切替信号SSによって受信部REが付与した入力パケットIPのフラグ情報に基づいて切り替わる。
When the
デコーダ23は、デコード処理が完了した映像データ片、すなわちデコード後映像データ片ADDを出力部OUに送信する。出力部OUは、デコード後映像データ片ADDを映像信号VSとして、例えば表示装置に対して出力する。出力部OUは、例えばHDMIインターフェースを有しており、デコードされた映像データ片(映像ストリーム)をテレビなどの表示端末に出力する。
The
なお、デコーダ23は、デコード後映像データ片ADDを出力部OUに出力せず、一旦メモリMEに格納することも可能である。この場合、デコーダ23は、出力部OUに対してデコード後映像データ片ADDのメモリMEへの格納を通知する信号を送信してもよい。また、出力部OUが外部からの指示によってメモリMEにアクセスし、メモリMEからデコード後映像データ片ADDを取得して、映像信号VSとして出力してもよい。すなわち、メモリMEには、入力パケットIPと、結合されたデコード前の映像データ片と、デコード後の映像データ片が格納され得る。
The
図2は、再生装置10における受信部REのパケット受信時の処理フローを示すフロー図である。受信部REは、入力パケットIPを受信すると受信処理を開始する(ステップST10)。まず、受信部REは、入力パケットIPから映像ストリームに関する情報を取得し、その内容をデータベースDBに照会する。受信部REは、入力パケットIPに対応する映像ストリームが登録済みの映像ストリームである場合(分岐JC11がYESの場合)、その登録済みの映像ストリーム情報VSIを使用して次のステップに進む。
FIG. 2 is a flowchart showing a processing flow when the receiving unit RE receives a packet in the
一方、映像ストリームがデータベースDBに登録されていない場合(分岐JC11がNOの場合)、受信部REは、制御部21からフラグの付与の指示を受けているかを確認する(分岐JC12)。受信部REは、フラグの付与の指示を受けている場合(分岐JCがYESの場合)、映像ストリームにフラグの付与設定を行い(ステップST11)、映像ストリーム情報VSIを追加する(ステップST12)。一方、フラグの付与の指示を受けていない場合(分岐JC12がNOの場合)、受信部REは、映像ストリームにフラグの付与設定を行わずに映像ストリーム情報VSIをデータベースDBに追加する(ステップST12のみ)。 On the other hand, when the video stream is not registered in the database DB (when the branch JC11 is NO), the receiving unit RE confirms whether or not a flag assignment instruction is received from the control unit 21 (branch JC12). When receiving an instruction to give a flag (when branch JC is YES), the receiving unit RE sets the flag to the video stream (step ST11), and adds the video stream information VSI (step ST12). On the other hand, when the flag assignment instruction has not been received (when branch JC12 is NO), the reception unit RE adds the video stream information VSI to the database DB without performing the flag assignment setting on the video stream (step ST12). only).
次に、受信部REは、映像ストリーム情報VSIを参照して、入力パケットIPにフラグ(バッファリングフラグ)を付与するかを確認する(分岐JC13)。入力パケットIPにフラグを付与する場合(分岐JC13がYESの場合)、受信部REは、フラグを付与した入力パケットIP(フラグ情報付き入力パケットFIP)を生成し、メモリMEに格納する(ステップST13)。一方、フラグを付与しない場合(分岐JC13がNOの場合)、受信部REは、フラグを付与せずに(フラグが付与されていないことを示すフラグ情報付き入力パケットFIPを生成し)、入力パケットIPをメモリMEに格納する(ステップST14)。入力パケットIPをメモリMEに格納した後、受信部REは、格納通知信号SNSを生成してパケット処理部22に送信する(ステップST15)。 Next, the receiving unit RE refers to the video stream information VSI and confirms whether or not to add a flag (buffering flag) to the input packet IP (branch JC13). When adding a flag to the input packet IP (when the branch JC13 is YES), the receiving unit RE generates the input packet IP to which the flag is added (an input packet FIP with flag information) and stores it in the memory ME (step ST13). ). On the other hand, when the flag is not given (when branch JC13 is NO), the receiving unit RE does not give the flag (generates the input packet FIP with flag information indicating that the flag is not given). IP is stored in memory ME (step ST14). After storing the input packet IP in the memory ME, the receiving unit RE generates a storage notification signal SNS and transmits it to the packet processing unit 22 (step ST15).
続いて、受信処理中の入力パケットIPが映像ストリームの最後のパケットである場合(分岐JC14がYESの場合)、受信部REは、データベースDBから映像ストリーム情報VSIを削除する(ステップST16)。また、ステップST16後、受信部REは受信処理を終了し、待機状態となる(ステップST17)。一方、受信処理中の入力パケットIPが最後のパケットではない場合(分岐JC14がNOの場合)、受信部REは、受信した入力パケットIPの受信処理を終了し、待機状態となる(ステップST17)。 Subsequently, when the input packet IP being received is the last packet of the video stream (when the branch JC14 is YES), the receiving unit RE deletes the video stream information VSI from the database DB (step ST16). In addition, after step ST16, the reception unit RE ends the reception process and enters a standby state (step ST17). On the other hand, when the input packet IP being received is not the last packet (when branch JC14 is NO), the receiving unit RE ends the receiving process of the received input packet IP and enters a standby state (step ST17). .
図3は、フラグ付与の指示を受けている場合における受信部REのデータベースDBに対する処理フローを示すフロー図である。受信部REは、上記した受信処理中の入力パケットIPに対応する映像ストリーム情報VSIのみならず、データベースDB内の他の映像ストリーム情報VSIに対しても処理を行う。具体的には、制御部21からフラグの付与の指示を受けている場合(分岐JC12がYESの場合)、受信部REは、データベースDB内の他の全ての映像ストリーム情報VSIに対して、フラグの付与設定を行うように情報を変更する(ステップST18)。変更後、受信部REの他の映像ストリーム情報VSIに対する処理は終了する(ステップST19)。すなわち、受信部REは、フラグ付与の指示を受けた場合には、データベースDBに登録されている他の映像ストリームに対応するパケットを受信してもフラグを付与するように構成されている。従って、受信部REは、制御部21からフラグの付与を指示されている場合は、常に入力パケットIPにフラグの付与を行う。従って、フラグの誤付与が抑制される。
FIG. 3 is a flowchart showing a processing flow for the database DB of the receiving unit RE when a flag assignment instruction is received. The receiving unit RE performs processing not only on the video stream information VSI corresponding to the input packet IP being received, but also on other video stream information VSI in the database DB. Specifically, when a flag assignment instruction is received from the control unit 21 (when the branch JC 12 is YES), the reception unit RE performs flag processing on all other video stream information VSI in the database DB. The information is changed so as to perform the provision setting (step ST18). After the change, the processing for the other video stream information VSI of the receiving unit RE is finished (step ST19). That is, the receiving unit RE is configured to give a flag even when receiving a packet corresponding to another video stream registered in the database DB when receiving an instruction to give a flag. Therefore, the receiving unit RE always adds a flag to the input packet IP when instructed to give a flag by the
図4は、パケット処理部22の処理フローを示すフロー図である。パケット処理部22は、受信部REからの格納通知信号SNSによって処理を開始する(ステップS20)。パケット処理部22は、まず、メモリMEから入力パケットIP(フラグ情報付き入力パケットFIP)を取得する(ステップST21)。次に、入力パケットIPにフラグが付与されており(分岐JC21がYESの場合)、入力パケットIPがフレームの最初の処理パケットである場合(分岐JC22がYESの場合)、パケット処理部22は、入力パケットIPから映像データ片PVDを抽出し、メモリMEに結合映像データ片CVDとして格納する(ステップST22)。ステップST22後、パケット処理部22の入力パケットIPに対する処理は終了し、待機状態となる(ステップST25)。
FIG. 4 is a flowchart showing a processing flow of the
次に、入力パケットIPにフラグが付与されており(分岐JC21がYESの場合)、入力パケットIPがフレーム内における最初の処理パケットではなく(分岐JC22がNOの場合)、同一フレーム内の最初の映像データ片PVDがデコード前の場合(分岐JC23がYESの場合)、パケット処理部22は、入力パケットIPから映像データ片PVDを抽出し、当該映像データ片PVDを、メモリME内の同一ストリームの映像データ(結合映像データ片CVD)に結合する(ステップST23)。パケット処理部22は、結合処理を行った映像データ片PVDが同一フレームの最後の映像データ片PVDである場合(分岐JC24がYESの場合)、同一フレームに対する結合映像データ片CVDの生成完了を示す結合通知信号CNSを生成し、デコーダ23に結合通知信号CNSを送信する(ステップST24)。パケット処理部22は、結合通知信号CNSを送信した後、待機状態となる(ステップST25)。
Next, a flag is given to the input packet IP (when the branch JC21 is YES), the input packet IP is not the first processing packet in the frame (when the branch JC22 is NO), and the first packet in the same frame When the video data piece PVD is before decoding (when the branch JC23 is YES), the
上記した処理は、同一フレームの最初の映像データ片PVDに対応する入力パケットIPにフラグが付与されている場合(すなわち1つのフレームの処理開始時に処理回路20の使用率が高い場合)の処理である。この場合、パケット内の映像データ片PVDはデコーダに送信されず、メモリMEに結合映像データ片CVDとして格納される。この間は、メモリME内の未完成の結合映像データ片CVDに対するデコード処理は行われず、デコード処理による処理回路20の処理負荷(演算負荷)の増大が抑制される。
The above processing is processing when a flag is given to the input packet IP corresponding to the first video data piece PVD of the same frame (that is, when the usage rate of the
次に、入力パケットIPにフラグが付与されておらず(分岐JC21がNOの場合)、同一フレームの最初の映像データ片PVDがデコード前でない場合(分岐JC23がNOの場合)、パケット処理部22は、入力パケットIPから映像データ片PVDを抽出し、デコーダ23にデコード前映像データ片BDDとして送信する(ステップST25)。これは、処理回路20の使用率が比較的小さく、処理回路20の処理負荷に余裕がある場合の処理である。この場合、映像データ片PVDは順次デコーダ23に伝送され、デコード処理(順次処理)が行われる。
Next, when the flag is not given to the input packet IP (when the branch JC21 is NO) and the first video data piece PVD of the same frame is not before decoding (when the branch JC23 is NO), the
このように、処理回路20の負荷に応じて、入力パケットIPへのフラグ情報が切替り、これによって、映像データ片PVDに対する順次デコード処理を行うか、順次デコード処理を一時的に停止して映像データ片PVDの結合処理のみを行うかが切替る。従って、映像の乱れなどの動画品質を確保しつつ、処理回路20の負荷を一定以下に抑えることが可能となる。従って、動画再生と他のサービスとの両方のサービスを高品質で行うことが可能となる。
As described above, the flag information to the input packet IP is switched according to the load of the
例えば、デコード処理(順次処理)によって処理回路20の負荷が大幅に増加する例として、1つのセットトップボックスで同時に複数の動画を再生する場合がある。具体的には、例えば1つのチャンネルの動画を再生している途中に、視聴者が複数のチャンネルの動画を同時に見たい場合、同時に複数のデコード処理が並行して行われることが必要となる。この場合、1つのチャンネルの映像は乱れることなく再生されていても、残りのチャンネルの映像は乱れるといった場合があった。
For example, as an example in which the load on the
これに対し、本実施例においては、制御部21が処理回路20(自身)の使用率を監視する。そして、処理回路20に余裕がある場合にはある程度デコード処理を集中して行うことで、複数の動画を同時に再生する場合の映像の乱れを抑制することができる。これは、デコーダ23がデコード後映像データ片ADDをメモリMEに格納することでさらに大きな効果を得ることができる。このように、再生装置10(処理回路20)は、複数の映像ストリームの各々における映像データ片PVDに対して同時にデコード処理を行う場合に大きな効果を発揮する。
On the other hand, in this embodiment, the
また、再生装置10を動画再生以外の他のサービスと併用する場合であっても、処理回路20の処理容量を他のサービス用に確保することができる。従って、処理回路20が高負荷状態であっても、他のサービスを遅滞なく提供することが可能となる。
Further, even when the
なお、本実施例においては、動画の例えば少なくとも1つフレーム画像をデコード単位とし、デコード単位毎に入力パケットIP(映像データ片PVD)に対する処理(順次処理及び一括処理)が切替るように構成されている。すなわち、入力パケットIPにフラグが付与されている場合でも、フレームの最初の映像データ片PVDがすでにデコードされている場合(分岐JC23がNOの場合)、映像データ片PVDはデコーダ23に送信される(ステップST25)。また、入力パケットIPにフラグが付与されていない場合でも、フレームの最初の映像データ片PVDがデコード前の場合(分岐JC23がYESの場合)、映像データ片PVDは結合されてメモリMEに格納される(ステップ23)。このように動画のフレームの切替単位をデコード処理の切替単位とすることで、フレーム単位での映像(画像)の乱れなどが抑制される。
In this embodiment, for example, at least one frame image of a moving image is used as a decoding unit, and processing (sequential processing and batch processing) for the input packet IP (video data piece PVD) is switched for each decoding unit. ing. That is, even when the flag is given to the input packet IP, when the first video data piece PVD of the frame has already been decoded (when the branch JC23 is NO), the video data piece PVD is transmitted to the
図5は、制御部21の処理フローを示すフロー図である。制御部21は、処理回路20の使用率を監視(取得及び判定)し、処理回路20の使用率に応じて、受信部REに対するフラグ付与の指示(順次処理及び一括処理)を切替える切替信号SSを生成する。まず、処理回路20は、制御部21によって、処理開始(ステップST30)後、定期的に処理回路20の使用率を取得する(ステップST31)。そして、取得された処理回路20の使用率と現在のフラグ付与の指示内容とに基づいて切替信号SSの切替を行う。
FIG. 5 is a flowchart showing the processing flow of the
具体的には、フラグ付与の指示を行っていない状態で(分岐JC31がNOの場合)、処理回路20の使用率が第1の閾値X(上限値、例えば80%)以上となった場合(分岐JC32がYESの場合)、制御部21は、入力パケットIPにフラグを付与することを示す切替信号SSを生成する(ステップST32)。一方、フラグ付与の指示を行っていない状態で、処理回路20の使用率が上限値X未満となった場合、フラグの付与の指示は行わない(フラグの非付与を継続する)。
Specifically, in a state where no flag assignment instruction is given (when the branch JC 31 is NO), when the usage rate of the
また、フラグ付与の指示を行っている際(分岐JC31がYESの場合)に、処理回路20の使用率が第2の閾値Y(下限値、例えば30%)未満となった場合、制御部21は、入力パケットIPへのフラグの付与を停止することを示す切替信号SSを生成する(ステップST33)。一方、制御部21は、フラグを付与している状態で、処理回路20の使用率が下限値Y以上となった場合、フラグの付与を継続する。このように、制御部21は、処理回路20の使用率を監視し、当該使用率に基づいて入力パケットIPへのフラグの付与及び非付与を切替える切替信号SSを生成する。なお、制御部21は、処理回路20の使用率のみならず、映像ストリームの解像度やフレームレートなどを考慮して、フラグ付与及び非付与の切替指示(切替信号SSの内容の切替)を行ってもよい。
Further, when the flag assignment instruction is given (when the branch JC 31 is YES), when the usage rate of the
換言すれば、制御部21は、処理回路20が順次処理を行っている際に処理回路20の使用率が上限値X以上となった場合、処理回路20の順次処理が一括処理に切替わるように切替信号SSを生成する。一方、制御部20は、処理回路20が一括処理を行っている際に処理回路20の使用率が下限値Y未満となった場合、処理回路20の一括処理が順次処理に切替るように切替信号SSを生成する。また、これらの条件を満たさない場合、例えば順次処理の指示中に使用率が80未満の場合には、制御部21は、送信中の切替信号SSの内容を変更せず(継続して生成し)、受信部REに送信する。処理回路20は、この切替信号SSに基づいて順次処理及び一括処理を切替えて映像データ片PVD(映像ストリーム)のデコード処理を行う。
In other words, the
なお、本実施例においては、再生装置10がセットトップボックスである場合について説明したが、再生装置10はスマートフォンやタブレットなどの携帯端末に含まれて(搭載されて)いてもよい。また、処理回路20が受信部RE及び制御部21を有する場合について説明したが、受信部RE及び制御部21のいずれかが処理回路20の外部に設けられていても良い。
In the present embodiment, the case where the
また、本実施例においては、パケット処理部22における結合処理及び送信処理の切替が動画のフレーム毎に切替る場合について説明したが、当該処理の切替えは、単純にフラグの付与及び非付与に応じて行われてもよい。例えば厳密に処理回路20の使用率の上限を設定することを考慮すると、フレーム毎ではなくパケット毎(映像データ片PVD毎)で処理の切替を行うことが好ましい。また、フレーム毎に処理の切替えを行う条件として、処理回路20は、映像ストリームにおける同一フレーム内の少なくとも1つの入力パケットIPにフラグが付与されている場合に、当該同一フレーム内の全ての映像データ片PVDに対して一括処理を行うように構成されていてもよい。
Further, in the present embodiment, the case has been described in which the switching of the combining process and the transmission process in the
図6は、実施例2に係るプログラムPGの構成を示すブロック図である。プログラムPGは、コンピュータCPを実施例1の動画再生装置10として機能させるように構成されている。従って、プログラムPGをインストールすることで、容易に高性能な動画再生装置を構成することが可能となる。
FIG. 6 is a block diagram illustrating the configuration of the program PG according to the second embodiment. The program PG is configured to cause the computer CP to function as the moving
10 動画再生装置
PVD 映像データ片
CVD 結合映像データ片
20 処理回路
21 制御部
22 パケット処理部
23 デコーダ
ME メモリ
IP 入力パケット
10 video playback device PVD video data piece CVD combined
Claims (8)
前記処理回路は、前記使用率に基づいて、前記映像ストリームを前記映像データ片毎に順次デコードする順次処理と、少なくとも2つの前記映像データ片を結合して結合映像データ片を生成し、前記結合映像データ片を一括でデコードする一括処理とを選択的に行うことを特徴とする動画再生装置。 A processing circuit for decoding a video stream composed of a plurality of input packets each having a piece of video data, and a control unit for monitoring the usage rate of the processing circuit,
The processing circuit sequentially decodes the video stream for each video data piece based on the usage rate, and generates a combined video data piece by combining at least two video data pieces; A moving image reproducing apparatus that selectively performs batch processing for collectively decoding video data pieces.
前記順次処理を行っている際に前記使用率が第1の閾値以上となった場合、前記順次処理から前記一括処理に処理を切替え、
前記一括処理を行っている際に前記使用率が第2の閾値未満となった場合、前記一括処理から前記順次処理に処理を切替えることを特徴とする請求項1に記載の動画再生装置。 The processing circuit includes:
If the usage rate is equal to or higher than the first threshold during the sequential processing, the processing is switched from the sequential processing to the batch processing,
2. The moving image reproducing apparatus according to claim 1, wherein when the usage rate becomes less than a second threshold during the batch processing, the processing is switched from the batch processing to the sequential processing.
前記処理回路は、
前記複数の前記入力パケットを順次受信し、前記切替信号に基づいて、前記順次処理及び前記一括処理の各々に対応したフラグ情報を前記入力パケットに付与してメモリに格納する受信部と、
前記映像データ片及び前記結合映像データ片をデコードするデコーダと、
前記入力パケットに前記順次処理を示す前記フラグ情報が付与されている場合には前記入力パケット内の前記映像データ片を前記デコーダに送信し、前記入力パケットに前記一括処理を示す前記フラグ情報が付与されている場合には前記入力パケット内の前記映像データ片を前記メモリ内の映像データ片に結合して前記結合映像データ片を生成するパケット処理部と、を有し、
前記パケット処理部は、前記結合映像データ片の生成の完了後、前記デコーダに対して結合通知信号を送信し、
前記デコーダは、前記パケット処理部から前記映像データ片を受信した場合には前記映像データ片をデコードし、前記パケット処理部から前記結合通知信号を受信した場合には前記メモリから前記結合映像データを読出してデコードすることを特徴とする請求項1又は2に記載の動画再生装置。 The control unit generates a switching signal for switching between the sequential processing and the batch processing based on the usage rate,
The processing circuit includes:
A receiving unit that sequentially receives the plurality of input packets, and adds flag information corresponding to each of the sequential processing and the batch processing to the input packets based on the switching signal and stores the flag information in a memory;
A decoder for decoding the video data piece and the combined video data piece;
When the flag information indicating the sequential processing is added to the input packet, the video data piece in the input packet is transmitted to the decoder, and the flag information indicating the batch processing is added to the input packet. A packet processing unit that combines the video data pieces in the input packet with the video data pieces in the memory to generate the combined video data pieces,
The packet processing unit transmits a combination notification signal to the decoder after the generation of the combined video data piece is completed,
The decoder decodes the video data piece when receiving the video data piece from the packet processing unit, and receives the combined video data from the memory when receiving the combination notification signal from the packet processing unit. The moving image reproducing apparatus according to claim 1, wherein the moving image reproducing apparatus reads and decodes the moving image.
前記処理回路は、前記複数の前記入力パケットを順次受信し、前記切替信号に基づいて、前記順次処理及び前記一括処理の各々に対応したフラグ情報を前記入力パケットに付与してメモリに格納する受信部を有し、
前記処理回路は、前記映像ストリーム内の同一フレーム内の少なくとも1つの前記入力パケットに前記一括処理を示す前記フラグ情報が付与されている場合、前記同一フレームの全ての前記映像データ片に対して前記一括処理を行うことを特徴とする請求項1乃至3のいずれか1つに記載の動画再生装置。 The control unit generates a switching signal for switching between the sequential processing and the batch processing based on the usage rate,
The processing circuit sequentially receives the plurality of input packets, and receives the flag information corresponding to each of the sequential processing and the batch processing based on the switching signal and stores the flag information in the memory. Part
When the flag information indicating the batch processing is attached to at least one of the input packets in the same frame in the video stream, the processing circuit performs the processing on all the video data pieces in the same frame. 4. The moving image reproducing apparatus according to claim 1, wherein batch processing is performed.
各々が映像データ片を有する複数の入力パケットからなる映像ストリームをデコードする処理回路と、前記処理回路の使用率を監視する制御部と、を有し、
前記処理回路は、前記使用率に基づいて、前記映像ストリームを前記映像データ片毎に順次デコードする順次処理と、少なくとも2つの前記映像データ片を結合して結合映像データ片を生成し、前記結合映像データ片を一括でデコードする一括処理とを選択的に行う動画再生装置として機能させることを特徴とするプログラム。 Computer
A processing circuit for decoding a video stream composed of a plurality of input packets each having a piece of video data, and a control unit for monitoring the usage rate of the processing circuit,
The processing circuit sequentially decodes the video stream for each video data piece based on the usage rate, and generates a combined video data piece by combining at least two video data pieces; A program that functions as a moving image reproducing apparatus that selectively performs batch processing for collectively decoding video data pieces.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015038575A JP2016163134A (en) | 2015-02-27 | 2015-02-27 | Moving image playback device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015038575A JP2016163134A (en) | 2015-02-27 | 2015-02-27 | Moving image playback device and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016163134A true JP2016163134A (en) | 2016-09-05 |
Family
ID=56845626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015038575A Pending JP2016163134A (en) | 2015-02-27 | 2015-02-27 | Moving image playback device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016163134A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3971227A1 (en) | 2016-08-23 | 2022-03-23 | Kawasaki Institute of Industrial Promotion | Polymer, method for producing polymer, and drug conjugate |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63276989A (en) * | 1987-05-08 | 1988-11-15 | Nippon Telegr & Teleph Corp <Ntt> | Video signal multiplex recoder |
JP2002112195A (en) * | 2000-10-04 | 2002-04-12 | Sanyo Electric Co Ltd | Moving image decoder and moving image decoding method |
JP2007027812A (en) * | 2005-07-12 | 2007-02-01 | Matsushita Electric Ind Co Ltd | Video stream processing apparatus, integrated circuit device, and method |
WO2007069486A1 (en) * | 2005-12-13 | 2007-06-21 | Matsushita Electric Industrial Co., Ltd. | Data processor |
JP2008092180A (en) * | 2006-09-29 | 2008-04-17 | Sanyo Electric Co Ltd | Digital broadcast receiver and receiving program |
JP2009111932A (en) * | 2007-10-31 | 2009-05-21 | Panasonic Corp | Moving image decoding device |
JP2009284288A (en) * | 2008-05-23 | 2009-12-03 | Panasonic Corp | Digital broadcast receiver and digital broadcast receiving method |
JP2010226566A (en) * | 2009-03-25 | 2010-10-07 | Panasonic Corp | Broadcast receiver avoiding network load |
JP2011166380A (en) * | 2010-02-08 | 2011-08-25 | Canon Inc | Communication device, communication method, and program |
JP2012205225A (en) * | 2011-03-28 | 2012-10-22 | Sanyo Electric Co Ltd | Image reproduction device |
-
2015
- 2015-02-27 JP JP2015038575A patent/JP2016163134A/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63276989A (en) * | 1987-05-08 | 1988-11-15 | Nippon Telegr & Teleph Corp <Ntt> | Video signal multiplex recoder |
JP2002112195A (en) * | 2000-10-04 | 2002-04-12 | Sanyo Electric Co Ltd | Moving image decoder and moving image decoding method |
JP2007027812A (en) * | 2005-07-12 | 2007-02-01 | Matsushita Electric Ind Co Ltd | Video stream processing apparatus, integrated circuit device, and method |
WO2007069486A1 (en) * | 2005-12-13 | 2007-06-21 | Matsushita Electric Industrial Co., Ltd. | Data processor |
JP2008092180A (en) * | 2006-09-29 | 2008-04-17 | Sanyo Electric Co Ltd | Digital broadcast receiver and receiving program |
JP2009111932A (en) * | 2007-10-31 | 2009-05-21 | Panasonic Corp | Moving image decoding device |
JP2009284288A (en) * | 2008-05-23 | 2009-12-03 | Panasonic Corp | Digital broadcast receiver and digital broadcast receiving method |
JP2010226566A (en) * | 2009-03-25 | 2010-10-07 | Panasonic Corp | Broadcast receiver avoiding network load |
JP2011166380A (en) * | 2010-02-08 | 2011-08-25 | Canon Inc | Communication device, communication method, and program |
JP2012205225A (en) * | 2011-03-28 | 2012-10-22 | Sanyo Electric Co Ltd | Image reproduction device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3971227A1 (en) | 2016-08-23 | 2022-03-23 | Kawasaki Institute of Industrial Promotion | Polymer, method for producing polymer, and drug conjugate |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109327728B (en) | One-to-many same-screen method, device and system, same-screen equipment and storage medium | |
KR101810496B1 (en) | Video streaming in a wireless communication system | |
JP3631123B2 (en) | Digital broadcast receiver | |
US20110002376A1 (en) | Latency Minimization Via Pipelining of Processing Blocks | |
CN110708564B (en) | Live transcoding method and system for dynamically switching video streams | |
EP1956848A2 (en) | Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method | |
JP6430034B2 (en) | Recording medium and apparatus for recording program for providing low-delay live broadcast content | |
JP2013110572A (en) | Reproduction apparatus, reproduction method, and program | |
JP2018148563A (en) | Home cinema system devices | |
JP2005516500A (en) | Image processing method and system for improving perceived visual output quality in the absence of image data | |
US20130291011A1 (en) | Transcoding server and method for overlaying image with additional information therein | |
EP3920537A1 (en) | Video decoding method and apparatus, video encoding method and apparatus, storage medium and electronic device | |
JP5936685B2 (en) | Relay device | |
JP2016163134A (en) | Moving image playback device and program | |
JP5624582B2 (en) | Multi-format video playback apparatus and control method thereof | |
JP2005184788A (en) | Signal processing device | |
US8045842B2 (en) | Information processing apparatus and method, transmission apparatus and method, recording apparatus and method and program | |
JP2014045425A (en) | Electronic device and control method of the same | |
JP6558071B2 (en) | Wireless communication apparatus, wireless communication program, and wireless communication method | |
KR20090030530A (en) | Image processing apparatus to transfer high-resolution graphic and method thereof | |
JP2016149770A (en) | Minimization system of streaming latency and method of using the same | |
JP4325697B2 (en) | Image processing system, image processing apparatus, image processing method, and program | |
JP4937602B2 (en) | Digital tv receiver | |
JP2005005997A (en) | Image data processor | |
JP2006229618A (en) | Video communication system, video communication equipment, program and video communication method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190212 |