JP2016134673A - Transmission device, transmission method and program - Google Patents
Transmission device, transmission method and program Download PDFInfo
- Publication number
- JP2016134673A JP2016134673A JP2015006697A JP2015006697A JP2016134673A JP 2016134673 A JP2016134673 A JP 2016134673A JP 2015006697 A JP2015006697 A JP 2015006697A JP 2015006697 A JP2015006697 A JP 2015006697A JP 2016134673 A JP2016134673 A JP 2016134673A
- Authority
- JP
- Japan
- Prior art keywords
- error correction
- content data
- data
- communication status
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims description 92
- 238000012937 correction Methods 0.000 claims abstract description 253
- 238000004891 communication Methods 0.000 claims abstract description 167
- 238000011084 recovery Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 239000000872 buffer Substances 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、送信装置、送信方法、及びプログラムに関する。 The present invention relates to a transmission device, a transmission method, and a program.
現在、現実世界と仮想空間をリアルタイム且つシームレスに融合するMR(Mixed Reality: 複合現実)システムが利用されてきている。MRシステムを実現する方法の一つとして、ビデオシースルー方式がある。ビデオシースルー方式の一例として、まず、HMD(Head Mounted Display:頭部装着型表示装置)に付属している左目及び右目に対応する二つのビデオカメラでHMDユーザの視界領域をそれぞれ撮像する。次に、その撮像映像にCG(Computer Graphics)を重畳する。最後に、CGを重畳した映像をHMDに付属している左目及び右目に対応する二つのディスプレイにより観察する。 Currently, MR (Mixed Reality) systems that seamlessly integrate the real world and virtual space in real time have been used. One method for realizing the MR system is a video see-through method. As an example of the video see-through method, first, the visual field region of the HMD user is imaged with two video cameras corresponding to the left eye and the right eye attached to an HMD (Head Mounted Display). Next, CG (Computer Graphics) is superimposed on the captured image. Finally, the video on which the CG is superimposed is observed with two displays corresponding to the left eye and the right eye attached to the HMD.
撮像映像にCGを重畳する処理は計算処理コストが大きいため、PCなどの外部装置と接続し、一旦撮像映像を外部装置に送信し、外部装置上でCGを重畳し、それをHMDに送り返してから表示したりする。このような場合に、HMDユーザは自由に動きながらMR空間を体験するために、HMDとCGを重畳する外部装置とは無線で通信することが望ましい。しかし、一般的に、無線通信は有線通信に比較して通信帯域が狭く、通信上でのパケットロスや遅延も発生しやすい。パケットロスや遅延等の通信エラーが発生すると、HMDに送り返される映像が正常に出力できず、映像が乱れたり、映像が長時間更新されなかったりすることがある。 Since the processing for superimposing CG on the captured image is computationally expensive, it is connected to an external device such as a PC, temporarily transmits the captured image to the external device, superimposes the CG on the external device, and sends it back to the HMD. Or display from. In such a case, in order for the HMD user to experience the MR space while freely moving, it is desirable to communicate wirelessly with an external device that superimposes the HMD and the CG. However, generally, wireless communication has a narrower communication band than wired communication, and packet loss and delay are likely to occur during communication. When a communication error such as packet loss or delay occurs, the video sent back to the HMD cannot be normally output, and the video may be distorted or the video may not be updated for a long time.
通信エラーに対する耐性を高める技術として、前方誤り訂正(FEC: Forward Error Correction)技術がある。誤り訂正技術では、データパケットに対して冗長な誤り訂正パケットを生成し、データパケットと共に誤り訂正パケットも送信するため、通信帯域を余計に使用する。そのため、有限な通信帯域に対して、生成、送信できる誤り訂正パケット量は限られる。従って、限られた誤り訂正符号資源を通信状況やデータの重要度等に応じて適用制御する必要がある。例えば、特許文献1には、MRシステムと同様に左右の映像データを送信するシステムにおいて、重要なデータに誤り訂正技術を適用する方法が開示されている。
There is a forward error correction (FEC) technique as a technique for improving resistance to communication errors. In the error correction technique, a redundant error correction packet is generated for a data packet, and the error correction packet is transmitted together with the data packet. Therefore, an extra communication band is used. Therefore, the amount of error correction packets that can be generated and transmitted for a finite communication band is limited. Therefore, it is necessary to control application of limited error correction code resources according to the communication status, the importance of data, and the like. For example,
上述したMRシステムにおいては、左目及び右目に対応する二つの映像をそれぞれに対応する二つのディスプレイにより観察するため、左目映像と右目映像の二つの映像データが存在する。通常、二つの映像データに誤り訂正符号資源を均等に割り当てることで、左右映像の通信エラー耐性を高め、左右映像が正常に出力されることを期待する。
しかしながら、通信状況が悪化し、左右の映像に割り当てた誤り訂正符号資源だけでは通信エラー耐性が不十分となった場合、左右の両映像が乱れたり、両映像が長時間更新されなかったりすると、ユーザに大きな不快感を与えてしまう。
本発明は上述した問題を解決するためになされたものであり、まず、誤り訂正符号資源を割り当てる誤り訂正適用レベルを少なくとも二レベル以上用意する。次に、通信状況の変化に応じて左目、及び右目に対応する映像フレームパケットに対する誤り訂正適用レベルを少なくとも一フレーム以上の周期で切り替える。これにより、左右の映像データに対する通信エラー耐性が周期的に切り替わり、左右両映像、又は左右映像のどちらか一方の映像だけの映像品質が長期間低下する状況の発生率を低減することを可能とする送信装置及び送信方法を提供することを目的とする。
In the MR system described above, two images corresponding to the left eye and the right eye are observed by two displays corresponding to the left eye and the right eye, respectively. In general, by allocating error correction code resources equally to two video data, it is expected that the right and left video is output normally by improving the tolerance of communication errors between the left and right videos.
However, if the communication situation deteriorates and the error correction code resources assigned to the left and right images alone are insufficient in communication error tolerance, both the left and right images are disturbed or both images are not updated for a long time, The user is greatly discomforted.
The present invention has been made to solve the above-described problems. First, at least two error correction application levels to which error correction code resources are allocated are prepared. Next, the error correction application level for the video frame packet corresponding to the left eye and the right eye is switched in a cycle of at least one frame or more according to a change in communication status. As a result, the communication error tolerance for the left and right video data is periodically switched, and it is possible to reduce the occurrence rate of the situation where the video quality of only one of the left and right videos or the left and right videos is deteriorated for a long time. An object of the present invention is to provide a transmission device and a transmission method.
上記目的を達成するための一手段として、本発明の送信装置は以下の構成を備える。
すなわち、第1のコンテンツデータと前記第2のコンテンツデータとを、受信装置に送信する送信装置であって、
前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握手段と、
前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第1のコンテンツデータ、前記第2のコンテンツデータそれぞれに対して設定する設定手段と、
前記第1のコンテンツデータおよび前記第2のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第1の誤り訂正用データ及び第2の誤り訂正用データを生成する誤り訂正データ生成手段と、
前記第1のコンテンツデータ、前記第2のコンテンツデータ、前記第1の誤り訂正用データ、前記第2の誤り訂正用データを前記受信装置に送信する送信手段と、を備えることを特徴とする。
As one means for achieving the above object, the transmission apparatus of the present invention comprises the following arrangement.
That is, a transmission device that transmits first content data and the second content data to a reception device,
A communication status grasping means for grasping a communication status between the transmitting device and the receiving device;
Based on the communication status, an error correction strength of error correction data used by the receiving device to correct content data that the receiving device has not normally received among the transmitted content data is set to the first content data. Setting means for setting each of the content data and the second content data,
Error correction data generation means for generating first error correction data and second error correction data based on the error correction strength set for each of the first content data and the second content data When,
And transmitting means for transmitting the first content data, the second content data, the first error correction data, and the second error correction data to the receiving device.
以上の構成からなる本発明によれば、誤り訂正符号資源を割り当てる誤り訂正適用レベルを少なくとも二レベル以上用意し、左目、及び右目に対応する映像フレームパケットに対する誤り訂正適用レベルを少なくとも一フレーム以上の周期で切り替える。これにより、左右の映像データに対する通信エラー耐性が周期的に切り替わり、左右両映像、又は左右映像のどちらか一方の映像だけの映像品質が長期間低下する状況の発生率を低減することが可能となる。 According to the present invention having the above-described configuration, at least two error correction application levels for allocating error correction code resources are prepared, and the error correction application level for video frame packets corresponding to the left eye and the right eye is at least one frame or more. Switch by cycle. As a result, the communication error tolerance for the left and right video data is periodically switched, and it is possible to reduce the occurrence rate of the situation in which the video quality of only one of the left and right videos or only the left and right videos is deteriorated for a long period of time. Become.
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail based on preferred embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
[実施例1]
本実施例のMRシステムでは、HMD(頭部装着型表示装置)に搭載されたカメラで撮像した映像データとそれを保護する誤り訂正符号データを外部PCに送信し、外部PCにてCGを重畳した映像データを送り返してもらい、それをHMDに搭載されたディスプレイにて表示する。
[Example 1]
In the MR system of this embodiment, video data captured by a camera mounted on an HMD (head-mounted display device) and error correction code data for protecting it are transmitted to an external PC, and CG is superimposed on the external PC. The received video data is sent back and displayed on the display mounted on the HMD.
図1は、本実施例で説明する無線MRシステムの構成図である。
無線MRシステムのユーザ101はHMD200を装着している。HMD200の詳細なハードウェア構成については、図2の説明にて後述する。
アクセスポイント102はHMD200と無線通信で接続される。
右目撮像フレームパケット群103はHMD200における右目映像撮像部201で撮像されたデータのパケット群である。
左目撮像フレームパケット群104はHMD200における左目映像撮像部202で撮像されたデータのパケット群である。
FIG. 1 is a configuration diagram of a wireless MR system described in this embodiment.
A
The right eye imaging
The left-eye imaging
外部PC105はHMD200から受信した右目撮像フレームパケット群103及び左目撮像フレームパケット群104に適切なCGを重畳する。当該外部PCとアクセスポイント102は有線LAN(Local Area Network)等で接続されるが、無線でも構わないし、LANでなくてもよい。
右目映像フレームパケット群106は外部PC105でCGを重畳された右目映像フレームパケット群である。
左目映像フレームパケット群107は外部PC105でCGを重畳された左目映像フレームパケット群である。
The
The right eye video
The left-eye video frame packet group 107 is a left-eye video frame packet group on which CG is superimposed by the
図2は、図1におけるHMD200のハードウェア構成ブロック図である。
右目映像撮像部201は、ユーザ101の右目で見えている視野映像を撮像するカメラである。
左目映像撮像部202は、ユーザ101の左目で見えている視野映像を撮像するカメラである。
右目映像撮像部201及び左目映像撮像部202は、第1の映像フレームデータ及び第2の映像フレームデータを取得する映像フレーム取得手段に相当する。
FIG. 2 is a hardware configuration block diagram of the HMD 200 in FIG.
The right-eye
The left-eye
The right-eye
右目映像表示部203は、CG重畳外部PC105でCGを重畳した右目映像を表示するディスプレイである。
左目映像表示部204は、CG重畳外部PC105でCGを重畳した左目映像を表示するディスプレイである。
ネットワークインタフェース205は、インターネットや公衆無線、LANと接続できるインタフェースである。
The right-eye
The left-eye
The
CPU(Central Processing Unit)206は、各ハードウェア構成部を統括的に制御する。
ROM(Read Only Memory)207は、CPU206で実行される制御プログラム等を格納している。
RAM(Random Access Memory)208は、CPU206の主メモリ、ワークエリア等として機能する。
A CPU (Central Processing Unit) 206 comprehensively controls each hardware component.
A ROM (Read Only Memory) 207 stores a control program executed by the
A RAM (Random Access Memory) 208 functions as a main memory and work area of the
エンコーダ209は、右目映像撮像部201及び左目映像撮像部202で撮像された映像データを特定の符号化方式、例えばJPEG(Joint Photographic Expert Group)やH.264/AVC(ISO/IEC 14496-10 MPEG-4 Part10 Advanced Video Coding)、H.264/MVC(Multi-view Video Coding)等に応じて圧縮する処理を行う。本実施例では、JPEG方式で符号化する場合を想定して説明するがその他の方式の場合でも本発明の適用は可能である。H.264/MVCのように左右の視差情報や動きベクトルを用いた符号化方式での実施形態として、実施例2で説明する。また、各撮像部で撮像された映像データを圧縮せずにパケット化し、CG重畳外部PC105に送信してもよく、その場合、エンコーダ209はシステムに含まれない、又は使用されない。また、エンコーダ209はソフトウェアで実装してもよい。
The
エンコーダ209は、符号化手段、映像フレームパケット生成手段および誤り訂正パケット生成手段に相当する。符号化手段は、第1、第2の映像フレームデータのそれぞれを符号化して第1、第2の映像フレーム符号化データとする。映像フレームパケット生成手段は、第1、第2の映像フレーム符号化データのそれぞれをパケット化して第1、第2の映像フレームパケットを生成する。誤り訂正パケット生成手段は、第1、第2の映像フレームパケット群のそれぞれに対して選択した誤り訂正強度で第1の誤り訂正パケット及び第2の誤り訂正パケットを生成する。
The
デコーダ210は、CG重畳外部PC105から受信した右目映像フレームパケット106及び左目映像フレームパケット107を、特定の復号化方式に応じて伸張する処理を行う。ここでの復号化方式は、CG重畳外部PC105が圧縮で用いる符号化方式に依存するが、エンコーダ209で使用する符号化方式と同じ方式でもよいし、異なる方式でもよい。また、エンコーダ209同様、受信する映像フレームデータは圧縮されていないRAWデータでもよく、その場合、デコーダ210はシステムに含まれない、又は使用されない。また、デコーダ210はソフトウェアで実装してもよい。
バス211は各種データの転送経路となる。
The
The
図3は、パケット送受信プログラムのモジュール構成図である。
パケット生成部301は、エンコーダ209から入力された映像符号化データを通信プロトコルに応じてパケット化する。無線MRシステムはリアルタイム性の要求が高いため、RTP(A Transport Protocol for Real-Time Applications, RFC3550, IETF)/UDP(User Datagram Protocol)のような通信プロトコルが好適であるが、これ以外の通信プロトコルでもよいし、独自プロトコルでもよい。パケット生成部301は、符号化済みのコンテンツデータを通信に適したサイズに分割し、さらに通信するために必要なヘッダを付加してRTPのデータパケットを生成する。
なお、本形態ではコンテンツデータが動画データである場合について説明するが、それ以外のデータ(例えば音声データ)であっても本発明は適用可能である。また、本形態では、データをRTPプロトコルで送信する例を中心に説明するが、そのほかのプロトコルで送信するようにしてもよい。
FIG. 3 is a module configuration diagram of the packet transmission / reception program.
The
In this embodiment, the case where the content data is moving image data will be described. However, the present invention can be applied to data other than that (for example, audio data). In this embodiment, an example in which data is transmitted using the RTP protocol will be mainly described. However, data may be transmitted using another protocol.
パケット送信部302は、パケット生成部301から受け取ったパケットをネットワークインタフェース205経由で、所定の通信プロトコルによりCG重畳外部PC105に送信する。
右目映像フレームパケットバッファ303は、パケット生成部301でパケット化された右目映像フレームパケットを一時的に格納するバッファである。
左目映像フレームパケットバッファ304は、パケット生成部301でパケット化された左目映像フレームパケットを一時的に格納するバッファである。
The
The right-eye video
The left-eye video
誤り訂正符号化部305、306、307は、パケット生成部301により生成されたパケットのデータに従って復元用パケット(FECパケット)を生成する。誤り訂正符号化部は、誤り訂正データ生成手段の一例である。FECパケットは、外部PC105(受信装置)が正常に受信しなかったコンテンツデータを外部PC105が復元するために用いる復元用データである。復元用データは、誤り訂正用データの一例である。誤り訂正符号化部305、306、307は、例えば、コンテンツデータに対する排他的論理輪の演算により、FECパケットを生成する。誤り訂正符号化部305、306、307は、誤り訂正適用レベルが異なる。誤り訂正符号化部305、306、307は、右目映像フレームパケットバッファ303、又は左目映像フレームパケットバッファ304から入力される映像フレームパケット群から特定の誤り訂正符号化方式に応じて誤り訂正符号を生成する。本実施例では、レベルを三段階で設定できるようにしているが、二段階でもよいし、四段階以上でもよい。ここでは、レベル1、レベル2、レベル3の順番で誤り訂正強度が強いものとして説明する。誤り訂正符号化方式として、例えば、排他的論理和演算によるパリティ方式やリードソロモン符号化方式、低密度パリティ検査符号化方式等があるが、誤り訂正強度を設定できる符号化方式であればどのような方式でもよい。また、当該誤り訂正符号化部は、通信プロトコルに応じたパケット生成部も含む。パケット化された誤り訂正パケットは、パケット送信部302によりCG重畳外部PC105に送信される
Error
パケット受信部308は、CG重畳外部PC105からネットワークインタフェース205を介してパケットを受信する。ここで受信するパケットは、大きく二種類に分かれ、一つはHMDの撮像映像にCGが重畳された映像フレームパケットで、もう一つは通信状況を把握するためのレポートパケットである。レポートパケットは、例えば、RTCP(Real-time Transport Control Protocol)のReceiver ReportやSender Reportのようにエラーレートや遅延情報を把握できるプロトコルを利用してもよいし、独自プロトコルでもよい。
本実施例では、誤り訂正符号化部305、306、307で生成した誤り訂正パケットによる誤り訂正の結果を通知されるものとして説明するが、これに限らない。
パケット受信部308は、受信装置から通信状況を知らせるレポートパケットを受信するレポートパケット受信手段と、受信装置から映像フレームパケットを受信する映像フレームパケット受信手段とに相当する。
The
In the present embodiment, the description will be made assuming that the result of error correction by the error correction packet generated by the error
The
また、CG重畳外部PC105においても誤り訂正パケットを生成、送信してもよく、その場合は、本機能において誤り訂正パケットも受信する。CGが重畳された映像フレームパケットはデコーダ210に出力され、デコード結果としての右目映像フレームは右目映像表示部203に、左目映像フレームは左目映像表示部204にそれぞれ出力される。通信状況を把握するためのレポートパケットは通信状況把握部309に出力される。
Also, the CG superimposed
通信状況把握部309は、パケット受信機能308から入力されたレポートパケットの内容(例えば、通信エラー情報)から通信状況を把握する。本実施例ではレポートパケットを使用しているが、デコーダ210におけるデコード結果から通信状況を把握してもよい。通信状況の把握方法の具体例は図5の説明にて後述する。
誤り訂正レベル切り替え部310は、通信状況把握部309から入力された通信状況に応じて右目映像フレームパケットバッファ303及び左目映像フレームパケットバッファ304の出力先となる誤り訂正符号化機能のレベルを切り替える。レベル切り替え方法の具体例は図4の説明にて後述する。
誤り訂正レベル切り替え部310は、第1の映像フレームパケット群及び第2の映像フレームパケット群のそれぞれに対して設定した誤り訂正強度の中から適用する強度を選択する強度選択手段に相当する。誤り訂正レベル切り替え部310は、所定の間隔(少なくとも一フレーム以上の周期)で、第1の映像フレームパケット群と第2の映像フレームパケット群に適用する誤り訂正強度を切り替える。
The communication
The error correction
The error correction
図4は、誤り訂正レベル切り替え部310における誤り訂正レベル切り替え処理の流れを示すフローチャートである。
S401では、通信状況を判定する。これは、通信状況把握部309における判定処理であり、詳細は図5で説明する。
S402では、S401の通信状況判定処理結果に応じて分岐する。通信状況が良いと判定された場合、S403に移行し、通信状況が悪いと判定された場合、S404に移行する。
FIG. 4 is a flowchart showing a flow of error correction level switching processing in the error correction
In S401, the communication status is determined. This is a determination process in the communication
In S402, the process branches according to the communication status determination processing result in S401. When it is determined that the communication state is good, the process proceeds to S403, and when it is determined that the communication state is bad, the process proceeds to S404.
S403では、レベル2の誤り訂正強度が適用される。この場合、右目映像フレームパケットか左目映像フレームパケットかに関わらず両パケットバッファの出力先がレベル2誤り訂正符号化部306となり、誤り訂正レベル切り替え処理を終了する。
S404では、映像フレームパケットが右目映像か左目映像かに応じて分岐する。右目映像の場合はS405に移行し、左目映像の場合はS406に移行する。
In S403, level 2 error correction strength is applied. In this case, regardless of whether the packet is a right-eye video frame packet or a left-eye video frame packet, the output destination of both packet buffers is the level 2 error
In S404, branching is performed depending on whether the video frame packet is a right-eye video or a left-eye video. If it is a right-eye video, the process proceeds to S405. If it is a left-eye video, the process proceeds to S406.
S405では、フレーム番号が偶数か奇数かに応じて分岐する。フレーム番号が偶数の場合はS407に移行し、フレーム番号が奇数の場合はS408に移行する。
S406でもS405と同様に、フレーム番号が偶数か奇数かに応じて分岐する。フレーム番号が偶数の場合はS408に移行し、フレーム番号が奇数の場合はS407に移行する。
In S405, the process branches depending on whether the frame number is even or odd. If the frame number is an even number, the process proceeds to S407, and if the frame number is an odd number, the process proceeds to S408.
In S406, as in S405, the process branches depending on whether the frame number is even or odd. If the frame number is an even number, the process proceeds to S408, and if the frame number is an odd number, the process proceeds to S407.
なお、S405、S406でフレーム番号が偶数か奇数かに応じて分岐処理を行っているが、これはあくまでも1フレーム単位で誤り訂正レベルを切り替える本実施形態における実装例に過ぎない。例えば、5フレーム単位で誤り訂正レベルを切り替える場合は、フレーム番号/5(小数点以下切捨て)が偶数か奇数かに応じて分岐処理を行うようにすればよい。 In S405 and S406, branch processing is performed depending on whether the frame number is an even number or an odd number, but this is merely an implementation example in the present embodiment in which the error correction level is switched in units of one frame. For example, when the error correction level is switched in units of 5 frames, the branch process may be performed depending on whether the frame number / 5 (truncated after the decimal point) is an even number or an odd number.
S407では、レベル3の誤り訂正強度が適用され、誤り訂正レベル切り替え処理を終了する。
S408では、レベル1の誤り訂正強度が適用され、誤り訂正レベル切り替え処理を終了する。
In S407, the level 3 error correction strength is applied, and the error correction level switching process is terminated.
In S408, the
なお、本誤り訂正レベル切り替え処理は、通信状況が悪いと判定された場合にレベルを切り替えるフレーム単位で行われる。本実施例では、1フレーム単位で切り替えるため、右目映像フレームパケットバッファ303及び左目映像フレームパケットバッファ304から出力されるフレームパケットのフレーム番号が変わる毎に切り替え処理が発生する。また、本実施例では、1フレーム単位で切り替えているが、2フレーム以上の単位で切り替えてもよい。2フレーム以上の単位で切り替える場合、S405及びS406での判定方法が変わる。更に、切り替えるフレーム単位は通信状況の変化やフレームレート等に応じて動的に変更してもよい。
The error correction level switching process is performed in units of frames whose levels are switched when it is determined that the communication status is bad. In this embodiment, since switching is performed in units of frames, switching processing occurs each time the frame number of the frame packet output from the right-eye video
図5は、通信状況把握部309における通信状況判定処理の流れを示すフローチャートである。
S501では、誤り訂正不可が有るかどうかに応じて分岐する。ここで、誤り訂正不可が有るかどうかは、最後に本判定処理を行ってから現在までの間に、CG重畳外部PC105から誤り訂正不可通知パケットを受信したかどうかで判定する。誤り訂正不可が有る場合はS502に移行し、誤り訂正不可が無い場合はS504に移行する。誤り訂正不可通知パケットは、誤り訂正パケットによる回復可否情報を含むレポートパケットの一例であって、誤り訂正パケットによっては回復ができないことを通知するパケットである。
FIG. 5 is a flowchart showing a flow of communication status determination processing in the communication
In S501, the process branches depending on whether there is an error correction failure. Here, whether or not error correction is possible is determined by whether or not an error correction impossible notification packet has been received from the CG superimposed
S502では、本判定処理の中で静的に保持している誤り訂正可カウンタを0に初期化し、S503に移行する。
S503では、通信状況が悪いと判定し、通信状況判定処理を終了する。
S504では、最後に本判定処理を行った際に判定した通信状況に応じて分岐する。前回の通信状況が良かった場合はS505に移行し、前回の通信状況が悪かった場合はS506に移行する。
S505では、通信状況が良いと判定し、通信状況判定処理を終了する。
S506では、誤り訂正可カウンタをインクリメントし、S507に移行する。
In S502, the error correction enable counter that is statically held in the determination process is initialized to 0, and the process proceeds to S503.
In S503, it is determined that the communication status is bad, and the communication status determination processing is terminated.
In S504, the process branches according to the communication status determined when the final determination process is performed. If the previous communication status was good, the process proceeds to S505, and if the previous communication status was bad, the process proceeds to S506.
In S505, it is determined that the communication status is good, and the communication status determination processing is terminated.
In S506, the error correctable counter is incremented, and the process proceeds to S507.
S507では、誤り訂正可カウンタが閾値Nよりも大きいかどうかに応じて分岐する。誤り訂正可カウンタが閾値Nよりも大きい場合はS508に移行し、誤り訂正可カウンタが閾値N以下の場合はS503に移行する。誤り訂正可カウンタの値は、通信状況が悪いと判定されている間に連続で誤り訂正不可判定が無かった回数を意味しており、N+1回連続で誤り訂正不可判定が無かった場合は通信状況が良くなったと判定するようになる。閾値Nは予め定めた固定値でもよいし、通信状況やフレームレート等に応じて動的に変更してもよい。
S508では、誤り訂正可カウンタを0に初期化し、S505に移行する。
In S507, the process branches depending on whether the error correctable counter is larger than the threshold value N. If the error correctable counter is larger than the threshold N, the process proceeds to S508, and if the error correctable counter is equal to or smaller than the threshold N, the process proceeds to S503. The value of the error correctable counter means the number of times that there was no error correction impossible determination continuously while it was determined that the communication status was bad, and if there was no error correction impossible determination for N + 1 consecutive times, the communication status Will be judged to have improved. The threshold value N may be a predetermined fixed value, or may be dynamically changed according to the communication status, frame rate, and the like.
In S508, the error correctable counter is initialized to 0, and the process proceeds to S505.
図6は、通信状況が良いと判定されている場合の誤り訂正適用例を示す図である。ここでの映像フレームはHMD200から送信する映像フレームで、通信エラーはHMD200からCG重畳外部PC105までの通信経路で発生したエラーをそれぞれ示す。説明の簡素化のため、CG重畳外部PC105からHMD200に送り返される映像フレームパケットにはエラーが発生していないものとして説明する。仮に、CG重畳外部PC105からHMD200に送り返される映像フレームパケットにエラーが発生した場合は、S501において誤り訂正不可が有ったものと同じ判定をしてもよい。CG重畳外部PC105から送り返される映像フレームパケットにも誤り訂正パケットが付加されている場合、その誤り訂正処理結果もS501における誤り訂正不可判定に反映させてもよい。
FIG. 6 is a diagram illustrating an application example of error correction when it is determined that the communication status is good. The video frame here is a video frame transmitted from the
右目及び左目の映像フレームがフレーム番号(1)から(6)まであり、それぞれレベル2の誤り訂正強度の誤り訂正パケットが付加されている。ここで、右目映像のフレーム(1)、(2)、(3)、(5)、(6)及び左目映像のフレーム(1)、(3)、(4)、(5)、(6)において、通信エラーが発生しているが、全てレベル2の誤り訂正強度で回復できる。そのため、全ての映像フレームが表示可能であり、S501の判定処理においても誤り訂正不可無と判定され、通信状況の変化も無いものとして処理が継続される。 There are right-eye and left-eye video frames from frame numbers (1) to (6), and error correction packets of level 2 error correction strength are added respectively. Here, the frames (1), (2), (3), (5), (6) of the right eye image and the frames (1), (3), (4), (5), (6) of the left eye image. , A communication error has occurred, but all can be recovered with an error correction strength of level 2. Therefore, all video frames can be displayed, and it is determined that error correction is impossible in the determination processing of S501, and the processing is continued assuming that there is no change in the communication status.
図7は、図6に示した状態から通信状況が悪化した場合の誤り訂正適用例を示す図である。
前記の如く、右目映像フレーム(7)も左目映像フレーム(7)もHMD200からCG重畳外部PC105へ送信する映像フレームであって、レベル2の誤り訂正強度が適用され、右目映像フレーム(7)も左目映像フレーム(7)も通信エラーの数は2である。よって、最後に通信状況判定処理を行ってから現在までの間に、HMD200はCG重畳外部PC105から誤り訂正不可通知パケットを受信して無いと判定され、ステップS501はNoに分岐する。
FIG. 7 is a diagram illustrating an example of application of error correction when the communication status deteriorates from the state illustrated in FIG.
As described above, both the right-eye video frame (7) and the left-eye video frame (7) are video frames transmitted from the
フレーム(7)について通信状況判定処理を行った際に通信状況は良いと判定されたから、ステップS504はNoに分岐し、通信状況は良いと判定される(ステップS505)。
よって、図4のステップS402はNoに分岐し、次の映像フレーム、つまり右目映像フレーム(8)も左目映像フレーム(8)もレベル2の誤り訂正強度が適用される(ステップS403)。
Since it is determined that the communication status is good when the communication status determination process is performed for the frame (7), step S504 branches to No and it is determined that the communication status is good (step S505).
Therefore, step S402 in FIG. 4 branches to No, and the error correction strength of level 2 is applied to the next video frame, that is, the right-eye video frame (8) and the left-eye video frame (8) (step S403).
フレーム(8)までは通信状況の変化無と判定されているため、レベル2の誤り訂正強度の誤り訂正パケットが付加されているが、右目映像フレーム(8)において、レベル2の誤り訂正強度では回復できない通信エラーが発生している。これにより、CG重畳外部PC105から、フレーム(8)における誤り訂正不可通知パケットが、HMD200に対して送信される。HMD200では、誤り訂正不可通知パケットを受信したタイミングで通信状況の変化を検知し、次のフレーム(9)から通信状況が悪いと判定された場合の誤り訂正適用処理に変わる。
Since it is determined that there is no change in the communication status up to the frame (8), an error correction packet with an error correction strength of level 2 is added. In the right-eye video frame (8), the error correction strength of level 2 is An unrecoverable communication error has occurred. Thereby, the error correction impossibility notification packet in the frame (8) is transmitted from the CG superimposed
フレームレートやHMD200とCG重畳外部PC105間の通信距離等によって通信状況変化を検知できるタイミングが遅れる可能性もあり、必ずしも次のフレーム(9)から新しい誤り訂正適用処理に変更できるとは限らない。その場合は、通信状況変化を検知できたタイミングで誤り訂正適用処理も変更される。
The timing at which a change in communication status can be detected may be delayed depending on the frame rate, the communication distance between the
フレーム(8)における誤り訂正不可通知パケットがHMD200に対して送信され、HMD200は通信状況の変化を検知し、次のフレーム(9)から通信状況が悪いと判定された場合の誤り訂正適用処理に変わる場合について具体的に説明する。
An error correction impossibility notification packet in frame (8) is transmitted to
<フレーム(9)について>
HMD200がフレーム(8)における誤り訂正不可通知パケットを受信してステップS501がYesに分岐し、誤り訂正可カウンタが0に初期化され(ステップS502)、通信状況が悪いと判定される(ステップS503)。
その結果、図4のステップS402はYesに分岐する。
右目映像フレーム(9)については、ステップS404はYesに分岐し、ステップS405はNoに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
左目映像フレーム(9)については、ステップS404はNoに分岐し、ステップS406もNoに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
<About frame (9)>
When the
As a result, step S402 in FIG. 4 branches to Yes.
For the right-eye video frame (9), step S404 branches to Yes, step S405 branches to No, and
For the left-eye video frame (9), step S404 branches to No, step S406 also branches to No, and level 3 error correction strength is applied in step S407.
右目映像フレーム(9)においては、エラーの数は1、誤り訂正強度はレベル1であるから、回復できない通信エラーは発生していない。
左目映像フレーム(9)においては、エラーの数は2、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
In the right-eye video frame (9), since the number of errors is 1 and the error correction strength is
In the left-eye video frame (9), since the number of errors is 2 and the error correction strength is level 3, no communication error that cannot be recovered has occurred.
<フレーム(10)について>
右目映像フレーム(9)および左目映像フレーム(9)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(9)について通信状況判定処理を行った際に通信状況が悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は1となる。
本実施例では、図5における閾値Nを2とし、3フレーム連続で誤り訂正可、又はエラー無しの状況が続いたら、誤り訂正可カウンタは0に初期化され(ステップS508)、通信状況が回復したと判定される(ステップS505)。
ステップS507では、誤り訂正可カウンタの値が1であるから、Noに分岐し、ステップS503で通信状況が悪いと判定される。
<About frame (10)>
Since there is no communication error that cannot be recovered in both the right-eye video frame (9) and the left-eye video frame (9), it is determined that there is no error correction, and step S501 in FIG. 5 branches to No.
Since it is determined that the communication status is bad when the communication status determination process is performed for the frame (9), the process branches to Yes in step S504, and the error correction enable counter is incremented in step S506. The value of the error correctable counter is 1.
In this embodiment, the threshold value N in FIG. 5 is set to 2, and if error correction is possible or no error continues for three consecutive frames, the error correction enable counter is initialized to 0 (step S508), and the communication status is recovered. It is determined that it has been done (step S505).
In step S507, since the value of the error correctable counter is 1, the process branches to No, and it is determined in step S503 that the communication status is bad.
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(10)については、ステップS404はYesに分岐し、ステップS405もYesに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
左目映像フレーム(10)については、ステップS404はNoに分岐し、ステップS406はYesに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
Therefore, step S402 in FIG. 4 branches to Yes.
For the right-eye video frame (10), step S404 branches to Yes, step S405 also branches to Yes, and the level 3 error correction strength is applied in step S407.
For the left-eye video frame (10), step S404 branches to No, step S406 branches to Yes, and the
右目映像フレーム(10)においては、エラーの数は3、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
左目映像フレーム(10)においては、エラーの数は4、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生している。
In the right-eye video frame (10), since the number of errors is 3 and the error correction strength is level 3, no communication error that cannot be recovered has occurred.
In the left-eye video frame (10), since the number of errors is 4 and the error correction strength is
<フレーム(11)について>
誤り訂正不可は有ると判定され、図5のステップS501はYesに分岐する。
ステップS502で誤り訂正可カウンタは0に初期化され、ステップS503で通信状況が悪いと判定される。
<About frame (11)>
It is determined that there is no error correction, and step S501 in FIG. 5 branches to Yes.
In step S502, the error correctable counter is initialized to 0, and in step S503, it is determined that the communication status is bad.
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(11)については、ステップS404はYesに分岐し、ステップS405はNoに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
左目映像フレーム(11)については、ステップS404はNoに分岐し、ステップS406もNoに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
Therefore, step S402 in FIG. 4 branches to Yes.
For the right-eye video frame (11), step S404 branches to Yes, step S405 branches to No, and
For the left-eye video frame (11), step S404 branches to No, step S406 also branches to No, and level 3 error correction strength is applied in step S407.
右目映像フレーム(11)においては、エラーの数は3、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生している。
左目映像フレーム(11)においては、エラーの数は3、誤り訂正強度はレベル3であるから、回復できない通信エラーが発生していない。
In the right-eye video frame (11), since the number of errors is 3 and the error correction strength is
In the left-eye video frame (11), since the number of errors is 3 and the error correction strength is level 3, no communication error that cannot be recovered has occurred.
<フレーム(12)について>
誤り訂正不可は有ると判定され、図5のステップS501はYesに分岐する。
ステップS502で誤り訂正可カウンタは0に初期化され、ステップS503で通信状況が悪いと判定される。
<About frame (12)>
It is determined that there is no error correction, and step S501 in FIG. 5 branches to Yes.
In step S502, the error correctable counter is initialized to 0, and in step S503, it is determined that the communication status is bad.
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(12)については、ステップS404はYesに分岐し、ステップS405もYesに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
左目映像フレーム(12)については、ステップS404はNoに分岐し、ステップS406はYesに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
Therefore, step S402 in FIG. 4 branches to Yes.
For the right-eye video frame (12), step S404 branches to Yes, step S405 also branches to Yes, and the level 3 error correction strength is applied in step S407.
For the left-eye video frame (12), step S404 branches to No, step S406 branches to Yes, and the
右目映像フレーム(12)においては、エラーの数は3、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
左目映像フレーム(12)においては、エラーの数は3、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生している。
In the right-eye video frame (12), since the number of errors is 3 and the error correction strength is level 3, no communication error that cannot be recovered has occurred.
In the left-eye video frame (12), since the number of errors is 3 and the error correction strength is
図8は、図7に示した状態から通信状況が回復した場合の誤り訂正適用例を示す図である。
本実施例では、前記の如く、図5における閾値Nを2とし、3フレーム連続で誤り訂正可、又はエラー無しの状況が続いたら、誤り訂正可カウンタは0に初期化され(ステップS508)、通信状況が回復したと判定される(ステップS505)。
FIG. 8 is a diagram illustrating an application example of error correction when the communication state is recovered from the state illustrated in FIG.
In the present embodiment, as described above, the threshold value N in FIG. 5 is set to 2, and if error correction is possible or no error continues for three consecutive frames, the error correction enable counter is initialized to 0 (step S508). It is determined that the communication status has been recovered (step S505).
<フレーム(13)について>
前記の如く、左目映像フレーム(12)において回復できない通信エラーが発生しているため、誤り訂正不可は有ると判定され、図5のステップS501はYesに分岐する。
ステップS502で誤り訂正可カウンタは0に初期化され、ステップS503で通信状況が悪いと判定される。
<About frame (13)>
As described above, since an unrecoverable communication error has occurred in the left-eye video frame (12), it is determined that there is no error correction, and step S501 in FIG. 5 branches to Yes.
In step S502, the error correctable counter is initialized to 0, and in step S503, it is determined that the communication status is bad.
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(13)については、ステップS404はYesに分岐し、ステップS405はNoに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
左目映像フレーム(13)については、ステップS404はNoに分岐し、ステップS406もNoに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
Therefore, step S402 in FIG. 4 branches to Yes.
For the right-eye video frame (13), step S404 branches to Yes, step S405 branches to No, and
For the left-eye video frame (13), step S404 branches to No, step S406 also branches to No, and level 3 error correction strength is applied in step S407.
右目映像フレーム(13)においては、エラーの数は1、誤り訂正強度はレベル1であるから、回復できない通信エラーは発生していない。
左目映像フレーム(13)においては、エラーの数は1、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
In the right-eye video frame (13), since the number of errors is 1 and the error correction strength is
In the left-eye video frame (13), since the number of errors is 1 and the error correction strength is level 3, no communication error that cannot be recovered has occurred.
<フレーム(14)について>
右目映像フレーム(13)および左目映像フレーム(13)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(13)の通信状況判定処理を行った際に判定した通信状況(前回の通信状況)は悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は1となる。
ステップS507では、誤り訂正可カウンタの値が1であるから、Noに分岐し、ステップS503で通信状況が悪いと判定される。
<About frame (14)>
Since there is no communication error that cannot be recovered in both the right-eye video frame (13) and the left-eye video frame (13), it is determined that there is no error correction, and step S501 in FIG. 5 branches to No.
Since it is determined that the communication state (previous communication state) determined when performing the communication state determination process for the frame (13) is bad, step S504 branches to Yes, and the error correction enable counter is incremented in step S506. The value of the error correctable counter is 1.
In step S507, since the value of the error correctable counter is 1, the process branches to No, and it is determined in step S503 that the communication status is bad.
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(14)については、ステップS404はYesに分岐し、ステップS405もYesに分岐し、ステップS407でレベル3の誤り訂正強度が適用される。
左目映像フレーム(14)については、ステップS404はNoに分岐し、ステップS406はYesに分岐し、ステップS408でレベル1の誤り訂正強度が適用される。
Therefore, step S402 in FIG. 4 branches to Yes.
For the right-eye video frame (14), step S404 branches to Yes, step S405 also branches to Yes, and the level 3 error correction strength is applied in step S407.
For the left-eye video frame (14), step S404 branches to No, step S406 branches to Yes, and the
右目映像フレーム(14)においては、エラーの数は1、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
左目映像フレーム(14)においては、エラーの数は0、誤り訂正強度はレベル1であるから、回復できない通信エラーが発生していない。
In the right-eye video frame (14), since the number of errors is 1 and the error correction strength is level 3, no communication error that cannot be recovered has occurred.
In the left-eye video frame (14), since the number of errors is 0 and the error correction strength is
<フレーム(15)について>
右目映像フレーム(14)および左目映像フレーム(14)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(14)の通信状況判定処理を行った際に判定した通信状況(前回の通信状況)は悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は2となる。
ステップS507では、誤り訂正可カウンタの値が2であるから、Noに分岐し、ステップS503で通信状況が悪いと判定される。
<About frame (15)>
Since there is no communication error that cannot be recovered in both the right-eye video frame (14) and the left-eye video frame (14), it is determined that there is no error correction, and step S501 in FIG. 5 branches to No.
Since it is determined that the communication state (previous communication state) determined when the communication state determination process of the frame (14) is performed, step S504 branches to Yes, and the error correction enable counter is incremented in step S506. The value of the error correctable counter is 2.
In step S507, since the value of the error correction enable counter is 2, the process branches to No, and in step S503, it is determined that the communication status is bad.
よって、図4のステップS402はYesに分岐する。
右目映像フレーム(15)については、右目映像フレーム(13)と同様に、レベル1の誤り訂正強度が適用される。
左目映像フレーム(15)については、左目映像フレーム(13)と同様に、レベル3の誤り訂正強度が適用される。
Therefore, step S402 in FIG. 4 branches to Yes.
For the right-eye video frame (15), the
For the left-eye video frame (15), the level 3 error correction strength is applied in the same manner as the left-eye video frame (13).
右目映像フレーム(15)においては、エラーの数は0、誤り訂正強度はレベル1であるから、回復できない通信エラーは発生していない。
左目映像フレーム(15)においては、エラーの数は1、誤り訂正強度はレベル3であるから、回復できない通信エラーは発生していない。
In the right-eye video frame (15), since the number of errors is 0 and the error correction strength is
In the left-eye video frame (15), since the number of errors is 1 and the error correction strength is level 3, no communication error that cannot be recovered has occurred.
<フレーム(16)について>
右目映像フレーム(15)および左目映像フレーム(15)ともに回復できない通信エラーは発生していないから誤り訂正不可は無いと判定され、図5のステップS501はNoに分岐する。
フレーム(15)の通信状況判定処理を行った際に判定した通信状況(前回の通信状況)は悪いと判定されたから、ステップS504はYesに分岐し、ステップS506で誤り訂正可カウンタをインクリメントする。誤り訂正可カウンタの値は3となる。
ステップS507では、誤り訂正可カウンタの値が3であるから、Yesに分岐し、ステップS508で誤り訂正可カウンタは0に初期化され、ステップS505で通信状況が良いと判定される。
<About frame (16)>
Since there is no communication error that cannot be recovered in both the right-eye video frame (15) and the left-eye video frame (15), it is determined that there is no error correction, and step S501 in FIG. 5 branches to No.
Since it is determined that the communication state (previous communication state) determined when performing the communication state determination process of the frame (15) is bad, step S504 branches to Yes, and the error correction enable counter is incremented in step S506. The value of the error correction enable counter is 3.
In step S507, since the value of the error correctable counter is 3, the process branches to Yes. In step S508, the error correctable counter is initialized to 0. In step S505, it is determined that the communication status is good.
よって、図4のステップS402はNoに分岐する。
ステップS403で、右目映像フレーム(16)および左目映像フレーム(16)ともにレベル2の誤り訂正強度が適用される。
Therefore, step S402 in FIG. 4 branches to No.
In step S403, the level 2 error correction strength is applied to both the right-eye video frame (16) and the left-eye video frame (16).
前記の如く、右目及び左目の映像フレームがフレーム(13)から(15)までの3フレーム連続で誤り訂正可、又はエラー無しの状況となる。これにより、CG重畳外部PC105からフレーム(15)の誤り訂正可通知パケットがHMD200に対して送信されたタイミングで、HMD200は通信状況の変化を検知する。続くフレーム(16)からは通信状況が良いと判定された場合の誤り訂正適用処理、即ちレベル2の誤り訂正強度の誤り訂正パケットが生成、送信される。
As described above, the right-eye and left-eye video frames can be error-corrected or error-free for three consecutive frames (13) to (15). As a result, the
本実施例では、各誤り訂正レベルの強度を固定しているが、通信状況の変化に応じて動的に変更してもよい。
例えば、通常時は左目映像フレームパケット群に対する誤り訂正パケットも右目映像フレームパケット群に対する誤り訂正パケットも訂正強度を2に設定する。
そして、通信状況が悪化した場合は、左目映像フレームパケット群に対する誤り訂正パケット群又は右目映像フレームパケット群に対する誤り訂正パケットのいずれか一方の訂正強度を1に、他方の訂正強度を3に設定する。
そして、通信状況がさらに悪化した場合は、左目映像フレームパケット群に対する誤り訂正パケット群又は右目映像フレームパケット群に対する誤り訂正パケットのいずれか一方の訂正強度を2に、他方の訂正強度を6に設定してもよい。
In this embodiment, the strength of each error correction level is fixed, but may be changed dynamically according to changes in the communication status.
For example, normally, the correction strength is set to 2 for both the error correction packet for the left-eye video frame packet group and the error correction packet for the right-eye video frame packet group.
When the communication status deteriorates, the correction strength of either the error correction packet group for the left-eye video frame packet group or the error correction packet for the right-eye video frame packet group is set to 1, and the other correction strength is set to 3. .
If the communication status further deteriorates, the correction strength of either the error correction packet group for the left-eye video frame packet group or the error correction packet for the right-eye video frame packet group is set to 2, and the other correction strength is set to 6. May be.
図9に通信状況がさらに悪化した場合における誤り訂正適用例を示す。同図に示す例では、通信状況のさらなる悪化を検知して、
右目映像フレーム(25)に適用するレベル1の誤り訂正強度を2とし、左目映像フレーム(25)に適用するレベル3の誤り訂正強度を6とし、
右目映像フレーム(26)に適用するレベル3の誤り訂正強度を6とし、左目映像フレーム(26)に適用するレベル1の誤り訂正強度を2としている。
FIG. 9 shows an application example of error correction when the communication situation further deteriorates. In the example shown in the figure, further deterioration of the communication status is detected,
The
The level 3 error correction strength applied to the right-eye video frame (26) is 6, and the
また、誤り訂正強度の選択肢として、誤り訂正を適用しないという選択も含まれる。
例えば、通常時は、左右共に誤り訂正強度を2(エラー2個まで回復可能)とし、通信状況が悪化した場合は、左右いずれか一方の誤り訂正強度を4(エラー4個まで回復可能)とし、他方の誤り訂正強度を0とする。誤り訂正強度が0の場合には、誤り訂正パケットが生成されない場合が含まれる。
In addition, the option of not applying error correction is also included as an error correction strength option.
For example, in normal times, the right and left error correction strength is 2 (can recover up to 2 errors), and when the communication situation deteriorates, either the left or right error correction strength is 4 (can recover up to 4 errors). The other error correction strength is 0. When the error correction strength is 0, the case where no error correction packet is generated is included.
図10に、通信状況が悪化した場合に、左目右目のいずれか一方に対応する映像フレームパケット群に対して、誤り訂正を適用しない例を示す。同図に示す例では、通信状況の悪化を検知して、
右目映像フレーム(34)には誤り訂正を適用せず、左目映像フレーム(34)に適用する誤り訂正強度を4とし、
右目映像フレーム(35)に適用する誤り訂正強度を4とし、左目映像フレーム(34)には誤り訂正を適用していない。
FIG. 10 shows an example in which error correction is not applied to a video frame packet group corresponding to one of the left eye and the right eye when the communication status deteriorates. In the example shown in the figure, the deterioration of the communication status is detected,
No error correction is applied to the right eye video frame (34), and the error correction strength applied to the left eye video frame (34) is 4,
The error correction strength applied to the right eye video frame (35) is 4, and no error correction is applied to the left eye video frame (34).
<強度設定手段が、二段階の誤り訂正強度を設定する場合>
また、通信状況が良いときは、
左目映像フレームパケット群と
左目映像フレームパケット群に対する誤り訂正パケット(訂正強度2)と
右目映像フレームパケット群と
右目映像フレームパケット群に対する誤り訂正パケット(訂正強度2)と
が生成され、送信されるが、
通信状況が悪いときは、
左目映像フレームパケット群と
左目映像フレームパケット群に対する誤り訂正パケット(訂正強度4)と
が生成され、送信されるが、
右目映像フレームパケット群も
右目映像フレームパケット群に対する誤り訂正パケットも
生成されず、送信されないとしても良い。
この場合は、強度設定手段が、「二」段階の誤り訂正強度を設定する場合である。
<When the strength setting means sets two levels of error correction strength>
When the communication status is good,
An error correction packet (correction strength 2) for the left eye video frame packet group and a left eye video frame packet group, and an error correction packet (correction strength 2) for the right eye video frame packet group and the right eye video frame packet group are generated and transmitted. ,
When the communication situation is bad,
A left-eye video frame packet group and an error correction packet (correction strength 4) for the left-eye video frame packet group are generated and transmitted.
Neither the right-eye video frame packet group nor the error correction packet for the right-eye video frame packet group is generated and may not be transmitted.
In this case, the strength setting means sets the “two” stage error correction strength.
また、本実施例では、HMD200から誤り訂正パケットを生成、送信する形態で説明したが、CG重畳外部PC105においても誤り訂正パケットを生成、送信する形態でも本発明を実施できる。また、HMD200からは誤り訂正パケットを生成、送信せずにCG重畳外部PC105からのみ誤り訂正パケットを生成、送信してもよい。その場合は、本発明をCG重畳外部PC105に適用することになる。更に、本実施例では無線MRシステムを例に説明したが、左右のステレオ映像データを、ネットワークを介して送信する形態のユースケース全般に適用することができる。
Further, in the present embodiment, the description has been given of the form in which the error correction packet is generated and transmitted from the
[実施例2]
本実施例では、左目及び右目に対応する映像フレームデータをH.264/MVCのように視差情報や動きベクトルを用いたフレーム間予測による映像符号化方式で圧縮された映像フレームデータにおいて、本発明を適用した例について説明する。
システム構成(図1)やハードウェア構成(図2)、モジュール構成(図3)については、実施例1と同様であるため、説明は省略する。
また、誤り訂正レベル切り替え処理(図4)や通信状況判定処理(図5)についても、処理の流れは実施例1と同様であるため、説明は省略する。
通信状況把握部309において、通信状況が良いと判定されている場合(図6)についても実施例1と同様であるため、説明は省略する。
[Example 2]
In the present embodiment, the video frame data corresponding to the left eye and the right eye is H.264. An example in which the present invention is applied to video frame data compressed by a video encoding method based on inter-frame prediction using disparity information and motion vectors as in H.264 / MVC will be described.
Since the system configuration (FIG. 1), hardware configuration (FIG. 2), and module configuration (FIG. 3) are the same as those in the first embodiment, description thereof will be omitted.
Further, the error correction level switching process (FIG. 4) and the communication status determination process (FIG. 5) are the same as those in the first embodiment, and thus the description thereof is omitted.
The case where the communication
図11(a)は、視差情報や動きベクトルを用いた参照型の映像符号化方式で圧縮された映像フレームデータの例である。図中のI、P、BはそれぞれI(Intra−coded)フレーム、P(Predicted)フレーム、B(Bi−directional Predicted)フレームを意味する。
Iフレームは、フレーム内符号化方式を用いて符号化され、PフレームとBフレームは、フレーム間符号化方式を用いて符号化される。Bフレームは左右映像の相関を用いて符号化される。MRシステムのように左右の二つの映像をフレーム間予測方式で符号化する場合、左右どちらかの映像に他フレームを参照しないIフレームが含まれる。
FIG. 11A is an example of video frame data compressed by a reference video coding method using disparity information and motion vectors. In the figure, I, P, and B mean an I (Intra-coded) frame, a P (Predicted) frame, and a B (Bi-directional Predicted) frame, respectively.
The I frame is encoded using an intra-frame encoding method, and the P frame and the B frame are encoded using an inter-frame encoding method. The B frame is encoded using the correlation between the left and right images. When encoding two videos on the left and right with the inter-frame prediction method as in the MR system, an I frame that does not refer to other frames is included in either the left or right video.
MPEG(Moving Picture Experts Group)では、Iフレームからはじまるフレーム群をGOP(Group Of Pictures)として定義している。
本実施例では、GOP毎にIフレームを挿入する左右の映像を切り替える。901をGOP(1)、902をGOP(2)、903をGOP(3)とすると、GOP(1)901では右目映像にIフレームを適用し、GOP(2)902では左目映像にIフレームを適用、GOP(3)903では再び右目映像にIフレームを適用する。
本実施例では、各GOPのGOP長を4フレームとしている。このため、Iフレームを挿入する左右の映像の切り替え周期は4フレームとなるが、Iフレームを挿入する左右の映像の切り替え周期は4フレームに限らないし、通信状況やフレームレートに応じて動的に変更してもよい。
In MPEG (Moving Picture Experts Group), a group of frames starting from an I frame is defined as GOP (Group Of Pictures).
In the present embodiment, the left and right images for inserting the I frame are switched for each GOP. Assuming that 901 is GOP (1), 902 is GOP (2), and 903 is GOP (3), GOP (1) 901 applies the I frame to the right-eye video, and GOP (2) 902 applies the I frame to the left-eye video. Apply, GOP (3) 903 applies the I frame to the right-eye video again.
In this embodiment, the GOP length of each GOP is 4 frames. For this reason, the switching cycle of the left and right images for inserting the I frame is 4 frames, but the switching cycle of the left and right images for inserting the I frame is not limited to 4 frames, and dynamically depends on the communication status and the frame rate. It may be changed.
図11(b)は、通信状況把握部309において、通信状況が悪いと判定されている場合に、誤り訂正を適用している例である。通信状況が悪いと判定されている場合、実施例1同様に、タイミングに応じて誤り訂正レベルを左右映像で切り替える。ここで、切り替えるタイミングはGOP単位となる。また、誤り訂正レベルの適用において、誤り訂正強度の強いレベルを、Iフレームを適用した映像フレーム群に対して適用する。
FIG. 11B is an example in which error correction is applied when the communication
911〜919をGOP(11)〜GOP(19)とする。GOP(11)〜GOP(13)の送信開始時においては通信状況が悪くないと判定され、GOP(11)〜GOP(13)には左右映像ともに誤り訂正レベル2を適用している。しかし、GOP(14)914の送信開始前に通信状況が悪いと判定されたとする。
GOP(14)914においては、右目映像にIフレームを適用しているため、右目映像フレーム群に誤り訂正レベル3を適用し、左目映像フレーム群に誤り訂正レベル1を適用している。
続くGOP(15)915においては、左目映像にIフレームを適用しているため、左目映像フレーム群に誤り訂正レベル3を適用し、右目映像フレーム群に誤り訂正レベル1を適用する。
Let 911-919 be GOP (11) -GOP (19). At the start of transmission of GOP (11) to GOP (13), it is determined that the communication status is not bad, and error correction level 2 is applied to both the left and right images for GOP (11) to GOP (13). However, it is assumed that the communication status is determined to be bad before the transmission of GOP (14) 914 starts.
In GOP (14) 914, since an I frame is applied to the right eye video, error correction level 3 is applied to the right eye video frame group, and
In the subsequent GOP (15) 915, since the I frame is applied to the left-eye video image, the error correction level 3 is applied to the left-eye video frame group, and the
GOP(16)916においては、右目映像にIフレームを適用しているため、右目映像フレーム群に誤り訂正レベル3を適用し、左目映像フレーム群に誤り訂正レベル1を適用している。
GOP(17)917においては、左目映像にIフレームを適用しているため、左目映像フレーム群に誤り訂正レベル3を適用し、右目映像フレーム群に誤り訂正レベル1を適用する。
In GOP (16) 916, since the I frame is applied to the right eye video, the error correction level 3 is applied to the right eye video frame group, and the
In GOP (17) 917, since the I frame is applied to the left-eye video, error correction level 3 is applied to the left-eye video frame group, and
そして、GOP(18)918の送信開始前に通信状況が悪くないと判定され、GOP(18)918、GOP(19)919では左右映像ともに誤り訂正レベル2を適用している。 Then, it is determined that the communication status is not bad before the start of transmission of GOP (18) 918. In GOP (18) 918 and GOP (19) 919, error correction level 2 is applied to both the left and right images.
なお、通信状況把握処理及び誤り訂正適用レベル切り替え処理に関して、本実施例では、1GOP単位で処理しているが、2GOP以上の単位で処理してもよい。
また、誤り訂正強度や通信状況変更判定の閾値等が動的変更可能である点は実施例1と同様である。
本実施例では、時間軸において未来方向へのフレーム参照をしていないが、参照する形態でも本発明は実施できる。
In this embodiment, the communication status grasping process and the error correction application level switching process are processed in units of 1 GOP, but may be processed in units of 2 GOP or more.
Further, as in the first embodiment, the error correction strength and the threshold value for determining the communication status change can be dynamically changed.
In the present embodiment, the frame is not referred to in the future direction on the time axis, but the present invention can also be implemented in a reference form.
[その他の実施例]
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。
[Other Examples]
Although the embodiment has been described in detail above, the present invention can take an embodiment as a system, apparatus, method, program, recording medium (storage medium), or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or may be applied to a device composed of a single device. good.
The present invention also provides a software program that implements the functions of the above-described embodiments directly or remotely to a system or apparatus, and the system or apparatus computer reads out and executes the supplied program code. Achieved. The program in this case is a computer-readable program that corresponds to the flowchart shown in the drawing in the embodiment.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, or the like.
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。 Recording media for supplying the program include the following media. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 As a program supply method, the following method is also possible. That is, the browser of the client computer is connected to a homepage on the Internet, and the computer program itself (or a compressed file including an automatic installation function) of the present invention is downloaded to a recording medium such as a hard disk. It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. It is also possible to make it. That is, the user can execute the encrypted program by using the key information and install it on the computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.
Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, and then executed, so that the program of the above-described embodiment can be obtained. Function is realized. That is, based on the instructions of the program, the CPU provided in the function expansion board or function expansion unit can perform part or all of the actual processing.
101 MRシステムユーザ
102 無線ルータ
103 右目撮像フレームパケット群
104 左目撮像フレームパケット群
105 CG重畳外部PC
106 CG重畳済右目映像フレームパケット群
107 CG重畳済左目映像フレームパケット群
200 HMD(頭部装着型表示装置)
211 データバス
300 パケット送受信プログラム
901 GOP(1)
902 GOP(2)
903 GOP(3)
101
106 CG superimposed right-eye video frame packet group 107 CG superimposed left-eye video
902 GOP (2)
903 GOP (3)
Claims (13)
前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握手段と、
前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第1のコンテンツデータ、前記第2のコンテンツデータそれぞれに対して設定する設定手段と、
前記第1のコンテンツデータおよび前記第2のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第1の誤り訂正用データ及び第2の誤り訂正用データを生成する誤り訂正データ生成手段と、
前記第1のコンテンツデータ、前記第2のコンテンツデータ、前記第1の誤り訂正用データ、および前記第2の誤り訂正用データを前記受信装置に送信する送信手段と、を備えることを特徴とする送信装置。 A transmitting device that transmits first content data and second content data to a receiving device,
A communication status grasping means for grasping a communication status between the transmitting device and the receiving device;
Based on the communication status, an error correction strength of error correction data used by the receiving device to correct content data that the receiving device has not normally received among the transmitted content data is set to the first content data. Setting means for setting each of the content data and the second content data,
Error correction data generation means for generating first error correction data and second error correction data based on the error correction strength set for each of the first content data and the second content data When,
Transmission means for transmitting the first content data, the second content data, the first error correction data, and the second error correction data to the receiving device. Transmitter device.
前記設定手段は、前記通信状況把握手段が前記通信状況が所定の条件を満たしていると判定した場合に、前記第1の誤り訂正用データに、前記第2の誤り訂正用データよりも大きい誤り訂正強度を設定し、所定の間隔ごとに、前記誤り訂正強度を、前記第1の誤り訂正用データと前記第2の誤り訂正用データとで切り替えるように設定することを特徴とする請求項1に記載の送信装置。 The communication status grasping means determines whether the communication status satisfies a predetermined condition,
The setting means includes an error larger than the second error correction data in the first error correction data when the communication condition grasping means determines that the communication condition satisfies a predetermined condition. 2. The correction strength is set, and the error correction strength is set to be switched between the first error correction data and the second error correction data at predetermined intervals. The transmitting device according to 1.
前記設定手段は、前記分割されたパケットごとに、前記誤り訂正強度を、前記第1の誤り訂正用データと前記第2の誤り訂正用データとで切り替えるように設定することを特徴とする請求項2に記載の送信装置。 The transmitting means transmits each of the first content data and the second content data divided into packets,
The setting means sets the error correction strength to switch between the first error correction data and the second error correction data for each of the divided packets. 2. The transmission device according to 2.
前記通信状況把握手段は、前記受信したレポートパケットの内容から通信状況を把握することを特徴とする請求項1乃至4のいずれか1項に記載の送信装置。 Report packet receiving means for receiving a report packet informing the communication status from the receiving device, further comprising:
The transmission apparatus according to claim 1, wherein the communication status grasping unit grasps a communication status from the content of the received report packet.
前記通信状況把握手段は、前記受信手段による受信の結果から通信状況を把握することを特徴とする請求項1乃至7のいずれか1項に記載の送信装置。 Receiving means for receiving content data from the receiving device;
The transmission apparatus according to claim 1, wherein the communication status grasping unit grasps a communication status from a result of reception by the receiving unit.
前記送信装置と、前記受信装置との間の通信状況を把握する通信状況把握ステップと、
前記通信状況に基づいて、前記送信されたコンテンツデータのうち前記受信装置が正常に受信しなかったコンテンツデータを前記受信装置が訂正するために用いる誤り訂正用データの誤り訂正強度を、前記第1のコンテンツデータ、前記第2のコンテンツデータそれぞれに対して設定する設定ステップと、
前記第1のコンテンツデータおよび前記第2のコンテンツデータそれぞれに対して設定された誤り訂正強度に基づいて、第1の誤り訂正用データ及び第2の誤り訂正用データを生成する誤り訂正データ生成ステップと、
前記第1のコンテンツデータ、前記第2のコンテンツデータ、前記第1の誤り訂正用データ、および前記第2の誤り訂正用データを前記受信装置に送信する送信ステップと、を含むことを特徴とする送信方法。 A transmission method of transmitting first content data and second content data from a transmission device to a reception device,
A communication status grasping step for grasping a communication status between the transmitting device and the receiving device;
Based on the communication status, an error correction strength of error correction data used by the receiving device to correct content data that the receiving device has not normally received among the transmitted content data is set to the first content data. Setting for each of the content data and the second content data,
Error correction data generation step for generating first error correction data and second error correction data based on the error correction strength set for each of the first content data and the second content data When,
A transmission step of transmitting the first content data, the second content data, the first error correction data, and the second error correction data to the receiving device. Transmission method.
The program for functioning a computer as each means which the transmission apparatus of any one of Claims 1 thru | or 11 has.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015006697A JP2016134673A (en) | 2015-01-16 | 2015-01-16 | Transmission device, transmission method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015006697A JP2016134673A (en) | 2015-01-16 | 2015-01-16 | Transmission device, transmission method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016134673A true JP2016134673A (en) | 2016-07-25 |
Family
ID=56434642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015006697A Pending JP2016134673A (en) | 2015-01-16 | 2015-01-16 | Transmission device, transmission method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016134673A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080115252A1 (en) * | 2006-11-16 | 2008-05-22 | Taylor Made Golf Company, Inc. | Pants with cooling feature |
-
2015
- 2015-01-16 JP JP2015006697A patent/JP2016134673A/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080115252A1 (en) * | 2006-11-16 | 2008-05-22 | Taylor Made Golf Company, Inc. | Pants with cooling feature |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8233539B2 (en) | Method and apparatus for transmitting packet-based image frame | |
US11039174B2 (en) | Recovery from packet loss during transmission of compressed video streams | |
US20060291475A1 (en) | Selective forward error correction | |
JP5768332B2 (en) | Transmitter, receiver and communication system | |
US9661351B2 (en) | Client side frame prediction for video streams with skipped frames | |
JP2010183439A (en) | Transmission device, method, and program | |
CN108028922A (en) | Video coding | |
US9264737B2 (en) | Error resilient transmission of random access frames and global coding parameters | |
JP4041137B2 (en) | VIDEO ENCODING / TRANSMITTING DEVICE, VIDEO ENCODING / TRANSMITTING METHOD, VIDEO ENCODING / TRANSMITTING PROGRAM, AND RECORDING MEDIUM THEREOF | |
CN108141581A (en) | Video coding | |
JP5553663B2 (en) | Video transmission device, video reception device, video transmission system | |
JP5377040B2 (en) | Transmitting apparatus and transmitting method | |
JP5172874B2 (en) | Video synchronization apparatus, video display apparatus, video synchronization method, and program | |
JP6511472B2 (en) | Method and apparatus for packet generation and recovery in broadcasting and / or communication systems | |
JP5588244B2 (en) | Video transmission system | |
JP4604851B2 (en) | Transmission device, reception device, transmission processing method, reception processing method, and program thereof | |
US10477246B2 (en) | Method for encoding streams of video data based on groups of pictures (GOP) | |
JP6529299B2 (en) | Transmission apparatus, reception apparatus, method and program | |
KR20140124971A (en) | Apparatus and method for transmitting and receiving forward error correction packet | |
JP2011172153A (en) | Media encoding and transmitting apparatus | |
JP5682292B2 (en) | Video distribution apparatus and video distribution method | |
US20130339482A1 (en) | Data transmitting system, and transmitting apparatus and receiving apparatus and program in data transmitting system | |
JP2016134673A (en) | Transmission device, transmission method and program | |
JP6197708B2 (en) | Moving picture transmission system, moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding computer program, and moving picture decoding computer program | |
US11418218B2 (en) | Receiving device and receiving method |