JP2019033362A - Distribution apparatus, reception apparatus, and program - Google Patents
Distribution apparatus, reception apparatus, and program Download PDFInfo
- Publication number
- JP2019033362A JP2019033362A JP2017152742A JP2017152742A JP2019033362A JP 2019033362 A JP2019033362 A JP 2019033362A JP 2017152742 A JP2017152742 A JP 2017152742A JP 2017152742 A JP2017152742 A JP 2017152742A JP 2019033362 A JP2019033362 A JP 2019033362A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- thumbnail
- video
- viewed
- videos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、動画の配信装置、受信装置及びプログラムに関する。 The present invention relates to a moving image distribution device, a reception device, and a program.
従来、複数のカメラが同時に撮影を行い、これらの映像を切り替えながら視聴するシステムは、映像制作及び編集の場面や、監視カメラによるサーベイランスの場面等で広く利用されている。例えば、非特許文献１では、多視点から被写体を撮影する多視点ロボットカメラ技術が提案されている。
しかし、複数のカメラから撮影した映像をコンテンツとして視聴者が視聴する際には、既に制作者により編集された単一の動画になっており、視聴者側に視点を選択して視聴する自由はなかった。
2. Description of the Related Art Conventionally, a system in which a plurality of cameras shoot simultaneously and view these videos while switching them has been widely used in video production and editing scenes, surveillance scenes using surveillance cameras, and the like. For example, Non-Patent
However, when viewers watch videos taken from multiple cameras as content, it is already a single video edited by the producer, and the viewer has the freedom to select and view the viewpoint. There wasn't.
このような状況において、非特許文献２では、視聴端末に専用ソフトウェアをインストールすることにより、視聴者が任意に視点を変えながらストリーミング形式で動画を視聴できる多視点カメラ動画のコンピュータ上での視聴システムが提案されている。
In such a situation, in Non-Patent
また、インターネット上でアダプティブストリーミング方式によりストリーミング動画配信を行うために、ＭＰＥＧ−ＤＡＳＨ（ＭＰＥＧ−Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）等の規格が制定されている（例えば、非特許文献３参照）。これらは、視聴環境の構築に専用のソフトウェアを必要とせず、ウェブブラウザでの動画視聴を想定して標準化された技術である。
特許文献１には、多視点動画のストリーミングをネットワーク経由で切り替え、Ｗｉｎｄｏｗｓ（登録商標）上のウェブブラウザで再生する装置が提案されている。
In addition, standards such as MPEG-DASH (MPEG-Dynamic Adaptive Streaming HTTP) and HLS (HTTP Live Streaming) have been established in order to perform streaming video distribution using the adaptive streaming method on the Internet (for example, non-patent literature). 3). These are standardized technologies that do not require dedicated software for the construction of a viewing environment, and are intended for viewing videos on a web browser.
ところで、動画のストリーミング視聴は、視聴端末が動画配信サーバから受信したファイルを再生環境下でバッファリングし、デコードするための十分な量がバッファリングできた時点で再生を開始する。したがって、視聴端末は、ストリーミング視聴時に動画を切り替えるためには、異なる動画をサーバに対して再度要求してバッファリングしてから再生を行う。このため、動画を切り替えた後に映像が再生されるまでに遅延が発生する。 By the way, streaming viewing of a moving image starts when the viewing terminal buffers a file received from the moving image distribution server under a reproduction environment and a sufficient amount for decoding can be buffered. Therefore, in order to switch a moving image at the time of streaming viewing, the viewing terminal requests a different moving image from the server again, buffers it, and reproduces it. For this reason, a delay occurs before the video is reproduced after the moving image is switched.
動画の切り替えに時間を要すると、視聴者が動画切り替えの操作を行っても瞬時に切り替わらないため、視聴体験の質を損なってしまう。全ての動画を同時に配信し、受信端末で全ての動画を常時デコードしておくことで切り替え時の遅延を低減できるが、視聴していない動画についても配信することになるため、通信帯域及び処理負荷が増大していた。 If it takes time to switch the video, the viewer does not switch instantly even if the operation of switching the video is performed, so the quality of the viewing experience is impaired. Distributing all the videos at the same time and decoding all the videos at the receiving terminal at all times can reduce the delay at switching, but it will also deliver videos that have not been viewed, so communication bandwidth and processing load Increased.
本発明は、複数の動画を効率的に配信し、かつ、視聴動画を高速に切り替えられる配信装置、受信装置及びプログラムを提供することを目的とする。 An object of the present invention is to provide a distribution device, a receiving device, and a program that can efficiently distribute a plurality of moving images and can switch a viewing moving image at high speed.
本発明に係る配信装置は、複数の動画の組み合わせ、及び当該複数の動画を縮小して並べたサムネイル動画を記録する記録部と、受信装置からの要求に応じて、前記複数の動画のうちの１つ、及び前記サムネイル動画を、前記受信装置へ送信する送信部と、を備え、前記送信部は、前記受信装置において前記サムネイル動画から選択された視聴する動画の要求を受け付け、前記サムネイル動画は、前記受信装置において前記視聴する動画の再生準備が完了するまでの間、前記サムネイル動画のうち、前記視聴する動画の領域を拡大して表示するためのものである。 The distribution device according to the present invention includes a combination of a plurality of moving images, a recording unit that records thumbnail videos in which the plurality of moving images are reduced and arranged, and a request from the receiving device. And a transmission unit that transmits the thumbnail video to the reception device, wherein the transmission unit accepts a request for a video to be viewed and selected from the thumbnail video in the reception device, and the thumbnail video is Until the reproduction preparation of the moving image to be viewed is completed in the receiving device, the region of the moving image to be viewed among the thumbnail moving images is enlarged and displayed.
前記記録部は、前記複数の動画及び前記サムネイル動画のそれぞれについて、複数のビットレートで記録してもよい。 The recording unit may record each of the plurality of videos and the thumbnail videos at a plurality of bit rates.
本発明に係る受信装置は、配信装置から、複数の動画の組み合わせのうちの１つ、及び当該複数の動画を縮小して並べたサムネイル動画を受信する受信部と、前記サムネイル動画から、視聴する動画の選択操作を受け付ける選択部と、前記視聴する動画の再生準備が完了するまでの間、前記サムネイル動画のうち、前記視聴する動画の領域を拡大して表示する表示制御部と、を備える。 The receiving device according to the present invention receives from the distribution device a receiving unit that receives one of a combination of a plurality of moving images and a thumbnail moving image obtained by reducing and arranging the plurality of moving images, and the thumbnail moving image. A selection unit that receives a selection operation of a moving image, and a display control unit that expands and displays a region of the moving image to be viewed among the thumbnail moving images until the preparation for reproduction of the moving image to be viewed is completed.
前記受信部は、ネットワークの帯域幅に基づいて、前記視聴する動画及び前記サムネイル動画それぞれのビットレートを選択し、前記配信装置へ要求してもよい。 The receiving unit may select a bit rate for each of the moving image to be viewed and the thumbnail moving image based on a network bandwidth and make a request to the distribution device.
前記受信部は、前記選択操作の頻度が閾値以上となった場合に、前記視聴する動画のビットレートを下げ、前記サムネイル動画のビットレートを上げてもよい。 The receiving unit may decrease the bit rate of the video to be viewed and increase the bit rate of the thumbnail video when the frequency of the selection operation is equal to or greater than a threshold.
前記受信部は、前記選択操作の頻度が閾値未満となった場合に、前記視聴する動画のビットレートを上げ、前記サムネイル動画のビットレートを下げてもよい。 The receiving unit may increase the bit rate of the video to be viewed and decrease the bit rate of the thumbnail video when the frequency of the selection operation is less than a threshold.
前記複数の動画は、多視点動画であり、前記選択部は、前記選択操作として、前記複数の動画の連続切り替えの開始及び終了を受け付けてもよい。 The plurality of videos may be multi-view videos, and the selection unit may accept start and end of continuous switching of the plurality of videos as the selection operation.
本発明に係るプログラムは、コンピュータを、前記配信装置又は前記受信装置の各部として機能させるためのものである。 The program according to the present invention is for causing a computer to function as each unit of the distribution device or the reception device.
本発明によれば、複数の動画を効率的に配信し、かつ、視聴動画を高速に切り替えられる。 According to the present invention, it is possible to efficiently distribute a plurality of moving images and switch a viewing moving image at high speed.
以下、本発明の実施形態の一例について説明する。
図１は本実施形態に係る配信システム１の概念図である。
複数のカメラＣが同時に撮影を行い、各映像信号が後段のエンコーダＥに入力される。エンコーダＥは、入力された映像信号をＭＰＥＧ−ＤＡＳＨに符号化し、配信サーバ１０（配信装置）上に配置する。
Hereinafter, an example of an embodiment of the present invention will be described.
FIG. 1 is a conceptual diagram of a
A plurality of cameras C shoot simultaneously, and each video signal is input to the encoder E at the subsequent stage. The encoder E encodes the input video signal into MPEG-DASH and arranges it on the distribution server 10 (distribution apparatus).
配信サーバ１０は、視聴端末である受信装置２０から動画の視聴要求を受け、要求された動画を、受信装置２０に対してインターネット経由でストリーミング配信する。
なお、エンコーダＥに入力される映像は、カメラＣで撮影した映像には限られず、例えば、録画機器に収録した再生映像が入力されてもよい。また、入力される映像の数（カメラＣの数）も限定されない。
The
Note that the video input to the encoder E is not limited to video captured by the camera C. For example, a playback video recorded in a recording device may be input. Further, the number of input images (number of cameras C) is not limited.
図２は、本実施形態に係るエンコーダＥの動作例を示す図である。
エンコーダＥは、複数のカメラから入力された映像信号を、それぞれＭＰＥＧ−ＤＡＳＨ形式の動画データに変換し、これら複数の動画をＡｄａｐｔａｔｉｏｎ Ｓｅｔと呼ばれる１つのグループにまとめ、単一のマニフェストファイル（ＭＰＤファイル）を生成する。Ａｄａｐｔａｔｉｏｎ Ｓｅｔで１つのグループにまとめられた複数の動画のうち、ある時点で受信装置２０へ配信している動画は１つとなる。
FIG. 2 is a diagram illustrating an operation example of the encoder E according to the present embodiment.
The encoder E converts video signals input from a plurality of cameras into moving picture data in the MPEG-DASH format, collects these moving pictures into one group called Adaptation Set, and creates a single manifest file (MPD file). ) Is generated. Among a plurality of moving images grouped into one group in the Adaptation Set, one moving image is distributed to the
また、エンコーダＥは、各カメラＣの映像を縮小してタイル状に並べて連結した動画（以降、サムネイル動画と呼ぶ）を生成し、各カメラＣの映像に対応する動画とは別にＭＰＥＧ−ＤＡＳＨ形式の動画とし、マニフェストファイルを生成する。 In addition, the encoder E generates a moving image (hereinafter referred to as a thumbnail moving image) in which the video of each camera C is reduced and tiled and connected, and the MPEG-DASH format is separate from the moving image corresponding to the video of each camera C. And generate a manifest file.
エンコードされた各カメラＣの映像に対応した動画及びサムネイル動画と、各カメラＣの映像に対応した動画をまとめたマニフェストファイル及びサムネイル動画のマニフェストファイルとは、配信サーバ１０に配置される。
The encoded moving image and thumbnail moving image corresponding to the video of each camera C, and the manifest file and thumbnail moving image manifest file in which the moving image corresponding to the video of each camera C is collected are arranged in the
図３は、本実施形態に係る配信サーバ１０及び受信装置２０の機能構成を示すブロック図である。
配信サーバ１０は、記録部１１と、送信部１２とを備える。これらの各部は、配信サーバ１０の制御部（ＣＰＵ）が所定のソフトウェアを実行することにより実現される。
FIG. 3 is a block diagram illustrating functional configurations of the
The
記録部１１は、カメラＣの映像それぞれに対応した複数の動画の組み合わせ、及びこれら複数の動画を縮小して並べたサムネイル動画をエンコーダＥから受け取り、配信サーバ１０の内部又は外部に設けられたストレージに記録する。
このとき、記録部１１は、複数の動画及びサムネイル動画のそれぞれについて、複数のビットレートで受け取り記録する。
The
At this time, the
送信部１２は、受信装置２０からの要求に応じて、複数の動画のうちの１つ、及びサムネイル動画を、受信装置２０へ送信する。
The
受信装置２０は、テレビ、パーソナルコンピュータ（ＰＣ）、スマートフォン又はタブレット端末等の視聴端末であり、選択部２１と、受信部２２と、表示制御部２３とを備える。これらの各部は、受信装置２０の制御部（ＣＰＵ）が所定のソフトウェアを実行することにより実現される。
The
選択部２１は、サムネイル動画から、視聴する動画の選択操作を受け付ける。
複数の動画は、例えば被写体を複数のカメラＣで撮影した多視点の動画の組み合わせであり、選択部２１は、選択操作として、複数の動画の連続切り替えの開始及び終了を受け付けてもよい。例えば、タッチパネル上でのタッチの時間又は移動距離等に応じて、サムネイル動画の各カメラＣに対応する領域が順に切り替えて表示され、タッチの終了により１つのカメラＣに対応する動画が選択される。
The
The plurality of moving images is, for example, a combination of multi-viewpoint moving images obtained by photographing a subject with a plurality of cameras C, and the
受信部２２は、選択操作に応じて、配信サーバ１０へ視聴するカメラＣの映像を要求し、対応する動画及びサムネイル動画を受信する。
このとき、受信部２２は、ネットワークの帯域幅に基づいて、視聴するカメラ映像に対応する動画及びサムネイル動画それぞれのビットレートを選択し、配信サーバ１０へ要求する。
In response to the selection operation, the
At this time, the receiving
具体的には、受信部２２は、選択操作の頻度が閾値以上となった場合に、視聴するカメラ映像に対応する動画のビットレートを下げ、サムネイル動画のビットレートを上げる。
また、受信部２２は、選択操作の頻度が閾値未満となった場合に、視聴するカメラ映像に対応する動画のビットレートを上げ、サムネイル動画のビットレートを下げる。
Specifically, the receiving
In addition, when the frequency of the selection operation becomes less than the threshold, the receiving
表示制御部２３は、視聴するカメラ映像に対応する動画の再生準備が完了するまでの間、サムネイル動画のうち、視聴する動画に対応する領域を拡大してディスプレイに表示する。表示制御部２３は、視聴するカメラ映像に対応する動画の再生準備が完了し、再生を開始すると、このカメラ映像に対応する動画をディスプレイに表示させる。
The
図４は、本実施形態に係る配信サーバ１０と受信装置２０との間での動画切り替えの動作を示す図である。
配信サーバ１０は、受信装置２０から動画の要求があると、複数の動画のうち要求されたカメラＣの動画を受信装置２０に対して配信する。さらに、配信サーバ１０は、各カメラＣの動画と共に、サムネイル動画についても受信装置２０に対して同時に配信する。
このように、配信サーバ１０は、常時、選択されている動画及びサムネイル動画の２つのストリーム動画を受信装置２０に対して配信する。
FIG. 4 is a diagram illustrating a moving image switching operation between the
When receiving a moving image request from the receiving
As described above, the
受信装置２０は、配信サーバ１０から受信した動画を表示しつつ、視聴者から動画の切り替え操作を受け付ける。配信サーバ１０は、受信装置２０から動画の切り替えが要求されると、要求されたカメラＣのセグメントに配信を切り替える。
The receiving
視聴する動画の切り替えの処理は以下の手順で行われる。
受信装置２０は、配信サーバ１０から、選択したカメラＣ（例えば１番目）の動画及びサムネイル動画を受信し、同期して再生する。このとき、受信装置２０は、選択したカメラＣの動画と、サムネイル動画の対応する領域との表示サイズを同じにし、かつ、画面上での表示位置を同じにした上で、選択されたカメラＣの動画が前面に表示されるように再生する（図４上段）。
The process of switching the moving image to be viewed is performed according to the following procedure.
The receiving
受信装置２０は、動画の切り替え操作が行われると、まず背面で再生しているサムネイル動画のうち、切り替え後の動画（例えば３番目）にあたる部分を切り出し、前面で再生している動画のサイズまで拡大し、選択されていた動画より前面に表示する。これによって、サムネイル動画を切り出して拡大した動画がディスプレイ上で視聴される。
受信装置２０は、サムネイル動画への表示切り替えが完了すると、配信サーバ１０から受信していたカメラＣの動画の要求を停止し、新たに切り替え後のカメラＣの動画を配信サーバ１０に対して要求する（図４中段）。
When the switching operation of the moving image is performed, the receiving
When the display switching to the thumbnail video is completed, the receiving
受信装置２０は、新たに要求したカメラＣの動画を再生し始めると、この動画を、表示中の拡大したサムネイル動画より前面に切り替えて表示する（図４下段）。
ここまでの処理により、一連の動画切り替えの動作が完了する。
When the receiving
With the processing so far, a series of moving image switching operations is completed.
なお、動画切り替えの操作は、例えば、視聴者がＰＣを使用している場合には再生ソフトウェア上の切り替えボタンを押して行ってよい。
また、視聴者がスマートフォン又はタブレット端末等の携帯型電子機器を使用している場合には、画面をタッチしてなぞる（ドラッグする）ことで切り替えを行ってもよい。この場合、受信装置２０は、ドラッグの距離に応じて、サムネイル動画における表示領域を連続的に切り替え、タッチ終了時に選択されているカメラＣの映像に対応する動画を配信サーバ１０へ要求する。
Note that the moving image switching operation may be performed by, for example, pressing a switching button on the reproduction software when the viewer is using the PC.
In addition, when the viewer uses a portable electronic device such as a smartphone or a tablet terminal, switching may be performed by touching and dragging on the screen. In this case, the receiving
図５は、本実施形態に係る視聴中の動画の切り替え時におけるビットレートの決定処理を示すフローチャートである。
エンコーダＥは、各カメラＣの映像及びサムネイル動画について、それぞれ複数のビットレートでＭＰＥＧ−ＤＡＳＨ形式へのエンコードを行っており、受信装置２０は、視聴者側の回線速度に応じて、どの画質の動画を受信すべきかを自動又は手動で決定する。
FIG. 5 is a flowchart showing a bit rate determination process at the time of switching of a moving image being viewed according to the present embodiment.
The encoder E encodes the video of each camera C and the thumbnail video into the MPEG-DASH format at a plurality of bit rates, and the receiving
ここで、各カメラＣの映像は、Ｎ種類のビットレートＢ１〜ＢＮ（Ｂ１＜Ｂ２＜・・・＜ＢＮ）でエンコードされ、サムネイル動画は、Ｍ種類のビットレートＴ１〜ＴＭ（Ｔ１＜Ｔ２＜・・・＜ＴＭ）でエンコードされているものとする。
また、視聴者側のネットワーク帯域幅をＷとする。なお、この帯域幅Ｗは、時刻毎に変化し得る。
Here, the video of each camera C is encoded with N types of bit rates B 1 to B N (B 1 <B 2 <... <B N ), and the thumbnail video has M types of bit rates T 1 to T 1 . It is assumed that encoding is performed using T M (T 1 <T 2 <... <T M ).
Also, let W be the viewer's network bandwidth. Note that the bandwidth W can change from time to time.
ステップＳ１において、受信装置２０は、動画再生に伴って、視点の切り替え操作（動画切り替え操作）の受け付けを開始し、動画再生の終了までループする。
In step S <b> 1, the receiving
ステップＳ２において、受信装置２０は、視点が操作されたか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ３に移り、判定がＮＯの場合、処理はステップＳ７に移る。
In step S2, the receiving
ステップＳ３において、受信装置２０は、視点を切り替え、動画を受信する対象のカメラＣを決定する。
In step S <b> 3, the receiving
ステップＳ４において、受信装置２０は、過去一定時間に行われた動画の切り替え回数が閾値以上か否かを判定する。この判定がＹＥＳの場合、処理はステップＳ５に移り、判定がＮＯの場合、処理はステップＳ７に移る。
In step S4, the receiving
ステップＳ５において、受信装置２０は、現在視聴中のカメラ映像に対応する動画のビットレートが最低画質（Ｂ１）か否かを判定する。この判定がＹＥＳの場合、処理はステップＳ７に移り、判定がＮＯの場合、処理はステップＳ６に移る。
In step S5, the receiving
ステップＳ６において、受信装置２０は、視聴者による動画の切り替え回数が多いと判断し、選択されたカメラ映像に対応する動画のビットレートを１段階低くし、切り替え中に表示するサムネイル動画のビットレートを自動的に高くする。
これにより、動画の切り替え時にカメラ映像に対応する動画からサムネイル動画に表示を切り替えたとき、及びサムネイル動画から再びカメラ映像に対応する動画に表示を戻すときに、それぞれ画質の差異が小さくなるため、操作の多い視聴者にとっては違和感が小さくなる。
In step S6, the receiving
Thereby, when switching the display from the video corresponding to the camera video to the thumbnail video at the time of switching the video, and when returning the display from the thumbnail video to the video corresponding to the camera video again, respectively, the difference in image quality becomes small, For viewers with many operations, the feeling of strangeness is reduced.
ここで、ビットレート制御のトリガとなる一定時間及び操作回数の閾値は、例えば配信者がコンテンツの種類又は動画の長さ等に応じて事前に決定する値である。これらは、現在受信している２つの動画のビットレートのレベルに応じて段階的に設定され、動的に変更されてもよい。 Here, the threshold of the fixed time and the number of operations that trigger the bit rate control are values that the distributor determines in advance according to the type of content or the length of the moving image, for example. These may be set in stages according to the bit rate levels of the two currently received moving images, and may be dynamically changed.
サムネイル動画のビットレートは、カメラ映像に対応する動画のビットレートをＢｉからＢｉ−１に下げたとき、例えば以下の数式に従い、カメラ映像に対応する動画とサムネイル動画との和が受信装置２０の帯域幅Ｗ以下になるようにしつつ、最大のビットレートが自動的に選択される。
ｍａｘＴｊ ｓ．ｔ． Ｂｉ−１＋Ｔｊ≦αＷ
ただし、係数αは、０以上１以下の値をとる安全率であり、配信者が事前に決定する値である。
Bit rate of the thumbnail moving image, when lowered video bit rate corresponding to the camera image from the B i to B i-1, for example, the following in accordance with formula sum reception apparatus of video and the thumbnail moving image corresponding to the camera image The maximum bit rate is automatically selected while keeping it below 20 bandwidths W.
maxT j s. t. B i-1 + T j ≦ αW
However, the coefficient α is a safety factor that takes a value of 0 or more and 1 or less, and is a value determined in advance by the distributor.
なお、サムネイル動画のビットレートを選択する処理は、ＭＰＥＧ−ＤＡＳＨ又は他のアダプティブストリーミングのプロトコルに標準的に備わっている、ビットレートの最適化機能によって自動的に行われてよい。 Note that the processing for selecting the bit rate of the thumbnail video may be automatically performed by a bit rate optimization function that is provided as standard in MPEG-DASH or other adaptive streaming protocols.
ステップＳ７において、動画の再生が継続している場合、処理はステップＳ１に戻り、再生が終了すると、処理は終了する。 In step S7, when the reproduction of the moving image continues, the process returns to step S1, and when the reproduction ends, the process ends.
図６は、本実施形態に係る動画視聴中のビットレートの変更処理を示すフローチャートである。
ステップＳ１１において、受信装置２０は、動画再生に伴って、所定の周期（例えば、５秒毎）で、動画再生の終了まで以下の処理を繰り返す。
FIG. 6 is a flowchart showing a bit rate changing process during viewing of a moving image according to the present embodiment.
In step S <b> 11, the receiving
ステップＳ１２において、受信装置２０は、過去一定時間のうちに行われた動画の切り替え回数を計測し、この回数が閾値未満か否かを判定する。この判定がＹＥＳの場合、処理はステップＳ１３に移り、判定がＮＯの場合、処理はステップＳ１５に移る。
In step S <b> 12, the receiving
ステップＳ１３において、受信装置２０は、現在のサムネイル動画のビットレートが最低画質（Ｔ１）か否かを判定する。この判定がＹＥＳの場合、処理はステップＳ１５に移り、判定がＮＯの場合、処理はステップＳ１４に移る。
In step S13, the receiving
ステップＳ１４において、受信装置２０は、視聴者による動画の切り替え回数が減少したと判断し、切り替え中に表示するサムネイル動画のビットレートを１段階低くし、カメラ映像のビットレートを自動的に高くする。
これにより、現在視聴しているカメラ映像に対応する動画のビットレートが高くなるため画質が向上し、操作が少ない視聴者は、高画質な動画を視聴できる。
In step S <b> 14, the receiving
As a result, the bit rate of the moving image corresponding to the camera image currently being viewed increases, so that the image quality is improved, and a viewer with fewer operations can view a high-quality moving image.
ここで、操作回数を計測する周期と、ビットレート制御のトリガとなる一定時間及び操作回数の閾値は、例えば配信者がコンテンツの種類又は動画の長さ等に応じて事前に決定する値である。これらは、現在受信している２つの動画のビットレートのレベルに応じて段階的に設定され、動的に変更されてもよい。 Here, the cycle of measuring the number of operations, the fixed time that triggers the bit rate control, and the threshold of the number of operations are values determined in advance by the distributor according to the type of content or the length of the moving image, for example. . These may be set in stages according to the bit rate levels of the two currently received moving images, and may be dynamically changed.
カメラ映像に対応する動画のビットレートは、サムネイル動画のビットレートをＴｊからＴｊ−１に下げたとき、例えば以下の数式に従い、カメラ映像に対応する動画とサムネイル動画との和が帯域幅Ｗ以下になるようにしつつ、最大のビットレートが自動的に選択される。
ｍａｘＢｉ ｓ．ｔ． Ｂｉ＋Ｔｊ−１≦αＷ
Video bit rate corresponding to the camera image, when lowered bit rate of the thumbnail video from T j to T j-1, for example according to the following formula, the sum of bandwidth between video and the thumbnail moving image corresponding to the camera image The maximum bit rate is automatically selected while keeping it below W.
maxB i s. t. B i + T j−1 ≦ αW
なお、カメラ映像に対応する動画のビットレートを選択する処理は、サムネイル動画のビットレートを選択する処理（図５）と同様に、アダプティブストリーミングの機構によって自動的に行われてよい。 Note that the process of selecting the bit rate of the moving picture corresponding to the camera video may be automatically performed by an adaptive streaming mechanism, similarly to the process of selecting the bit rate of the thumbnail moving picture (FIG. 5).
ステップＳ１５において、動画の再生が継続している場合、処理はステップＳ１１に戻り、再生が終了すると、処理は終了する。 In step S15, when the reproduction of the moving image continues, the process returns to step S11, and when the reproduction ends, the process ends.
本実施形態によれば、配信システム１は、複数のカメラＣの映像それぞれに対応する動画のいずれか１つと、サムネイル動画とを、配信サーバ１０から同時に配信する。受信装置２０は、受信した２つの動画を同期して再生し、動画の切り替え時には、切り替え後の動画再生の準備が整うまでサムネイル動画の一部領域を拡大表示することで代替する。
したがって、配信システム１は、複数の動画全てを同時に配信して動画の切り替えを行うシステムに比べて、現在視聴している動画及びサムネイル動画の２つのみを配信するので、配信帯域を節約できる。この結果、配信システム１は、複数の動画を効率的に配信し、かつ、視聴動画を高速に切り替えられる。
According to the present embodiment, the
Therefore, the
動画をストリーミング配信する際に、視聴者は、ＰＣ、スマートフォン、タブレット端末等、様々な電子機器を使用して動画を視聴することが想定される。配信システム１は、ＭＰＥＧ−ＤＡＳＨを用いて、受信ソフトウェアをウェブブラウザ上のウェブアプリ形式で実装することにより、専用のソフトウェアをインストールせずに、様々な電子機器上での実行が可能になる。
When streaming a moving image, it is assumed that a viewer views the moving image using various electronic devices such as a PC, a smartphone, and a tablet terminal. The
また、配信システム１は、カメラ映像に対応する動画とサムネイル動画とを、それぞれ複数のビットレートでエンコードして記録する。受信装置２０がこれらをダウンロードする際に、ネットワークの帯域幅に応じて、両者のビットレート配分を制御することで視聴者の視聴スタイルに合わせた配信が可能になる。
Also, the
視聴者によっては、１つの動画を連続して視聴したり、動画の切り替えを短時間に何度も行いながら視聴したりする等、視聴スタイルは多様である。配信システム１は、視聴者毎の動画切り替えの操作頻度に応じて、現在視聴しているカメラ映像に対応する動画のビットレートと、動画切り替え中に表示するサムネイル動画のビットレートとの配分を制御する。頻繁に切り替えを行う視聴者に対しては、サムネイル動画の画質を向上させ、切り替えの頻度が低い視聴者に対しては、切り替え後の動画の画質を向上させることにより、視聴者の視聴スタイル合わせた満足度の高い画質での配信が可能になる。
Depending on the viewer, there are various viewing styles such as watching a single video continuously or watching a video while switching the video many times in a short time. The
また、画面をタッチして操作するスマートフォン又はタブレット端末等の受信装置２０は、複数の動画を切り替えて視聴する場合、タッチ操作に応じて切り替え候補の動画を連続的に表示させることにより、視聴者に直感的な操作方法を提供できる。
In addition, when the receiving
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。 As mentioned above, although embodiment of this invention was described, this invention is not restricted to embodiment mentioned above. Further, the effects described in the present embodiment are merely a list of the most preferable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the present embodiment.
本実施形態では、動画の配信プロトコルにＭＰＥＧ−ＤＡＳＨを使用しているが、これには限られず、受信する動画のビットレートを自動的に制御する機能を持つ他のアダプティブストリーミングの方式を利用してもよい。 In this embodiment, MPEG-DASH is used as a moving image distribution protocol, but the present invention is not limited to this, and other adaptive streaming methods having a function of automatically controlling the bit rate of received moving images are used. May be.
本実施形態では、主に配信システム１の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、配信サーバ１０から受信装置２０へ複数の動画を配信するための方法、又はプログラムとして構成されてもよい。
In the present embodiment, the configuration and operation of the
さらに、配信システム１の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
Furthermore, the program for realizing the function of the
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 The “computer system” here includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a hard disk built in the computer system.
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 Furthermore, “computer-readable recording medium” means that a program is dynamically held for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It is also possible to include one that holds a program for a certain time, such as a volatile memory inside a computer system that becomes a server or client in that case. Further, the program may be for realizing a part of the above-described functions, and may be capable of realizing the above-described functions in combination with a program already recorded in the computer system. .
Ｃ カメラ
Ｅ エンコーダ
１ 配信システム
１０ 配信サーバ（配信装置）
１１ 記録部
１２ 送信部
２０ 受信装置
２１ 選択部
２２ 受信部
２３ 表示制御部
C
DESCRIPTION OF
Claims (8)
受信装置からの要求に応じて、前記複数の動画のうちの１つ、及び前記サムネイル動画を、前記受信装置へ送信する送信部と、を備え、
前記送信部は、前記受信装置において前記サムネイル動画から選択された視聴する動画の要求を受け付け、
前記サムネイル動画は、前記受信装置において前記視聴する動画の再生準備が完了するまでの間、前記サムネイル動画のうち、前記視聴する動画の領域を拡大して表示するためのものである配信装置。 A recording unit for recording a combination of a plurality of videos and a thumbnail video obtained by reducing and arranging the plurality of videos;
A transmission unit that transmits one of the plurality of videos and the thumbnail video to the reception device in response to a request from the reception device;
The transmission unit receives a request for a video to be viewed and selected from the thumbnail video in the receiving device,
The thumbnail image is a distribution device for enlarging and displaying an area of the moving image to be viewed in the thumbnail moving image until preparation for reproduction of the moving image to be viewed is completed in the receiving device.
前記サムネイル動画から、視聴する動画の選択操作を受け付ける選択部と、
前記視聴する動画の再生準備が完了するまでの間、前記サムネイル動画のうち、前記視聴する動画の領域を拡大して表示する表示制御部と、を備える受信装置。 A receiving unit that receives, from the distribution device, one of a combination of a plurality of videos and a thumbnail video obtained by reducing and arranging the plurality of videos;
A selection unit that receives a selection operation of a video to be viewed from the thumbnail video;
A display device comprising: a display control unit that enlarges and displays an area of the video to be viewed among the thumbnail videos until the preparation for playback of the video to be viewed is completed.
前記選択部は、前記選択操作として、前記複数の動画の連続切り替えの開始及び終了を受け付ける請求項３から請求項６のいずれかに記載の受信装置。 The plurality of videos are multi-view videos,
The receiving device according to claim 3, wherein the selection unit receives start and end of continuous switching of the plurality of moving images as the selection operation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017152742A JP6987567B2 (en) | 2017-08-07 | 2017-08-07 | Distribution device, receiver and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017152742A JP6987567B2 (en) | 2017-08-07 | 2017-08-07 | Distribution device, receiver and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019033362A true JP2019033362A (en) | 2019-02-28 |
| JP6987567B2 JP6987567B2 (en) | 2022-01-05 |
Family
ID=65524506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017152742A Active JP6987567B2 (en) | 2017-08-07 | 2017-08-07 | Distribution device, receiver and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6987567B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021002811A (en) * | 2019-06-24 | 2021-01-07 | Ｎｔｔテクノクロス株式会社 | Distribution server, distributing method and program |
| JP2022009636A (en) * | 2019-06-24 | 2022-01-14 | Ｎｔｔテクノクロス株式会社 | Distribution server, distribution method, and program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007282276A (en) * | 1995-02-06 | 2007-10-25 | Sony Corp | Method and device for reception, and method and system for broadcast |
| JP2007329847A (en) * | 2006-06-09 | 2007-12-20 | Sony Corp | Receiver and its program selection method |
| JP2009049467A (en) * | 2007-08-13 | 2009-03-05 | Sharp Corp | Program selection device, control method for program selection device, program, and recording medium |
| JP2010103773A (en) * | 2008-10-23 | 2010-05-06 | Victor Co Of Japan Ltd | Video image round monitoring system |
| JP2013183209A (en) * | 2012-02-29 | 2013-09-12 | Nagoya Univ | System and method for viewing multi-viewpoint video stream |
| WO2015049810A1 (en) * | 2013-10-01 | 2015-04-09 | 株式会社電通 | Multi-viewpoint moving image layout system |
| US20160191997A1 (en) * | 2014-12-30 | 2016-06-30 | Spotify Ab | Method and an electronic device for browsing video content |
-
2017
- 2017-08-07 JP JP2017152742A patent/JP6987567B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007282276A (en) * | 1995-02-06 | 2007-10-25 | Sony Corp | Method and device for reception, and method and system for broadcast |
| JP2007329847A (en) * | 2006-06-09 | 2007-12-20 | Sony Corp | Receiver and its program selection method |
| JP2009049467A (en) * | 2007-08-13 | 2009-03-05 | Sharp Corp | Program selection device, control method for program selection device, program, and recording medium |
| JP2010103773A (en) * | 2008-10-23 | 2010-05-06 | Victor Co Of Japan Ltd | Video image round monitoring system |
| JP2013183209A (en) * | 2012-02-29 | 2013-09-12 | Nagoya Univ | System and method for viewing multi-viewpoint video stream |
| WO2015049810A1 (en) * | 2013-10-01 | 2015-04-09 | 株式会社電通 | Multi-viewpoint moving image layout system |
| US20160191997A1 (en) * | 2014-12-30 | 2016-06-30 | Spotify Ab | Method and an electronic device for browsing video content |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021002811A (en) * | 2019-06-24 | 2021-01-07 | Ｎｔｔテクノクロス株式会社 | Distribution server, distributing method and program |
| JP2022009636A (en) * | 2019-06-24 | 2022-01-14 | Ｎｔｔテクノクロス株式会社 | Distribution server, distribution method, and program |
| JP7319340B2 (en) | 2019-06-24 | 2023-08-01 | Ｎｔｔテクノクロス株式会社 | Distribution server, distribution method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6987567B2 (en) | 2022-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10187668B2 (en) | Method, system and server for live streaming audio-video file | |
| CN106068495B (en) | Streaming multiple encodings encoded using different encoding parameters | |
| TWI596933B (en) | Codec techniques for fast switching | |
| JP6562992B2 (en) | Trick playback in digital video streaming | |
| US9756369B2 (en) | Method and apparatus for streaming media data segments of different lengths wherein the segment of different length comprising data not belonging to the actual segment and beginning with key frames or containing key frames only | |
| KR101987503B1 (en) | Content transmitting device, content transmitting method, content reproduction device, content reproduction method, program, and content delivery system | |
| JP2013255210A (en) | Video display method, video display device and video display program | |
| EP3748983B1 (en) | Video playback method, terminal apparatus, and storage medium | |
| CN107534797B (en) | Method and system for enhancing media recording | |
| JP5915604B2 (en) | Information processing apparatus, program, and information processing method | |
| EP3371978B1 (en) | Contiguous streaming of media stream | |
| CN114189696B (en) | Video playing method and device | |
| JP6987567B2 (en) | Distribution device, receiver and program | |
| US20240146863A1 (en) | Information processing device, information processing program, and recording medium | |
| JP2014176017A (en) | Image reproduction apparatus, image distribution apparatus, image reproduction method, and image distribution method | |
| JP2012222399A (en) | Video playback system, video playback method, and video playback device and program | |
| US20160173788A1 (en) | Systems and methods to achieve interactive special effects | |
| JP7365212B2 (en) | Video playback device, video playback system, and video playback method | |
| JP5850012B2 (en) | Information processing apparatus, program, and communication system | |
| JP6647131B2 (en) | Distribution device and program | |
| JP7319340B2 (en) | Distribution server, distribution method and program | |
| KR101242478B1 (en) | Real time personal broadcasting system using media jockey based on multi-angle | |
| JP6970143B2 (en) | Distribution server, distribution method and program | |
| JP6548538B2 (en) | Image delivery system and server | |
| KR102374484B1 (en) | A method and an apparatus for streaming media data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20170817 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211201 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6987567 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |