JP2019114926A - Video processing apparatus, video processing method, and program - Google Patents
Video processing apparatus, video processing method, and program Download PDFInfo
- Publication number
- JP2019114926A JP2019114926A JP2017246967A JP2017246967A JP2019114926A JP 2019114926 A JP2019114926 A JP 2019114926A JP 2017246967 A JP2017246967 A JP 2017246967A JP 2017246967 A JP2017246967 A JP 2017246967A JP 2019114926 A JP2019114926 A JP 2019114926A
- Authority
- JP
- Japan
- Prior art keywords
- segment
- frame
- video
- video frame
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像データを複数ファイル化する技術に関する。 The present invention relates to a technology for converting video data into a plurality of files.
近年、映像ストリームをセグメント時間（ｓｅｇｍｅｎｔ ｄｕｒａｔｉｏｎ）単位のセグメントに分割して配信を行う、アダプティブストリーミング技術を用いたシステムが普及している。アダプティブストリーミング技術の代表的な例としては、下記の第１の技術と第２の技術が知られている。第１の技術は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）によって規格化されたＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）である。第２の技術は、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）である。 In recent years, systems using adaptive streaming technology for distributing a video stream into segments in units of segment durations have become widespread. The following first and second techniques are known as representative examples of the adaptive streaming technique. The first technology is Dynamic Adaptive Streaming over HTTP (DASH) standardized by the Moving Picture Experts Group (MPEG). The second technology is HLS (HTTP Live Streaming).
ＤＡＳＨ配信の場合、先ずクライアント装置は、配信サーバが配信可能なセグメントの系列の情報であるＲｅｐｒｅｓｅｎｔａｔｉｏｎが記載されたＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルを取得する。次にクライアント装置は、ＭＰＤに記載されたＲｅｐｒｅｓｅｎｔａｔｉｏｎの中から、クライアント装置の表示性能や通信状況に応じた適切なＲｅｐｒｅｓｅｎｔａｔｉｏｎを選択する。そして、クライアント装置は、ＭＰＤの記載に従って、ＭＰＥＧ２−ＴＳ又はＭＰ４の映像フォーマットをセグメント単位でダウンロードして再生する。 In the case of DASH delivery, the client apparatus first acquires an MPD (Media Presentation Description) file in which Representation, which is information on a series of segments that can be delivered by the delivery server, is described. Next, the client device selects, from among Representations described in the MPD, an appropriate Representation according to the display performance and communication status of the client device. Then, the client device downloads and reproduces the MPEG2-TS or MP4 video format in units of segments according to the description of the MPD.
一般にＭＰＤ内の一つのＲｅｐｒｅｓｅｎｔａｔｉｏｎに対し特定のセグメント時間が記載される。クライアント装置は、そのＲｅｐｒｅｓｅｎｔａｔｉｏｎのセグメント時間からセグメントの生成が完了するタイミングを予測し、各セグメントのダウンロードを要求する。ここで、例えばネットワークカメラのように、撮像装置と配信サーバを備える構成を用いてＤＡＳＨ配信をライブ形式（ＤＡＳＨライブ配信）で行う際、処理負荷の増大等によりセグメントが含むべき映像フレームが一部生成されない（欠落する）ことがある。この場合、映像フレームが欠落することで、セグメントを生成できなくなる場合が生じ得る。 Generally, a specific segment time is described for one Representation in the MPD. The client device predicts the completion of generation of segments from the segment time of the Representation, and requests download of each segment. Here, when DASH distribution is performed in a live format (DASH live distribution) using a configuration including an imaging device and a distribution server, for example, as in a network camera, part of video frames that the segment should include due to increased processing load etc. It may not be generated (missed). In this case, missing video frames may make it impossible to generate segments.
一方、特許文献１には、映像フレームが欠落したことを検知した場合に撮像装置が独立フレームを生成する方法が開示されている。また、特許文献２には、欠落したセグメントの映像フレームを予め用意したデフォルトデータで置換する方法が開示されている。さらに特許文献３には、クライアント装置が、基準の時刻に対し映像フレームの再生が遅れている場合には映像フレームの再生をスキップし、進んでいる場合には映像フレームの再生を繰り返す方法が開示されている。
On the other hand,
しかし、上述の特許文献１〜特許文献３に開示された従来技術では、セグメントの生成が完了していないタイミングで、クライアント装置が各セグメントのダウンロードを要求することとなってしまう。例えば特許文献１の技術の場合、映像フレームが欠落してから独立フレームが生成されるまでの時間分だけ、セグメントの生成完了が遅延する。このため、クライアント装置は、当該セグメントの生成完了までダウンロード要求を繰り返し行い、その都度、エラー通知を受信することになる。また、特許文献２の技術の場合、映像フレームが欠落した分だけデフォルトデータを置換するため、その分、セグメントのデータ量が増大することになる。また、特許文献３の技術の場合、クライアント装置が基準の時刻に応じてフレームの再生時間を調整するため、セグメントを受信後、フレームの再生時間を再設定する特別な機能をクライアント装置に組み込む必要がある。
However, in the prior art disclosed in
そこで、本発明は、一般的な再生装置によって再生可能なセグメントを、データ量を抑えながら、セグメント時間通りに生成可能にすることを目的とする。 Therefore, an object of the present invention is to make it possible to generate a segment reproducible by a general reproduction device according to the segment time while suppressing the amount of data.
本発明の映像処理装置は、フレーム内符号化処理またはフレーム間符号化処理によって符号化した映像フレームを生成する処理手段と、前記処理手段で生成された少なくとも一つの映像フレームを含む映像ストリームを所定のセグメント時間で分割したセグメントを生成する生成手段と、を有し、前記生成手段は、前記処理手段で符号化が行われず映像フレームが生成されなかった場合、前記セグメントの中のどの映像フレームが生成されなかったかに応じて、ダミーフレームを前記セグメントに付加するかどうかを決定し、前記生成されなかった映像フレーム以外の映像フレームの表示時間を変更することにより前記所定のセグメント時間の前記セグメントを生成することを特徴とする。 A video processing apparatus according to the present invention includes processing means for generating a video frame encoded by intraframe coding processing or interframe coding processing, and a video stream including at least one video frame generated by the processing means. And generating means for generating a segment divided by the segment time, and the generation means generates an image frame when the encoding means is not performed by the processing means and an image frame is not generated. Depending on whether it has not been generated, it is determined whether a dummy frame is added to the segment, and the display time of the predetermined segment time is changed by changing the display time of the video frame other than the generated video frame. It is characterized by generating.
本発明によれば、一般的な再生装置によって再生可能なセグメントを、データ量を抑えながら、セグメント時間通りに生成可能となる。 According to the present invention, a segment that can be played back by a general playback device can be generated on a segment time basis while reducing the amount of data.
以下、添付図面を参照して本発明の実施形態について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態に係る映像処理システムの構成例を示す図である。
本実施形態の映像処理システムは、映像処理装置１０１と、クライアント装置１０２と、ネットワーク１０３とを有する。
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
First Embodiment
FIG. 1 is a view showing an example of the arrangement of a video processing system according to the first embodiment of the present invention.
The video processing system of this embodiment includes a
ネットワーク１０３は、ＬＡＮ等のＩＰネットワークである。映像処理装置１０１とクライアント装置１０２は、ネットワーク１０３を介して、相互に接続され、相互に通信可能となされている。ネットワーク１０３には、不図示の配信サーバ等も接続されている。ネットワーク１０３は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等を有する。また、ネットワーク１０３は、インターネットから無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）にまで適用可能である。ネットワーク１０３は、映像処理装置１０１及びクライアント装置１０２間の通信が行えるものであれば、その通信規格、規模、構成が限定されない。
The
映像処理装置１０１は、例えばネットワークカメラである。クライアント装置１０２は、映像処理装置１０１の外部機器である。映像処理装置１０１は、撮影した映像を、ネットワーク１０３を介して、配信サーバに送信したり、クライアント装置１０２に配信したりすることが可能となされている。本実施形態では、配信サーバを省略しており、映像処理装置１０１は、撮影した映像を、ネットワーク１０３を介してクライアント装置１０２に配信する例を挙げて説明する。クライアント装置１０２は、映像処理装置１０１に対して、各種リクエストコマンドを送信する。映像処理装置１０１は、それらのコマンドに対するレスポンスを、クライアント装置１０２に送信する。なお、図１では、説明の簡略化のために、映像処理装置１０１は１台としているが、２台以上であってもよい。また、クライアント装置１０２以外にも、映像処理装置１０１に接続するクライアント装置があってもよい。
The
図２は、本実施形態の映像処理装置１０１のハードウェア構成例を示す図である。
映像処理装置１０１は、ＣＰＵ２０１、一次記憶装置２０２、二次記憶装置２０３、画像キャプチャＩ／Ｆ２０６、ネットワークＩ／Ｆ２０７を有し、それらが内部バス２０４を介して相互に接続されている。また映像処理装置１０１は、撮像素子２０５をも有している。
FIG. 2 is a diagram showing an example of the hardware configuration of the
The
二次記憶装置２０３は、例えばフラッシュメモリ、ＨＤＤ、ＳＤカード等を備えた不揮発性記憶装置であり、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用され、また短期的な各種データの記憶領域としても使用される。一次記憶装置２０２は、ＲＡＭ等の書き込み可能な高速の記憶装置であり、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域として使用される。ＣＰＵ２０１は、二次記憶装置２０３に記憶されているプログラムを一次記憶装置２０２に展開して実行することにより、映像処理装置１０１における各種処理や制御を実行する。
The
撮像素子２０５は、ＣＣＤセンサやＣＭＯＳセンサであり、所定の時間間隔ごとに光電変換を行って動画の映像データを生成する。画像キャプチャＩ／Ｆ２０６は、撮像素子２０５に接続され、撮像素子２０５が所定の時間間隔ごとに取得した映像データを、一次記憶装置２０２に動画の映像フレームとして転送する。
The
ネットワークＩ／Ｆ２０７は、ネットワーク１０３に接続するためのインタフェースである。映像処理装置１０１は、ネットワークＩ／Ｆ２０７により、ネットワーク１０３を介してクライアント装置１０２と通信可能であり、例えばクライアント装置１０２から映像配信の要求等がなされた場合にクライアント装置１０２との間の通信を担う。
The network I /
図３は、本実施形態に係る映像処理装置１０１の機能構成例を示す図である。
映像処理装置１０１は、一時記憶部３０１、撮像処理部３０２、符号化処理部３０３、欠落期間検出部３０４、セグメント生成部３０５及び配信部３０６を有する。
一時記憶部３０１は、一次記憶装置２０２に対応する。撮像処理部３０２、符号化処理部３０３、欠落期間検出部３０４、セグメント生成部３０５及び配信部３０６は、ＣＰＵ２０１がプログラムを実行することにより機能する処理部である。
撮像処理部３０２は、撮像素子２０５により撮像された映像データを画像キャプチャＩ／Ｆ２０６経由で取得し、符号化処理部３０３に送信する。
FIG. 3 is a diagram showing an example of a functional configuration of the
The
The
符号化処理部３０３は、撮像処理部３０２からの映像データを受信し、予め指定された所定の符号化方式及びフレーム間予測符号化設定に従って符号化及び圧縮し、一定のフレーム周期で映像フレームを連続して生成、つまり動画の映像フレームを生成する。先ず符号化処理部３０３は、映像ストリームの開始要求を受け付けると、例えばＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）やＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などの映像再生に必要な映像メタ情報を生成する。また同時に、符号化処理部３０３は、セグメント生成部３０５に対し、映像メタ情報の生成通知を行う。次に、符号化処理部３０３は、各映像フレームを生成すると共に、セグメント生成部３０５に対し、映像フレームの生成通知を行う。本実施形態の場合、映像フレームの生成通知には、符号化された映像情報と、所定のフレーム周期ごとに所定の増分ずつ増加するフレーム番号と、映像フレームが後述する独立フレームなのか従属フレームなのかを表す識別情報とが含まれる。また、本実施形態において、フレーム番号は後述する映像フレームの欠落を判定するための情報としても使用され、識別情報は映像フレームが独立フレームなのか従属フレームなのか識別するための情報としても使用される。そして、符号化処理部３０３は、生成した映像メタ情報及び映像フレームを一時記憶部３０１に保存する。
The
符号化処理部３０３は、映像フレームとして、独立フレーム又は従属フレームを生成する。独立フレームは、フレーム内符号化処理によって生成され、復号時に他の映像フレームの情報を必要としない映像フレームであり、いわゆるＩフレームと呼ばれている。従属フレームは、フレーム間符号化処理によって生成され、他の映像フレームとの差分情報から構成される映像フレームであり、いわゆるＰフレーム又はＢフレームと呼ばれている。符号化処理部３０３に指定する符号化方式としては、例えばＨ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣを用いることができる。ただし、符号化方式はこれらに限らず、他の種々の符号化方式でもよく、動画の映像フレームを生成可能なものであればよい。また、符号化処理部３０３は、複数の符号化方式の中から符号化方式を選択して符号化を行ってもよい。符号化処理部３０３に指定するフレーム間予測符号化設定には、動画として連続して生成する映像フレームを独立フレーム又は従属フレームで構成する映像フレーム構成方式が含まれる。映像フレーム構成方式としては、例えば一定のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｕｔｕｒｅ）周期ごとに独立フレームを一つ生成し、ＧＯＰ周期内のその他の映像フレームを従属フレームとして生成する方式を用いることができる。また、映像フレーム構成方式は、一定のＧＯＰ周期を用いず所定の条件を満たした場合に独立フレームを生成し、所定の条件を満たしていない場合に従属フレームを生成する方式であってもよい。なお、所定の条件を満たした場合とは、例えば従属フレームのデータサイズが所定の閾値より大きくなった場合等を挙げることができる。なお、映像フレーム構成方式はこれらの例に限られるものではない。
The
また、符号化処理部３０３は、処理負荷の増大等によって映像フレームが生成されず欠落（以下、フレーム落ちとする。）した場合、先ず、欠落フレームを表す情報（以下、欠落フレーム情報とする。）を生成して欠落期間検出部３０４に通知する。欠落フレーム情報には、生成できなかった映像フレームのフレーム番号が欠落フレーム番号として含まれるものとする。次に、符号化処理部３０３では、フレーム落ちの直後に生成する映像フレームが独立フレームとなるように自身に設定する。なお、符号化処理部３０３は、欠落期間検出部３０４等の他の処理部からの要求に基づきフレーム落ちの直後に生成する映像フレームが独立フレームとなるように設定するものとしてもよい。
Further, when a video frame is not generated due to an increase in processing load or the like, and the video frame is dropped (hereinafter, referred to as a frame drop), first, information representing the dropped frame (hereinafter referred to as dropped frame information). ) Is notified to the dropout
また、符号化処理部３０３は、後述する欠落期間検出部３０４からのダミーフレームの生成要求を受信すると、ダミーフレームを生成して一時記憶部３０１に保存し、さらにダミーフレーム情報を生成して一時記憶部３０１に保存する。ここで、ダミーフレームは、参照先の映像フレームデータと差分がないことを示す映像フレームデータである。ダミーフレームの詳細については後述する。また、ダミーフレーム情報は、一時記憶部３０１に保存されたダミーフレームを示す情報であり、例えばファイルとして保存されたダミーフレームのパスである。
Also, when receiving a dummy frame generation request from the dropout
欠落期間検出部３０４は、符号化処理部３０３から欠落フレーム情報の生成通知を受信すると、各セグメントにおいてフレームが欠落した期間に対応するセグメント内欠落期間を検出する。そして、欠落期間検出部３０４は、そのセグメント内欠落期間を示すセグメント内欠落期間情報を更新し、一時記憶部３０１に保存すると同時にセグメント生成部３０５にも通知する。本実施形態では、セグメントが含むべき映像フレームのフレーム番号を小さい順に要素とする配列を、セグメント内フレーム番号配列とする。しかして、セグメント内欠落期間が存在する各セグメントについて、セグメント内フレーム番号配列における欠落フレーム番号のインデクスを小さい順に要素とする配列を、各セグメントのセグメント内欠落期間情報とすることができる。
When receiving the generation notification of the missing frame information from the
一方で、欠落期間検出部３０４は、セグメント内欠落期間が存在する各セグメントについて、セグメント内欠落期間がセグメント内先頭フレームの期間を含む場合には符号化処理部３０３に対しダミーフレームの生成を要求する。セグメント内先頭フレームは、セグメントに含まれるべき映像フレームのうち時系列で最初の映像フレームを指すものとする。なお、ダミーフレームは、符号化処理部３０３に対し生成要求が行われなくとも符号化処理部３０３が予め生成して、一時記憶部３０１に保存されていてもよい。また、符号化処理部３０３に対し生成要求を行わず欠落期間検出部３０４自身がダミーフレームを生成することとしてもよい。
On the other hand, for each segment for which there is an intra-segment loss period, the loss
セグメント生成部３０５は、符号化処理部３０３が一時記憶部３０１に保存した映像メタ情報と映像フレームのデータにヘッダデータを付加して、それぞれ初期化セグメントとセグメントとを生成する。セグメントは、符号化処理部３０３で生成された少なくとも一つの映像フレームデータを含む映像ストリームを所定のセグメント時間で分割したものである。また、セグメント生成部３０５は、初期化セグメントとセグメントの生成時に、初期化セグメント情報とセグメント情報をそれぞれ生成して、配信部３０６に通知する。初期化セグメント情報は、一時記憶部３０１に保存された初期化セグメントを示す情報であり、例えばファイルとして保存された初期化セグメントのパスである。セグメント情報は、一時記憶部３０１に保存されたセグメントを示す情報であり、例えばファイルとして保存されたセグメントのパスである。セグメントのパスは、例えばセグメントを生成した順にインクリメントする番号を含むテキスト情報を含む。セグメント生成部３０５は、配信部３０６が初期化セグメント情報及びセグメント情報を解放するまで、一時記憶部３０１の映像メタ情報及び映像フレームをそれぞれ保持する。
The
また、セグメント生成部３０５は、符号化処理部３０３で符号化が行われずに映像フレームの生成がスキップされた場合に、セグメントの中のどの映像フレームの生成がスキップされたかに応じて、ダミーフレームをセグメントに付加するかどうかを決定する。そして、セグメント生成部３０５は、そのスキップされた映像フレーム以外の映像フレームの表示時間（映像フレームが再生される際の再生時間）を変更することにより、所定のセグメント時間のセグメントを生成する。
In addition, when the
配信部３０６は、先ず、映像処理装置１０１が配信できる映像ストリーム情報が記載されているプレイリストを配信する。そして、配信部３０６は、セグメント生成部３０５が生成した初期化セグメント及びセグメントを、クライアント装置１０２からのリクエストに応じてクライアント装置１０２に配信する。配信部３０６は、初期化セグメント又はセグメントの配信が終了した後に、セグメント生成部３０５に対し初期化セグメント又はセグメントの解放を指示する。プレイリストの一例としては、ＩＳＯ／ＩＥＣ ２３００９−１にて定義されるＭＰＤファイルが用いられる。ただし、プレイリストの形式はこれに限られるものではない。本実施形態では、配信部３０６が、クライアント装置１０２からの配信要求を受信してから初期化セグメント又はセグメントを配信する例を説明したが、これに限定されるものではない。例えば、ＨＴＴＰ／２やＷｅｂｓｏｃｋｅｔなどのプロトコルによっては要求を受信しなくても映像メタ情報及び映像フレームを生成し、配信部３０６は、それぞれ初期化セグメント及びセグメントが完成した時点で次々と配信してもよい。
The
図４（ａ）と図４（ｂ）は、符号化処理部３０３が連続して生成する映像フレームと、セグメント生成部３０５が生成する各セグメントとの関係を示す図である。
符号化処理部３０３は、前述したように連続して映像フレームを生成することで、図４（ａ）に一例として示す映像ストリーム４５０を形成する。また、符号化処理部３０３は、セグメント生成部３０５に対する映像フレームの生成通知、又は、欠落期間検出部３０４に対する欠落フレーム情報の生成通知のいずれか一方を、映像ストリーム４５０のフレーム周期である１／２５［秒］ごとに行う。ここで、符号化処理部３０３が最初に生成する映像フレームのフレーム番号は０であり、その後、フレーム番号はフレーム周期の１／２５［秒］ごとに１ずつ増加するものとする。
FIGS. 4A and 4B are diagrams showing the relationship between the video frame continuously generated by the
As described above, the
映像ストリーム４５０の映像フレームの符号化方式は、Ｈ．２６４／ＡＶＣ Ｍａｉｎプロファイル レベル３．１であり、映像フレームの解像度（幅×高さ）は２５６×１４４［ピクセル］であるとする。映像ストリーム４５０の映像フレーム構成方式は、映像ストリーム４５０のＧＯＰ周期である３／２５秒に対応する３枚ごとに、独立フレームを一つ生成し、ＧＯＰ周期内の他の映像フレームを従属フレームとして生成するＧＯＰ単位方式を用いることとする。
The coding method of the video frame of the
セグメント生成部３０５は、映像メタ情報と映像フレームのデータにヘッダデータを付加しそれぞれ初期化セグメントとセグメントを生成する。セグメントについては、映像フレームにヘッダを付加してセグメントの映像の再生時間（セグメント時間）が３／２５秒となるセグメントを生成する。
The
初期化セグメントとセグメントデータの内部構造の一例として、ＩＳＯＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）を、ＩＳＯ／ＩＥＣ １４４９６−１５に基づき拡張した構造を用いる。ＩＳＯＢＭＦＦは、ＩＳＯ／ＩＥＣ １４４９６−１２で定義される汎用ファイル構造である。 As an example of the internal structure of the initialization segment and segment data, a structure obtained by expanding ISO Base Media File Format (ISOBMFF) based on ISO / IEC 14496-15 is used. ISOBMFF is a general purpose file structure defined by ISO / IEC 14496-12.
図４（ａ）は、フレーム落ちが発生しない場合の、符号化処理部３０３が連続して生成する映像フレームと、セグメント生成部３０５が生成する各セグメントとの関係を示す図である。
符号化処理部３０３は、先ず映像ストリーム４５０の開始要求を受け付けると、ＳＰＳ及びＰＰＳを含む映像メタ情報４０１を生成すると同時にセグメント生成部３０５に生成通知を行う。次に、符号化処理部３０３は、映像フレーム４１１〜４１９を連続して生成し、またそれぞれ生成と同時にセグメント生成部３０５に生成通知を行う。図４（ａ）において、映像ストリーム４５０の映像フレーム構成方式により、映像フレーム４１１，４１４，４１７は独立フレームとなり、それ以外の映像フレーム４１２，４１３，４１５，４１６，４１８，４１９は従属フレームとなる。符号化処理部３０３は、映像フレーム４１９を生成した後も映像フレームの生成を続け、各セグメントの映像フレームを生成すると同時にセグメント生成部３０５に生成通知を行う。
FIG. 4A is a diagram showing the relationship between a video frame continuously generated by the
First, when receiving the start request of the
セグメント生成部３０５は、先ず符号化処理部３０３から映像メタ情報４０１の生成通知を受信して、映像メタ情報４０１を含む初期化セグメント４００を生成する。その後、セグメント生成部３０５は、各セグメントが含むべき全ての映像フレームの生成通知を符号化処理部３０３から受信した時点で、ヘッダと映像フレームのデータを結合して、各セグメント４２０，４３０，４４０を生成する。図４（ａ）の場合、セグメント生成部３０５は、フレーム落ちが発生しない場合のセグメント内の映像フレームの数を、セグメントフレーム数として下記の計算式により導出し、その数の映像フレームを含むセグメントを生成する。
The
（セグメントフレーム数）＝（セグメント時間）／（映像ストリーム４５０のフレーム周期）＝３／２５［秒］／（１／２５［秒］）＝３ (Number of segment frames) = (segment time) / (frame period of video stream 450) = 3/25 [seconds] / (1/25 [seconds) = 3
また、セグメント生成部３０５は、セグメント４２０，４３０，４４０のヘッダには各映像フレームの再生時間が１／２５［秒］となるよう設定する。そして、セグメント生成部３０５は、初期化セグメント４００又はセグメント４２０，４３０，４４０を生成すると配信部３０６に通知する。図４（ａ）では、セグメント４２０は映像フレーム４１１，４１２，４１３を含み、セグメント４３０は映像フレーム４１４，４１５，４１６を、セグメント４４０は映像フレーム４１７，４１８，４１９を含んでいる。
In addition, the
図４（ｂ）は、フレーム落ちが発生する場合の、符号化処理部３０３が連続して生成する映像フレームと、セグメント生成部３０５が生成する各セグメントとの関係を示す図である。
符号化処理部３０３は、先ず映像ストリーム４５０の開始要求を受け付けると、ＳＰＳ及びＰＰＳを含む映像メタ情報５０１を生成すると同時にセグメント生成部３０５に生成通知を行う。その後、符号化処理部３０３は、映像フレーム５１１，５１２を連続して生成しセグメント生成部３０５に生成通知を行う。
FIG. 4B is a diagram showing a relationship between a video frame continuously generated by the
First, when receiving the start request of the
続いてフレーム落ちが発生する場合の説明を行う。すなわち図４（ｂ）では、映像フレーム５１２の後にフレーム落ちが発生する例を示している。
符号化処理部３０３は、フレーム落ちが発生する場合に欠落フレーム情報５１３を生成すると同時に欠落期間検出部３０４に生成通知を行う。また、符号化処理部３０３は、フレーム落ちが発生すると同時に、次に生成する映像フレームを独立フレームとするよう自身に設定する。次に、符号化処理部３０３は、次の独立フレームである映像フレーム５１６を生成するまで、フレーム周期が経過するごとに、欠落フレーム情報５１４，５１５を生成すると同時に欠落期間検出部３０４に通知を行う。そして、符号化処理部３０３は、次の独立フレームである映像フレーム５１６を生成すると、その後は映像フレーム５１７，５１８，５１９を連続して生成すると同時にセグメント生成部３０５に生成通知を行う。
Next, the case where a frame drop occurs will be described. That is, FIG. 4B shows an example in which a frame drop occurs after the
The
映像ストリーム４５０の映像フレーム構成方式は、フレーム落ちが発生する前はフレーム落ちが発生しない場合と同様であり、フレーム落ちが発生した後はフレーム落ちが発生した直後に生成する映像フレームから再適用されることとする。すなわち、図４（ｂ）の例の場合、映像フレーム５１１，５１６，５１９が独立フレームとなり、それ以外の映像フレームは従属フレームとなる。符号化処理部３０３は、映像フレーム５１９を生成した後も映像フレームの生成を続け、各セグメントの映像フレームを生成すると同時にセグメント生成部３０５に生成通知を行う。
The video frame configuration method of the
欠落期間検出部３０４は、符号化処理部３０３からの欠落フレーム情報５１３，５１４，５１５の生成通知を受信すると、セグメント５２０，５３０それぞれのセグメント内欠落期間Ｔ５６１，Ｔ５６２を検出する。また、欠落期間検出部３０４は、セグメント内欠落期間Ｔ５６１，Ｔ５６２それぞれを検出すると同時にセグメント内欠落期間Ｔ５６１，Ｔ５６２を示すセグメント内欠落期間情報を一時記憶部３０１に保存しセグメント生成部３０５に通知する。
When receiving the generation notification of the
一方で、欠落期間検出部３０４は、セグメント内欠落期間がセグメント内先頭フレームの期間を含む場合にはダミーフレームの生成要求を行う。セグメント５２０のセグメント内欠落期間Ｔ５６１はセグメント内先頭フレームの期間Ｔ５６３を含まないため、欠落期間検出部３０４は、符号化処理部３０３に対しダミーフレームの生成を要求しない。これに対し、セグメント５３０のセグメント内欠落期間Ｔ５６２はセグメント内先頭フレームの期間Ｔ５６４を含む。このため、欠落期間検出部３０４は、符号化処理部３０３に対しダミーフレーム５５０の生成を要求し、セグメント生成部３０５に対しダミーフレーム５５０をセグメント５２０に含めることを指示する。
On the other hand, when the intra-segment dropout period includes the period of the intra-segment head frame, the dropout
セグメント生成部３０５は、先ず符号化処理部３０３から映像メタ情報５０１の生成通知を受信して映像メタ情報５０１を含む初期化セグメント５００を生成する。その後、セグメント生成部３０５は、映像フレーム５１１，５１２の生成通知を受信した後、欠落フレーム情報５１３の受信時点で、ヘッダに映像フレーム５１１，５１２の再生時間をそれぞれ１／２５［秒］、２／２５［秒］と設定したセグメント５２０を生成する。その後、セグメント生成部３０５は、ダミーフレーム５５０の生成通知を受信した後、映像フレーム５１６の生成通知を受信した時点で、セグメント５２０を生成する。この時のセグメント生成部３０５は、ヘッダに、ダミーフレーム５５０の再生時間を２／２５［秒］、映像フレーム５１６の再生時間を１／２５［秒］と設定したセグメント５２０を生成する。その後、セグメント生成部３０５は、映像フレーム５１７，５１８，５１９の生成通知を符号化処理部３０３から全て受信した時点で、ヘッダを映像フレームのデータに付加して、セグメント５４０を生成する。この時のセグメント生成部３０５は、セグメント５４０のヘッダには、映像フレーム５１７，５１８，５１９の再生時間がそれぞれ１／２５［秒］となるよう設定する。
The
図５は、セグメント生成部３０５が生成するセグメント４２０のデータの内部構成を示す図である。
セグメント４２０は、ボックス４７１，４７２，４７３，４７４で構成される。セグメント４２０は、一種のファイルヘッダとして作用するｓｔｙｐボックス４７１、セグメントに関する時間情報やランダムアクセス情報を含むｓｉｄｘボックス４７２、及びフラグメント４２１からなる。
FIG. 5 is a diagram showing an internal configuration of data of the
The
フラグメント４２１は、フラグメントの各種情報を含むｍｏｏｆボックス４７３、及び映像フレーム４１１，４１２，４１３のデータを含むｍｄａｔボックス４７４から成る。ｍｏｏｆボックス４７３は、フラグメントごとに増加する順序番号を含むｍｆｈｄボックス４８１、及びｔｒａｆボックス４８２から成る。ｔｒａｆボックス４８２は、ｔｆｈｄボックス４９１、ｔｆｄｔボックス４９２、ｔｒｕｎボックス４９３からなる。ｔｆｈｄボックス４９１はフラグメントの各種デフォルト情報を含むボックスであり、ｔｆｄｔボックス４９２はフラグメントの先頭の映像フレーム４１１の各映像フレームのデコード開始時間を含むボックスである。ｔｒｕｎボックス４９３は、フラグメント４２１に含まれる映像フレーム４１１，４１２，４１３の各種情報を含むボックスである。
The
以下、ｔｒｕｎボックス４９３の各種情報がどのようにデータとして含まれるかを説明する。
ｖｅｒｓｉｏｎでは、ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔがデータとしてｔｒｕｎボックス４９３に含まれる場合、ｕｎｓｉｇｎｅｄ ｉｎｔかｓｉｇｎｅｄ ｉｎｔかに応じた値がセットされる。例えば、ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔのデータ型を３２ｂｉｔのｕｎｓｉｇｎｅｄ ｉｎｔとする場合には、ビット０ｘ００００００００の値がセットされる。また例えば、ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔのデータ型を３２ｂｉｔのｓｉｇｎｅｄ ｉｎｔとする場合には、それ以外の値がセットされる。本実施形態において、映像フレームの再生時に、時系列的に前の映像フレームを再生することはないため、ｖｅｒｓｉｏｎにはビット０ｘ００００００００をセットする。
Hereinafter, how various information in the
In version, when sample_composition_time_offset is included in the
ｔｒ＿ｆｌａｇｓではｔｒｕｎボックス４９３がデータとして含む各種情報を指定する。本実施形態において、ｔｒｕｎボックス４９３は、ｄａｔａ＿ｏｆｆｓｅｔ、ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎ、ｓａｍｐｌｅ＿ｓｉｚｅ、ｓａｍｐｌｅ＿ｆｌａｇｓ、ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔを含む。このため、ｔｒ＿ｆｌａｇｓにはビット０ｘ０００００Ｆ０１をセットする。
In tr_flags, various items of information that the
ｓａｍｐｌｅ＿ｃｏｕｎｔには、フラグメント４２１に含まれる映像フレームの数３を示すビット０ｘ０００００００３をセットする。
ｄａｔａ＿ｏｆｆｓｅｔには、フラグメント４２１の先頭バイトからフラグメントの先頭の映像フレーム４１１の先頭バイトまでのオフセットのバイト値をセットする。
In sample_count, bit 0x00000003 indicating the number 3 of video frames included in the
As data_offset, a byte value of an offset from the first byte of the
以降は、ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎからｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔまでをｓａｍｐｌｅ＿ｃｏｕｎｔ数分要素に持つ映像フレームパラメータ配列のバイトがセットされる。ｓａｍｐｌｅ＿ｃｏｕｎｔ数の要素には、ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎ、ｓａｍｐｌｅ＿ｓｉｚｅ、ｓａｍｐｌｅ＿ｆｌａｇｓ、ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔが含まれる。映像フレームパラメータ配列の要素の各種情報は、その要素の映像フレームパラメータ配列におけるインデクス番目（時系列）の、フラグメント４２１に含まれる映像フレームの情報を示すこととする。 Thereafter, the bytes of the video frame parameter array having elements from sample_duration to sample_composition_time_offset in the number of sample_count are set. The elements of sample_count number include sample_duration, sample_size, sample_flags, and sample_composition_time_offset. The various pieces of information of the elements of the video frame parameter array indicate the information of the video frames included in the fragment 421 (time series) in the video frame parameter array of the element.
ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎには、初期化セグメント４００のヘッダに含まれるｍｄｈｄボックスのＴｉｍｅｓｃａｌｅの値に映像フレームの再生継続時間の秒数を乗じた数のビットをセットする。例えば、初期化セグメント４００のヘッダに含まれるｍｄｈｄボックスのＴｉｍｅｓｃａｌｅの値を３０００００、映像フレームの再生継続時間の秒数をフレーム周期の秒数＝１／２５とする。また例えば、ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎには、３００００×（フレーム周期の秒数＝１／２５）＝１２００＝０ｘ０００００４Ｂ０をセットする。ここでは、映像フレームの再生継続時間をフレーム周期としたが、直後に付加されるべき映像フレームが付加されていない場合は、その時間分延長した時間を映像フレームの再生継続時間とすることとする。
In sample_duration, the number of bits obtained by multiplying the value of Timescale of the mdhd box included in the header of the
ｓａｍｐｌｅ＿ｓｉｚｅには、映像フレームのデータサイズ（バイト単位）を示すビットをセットする。例えば、映像フレームのデータが１００００バイトであれば、０ｘ００００２７１０をセットする。
ｓａｍｐｌｅ＿ｆｌａｇｓには、映像フレームが独立フレームである場合には０ｘ００００００００をセットし、映像フレームが従属フレームである場合には０ｘ０００１００００をセットする。
In sample_size, a bit indicating the data size (in bytes) of the video frame is set. For example, if the video frame data is 10000 bytes, 0x00002710 is set.
In the sample_flags, 0x00000000 is set when the video frame is an independent frame, and 0x00010000 is set when the video frame is a dependent frame.
ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔには、映像フレームの再生開始時間オフセットを示すビットをセットする。しかして、ｔｆｄｔボックス４９１に含まれる映像フレームのデコード開始時間を映像フレームの再生開始時間オフセット分遅らせた時間である映像フレームの再生開始時間から、映像フレームの再生は開始されることとなる。
In sample_composition_time_offset, a bit indicating a playback start time offset of the video frame is set. Thus, the reproduction of the video frame is started from the reproduction start time of the video frame, which is the time obtained by delaying the decoding start time of the video frame included in the
また、セグメントは一つのフラグメントを含むものとしたが複数のフラグメントを含んでいてもよい。
また、ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔをサポートしないクライアント装置で、映像の再生を行う場合には、以下のようにしてもよい。例えばｔｒ＿ｆｌａｇｓを０ｘ０００００７０１とし、ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔのビットをセットせず、映像フレームの再生継続時間をｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔ分長くセットする。
なお、セグメントの内部構造はこれらに限らず、映像フレームの再生開始時間と再生継続時間を含むことが可能であればよい。
Also, although the segment includes one fragment, it may include a plurality of fragments.
In addition, in the case of reproducing a video with a client device that does not support sample_composition_time_offset, the following may be performed. For example, tr_flags is set to 0x00000701, the bit of sample_composition_time_offset is not set, and the reproduction duration of the video frame is set longer by sample_composition_time_offset.
Note that the internal structure of the segment is not limited to these, as long as it can include the reproduction start time and the reproduction continuation time of the video frame.
以上がセグメント４２０の内部構造の説明である。セグメント生成部３０５が生成する映像ストリーム４５０の他のセグメント又は映像ストリーム４５０以外の映像ストリームのセグメントについても、符号化処理部３０３が生成したフレームを、セグメント時間及びフレーム周期に応じて同様にセグメント化できる。
The above is the description of the internal structure of the
図６は、本実施形態に係るダミーフレームの一例である、ダミーフレーム５５０を示す図である。
Ｈ．２６４／ＡＶＣの符号化方式において、映像フレームはさらに小さな単位の１以上のスライス、スライスはさらに小さな単位の画素ブロックである１以上のマクロブロックから構成される。ここで、映像ストリーム４５０の映像フレームの解像度は２５６×１４４［ピクセル］であり、マクロブロックの解像度は１６×１６［ピクセル］であるとする。符号化処理部３０３は、マクロブロックのデータを、水平方向１６［個］×垂直方向９［個］＝１４４［個］結合したスライス一つからなるデータを映像フレームとして用いることができる。しかして、符号化処理部３０３は、参照先の映像フレームデータの同位置のマクロブロックと差分がないことを示すスキップトマクロブロック５５１のデータを結合することにより、ダミーフレーム５５０を生成して用いることができる。なお、マクロブロックの大きさは１６×１６［ピクセル］に限らず、またマクロブロックの大きさは一つの映像フレーム内で固定であっても、可変であってもよい。ダミーフレームのデータは、スキップトマクロブロックを使用するものに限らず、参照先の映像フレームとの差分がないことを示すデータであればよい。
FIG. 6 is a view showing a
H. In the H.264 / AVC coding system, a video frame is composed of one or more slices in smaller units, and a slice is composed of one or more macroblocks which are pixel blocks in smaller units. Here, it is assumed that the resolution of the video frame of the
図７は、映像処理装置１０１がクライアント装置１０２に配信するＭＰＤファイル６００の構成例を示す図である。
ＭＰＤファイル６００は、ＸＭＬ形式であり、スキーマ情報６０１にて、ｘｍｌｎｓ属性で指定した名前空間及びｘｓｉ属性で指定したスキーマ文書において、ＭＰＤファイル６００の記述方法が定義される。
FIG. 7 is a view showing a configuration example of the MPD file 600 distributed by the
The
ＭＰＤファイル６００では、Ｐｅｒｉｏｄ６０３、ＡｄａｐｔａｔｉｏｎＳｅｔ６０４、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５、初期化セグメントＵＲＩ情報６１５及びセグメントＵＲＩ情報６１６の順に各要素が階層構造となされている。これら各要素の階層構造によって、符号化処理部３０３が形成する映像ストリーム４５０、及び、セグメント生成部３０５が生成する初期化セグメント、セグメントに関する情報が定義される。
In the
Ｐｅｒｉｏｄ６０３は、下位階層の要素が定義される期間の範囲を定義する。例えば、Ｐｅｒｉｏｄ６０３の開始時間ｓｔａｒｔに０をセットし、Ｐｅｒｉｏｄ６０３の期間であるｄｕｒａｔｉｏｎはセットしない場合、映像処理装置１０１が配信する初期化セグメント、セグメントの全ての情報の期間が定義される。
ＡｄａｐｔａｔｉｏｎＳｅｔ６０４は、映像の情報を示しており、例えば同じＰｅｒｉｏｄ６０３の期間で別の視点の映像ごとに定義することができる。本実施形態では、映像の視点を単一のものとし、一つのＡｄａｐｔａｔｉｏｎＳｅｔ６０４を例に挙げている。
The
Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５は、映像ストリーム４５０の情報を定義する。Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５は、符号化方式情報６０９、解像度情報６１０、フレームレート情報６１１、及び配信ビットレート情報６１２を含む。符号化方式情報６０９は、映像ストリーム４５０の符号化方式Ｈ．２６４／ＡＶＣ Ｍａｉｎプロファイル レベル３．１を示す。解像度情報６１０は、映像ストリーム４５０の映像フレームの解像度である２５６×１４４［ピクセル］を示す。フレームレート情報６１１は、フレーム周期の逆数であり映像の１秒当たりに生成される映像フレームの枚数２５を示す。配信ビットレート情報６１２は、映像ストリーム４５０の配信ビットレート値６５５３６［ｂｐｓ］を示す。また、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５は、下記のように、セグメントが区切られる時間の単位（セグメント時間）をセグメント時間情報６１４で示している。
The
（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５のセグメント時間）＝（セグメント時間情報６１４のｄｕｒａｔｉｏｎ）／（セグメント時間情報６１４のｔｉｍｅｓｃａｌｅ）＝３６０／３０００［秒］＝３／２５［秒］ (Segment time of Representation 605) = (duration of segment time information 614) / (timescale of segment time information 614) = 360/3000 [seconds] = 3/25 [seconds]
また、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５は、映像ストリーム４５０の初期化セグメントＵＲＩ情報６１５及びセグメントＵＲＩ情報６１６を含んでいる。クライアント装置１０２は、映像処理装置１０１のＩＰアドレスを含むＭＰＤＢａｓｅＵＲＩ情報６０２、映像ストリーム４５０の識別子を含むＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅＵＲＩ情報６１３を使用することで下記のＵＲＩにアクセスする。そして、クライアント装置１０２は、映像ストリーム４５０の初期セグメントと各セグメントの取得を行う。
Further, the
（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５の初期化セグメントＵＲＩ）＝（ＭＰＤＢａｓｅＵＲＩ情報６０２）＋（ＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅＵＲＩ情報６１３）＋（初期化セグメントＵＲＩ情報６１５）＝"ｈｔｔｐ：／／１９２．１６９．１００．１：８０／ｖｉｄｅｏ／ｓｔｒｅａｍ１／ｉｎｉｔ１．ｍｐ４"
(
（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５のセグメントＵＲＩ）＝（ＭＰＤＢａｓｅＵＲＩ情報６０２）＋（ＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅＵＲＩ情報６１３）＋（セグメントＵＲＩ情報６１６）＝"ｈｔｔｐ：／／１９２．１６９．１００．１：８０／ｖｉｄｅｏ／ｓｔｒｅａｍ１／ｍｅｄｉａ１＿＄Ｎｕｍｂｅｒ＄．ｍ４ｓ" (Segment URI of Representation 605) = (MPDBase URI Information 602) + (RepresentationBaseURI Information 613) + (Segment URI Information 616) = "http://192.169.100.1:80/video/stream1/media1_$Number$. m4s "
上記の式において、Ａ＋Ｂは、要素Ａの文字列の右側に要素Ｂの文字列を結合すること意味する。＄Ｎｕｍｂｅｒ＄は、テンプレート表現であり、セグメントＵＲＩ情報６１６のｓｔａｒｔＮｕｍｂｅｒの値からセグメント一つごとに評価値がインクリメントされていく。
In the above equation, A + B means to combine the element B string to the right of the element A string. $ Number $ is a template expression, and the evaluation value is incremented for each segment from the value of startNumber in the
実際の映像ストリーム４５０の各セグメントのＵＲＩは、"ｈｔｔｐ：／／１９２．１６９．１００．１：８０／ｖｉｄｅｏ／ｓｔｒｅａｍ１／ｍｅｄｉａ１＿１．ｍ４ｓ"である。また、"ｈｔｔｐ：／／１９２．１６９．１００．１：８０／ｖｉｄｅｏ／ｓｔｒｅａｍ１／ｍｅｄｉａ１＿２．ｍ４ｓ"である。また、"ｈｔｔｐ：／／１９２．１６９．１００．１：８０／ｖｉｄｅｏ／ｓｔｒｅａｍ１／ｍｅｄｉａ１＿３．ｍ４ｓ"等である。
The URI of each segment of the
他に、ＵＲＩのためのテンプレート表現として、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５のＲｅｐｒｅｓｅｎｔａｔｉｏｎＩＤ６０８として＄ＲｅｐｒｅｓｅｎｔａｔｉｏｎＩＤ＄を用いることができる。また、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５の配信ビットレート情報６１２の数値とし、＄ＢａｎｄＷｉｄｔｈ＄等を用いることができる。また、それらの組み合わせを用いることができる。
Alternatively, $ RepresentationID $ can be used as a
配信部３０６は、ＭＰＤファイル６００を、初期化セグメントと各セグメントを配信する前にクライアント装置１０２に配信する。これにより、クライアント装置１０２は、映像処理装置１０１に対し初期化セグメント又はセグメントの送信要求を行うことが可能となる。
The
クライアント装置１０２は、例えば送信要求をセグメント時間情報６１４に基づいたセグメント時間ごとにセグメントの送信要求を行い、所定の回数セグメントを取得することができないとセグメントの送信要求を行うことを中止する。そのため、セグメント生成部３０５は、あるセグメントを生成してからセグメント時間内に次のセグメントを生成するように処理を行うものとする。
For example, the
ここで本実施形態では、説明の容易化のため、映像ストリームを１本としたが、複数の映像ストリームを定義してもよい。ＭＰＤファイル６００には、複数のＲｅｐｒｅｓｅｎｔａｉｏｎを記述することが可能である。したがって、映像処理装置１０１は映像ストリーム４５０以外の映像ストリームを配信することも可能である。この場合、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ６０５が映像ストリーム４５０の情報を表現するのと同様に、さらにＲｅｐｒｅｓｅｎｔａｔｉｏｎを追加し映像ストリーム４５０以外のストリームついても各種の値を表現することとしてもよい。ＭＰＤファイル６００では、複数のＰｅｒｉｏｄ、Ａｄａｐｔａｔｉｏｎが定義可能であるため時間区間や映像構成によって種々の記述をしてもよい。例えば時間区間ごとに別々のＰｅｒｉｏｄを定義し、異なるＲｅｐｒｅｓｅｎｔａｉｏｎを定義してもよいし、複数のＲｅｐｒｅｓｅｎｔａｉｏｎを異なるＡｄａｐｔａｔｉｏｎＳｅｔにおいて定義してもよい。
Here, in the present embodiment, one video stream is provided for ease of explanation, but a plurality of video streams may be defined. The
図８は、欠落期間検出部３０４における処理の流れを示すフローチャートである。
なお、以下の説明では、図８のフローチャートの各ステップＳ１０１〜ステップＳ１０５をＳ１０１〜Ｓ１０５と略記する。このことは、後述する他のフローチャートにおいても同様とする。
FIG. 8 is a flowchart showing the flow of processing in the missing
In the following description, steps S101 to S105 in the flowchart of FIG. 8 are abbreviated as S101 to S105. The same applies to the other flowcharts described later.
欠落期間検出部３０４は、符号化処理部３０３からの欠落フレーム情報の生成通知の取得と同時に図８に示すフローチャートの処理を開始する。
先ずＳ１０１において、欠落期間検出部３０４は、符号化処理部３０３が生成した欠落フレーム情報から欠落フレーム番号を取得する。
The missing
First, in S101, the missing
次にＳ１０２において、欠落期間検出部３０４は、セグメント内先頭フレームが欠落したか否かの判定を行う。例えば、セグメント内先頭フレームの判定として、欠落期間検出部３０４は、Ｓ１０１で取得した欠落フレーム番号をセグメントフレーム数で割った余りが０に等しいかどうかの判定を行う。そして、欠落期間検出部３０４は、セグメント内先頭フレームが欠落したと判定した場合にはＳ１０３に処理を進め、セグメント内先頭フレームが欠落していないと判定した場合にはＳ１０５に処理を進める。
Next, in S102, the missing
Ｓ１０３に進むと、欠落期間検出部３０４は、符号化処理部３０３に対しダミーフレームの生成要求を行う。なお欠落期間検出部３０４は、セグメント内先頭フレームが欠落した場合、Ｓ１０３で符号化処理部３０３にダミーフレームの生成要求を行うが、ダミーフレームの生成要求はセグメント内の全ての映像フレームが欠落した場合等その他の条件で代用してもよい。
In step S103, the missing
次にＳ１０４において、欠落期間検出部３０４は、セグメントのダミーフレームフラグをＯＮとして一時記憶部３０１に保存する。
そして、Ｓ１０５に進むと、欠落期間検出部３０４は、セグメントのセグメント内欠落期間情報にセグメント内フレーム番号配列における欠落フレーム番号のインデクスを要素として追加し一時記憶部３０１に保存する。このＳ１０５の後、欠落期間検出部３０４は、図８のフローチャートの処理を終了する。
Next, in S104, the dropout
Then, in S105, the missing
図９は、セグメント生成部３０５における処理の流れを示すフローチャートである。
セグメント生成部３０５は、符号化処理部３０３において符号化処理が開始された直後に当該符号化処理部３０３から要求される生成通知を受けて、図９に示すフローチャートの処理を開始する。
FIG. 9 is a flowchart showing the flow of processing in the
The
先ずＳ２０１において、セグメント生成部３０５は、イベントの発生を待ち、発生イベントの判定により、処理動作を切り替える。セグメント生成部３０５は、発生イベントが、符号化処理部３０３からの映像メタ情報の生成イベントであると判定した場合には、Ｓ２０２に処理を進める。また、セグメント生成部３０５は、発生イベントが、符号化処理部３０３からの映像フレーム生成イベントであると判定した場合には、Ｓ２０７に処理を進める。また、セグメント生成部３０５は、発生イベントが、配信部３０６からのセグメント解放指示イベントであると判定した場合には、Ｓ２１２に処理を進める。また、セグメント生成部３０５は、発生イベントが、配信部３０６からの映像ストリームの終了要求イベントであると判定した場合には、Ｓ２１３に処理を進める。
First, in step S201, the
Ｓ２０２に進むと、セグメント生成部３０５は、映像メタ情報を保存する。
次にＳ２０３において、セグメント生成部３０５は、映像メタ情報を含む初期化セグメントを生成して配信部３０６に通知する。
次にＳ２０４において、セグメント生成部３０５は、映像ストリームの開始要求時に指定されたセグメント時間、セグメント内フレーム番号配列などのセグメントを構成するのに必要なセグメント構成情報を保存する。
次にＳ２０５において、セグメント生成部３０５は、自己の状態を独立フレーム待ちの状態に設定する。
次にＳ２０６において、セグメント生成部３０５は、生成する全てのセグメントのダミーフレームフラグをクリアとして初期化し一時記憶部３０１に保存する。その後、セグメント生成部３０５は、Ｓ２０１に処理を戻す。
In step S202, the
Next, in step S203, the
Next, in step S204, the
Next, in S205, the
Next, in step S206, the
Ｓ２０７に進むと、セグメント生成部３０５は、自己の状態を判定する。そして、セグメント生成部３０５は、自己の状態が独立フレーム待ちの状態であると判定した場合には、Ｓ２０８に処理を進め、自己の状態が次フレーム待ちの状態であると判定した場合には、Ｓ２１０に処理を進める。
At S207, the
Ｓ２０８に進むと、セグメント生成部３０５は、生成された映像フレームが独立フレームか否かを判定する。そして、セグメント生成部３０５は、映像フレームが独立フレームであると判定した場合にはＳ２０９に処理を進める。一方、映像フレームが独立フレームでないと判定した場合、セグメント生成部３０５は、生成された映像フレームのデータを一時記憶部３０１から削除した後、Ｓ２０１に処理を戻す。
In step S208, the
Ｓ２０９に進むと、セグメント生成部３０５は、自己の状態を次フレーム待ちの状態に設定する。
次にＳ２１０において、セグメント生成部３０５は、映像フレーム情報を保存する。
次にＳ２１１において、セグメント生成部３０５は、セグメント生成処理を行う。その後、セグメント生成部３０５は、Ｓ２０１に処理を戻す。
In step S209, the
Next, in S210, the
Next, in S211, the
Ｓ２１２に進むと、セグメント生成部３０５は、保存しているセグメント情報と当該セグメントに含まれている映像フレームを削除する。その後、セグメント生成部３０５は、Ｓ２０１に処理を戻す。
In step S212, the
Ｓ２１３に進むと、セグメント生成部３０５は、保存している全セグメント情報と当該セグメントに含まれている映像フレーム情報を削除した後、図９のフローチャートの処理を終了する。
In step S213, the
図１０は、図９のフローチャートのＳ２１１でセグメント生成部３０５において行われるセグメント生成処理のフローチャートである。
先ずＳ３０１において、セグメント生成部３０５は、符号化処理部３０３の映像フレーム情報に含まれるフレーム番号以下のフレーム番号が、セグメントの最後のフレームのフレーム番号となるセグメントの集合を対象セグメントとして決定する。
FIG. 10 is a flowchart of the segment generation process performed by the
First, in step S301, the
次に、セグメント生成部３０５は、対象セグメントに含まれるセグメントについて、Ｓ３０２からＳ３１２までのループ処理を開始する。セグメント生成部３０５は、対象セグメントに含まれる全てのセグメントについての処理が終了すると、対象セグメントに含まれるセグメントについてのループ処理を終了する。
Next, the
Ｓ３０２からＳ３１２までのループ処理において、セグメント生成部３０５は、先ずＳ３０３の処理として、一時記憶部３０１に保存されたセグメントのダミーフレームフラグがＯＮかどうかを判定する。そして、セグメント生成部３０５は、一時記憶部３０１に保存されたセグメントのダミーフレームフラグがＯＮである場合には、Ｓ３０４に処理を進め、セグメントのダミーフレームフラグがＯＮでない場合には、Ｓ３０７に処理を進める。
In the loop process from S302 to S312, the
Ｓ３０４に進むと、セグメント生成部３０５は、セグメントのダミーフレームが生成されて一時記憶部３０１に保存されているかどうかを判定する。セグメント生成部３０５は、セグメントのダミーフレームが生成され一時記憶部３０１に保存されていると判定した場合にはＳ３０５に処理を進める。一方、セグメント生成部３０５は、セグメントのダミーフレームが生成され一時記憶部３０１に保存されていないと判定した場合はＳ３１２に処理を進める。
In step S304, the
Ｓ３０５に進むと、セグメント生成部３０５は、ダミーフレーム情報を一時記憶部３０１に保存する。
次にＳ３０６において、セグメント生成部３０５は、セグメントのダミーフレームフラグをクリアとして一時記憶部３０１に保存し、その後、Ｓ３０７に処理を進める。
In step S305, the
Next, in step S306, the
Ｓ３０７に進むと、セグメント生成部３０５は、セグメントが完成したかどうかを判定する。セグメント生成部３０５は、セグメントの最後の映像フレームの映像フレーム情報が一時記憶部３０１に保存されている場合に、セグメントが完成したと判定する。または、セグメント生成部３０５は、一時記憶部３０１に保存されているセグメント内欠落情報がセグメントの最後の映像フレームのフレーム番号が含まれている場合に、セグメントが完成したと判定する。これらセグメントが完成したと判定する条件の何れかを満たす場合、セグメント生成部３０５は、Ｓ３０８に処理を進める。一方、それらいずれの条件をも満たさない場合、セグメント生成部３０５は、Ｓ３１２に処理を進める。
In step S307, the
Ｓ３０８に進むと、セグメント生成部３０５は、各フレーム（ダミーフレーム又は映像フレーム）の再生時間情報を生成したヘッダを生成する。さらに、セグメント生成部３０５は、一時記憶部３０１に保存されているフレームのうち、セグメント内フレーム番号配列に含まれるフレーム番号のフレームのデータにヘッダデータを結合し、セグメントを生成する。Ｓ３０８では、先ずセグメント生成部３０５は、一時記憶部３０１に保存されている生成済みフレームのフレーム番号のうち、セグメント内フレーム番号配列に含まれるフレーム番号を小さい順に要素とする生成フレーム番号配列を生成する。次に、セグメント生成部３０５は、前述のｔｒｕｎボックスのｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔ、ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎを以下の通りセットしたヘッダを生成する。
In step S308, the
ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔ＝（フレーム周期）×（ダミーフレーム又は映像フレームのフレーム番号の、セグメント内フレーム番号配列におけるインデクス＋１） sample_composition_time_offset = (frame period) × (index of frame number of dummy frame or video frame in intra-segment frame number array + 1)
ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎ＝（フレーム周期）×（ダミーフレーム又は映像フレームのフレーム番号と、生成フレーム番号配列における次の映像フレーム番号との差） sample_duration = (frame period) × (difference between frame number of dummy frame or video frame and next video frame number in generated frame number array)
その後、セグメント生成部３０５は、初めにヘッダデータ、次以降は一時記憶部３０１に保存されているフレームのうち、セグメント内フレーム番号配列に含まれるフレーム番号のフレームを配列の要素順に配置して結合したデータを生成する。
After that, the
次にＳ３０９において、セグメント生成部３０５は、Ｓ３０８で生成したセグメントのセグメント情報を一時記憶部３０１に保存する。
次にＳ３１０において、セグメント生成部３０５は、配信部３０６にセグメントの生成通知を行い、生成したセグメントのセグメント情報を送信する。
次に、Ｓ３１１において、セグメント生成部３０５は、一時記憶部３０１に保存した、セグメントのセグメント内欠落期間情報を解放し削除する。
次のＳ３１２において、対象セグメントに含まれるセグメントについてのループ処理が続く場合にはＳ３０３に戻る。そして、対象セグメントに含まれるセグメントの処理が終わった場合、図１０のフローチャートの処理は終了する。
Next, in step S309, the
Next, in S310, the
Next, in S311, the
If loop processing continues for the segment included in the target segment in the next S312, the process returns to S303. Then, when the processing of the segment included in the target segment is completed, the processing of the flowchart of FIG. 10 ends.
本実施形態では、符号化処理部３０３が生成する映像フレームにはフレーム番号が付与され、例えば最初に生成された映像フレームにはフレーム番号０が、その後はフレーム周期ごとに１ずつ増加するフレーム番号が付与される例を挙げた。フレーム番号の値はこれに限らず、Ｓ１０２にて欠落フレームの条件を判定可能であればよい。例えば、撮像素子２０５が撮像する時間間隔（撮像処理部３０２が画像キャプチャＩ／Ｆ２０６経由で映像データを取得する時間間隔）を、映像ストリーム４５０のフレーム周期で除した数ずつ、フレーム番号が増加するものとしてもよい。
In the present embodiment, a frame number is added to a video frame generated by the
また本実施形態において、映像ストリーム４５０のフレーム周期、映像フレームの符号化方式、映像フレームの解像度、映像フレーム構成方式、及びセグメント生成部３０５が生成するセグメントのセグメント時間は、上述のものに限らない。
Further, in the present embodiment, the frame period of the
また、本実施形態では、映像フレームの再生開始時間又は再生継続時間の値をセグメントデータ内にセットし、且つセグメント内欠落フレームの条件に基づいてダミーフレームの生成を行うものとしているが、これに限定されるものではない。例えば、ダミーフレームの生成を行わなくとも映像再生が途切れないように映像フレームの再生開始時間又は再生継続時間の値をセグメントデータ内にセットできればよい。 Further, in this embodiment, the value of the reproduction start time or the reproduction continuation time of the video frame is set in the segment data, and the dummy frame is generated based on the condition of the intra-segment missing frame. It is not limited. For example, the value of the reproduction start time or the reproduction continuation time of the video frame may be set in the segment data so that the video reproduction is not interrupted even if the dummy frame is not generated.
また本実施形態では、撮像処理部３０２が映像データを符号化処理部３０３に送信するが、映像処理装置１０１は、撮像処理部３０２を有さず、予め二次記憶装置２０３に保存している映像データを符号化処理部３０３が取得するものとしてもよい。
Further, in the present embodiment, although the
また本実施形態では、配信部３０６がＭＰＤファイル、初期化セグメント、セグメントを生成する前にクライアント装置１０２に配信するものとしたが、これに限定されるものではない。例えば、映像処理装置１０１は、配信部３０６を有さず、セグメント生成部３０５によって生成された初期化セグメント、セグメントを二次記憶装置２０３に保存しておくものとしてもよい。
In the present embodiment, the
以上のように、セグメント生成部３０５は、符号化処理部３０３に生成された映像フレーム情報及び欠落フレーム情報に応じて再生時間情報をセットしたヘッダを含むセグメントを生成する。
このように、映像処理装置１０１は、映像フレームが欠落する場合にも、クライアント装置１０２のセグメントの要求時にセグメント時間通りのセグメントを生成可能となされている。
すなわち、本実施形態によれば、一般的な再生装置によって再生可能なセグメントを、データ量を最小限に抑えながら、セグメント時間通りに生成可能である。
As described above, the
As described above, even when a video frame is dropped, the
That is, according to the present embodiment, it is possible to generate a segment reproducible by a general reproduction device according to the segment time while minimizing the amount of data.
＜第２実施形態＞
次に、第２実施形態について説明する。
以下、第２実施形態において、第１実施形態で共通している部分の説明は省略し、第１実施形態とは異なる部分について説明する。
第２実施形態において、映像処理装置１０１は、タイマを有し、フレーム周期経過時及びセグメント時間経過時にセグメント生成部３０５に対して通知を行うものとする。
図１１は、第２実施形態におけるセグメント生成部３０５のセグメント生成処理のフローチャートである。
第２実施形態においても、セグメント生成部３０５は、符号化処理が開始された直後に符号化処理部３０３から要求される生成通知を受けて、図１１のフローチャートの処理を開始する。
Second Embodiment
Next, a second embodiment will be described.
Hereinafter, in the second embodiment, descriptions of parts common to the first embodiment will be omitted, and parts different from the first embodiment will be described.
In the second embodiment, the
FIG. 11 is a flowchart of the segment generation process of the
Also in the second embodiment, the
Ｓ４０１において、セグメント生成部３０５は、イベントの発生を待ち、発生イベントの判定により、処理動作を切り替える。セグメント生成部３０５は、発生イベントが、符号化処理部３０３からの映像メタ情報の生成イベントであると判定した場合には、Ｓ４０２に処理を進める。また、セグメント生成部３０５は、発生イベントが、タイマのフレーム周期経過イベントであると判定した場合には、Ｓ４０８に処理を進める。また、セグメント生成部３０５は、発生イベントが、タイマのセグメント時間経過イベントであると判定した場合には、Ｓ４１２に処理を進める。また、セグメント生成部３０５は、符号化処理部３０３からの映像フレーム生成イベントであると判定した場合には、Ｓ４１３に処理を進める。また、セグメント生成部３０５は、発生イベントが、配信部３０６からのセグメント解放指示イベントであると判定した場合には、Ｓ４１４に処理を進める。また、セグメント生成部３０５は、発生イベントが、配信部３０６からの映像ストリームの終了要求イベントであると判定した場合には、Ｓ４１５に処理を進める。
In S401, the
Ｓ４０２からＳ４０５までは、図９のＳ２０２からＳ２０５まで処理と同様である。第２実施形態の場合、セグメント生成部３０５は、Ｓ４０５の後にＳ４０６に処理を進める。
Ｓ４０６に進むと、セグメント生成部３０５は、タイマカウント値Ｔに０を設定し、タイマのカウントアップを開始させる。
次に、Ｓ４０７において、セグメント生成部３０５は、生成する全てのセグメントのダミーフレームフラグをクリアとして初期化し一時記憶部３０１に保存する。その後、セグメント生成部３０５は、Ｓ４０１に処理を戻す。
Steps S402 to S405 are the same as the processes from S202 to S205 in FIG. In the case of the second embodiment, the
In step S406, the
Next, in step S <b> 407, the
Ｓ４０８に進むと、セグメント生成部３０５は、自己の状態を判定する。そして、セグメント生成部３０５は、自己の状態が独立フレーム待ちの状態であると判定した場合にはＳ４０９に処理を進め、自己の状態が次フレーム待ちの状態であると判定した場合にはＳ４１１に処理を進める。
In step S408, the
Ｓ４０９に進むと、セグメント生成部３０５は、独立フレームが生成され一時記憶部３０１に保存されているかどうかを判定する。そして、セグメント生成部３０５は、独立フレームが生成され一時記憶部３０１に保存されていると判定した場合にはＳ４１０に処理を進め、独立フレームが生成され一時記憶部３０１に保存されてないと判定した場合にはＳ４０１に処理を戻す。
In step S409, the
Ｓ４１０に進むと、セグメント生成部３０５は、自己の状態を次フレーム待ちの状態に設定した後、Ｓ４１１に処理を進める。
Ｓ４１１に進むと、セグメント生成部３０５は、欠落期間検出部３０４に対し、ダミーフレーム生成判定処理を要求する。その後、セグメント生成部３０５は、Ｓ４０１に処理を戻す。
In step S410, the
In step S411, the
Ｓ４１２に進んだ場合、セグメント生成部３０５は、セグメント生成処理を行う。セグメント生成処理は、図９のＳ２１１と同様である。その後、セグメント生成部３０５は、Ｓ４０１に処理を戻す。
Ｓ４１３に進んだ場合、セグメント生成部３０５は、フレーム生成時間を付加し、フレーム（映像フレーム、ダミーフレーム）情報を保存して、Ｓ４０１に処理を戻す。
Ｓ４１４に進んだ場合、セグメント生成部３０５は、保存しているセグメント情報と当該セグメントに含まれている映像フレームを削除する。その後、セグメント生成部３０５は、Ｓ４０１に処理を戻す。
Ｓ４１５に進んだ場合、セグメント生成部３０５は、保存している全セグメント情報と当該セグメントに含まれている映像フレーム情報を削除し、次のＳ４１６においてタイマのカウントアップを終了して処理を終了する。
When the process proceeds to step S412, the
If the process proceeds to step S413, the
When the processing proceeds to step S414, the
If the process proceeds to step S415, the
図１２は、図１１のＳ４１１において欠落期間検出部３０４で行われるダミーフレーム生成判定処理を示すフローチャートである。
欠落期間検出部３０４は、セグメント生成部３０５からのダミーフレーム生成判定処理の要求を受けると図１２の処理を開始する。
FIG. 12 is a flowchart showing the dummy frame generation determination process performed by the missing
When receiving the request for the dummy frame generation determination process from the
先ずＳ５０１において、欠落期間検出部３０４は、タイマの時間を取得し、後述する最新映像フレーム生成時間から、取得した時間までに生成されるべき映像フレームの集合を、対象映像フレームとして決定する。
First, in S501, the dropout
次に、欠落期間検出部３０４は、対象映像フレームに含まれる映像フレームについて、Ｓ５０２からＳ５１０までのループ処理を開始する。欠落期間検出部３０４は、対象映像フレームに含まれる全ての映像フレームについての処理が終了すると、対象映像フレームに含まれる映像フレームについてのループ処理を終了する。
Next, the missing
Ｓ５０２からＳ５１０までのループ処理において、欠落期間検出部３０４は、先ずＳ５０３の処理として、映像フレームが生成済みか否かを判定する。欠落期間検出部３０４は、映像フレームが生成済みであると判定した場合にはＳ５０４に処理を進め、映像フレームが生成済みでないと判定した場合にはＳ５０６に処理を進める。映像フレームが生成済みでないと判定された場合とは、すなわち映像フレームが欠落した場合ということになる。
In the loop process from S502 to S510, the missing
Ｓ５０４に進むと、欠落期間検出部３０４は、映像フレームの生成時間を取得する。
次にＳ５０５において、欠落期間検出部３０４は、最新映像フレーム生成時間をＳ５０４で取得した時間に更新する。
In step S504, the missing
Next, in S505, the missing
Ｓ５０６に進むと、欠落期間検出部３０４は、セグメント内先頭フレームが欠落したか否かを判定する。例えば、セグメント内先頭フレームが欠落したか否かは、Ｓ５０３で生成済みでないと判定された映像フレームがセグメント内先頭フレームか否かで判定できる。欠落期間検出部３０４は、セグメント内先頭フレームが欠落したと判定した場合にはＳ５０７に処理を進め、欠落していないと判定した場合にはＳ５０９に処理を進める。
In step S506, the missing
Ｓ５０７に進むと、欠落期間検出部３０４は、符号化処理部３０３に対しダミーフレームの生成要求を行う。ダミーフレームの生成要求の処理は図８のＳ１０３と同様である。
次にＳ５０８において、欠落期間検出部３０４は、欠落した映像フレームに対応するセグメントのダミーフレームフラグをＯＮとして一時記憶部３０１に保存する。
次にＳ５０９において、欠落期間検出部３０４は、セグメントのセグメント内欠落期間情報に欠落した映像フレームのセグメント内における順序を、セグメント内欠落期間情報に要素として追加し一時記憶部３０１に保存する。
次のＳ５１０において、対象映像フレームに含まれる映像フレームについての処理が続く場合にはＳ５０２に戻る。そして、全ての対象映像フレームの処理が終わった場合、図１２のフローチャートの処理は終了する。
In step S507, the dropout
Next, in step S508, the dropout
Next, in S 509, the missing
In the next S510, if the process for the video frame included in the target video frame continues, the process returns to S502. Then, when processing of all target video frames is completed, the processing of the flowchart of FIG. 12 ends.
以上のように、第２実施形態の場合、セグメント生成部３０５は、タイマの経過時間に応じて、符号化処理部３０３に生成された映像フレーム情報に応じた再生時間情報をセットしたヘッダを含むセグメントを生成する。
このように、映像処理装置１０１は、符号化処理部３０３が欠落フレーム情報を生成することがなくても、映像フレームが欠落する場合に、クライアント装置１０２からセグメントの要求がなされた時に、セグメント時間通りのセグメントを生成できる。すなわち、第２実施形態においても、データ量を最小限に抑えながら、セグメント時間通りにセグメントを生成可能である。
As described above, in the case of the second embodiment, the
As described above, in the
＜その他の実施形態＞
以上、説明した実施形態では、ＤＡＳＨ配信を例に説明したが、ＨＬＳ配信など他のアダプティブストリーミング技術にも適用可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
<Other Embodiments>
As mentioned above, although DASH delivery was demonstrated to the example in the embodiment described, it is applicable also to other adaptive streaming techniques, such as HLS delivery.
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
The above-described embodiments are merely examples of implementation for carrying out the present invention, and the technical scope of the present invention should not be interpreted in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical concept or the main features thereof.
１０１：映像処理装置、３０２：撮像処理部、３０３：符号化処理部、３０４：欠落期間検出部、３０５：セグメント生成部、３０６：配信部 101: video processing apparatus, 302: imaging processor, 303: encoding processor, 304: missing period detector, 305: segment generator, 306: distribution unit
Claims (18)
前記処理手段で生成された少なくとも一つの映像フレームを含む映像ストリームを所定のセグメント時間で分割したセグメントを生成する生成手段と、
を有し、
前記生成手段は、前記処理手段で符号化が行われず映像フレームが生成されなかった場合、前記セグメントの中のどの映像フレームが生成されなかったかに応じて、ダミーフレームを前記セグメントに付加するかどうかを決定し、前記生成されなかった映像フレーム以外の映像フレームの表示時間を変更することにより前記所定のセグメント時間の前記セグメントを生成することを特徴とする映像処理装置。 Processing means for generating a video frame encoded by the intraframe encoding process or the interframe encoding process;
Generation means for generating a segment obtained by dividing a video stream including at least one video frame generated by the processing means by a predetermined segment time;
Have
Whether the generation means adds a dummy frame to the segment according to which image frame in the segment is not generated when the encoding means is not performed by the processing means and the image frame is not generated The video processing apparatus generates the segment of the predetermined segment time by determining the video frame other than the video frame that is not generated.
前記処理手段は、前記ダミーフレームの生成要求を受け取ると前記ダミーフレームを生成することを特徴とする請求項３に記載の映像処理装置。 The detection means sends a generation request for the dummy frame to the processing means based on the detected missing period in the segment.
4. The video processing apparatus according to claim 3, wherein the processing means generates the dummy frame when receiving the generation request of the dummy frame.
前記処理手段は、前記撮像手段によって撮像された映像に対し前記符号化を行って前記映像フレームを生成することを特徴とする請求項１から１０のいずれか１項に記載の映像処理装置。 It further comprises an imaging means for capturing an image,
The video processing apparatus according to any one of claims 1 to 10, wherein the processing unit performs the encoding on the video captured by the imaging unit to generate the video frame.
前記配信手段は、前記生成手段によって生成されるセグメントを配信する前に、少なくとも前記所定のセグメント時間を示すデータを配信することを特徴とする請求項１から１１のいずれか１項に記載の映像処理装置。 It further comprises distribution means for distributing the segments generated by the generation means,
The video according to any one of claims 1 to 11, wherein the delivery means delivers data indicating at least the predetermined segment time before delivering the segment generated by the generation means. Processing unit.
生成手段により、前記処理ステップで生成された少なくとも一つの映像フレームを含む映像ストリームを所定のセグメント時間で分割したセグメントを生成する生成ステップと、
を有し、
前記生成ステップでは、前記処理ステップで符号化が行われず映像フレームが生成されなかった場合、前記セグメントの中のどの映像フレームが生成されなかったかに応じて、ダミーフレームを前記セグメントに付加するかどうかを決定し、前記生成されなかった映像フレーム以外の映像フレームの表示時間を変更することにより前記所定のセグメント時間の前記セグメントを生成することを特徴とする映像処理方法。 A processing step of generating a video frame encoded by the intraframe encoding process or the interframe encoding process by the processing means;
Generating, by generation means, a segment obtained by dividing a video stream including at least one video frame generated in the processing step by a predetermined segment time;
Have
In the generation step, if coding is not performed in the processing step and a video frame is not generated, a dummy frame is added to the segment according to which video frame in the segment is not generated. The video processing method, wherein the segment of the predetermined segment time is generated by determining the video frame other than the video frame that is not generated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017246967A JP2019114926A (en) | 2017-12-22 | 2017-12-22 | Video processing apparatus, video processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017246967A JP2019114926A (en) | 2017-12-22 | 2017-12-22 | Video processing apparatus, video processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019114926A true JP2019114926A (en) | 2019-07-11 |
Family
ID=67222917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017246967A Pending JP2019114926A (en) | 2017-12-22 | 2017-12-22 | Video processing apparatus, video processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019114926A (en) |
-
2017
- 2017-12-22 JP JP2017246967A patent/JP2019114926A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102246002B1 (en) | Method, device, and computer program to improve streaming of virtual reality media content | |
| CN106068495B (en) | Streaming multiple encodings encoded using different encoding parameters | |
| CN109889543B (en) | Video transmission method, root node, child node, P2P server and system | |
| US20150208103A1 (en) | System and Method for Enabling User Control of Live Video Stream(s) | |
| KR20130129481A (en) | Streaming encoded video data | |
| US9819972B1 (en) | Methods and apparatuses for a distributed live-on-demand (LOD) origin | |
| US10911809B2 (en) | Communication apparatus, communication method, and program | |
| US9942578B1 (en) | Methods and apparatuses for a distributed live-on-demand (LOD) origin | |
| WO2019128668A1 (en) | Method and apparatus for processing video bitstream, network device, and readable storage medium | |
| KR20190065838A (en) | Server and method for generating time slice video, and user device | |
| CN108696505B (en) | Video distribution apparatus, video reception apparatus, video distribution method, and recording medium | |
| US20140298392A1 (en) | Image processing device, image processing method, and computer program | |
| US10708667B1 (en) | Combining fragments with different encodings | |
| JP2015050572A (en) | Information processing device, program, and information processing method | |
| JP6193569B2 (en) | RECEPTION DEVICE, RECEPTION METHOD, AND PROGRAM, IMAGING DEVICE, IMAGING METHOD, AND PROGRAM, TRANSMISSION DEVICE, TRANSMISSION METHOD, AND PROGRAM | |
| JP6355634B2 (en) | Data processing apparatus, data processing method, program, recording medium, and data processing system | |
| JP2019114926A (en) | Video processing apparatus, video processing method, and program | |
| JP2010011287A (en) | Image transmission method and terminal device | |
| US11496535B2 (en) | Video data transmission apparatus, video data transmitting method, and storage medium | |
| EP3843415A1 (en) | Video image-based media stream bandwidth reduction | |
| JP2019020845A (en) | Image processing apparatus and method, and image processing system | |
| CN109104552B (en) | Image pickup apparatus, processing method of image pickup apparatus, and storage medium | |
| JP2007324722A (en) | Moving picture data distribution apparatus and moving picture data communication system | |
| JP6907104B2 (en) | Video distribution device, control method and program | |
| JP2019029931A (en) | Video transmitter, video receiver, video transmission/reception system, control method, and program |