JP2021069100A - 配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】キーフレームの映像データを並行して配信することができる配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体を提供する。【解決手段】配信システム１は、動画データ１００を配信端末２から被配信端末５に配信する配信システム１であって、動画データ１００は、映像データ１０１と音声データ１０２を含み、配信端末２から映像データ１０１と音声データ１０２を入力するデータ入力部１０と、映像データ１０１と音声データ１０２を被配信端末５に配信するするとともに、映像データ１０１をキーフレームのデータ１０１ａと映像に関する差分データ１０１ｂとして被配信端末５に配信する第１のデータ配信部９０と、映像データ１００から少なくともキーフレームのデータ１０１ａを被配信端末５に配信する第２のデータ配信部９２と、を有することを特徴とする。【選択図】図１

Description

本発明は、配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体に関し、特に、動画データを配信端末から被配信端末に配信する配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体に関する。

近年、動画データを配信する配信システムが広く利用されている。この動画データの配信システムには、例えば、所定のサーバを介して動画データを配信端末から被配信端末に配信するシステムがある。

このような配信システムでは、配信する動画データをＧＯＰ単位等の所定のデータ単位のデータとして配信し、データ単位のデータは、例えば、Ｉフレーム等のキーフレームのデータとこれに時系列的に続くＰフレーム（差分フレーム）やＢフレーム（差分フレーム）等の映像に関する差分データで構成され、被配信端末は、任意のタイミングでサーバにアクセスし、キーフレームのデータと映像に関する差分データにより視聴可能な映像データを生成して視聴することができる。

このような動画データの配信システムは、特許文献１に開示される技術を参照することができる。

特開２０１９−２９８７０号公報

ところで、上述したデータ単位の配信時間（データ単位において最初のデータが配信されてから最後のデータが配信されるまでの時間）は数十秒程度に設定されることが多い。

このため、被配信端末が配信時間の途中でサーバにアクセスした場合にあっては、映像に関する差分データが配信されるのみでキーフレームの映像データが配信されず次のデータ単位の配信が行われるまでの間、映像を視聴できないことがありタイムラグが生じることがある。上述の通り、データ単位の配信時間は数十秒程度に設定されることが多く、被配信端末の視聴者からは、最初のアクセスにおける視聴のタイムラグが長くキーフレームの映像データを並行して配信する等の改善が望まれていた。

本願発明は上記事情に鑑みてなされたものであり、キーフレームの映像データを並行して配信することができる配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体を提供することを目的とする。

上記目的を達成するために、本発明に係る配信システムは、動画データを配信する配信システムであって、前記動画データは、映像データを含むとともに、前記映像データは、キーフレームのデータを含み、前記キーフレームのデータを配信する第１のデータ配信部と第２のデータ配信部を有することを特徴とする。

上記目的を達成するために、本発明に係る配信システムは、動画データを配信端末から被配信端末に配信する配信システムであって、前記動画データは、映像データを含むとともに、前記映像データは、キーフレームのデータを含み、前記配信端末から映像データを入力するデータ入力部と、前記キーフレームのデータを前記被配信端末に配信する第１のデータ配信部と、前記キーフレームのデータを前記被配信端末に配信する第２のデータ配信部と、を有することを特徴とする。

上記目的を達成するために、本発明に係る配信システムは、動画データを配信端末から被配信端末に配信する配信システムであって、前記動画データは、映像データと音声データを含むとともに、前記映像データは、キーフレームのデータと映像に関する差分データを含み、前記配信端末から映像データと音声データを入力するデータ入力部と、前記映像データと前記音声データを前記被配信端末に配信するするとともに、前記キーフレームのデータと映像に関する差分データを含む映像データを前記被配信端末に配信する第１のデータ配信部と、前記映像データから少なくとも前記キーフレームのデータを前記被配信端末に配信する第２のデータ配信部と、を有することを特徴とする。

本発明によれば、上記構成により、キーフレームの映像データを並行して配信することができる。

前記映像データは、前記キーフレームのデータと前記映像に関する差分データを含む所定のデータ単位の映像データとするとともに、前記第１のデータ配信部は、前記映像データを前記データ単位ごとに前記被配信端末に配信し、前記第２のデータ配信部は、前記第１のデータ配信部により配信される前記データ単位の配信時間内において、前記データ単位の配信時間よりも短い所定の配信時間間隔で前記データ単位の映像データと並行して少なくとも前記キーフレームのデータを前記被配信端末に配信することができる。

前記第１のデータ配信部は、前記データ単位の配信時間内において、前記データ単位の各データの配信時間間隔を前記データ単位の配信時間よりも短い所定の時間間隔として前記被配信端末に配信するとともに、前記第２のデータ配信部は、前記第１のデータ配信部における前記データ単位の各データの配信時間間隔と同じ配信時間間隔で少なくとも前記キーフレームのデータを前記被配信端末に配信することが好ましい。

前記映像データから少なくとも前記キーフレームのデータを記憶するデータ記憶部を有し、前記第２のデータ配信部は、前記データ記憶部に記憶されたデータを前記被配信端末に配信することができる。

前記映像データと前記音声データのデコード処理を行うデコード処理部を有することとすれば、第１のデータと第２のデータのデコード処理を行うことができる。

前記デコード処理を行うためのデータは、前記第１のデータ配信部により配信されるデータに含まれるとともに、前記第２のデータ配信部により配信されるデータに含まれ、前記第２のデータ配信部により前記被配信端末に配信されることができる。

前記第２のデータ配信部により配信されたデコード処理を行うためのデータにより、前記被配信端末に前記デコード処理部を設定することとすれば、被配信端末でデコード処理を行うことができる。

前記デコード処理部は、前記被配信端末に設定することができる。

前記デコード処理を行うためのデータは、前記映像データのデコード処理を行うためのデータおよび／または前記音声データのデコード処理を行うためのデータを含むことができる。

上記目的を達成するために、本発明に係るプログラムは、映像データを含む動画データを配信する配信システムのコンピュータを、前記映像データにおけるキーフレームのデータを配信する第１のデータ配信部と第２のデータ配信部を有することを特徴とする。

上記目的を達成するために、本発明に係るプログラムは、動画データを配信端末から被配信端末に配信する配信システムのコンピュータを、前記配信端末から映像データを入力するデータ入力部と、前記映像データにおけるキーフレームのデータを前記被配信端末に配信する第１のデータ配信部と第２のデータ配信部を有することを特徴とする。

上記目的を達成するために、本発明に係るプログラムは、映像データと音声データを含む動画データを配信端末から被配信端末に配信する配信システムのコンピュータを、前記配信端末から映像データと音声データを入力するデータ入力部と、キーフレームのデータおよび映像に関する差分データを含む前記映像データと前記音声データを前記被配信端末に配信する第１のデータ配信部と、前記映像データから少なくとも前記キーフレームのデータを前記被配信端末に配信する第２のデータ配信部と、を有することを特徴とする。

上記目的を達成するために、本発明に係るコンピュータ読み取り可能な記憶媒体は、上記プログラムを記憶することを特徴とする。

本発明によれば、キーフレームの映像データを並行して配信することができる。

本発明の実施形態に係る配信システムの全体構成を示す図である。 同配信システムのコンピュータの構成を示すブロック図である。 同配信システムの第１のサーバの構成を示すブロック図である。 同配信システムのデータの構成を示す図で、（ａ）は多重化されたデータを示す図、（ｂ）は分離されたデータを示す図である。 同配信システムのデータ生成部により生成された映像データの構成を示す図である。 同配信システムの第１のデータ出力部により出力される映像データの構成を示す図である。 同配信システムの第１のデータ出力部により出力される音声データの構成を示す図で、（ａ）はリップシンク処理前の音声データの構成を示す図、（ｂ）はリップシンク処理後の音声データの構成を示す図である。 同配信システムの第２のサーバの構成を示すブロック図である。 同配信システムの第２のデータ配信部により被配信端末に配信されるデータの構成を示す図である。 同配信システムにおける被配信端末の構成を示すブロック図である。 同配信システムにおけるデータ処理方法を説明するためのフローチャートである。 同配信システムにおけるデータ処理方法を説明するための図１１に続くフローチャートである。 従来の配信システムの課題を説明するための図である。 本発明の配信システムの技術的効果を説明するための図で、（ａ）は第１のデータ配信部により配信されるデータを示す図、（ｂ）は第２のデータ配信部により配信されるデータを示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態に係る配信システムの全体構成を示す図、図２は、同配信システムのコンピュータの構成を示すブロック図、図３は、同配信システムの第１のサーバの構成を示すブロック図、図４は、同配信システムのデータの構成を示す図、図５は、同配信システムのデータ生成部により生成された映像データの構成を示す図、図６は、同配信システムの第１のデータ出力部により出力される映像データの構成を示す図、図７は、同配信システムの第１のデータ出力部により出力される音声データの構成を示す図、図８は、同配信システムの第２のサーバの構成を示すブロック図、図９は、同配信システムの第２のデータ配信部により被配信端末に配信されるデータの構成を示す図、図１０は、同配信システムにおける被配信端末の構成を示すブロック図である。

図１を参照して本発明の配信システム１の概要を説明すると、配信システム１は、動画データ１００を配信端末２から第１のサーバ３と第２のサーバ４を介して被配信端末５にリアルタイムに生配信することができる。動画データ１００は、映像データ１０１と音声データ１０２を含んでおり、映像データ１０１と音声データ１０２は、所定にエンコード処理され多重化されたデータとして配信端末２から送信される。

第１のサーバ３は、オリジンサーバとし、第２のサーバ４は、エッジサーバとし、配信端末２および被配信端末５は、情報端末装置とすることができる。情報端末装置は、携帯端末装置とすることができ、携帯端末装置は更に携帯電話機、スマートフォン、タブレット端末とすることができる。配信システム１は、ネットワーク通信回線ＮＴを通じて配信端末２、第１のサーバ３、第２のサーバ４、被配信端末５の相互間の通信を可能に構成されている。なお、ネットワーク通信回線ＮＴは、インターネット回線等を含むことができる。

配信システム１の各構成機器は、コンピュータとしての一般的な構成を備えている。配信システム１の各構成機器は、図２に示すように、相互にバス１Ａを介して接続された中央処理装置（ＣＰＵ、ＧＰＵ、ＤＳＰ）１Ｂ、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク、キャッシュメモリ）１Ｃ、入力装置（キーボード、タッチパネル、マウス）１Ｄ、表示装置（液晶ディスプレー）１Ｅ等を有している。記憶装置１Ｃは、コンピュータ読み取り可能な記憶媒体として機能する。

第１のサーバ２は、図３に示すように、第１のデータ入力部１０、データ分離部２０、データ生成部３０、第１のデータ記憶部４０、およびデータ出力部５０を有している。

第１のデータ入力部１０は、図４（ａ）に示すように、配信端末２から多重化された映像データ１０１と音声データ１０２（結合された映像データ１０１と音声データ１０２）を入力することができる。

データ分離部２０は、第１のデータ入力部１０により入力された多重化された映像データ１０１と音声データ１０２（結合された映像データ１０１と音声データ１０２）を図４（ｂ）に示すように、分離することができる。

データ生成部３０は、図５に示すように、データ分離部２０により分離されたデータのうち映像データ１０１をキーフレームのデータ１０１ａと映像に関する差分データ１０１ｂとするデータ処理を行うことができる（映像データ１０１は、キーフレームのデータ１０１ａと映像に関する差分データ１０１ｂを含んでいる）。

より詳しくはキーフレームのデータ１０１ａは、Ｉフレーム（Intra-Picture）のデータとすることができ、映像に関する差分データ１０１ｂは、Ｐフレーム（Predictive-Picture、差分フレーム）のデータとすることができる。ここで、Ｉフレーム（Intra-Picture）とは、動画中の１フレームを独立して再現可能なフレームであり、動画中のフレームの画像情報を全て含んでいるフレームである。Ｉフレーム（Intra-Picture）は、映像データのフレーム間予測の基準となるフレームである。Ｐフレーム（Predictive-Picture）は、直前のＩフレームを参照して動画中の１フレームを再現可能なフレームであり、映像データのフレーム間の差分データを含むものである。

第１のデータ記憶部４０は、エンコード処理された映像データ１０１と音声データ１０２のデコード処理を行うためのデータ１０３を記憶することができる。第１のデータ記憶部４０により記憶されるデコード処理を行うためのデータ１０３は、映像データ１０１のデコード処理を行うためのデータ１０３ａおよび音声データ１０２のデコード処理を行うためのデータ１０３ｂを含むことができる。

映像データ１０１のデコード処理を行うためのデータ１０３ａは、Ｈ．２６４の規格に基づいたデータとすることができ、Ｈ．２６４の規格に基づいたデータは、ＮＡＬユニットのデータとすることができる。更に、ＮＡＬユニットのデータは、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、およびＳＥＩ（付加拡張情報）メッセージを含むことができる。

また、音声データ１０２のデコード処理を行うためのデータ１０３ｂは、ＡｕｄｉｏＳｐｅｃｉｆｉｃＣｏｎｆｉｇを含むことができる。

データ出力部５０は、映像データ１０１を第２のサーバ４に出力することができる。すなわち、データ出力部５０は、図６に示すように、映像データ１０１を、キーフレームのデータ１０１ａとキーフレームのデータ１０１ａに時系列的に続く複数の映像に関する差分データ１０１ｂを含む所定のデータ単位Ｄより詳しくはＧＯＰ単位の映像データ１０１として出力することができる。すなわち、データ出力部５０は、データ単位Ｄの最初のデータをキーフレームのデータ１０１ａとして出力することができる。データ単位Ｄは、本実施形態にあっては、一のキーフレームのデータ１０１ａと複数の映像に関する差分データ１０１ｂを含んでいる。

データ出力部５０は、映像データ１０１をデータ単位Ｄごとに第２のサーバ４に出力することができる。データ出力部５０により出力されるデータ単位Ｄの出力時間は、例えばＴとされ、データ単位Ｄの出力時間Ｔ内において、各データの出力時間間隔は、例えばデータ単位Ｄの出力時間Ｔよりも短い所定の時間間隔ΔＴとして第２のサーバ４に出力することができる。データ単位Ｄの出力時間は、データ単位Ｄにおいて最初のデータ（キーフレームのデータ１０１ａ）が配信されてから最後のデータ（最後の映像に関する差分データ１０１ｂ）が出力されるまでの時間となる。

データ出力部５０は、同じく図６に示すように、第１のデータ記憶部４０からエンコード処理された映像データ１０１のデコード処理を行うためのデータ１０３ａをヘッダ情報としてキーフレームのデータ１０１ａの前に付加することができる。なお、被配信端末５と接続直後にデータ１０３ａを配信することとしてもよい。

また、データ出力部５０は、音声データ１０２を第２のサーバ４に出力することができる。ここで、配信端末２から入力される音声データ１０２の入力の時間間隔ΔＴ＋ｔは、映像データ１０１の入力の時間間隔ΔＴと相違した時間間隔で入力されることがある。このため、データ出力部５０は、図７に示すように、音声データ１０２の各データの出力時間間隔を、データ単位Ｄを構成する映像データ１０１の各データの出力時間間隔ΔＴに対応させるリップシンク処理が可能なように構成されている。すなわち、第１のデータ出力部５０は、第１のデータ入力部１０により入力された音声データ１０２の各データに対し数１の係数αを乗じて配信時間間隔を調整しリップシンク処理を行うことができる。
[数１]
α＝ΔＴ／（ΔＴ＋ｔ）

更に、データ出力部５０は、同じく図７に示すように、第１のデータ記憶部４０からエンコード処理された音声データ１０２のデコード処理を行うためのデータ１０３ｂをヘッダ情報としてリップシンク処理がされた音声データ１０２の前に付加して第２のサーバ４に出力することができる。

第２のサーバ４は、図８に示すように、第２のデータ入力部６０、第２のデータ記憶部７０、記憶データ判断部７５、データ複製部８０、第１のデータ配信部９０、および第２のデータ配信部９２を有している。第２のサーバ４は、第１のデータ配信部９０および第２のデータ配信部９２を介して被配信端末５に動画データ１００やデコード処理を行うためのデータ１０３を自動的に配信するプッシュ型の情報配信方式とすることができる。

第２のデータ入力部６０は、第１のサーバ２のデータ出力部５０から出力された映像データ１０１、音声データ１０２、およびデコード処理を行うためのデータ１０３を入力することができる。

第２のデータ記憶部７０は、第２のデータ入力部６０により入力された映像データ１０１からキーフレームのデータ１０１ａを選択して記憶（キャッシュ）することができる。キーフレームのデータ１０１ａは、データ単位Ｄを構成するデータの最初に入力されるデータであり、第２のデータ記憶部７０は、データ単位Ｄを構成するデータの最初のデータをキーフレームのデータ１０１ａとして判断し記憶することができる。

また、第２のデータ記憶部７０は、第２のデータ入力部６０により入力されたデータからエンコード処理された映像データ１０１のデコード処理を行うためのデータ１０３ａを選択して記憶（キャッシュ）することができる。デコード処理を行うためのデータ１０３ａは、ヘッダ情報としてキーフレームのデータ１０１ａの前に付加されたデータであり、第２のデータ記憶部７０は、キーフレームのデータ１０１ａの前にあるヘッダ情報をデコード処理を行うためのデータ１０３ａとして判断し記憶することができる。

更に、第２のデータ記憶部７０は、第２のデータ入力部６０により入力されたデータからエンコード処理された音声データ１０２のデコード処理を行うためのデータ１０３ｂを選択して記憶（キャッシュ）することができる。デコード処理を行うためのデータ１０３ｂは、ヘッダ情報として音声データの前に付加されたデータであり、第２のデータ記憶部７０は、音声データ１０２の前にあるヘッダ情報をデコード処理を行うためのデータ１０３ｂとして選択し記憶することができる。なお、第２のデータ記憶部７０は、映像に関する差分データ１０１ｂおよび音声データ１０２を記憶されない非記憶データとして処理するように構成されている。

記憶データ判断部７５は、第２のデータ入力部６０により入力されたデータに関し第２のデータ記憶部７０により記憶するデータであるか否かの判断を行うことができる。すなわち、記憶データ判断部７５は、データ単位Ｄを構成する最初のデータを第２のデータ記憶部７０により記憶するキーフレームのデータ１０１ａとして判断する。また、記憶データ判断部７５は、キーフレームのデータ１０１ａの前にあるヘッダ情報を映像データ１０１のデコード処理を行うためのデータ１０３ａとして判断する。

更に、記憶データ判断部７５は、音声データ１０２の前にあるヘッダ情報を音声データ１０２のデコード処理を行うためのデータ１０３ｂとして判断する。更にまた、記憶データ判断部７５は、映像に関する差分データ１０１ｂおよび音声データ１０２については記憶されない非記憶データとして判断する。なお、記憶データ判断部７５による記憶データの判断は、キーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データのデコード処理を行うためのデータ１０３ｂに所定の識別情報を付与することにより行ってもよい。

データ複製部８０は、第２のデータ記憶部７０により記憶されたキーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データ１０２のデコード処理を行うためのデータ１０３ｂを複製することができる。

第１のデータ配信部９０は、第２のデータ入力部６０により入力された映像データ１０１および音声データ１０２を被配信端末５に配信することができる。
すなわち、第１のデータ配信部９０は、上記の図６と同様に、映像データ１０１を、キーフレームのデータ１０１ａとキーフレームのデータ１０１ａに時系列的に続く複数の映像に関する差分データ１０１ｂを含む所定のデータ単位Ｄより詳しくはＧＯＰ単位の映像データとして被配信端末５に配信することができる。

第１のデータ配信部９０は、映像データ１０１をデータ単位Ｄごとに被配信端末５に配信することができる。第１のデータ配信部９０により配信されるデータ単位Ｄの配信時間は、例えばＴとされ、データ単位Ｄの配信時間Ｔ内において、各データの配信時間間隔は、例えばデータ単位Ｄの配信時間Ｔよりも短い所定の時間間隔ΔＴとして被配信端末５に配信することができる。データ単位Ｄの配信時間は、上述した出力時間と同様に、データ単位Ｄにおいて最初のデータ（キーフレームのデータ１０１ａ）が配信されてから最後のデータ（最後の映像に関する差分データ１０１ｂ）が配信されるまでの時間となる。

第１のデータ配信部９０は、同じく図６に示すように、エンコード処理された映像データ１０１のデコード処理を行うためのデータ１０３ａをヘッダ情報としてキーフレームのデータ１０１ａの前に付加して配信することができる。

また、第１のデータ配信部９０は、音声データ１０２を被配信端末５に配信することができる。第２のデータ配信部９０により配信される音声データ１０２は、図７に示すように、音声データ１０２の各データの配信時間間隔ΔＴ＋ｔを、データ単位Ｄを構成する映像データ１０１の各データの配信時間間隔ΔＴに対応させるリップシンク処理がされた音声データ１０２を被配信端末５に配信することができる。

更に、第１のデータ配信部９０は、同じく図７に示すように、第２のデータ入力部６０からエンコード処理された音声データ１０２のデコード処理を行うためのデータ１０３ｂをヘッダ情報としてリップシンク処理がされた音声データ１０２の前に付加して被配信端末５に配信することができる。

第２のデータ配信部９２は、図９に示すように、第２のデータ記憶部７０に記憶されたデータより詳しくはデータ複製部８０により複製されたデータ更に詳しくはキーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データ１０２のデコード処理を行うためのデータ１０３ｂを被配信端末５に更に並行して配信することができる。

より詳しくは、第２のデータ配信部９２は、図９に示すように、第１のデータ配信部９０により配信されるデータ単位Ｄの配信時間Ｔ内において、データ単位Ｄの配信時間Ｔよりも短い所定の配信時間間隔ΔＴでデータ単位Ｄの映像データと並行してキーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データ１０２のデコード処理を行うためのデータ１０３ｂを被配信端末５に配信することができる。

より詳しくは、第２のデータ配信部９２は、第１のデータ配信部９０におけるデータ単位Ｄの各データの配信時間間隔ΔＴと同じ配信時間間隔ΔＴでキーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データ１０２のデコード処理を行うためのデータ１０３ｂを被配信端末５に配信することができる。なお、データ１０１ａ、データ１０３ａ、データ１０３ｂを配信時間Ｔ内において予め定められた任意の回数および／またはタイミングで配信するようにしてもよい。

被配信端末５は、図１０に示すように、第３のデータ入力部９４およびデコード処理部９６を有している。

第３のデータ入力部９４は、第２のサーバ４の第１のデータ配信部９０から配信されるキーフレームのデータ１０１ａ、差分データ１０１ｂ、および音声データ１０２を入力するとともに、第２のデータ配信部９２から配信されるキーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データ１０２のデコード処理を行うためのデータ１０３ｂを並行して入力することができる。

デコード処理部９６は、第３のデータ入力部９４により入力された映像データ１０１のデコード処理を行うためのデータ１０３ａおよび音声データ１０２のデコード処理を行うためのデータ１０３ｂにより映像データ１０１と音声データ１０２のデコード処理を行うことができる。

ここで、上記した配信システム１の各機能部は、所定のプログラム２００を実行させることにより機能をさせることができる。

すなわち、プログラム２００は、配信システム１の各構成機器のコンピュータを、第１のデータ入力部１０、データ分離部２０、データ生成部３０、第１のデータ記憶部４０、データ出力部５０、第２のデータ入力部６０、第２のデータ記憶部７０、記憶データ判断部７５、データ複製部８０、第１のデータ配信部９０、第２のデータ配信部９２、第３のデータ入力部９４、およびデコード処理部９６として機能させることができる。プログラム２００は、配信システム１の記憶装置１Ｃに記憶されている。

次に、本発明の配信システム１によるデータ処理方法を図１１および図１２のフローチャートに基づいて説明する。

すなわち、第１のサーバ２のデータ処理方法を図１１に示すように、まずステップＳ１０において、第１のデータ入力部１０が、配信端末２から多重化された映像データ１０１と音声データ１０２を入力する。

次いで、ステップＳ２０において、データ分離部２０が、第１のデータ入力部１０により入力された多重化された映像データ１０１と音声データ１０２を分離する。

次に、ステップＳ３０において、データ生成部３０が、データ分離部２０により分離されたデータのうち映像データ１０１をキーフレームのデータ１０１ａと映像に関する差分データ１０１ｂとするデータ処理を行う。

続いて、ステップＳ４０において、データ出力部５０が、映像データ１０１、音声データ１０２、およびデコード処理を行うためのデータ１０３を第２のサーバ４に出力する。より詳しくは、データ出力部５０は、映像データ１０１を、キーフレームのデータ１０１ａとキーフレームのデータ１０１ａに時系列的に続く複数の映像に関する差分データ１０１ｂを含む所定のデータ単位Ｄの映像データとして出力する。

また、データ出力部５０は、映像データ１０１のデコード処理を行うためのデータ１０３ａをヘッダ情報としてキーフレームのデータ１０１ａの前に付加して出力する。更に、データ出力部５０は、音声データ１０２の出力時間間隔ΔＴ＋ｔを、映像データ１０１の出力時間間隔ΔＴに対応させるリップシンク処理を行うとともに、音声データ１０２のデコード処理を行うためのデータ１０３ｂをヘッダ情報としてリップシンク処理がされた音声データ１０２の前に付加して出力する。

次に、第２のサーバ４および被配信端末５のデータ処理方法を図１２に示すように、ステップＳ５０において、第２のデータ入力部６０が、第１のサーバ２のデータ出力部５０から出力された映像データ１０１、音声データ１０２、およびデコード処理を行うためのデータ１０３を入力する。

次いで、ステップＳ６０において、記憶データ判断部７５が、第２のデータ入力部６０により入力されたデータに関し第２のデータ記憶部７０により記憶するデータであるか否かの判断を行う。すなわち、記憶データ判断部７５は、データ単位Ｄを構成する最初のデータを第２のデータ記憶部７０により記憶するキーフレームのデータ１０１ａとして判断し、更にキーフレームのデータ１０１ａの前にあるヘッダ情報を映像データ１０１のデコード処理を行うためのデータ１０３ａとして判断し、音声データ１０２の前にあるヘッダ情報を音声データ１０２のデコード処理を行うためのデータ１０３ｂとして判断し、映像に関する差分データ１０１ｂおよび音声データ１０２は非記憶データとして判断する。

続いて、ステップＳ６５において、第２のデータ記憶部７０が、記憶データ判断部７５により記憶するデータとして判断されたキーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データ１０２のデコード処理を行うためのデータ１０３ｂを記憶する。また、第２のデータ記憶部７０は、映像に関する差分データ１０１ｂおよび音声データ１０２は非記憶データとして処理する。

次に、ステップ７０において、データ複製部８０が、第２のデータ記憶部７０により記憶されたキーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データ１０２のデコード処理を行うためのデータ１０３ｂを複製する。

続いて、ステップＳ８０において、第１のデータ配信部９０が、第２のデータ入力部６０により入力された映像データ１０１および音声データ１０２を被配信端末５に配信する。すなわち、第２のデータ配信部９０は、映像データ１０１を、キーフレームのデータ１０１ａとキーフレームのデータ１０１ａに時系列的に続く複数の映像に関する差分データ１０１ｂを含む所定のデータ単位Ｄの映像データとして配信する。また、第１のデータ配信部９０は、エンコード処理された映像データ１０１のデコード処理を行うためのデータ１０３ａをヘッダ情報としてキーフレームのデータ１０１ａの前に付加して配信する。更に、第１のデータ配信部９０は、リップシンク処理がされた音声データ１０２を被配信端末５に配信する。また更に、第１のデータ配信部９０は、第２のデータ入力部６０からエンコード処理された音声データ１０２のデコード処理を行うためのデータ１０３ｂをヘッダ情報としてリップシンク処理がされた音声データ１０２の前に付加して配信する。

次いで、ステップＳ８０に並行するステップＳ９０において、第２のデータ配信部９２が、データ複製部８０により複製されたキーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データのデコード処理を行うためのデータ１０３ｂを被配信端末５に更に並行して配信する。

次に、ステップＳ１００において、被配信端末５のユーザが所定のタイミングで第２のサーバ４にアクセスする。このアクセスにより、被配信端末５の第３のデータ入力部９４が、第２のサーバ４の第１のデータ配信部９０から配信される少なくとも映像に関する差分データ１０１ｂおよび音声データ１０２を入力するとともに、第２のデータ配信部９２から配信されるキーフレームのデータ１０１ａ、映像データ１０１のデコード処理を行うためのデータ１０３ａ、および音声データ１０２のデコード処理を行うためのデータ１０３ｂを並行して入力する。

続いて、ステップＳ１１０において、デコード処理部９６が、第３のデータ入力部９４により入力された映像データ１０１のデコード処理を行うためのデータ１０３ａおよび音声データ１０２のデコード処理を行うためのデータ１０３ｂにより映像データ１０１と音声データ１０２のデコード処理を行う。これにより、被配信端末５のユーザは動画１００の視聴を行うことができる。

以上説明したように、本発明によれば、キーフレームのデータ１０１ａを被配信端末５に並行して配信する第２のデータ配信部９２を有することとしたので、キーフレームのデータ１０１ａを並行して配信することができる。

すなわち、従来においては、図１３に示すように、例えば、「Ｐフレーム１」の配信タイミングで被配信端末５のユーザがアクセスをした場合にあっては、次のデコード処理を行うためのデータ１０３ａ，１０３ｂやキーフレームのデータ１０１ａが配信されるまでΔＡ時間だけ視聴のタイムラグを生じることとなる。

これに対し、本発明においては、図１４に示すように、例えば、「Ｐフレーム１」の配信タイミングでユーザがアクセスをした場合にあっても、第２のデータ配信部９２によりデコード処理を行うためのデータ１０３ａ，１０３ｂやキーフレームのデータ１０１ａが並行して配信されているので、ΔＡ時間の視聴のタイムラグを生じることなく視聴することができる。

また、本発明によれば、被配信端末５にデコード処理部９６を設定するとともに、デコード処理部９６は、第２のデータ配信部９２により配信されたデコード処理を行うためのデータ１０３によりデコード処理を行うこととしたので、被配信端末５でデコード処理を行うことができる。

なお、本発明は上述した実施形態に限定されることなく、種々の変形実施、応用実施が可能であることは勿論である。
すなわち、上述した実施形態にあっては、第２のデータ配信部９２は、映像データ１０１からキーフレームのデータ１０１ａを被配信端末５に配信することとしているが、更に映像に関する差分データ１０１ｂや音声データ１０２を配信することとしても所要の効果を奏する。すなわち、第２のデータ配信部９２は、映像データ１００から少なくともキーフレームのデータ１０１ａを被配信端末５に配信することとすれば、本発明の技術的効果を達成することができる。

また、上述した実施形態にあっては、映像に関する差分データ１０１ｂは、Ｐフレームのデータとすることとしているが、更にＩフレームとＰフレームとの間に映像に関する差分データ１０１ｂとしてＢフレーム（Bi-directionally Predictive-Picture、差分フレーム）のデータを含むこととしてもよい。

更に、上述した実施形態にあっては、デコード処理を行うためのデータ１０３は、映像データ１０１のデコード処理を行うためのデータ１０３ａおよび音声データ１０２のデコード処理を行うためのデータ１０３ｂを含むこととしているが、いずれか一方としても所要の効果を奏することができる。すなわち、デコード処理を行うためのデータ１０３は、映像データ１０１のデコード処理を行うためのデータ１０３ａおよび／または音声データ１０２のデコード処理を行うためのデータ１０３を含むこととすれば、本発明の技術的効果を達成することができる。

更にまた、映像データ１０１のデコード処理を行うためのデータ１０３ａは、ＳＰＳ、ＰＰＳ、およびＳＥＩを含むこととしているが、少なくともいずれかを含むこととすればよい。また、映像データ１０１のデコード処理を行うためのデータ１０３ａは、ＳＰＳ、ＰＰＳ、およびＳＥＩ以外のデータを含むこととしてよい。

また、更に、音声データ１０２のデコード処理を行うためのデータ１０３ｂは、ＡｕｄｉｏＳｐｅｃｉｆｉｃＣｏｎｆｉｇを含むこととしているが、他のデータを含むこととしてもよい。

更にまた、上述した実施形態にあっては、第１のサーバ２におけるデータ生成部３０において、映像データ１０１をキーフレームのデータ１０１ａと映像に関する差分データ１０１ｂとするデータ処理を行うこととしているが、配信端末２において、キーフレームのデータ１０１ａと映像に関する差分データ１０１ｂとするデータ処理を行うこととして、第１のデータ入力部１０が、キーフレームのデータ１０１ａと映像に関する差分データ１０１ｂを入力することとしても所要の効果を奏することができる。

また、上述した実施形態にあっては、データ単位Ｄは、一のキーフレームのデータ１０１ａと複数の映像に関する差分データ１０１ｂを含むこととしているが、ヘッダ情報としてキーフレームのデータ１０１ａの前に付加される映像データ１０１のデコード処理を行うためのデータ１０３ａを更に含めてデータ単位Ｄとすることとしてもよい。

更に、上述した実施形態にあっては、データ単位Ｄの配信時間（出力時間）は、データ単位Ｄにおいて最初のデータ（キーフレームのデータ１０１ａ）が配信されてから最後のデータ（最後の映像に関する差分データ１０１ｂ）が出力されるまでの時間とすることとしているが、最初のデータを映像データ１０１のデコード処理を行うためのデータ１０３ａとして、データ単位Ｄの配信時間（出力時間）を設定することとしてもよい。

ＮＴ：ネットワーク通信回線
１：配信システム
１Ａ：バス
１Ｂ：中央処理装置
１Ｃ：記憶装置
１Ｄ：入力装置
１Ｅ：表示装置
２：配信端末
３：第１のサーバ
４：第２のサーバ
５：被配信端末
１０：第１のデータ入力部
２０：データ分離部
３０：データ生成部
４０：第１のデータ記憶部
５０：データ出力部
６０：第２のデータ入力部
７０：第２のデータ記憶部
８０：データ複製部
９０：第１のデータ配信部
９２：第２のデータ配信部
９４：第３のデータ入力部
９６：デコード処理部
１００：動画データ
１０１：映像データ
１０１ａ：キーフレームのデータ
１０１ｂ：映像に関する差分データ
１０２：音声データ
１０３：デコード処理を行うためのデータ
１０３ａ：映像データのデータ処理を行うためのデータ
１０３ｂ：音声データのデコード処理を行うためのデータ
２００：プログラム

Claims (14)

1. 動画データを配信する配信システムであって、
   前記動画データは、映像データを含むとともに、前記映像データは、キーフレームのデータを含み、
   前記キーフレームのデータを配信する第１のデータ配信部と第２のデータ配信部を有することを特徴とする配信システム。
2. 動画データを配信端末から被配信端末に配信する配信システムであって、
   前記動画データは、映像データを含むとともに、前記映像データは、キーフレームのデータを含み、
   前記配信端末から映像データを入力するデータ入力部と、
   前記キーフレームのデータを前記被配信端末に配信する第１のデータ配信部と第２のデータ配信部を有することを特徴とする配信システム。
3. 動画データを配信端末から被配信端末に配信する配信システムであって、
   前記動画データは、映像データと音声データを含むとともに、前記映像データは、キーフレームのデータと映像に関する差分データを含み、
   前記配信端末から映像データと音声データを入力するデータ入力部と、
   前記キーフレームのデータおよび映像に関する差分データを含む映像データと前記音声データを前記被配信端末に配信する第１のデータ配信部と、
   前記映像データから少なくとも前記キーフレームのデータを前記被配信端末に配信する第２のデータ配信部と、を有することを特徴とする配信システム。
4. 前記映像データは、前記キーフレームのデータと前記映像に関する差分データを含む所定のデータ単位の映像データとするとともに、
   前記第１のデータ配信部は、前記映像データを前記データ単位ごとに前記被配信端末に配信し、
   前記第２のデータ配信部は、前記第１のデータ配信部により配信される前記データ単位の配信時間内において、前記データ単位の配信時間よりも短い所定の配信時間間隔で前記データ単位の映像データと並行して少なくとも前記キーフレームのデータを前記被配信端末に配信することを特徴とする請求項３に記載の配信システム。
5. 前記第１のデータ配信部は、前記データ単位の配信時間内において、前記データ単位の各データの配信時間間隔を前記データ単位の配信時間よりも短い所定の時間間隔として前記被配信端末に配信するとともに、
   前記第２のデータ配信部は、前記第１のデータ配信部における前記データ単位の各データの配信時間間隔と同じ配信時間間隔で少なくとも前記キーフレームのデータを前記被配信端末に配信することを特徴とする請求項４に記載の配信システム。
6. 前記映像データから少なくとも前記キーフレームのデータを記憶するデータ記憶部を有し、
   前記第２のデータ配信部は、前記データ記憶部に記憶されたデータを前記被配信端末に配信することを特徴とする請求項３乃至請求項５のいずれか一項に記載の配信システム。
7. 前記映像データと前記音声データのデコード処理を行うデコード処理部を有することを特徴とする請求項３乃至請求項６のいずれか一項に記載の配信システム。
8. 前記デコード処理を行うためのデータは、前記第１のデータ配信部により配信されるデータに含まれるとともに、前記第２のデータ配信部により配信されるデータに含まれ、前記第２のデータ配信部により前記被配信端末に配信されることを特徴とする請求項７に記載の配信システム。
9. 前記デコード処理部は、前記被配信端末に設定されることを特徴とする請求項７または請求項８に記載の配信システム。
10. 前記デコード処理を行うためのデータは、前記映像データのデコード処理を行うためのデータおよび／または前記音声データのデコード処理を行うためのデータを含むことを特徴とする請求項８または請求項９に記載の配信システム。
11. 映像データを含む動画データを配信する配信システムのコンピュータを、
    前記映像データにおけるキーフレームのデータを配信する第１のデータ配信部と第２のデータ配信部を有することを特徴とするプログラム。
12. 動画データを配信端末から被配信端末に配信する配信システムのコンピュータを、
    前記配信端末から映像データを入力するデータ入力部と、
    前記映像データにおけるキーフレームのデータを前記被配信端末に配信する第１のデータ配信部と第２のデータ配信部を有することを特徴とするプログラム。
13. 映像データと音声データを含む動画データを配信端末から被配信端末に配信する配信システムのコンピュータを、
    前記配信端末から映像データと音声データを入力するデータ入力部と、
    キーフレームのデータおよび映像に関する差分データを含む前記映像データと前記音声データを前記被配信端末に配信する第１のデータ配信部と、
    前記映像データから少なくとも前記キーフレームのデータを前記被配信端末に配信する第２のデータ配信部と、を有することを特徴とするプログラム。
14. 請求項１１〜請求項１３のいずれか一項に記載のプログラムを記憶することを特徴とするコンピュータ読み取り可能な記憶媒体。
    
    
    
    

Images