JP2010050914A - 動画像配信システム、方法及びプログラム - Google Patents

Abstract

【課題】動画像コンテンツに貼り付けるフレームのサイズを動画像コンテンツに応じて動的に変更することを可能とする。
【解決手段】クライアント装置で受信した動画像の情報を取得する動画像情報解析手段１０７と、受信した動画像に貼り付けるフレームを作成するフレーム作成手段と、受信した動画像の情報をもとにフレームを変更するフレーム編集手段１０８と、動画像データの表示方法を変更する動画像編集手段１０５とを有する。
【選択図】図１

Description

本発明は、動画像データを送信し、表示する際の動画像編集システム等に関する。

インターネットのような品質非保証のネットワークにおいてデータ通信を行う場合、ネットワークで生じたエラーによるデータ損失は避けられない。特に、H.263やMPEGなどの差分コーデックによって圧縮された動画像を転送する場合、データ損失の影響は画像の空間、時間方向にも伝播するため、送信レートの制御とは別の問題としてエラーへの対応が重要となってくる。

ネットワークの状況により、画像データのトリミング、間引きなどにより解像度を落とし、あるいは画像あたりのビット数を減らすような処理を行うことも行われている。例えば特許文献１では、配信先のクライアント装置の受信処理環境に応じて動画像の各フレームの符号化を制御し、受信処理環境の悪いクライアント装置でも主要部分については高い品質で再生可能とするように符号化を制御する仕組みを提案している。

動画像コンテンツの表示方法に関して、MPEG-4では、自然画像/音響、合成画像/音響、テキストなど多種多様なAVオブジェクトを統一的に扱えるようにシーン記述という考え方が導入されている。シーン記述によってAVシーンを構成する各AVオブジェクトの時間的・空間的な相互関係や属性が記述される。また、シーン記述を更新することで、AVオブジェクトの追加・削除や位置・属性の変更が可能である。また、ユーザからインタラクティブな操作も可能である。

このように動画像コンテンツを単体で表示するだけでなく、テキストや静止画と統一的に扱うことにより、ユーザの希望に合った見せ方が可能になる。このように動画像コンテンツをテキストや静止画と組み合わせて表現することを実現する手段の１つとして、SVG(Scalable Vector Graphics)が挙げられる。

SVGは、ベクター・グラフィックス言語のオープンなスタンダードであり、これを利用することで、プレーンテキストのコマンドで、高解像度のグラフィックスを含むWebページをデザインすることが可能となる。しかも、これらのグラフィックスは、グラデーション、アニメーション、フィルタ・エフェクトなどのエレメントを含むことが可能である。

ここに、ベクター・グラフィックスとは画像を、点の座標とそれを結ぶ線や面の方程式のパラメータ、及び塗りつぶしや特殊効果などの描画情報の集合として表現したデータである。画像は表示する都度、計算を行って画像を再現するため、画像を拡大・縮小したり変形したりしても、輪郭の処理などがその都度行われ、解像度に見合った画質が維持される。また、基本的にサイズの縮小や変形などによってデータが失われることはない。

特開２００５−０９４５７８号公報

特許文献１に記載の技術にあたっては、動画像の主要部分の品質は保証されるが、それ以外の部分の品質が低いため、同一動画像内での画質の差によるコンテンツ表示時の違和感が生じるという問題があった。

そこで、本発明の目的は、動画像コンテンツに貼り付けるフレームのサイズを動画像コンテンツに応じて動的に変更することを可能とする動画像配信システムを提供することを目的とする。

本発明は上記目的を達成するために、動画像データの解析を行う画像分析手段と、回線状況に関する情報を取得する回線状況情報取得手段と、配信先の端末の機能に関する情報を取得する表示端末情報取得手段とを有する動画像配信システムであって、クライアント装置で受信した動画像の情報を取得する動画像情報解析手段と、受信した動画像に貼り付けるフレームを作成するフレーム作成手段と、受信した動画像の情報をもとにフレームを変更するフレーム編集手段と、動画像データの表示方法を変更する動画像編集手段とを有することを特徴とする動画像配信システム等、を提供する。

本発明によれば、動画コンテンツを配信する際に、回線状況の影響を受けることなく、動画コンテンツ内の主要部分を確実に且つ高品質で表示すると同時にコンテンツ表示時の違和感を少なくすることを可能とする。

以下、本発明の好ましい実施の形態について図を用いて説明する。なお、以下の実施形態ではフレームの記述言語としてSVGを例に挙げているが、フレームの記述言語としてはSVGに限らず、ベクター・グラフィックス等のサイズ指定が可能な言語も適用することが可能である。

＜第１の実施形態＞
本発明では、動画像データに対してフレームを貼り付けて、受信端末側で表示しているが、このような利用状況としては例えば、運動会の徒競走をビデオで撮影し、それを遠方にいる人に配信する状況を考える。

動画像データ配信時には、動画像のデータ量を減らすことで画質の低下を抑えることができる。動画像のデータ量を減らすために、動画像データのサイズの縮小や、符号量削減などが考えられる。ただ、動画像データ全体のサイズを小さくすると、動画像内の主要部分が見づらくなり、また、動画像データ全体の符号量削減によっても画質低下により主要部分が見づらくなる可能性がある。

更に、サイズを小さくすると元データとの差分部分が黒く表示されることや、符号量が大きい部分と小さい部分との画質の差異により、表示時に違和感を覚える可能性がある。そこで、黒く表示された部分や符号量の小さい部分に関しては、フレームで隠すことにより、表示時の違和感を軽減する。

図１は、本発明における動画像配信システムの実施の形態に係るデータ通信装置の構成を示すブロック図である。本発明における第１の実施の形態に係る動画像配信システムは、本発明の画像編集装置１０１と、本発明のフレーム編集装置１０６をネットワークの回線経由で接続した構成である。

画像編集装置１０１は、回線状況情報取得部１０３で回線状況に関する情報を、画像分析部１０２で元の動画像データを分析し、動画像の符号量の分布やサイズ情報を取得する。そして、表示端末情報取得部１０４で得た表示端末に関する情報や、回線状況をもとに画像編集部１０５で動画像データの編集を行う。この編集した動画像データを受け取ったフレーム編集装置１０６では、まず画像情報取得部１０７で動画像データに関する情報を取得する。

この動画像データの情報には、動画像データのサイズ、符号量分布などが挙げられる。そして、フレーム編集部１０８で、取得した動画像データの情報と元のフレームサイズをもとにフレームサイズを調節する。回線状況に応じて行う動画像データの編集例としては、データのサイズ（スケール）の調節、動画像データ全体または部分的な符号量調節などが挙げられる。動画像データのサイズ調節といっても、動画像データのスケールの調節や、部分切り出しによるものが考えられる。

本実施の形態では、動画像データのスケールの調節、部分切り出し、主要部分の符号量調節について説明する。なお、本実施の形態では、上記の3つを例に挙げて説明するが、回線状況に応じて行う動画像データの編集方法はを上記に限定するものではない。

１つめに動画像データのサイズ（スケール）調節について説明する。フレーム編集装置１０６は、図２に示すように画像情報解析部１０７で画像データのサイズ情報を取得し、それに合わせてフレーム編集部１０８で、フレームサイズを調節する。

具体的に図２を用いて説明すると、元の動画像データ２０１のサイズが図２中に示すＡからＣに縮小されると、貼り付けるフレーム２０２のサイズはＢからＤへと変更する。ここでは、回線混雑時において動画像データを縮小する場合を例に挙げたが、回線に余裕があるときに動画像データを拡大表示する場合も同様に動画像データのサイズに合わせてフレームサイズを調節する。

２つめは動画像データの主要部分を切り出すことによるサイズ調節について説明する。これは、動画像データ内に重要度をつけ、回線状況により算出したサイズをもとに、重要度の高い部分を切り出す、というものである。

フレーム編集装置１０６の画像情報取得部１０７で、この切り出した動画像データのサイズを取得し、このサイズに合わせてフレームサイズを変更する。ただし、この場合、動画像データ全体のサイズを変えるのではなく、主要部分を中心として指定されたサイズ分を切り出す。

具体的に図３を用いて説明すると、元の動画像のサイズをＡからＣに変更する場合、主要部分３０１を中心としてＣ分のサイズを切り出す。そして、それに合わせてフレームサイズをＢからＤへ変更する。

３つめは、動画像データ内の主要部分の符号量調節によるサイズ調節について説明する。フレーム編集装置１０６内の画像情報取得部１０７は、動画像データの分析を行い、符号量の分布情報を取得する。この情報をもとに、符号量の高い部分を残し、それ以外の部分がフレームで隠れるようにフレームサイズを変更する。

具体的に図４を用いて説明すると、元の動画像データのサイズはＡであり、符号量が大きい部分のサイズＣ分を表示する場合は、フレームサイズをＢからＤに変更する。

フレームの記述には、ベクター・グラフィックスを用いるが、ベクター・グラフィックスの一例としてSVGを例に挙げてフレームに記述について説明する。図５にSVGの記述例を示す。これは、“xxx.avi"という動画ファイルと円と長方形が記述されたオブジェクトを作成することができる。

３行目の記述に“width = 420" height=“340"という記述があるが、この部分を調節することによりフレーム全体のサイズを調節することができる。また、画像全体のサイズ調節だけでなく、画像に含まれる個々のオブジェクトのサイズも調節することができる。

例えば、図６に示すようなフレームがあったとする。白抜きの部分６０２に動画像データを貼り付ける場合、動画像データが元の白抜き部分６０２よりサイズが小さい場合は、白抜きの部分６０２の“width"と“height"を調節することにより、動画像データに合った枠を提供する。

＜第２の実施形態＞
本発明における２つ目の実施の形態として、複数のディスプレイ対応として、表示するディスプレイに応じたフレームサイズの変更について説明する。ここでは、ディスプレイによって生じる表示環境の違いとして、解像度を例に挙げる。

HDのディスプレイで表示していたコンテンツを、SDのディスプレイに表示する場合、ディスプレイにおける解像度の違いにより、動画像データの表示サイズが異なる。そのため、端末機器の能力（解像度等）に合わせてフレームのサイズも変更する。

なお、複数ディスプレイ表示対応項目として、本発明の実施の形態として上記の例では、解像度の違いを例に挙げたが、ディスプレイ表示時に動画像データの編集を要するその他の項目に関しても適用できる。

＜第３の実施形態＞
本発明における３つめの実施の形態として、回線混雑時に動画像データのサイズを小さくし、それに伴いフレームサイズを大きくした場合の動画像データの編集について説明する。第１の実施形態でも説明したように画像編集装置１０１では、回線状況に応じて動画像データのサイズを変更する。

回線が混雑している場合は、動画像データのサイズを小さくすることになるが、この場合、動画像データ全体のサイズを小さくしてしまうと、図２に示すように主要部分が非常に見づらくなる可能性が生じる。そこで、回線状況によりデータサイズを小さくする必要が生じ、且つ動画像データ内の主要部分が指定されている場合は、サイズ調整時に動画像データの主要部分にズームして表示する。

そして、フレーム編集装置１０６は、受け取った動画像データのサイズをもとにフレームを構成するSVGのサイズ部分の調節を行う。具体的に図７を用いて説明する。元の動画像サイズをＡからＢに縮小する（７０１から７０５へ）。この場合、動画像データ全体を縮小することで、動画像データ内の主要部分が小さくなりすぎ、見づらくなる可能性が生じる。そこで、動画像データ内の主要部分（７０３）が指定されている場合は、その部分に焦点を当ててズーム（７０４）する。

図７に示したように動画像データ全体のサイズは小さくなっているが、重要ポイントのサイズは変わっていない。そして、フレーム７０２のサイズは、動画像データの縮小に伴い、ＣからＤへ調整した。本実施形態では回線の混雑が緩和され、且つ動画像の全体を表示する場合は、逆に動画像データのサイズを大きくし、フレームサイズを小さくすると同時に、動画像全体を映すような処理を行う。

＜第４の実施形態＞
本発明における第４の実施の形態として、ディスプレイ等の機器上で表示していたコンテンツを印刷するときのフレーム編集方法について説明する。PCで表示していたコンテンツを印刷する場合、PC側で元の画像サイズと印刷する用紙サイズをもとに画像サイズを調節している。本発明のように動画像データにフレームをつけて表示・印刷する場合にも、フレームに対して同様の処理を行う。

例えば、大型ディスプレイで表示していた動画像データとフレームのコンテンツを印刷する場合には、ディスプレイのサイズと印刷用紙のサイズをもとに、フレームのサイズ調節値を算出し、フレームを記述するSVG内のサイズ部分の値を変更する。

本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体をシステムに供給し、システムのコンピュータが記録媒体に格納されたプログラムコードを読み出し実行することによっても達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される。

本発明の動画像配信システムのブロック図である。 本発明に係る動画像のサイズ変更に伴うフレームサイズの変更を示す図である。 本発明に係る動画像の主要部分の切り出しとそれに伴うフレームサイズの変更を示す図である。 本発明に係る動画像の主要部分の符号量変更と、それに伴うフレームサイズの変更を示す図である。 本発明に係るＳＶＧの記述例を示す図である。 本発明に係る動画像に貼り付けるフレームの例を示す図である。 本発明に係る動画像のサイズ調節時に主要部分にズームし、フレームサイズを変更する例を示す図である。

符号の説明

１０１：画像編集装置
１０２：画像分析部
１０３：回線状況情報取得部
１０４：表示端末情報取得部
１０５：画像編集部
１０６：フレーム編集装置
１０７：画像情報解析部
１０８：フレーム編集部
２０１：動画像データ
２０２：フレーム
６０１：フレームの外枠
６０２：フレームの内枠
７０１：動画像データ
７０２：フレーム
７０３：動画像データの主要部分
７０４：動画像データ内の主要部分の拡大図
７０５：編集後の動画像データ

Claims (8)

1. 動画像データの解析を行う画像分析手段と、回線状況に関する情報を取得する回線状況情報取得手段と、配信先の端末の機能に関する情報を取得する表示端末情報取得手段と、を有する動画像配信システムであって、
   クライアント装置で受信した動画像の情報を取得する取得手段と、
   受信した動画像に貼り付けるフレームを作成する作成手段と、
   受信した動画像の情報をもとにフレームを変更するフレーム編集手段と、
   動画像データの表示方法を変更する動画像編集手段と、を有することを特徴とする動画像配信システム。
2. 前記作成手段は、ベクター・グラフィックスを用いてフレームを作成することを特徴とする請求項１に記載の動画像配信システム。
3. 前記フレーム編集手段は、前記取得手段により取得した動画像内の符号量の分布情報に基づき、フレームサイズを調節することを特徴とする請求項１に記載の動画像配信システム。
4. 前記フレーム編集手段は、前記取得手段により取得した動画像のサイズに基づき、フレームサイズを調節することを特徴とする請求項１に記載の動画像配信システム。
5. 前記フレーム編集手段は、動画像を表示する端末機器の能力に応じてフレームサイズを変更することを特徴とする請求項１に記載の動画像配信システム。
6. 前記動画像編集手段は、フレームのサイズと動画像のサイズにより、動画像コンテンツの表示方法を変更することを特徴とする請求項１に記載の動画像配信システム。
7. 動画像データの解析を行う画像分析工程と、回線状況に関する情報を取得する回線状況情報取得工程と、配信先の端末の機能に関する情報を取得する表示端末情報取得工程と、を有する動画像配信方法であって、
   クライアント装置で受信した動画像の情報を取得する取得工程と、
   受信した動画像に貼り付けるフレームを作成する作成工程と、
   受信した動画像の情報をもとにフレームを変更するフレーム編集工程と、
   動画像データの表示方法を変更する動画像編集工程と、を有することを特徴とする動画像配信方法。
8. 請求項７に記載の動画像配信方法の各工程をコンピュータにて実施させるプログラム。

Images