JP2012165371A - 複数のビデオを評価する方法及び評価サーバー - Google Patents

複数のビデオを評価する方法及び評価サーバー Download PDF

Info

Publication number
JP2012165371A
JP2012165371A JP2012010071A JP2012010071A JP2012165371A JP 2012165371 A JP2012165371 A JP 2012165371A JP 2012010071 A JP2012010071 A JP 2012010071A JP 2012010071 A JP2012010071 A JP 2012010071A JP 2012165371 A JP2012165371 A JP 2012165371A
Authority
JP
Japan
Prior art keywords
video
videos
relevance
priority value
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012010071A
Other languages
English (en)
Other versions
JP5408749B2 (ja
Inventor
Keller Wolfgang
ヴォルフガング・ケレラー
Munaretto Daniele
ダニエレ・ムナレット
Srisakul Thakolsri
スリサクル・タコルスリ
Eckehard Steinbach
エッケハルト・シュタインバッハ
Essaili Ali El
アリ・エル・エサイリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JP2012165371A publication Critical patent/JP2012165371A/ja
Application granted granted Critical
Publication of JP5408749B2 publication Critical patent/JP5408749B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】複数のビデオ制作者によって取り込まれたイベントの最適なライブビデオ配信を達成するように最適化する。
【解決手段】複数のビデオを評価する評価サーバーであって、複数のビデオの中で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するモジュールと、同じイベントから撮影されたものとして識別されたビデオについて、1つ又は複数のシーンに基づく関連度パラメータを自動的に取得するモジュールであって、該評価サーバーは、複数のビデオをリアルタイムで受信するモジュールと、関連度パラメータを取得してビデオの更新された優先度値を取得するモジュールと、優先度値に基づいて処理の優先度を再構成するモジュールとを備える。
【選択図】図1

Description

本発明は、複数のビデオを評価する方法及び評価サーバーに関する。
提案される方法は、例えば、いくつかのビデオ制作者によって同時に取り込まれた1つのイベントのリアルタイムビデオ配信に用いることができ、リソースを、ビデオソースからネットワークを通して受信装置(ビデオサーバー、ポータル等)まで最適化するのに用いることができる。
より高いビデオ品質解像度をサポートし、向上した機能を提供する移動電話の数が劇的に増大している。近年、ユーザーは、自身の移動電話における進化した特徴を利用し、日常生活のビデオをストリーミングし、それらのビデオをビデオポータルを通じてネットワーク内で共有している。サッカーの試合又はライブコンサートにおいて、そのイベントに参加しているユーザーは、イベントのビデオをリアルタイム(アーカイブなし)で取り込むことによって、自身の生の体験を他の人と共有することができる。
本発明の目的は、ユーザーがイベント参加時に撮影している自身のビデオをアップロードし、他のユーザーと共有することができるライブビデオポータルを実現することを可能にする方法及び装置を提供することである。
そのようなポータルを作成する試みは非常に困難である。原理上は、イベントに参加しているユーザーによってビデオをアップロードすることができ、かつそれらのビデオが他のユーザーが閲覧するために提供されるサーバーを提供することは容易である。しかしながら、そのようなシステムを、実際に実現可能であり、かつユーザーに満足のいく形で実現することは容易でない。例えば、コンサートのようなイベントに参加している多数のユーザーが存在する場合があり、結果として非常に多数のビデオストリームが生じる場合がある。帯域幅制約に起因して、それらのビデオストリームをアップロードするのは困難であり、さらに、それらのビデオストリームを、ユーザーが自身の興味のあるものを見つけることができる妥当な形でダウンロード用に提供することは困難である。そのようなイベントに基づくライブビデオポータルを可能にするのは、実際極めて困難である。
この問題は、関連する問題及び疑問、例えば、リソースをポータルのビデオストリームにどのように配分するかの問題につながる。リソース配分を最適化する手法が存在する。これらの手法は通常、ダウンリンクにおけるQoEに基づくクロスレイヤ最適化に関し、該クロスレイヤ最適化では、ネットワークリソース配分が、様々な層から抽出された情報に基づいて最適化される。例えば、非特許文献1において、アプリケーション層、ネットワーク層、MAC層、及び物理層からの情報を考慮に入れる方法が提案されている。最適化問題のために設定された目的関数に基づいてネットワークリソースが様々な形で配分される。例えば、ネットワークは全てのユーザーの最大平均ユーザー知覚品質を達成することを望む場合がある。非特許文献2又は特許文献1は、全てのユーザーが同様のサービス品質を知覚するようにネットワークリソースを配分することについて開示している。
アップリンクパケット送信におけるリソース配分は、例えば非特許文献3において論じられており、非特許文献3では、スケジューリングアルゴリズム及びリソース配分アルゴリズムが共同で実行される。
ビデオ用途のための予測ユーザー知覚品質のモデリングが、非特許文献4又は非特許文献5において論じられている。これらの研究は、MOSを予測ユーザー知覚品質の基準として用いている。
非特許文献6において、Thang他は、視覚的明瞭性及び動きの平滑性のみを基準として用いるのではなく、ビデオ内の意味的エンティティ(semantic entity)を用いてビデオ品質を評価する解析的フレームワークを提案している。アプリケーションモデリングの目的は、ユーザー知覚品質が、ネットワーク/アプリケーション性能メトリック(例えばデータレート、パケット損失、PSNR)に関してどのように変化するかを知ることである。
米国特許第5675576号
S. Khan、S. Duhovnikov、E. Steinbach、及びW. Kellerer、MOS-based multiuser multiapplication cross-layer optimization for mobile multimedia communication」、Advances in Multimedia, 2007, article ID 94918 B. Radunovic及びJ. Y. Le Boudec、A unified framework for maxmin and min-max fairness with applications」、IEEE/ACM Trans. on Networking, vol. 15, no. 5, pp. 1073-1083, Oct. 2007 J. Huang、V. G. Subramanian、R. Agrawal、及びR. Berry、「Joint scheduling and resource allocation in uplink OFDM systems for broadband wireless access network」、IEEE journal on selected areas in Communications, Vol. 27, Issue 2, Feb. 2009 ITU−T勧告J.144、「Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference」、March 2004 Z. Wang、L. Lu、及びA. C. Bovik「Video Quality Assessment Based on Structural Distortion Measurement」、IEEE Signal Processing: Image Communication, vol. 19, no. 1, pp. 121-132, Feb. 2004 T. C. Thang、Y. J. Jung、及びM. M. Ro、「Semantic quality for content-aware video adaptation」、Proc. IEEE Workshop on Multimedia Signal Processing (MMSP), pp. 41-44, Oct. 2005
しかしながら、従来技術のいずれも、移動ネットワークリソース配分が、複数のビデオ制作者によって取り込まれたイベントの最適なライブビデオ配信を達成するように最適化される問題に対処していない。
例えば「クラス」又は優先度すなわち「ランク」を割り当てることによって配分されたリソースを有する必要がある可能なチャネルの数及び多様性を考えると、これは容易な作業ではない。
極端な場合には、オペレーターは、最も低いユーザークラスに属するユーザーに対するリソースを拒否し(課金政策)、これによって、「プレミアム」加入者にのみビデオ共有を可能にする場合がある。さらに、より一層厳しいリソース制約の場合、ビデオ品質及び与えられる意味的情報の観点で最もメディアに貢献するもののみがビデオサーバーにプッシュされることになる。
1つの実施の形態によれば、複数のビデオを評価する評価サーバーであって、
複数のビデオ間で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、1つ又は複数のシーンに基づく関連度パラメータを自動的に取得するモジュールであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、前記1つ又は複数の関連度パラメータ値に基づいて優先度値を取得するモジュールであって、該優先度値は、前記同じイベントから撮影されたものとして識別された前記ビデオについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てること
を含む、取得するモジュールと、
を備え、該評価サーバーは、
前記複数のビデオをリアルタイムで受信するモジュールと、
前記シーンに基づく関連度パラメータを繰り返し取得して前記ビデオの更新された優先度値を取得するモジュールと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成するモジュールと、
を更に備える、複数のビデオを評価する評価サーバーが提供される。
これによって、異なるイベントから撮影された場合がある多数のビデオであるが、それらの複数のビデオのうちのいくつかは同じイベントから撮影され、同じイベントに属するものとして扱われる、多数のビデオを処理することができる、リアルタイムイベントに基づくビデオポータルの実現が可能になる。さらに、更新及び再構成によって、変化する環境への適応が可能になる。
1つの実施の形態によれば、前記ビデオは、ビデオポータルにおいて前記優先度値に従って優先度付けされ、該優先度値は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく1つ又は複数の関連度パラメータを含み、更に、PSNR、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく1つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
前記計算された優先度値に従って前記ビデオポータル内の前記複数のビデオを優先度付けすることであって、より高い優先度値を有するビデオがより低い優先度値を有するビデオよりも高く優先度付けされるようにする、優先度付けすることと、
に基づいて計算される。
センサーによって関連度パラメータを感知し、それに基づいて優先度値を計算することによって、ビデオの優先度に従った自動処理が可能になる。
1つの実施の形態によれば、前記ビデオは、ネットワークリソースを配分するための前記優先度値に従って優先度付けされ、前記計算された優先度値に基づく前記リソース配分は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく1つ又は複数の関連度パラメータを含み、更に、PSNR、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく1つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
最大優先度値を有し、かつ帯域幅をまだ割り当てられていない前記ビデオに帯域幅を配分することと、
前記配分することを、配分することができる全ての帯域幅が前記複数のビデオに割り当てられるまで繰り返すことと、
を用いて実行される。
これによって、感知された関連度パラメータ値に基づいて自動的に優先度付けされた処理を行うアルゴリズムが可能になる。
1つの実施の形態によれば、前記1つ又は複数のシーンに基づく関連度パラメータは、
ビデオを記録するのに用いるユーザーの移動デバイスの1つ又は複数の適切なセンサーによって感知されるコンテキスト情報であって、該コンテキスト情報は前記ビデオとともに前記評価サーバーに送信され、該コンテキスト情報は、
前記ビデオが記録された時刻と、
前記ビデオが記録されたロケーション情報と、
前記ビデオを記録する前記移動デバイスの2次元又は3次元のロケーション及び/又は傾きと、
のうちの1つ又は複数を含む、コンテキスト情報、
のうちの1つ又は複数に基づいて取得される。
これらの例は関連度パラメータの有利な例である。
1つの実施の形態によれば、前記評価サーバーは、前記複数のビデオのそれぞれについて取得された前記複数のシーンに基づく関連度パラメータに基づいて、結合されたシーンに基づく関連度パラメータを、前記ビデオのそれぞれの優先度値として計算するモジュールと、
前記結合された優先度値に従って前記処理を実行するモジュールと、
を更に備える。
結合されたシーンに基づく関連度パラメータによって、複数の関連度パラメータを考慮に入れることが可能になる。
1つの実施形態によれば、前記1つ又は複数のシーンに基づく関連度パラメータは、前記ビデオの前記地理的コンテキスト又は意味的コンテキストを表すコンテキスト情報に基づいて取得される。
これによって、関連度、すなわちロケーション及び意味的コンテキストを判定するのに特に有用なパラメータに基づいて優先度値を求めることが可能になる。
1つの実施の形態によれば、前記シーンに基づく関連度パラメータは、
前記シーンの視角と、
前記カメラによって記録された前記シーンからの距離と、
前記ビデオに記録された1つ又は複数の顔の大きさと、
前記ビデオの明度と、
解像度と、
PSNRと、
前記ビデオの知名度と、
のうちの1つ又は複数を反映する。
これらは関連度パラメータの例である。
1つの実施の形態によれば、前記複数のビデオは、複数のユーザーの前記移動デバイスにより同じイベント又は同じシーンを記録して生成され、該ビデオは、ビデオポータルを通じて他のユーザーに配信されるために前記ユーザーによって前記評価サーバーにアップロードされる。
これによって、ビデオを用いてビデオポータルを実現することが可能になる。
1つの実施の形態によれば、前記評価サーバーは、前記同じイベント又は前記同じシーンを記録しているビデオを自動的に認識する認識モジュールと、
前記複数のビデオを、該ビデオが記録しているそれぞれのシーン又はイベントに従ってグループ化するモジュールと、
ビデオのグループごとに別個に前記優先度付けされた処理を実行するモジュールと、
を備える。
これによって、ユーザーによってアップロードされたビデオの自動的なカテゴライズ及びグルーピングが可能になる。
1つの実施の形態によれば、前記評価は、分類モジュールであって、或る自動的に取得されたコンテキスト情報又は意味的情報が、或る数値的なシーンに基づく関連度パラメータにどのように変換されるかに関する情報を取得し、前記コンテキスト情報を取得し、前記格納された情報を参照して前記シーンに基づく関連度パラメータを取得する、分類モジュール、
を備える。
これによって、コンテキスト情報の関連度パラメータへの変換が可能になり、関連度パラメータは、その後、いくつかのメカニズムに従って、優先度値に変換することができる。
1つの実施の形態によれば、前記分類モジュールは、
或るロケーションを或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントからの或る距離を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る視角を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る明度を或るシーンに基づく関連度パラメータにどのように変換するかと、
のうちの1つ又は複数を格納する。
これによって、コンテキスト情報の関連度パラメータへの変換が可能になり、関連度パラメータは、その後、いくつかのメカニズムに従って、優先度値に変換することができる。
1つの実施の形態によれば、複数のビデオを評価する方法であって、
複数のビデオ間で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別することと、
ビデオごとに、1つ又は複数のシーンに基づく関連度パラメータを自動的に取得することであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得することと、
前記複数のビデオのそれぞれについて、前記1つ又は複数の関連度パラメータ値に基づいて優先度値を取得することであって、該優先度値は、前記複数のビデオのそれぞれについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てること
を含む、取得することと、
を含み、該方法は、
前記複数のビデオをリアルタイムで受信することと、
前記シーンに基づく関連度パラメータを繰り返し取得することであって、前記ビデオの更新された優先度値を取得する、繰り返し取得することと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成することと、
を更に含む、複数のビデオを評価する方法が提供される。
これによって、本発明の一実施の形態による方法を実施することが可能になる。
1つの実施の形態によれば、コンピューターによって実行されると、該コンピューターが本発明の実施の形態のうちの1つによる方法を実行することを可能にするコンピュータープログラムコードを含むコンピュータープログラムが存在する。
本発明の一実施形態を概略的に示す図である。
以下において、同じイベントに関する複数のビデオソース(例えばコンサート、フットボールの試合等に参加しているモバイルユーザー)によって生成されたライブビデオコンテンツの配信のための実施形態を説明する。ユーザーは、異なる能力(カメラ解像度、ビデオ品質等)を有するカメラを用いて、異なる角度からイベントを取り込み、該イベントをストリーミングすることができる。
まず始めに、1つの基本実施形態を説明する。この実施形態では、アップロードされたビデオを受信している評価サーバーが(例えばモバイルオペレーターのネットワークにおいて)存在する。コンサート、スポーツイベント、又は任意の他の公的イベントのような様々なイベントに対応することができる、異なる時刻に極めて異なるロケーションからアップロードされたビデオが存在することができる。
1つの実施形態によるサーバーは、アップロードされたビデオ間で、同じイベントを取り込んだビデオを識別するモジュールを備える。これは例えば、アップロードされたビデオとともに送信され、ビデオが撮影された移動電話のGPSセンサーから導出することができる地理的情報を評価することによって達成することができる。加えて、ビデオが撮影された時刻を考慮に入れて、該ビデオが同じイベントを取り込んでいるか否かを判定することができる。
例えば、サッカースタジアムのロケーションの地理的境界のような所定の地理的エリアが存在することができる。このとき、地理的情報がサッカースタジアムの地理的エリアに対応し、取込み時刻がサッカーの試合の時刻に対応する全てのアップロードされたビデオを、同じイベント、すなわちサッカーの試合を示すものと判定することができる。
このようにして、モジュールは同じイベントを示すビデオを識別することができる。
そして、サーバーは1つ又は複数のシーンに基づく関連度パラメータを取得するモジュールを更に備えることができる。各シーンに基づく関連度パラメータは、ユーザーに対するビデオの内容(「意味的内容(semantic content)」)の関連度を、最小関連度パラメータ値(ゼロ又は更には負とすることができる)から最大関連度パラメータ値の範囲をとる段階で数値によって表す。
関連度パラメータは、例えば、「シーンからの距離」若しくは「ステージからの距離」、「視角」、又は、ユーザーに対し、特定のパラメータの観点でビデオの内容の関連度を表す形で該内容を反映する任意の他のパラメータのようなパラメータとすることができる。最大関連度パラメータに対応する「最良視角」及び最小関連度パラメータに対応する「最悪視角」が存在することができる。
視角と関連度パラメータとの間の対応は、サッカースタジアム又はコンサートホール等の或るロケーションについて所定とすることができる。
モジュールによって1つ又は複数の関連度パラメータを取得することができる。
そして、同じイベントを示すビデオについて、関連度パラメータ(複数の場合もあり)に基づく優先度値を取得するモジュールを提供することができる。2つ以上の関連度パラメータが存在する場合、それらのパラメータを何らかの数学的計算方法で結合し、結合関連度パラメータを取得することができ、関連度パラメータが1つしか存在しない場合、該関連度パラメータが優先度値に直接対応することができる。
優先度値は、該優先度値の対応するビデオについて、或る処理が該ビデオのために実行されるべき優先度を表し、それによって、処理はビデオをアップロードするために該ビデオにネットワークリソース(帯域幅等)を割り当てることとすることもできるし、ユーザーによるダウンロード用又は閲覧用にビデオを提供することとすることもできる。
アップロードされたビデオが複数の場合、処理(リソース配分、閲覧又はダウンロードの提供)は、ビデオに割り当てられた優先度値に従って実行される。より高い優先度を付けられたビデオには、アップロード用により多くのネットワークリソースを配分しておくことができ、(例えば、ポータルにおいてダウンロードのために、より大きく示すか、より早く示すか、又はより目立つ場所に示すことによって)ユーザーによるダウンロード又は閲覧を提供するために、より高い優先度を付けることができる。
このようにして、イベントに基づくビデオハンドリング(アップロード及びダウンロード)を実施することができる。イベントに基づくビデオハンドリングは、潜在的に多数のビデオ及び関連事項(implication)の課題と、これによって、リソース配分、並びに閲覧用及びダウンロード用のビデオを提供するユーザーインターフェースについて生じる問題とに対処することができる。
1つの実施形態によれば、ビデオを取り込むのに用いられる移動電話又は移動デバイスは、関連度パラメータを感知するのに用いられる1つ又は複数のセンサーを装備している。距離又は視角は、GPSセンサー又は向き/回転センサーを用いて感知することができる。例えば、サッカースタジアム又はイベントのロケーションは、複数の領域に分割することができ、それらの領域は、ビデオが該領域から取り込まれたときに割り当てられた対応する関連度パラメータを有する。同様に、或る視角又は範囲に、対応する関連度パラメータを割り当てておくことができる。関連度パラメータは、PSNR、解像度、又は明度のような、シーンに基づく関連度パラメータも含むことができる。1つの実施形態によれば、次に、複数の関連度パラメータが、それらのパラメータの加重和を計算することによって結合されて、ビデオの優先度値が得られ、次に該ビデオの優先度値が、リソース配分又は閲覧若しくはダウンロードの提供等の或る処理に関する優先度付けに用いられる。
1つの実施形態によれば、優先度を付けられた処理は、帯域幅の配分であり、これはこの実施形態において以下のように行われる。
ビデオの優先度値を計算した後、まず、最も高い優先度値を有し、かつまだ帯域幅を一切配分されていないビデオに帯域幅が配分される。次に、メカニズムは、次に高い優先度を有するビデオに帯域幅を配分することへと進み、そして再び、その次に高い優先度を有するビデオへと進み、以下同様である。このとき、このプロセスは配分に利用可能な全ての帯域幅が配分されるまで反復される。
1つの実施形態によれば、シーンに基づく関連度パラメータは、ビデオが取り込まれた移動デバイスの1つ又は複数のセンサーによって取得されるコンテキスト情報に基づく。次に、コンテキスト情報はビデオとともに送信され、シーンに基づく関連度パラメータを取得するのに用いられる。これは例えば、ビデオが記録された時刻とすることができる(例えば、中断は、サッカーの試合の一方のチームの得点時と比較して関連度がより低い)。コンテキスト情報の別の例は、移動デバイスのロケーションであり、また別の例では、視角を求めるのに用いられることができる移動デバイスの向きである。
1つの実施形態によれば、次に、個々のシーンに基づく関連度パラメータ値に基づいて、結合されたシーンに基づく関連度パラメータ値を優先度値として計算することによって、優先度値が得られる。次に、この優先度値を、処理を優先度付けするのに用いる。
1つの実施形態によるシーンに基づく関連度パラメータは、ビデオの地理的コンテキスト又は意味的コンテキストを表すか又は反映する。地理的コンテキストはロケーションとすることができ、意味的コンテキストは視角又はストリームのコンテンツとすることができる。コンテンツの例は、認識することができる顔が存在するか、及びスクリーンに対するそのような顔の大きさとすることができる。大きな顔を示すストリームの場合、関連度は、例えば小さな顔を有するか顔を一切有しないビデオストリームの場合よりも高くすることができる。
既に言及したように、複数のシーンに基づく関連度パラメータを考慮に入れることができ、次にそれらの関連度パラメータを結合して結合値を得ることができる。関連度パラメータの例は、視角、距離、ビデオ上の顔の大きさ、解像度、又はPSNRである。
1つの実施形態によれば、シーンに基づく関連度パラメータを繰り返し送信し、繰り返し評価して、各ビデオの(新たな)優先度を繰り返し得ることができる。このようにして、利用可能なビデオの「サンプル」における変化を考慮に入れることができ、例えば、ユーザーが自身の以前の場所から、よりステージの方へ移動したことに起因して、このときビデオストリームの関連度がより高くなった場合、このビューの優先度を増大させることができる。結果として、ビデオポータルにおいて、このビューは、より高いランクのより目立つ場所で、例えば利用可能なビデオのリストのより上位において、閲覧用に提供することができる。同様に、リソース配分を新たな優先度値に適応させることができる。
評価の繰返しは、例えば或る所定の頻度で実行することができる。
1つの実施形態による評価サーバーはネットワークの一部とすることができ、アップロードされたビデオの優先度を求めるために該ビデオを受信することができる。1つの他の実施形態によれば、ビデオは或るサーバーにアップロードされ、評価サーバーは別個のエンティティであり、対応するコンテキスト情報の必要な関連度パラメータのみを受信し、次に各ビデオの優先度値を求め、該優先度値をサーバーに返送し、サーバーにおいて、アップロードされたビデオが格納され処理される。このサーバーはビデオポータルの一部とすることができ、該ビデオポータルの一部において、ビデオをアップロードすることができ、次に該ビデオがダウンロード用に提供される。この目的のために、ポータルはユーザーインターフェースを提供することができ、該インターフェースにおいて、ビデオは、それらのビデオが示しているイベントに従ってソートされる。次に、同じイベントのビデオはダウンロード用に提供するために(例えば、該ビデオのアイコンを示すことによって)表示され、その表示及び提供が、例えば、より高い優先度を付けられたビデオを、より低い優先度を付けられたビデオよりも大きくかつ/又はより目立つ位置に示すことによってそれらのビデオの優先度を反映するようにする。
ポータルは異なるイベントに対応するビデオグループを提供することができ、各イベントのビデオについて、該イベントが選択されると、それらのビデオの優先度に従って提供が行われる。グループ化は、ビデオが或るイベント(サッカーの試合等)に属することを認識するモジュールに基づいて完全に自動的に行うことができる。グループ(又はイベント)を特定することができないビデオについて、グループカテゴリ「その他」が存在することができ、このとき、ビデオはそのグループカテゴリにカテゴライズされる。
このようにして、完全に自動化されたイベントに基づくビデオポータルを作成することができ、該ビデオポータルはアップロードされたビデオをカテゴライズし、該ビデオをそれらの優先度に従って、例えばダウンロード用又は閲覧用に提供するために処理する。
1つの実施形態によれば、サーバーは、コンテキスト情報を受信することが可能であり、かつ該コンテキスト情報をシーンに基づく関連度パラメータに変換する分類モジュールを備える。このモジュールは、例えば、或るコンテキスト情報値と対応する関連度パラメータとの間の対応に関する情報を格納することができる。コンテキスト情報が地理的ロケーションである場合、このモジュールは、例えば、スタジアム又はコンサートホール内のいずれのロケーションがいずれの関連度パラメータに対応するかに関する情報を格納することができる。ルックアップを実行することによって、次に関連度パラメータを求めることができる。同様にして、「視角」又は「PSNR」等の他のコンテキスト情報も、或るコンテキスト情報値に対応する関連度パラメータを割り当て、その対応を、ルックアップすることができるように分類モジュールに格納することによって分類することができる。
以下において、更なる実施形態を説明する。
1つの実施形態によれば、アップストリームのためのリソース配分を最適化する方法が提供される。すなわち、同じイベントのビデオストリーム制作者によって同時に提供されたビデオ特性(カメラ解像度、シーンの関連度、すなわち意味的内容等の品質メトリック)の最良の結合を有するビデオが選択され優先度付けされ、ネットワークを通じてビデオポータル又はビデオサーバーに送信される。ここから、ビデオはビデオ消費者にリアルタイムで提供される。このため、オペレーターは、望ましくないプッシュ型ネットワークトラフィックの増大を回避することによってネットワークリソースを制御する一方で、依然として、同じイベントの最良のビデオコンテンツをビデオストリーム消費者に提供することができる。
1つの実施形態による配分手順は、ユーザーに対するビデオコンテンツの「関連度」に基づいてビデオコンテンツを考慮に入れる。コンテンツ、又は場合によって称される「意味的内容」(重要なのはコンテンツがユーザーにとって何を「意味する」かであるため)が、ユーザーに対するその関連度に基づいて考慮に入れられる。1つの実施形態によれば、ビデオストリームの、品質、例えば解像度等の追加の他の特性を考慮に入れることができる。考慮に入れることができる別の特性は、取り込まれているイベントの「重要度」(例えば記録の全体イベント又はサブセットの知名度、これはイベント又は或るストリームに対する「クリック数」に基づいて測定することができる)とすることができる。考慮に入れられる特性の他の例は、例えばビデオ効用関数(例えば動的/静的ビデオ)、及び各ビデオ制作者のチャネル状態とすることができる。
1つの実施形態による方法は、考慮に入れられる特性に基づいて、ライブイベントをリアルタイムで見ているユーザー(ビデオ消費者)が知覚する全体品質を最大にする、ストリームの最適ネットワークリソース配分を求める。
1つの実施形態では、最良のビデオ(複数の場合もあり)、すなわちリアルタイムストリーミングによって与えられるビデオ及びコンテンツ関連度(ユーザーに対するビデオの意味的情報の関連度)の最良の組合せが、ビデオ消費者にストリーミングされる。このため、他のビデオは、例えばアップストリームから排除するか、又は選択されたストリームと比較して最小のリソース消費に低減することができ、これは、最適化アルゴリズムを適用することによって、そのようなライブビデオコンテンツをコミュニティ内でリアルタイムに共有するのに必要とされるアップストリームトラアフィックが低減することを意味する。
1つの実施形態によれば、ポータルにおけるビデオ又はビデオストリームプロセスは、優先度値すなわち「ランク」を割り当てられる。
極端な場合には、オペレーターは、最も低いユーザークラスに属するユーザーに対するリソースを拒否し(課金政策)、これによって、「プレミアム」加入者にのみビデオ共有を可能にする場合がある。さらに、より一層厳しいリソース制約の場合、ビデオ品質及び与えられる意味的情報の観点で最もメディアに貢献するもののみがビデオサーバーにプッシュされることになる。
ビデオストリームのユーザー知覚品質は、或る程度、移動端末及びネットワークの能力に依拠するが、1つの実施形態によれば、優先度値を求めるための基準として、ビデオの内容又はユーザーに対する内容の「関連度」が用いられる。これはビデオの「意味的情報」又は「意味的内容」と呼ぶことができる。「意味的内容」は、ビデオのコンテンツが該コンテンツの関連度の観点でユーザーに対して有する「意味」として理解すべきである。そのような「意味的情報」又は「意味的内容」は、例えばビデオが取り込まれたアングルとすることができる。ビデオストリーム消費者は、アクション(例えばフットボールの試合)に近いか、又は消費者が興味を有する詳細を明確に識別するためにそのようなアクションに関与する主要なプレイヤーの正面のビデオ制作者の視点を好む場合がある。そのようなビデオのコンテンツは、異なる視覚からのコンテンツより、ユーザーに対し高い関連度を有し、これは、視角に対応する「意味的情報」又は「意味的内容」がユーザーに対しより関連性のある「意味」を有することを意味する。
1つの実施形態において、進化型の能力を有する移動電話を用いることによって与えられるビデオ品質と、ショットビデオによって並行して搬送される意味的情報との結合を用いて、同じイベントの全てのビデオストリーム間でビデオをランク付けし、それによってビデオの関連度を考慮に入れる。さらに、同じイベントの生成されたコンテンツを共有する複数のビデオ制作者へのネットワークリソース配分の最適化も、ネットワークオペレーターによって1つの実施形態に従って実行し、ネットワークリソースを効率的に配分することができる。
本発明の実施形態は、複数の有利な効果を達成することができる。
1つの例は、シーン(意味的内容)の関連度を含む、ビデオ品質メトリックの最良の結合を保証しながら、同じイベントから(例えば複数の参加者によって)生成されたライブビデオコンテンツの配信のために、より効率的にリソースを配分することからなる。オペレーターの観点からは、これは、少なくとも消費者満足を保持又は向上しながら、望ましくないネットワークトラフィックの増大を回避することにつながる。
本発明の更なる実施形態は以下を可能にする。
−或るイベントのポータル/サーバーによって提供されるビデオストリームの高速選択(リアルタイム用途に重要である)、
−適応リソース配分(プッシュ型トラフィック)、
−ビデオポータル又はネットワークにおける過負荷バッファリング及び処理の回避。
以下でアップストリームのためのネットワークリソース配分に関する最適化問題を解決する疑似アルゴリズムの一実施形態を検討する前に、本発明の一実施形態が実際にどのように機能するかを更に明らかにするために、図1に関連して、より単純な実施形態の説明を与える。
図1において、左側に複数のビデオ制作者(移動端末に限定されるものとして理解されるべきでなく、ネットワークにリアルタイムでプッシュされるビデオコンテンツを生成する任意のデバイス/ノードとすることができる)、すなわち同じイベント(サッカーの試合のようなスポーツイベント等)の参加者であるがビデオ品質メトリック(関連度パラメータに対応する)の異なる結合を有するビデオストリームを提供する参加者が示されている。簡単にするために、3つの一般的なビデオメトリックA、B、及びCが仮定され、各メトリックに区間[1,10]から点数(mark)が与えられる。ここで、所与のメトリック(又は関連度パラメータ)について1が最低点であり、10が最高点である。
ビデオコンテンツは、明度(brightness)、輝度(luminance)、コントラスト、視角(イベントからの距離も与えるGPS、顔認識ソフトウェア、又はカメラの見通し線を求めるのに用いることができる向きセンサーからのデータを介して空間カバレッジ情報の組合せから導出することができる)、画像の動き、安定性、カメラ解像度、フレームレート、背景雑音等の1組のパラメータによって表すことができる。単純にするために、この実施形態において、機械処理可能な図/表現に変換することができるパラメータのサブセット、換言すれば、「関連度値」又は「メトリック」を自動的に取得することができるパラメータのみが考慮される。このため、例えば、図1の例では、パラメータAはシーンからの距離とすることができ、Bはビデオの明度とすることができ、Cは背景雑音とすることができる。これらのパラメータは、「関連度値」に容易にかつ自動的に変換することができる。これは、(視角のような)他のパラメータについても、例えば向きセンサーを用いることによって可能であり、このとき、これらのパラメータのデータは「視角」に変換され、次に関連度パラメータに変換される。一方、ここでは、距離、明度、及び背景雑音のみがこの例において考慮される。
アップストリーム時の帯域制約の場合、すなわちビデオ制作者の全てが基地局に受け入れられるわけではない場合、これによって、ネットワーク内(例えば評価サーバー内)のモジュール内に、例えば基地局の近くに配置された最適化アルゴリズムが、ビデオ品質メトリックの最良の結合を与えるストリーム(最高の優先度値を有するストリームを意味する)の選択を実行する。
この実施形態では、検討中の各ビデオメトリックが、特定のイベントからのユーザーの期待に基づいて重み付けされる。例えば、背景雑音はコンサートを見ているユーザーの主要な関心事であると予測される一方、サッカーの試合の場合、シーンの関連度(角度、安定性、及び距離)がより重要である。したがって、「コンテキスト情報」の対応する「関連度パラメータ」へのマッピングはイベントに依拠することができる。
図1に与える例では、基地局は帯域幅制約に起因して1つのビデオストリームしか送信することができず、したがってアルゴリズムは最良のビデオ制作者を選択する。最良のビデオ制作者は、1番(上側基地局の場合)及び下側では3番である。最適化アルゴリズムによって選択されたビデオはビデオポータル/サーバーに送信される。これは集中型モジュールであり、該集中型モジュールにおいて、基地局から受信した全てのビデオがビデオ消費者がダウンストリーミングするのに利用可能になる。
この実施形態において、基地局の近くのモジュール内に配置することができる最適化アルゴリズムは、以下を考慮に入れなくてはならない。(i)生成されたビデオコンテンツのアップストリーミングのために用いられる帯域幅、(ii)同じイベントの各ビデオの特定の品質及び意味的情報、(iii)ビデオ制作者のランクが下がり、より良好な「結合」点数又は優先度値を有する別のビデオ制作者に置き換えられることが発生する場合があるので、メトリックの時間とともに変動する性質、(iv)各ビデオ制作者の無線チャネル品質の時間とともに変動する性質、(v)異なるイベントの重要度、すなわち、品質及び意味的情報はビデオコンテンツのタイプに依拠し、このため、それに従って検討中の「イベント」ごとにメトリックを重み付けし調整することが好ましい。
この事例において、各メトリック(又は関連度パラメータ)A、B、及びCについて同じ重みを仮定すると、メトリック値A=10、B=10、及びC=10を有するストリーム1の優先度値は、メトリック値A=8、B=7、及びC=9を有するビデオストリーム2の優先度値よりも大きいことを見て取ることができる。
1つの実施形態によれば、過剰供給(over-provisioned)リソースの場合、すなわち、同じイベントの全ての制作者が自身のビデオをネットワークにプッシュすることができ、かつこのビデオ制作者数が非常に多い場合、最適化アルゴリズムを更に用いて、ビデオポータル内のビデオ消費者の利用可能な選択群を低減することができ、例えば、「プレミアム」ユーザークラスのみにアップストリーミングを許可し、これによって消費者が高速選択する(リアルタイム用途において重要である)のを支援する。
以下において、1つの実施形態による最適化アルゴリズムの一例を説明する。
ビデオコンテンツは、明度、輝度、コントラスト、アングル(イベントからの距離も与えるGPS、及び顔認識ソフトウェア又は向きセンサーを介した空間カバレッジ情報の組合せによって与えられる)、画像の動き、安定性、カメラ解像度、フレームレート、及び背景雑音等の1組のパラメータによって表すことができる。単純にするために、ここでもまた、例えば明度及び距離等の、機械処理可能な図/表現に変換することができるパラメータのサブセットのみが考慮される。
或るイベントからのユーザーの期待に基づいて、(関連度)パラメータ(パラメータAの重みa、パラメータBの重みb等)のリストの加重和として用途効用関数(application utility function)を書くことができる。端末からポータルに送信されるビデオストリームiから各パラメータの値を抽出することができると仮定すると、ネットワーク(A、B等)における最適化モジュールにおいて、最適化問題を解く以下の一般定式を書くことができる。
MAX_U=argmaxi=1..N(a*A+b*B+c*C+…)
所与のビデオストリームの加重和はその優先度値に対応し、最大優先度値はiMAX_Uであり、見つかるはずである。
さらに、アップストリームごとに要求される帯域幅を考慮に入れることができ、このため帯域幅節減と品質/量利得との間の可能なトレードオフに対処することができる。
本発明者らの最適化手順を通じて選択されるビデオをアップストリーミングするのに必要とされる帯域幅を考慮に入れる一般的な疑似アルゴリズムは以下である。
疑似アルゴリズム
{A,B,C,D,E}; %品質及び意味的情報を反映するパラメータのリスト
{a,b,c,d,e}; %パラメータA、B...の重み
I={1,2,…,N}; %1組のアップストリーム(又はビデオ制作者)
BWTOT; %アップリンクにおける総帯域幅
B=0; %帯域幅利用のカウンター
MAX_U %総和を最大にするビデオ制作者のインデックス
{フィードバック又はタイムスタンプ}に基づいて以下を行う
While(B<BWTOT)&(I≠0)
MAX_U=argmaxi∈I(a*A+b*B+c*C+…); %総点数を最大にするビデオを見つける
If(B+BuMAX)<BWTOT
I=I-{iMAX_U};
MAX_Uを配布する; %この制作者にアップリンクリソースを配布する
B=B+BiMAX_U
Else
I=I-{iMAX_U};
End
End
アルゴリズムは、各反復において、優先度値(メトリック値の重み付けされた結合によって計算されるような「点数」)を最大にするビデオを見つけて、各反復においてこのビデオストリームに帯域幅BuMAXを割り当て、既に配分された帯域幅を示すカウンターBをBuMAXだけ増分する。
次に、この手順を、配分される帯域幅が総利用可能帯域幅BWTOTよりも小さい限り繰り返し、この限界に達すると配分が終了する。
1つの実施形態において、この手順は時間領域において規則的な間隔で繰り返され、関与するメトリック(関連度パラメータ)の時間とともに変動する性質、及びビデオ制作者がイベントを(物理的に、又は例えばカメラのバッテリレベルが低いことに起因して)中止するか又は後でイベントに参加する可能性を考慮に入れる。
当業者には、本発明の実施形態に関連して説明された方法、要素、ユニット、及び装置を、ハードウェアにおいて実施することもできるし、ソフトウェアにおいて実施することもできるし、双方の組合せとして実施することもできることが容易に明らかとなるであろう。特に、本発明の実施形態及びそれに関連して説明されたモジュールの要素を、コンピューター上で実行されている単数又は複数のコンピュータープログラムによって実施することもできるし、マイクロプロセッサによって実行することもできることが理解されよう。本発明を実施する任意の装置は、特に、ネットワーク内で動作するルーター、サーバー、モジュール等のネットワークエンティティ、又は移動電話、スマートフォン、PDA、若しくは同様の任意のもの等の移動デバイスの形態をとることができる。

Claims (14)

  1. 複数のビデオを評価する評価サーバーであって、
    複数のビデオの中で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するモジュールと、
    前記同じイベントから撮影されたものとして識別された前記ビデオについて、1つ又は複数のシーンに基づく関連度パラメータを自動的に取得するモジュールであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得するモジュールと、
    前記同じイベントから撮影されたものとして識別された前記ビデオについて、前記1つ又は複数の関連度パラメータ値に基づいて優先度値を取得するモジュールであって、該優先度値は、前記同じイベントから撮影されたものとして識別された前記ビデオについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
    前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てること
    を含む、取得するモジュールと、
    を備え、該評価サーバーは、
    前記複数のビデオをリアルタイムで受信するモジュールと、
    前記シーンに基づく関連度パラメータを繰り返し取得して前記ビデオの更新された優先度値を取得するモジュールと、
    前記更新された優先度値に基づいて前記処理の前記優先度を再構成するモジュールと、
    を更に備える、複数のビデオを評価する評価サーバー。
  2. 前記ビデオは、ビデオポータルにおいて前記優先度値に従って優先度付けされ、該優先度値は、
    ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく1つ又は複数の関連度パラメータを含み、更に、PSNR、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく1つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
    前記計算された優先度値に従って前記ビデオポータル内の前記複数のビデオを優先度付けすることであって、より高い優先度値を有するビデオがより低い優先度値を有するビデオよりも高く優先度付けされるようにする、優先度付けすることと、
    に基づいて計算される、請求項1に記載の評価サーバー。
  3. 前記ビデオは、ネットワークリソースを配分するための前記優先度値に従って優先度付けされ、前記計算された優先度値に基づく前記リソース配分は、
    ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく1つ又は複数の関連度パラメータを含み、更に、PSNR、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく1つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
    最大優先度値を有し、かつ帯域幅をまだ割り当てられていない前記ビデオに帯域幅を配分することと、
    前記配分することを、配分することができる全ての帯域幅が前記複数のビデオに割り当てられるまで繰り返すことと、
    を用いて実行される、請求項1又は2に記載の評価サーバー。
  4. 前記1つ又は複数のシーンに基づく関連度パラメータは、
    ビデオを記録するのに用いるユーザーの移動デバイスの1つ又は複数の適切なセンサーによって感知されるコンテキスト情報であって、該コンテキスト情報は前記ビデオとともに前記評価サーバーに送信され、該コンテキスト情報は、
    前記ビデオが記録された時刻と、
    前記ビデオが記録されたロケーション情報と、
    前記ビデオを記録する前記移動デバイスの2次元又は3次元のロケーション及び/又は傾きと、
    のうちの1つ又は複数を含む、コンテキスト情報、
    のうちの1つ又は複数に基づいて取得される、請求項1〜3のいずれか1項に記載の評価サーバー。
  5. 前記複数のビデオのそれぞれについて取得された前記複数のシーンに基づく関連度パラメータに基づいて、結合されたシーンに基づく関連度パラメータを、前記ビデオのそれぞれの優先度値として計算するモジュールと、
    前記結合された優先度値に従って前記処理を実行するモジュールと、
    を更に備える、請求項1〜4のいずれか1項に記載の評価サーバー。
  6. 前記1つ又は複数のシーンに基づく関連度パラメータは、前記ビデオの前記地理的コンテキスト又は意味的コンテキストを表すコンテキスト情報に基づいて取得される、請求項1〜5のいずれか1項に記載の評価サーバー。
  7. 前記シーンに基づく関連度パラメータは、
    前記シーンの視角と、
    前記カメラによって記録された前記シーンからの距離と、
    前記ビデオに記録された1つ又は複数の顔の大きさと、
    前記ビデオの明度と、
    解像度と、
    PSNRと、
    前記ビデオの知名度と、
    のうちの1つ又は複数を反映する、請求項1〜6のいずれか1項に記載の評価サーバー。
  8. 前記複数のビデオは、複数のユーザーによって前記移動デバイスにより同じイベント又は同じシーンを記録して生成され、該ビデオは、ビデオポータルを通じて他のユーザーに配信されるために前記ユーザーによって前記評価サーバーにアップロードされる、請求項1〜7のいずれか1項に記載の評価サーバー。
  9. 前記同じイベント又は前記同じシーンを記録しているビデオを自動的に認識する認識モジュールと、
    前記複数のビデオを、該ビデオが記録しているそれぞれのシーン又はイベントに従ってグループ化するモジュールと、
    ビデオのグループごとに別個に前記優先度付けされた処理を実行するモジュールと、
    を備える、請求項1〜8のいずれか1項に記載の評価サーバー。
  10. 分類モジュールであって、或る自動的に取得されたコンテキスト情報又は意味的情報が、或る数値的なシーンに基づく関連度パラメータにどのように変換されるかに関する情報を取得し、前記コンテキスト情報を取得し、前記格納された情報を参照して前記シーンに基づく関連度パラメータを取得する、分類モジュール、
    を備える、請求項1〜9のいずれか1項に記載の評価サーバー。
  11. 前記分類モジュールは、
    或るロケーションを或るシーンに基づく関連度パラメータにどのように変換するかと、
    前記記録されたイベントからの或る距離を或るシーンに基づく関連度パラメータにどのように変換するかと、
    前記記録されたイベントの或る視角を或るシーンに基づく関連度パラメータにどのように変換するかと、
    前記記録されたイベントの或る明度を或るシーンに基づく関連度パラメータにどのように変換するかと、
    のうちの1つ又は複数を格納する、請求項1〜10のいずれか1項に記載の評価サーバー。
  12. 複数のビデオを評価する方法であって、
    複数のビデオ間で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するステップと、
    ビデオごとに、1つ又は複数のシーンに基づく関連度パラメータを自動的に取得するステップであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得するステップと、
    前記複数のビデオのそれぞれについて、前記1つ又は複数の関連度パラメータ値に基づいて優先度値を取得するステップであって、該優先度値は、前記複数のビデオのそれぞれについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
    前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てるステップ
    を含む、取得するステップと、
    を含み、該方法は、
    前記複数のビデオをリアルタイムで受信するステップと、
    前記シーンに基づく関連度パラメータを繰り返し取得するステップであって、前記ビデオの更新された優先度値を取得する、繰り返し取得するステップと、
    前記更新された優先度値に基づいて前記処理の前記優先度を再構成するステップと、
    を更に含む、複数のビデオを評価する方法。
  13. 前記ビデオはビデオポータルにおいて前記優先度値に従って優先度付けされ、該優先度値は、
    ビデオごとに前記関連度パラメータの加重和を計算するステップであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく1つ又は複数の関連度パラメータを含み、更に、PSNR、解像度、又は明度のような品質指標等の1つ又は複数のシーンに基づく関連度情報を含む、計算するステップと、
    前記計算された優先度値に従って前記ビデオポータル内の前記複数のビデオを優先度付けするステップであって、より高い優先度値を有するビデオがより低い優先度値を有するビデオよりも高く優先度付けされるようにする、優先度付けするステップと、
    に基づいて計算される、請求項12に記載の方法。
  14. コンピューターによって実行されると、該コンピューターが請求項12又は13に記載の方法を実行することを可能にするコンピュータープログラムコードを含むコンピュータープログラム。
JP2012010071A 2011-01-21 2012-01-20 複数のビデオを評価する方法及び評価サーバー Expired - Fee Related JP5408749B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11151663.9A EP2479684B1 (en) 2011-01-21 2011-01-21 Method and evaluation server for evaluating a plurality of videos
EP11151663.9 2011-01-21

Publications (2)

Publication Number Publication Date
JP2012165371A true JP2012165371A (ja) 2012-08-30
JP5408749B2 JP5408749B2 (ja) 2014-02-05

Family

ID=44080406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012010071A Expired - Fee Related JP5408749B2 (ja) 2011-01-21 2012-01-20 複数のビデオを評価する方法及び評価サーバー

Country Status (3)

Country Link
US (1) US20120192242A1 (ja)
EP (1) EP2479684B1 (ja)
JP (1) JP5408749B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018164227A (ja) * 2017-03-27 2018-10-18 株式会社Nttぷらら 映像配信システム及び映像配信方法
JP2019179965A (ja) * 2018-03-30 2019-10-17 日本電気株式会社 映像伝送処理装置、方法、プログラム、及び記録媒体
KR102211556B1 (ko) * 2019-10-22 2021-02-03 전남대학교산학협력단 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법
WO2021049347A1 (ja) * 2019-09-10 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JPWO2021199524A1 (ja) * 2020-03-31 2021-10-07

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489389B2 (en) 2012-06-07 2019-11-26 Wormhole Labs, Inc. Experience analytic objects, systems and methods
US10649613B2 (en) 2012-06-07 2020-05-12 Wormhole Labs, Inc. Remote experience interfaces, systems and methods
US10700944B2 (en) 2012-06-07 2020-06-30 Wormhole Labs, Inc. Sensor data aggregation system
US9479576B2 (en) * 2013-06-03 2016-10-25 Adobe Systems Incorporated Image session ranking
US10372882B2 (en) * 2013-11-18 2019-08-06 Joseph Schuman Media distribution network, associated program products, and methods of using the same
US9600723B1 (en) 2014-07-03 2017-03-21 Google Inc. Systems and methods for attention localization using a first-person point-of-view device
US10127783B2 (en) * 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US10015551B2 (en) * 2014-12-25 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device
US11425439B2 (en) 2015-06-15 2022-08-23 Piksel, Inc. Processing content streaming
US10116714B2 (en) 2015-06-15 2018-10-30 At&T Intellectual Property I, L.P. Apparatus and method for on-demand multi-device social network experience sharing
EP3171599A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Method for generating a user interface presenting a plurality of videos
US10284907B2 (en) * 2016-10-07 2019-05-07 Disney Enterprises, Inc. Device, system, and method for game enhancement using cross-augmentation
JP6343779B1 (ja) * 2017-04-28 2018-06-20 株式会社コナミデジタルエンタテインメント サーバ装置、及びそれに用いられるコンピュータプログラム
CN107483981B (zh) * 2017-08-29 2019-11-05 武汉斗鱼网络科技有限公司 直播资源计算监测分配方法、存储介质、电子设备及系统
CN109496432A (zh) * 2017-11-06 2019-03-19 深圳市大疆创新科技有限公司 流媒体直播方法及系统
CN111432361B (zh) * 2020-03-19 2022-09-13 长春理工大学 一种基于群智感知网络的用户激励策略确定方法及系统
US11486712B2 (en) * 2020-05-15 2022-11-01 Sony Corporation Providing video of space to calibrate user location relative to desired destination
CN111757037B (zh) * 2020-06-19 2022-09-02 杭州海康威视数字技术股份有限公司 一种录像文件读写方法及装置
CN111836073B (zh) * 2020-07-10 2022-02-22 腾讯科技(深圳)有限公司 视频清晰度的确定方法、装置、设备及存储介质
US20230209015A1 (en) * 2020-07-13 2023-06-29 Sony Group Corporation Information processing apparatus, information processing method, and program
CN114449253A (zh) * 2020-10-30 2022-05-06 中国移动通信有限公司研究院 视频质量评估方法、装置及网络设备
CN112686123A (zh) * 2020-12-25 2021-04-20 科大讯飞股份有限公司 虚假视频检测方法和装置、电子设备及存储介质
CN112866682A (zh) * 2020-12-31 2021-05-28 百果园技术(新加坡)有限公司 音视频质量测评系统、方法、计算机设备及存储介质
CN115914549A (zh) * 2021-08-11 2023-04-04 富联精密电子(天津)有限公司 影像串流处理方法、装置及计算机可读存储介质
CN114363579B (zh) * 2022-01-21 2024-03-19 中国铁塔股份有限公司 一种监控视频的共享方法、装置及电子设备
US11949923B1 (en) * 2022-12-19 2024-04-02 Adobe Inc. Trigger based digital content caching

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101647A (ja) * 1998-09-25 2000-04-07 Matsushita Electric Ind Co Ltd データ送信方法、データ送信装置、及びデータ送信プログラムを記録した記録媒体
JP2003186903A (ja) * 2001-09-28 2003-07-04 Fuji Photo Film Co Ltd 情報配信装置、方法及びプログラム
JP2004260302A (ja) * 2003-02-24 2004-09-16 Nippon Telegr & Teleph Corp <Ntt> 移動端末の位置管理方法及びモバイルルータ並びにホームエージェント
JP2006101095A (ja) * 2004-09-29 2006-04-13 Fuji Photo Film Co Ltd イベント画像公開方法及びそのシステム
JP2006127003A (ja) * 2004-10-27 2006-05-18 Casio Comput Co Ltd 画像処理装置およびバックアップサーバ装置ならびにプログラム
JP2006229604A (ja) * 2005-02-17 2006-08-31 Sharp Corp 画像提供システム、画像提供方法及び画像提供装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675576A (en) 1995-06-05 1997-10-07 Lucent Technologies Inc. Concestion control system and method for packet switched networks providing max-min fairness
EP1708424A1 (en) * 2005-03-31 2006-10-04 THOMSON Licensing Prioritising video streams in a wireless LAN (WLAN)
WO2008029803A1 (fr) * 2006-09-04 2008-03-13 Nikon Corporation Système de partage de vidéo, système de support d'imagerie et caméra
US8363102B1 (en) * 2006-10-13 2013-01-29 L-3 Communications Mobile-Vision, Inc. Dynamically load balancing date transmission using one or more access points
US8352455B2 (en) * 2007-06-29 2013-01-08 Allvoices, Inc. Processing a content item with regard to an event and a location
WO2009042858A1 (en) * 2007-09-28 2009-04-02 Gracenote, Inc. Synthesizing a presentation of a multimedia event
US8522289B2 (en) * 2007-09-28 2013-08-27 Yahoo! Inc. Distributed automatic recording of live event
GB2456129B (en) * 2007-12-20 2010-05-12 Motorola Inc Apparatus and method for event detection
US8767081B2 (en) * 2009-02-23 2014-07-01 Microsoft Corporation Sharing video data associated with the same event

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101647A (ja) * 1998-09-25 2000-04-07 Matsushita Electric Ind Co Ltd データ送信方法、データ送信装置、及びデータ送信プログラムを記録した記録媒体
JP2003186903A (ja) * 2001-09-28 2003-07-04 Fuji Photo Film Co Ltd 情報配信装置、方法及びプログラム
JP2004260302A (ja) * 2003-02-24 2004-09-16 Nippon Telegr & Teleph Corp <Ntt> 移動端末の位置管理方法及びモバイルルータ並びにホームエージェント
JP2006101095A (ja) * 2004-09-29 2006-04-13 Fuji Photo Film Co Ltd イベント画像公開方法及びそのシステム
JP2006127003A (ja) * 2004-10-27 2006-05-18 Casio Comput Co Ltd 画像処理装置およびバックアップサーバ装置ならびにプログラム
JP2006229604A (ja) * 2005-02-17 2006-08-31 Sharp Corp 画像提供システム、画像提供方法及び画像提供装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018164227A (ja) * 2017-03-27 2018-10-18 株式会社Nttぷらら 映像配信システム及び映像配信方法
JP2019179965A (ja) * 2018-03-30 2019-10-17 日本電気株式会社 映像伝送処理装置、方法、プログラム、及び記録媒体
JP7167466B2 (ja) 2018-03-30 2022-11-09 日本電気株式会社 映像伝送処理装置、方法、プログラム、及び記録媒体
WO2021049347A1 (ja) * 2019-09-10 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
KR102211556B1 (ko) * 2019-10-22 2021-02-03 전남대학교산학협력단 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법
JPWO2021199524A1 (ja) * 2020-03-31 2021-10-07
JP7277670B2 (ja) 2020-03-31 2023-05-19 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Also Published As

Publication number Publication date
EP2479684B1 (en) 2013-09-25
EP2479684A1 (en) 2012-07-25
US20120192242A1 (en) 2012-07-26
JP5408749B2 (ja) 2014-02-05

Similar Documents

Publication Publication Date Title
JP5408749B2 (ja) 複数のビデオを評価する方法及び評価サーバー
Carlsson et al. Optimized adaptive streaming of multi-video stream bundles
Sun et al. Flocking-based live streaming of 360-degree video
Bentaleb et al. SDNDASH: Improving QoE of HTTP adaptive streaming using software defined networking
US20150365729A1 (en) Personalized Generation of Watch List of Shows in a Video Delivery System
Hooft et al. Tile-based adaptive streaming for virtual reality video
Laghari et al. Assessing effect of Cloud distance on end user's Quality of Experience (QoE)
CN104584571B (zh) 在机顶盒处产生音频指纹序列
CN103891299B (zh) 用于提供电视收视率的有效和准确估计的方法和系统
US10194210B2 (en) Dynamic content delivery network allocation system
US11805296B2 (en) Per-viewer engagement-based video optimization
US20160028594A1 (en) Generating and Utilizing Contextual Network Analytics
KR20220059425A (ko) 비디오 스트리밍을 위한 세션 기반 적응적 재생 프로파일 판정
Hu et al. TVG-streaming: Learning user behaviors for QoE-optimized 360-degree video streaming
CN114584801B (zh) 一种基于图神经网络推荐算法的视频资源缓存方法
El Essaili et al. QoE-driven resource optimization for user generated video content in next generation mobile networks
KR20220081930A (ko) 비디오 스트리밍에서의 다중 프로토콜 예측 및 세션내 적응
Zhang et al. Short video streaming with data wastage awareness
US20220400295A1 (en) Method And System For Pre-Positioning And Post Positioning Content In A Content Distribution System
US20220256012A1 (en) Media transcoding based on priority of media
JP7494265B2 (ja) アダプティブビットレートアルゴリズムのための動的パラメータ調整
Dubin et al. A fair server adaptation algorithm for HTTP adaptive streaming using video complexity
CN105706412B (zh) 自校正内容递送网络中的带宽策略管理
JP2013030852A (ja) スケーラブル映像符号化装置及び方法及びプログラム
Van der Vorst et al. Beyond fast: how the speed of residential internet access will develop between now and 2022

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130517

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131031

LAPS Cancellation because of no payment of annual fees