JP2011519193A - モバイル端末でリッチビデオを実施するための方法 - Google Patents

モバイル端末でリッチビデオを実施するための方法 Download PDF

Info

Publication number
JP2011519193A
JP2011519193A JP2010550216A JP2010550216A JP2011519193A JP 2011519193 A JP2011519193 A JP 2011519193A JP 2010550216 A JP2010550216 A JP 2010550216A JP 2010550216 A JP2010550216 A JP 2010550216A JP 2011519193 A JP2011519193 A JP 2011519193A
Authority
JP
Japan
Prior art keywords
communication system
video
media
terminal
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010550216A
Other languages
English (en)
Other versions
JP5199400B2 (ja
Inventor
プーペル,オリヴィエ
オズモンド,マリン
サーダ,ステファン
ドュフォッセ,ステファン
ルフェーヴル,ヴァレンティン
リヴェ,ニコラス
Original Assignee
アルカテル−ルーセント
トータル イマージョン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント, トータル イマージョン filed Critical アルカテル−ルーセント
Publication of JP2011519193A publication Critical patent/JP2011519193A/ja
Application granted granted Critical
Publication of JP5199400B2 publication Critical patent/JP5199400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

実際に撮影されたシーンであって前記シーンと結び付けられた追加のビジュアル要素が内部に組み込まれるシーンを備えるリッチビデオの、カメラが装備された通信モバイル端末(2)上での表示であって、前記シーン内のビデオエンリッチ操作はリモート通信システム(3)内で実行され、リアルタイムでモバイル端末(2)に供給される表示を備える通信方法。

Description

本発明は、電気通信の分野を扱い、さらに詳細には、モバイル端末でのエンハンスドビデオの表示に関する分野を扱う。
第2世代(2G)モバイルネットワークはデジタル技術を無線通信に導入したが、特にUMTS(Universal Mobile Telecommunications System)によって実施された第3世代(3G)は、特にエアインターフェイスを介してビットレートが増大したおかげで(最大2Mビット/秒)、固定回線ネットワーク向けに確保されていたモバイルネットワーク通信サービスに組み入れることにより固定回線ネットワークとモバイルネットワークの収束を確実なものにする。サポート対象のサービスは特に、(ボイスに加えて)オーディオ、ビデオ、テキスト、およびグラフィックス、つまりマルチメディア・アプリケーションの必須要素を含む。同時に、モバイル端末はその能力を増強させてきたが、(端末で稼働する)永続的アプリケーションだけにとどまらず、(ビデオ・アプリケーションの表示のような再生操作だけを端末が実行するので、リモートサーバ上で稼働する)非永続的アプリケーションも実施することができるようになって、今や標準コンピュータのような役割を果たしている(Pujolle、Les Reseaux、2008年版、第43章、1004〜1012頁を参照)。
無線波通信における端末の能力およびビットレートが一体化して増大したことにより、3G端末でマルチメディア・アプリケーションを稼働することができるようになったが、マルチメディア・アプリケーションは当初、モバイルネットワークで遭遇した従来の問題(ネットワークアクセス可能性、ハンドオーバー、データ伝送時間)が発生しない固定回線ネットワーク向けに設計されたものであった。同様のことは、仮想要素が現実から描き出されたシーンに重ね合わせて表示される技法である拡張現実にも当てはまる。拡張現実のアプリケーションの1つはエンハンスドビデオであるが、これは撮影されたシーンがリアルタイムで、マルチメディア・データベースから引き出されたテキストまたはイメージなどのビジュアル要素で機能強化されるものである(たとえば、欧州特許出願第1,527,599号を参照)。この技法は近年、カメラが装備されたモバイル端末において見られるようになった(たとえば、欧州特許出願第1,814,101号、または米国特許出願公開第2007/0024527号を参照)。
しかし、提案されたソリューションは、全体としては不十分であったことが判明した。それらの多くは、依然として理論上のものであり、ユーザに真の対話性を提供することはない単純なビジュアル要素に限定される(前述の文献を参照)。
実際に、欧州特許出願第1,814,101号および米国特許出願公開第2007/0024527号において説明されるシステムは、リアルタイムで、つまりユーザに実質的に検出されない時間内で、拡張現実を組み入れるようにすることはできない。
欧州特許出願第1,527,599号 欧州特許出願第1,814,101号 米国特許出願公開第2007/0024527号
Pujolle、Les Reseaux、2008年版、第43章、1004〜1012頁
本発明は特に、モバイルネットワーク内で実際に実現することができ、ユーザに正真正銘のリアルタイム対話性をもたらすエンハンスドビデオ・ソリューションをモバイル端末に提供することにより、これらの欠点に対処することを目的とする。
加えて、本発明は、最も標準的なモバイル端末に合わせて適合できることを目的とする。
最後に、本発明は、拡張現実イメージと対話する手段をユーザにもたらすことを目的とする。
そのために、本発明は、最初に、実際に撮影されたシーンであってそのシーンと結び付けられた追加のビジュアル要素が内部に組み込まれるシーンを備えるエンハンスドビデオの、カメラが装備された通信モバイル端末上での表示を備える通信方法を提案し、その方法は、
− 前記モバイル端末とリモート通信システムとの間のメディアセッションを確立する操作と、
− 端末が、カメラを利用して、前記実際に撮影されたシーンを備える非エンハンスドビデオを撮影する操作と、
− 非エンハンスドビデオを、リアルタイムで、モバイル端末により通信システムに送信する操作と、
− 通信システムが非エンハンスドビデオを受信する操作と、
− 通信システム内で、撮影されたシーンをリアルタイム分析する操作と、
− 通信システムのデータベース内で、撮影されたシーンに関連する1つまたは複数の追加のメディアオブジェクトを選択する操作と、
− 端末からアクティブ化されうる少なくとも1つの対話式機能を、前記追加のメディアオブジェクトの中からの少なくとも1つのオブジェクトと関連付ける操作と、
− エンハンスドビデオを形成するために、それにより選択されたオブジェクトまたは追加のメディアオブジェクトを非エンハンスドビデオに追加する操作と、
− 通信システムが、リアルタイムで、エンハンスドビデオをモバイル端末に送信する操作と、
− モバイル端末が、リアルタイムで、エンハンスドビデオを再生する操作と、
− モバイル端末が、対話式機能が関連付けられている追加のメディアオブジェクトを通じて前記端末から作成された任意のコマンドを、リアルタイムで通信システムに送信する操作と、
− 通信システムが前記コマンド操作を受信する操作と、
− 通信システムがコマンドを分析する操作と、
− 通信システム内の少なくとも1つのメディアオブジェクトの明白な特性を、受信したコマンドに従って(たとえば、あらかじめ確立されたシナリオに従って)更新する操作と、
− 通信システムが、少なくとも1つの更新済みメディアオブジェクトを、リアルタイムで端末に送信する操作と、
− 更新済みメディアオブジェクトが、リアルタイムで、端末によって再生される操作と、
− 更新済みメディアオブジェクトが、リアルタイムで、端末によって表示される操作とを備える。
通信システムにより機能強化されたビデオを受信する操作と撮影されたシーンを分析する操作との間に、ビデオを復号化する操作が提供されてもよく、分析は非圧縮のビデオ形式から実行される。
このコマンド操作は、たとえば、端末のキーボードを利用してアクティブ化される。
第2に、本発明は、
− モバイル端末とのメディアセッションを確立することができるメディアサーバと、
− メディアサーバに接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバと、
− ビデオ・アプリケーション・サーバに接続され、ビデオ・アプリケーション・サーバからのコマンドに応じて、メディアサーバを介してモバイル端末から受信した非エンハンスドビデオ内のイメージを分析するか、または追加のメディアオブジェクトと関連付けられているコマンド分析を実行するようにプログラムされた拡張現実サーバと、
− 拡張現実サーバに接続されたメディアオブジェクト・データベースとを備える通信システムを提案する。
このシステムはさらに、拡張現実サーバおよびメディアサーバに接続され、メディアサーバを介してモバイル端末から受信した非エンハンスドビデオを圧縮解除するか、または逆に、メディアサーバを介して端末に送信するためにエンハンスドビデオを圧縮するように構成された符号器/復号器を備えることができる。
本発明のその他の目的および利点は、本発明によるネットワーク・アーキテクチャおよび通信方法を説明する添付の図面を参照して以下の説明を検討すれば明らかとなろう。
本願発明のネットワーク・アーキテクチャを示す図である。
示されるネットワーク・アーキテクチャ1は、エアインターフェイスを介して、端末2とのメディアセッションの確立を保証するメディアサーバ4を備える通信システム3に接続されたモバイル端末2(携帯電話、通信中のPDA、またはスマートフォン)と、メディアサーバ4に接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバ5と、ビデオ・アプリケーション・サーバ5に接続された拡張6現実サーバと、拡張現実サーバ6に接続または組み入れられたマルチメディア・オブジェクトが保存されるデータベース7とを備える。
「サーバ」という用語は、本明細書において、機能を組み込むことができる任意の情報システム、または方法を実施することができる任意のコンピュータプログラムを示す。
1つの実施形態によれば、システム3はさらに、拡張現実サーバ6およびメディアサーバ4に接続された符号器/復号器8を備える。
メディアサーバ4およびモバイル端末2は、特にオーディオ/ビデオデータの交換を可能にする、(たとえば、RTPまたはH324mプロトコルに従って)メディアセッションを相互の間に確立するように構成される。
モバイル端末2には、カメラが装備され、カメラの前の端末の環境内で生じている実際のシーンで構成される簡単な(つまり非エンハンスド)ビデオを生成することができるようになっている。端末にはさらに、ビデオを表示できるようにする画面9、ユーザがコマンドを入力できるようにするキーボード10、音声の再生が離れたところで(つまり端末2が腕を伸ばした距離で保持される場合に)聞き取れるようにするスピーカ、または控えめに聞くためのイヤホンも装備される。
使用されるデータ転送プロトコルは、好ましくは、ユーザの観点から、ビデオが端末2から生成されてエンハンスドビデオで表示されるまでの時間だけではなく、対話の応答時間も最小限にするために、最大のデータ伝送速度を得るように選択される。ビデオの取得またはサーバによるイメージの処理が圧縮できない処理時間を伴う程度まで、プロトコルは、データを受信、処理、および送信するために要する合計時間がユーザに検知できないように十分に高速であることが重要である。
次いで、端末2で生成されたビデオのリアルタイム機能強化は、以下のように実行される。
メディアセッションは、最初に、端末2と通信システム3との間、さらに詳細には端末2(自発的に)とメディアサーバ4との間のリアルタイムプロトコル(たとえば、RTPまたはH324m)に従って確立される(101)。このセッションは、本来双方向であり、リアルタイムのオーディオおよびビデオデータの伝送を含み、いずれも端末2によって、発信データが(エアインターフェイスに入るとき)符号化され、着信データが(エアインターフェイスを出るとき)復号化される。
次いで、メディアサーバ(4)は直ちに、エンハンスドビデオ・アプリケーションの開始を指示するために、このメディアセッションが開くことをビデオ・アプリケーション・サーバ5に信号で通知する(102)。
端末2とメディアサーバ4との間に確立されたメディアセッション中に、カメラの前で生じている実際に撮影されたシーンを備える非エンハンスドビデオは端末2から生成される。
このビデオは、リアルタイムで、端末2によってメディアサーバ3に送信される(103)。さらに詳細には、シーンが撮影されている間、ビデオフィードは、端末2によって、適切なビデオ圧縮規格に従って(つまり、実際には、望ましい圧縮レベルに適合されるので、比較的低い圧縮レベルの場合、端末はH.263規格を使用し、より高い圧縮レベルの場合、端末2はMPEG−4規格を採用し、非常に高い圧縮レベルの場合、H.264規格を採用してもよい)符号化され、RPTパケットによってメディアサーバ4に送信される。したがって、セッションの確立に基づいてモバイルにより常に撮影されるフローは、通信3システムに継続的に送信される。
メディアセッションが確立されると、またはアプリケーション・サーバ5からの要求に応じて、メディアサーバ4は、ビデオの第1のRTPパケットの受信をエンハンスドビデオ・アプリケーション・サーバ5に即時に信号で通知するが、次いでそのエンハンスドビデオ・アプリケーションは、以下に説明する操作を予想して拡張現実サーバ6を構成する(104)。
非エンハンスドビデオはメディアサーバ4によってRTPパケットで符号器/復号器8に送信される(105)が、これはRTPパケットを圧縮して、非圧縮の形式で拡張現実サーバ6にリアルタイムで送信する(106)。使用される非圧縮の形式は、たとえば、IETFのRFC4175規格に対応し、RGB(赤/緑/青)またはYUV(別称YCrCb)のカラー定義を使用する。
次いで、拡張現実サーバ6は、リアルタイムで、ビデオに含まれる撮影済みシーンを分析する(107)。たとえば、ビデオはイメージごとに分解され、次いで各イメージは、Harrisコーナー検出器技法のようなイメージ認識技法を使用して、データベース7からのイメージと比較される。したがって、分析されたイメージは、以前データベース7内に保存されたイメージと1対1で照合され、イメージのコンテンツに関連する(ゆえに、撮影済みのシーンに関連する)少なくとも1つのメディアオブジェクトと関連付けられる。
オーディオオブジェクト、ビデオオブジェクト、テキスト、またはイメージ(たとえば、3D仮想現実イメージ)であってもよいこのメディアオブジェクト、またはこれらのリソースの組み合わせを使用するオブジェクト(たとえば、オーディオ/ビデオオブジェクト)は、あらかじめ定められたシナリオ、つまりその選択の起点における非エンハンスドビデオのイメージとの相関の規則と関連付けられている。たとえば、車両のイメージがメディアオブジェクトとしてデータベース内で車両の座席の仮想3次元ビデオと関連付けられている場合、シナリオは、そのビューを車両の広告写真の上に重ね合わせること、およびビデオの撮影中に端末の方向に応じてリアルタイムで空間内でビューを回転できるようにすることで構成されてもよい。そのために、次いで、カメラおよび分析されたイメージの相対的位置の拡張現実サーバ6によるリアルタイム・トラッキングにより、カメラの方向と同期する仮想ビューの空間内の回転が可能になる。
端末2にはまた、測定結果がビデオデータと一緒にリアルタイムでRTPフローに含まれる加速度計が装備されてもよい。
次いで、それにより選択されたメディアオブジェクトは、拡張現実サーバ6によって、リアルタイムで、非エンハンスドビデオに追加されて(107’)、非圧縮形式でエンハンスドビデオを形成する。
非圧縮形式のエンハンスドビデオフィードは、拡張現実サーバ6によってリアルタイムで符号器/復号器8に送信される(108)が、これは以前使用された交換形式(H.263、MPEG−4、H.264)でエンハンスドビデオフィードを圧縮し、次いでメディアサーバ4に同様にリアルタイムで送信する(109)。次いで、このメディアサーバは、エンハンスドビデオをリアルタイムで端末2に中継する(110)が、端末2はリアルタイムの圧縮解除および再生をローカルに保証する。
ユーザの視点からは、撮影済みビデオの機能強化はリアルタイムで行われる、つまり知覚できるほどの遅延を生じることなく、またはミリ秒単位の時間内で行われる。先に説明したアーキテクチャによって許容される情報処理の速度により、エンハンスドビデオの追加のメディアオブジェクトを端末2の移動への基本的適合の範囲を超える対話式機能と関連付けることが可能であり、これは現実または仮想のいずれでもよいキーボード10のキーを利用するなど、ユーザによるボイスまたは手動コマンドでアクティブ化されてもよい。各対話式コマンドは端末2によってメディアサーバ4に送信される(111)が、次いでこれはそのエンハンスドビデオ・アプリケーションを介して、コマンドをビデオ・アプリケーション・サーバ5に中継し(112)、次いでそのエンハンスドビデオ・アプリケーションを介して、あらかじめ確立されたシナリオに応じて拡張現実サーバ6内のメディアオブジェクトの明白な特性への更新を指示する(113)。
これにより、ユーザは追加のオブジェクトに直接従って動作して、カラー、テクスチャ、位置などの、その特性を変更するか、または広告メッセージの再生、ハイパーリンクのアクティブ化などの、オブジェクト自身によって提供された機能を使用することができる。たとえば、ユーザは、車両を撮影して、車両の3次元ビューを受信することができるが、このビューは、価格、販売業者の連絡先、納期、商用Webサイトへのリンクなどの対話式であってもよい商用情報に場合によっては関連付けられて、ユーザは要望どおりに(回転、ドアを開く、座席を調べる、カラーを変更するなど)操作することができる。
1つの特定の実施形態において、上記で説明した機能の一部は、データ転送時間に起因する遅延を減少する方法で、モバイル端末2に組み込まれる。したがって、モバイル端末2は、たとえば、通信システム3にすでに圧縮されているビデオフローを送信することで、場合によってはさらに迅速になるように、符号化/復号化を組み入れることができる。
したがって、先に説明したソリューションは、日常生活において使用できる拡張現実の効果的なアプリケーションを提案するが、これは特定の追加機能を実施することなく第3世代のモバイル端末に実施されてもよく、処理の大部分はリモート通信システム内で実行され、リモート通信システムの構成がビデオ機能強化操作をリアルタイムで実行できるようにする。
このソリューションはまた、エンハンスドビデオに基づいて、電子商取引ポータルへのアクセスを可能にする。
この方法は、モバイル端末を対象とする広告コンテンツを配信する場合に特に適用することができる。実際に、モバイル端末2によって撮影されたシーンの分析に従って、追加で撮影済みシーンと結び付けられたメディアオブジェクトが広告関連であってもよい。
非限定的な例として、モバイル端末2によって撮影されたシーンが印刷された映画のポスターである場合、対応する追加のメディアオブジェクトは、その映画の広告ビデオシーケンスであってもよく、そこには撮影されたシーンが含まれていても、含まれていなくてもよい。その映画の上映日を検索すること、予約すること、および/またはその映画に関する追加情報を要求することは、広告メディアコンテンツと関連付けることができ、モバイル端末2からアクティブ化することができる対話式機能の例である。
第2の例として、モバイル端末2によって撮影された実際のシーンに自動車が含まれる場合、新車、付属品、および/または自動車部品もしくはサービスの広告コンテンツのようないくつかの追加の広告メディアオブジェクトが考え出されてもよい。
このコンテキストの中で、追加の広告メディアオブジェクトと関連付けられている対話式機能は、文化、情報、および/または商業を目的とするものであってもよい。
ビデオ機能強化操作が通信システム3によって実行される限りにおいて、このシステムはまた、これらの操作に関する情報を収集する役割を果たすこともできる。たとえば、この情報は、以下の事項を備えることができる。
− モバイル端末2と所与のエンハンスドビデオを処理する通信システム3との間の通信セッションの平均継続期間
− 所与のエンハンスドビデオに関する通信セッションの単位時間あたりの数
− 所与のエンハンスドビデオに関する通信セッションの地域別の数
− 当初対象とする母集団に属しているユーザですでに確立されている通信セッションの数
− モバイル端末3のユーザに関する情報(電話番号、性別、年齢、姓、名など)
この情報により、商業目的の追加のメディアオブジェクトの所有者に非常に有益な統計データを提供することができるようになる。

Claims (6)

  1. 実際に撮影されたシーンであって前記シーンと結び付けられた追加のビジュアル要素が内部に組み込まれるシーンを備えるエンハンスドビデオの、カメラが装備された通信モバイル端末(2)上での表示を備える通信方法であって、
    前記モバイル端末(2)とリモート通信システム(3)との間のメディアセッションを確立する操作と、
    前記端末が、カメラを利用して、前記実際に撮影されたシーンを備える非エンハンスドビデオを撮影する操作と、
    前記非エンハンスドビデオを、リアルタイムで、前記モバイル端末(2)により前記通信システム(3)に送信する操作と、
    前記通信システムが前記非エンハンスドビデオを受信する操作と、
    前記通信システム(3)内で、前記撮影されたシーンをリアルタイム分析する操作と、
    前記通信システム(3)のデータベース内で、前記撮影されたシーンに関連する1つまたは複数の追加のメディアオブジェクトを選択する操作と、
    前記端末からアクティブ化されうる少なくとも1つの対話式機能を、前記追加のメディアオブジェクトの中からの少なくとも1つのオブジェクトと関連付ける操作と、
    エンハンスドビデオを形成するために、それにより選択された前記オブジェクトまたは追加のメディアオブジェクトを前記非エンハンスドビデオに追加する操作と、
    前記通信システム(3)が、リアルタイムで、前記エンハンスドビデオを前記モバイル端末(2)に送信する操作と、
    前記通信システム(3)が前記コマンド操作を受信する操作と、
    前記通信システム(3)が前記コマンドを分析する操作と、
    前記通信システム(3)内の少なくとも1つのメディアオブジェクトの明白な特性を、受信した前記コマンドに従って(たとえば、あらかじめ確立されたシナリオに従って)更新する操作と、
    前記通信システム(3)が、少なくとも1つの更新済みメディアオブジェクトを、リアルタイムで前記端末(2)に送信する操作と、
    前記更新済みメディアオブジェクトが、リアルタイムで、前記端末(2)によって再生される操作と、
    前記更新済みメディアオブジェクトが、リアルタイムで、前記端末(2)によって表示される操作とを備える、方法。
  2. 前記通信システム(3)により機能強化された前記ビデオを受信する前記操作と前記撮影されたシーンを分析する操作との間に、ビデオを復号化する操作を備え、分析は非圧縮のビデオ形式から実行される請求項1に記載の方法。
  3. 前記メディアオブジェクトによって提供された対話の、前記端末(2)から実行されるコマンド操作と、あらかじめ確立されたシナリオに応じて前記通信システム(3)によって実行される前記メディアオブジェクトの明白な特性を更新する操作とを備える請求項1または2に記載の方法。
  4. 前記コマンド操作は、前記端末(2)のキーボード(10)を利用してアクティブ化される請求項1乃至3のいずれか1項に記載の方法。
  5. 通信システム(3)であって、
    モバイル端末(2)とのメディアセッションを確立することができるメディアサーバ(4)と、
    前記メディアサーバ(4)に接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバ(5)と、
    前記ビデオ・アプリケーション・サーバ(6)からのコマンドに応じて、前記メディアサーバ(4)を介して前記モバイル端末(2)から受信した非エンハンスドビデオ内のイメージ分析または追加のメディアオブジェクトと関連付けられているコマンド分析を実行するようにプログラムされた、前記ビデオ・アプリケーション・サーバ(5)に接続された拡張現実サーバ(6)と、
    前記拡張現実サーバ(6)に接続されたメディアオブジェクト・データベース(7)とを備える、通信システム(3)。
  6. 前記メディアサーバ(4)を介して前記モバイル端末(2)から受信した非エンハンスドビデオを圧縮解除するか、または逆に、前記メディアサーバ(4)を介して前記端末(2)に送信するためにエンハンスドビデオを圧縮するように構成された、前記拡張現実サーバ(6)および前記メディアサーバ(4)に接続された符号器/復号器(8)をさらに備える請求項5に記載の通信システム(3)。
JP2010550216A 2008-03-14 2009-03-13 モバイル端末でリッチビデオを実施するための方法 Active JP5199400B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0801430A FR2928805B1 (fr) 2008-03-14 2008-03-14 Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles.
FR0801430 2008-03-14
PCT/EP2009/053021 WO2009112585A1 (fr) 2008-03-14 2009-03-13 Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles

Publications (2)

Publication Number Publication Date
JP2011519193A true JP2011519193A (ja) 2011-06-30
JP5199400B2 JP5199400B2 (ja) 2013-05-15

Family

ID=39612570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010550216A Active JP5199400B2 (ja) 2008-03-14 2009-03-13 モバイル端末でリッチビデオを実施するための方法

Country Status (8)

Country Link
US (1) US20110096844A1 (ja)
EP (1) EP2255527B1 (ja)
JP (1) JP5199400B2 (ja)
KR (1) KR101167432B1 (ja)
CN (1) CN101971618B (ja)
AT (1) ATE536039T1 (ja)
FR (1) FR2928805B1 (ja)
WO (1) WO2009112585A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
WO2007027738A2 (en) 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
EP2359915B1 (en) 2009-12-31 2017-04-19 Sony Computer Entertainment Europe Limited Media viewing
US8666978B2 (en) 2010-09-16 2014-03-04 Alcatel Lucent Method and apparatus for managing content tagging and tagged content
US8533192B2 (en) 2010-09-16 2013-09-10 Alcatel Lucent Content capture device and methods for automatically tagging content
US8655881B2 (en) 2010-09-16 2014-02-18 Alcatel Lucent Method and apparatus for automatically tagging content
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
US9111326B1 (en) 2010-12-21 2015-08-18 Rawles Llc Designation of zones of interest within an augmented reality environment
US8905551B1 (en) 2010-12-23 2014-12-09 Rawles Llc Unpowered augmented reality projection accessory display device
US9134593B1 (en) 2010-12-23 2015-09-15 Amazon Technologies, Inc. Generation and modulation of non-visible structured light for augmented reality projection system
US8845107B1 (en) 2010-12-23 2014-09-30 Rawles Llc Characterization of a scene with structured light
US8845110B1 (en) 2010-12-23 2014-09-30 Rawles Llc Powered augmented reality projection accessory display device
US9721386B1 (en) 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
US9607315B1 (en) * 2010-12-30 2017-03-28 Amazon Technologies, Inc. Complementing operation of display devices in an augmented reality environment
US9508194B1 (en) 2010-12-30 2016-11-29 Amazon Technologies, Inc. Utilizing content output devices in an augmented reality environment
CN102843347B (zh) * 2011-06-24 2017-10-31 中兴通讯股份有限公司 实现移动增强现实业务的系统及方法、终端及服务器
US9118782B1 (en) 2011-09-19 2015-08-25 Amazon Technologies, Inc. Optical interference mitigation
JP5927822B2 (ja) * 2011-09-21 2016-06-01 カシオ計算機株式会社 画像通信システム
CN102346660A (zh) * 2011-10-13 2012-02-08 苏州梦想人软件科技有限公司 一种混合现实与虚拟物体的系统及方法
US9235819B2 (en) 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
US9456244B2 (en) 2012-06-25 2016-09-27 Intel Corporation Facilitation of concurrent consumption of media content by multiple users using superimposed animation
CN102739872A (zh) * 2012-07-13 2012-10-17 苏州梦想人软件科技有限公司 移动终端及应用于移动终端的增强现实方法
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
CN104679973A (zh) * 2013-12-03 2015-06-03 深圳市艾酷通信软件有限公司 一种用于移动终端上的文件系统及其实现方法
CN104361075A (zh) * 2014-11-12 2015-02-18 深圳市幻实科技有限公司 一种图像网址系统及实现方法
CN106254848B (zh) * 2016-07-29 2019-06-11 宇龙计算机通信科技(深圳)有限公司 一种基于增强现实的学习方法及终端
CN107894879A (zh) * 2017-11-16 2018-04-10 中国人民解放军信息工程大学 基于可见光隐式成像通信的增强现实方法、系统和终端
CN108769721A (zh) * 2018-05-23 2018-11-06 福建掌搜科技有限公司 一种直播场景智能切换系统及其方法
JP7313801B2 (ja) 2018-05-24 2023-07-25 キヤノン株式会社 制御装置、制御方法およびプログラム
CN112131895B (zh) * 2019-06-24 2024-06-18 北京京东振世信息技术有限公司 信息传输方法、装置、电子设备和存储介质
CN112788274A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 一种基于增强现实的通信方法及装置
CN112887258B (zh) * 2019-11-29 2022-12-27 华为技术有限公司 一种基于增强现实的通信方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010530998A (ja) * 2007-05-08 2010-09-16 アイトゲネーシッシュ テヒニッシュ ホーホシューレ チューリッヒ 画像ベース情報検索の方法およびシステム
JP2010532120A (ja) * 2007-06-29 2010-09-30 アルカテル−ルーセント メディア端末から来るrtpストリーム上の人物の外見を向上させるための方法およびシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
FR2842977A1 (fr) * 2002-07-24 2004-01-30 Total Immersion Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
KR100593399B1 (ko) * 2003-12-08 2006-06-28 한국전자통신연구원 증강현실을 이용한 부품 정비시스템 및 방법
EP1814101A1 (en) * 2004-11-19 2007-08-01 Daem Interactive, Sl Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010530998A (ja) * 2007-05-08 2010-09-16 アイトゲネーシッシュ テヒニッシュ ホーホシューレ チューリッヒ 画像ベース情報検索の方法およびシステム
JP2010532120A (ja) * 2007-06-29 2010-09-30 アルカテル−ルーセント メディア端末から来るrtpストリーム上の人物の外見を向上させるための方法およびシステム

Also Published As

Publication number Publication date
CN101971618A (zh) 2011-02-09
FR2928805B1 (fr) 2012-06-01
US20110096844A1 (en) 2011-04-28
ATE536039T1 (de) 2011-12-15
FR2928805A1 (fr) 2009-09-18
KR101167432B1 (ko) 2012-07-19
JP5199400B2 (ja) 2013-05-15
KR20110005696A (ko) 2011-01-18
CN101971618B (zh) 2013-11-20
EP2255527A1 (fr) 2010-12-01
EP2255527B1 (fr) 2011-11-30
WO2009112585A1 (fr) 2009-09-17

Similar Documents

Publication Publication Date Title
JP5199400B2 (ja) モバイル端末でリッチビデオを実施するための方法
CN105025327B (zh) 一种移动终端现场直播的方法及系统
US10244291B2 (en) Authoring system for IPTV network
CN101047853B (zh) 服务器设备和视频传送方法
US7720035B2 (en) System for mediating convergence services of communication and broadcasting using non-communicative appliance
JP5576667B2 (ja) 情報送出表示システム
US20070028279A1 (en) System for personal video broadcasting and service method using internet
US6661448B2 (en) Method and system for providing and transmitting alternative video data during interruptions in video transmissions
Krikke Streaming video transforms the media industry
CN113141524B (zh) 资源传输方法、装置、终端及存储介质
CN113141523B (zh) 资源传输方法、装置、终端及存储介质
CN105898620A (zh) 多媒体实时直播的方法和装置
CN102770827A (zh) 用于在终端的屏幕上显示多媒体内容的方法
CN112203126B (zh) 投屏方法、投屏装置及存储介质
WO2004081798A1 (ja) 送信装置および送信方法
KR20160015123A (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US20080088693A1 (en) Content transmission method and apparatus using video call
JP2006004190A (ja) 携帯電話向けチャットサービスシステム
JP2002108758A (ja) インターネットサービスサーバ、データ提供方法、動映像広告方法、及びその記録媒体
CN112714131A (zh) 一种跨平台连麦的方法、装置、存储介质及电子设备
US20050207355A1 (en) Video communication method of internet protocol phone
KR101122421B1 (ko) 화상 대화에 따른 실시간 다자 화상 데이터 저장 시스템 및 방법
CN105812922A (zh) 多媒体文件数据的处理方法及系统、播放器和客户端
KR20040063425A (ko) 멀티미디어 광고 서비스 시스템
JP2007041718A (ja) 情報配信システム、情報配信装置、情報受信装置、および、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120926

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121102

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5199400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250