JP2018186518A - 対話型ビデオ会議 - Google Patents

対話型ビデオ会議 Download PDF

Info

Publication number
JP2018186518A
JP2018186518A JP2018116662A JP2018116662A JP2018186518A JP 2018186518 A JP2018186518 A JP 2018186518A JP 2018116662 A JP2018116662 A JP 2018116662A JP 2018116662 A JP2018116662 A JP 2018116662A JP 2018186518 A JP2018186518 A JP 2018186518A
Authority
JP
Japan
Prior art keywords
roi
local
remote
ptzf
commands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018116662A
Other languages
English (en)
Inventor
オイマン、オズガー
Oyman Ozgur
ギアカロン、ジィーン−ピェール
Giacalone Jean-Pierre
フォックス、イワン
Fox Ivan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2018186518A publication Critical patent/JP2018186518A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4053Arrangements for multi-party communication, e.g. for conferences without floor control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • H04L65/1106Call signalling protocols; H.323 and related
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4046Arrangements for multi-party communication, e.g. for conferences with distributed floor control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】リモートUEとビデオ会議を実行するように動作可能なローカルユーザ装置(UE)及びプログラムを提供する。
【解決手段】ローカルUEは、リモートUEのカメラの視野内の関心領域(ROI)を規定することができる。ローカルUEは、ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングすることができる。ローカルUEは、1または複数のPTZFコマンドをリモートUEに送信することができ、リモートUEは1または複数のPTZFコマンドに基づきROIを特定するように構成される。ローカルUEは、リモートUEからROI内の符号化ビデオを受信することができる。符号化ビデオは、ROI内の符号化ビデオがローカルUEにてレンダリングおよび表示されるのを可能にするべく、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルでROI内の複数の領域を含むことができる。
【選択図】なし

Description

ストリーミングサービスおよび会話型サービスを含むマルチメディアサービスの成長は、新しい移動広帯域技術および規格に対する進化の主要な推進要因の1つである。デジタルビデオコンテンツは、携帯デバイスにおける消費が次第に増加している。日常生活では、携帯デバイス上で幅広く使用される多くのビデオアプリケーションが存在する。例えば、オンライン・ビデオ・ストリーミングは、YouTube(登録商標)やHuluのような人気のあるサービスを含む。ビデオ録画およびビデオ会議は、SkypeやGoogle Hangoutのようなサービスを含む。2011年には、YouTube(登録商標)は、世界中で1兆回以上の視聴を有した。視聴の10パーセントは、携帯電話またはタブレットを介してアクセスされた。より多くのスマートフォン、タブレット、および他の携帯コンピューティングデバイスが購入されるにつれて、ビデオ録画およびビデオ会議のためにそれらを使用することが、劇的に増加するであろう。マルチメディアサービスに対するそのような高い消費者の要求が、メディア圧縮およびワイヤレス・ネットワーク・インフラストラクチャにおける発展と結合される状況では、将来のセルラおよび移動広帯域システムのマルチメディアサービス能力を向上させると共に、高い体感品質(QoE)を消費者に届けることは関心のあることであり、これによって、任意の場所から、任意の時間に、任意のデバイスおよび技術を使用して、ビデオコンテンツおよびビデオサービスに普遍的にアクセスすることを保証する。
本開示の特徴および利点は、以下に記載する詳細な説明を添付図面と併用して参照することで明らかとなるであろう。添付図面は、例として、本開示の特徴を共に図示している。添付図面は以下の通りである。
(図1)一例による関心領域(ROI)ズーム機能をサポートするIMS(MTSI)ベースビデオ会議システムを通じたマルチメディアテレフォニーサービスを示す。
(図2)一例による遠端カメラ制御(FECC)プロトコルを介して複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドを生成し、複数のPTZFコマンドをシグナリングするユーザインターフェースを示す。
(図3)一例によるユーザ規定の関心領域(ROI)を1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングするための技術を例示する。
(図4)一例によるIMS(MTSI)ベースのビデオ会議アプリケーションを通じたマルチメディア電話サービスにおける関心領域(ROI)ズーム機能を開始するためのリモートユーザ装置(UE)とローカルUEとの間の通信を示すフロー図である。
(図5A)一例によるリアルタイムトランスポートプロトコル(RTP)ヘッダ拡張技術に基づく強化型遠端カメラ制御(FECC)プロトコル能力を示すセッション記述プロトコル(SDP)提供メッセージを示す。
(図5B)一例によるリアルタイムトランスポートプロトコル(RTP)ヘッダ拡張技術に基づく強化型遠端カメラ制御(FECC)プロトコル能力を承認するセッション記述プロトコル(SDP)応答メッセージを示す。
(図6A)一例によるリアルタイムトランスポート制御プロトコル(RTCP)フィードバック技術に基づく強化型遠端カメラ制御(FECC)プロトコル能力を示すセッション記述プロトコル(SDP)提供メッセージを示す。
(図6B)一例によるリアルタイムトランスポート制御プロトコル(RTCP)フィードバック技術に基づく強化型遠端カメラ制御(FECC)プロトコル能力を承認するセッション記述プロトコル(SDP)応答メッセージを示す。
(図7)一例によるリモートUEとビデオ会議を実行するように動作可能なローカルユーザ装置(UE)の機能を示す。
(図8)一例による対話型ズーム機能をサポートするローカルユーザ装置(UE)にてビデオ会議アプリケーションを動作するためにそれに関して具現化された命令を有する少なくとも1つの非一時的機械可読記憶媒体のフローチャートを示す。
(図9)一例によるリモートUEとビデオ会議を実行するように動作可能なローカルユーザ装置(UE)の機能を示す。
(図10)一例によるローカルUEとビデオ会議を実行するように動作可能なリモートユーザ装置(UE)の機能を示す。
(図11)一例による無線デバイス(例えば、UE)を示す図である。
ここで、説明される複数の例示的な実施形態に対して、参照がなされ、特定の言語は、それを説明するために本明細書において使用されるであろう。それにも関わらず、それにより本発明の範囲の限定は意図されないことは、理解されるであろう。
本発明が開示され、説明される前に、次のことは理解されるべきである。即ち、この発明は、本明細書で開示される特別な構造、プロセスステップ、または材料に限定されないが、関連技術における当業者によって認識されると思われるような、それらの等価物に拡張される、ということは理解されるべきである。さらに理解されるべきことであるが、本明細書にて使用される用語は、特別な例を説明する目的のためだけに使用され、限定的であることは意図されるものではない。異なる複数の図面における同じ複数の参照数詞は、同じ要素を表す。複数のフローチャートおよびプロセスにおいて提供されている複数の数詞は、複数のステップおよび工程を図示するのを明瞭にするために提供されており、必ずしも、特定の順序またはシーケンスを示さない。 [例示的な実施形態]
複数の技術の実施形態の最初の概要が以下に提供され、それゆえ特定の複数の技術の実施形態が後でさらに詳細に説明される。この最初の要約は、読み手が当該技術をより速く理解するのを助けることを意図されるが、当該技術の重要な特徴または不可欠な特徴を特定することを意図されるものではなく、請求の対象となる主題の範囲を限定することを意図されるものでもない。
技術が、対話型ズーム機能をサポートするローカルユーザ装置(UE)でビデオ会議アプリケーションを動作させるために説明される。ローカルUEでのローカルユーザは、ビデオ会議アプリケーションを使用することによりリモートUEにてリモートユーザと通信することができる。ローカルUEのディスプレイスクリーン上のビデオ会議アプリケーションを介して、シーンを見ているローカルユーザは、シーン内の領域を選択することができる。この領域は、リモートUEでの視野内の関心領域(ROI)と呼ばれ得る。ローカルユーザが、ROI内のより詳細なコンテンツの表示を望む場合、ローカルユーザは、ROIを選択することができる。ローカルユーザは、対話型ズーム機能を使用して、シーンのビデオフィードからシーン内の選択された領域(すなわち、ROI)へ動的に切り替えることができる。ROIは、1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングされ得る。言い換えれば、複数のPTZFコマンドは、ローカルUEでのローカルユーザによって選択されたROIを説明または特徴づけることができる。ローカルUEは、リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを介して、または、代わりに、リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張を使用して、リモートUEにPTZFコマンドを通信することができる。リモートUEは、ROIを特定するべく複数のPTZFコマンドを処理することができる。リモートUEは、ROI内のビデオをキャプチャすることができる。また、リモートUEは、ROI内のビデオを符号化することができる。符号化ビデオは、ROI内の領域を含み、ROI外の領域を除くことができる。リモートUEは、符号化ビデオをローカルUEへ送信することができる。符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルにてROI内の領域を含むことができる。言い換えれば、リモートUEは、ローカルUEでの符号化ビデオの再生を可能にするべく、ROI内の符号化ビデオを提供することができる。シーンの選択された領域(すなわち、ROI)のみをローカルUEへ送信し、シーンの非選択領域を送信から除くリモートUEにより、ビデオ会議アプリケーションは、利用可能な帯域幅をより効果的に使用することができる。
これまでに多くのマルチメディア規格が存在するが、それらは、マルチメディアが、携帯コンピューティングデバイスへ、携帯コンピューティングデバイスから、または携帯コンピューティングデバイス間で通信されるのを可能とするために開発されてきた。例えば、ビデオのストリーミングについて、第3世代パートナシッププロジェクト(3GPP)が、オンデマンドコンテンツまたはライブコンテンツのユニキャストストリーミングのためのリアルタイムストリーミングプロトコル(RTSP)に基づくパケット交換ストリーミングサービス(PSS)を説明している技術仕様書(TS)26.234(例えば、リリース11.0.0)を開発した。また、プログレッシブダウンロードおよびHTTPを介したダイナミックアダプティブストリーミング(DASH)を含むハイパーテキスト転送プロトコル(HTTP)ベースのストリーミングサービスは、3GPP TS 26.247(例えば、リリース11.0.0)に説明されている。3GPPベースのマルチメディアブロードキャストマルチキャストサービス(MBMS)の仕様のTS26.346(例えば、リリース11.0.0)は、マルチキャスト/ブロードキャストのコンテンツ配信のためのストリーミングおよびダウンロードの技術を規定している。そのため、ユーザ機器(UE)のような、DASH/PSS/MBMSをベースとした携帯コンピューティングデバイスは、UEデバイスにおいて、ストリームされたビデオを復号すると共にレンダリングする。3GPP TS26.244(例えば、リリース11.0.0)における3GPファイルフォーマットのサポートは、ファイルダウンロードおよびHTTPベースのストリーミングの利用ケースをサポートするべく、これらの仕様のいずれにおいても義務付けられている。
会話形式ビデオ通信、例えば、ビデオ会議の規格の1つの例が3GPP TS 26.114(例えば、11.0.0)に規定されている。この規格は、高度なマルチメディア会話型サービスおよびコンテンツを、インターネットプロトコル(IP)マルチメディアサブシステム(IMS)ベースのネットワークを介して配信可能にする、IMSを介したマルチメディア電話サービス(MTSI)を説明している。IMSは、3GPP TS 26.140(例えば、リリース11.0.0)で規格化されている。3GPP TS 26.140はメディア操作およびインタラクションを説明し、メディア制御、メディアコーデック、メディアおよび制御データのトランスポートを含む。3GPP TS 26.140はまた、3GPファイルフォーマット向けのサポートが提供されているマルチメディア共有サービス(MMS)を使用したビデオ共有を可能とする。
さらに詳細に以下に説明されるように、MTSI呼び出しは、その呼び出し(例えば、ビデオ会議アプリケーション)に含まれる複数のUE間の制御プレーンシグナリングを再経路化するべく、複数の呼び出しセッション制御機能(CSCF)機構を使用することができる。制御プレーンにおいて、アプリケーションサーバ(AS)が存在することができ、呼び出し保留または再開、呼び出し転送、および多者呼び出しなどのような補足的サービスを提供することができる。
MTSIベースの送信側UE端末は、ビデオをキャプチャおよび録画することができ、次に当該ビデオをMTSIベースの受信側UE端末に3GPPネットワークを通じて転送することができる。受信側UE端末は、次に、ビデオを復号およびレンダリングすることができる。MTSIにおいて、セッション開始プロトコル(SIP)は、ビデオ会議、インターネット電話呼び出しなどのような、会話形式マルチメディアセッションを確立、修正さらおよび停止するべくアプリケーション層制御プロトコルとして使うことができる。送信および受信端末間のセッション記述プロトコル(SDP)ベースのシグナリングは、コーデック、ビットレート、解像度などを含むメディア関連能力のネゴシエーションにおける提供/応答の考慮を可能にすることができる。MTSIのメディアのトランスポートは、UDP/IPを通じてリアルタイムトランスポートプロトコル(RTP)(IETF RFC 3550によって指定される)に基づく。
キャプチャデバイスの解像度、ひいては圧縮ビデオの解像度は、急激に向上している。例えば、最近の高効率ビデオ符号化(HEVC)規格を使用すれば、4Kコンテンツが、操作可能製品の一部としてトランスポートされ、格納され得る。4k×2kの解像度を有するカメラが、現在広く利用可能である。ライブストリーミングビデオが、8k×4kの解像度で実証されている。画素数の点から、解像度は将来向上する可能性があある。これらの非常に高い解像度のコンテンツにより、対話型ズーム機能のようなビデオストリーミングの新たな使用法が現在可能である。
現在市場に存在する、MTSIなどの会話形式のビデオサービスは、帯域幅、空間解像度、指向性などの点からビデオのダイナミックな適合を可能にする。しかしながら、これらの会話形式のビデオサービスは、ユーザがストリーミングされているビデオにてユーザ選択領域へと動的に切り替えて、このユーザ選択領域に対する符号化を最適化することを可能にしない。その結果、ビデオ呼び出し時の対話型ズーム機能の使用中に達成可能なビデオ解像度は、限定され得る。受信機アプリケーションが関心領域(ROI)へとズームインし、ビデオの不要な部分を切り落とすことができるが(例えば、ユーザインターフェースからのコマンドに応答して)、現在のシステムの1つの制約は、送信端末が、受信端末からのROIシグナリングがない時にビデオフレーム全体を今まで通り符号化し送信してしまうことである。
1つの例において、MTSI受信機からMTSI送信機へのROI情報のシグナリングは、MTSI送信機がより高品質のストリームを配信することを可能にし得る。MTSI送信機は、ビデオのROI部分の符号化に対してネゴシエーションされたビットレートを完全にまたは重点的に使用することができる。これを可能にするべく、両方向のシグナリングが実行され得る。MTSI送信機は、能力を示すべくMTSI受信機にメッセージを送信することができ、MTSI受信機は、所望のROIを示すべくMTSI送信機にメッセージを送信することができる。
図1は、関心領域(ROI)ズーム機能をサポートするIMSを通じたマルチメディア電話サービス(MTSI)ベースの例示的なビデオ会議システムを示す。リモートユーザ装置(UE)128(例えば、携帯電話、タブレットコンピュータ、デスクトップコンピュータ、または他の適したデバイス)と関連するユーザ(例えば、ユーザA)は、ローカルUE148と関連する別のユーザ(例えば、ユーザB)とビデオ会議中であり得る。言い換えれば、リモートUE128およびローカルUE148の両方が、二方向ビデオ会議アプリケーション160を実行中であり得る。ユーザAは、リモートUE128と近接し得(例えば、リモートUE128の前)、ユーザBは、ローカルUE148と近接し得る(例えば、ローカルUE148の前)。両方のリモートUE128およびローカルUE148はそれぞれ、ビデオ会議アプリケーション160が実行している間、ユーザが互いを見ることを可能にするカメラを含むことができる。リモートUE128は、リモートカメラを含むことができ、ローカルUE148は、ローカルカメラを含むことができる。リモートUE128は、動作中にユーザAのビデオをキャプチャするカメラと、動作中にユーザBのビデオをユーザAに表示するディスプレイスクリーンとを含むことができる。同様に、ローカルUE148は、動作中にユーザBのビデオをキャプチャするカメラと、動作中にユーザAのビデオをユーザBに表示するディスプレイスクリーンとを含むことができる。言い換えれば、ユーザAは、リモートUE128上のディスプレイスクリーンを介してユーザBを見ることができ、ユーザBは、ローカルUE148上のディスプレイスクリーンを介してユーザAを見ることができる。
1つの例において、ビデオ会議アプリケーション160は、MTSIベースの会話形式ビデオシステムを通じて可能である。言い換えれば、ビデオ会議アプリケーション160は、3GPPベースのマルチメディア電話サービスを通じて動作することができ、これによりリモートUE128およびローカルUE148を互いに接続し、電話ネットワークと接続する。
リモートUE128は、無線アクセスネットワーク(RAN)126、サービング汎用パケット無線サービス(GPRS)サポートノード(SGSN)124および/またはゲートウェイGPRSサポートノード(GGSN)122を介してコアネットワークと接続することができる。リモートUE128は、代理呼セッション制御機能(P−CSCF)120を介してデータを送信および受信することができる。P−CSCF120は、サービス呼セッション制御機能(S−CSCF)114を用いてデータを送信および受信することができる。いくつかの例において、S−CSCF114は、アプリケーションサーバ(AS)122からのデータを送信および受信することができ、呼び出し保留/再開、呼び出し転送および多者呼び出しなどのような補足的サービスを提供することができる。この例では、RAN126、SGSN124、GGSN122、P−CSCF120、S−CSCF114およびAS112が、オペレータA110と関連され得る。S−CSCF114は、コアネットワークの複数の他の部分からのデータを送信および受信をすることができる。例えば、オペレータA110と関連するS−CSCF114は、オペレータB130と関連するインタロゲーティングCSCF(I−CSCF)136と通信することができる。
ローカルUE148は、それ自身の無線アクセスネットワーク(RAN)146、サービング汎用パケット無線サービス(GPRS)サポートノード(SGSN)144およびゲートウェイGPRSサポートノード(GGSN)142を介してコアネットワークと接続することができる。ローカルUE148は、代理呼セッション制御機能(P−CSCF)140を介してデータを送信および受信することができる。P−CSCF140は、サービス呼セッション制御機能(S−CSCF)134でデータを送信および受信することができる。いくつかの例において、S−CSCF134は、アプリケーションサーバ(AS)132からのデータを送信および受信することができ、呼び出し保留/再開、呼び出し転送および多者呼び出しなどのような補足的サービスを提供することができる。S−CSCF114およびS−CSCF134はそれぞれ、インタロゲーティングCSCF(I−CSCF)136と通信することができる。言い換えれば、オペレータA110は、S−CSCF114とI−CSCF136との間の通信を介してオペレータB130と通信することができる。I−CSCF134は、ホーム加入者サーバ(HSS)138および/または加入者ロケーション機能(SLF)138に書き込みおよび読み取りすることができる。この例において、RAN146、SGSN144、GGSN142、P−CSCF140、HSS/SLF138、I−CSCF136、S−CSCF134およびAS132は、オペレータB130と関連し得る。
1つの構成において、ビデオ会議アプリケーション160は、ズーム機能をサポートすることができる。例えば、ローカルUE148は、リモートカメラ(すなわち、リモートUE128と関連するカメラ)の視野の特定の特徴または場所へとズームすることができる。ローカルUE148で、ユーザBは、リモートUE128での視野内の関心領域(ROI)150を規定することができる。非限定的な例として、リモートUE128にて、ユーザAは、リモートUE128のディスプレイスクリーン上にユーザBの頭を見ることができる。ローカルUE148で、ユーザBは、ローカルUE148のディスプレイスクリーン上にユーザAの頭および胴を見ることができる。ユーザBは、ユーザAの向上されたビューを要求することができる(例えば、ユーザBは、ユーザAの顔へとズームするように要求することができる)。ユーザBは、ROI150がユーザAの顔を含むようにローカルUE150でROI150を規定することができる。ROI150は、例えば、グラフィカルなユーザインターフェースを使用して、ローカルUE150で規定され得る。言い換えれば、ユーザBは、コンピュータマウスまたはタッチスクリーンなどの入力デバイスを使用して領域を選択してよい。ROI150は、リモートカメラの視野内の複数の他の適した領域を含むことができる。例えば、ユーザBは、ユーザAの胴、ユーザAの背後の木などを含むようROI150を規定することができる。複数の他の例として、ROI150は、ローカルUE148のディスプレイスクリーンの右上領域(リモートカメラの適切な視野に対応する)、ローカルUE148のディスプレイスクリーンの左下領域などを含むことができる。
1つの例において、ユーザBは、ROI150をリモートカメラの視野内の任意のサイズおよび場所を有するように規定することができる。別の例において、リモートUE128は、ROI150が規定された場合、静止したままとすることができ、その結果、ROI150の選択により、リモートカメラの視野を移動または変化させない。さらに別の例において、ユーザBは意のままに新しいROI150を選択することができる。さらに、ユーザA(リモートUE128で)はまた、ユーザB(ローカルUE148で)にズームインするべく類似したROIを選択することができる。
さらに詳細に以下に説明されるように、ROI150は、1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングされ得る。複数のPTZFコマンドは、ユーザBによって選択されるROI150を特徴づけるか、記述することができる。1つの例において、一連のPTZFコマンドまたは連続するPTZFコマンドは、ROI150を記述するのに使用され得る。複数のPTZFコマンドは、H.281/H.224プロトコルにさらに規定され得る。複数のPTZFコマンドは、具体的な座標の使用とは対照的に、ROI150の特徴づけに対する代替解決策となり得る。ROI150を記述する複数のPTZFコマンドは、ローカルUE148からリモートUE128に送信され得る。さらに詳細に以下に述べられるように、ROI150を記述する複数のPTZFコマンドは、リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して通信され得る。代替解決策において、ROI150を記述する複数のPTZFコマンドは、キャプチャされたローカルビデオ(すなわち、ローカルUE148にキャプチャされたビデオ)の少なくとも1つのリアルタイムトランスポートプロトコル(RTP)ヘッダ拡張に埋め込まれ得る。RTCPフィードバックメッセージまたはRTPヘッダ拡張は、ROI110内のビデオをキャプチャようにリモートUE128を指示することができる。
いくつかの例において、リモートUE128は、ROI150だけを含み、ROI150外の複数の領域を除くビデオをキャプチャすることができる。非限定的な例として、RTPヘッダ拡張またはRTCPフィードバックメッセージ(ROI150を記述する複数のPTZFコマンドを含む)はリモートUE128に、ユーザAのあごの傷をキャプチャするように指示することができる。言い換えれば、リモートUEのカメラは、ユーザAのあごの傷のみをキャプチャすることができ、ユーザAのあごを囲む複数の他の領域はキャプチャしない。
ROI150に従ってビデオをキャプチャする時、リモートUE128は、例えば、比較的低圧縮での符号化スキームを使用してビデオを符号化することができる。従って、ビデオは、規定された品質レベルを実質的に維持しつつ、ROI150の比較的大写しおよび詳細な表示を提供することができる。視野全体を符号化するべく以前に使用されたリソースが、現在はROI150を符号化するべく使用されるだけなので、リモートUE128は、あまり損失がない符号化スキームでビデオ(ROI150を有する)を符号化することができる。リモートUE128は、符号化ビデオ(ROIのみを有する)をローカルUE148に送信することができる。リモートUE128は、符号化ビデオ(ROI150のみを有する)を送信する場合に実質的に同じ量の帯域幅を消費することができるので、リモートカメラ(リモートUE128と関連する)の全視野とは対照的に、符号化ビデオは実質的に高品質となり得る。言い換えれば、ROIの符号化ビデオは、比較的鮮明に、かつ画質が粗くも、ぼやけてもなくできる。この点について、本明細書中に説明された技術は、ユーザ(例えば、ユーザB)が、ディスプレイスクリーンに表示されたフレームへと手動でズームすることで品質レベルの低減をもたらし得る以前の技術より優れている。現在の解決策において、リモートUE128は、キャプチャされたフレーム全体ではなくて、ネゴシエーションされた解像度でROI150のみを符号化することができ、これはローカルUE148でのより高い全体の解像度およびより良いユーザ体験をもたらすものである。
非限定的な例として、リモートUE128は、ユーザAのあごの傷のビデオを符号化することができる。リモートUE128は、ユーザAのあごが、比較的大きな解像度および明瞭度レベルで見ることができるように、比較的低い圧縮度での符号化スキームを使用することができる。言い換えれば、符号化ビデオは、ユーザAのあごの表示にズームされ得るが、比較的高い品質レベル(例えば、画質が粗くない)を今まで通り維持することができる。また、帯域幅全体がユーザAのあごの符号化ビデオを送信するために使用され得、これによりユーザAのあごの比較的明確かつ詳細な表示がもたらされ得る。この表示は、ユーザAの顔全部が符号化ビデオの部分として含まれた場合とは対照的に、ユーザAの顔の付加的な詳細を提供することができる。
代替構成において、リモートUE128は、(リモートUE128と関連する)リモートカメラの全視野を含むビデオをキャプチャすることができる。 しかしながら、リモートUE108は、ROI150を含むビデオの一部のみを符号化することができる。また、リモートUE108は、ROI150だけを含み、ROI150外の領域を除く符号化ビデオを送信することができる。
ローカルUE148は、リモートUE128から符号化ビデオを受信することができ、符号化ビデオは、ROI150内の複数の領域を含み、ROI150外の複数の領域を除く。ローカルUE148は、ローカルUE148と関連するディスプレイスクリーン上に符号化ビデオをレンダリングおよび表示することができる。非限定的な例として、ローカルUE148の前に坐っているユーザBは、ユーザAのあごの傷の詳細かつ大写しの表示を見ることができる。ユーザBは、ユーザAの前の表示にいつでも戻ることができ、例えば、ユーザBは、非ズームとし、ローカルUE148のディスプレイスクリーン上のユーザAの顔全体および胴を表示する状態に戻ることができる。
リアルタイムトランスポートプロトコル(RTP)ベースのマルチメディアサービス向けの国際電気通信連合(ITU)電気通信標準化セクタ(ITU−T)による遠端カメラ制御は、スタックインターネットプロトコル(IP)/ユーザデータグラムプロトコル(UDP)/RTP/H.224/H.281を使用して、ITU−T仕様H.224/H.281にて、およびインターネット技術タスクフォース(IETF)のリクエスト・フォー・コメント(RFC)4573にて規定される。
遠端カメラ制御(FECC)プロトコルにおいて、関心領域(ROI)および特定のROIへのズーム化の指示は、ITU−T H.281によって規格化されるように、複数のPTZFつまり、パン・チルト・ズーム・フォーカスコマンドのシグナリングによって、達成され得る。例えば、開始動作メッセージのメッセージフォーマットは、以下のようにすることができる。
Figure 2018186518
開始動作メッセージは、パン(P)用に、右(R)用の第1値、および左(L)用の第2値を含むことができる。 開始動作メッセージは、チルト(T)用に、上(U)用の第1値、および下(D)用の第2値を含むことができる。開始動作メッセージは、ズーム(Z)用に、ズームイン(I)用の第1値、およびズームアウト(O)用の第2値を含むことができる。開始動作メッセージは、フォーカス(F)用に、フォーカスイン(I)用の第1値、およびフォーカスアウト(O)用の第2値を含むことができる。
FECCプロトコルは、H.224の上位のITU−T H.281に依存する。従って、ROI情報は、H.224フレームを伝えるRTPパケットを介してシグナリングされ得る。FECCは、H.224フレームに内在し得、H.224パケットのクライアントIDフィールドによって特定され得る。さらに、RFC4573は、H.224を使用する遠端カメラ制御プロトコルをサポートするべく使用される複数のセッション記述プロトコル(SDP)パラメータの統語論および意味論を規定する。SDP提供/応答は、2つのMTSIクライアント間の能力のネゴシエーションを可能にすることができる。
3GPP MTSIの場合、カメラは、デバイス(例えば、タブレットまたはスマートフォン)に固定され得、実際には独立して制御される能力は有し得ない。パン/チルト能力がない固定カメラに対しては、パンコマンドは、左/右の移動/変換にマッピングされ得、チルトコマンドは、2次元(2D)画像プレーンにわたる上/下の移動/変換にマッピングされ得る。そのため、PTZコマンドの組み合わせは、任意の関心領域へのズーム化を可能にし得る。これらの機能は、vPTZ(仮想PTZ)と呼ばれる。カメラモーションは、例えば、パンまたはチルトが画像全体に適用された場合、カメラの入力バッファを変えることによってエミュレートされ得るが、修正は行われない。カメラがズームされる場合、より小さい長方形領域が選択され得、パンおよびチルトは次に、選択された長方形を変換することによって承認され得る。
1つの例において、ROIシグナリングのためのFECCプロトコルの直接の利用は、潜在的に貧弱な帯域幅でリンク特性が動的に変動する移動体通信環境ではレイテンシの観点から不利となり得る。FECCは、ユーザが所望のROIを有するストリームを取得するまで、受信機(例えば、ユーザがROIを選択するローカルUE)による複数のPTZFコマンドの連続送信を使用するプログレッシブプロトコルである。言い換えれば、送信機(例えば、符号化が発生するリモートUE)は、正確なROI情報を有しない。また、受信機(例えば、ROI情報を生成するユーザインターフェースを有するローカルUE)は、送信機(例えば、リモートUE)が受信された複数のPTZFコマンドの処理時に使用する複数のステップサイズを知らない。複数のステップサイズは、所与のPおよびTコマンドから結果として生じる上/下および左/右変換の複数の画素を示すことができる。複数のステップサイズはまた、Zコマンドの送信後に発生するズーム量を示すことができる。これらの不確実性の要素により、所望のROIを有するストリームが受信され得るまで、FECCプロトコルを使用してPTZFコマンドシーケンスの送信を余儀なくさせ得る。
非限定的な例として、ROIは、13個のPTZFコマンドを使用して説明され得る。言い換えれば、13個のPTZFコマンドは、受信機(または、ローカルUE)にてユーザによって選択されたROIを記述することができる。13個のPTZFコマンドは、受信機(例えば、ローカルUE)から送信機(例えば、リモートUE)へ送信され得る。従来の技術では、13個のPTZFコマンドを送信する時間量は、ラウンドトリップ時間(RTT)と、新たなPTZFコマンドを発行するユーザインターフェース遅延(UI_遅延)とに基づき得る。非限定的な例として、ラウンドトリップ時間は、300ミリ秒(ms)であり得、ユーザインターフェース遅延は、100msであり得る。従って、13個のPTZFコマンドを送信する時間量(すなわち、レイテンシ)は、13×UI_delay+RTT(つまり、1.6秒)と、13×RTT(つまり、3.9秒)との間に境界づけられ得る。言い換えれば、この例では、PTZFコマンドシーケンスを送信する場合のレイテンシは、1.6秒と3.9秒の中間になり得る。従って、要求されたROIに対応するストリームを見るべくユーザによって体験されるレイテンシは、従来の技術を使用した場合、3.9秒と同じくらい大きくなり得、不満足なユーザ体験となり得る。
本明細書中に説明される新規な技術は、前のFECCプロトコルを拡張し、それにより、ビデオ受信機(例えば、ローカルUE)は、単一RTPパケットの(すなわち、単一伝送の)グループ化されたシーケンスの複数のPTZFコマンドをビデオ送信機または遠端端末(例えば、リモートUE)へ送信することができる。代替解決策において、ビデオ受信機は、単一RTCPパケットのグループ化されたシーケンスの複数のPTZFコマンドをビデオ送信機へ送信することができる。複数のPTZFコマンドが、ビデオ送信機においてある順序で実行され得、ビデオ送信機がメッセージの前後の交換により所望のROIへと迅速に収束することを可能にする。FECCプロトコルのこの拡張バージョンは、強化型FECC(eFECC)と呼ばれる。言い換えれば、強化型FECCサポートは、ビデオ受信機(例えば、ローカルUE)が単一伝送にてPTZFコマンドシーケンスを送信するように構成され、ビデオ送信機(例えば、リモートUE)がPTZFコマンドシーケンスを処理し、PTZFコマンドに基づきROIを特定し、それに応じてROI内のビデオを符号化するように構成されることを示すことができる。
前の例において、13個のPTZFコマンドに送信する時間量は、従来の技術を使用した場合、1.6秒と3.9秒の中間になり得る。強化型FECCを使用することにより、同じ13個のPTZFコマンドを送信する時間量は、低減され得る。要求されたROIに対応するストリームを見るべく、ユーザによって体験されるレイテンシは、Ul遅延+RTTによって決定され得る。この例では、Ul遅延は、300msであり、RTTは100msであり、従ってレイテンシは400ms(つまり、0.4秒)となり得る。移動式設定に以前のFECCプロトコルをむやみに使用すると、ユーザが要求されるROIに対応するストリームを見る前に、体験されるレイテンシが許容できないレベルになる場合がある。強化型FECCを使用することにより、レイテンシ量は、低減され得る。
図2は、遠端カメラ制御(FECC)プロトコルを介して、複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドを生成し、複数のPTZFコマンドをシグナリングする例示的なユーザインターフェース240を示す。ユーザインターフェース240は、ローカルユーザ装置(UE)220に存在し得る。ローカルUE220の第1ユーザ210は、第2ユーザ230とビデオ会議中であり得る。第2ユーザ230は、第1ユーザ210とビデオ会議を実行するべくリモートUE(図2に不図示)を使用中であり得る。従って、第1ユーザ210は、ローカルUE220上で実行中のビデオ会議アプリケーションを介して第2ユーザ230を見ることができる。第1ユーザ210は、ローカルUE220上のユーザインターフェース240を介して、関心領域(ROI)250を選択することができる。例えば、第1ユーザ210は、第2ユーザの顔の領域を選択することができる。第1ユーザ210によって選択されるこの領域は、ROI250を示すことができる。ROI250の選択に基づき、ローカルUE220は、PTZFコマンドシーケンスを生成することができる。ローカルUE220は、PTZFコマンドシーケンスをリモートUEに送信することができる。リモートUEは、PTZFコマンドシーケンスに基づきROI250を特定することができる。リモートUEは、ROI250を含む符号化ビデオを送信することができるのみである。従って、ローカルUE220のユーザインターフェース240は、ROI250をより詳細に第1ユーザ210に対して表示することができる。
図3は、ユーザ規定の関心領域(ROI)330を1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングするための例示的な技術を示す。ユーザインターフェース310は、リモートユーザ320を表示することができる。ユーザインターフェース310は、ローカルユーザ装置(UE)と関連し得、リモートユーザ320は、リモートUEと関連し得る。1つの例において、ローカルUEと関連するローカルユーザは、1080pかつ1920×1080のネゴシエーション解像度でリモートユーザ320とビデオ会議中であり得る。ローカルUEのローカルユーザは、リモートユーザの顔へとズームすることを望む場合がある。言い換えれば、ローカルUEのローカルユーザは、リモートユーザの顔がユーザインターフェース310の増大された部分を満たし、より詳しく(すなわち、より大きなズームレベル)したいかもしれない。この場合、ローカルユーザは、ローカルUE上のユーザインターフェース310を介して関心領域(ROI)330を選択することができる。例えば、ローカルユーザは、リモートユーザの顔を包含するROI330を選択することができる。
図3に示されるように、ユーザインターフェース310は、X方向とY方向にて選択された数のタイルへと分割され得る。ROI330のユーザ選択は、ローカルUEからリモートUEへと送信されるPTZFコマンドシーケンスへと変換され得る。1つの例において、Zコマンドは、XおよびY寸法の両方にて約90%に集中されたズームとなり得、元の画像の約10%をXおよびY寸法から除外し得る。Pコマンドは、中央タイル340を中心にした複数のタイルを越える左/右の動きをもたらし、Pコマンドごとに1つのステップの4分の1のXタイルサイズをもたらし得る。Tコマンドは、中央タイル340を中心にした複数のタイルを越える上/下の動きをもたらし、Tコマンドごとに1つのステップの4分の1のYタイルサイズをもたらし得る。
図3に示されるように、ユーザ規定のROI330は、(1080,1560)のX座標、(540,810)のY座標と関連し得る。ユーザインターフェース310の左下隅は、(0,0)のXおよびY座標を有する原点となり得る。PTZFコマンドシーケンスを使用してROI330を表すべく、少なくとも8つのズームコマンド(図3の実線の矢印によって示される)が、中央タイル340を取得するべく使用され得る。8つのズームコマンドは、X(720,1200)およびY(405,675)のX−Y座標でズームした後に中央タイル340を取得するべく使用され得、対応する中央タイル340は、480×270の寸法を有する。言い換えれば、中央タイル340は、480画素のXタイルサイズと、270画素のYタイルサイズとを有する。また、上方向の少なくとも2つのコマンドおよび右方向の少なくとも3つのコマンドは、ROI330(図3の破線の矢印によって示される)を取得するべく使用され得る。従って、総数13個のPTZFコマンドが、ROI330を記述または特徴づけるべく使用され得る。複数のPTZFコマンドは、ローカルUEからリモートUEに送信され得る。リモートUEは、複数のPTZFコマンドに基づきROI330を特定し、それに応じてROI330内のビデオをローカルUEに提供することができる。
図4は、IMS(MTSI)ベースのビデオ会議アプリケーションを通じたマルチメディア電話サービスにおける関心領域(ROI)ズーム機能を開始するためのリモートユーザ装置(UE)402とローカルUE404との間の通信を示す例示的なフロー図である。1つの例において、リモートUE402は、送信クライアントと呼ばれ得、ローカルUE404は、受信クライアントと呼ばれ得る。リモートUE402およびローカルUE404はそれぞれ、リモートUE402と関連するリモートユーザが、ローカルUE404と関連するローカルユーザと通信することを可能にするビデオ会議アプリケーションを実行することができる。
リモートUE402とローカルUE404との間でのセッション記述プロトコル(SDP)ベースのシグナリングは、強化型遠端カメラ制御(FECC)プロトコルサポートに向けたメディア関連能力のネゴシエーションにおける提供/応答の考慮を可能にすることができる。強化型FECCプロトコルサポートは、ローカルUE404(または受信機)の能力を示すことができ、単一のリアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージの、および/または、RTPヘッダ拡張機構を使用した単一のリアルタイムトランスポートプロトコル(RTP)パケットのH.281/H.224FECCプロトコルを使用したグループ化されたパン・チルト・ズーム・フォーカス(PTZF)コマンドシーケンスを送信する。また、強化型FECCプロトコルサポートは、リモートUE402(または送信機)の能力を示し、PTZFコマンドシーケンスを処理し、複数のPTZFコマンドに基づく関心領域(ROI)を特定し、それに応じてROI内のビデオを符号化することができる。
リモートUE402は、SDP提供メッセージをローカルUE404に送信することができる。SDP提供メッセージは、前述のように、リモートUE404が強化型FECCプロトコルをサポートすることを示すことができる。ローカルUE404は、リモートUE402からのSDP提供メッセージを受信し得、応答して、強化型FECCプロトコル能力を承認するSDP応答メッセージを送信し得る。
1つの構成において、リモートUE402は、複数のステップサイズをローカルUE404に送信することができる。言い換えれば、複数のステップサイズは、リモートUE404およびローカルUE404からのシグナリングに含まれ得る。ローカルUE404は、リモートUE402が受信された複数のPTZFコマンドの処理時に使用するであろう複数のステップサイズを最初は知らない。従って、リモートUE402は、複数のステップサイズをローカルUE404に送信することができる。リモートUE402は、複数の専用のRTPヘッダ拡張属性として複数のステップサイズを送信することができる。複数のステップサイズは、所与のPおよびTコマンドから生じる複数の画素の上/下および左/右変換を示すことができる。複数のステップサイズはまた、Zコマンドの送信後に発生するズーム量を示すことができる。その結果、ローカルUE404は、複数のPTZFコマンドがどのようにリモートUE402で処理されるかを決定することができ、ローカルUE404がそれに応じて複数のPTZFコマンドを選択することができる。
ローカルUE404は、リモートUE402から前に受信された複数のステップサイズに基づいて複数のPTZFコマンドシーケンスを導出することができる。複数のPTZFコマンドは、ユーザ規定の関心領域(ROI)に対応することができる。言い換えれば、ROIは、ローカルUE404のローカルユーザによって規定され得る。ローカルUE404は、PTZFコマンドシーケンスをリモートUE402にシグナリングすることができる。1つの構成において、PTZFコマンドシーケンスは、単一伝送において、ローカルUE404からリモートUE402に送信され得る。言い換えれば、PTZFコマンドは、共にグループ化され、同時にリモートUE402に送信され得る。例えば、PTZFコマンドシーケンスは、単一RTCPパケットで送信され得る。あるいは、PTZFコマンドシーケンスは、単一RTPパケットでRTPヘッダ拡張として送信され得る。ローカルUE404は、複数の逆方向のビデオストリーム用のRTPヘッダ拡張を使用して、PTZFコマンドシーケンスをリモートUE402に通信することができる。
リモートUE402は、PTZFコマンドシーケンスをローカルUE404から受信することができる。リモートUE402は、PTZFコマンドシーケンスに基づきROIを特定することができる。複数のPTZFコマンドは、単一伝送にて共にグループ化されるので、リモートUE402は、複数のPTZFコマンドを迅速に処理し、低レイテンシで所望のROIに対応するストリームを配信することができる。リモートUE402は、ROIだけを含み、ROI外の複数の領域を除くビデオをキャプチャすることができる。リモートUE402は、ROIのみを含むビデオを符号化することができる。リモートUE402は、ローカルUE404に符号化ビデオを送信することができる。1つの例において、リモートUE402はまた、複数の順方向ビデオストリーム用のRTPヘッダ拡張に実際に送信されたROIを示すことができる。ローカルUE404は、ROIを含む符号化ビデオを受信し、ローカルUE404でビデオを再生することができる。
複数のPTZFコマンド(例えば、ROI情報)が、RTPヘッダ拡張メッセージを使用してローカルUE404からリモートUE402にシグナリングされた場合、強化型FECC機能(前述のように)をサポートするMTSIクライアントは、ビデオを含む全てのメディアストリーム向けの複数のSDPメッセージの強化型FECCを提供することができる。強化型FECCは、関連するメディアラインスコープ下で強化型FECC統一資源名(URN)を示すa=extmap属性を含むことにより、提供され得る。例えば、強化型FECC URNは、urn:3gpp:efeccと設定され得る。このURNを含むメディアラインの例は、a=extmap:7urn:3gpp:efeccである。メディアラインの上記の例では、番号7は、1から14の範囲の任意の番号と置き換えられ得る。
複数のPTZFコマンド(例えば、ROI情報)が、RTCPメッセージを使用してローカルUE404からリモートUE402へシグナリングされる場合、強化型FECC機能をサポートするMTSIクライアントは、ビデオを含む全てのメディアストリーム向けの複数のSDPメッセージでeFECCを提供することができる。強化型FECC機能は、関連するメディアラインスコープの下に新規なeFECCタイプに対するa=rtcp−fb属性を含むことにより提供され得る。例えば、RTCPフィードバック技術と併用したeFECCタイプは、3gpp:efeccなるパラメータで表現され得る。ワイルドカードペイロードタイプ(「*」)は、RTCPフィードバック属性強化型FECCが全てのペイロードタイプに適合することを示すべく使用され得る。複数のタイプのROIフィードバックがサポートされる場合、および/または、同じROIフィードバックがペイロードタイプのサブセットに対して規定されるべきである場合、複数のa=rtcp−fbラインが使用され得る。RTCPフィードバック技術に基づくメディアラインに関連したeFECCをシグナリングするこの属性の例示的な使用法は、a=rtcp−fb:*3gpp−efeccである。
RTCPフィードバック技術は、即時フィードバック技術および複数の早期RTCPモードの両方での複数のPTZFコマンド(例えば、ROI)のシグナリングを含むことができる。eFECC用の新規なRTCPフィードバックタイプは、3gpp−efeccのバリューネーム、強化型遠端カメラ制御のロングネーム、および第3世代パートナシッププロジェクト(3GPP)技術仕様(TS)26.114のリファレンスを含むことができる。
強化型FECC能力は、クライアントがSDP能力のネゴシエーション中にどのように特徴をサポートするかによって双方向的または一方向的にサポートされ得る。非対称能力(例えば、複数のPTZFコマンドまたはROI情報を処理するが、ROI情報を検出/シグナリングしない能力)を備えた複数の端末に対して、「sendonly」および「recvonly」属性が使用され得る。複数の端末は、十分明確なやり方で各方向にそれらの能力を表現することができ、それにより、複数の信号は両方が有用な情報を表現し、受信者によって処理され得る程度に各方向に送信されるだけである。
強化型FECC機能は、複数のPTZFコマンドシーケンスにて受信ユーザ(リモートUE402と関連する)の現在のROIのシグナリングを含むことができる。複数のPTZFコマンドのシグナリングは、H.281/H.224プロトコルに基づき得る。複数のPTZFコマンドは、リモートUE402(例えば、送信機)へ送信され得、それにより、リモートUE402は、ROI内にキャプチャされたビデオを最適に符号化して送信することができる。強化型FECCがうまくネゴシエーションされた場合、MTSIクライアントによってシグナリングされ得る。PTZFコマンドシーケンスのシグナリングは、単一RTCPメッセージ、またはRTPヘッダ拡張を使用した単一RTPパケットを通じてグループ化されたやり方で発生し得る。
複数のRTCPフィードバックメッセージを使用する場合、ローカルUE404(すなわち、受信端末)は、リモートUE402(すなわち、送信端末)へ送信中のRTCPフィードバックメッセージの受信ユーザの現在のROI情報に対応するPTZFコマンドシーケンスを含むことができる。RTPヘッダ拡張を使用する場合、ローカルUE404(すなわち、受信端末)は、リモートUE402(すなわち、送信端末)へ送信中の複数のRTPパケットに受信ユーザの現在のROI情報に対応するPTZFコマンドシーケンスを含むことができる。これらのRTPパケットは、MTSIの双方向ビデオ通信に対して使用され得る逆方向に複数のビデオストリームを伝えることができる。
図5Aは、例示的なセッション記述プロトコル(SDP)提供メッセージを示す。SDP提供メッセージは、リモートユーザ装置(UE)からローカルUEへ通信され得る。SDP提供メッセージは、リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張技術に基づき得る。SDP提供メッセージは、リモートUEでの強化型遠端カメラ制御(FECC)プロトコル能力を示すことができる。特に、強化型FECCプロトコル能力は、ローカルUEから受信されたパン・チルト・ズーム・フォーカス(PTZF)コマンドシーケンスを処理し、PTZFコマンドシーケンスからの関心領域(ROI)を特定し、それに応じてROI内のビデオを符号化するリモートUEの能力を示すことができる。例として、SDP提供メッセージは、a=extmap」の属性と、「4urn:3gpp:efecc」の関連値とを含むことができる。
図5Bは、例示的なセッション記述プロトコル(SDP)応答メッセージを示す。SDP応答メッセージは、ローカルユーザ装置(UE)からリモートUEへ通信され得る。SDP応答メッセージは、リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張技術に基づき得る。SDP応答メッセージは、リモートUEの強化型遠端カメラ制御(FECC)プロトコル能力を承認することができる。例として、SDP応答メッセージは、「a=extmap」の属性と、「4urn:3gpp:efecc」の関連値とを含むことができる。
図6Aは、例示的なセッション記述プロトコル(SDP)提供メッセージを示す。SDP提供メッセージは、リモートユーザ装置(UE)からローカルUEへ通信され得る。SDP提供メッセージは、リアルタイムトランスポート制御プロトコル(RTCP)フィードバック技術に基づき得る。SDP提供メッセージは、リモートUEにて強化型遠端カメラ制御(FECC)プロトコル能力を示すことができる。特に、強化型FECCプロトコル能力は、ローカルUEから受信されたパン・チルト・ズーム・フォーカス(PTZF)コマンドシーケンスを処理し、PTZFコマンドシーケンスからの関心領域(ROI)を特定し、それに応じてROI内のビデオを符号化するリモートUEの能力を示すことができる。例として、SDP提供メッセージは、「a=rtcp−fb」の属性と、「3gpp:efecc」の関連値とを含むことができる。
図6Bは、例示的なセッション記述プロトコル(SDP)応答メッセージを示す。SDP応答メッセージは、ローカルユーザ装置(UE)からリモートUEへ通信され得る。SDP応答メッセージは、リアルタイムトランスポート制御プロトコル(RTCP)フィードバック技術に基づき得る。SDP応答メッセージは、リモートUEの強化型遠端カメラ制御(FECC)プロトコル能力を承認することができる。例として、SDP応答メッセージは、「a=extmap」の属性と、「4urn:3gpp:efecc」の関連値とを含むことができる。
別の例は、図7のフローチャートに示されるように、リモートUEとビデオ会議を実行するように動作可能なローカルユーザ装置(UE)の機能700を提供する。機能は、方法として実施され得、または、機能は、機械上で複数の命令として実行され得る。ここで、複数の命令は、少なくとも1つのコンピュータ可読媒体または1つの非一時的機械可読記憶媒体に含まれる。ローカルUEは、ブロック710のように、リモートUEのカメラの視野内に、ローカルUEにて関心領域(ROI)を規定するように構成される1または複数のプロセッサを有することができる。1または複数のプロセッサは、ブロック720のように、ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドへマッピングするように構成され得る。1または複数のプロセッサは、ブロック730のように、ローカルUEからリモートUEへ1または複数のPTZFコマンドを送信するように構成され得、リモートUEは、1または複数のPTZFコマンドに基づきROIを特定するように構成される。1または複数のプロセッサは、ブロック740のように、リモートUEからROI内の符号化ビデオを受信するように構成され得、符号化ビデオはROI内の領域を含み、ROI外の領域を除き、符号化ビデオは、ROI内の符号化ビデオがローカルUEにてレンダリングおよび表示されるのを可能にするべく規定された品質レベルを実質的に維持しつつ、増大されたズームレベルでROI内の複数の領域を含む。
1つの構成において、第1プロセッサは、ブロック710および720の工程を実行することができる。第1プロセッサは、単一プロセッサであり得、または、代わりに、第1プロセッサは、1または複数の別個のプロセッサから成り得る。1つの構成において、第2プロセッサは、ブロック730および740の工程を実行することができる。第2プロセッサの1つの例は、ベースバンドプロセッサである。
1つの例において、1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づく。別の例において、1または複数のプロセッサは、1または複数のPTZFコマンドを単一伝送にてリモートUEへ送信するように構成される。さらに別の例において、ROIは、ローカルUEと対話するユーザによって選択される。また、1または複数のプロセッサは、リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、1または複数のPTZFコマンドをリモートUEに送信するように構成される。
1つの例において、1または複数のプロセッサは、少なくとも1つのリアルタイムトランスポートプロトコル(RTP)ヘッダ拡張に1または複数のPTZFコマンドを埋め込み、キャプチャされたローカルビデオをリモートUEへ送信するように構成され、キャプチャされたローカルビデオは、1または複数のPTZFコマンドを有するRTPヘッダ拡張を含む。別の例において、1または複数のプロセッサはさらに、ローカルUEから送信された1または複数のPTZFコマンドを処理するべくリモートUEにて使用される、リモートUEからの1または複数のステップサイズを受信するように構成される。
1つの例において、1または複数のステップサイズは、複数の専用リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張属性としてシグナリングされる。別の例において、符号化ビデオは、リモートUEの固定された非移動カメラを使用してキャプチャされる。さらに別の例において、1または複数のPTZFコマンドが遠端カメラ制御(FECC)プロトコルに従ってリモートUEへ送信される。また、1または複数のプロセッサはさらに、リモートUEが1または複数のPTZFコマンドを受信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを示す、リモートUEからのセッション記述プロトコル(SDP)提供メッセージを受信するように構成される。
1つの例において、1または複数のプロセッサはさらに、ローカルUEが1または複数のPTZFコマンドを送信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを確認するセッション記述プロトコル(SDP)応答メッセージを送信するように構成される。別の例において、1または複数のプロセッサは、1または複数のPTZFコマンドをリモートUEに送信するように構成され、リモートUEは、1または複数のPTZFコマンドに対応し、ROI内のビデオを符号化するだけのROI内のビデオをキャプチャするように構成される。さらに別の例において、1または複数のプロセッサはさらに、ROIベースの対話型ズーム機能をサポートするリモートUEでビデオ会議アプリケーションを動作するように構成される。
図8のフローチャートに示される別の例は、対話型ズーム機能をサポートするローカルユーザ装置(UE)にてビデオ会議アプリケーションを動作するために具現化された複数の命令をそれに有する少なくとも1つの非一時的機械可読記憶媒体の機能800を提供する。複数の命令が実行される場合、ブロック810のように、ローカルUEの少なくとも1つのプロセッサを使用して、ローカルUEに、リモートUEのカメラの視野内のユーザ規定の関心領域(ROI)を特定する工程をローカルUEに実行させることができる。複数の命令が実行される場合、ブロック820のように、ローカルUEの少なくとも1つのプロセッサを使用して、ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングする工程をローカルUEに実行させることができる。複数の命令が実行される場合、ブロック830のように、ローカルUEの少なくとも1つのプロセッサを使用して、ローカルUEからリモートUEへ1または複数のPTZFコマンドを送信する工程をローカルUEに実行させ得、リモートUEは、1または複数のPTZFコマンドに基づきROIを特定するように構成される。複数の命令が実行される場合、ブロック840のように、ローカルUEの少なくとも1つのプロセッサを使用して、リモートUEからROI内の符号化ビデオを受信する工程をローカルUEに実行させ得、符号化ビデオはROI内の領域を含み、ROI外の領域を除き、符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルでROI内の複数の領域を含む。複数の命令が実行される場合、ブロック850のように、ローカルUEの少なくとも1つのプロセッサを使用して、ローカルUEでのレンダリングおよび表示のためにROI内の符号化ビデオを提供する工程をローカルUEに実行させることができる。
1つの例において、1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づく。別の例において、少なくとも1つの非一時的機械可読記憶装置はさらに、ローカルUEの少なくとも1つのプロセッサによって実行される場合、1または複数のPTZFコマンドをローカルUEへ単一伝送で送信する工程をリモートUEに実行させる複数の命令を含むことができる。さらに別の例において、少なくとも1つの非一時的機械可読記憶装置はさらに、ローカルUEの少なくとも1つのプロセッサによって実行される場合、リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、1または複数のPTZFコマンドをリモートUEへ送信する工程をローカルUEに実行させる複数の命令を含むことができる。
1つの例において、少なくとも1つの非一時的機械可読記憶装置はさらに、ローカルUEの少なくとも1つのプロセッサによって実行される場合、少なくとも1つのリアルタイムトランスポートプロトコル(RTP)ヘッダ拡張に1または複数のPTZFコマンドを埋め込む工程と、キャプチャされたローカルビデオをリモートUEへ送信する工程とをローカルUEに実行させる複数の命令を含むことができ、キャプチャされたローカルビデオは、1または複数のPTZFコマンドを有するRTPヘッダ拡張を含む。別の例において、少なくとも1つの非一時的機械可読記憶装置はさらに、ローカルUEの少なくとも1つのプロセッサによって実行される場合、ローカルUEから送信された1または複数のPTZFコマンドを処理するべくリモートUEにて使用される、リモートUEからの1または複数のステップサイズを受信する工程をローカルUEに実行させる複数の命令を含むことができ、1または複数のステップサイズは、専用リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張属性としてシグナリングされる。また、1または複数のPTZFコマンドは、遠端カメラ制御(FECC)プロトコルに従ってリモートUEに送信される。
別の例は、図9のフローチャートに示されるように、リモートUE950とビデオ会議を実行するように動作可能なローカルユーザ装置(UE)900の機能を提供する。ローカルUE900は、リモートUE950のカメラの視野内に、ユーザ規定のROIを特定するように構成される関心領域(ROI)モジュール910を含むことができる。ローカルUE900は、ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングするように構成されるマッピングモジュール920を含むことができ、1または複数のPTZFコマンドが国際電気通信連合(ITU)H.281/H.224プロトコルに基づき規定される。ローカルUE900は、1または複数のPTZFコマンドをローカルUEからリモートUE950へ単一伝送にて送信し、リモートUEは1または複数のPTZFコマンドに基づきROIを特定するように構成され、ROI内の符号化ビデオをリモートUEから受信するように構成される通信モジュール930を含むことができ、符号化ビデオはROI内の領域を含み、ROI外の領域を除き、符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルでROI内の複数の領域を含む。ローカルUE900は、ローカルUEでのレンダリングおよび表示のためにROI内の符号化ビデオを提供するように構成されるディスプレイモジュール940を含むことができる。
1つの例において、通信モジュール930はさらに、リモートUEが1または複数のPTZFコマンドを受信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを示すリモートUE950からのセッション記述プロトコル(SDP)提供メッセージを受信し、ローカルUEが1または複数のPTZFコマンドを送信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを確認するセッション記述プロトコル(SDP)応答メッセージを送信するように構成され得る。
1つの例において、通信モジュール930はさらに、1または複数のPTZFコマンドをリモートUE950に送信するように構成され得、リモートUEは、1または複数のPTZFコマンドに対応し、ROI内のビデオを符号化するだけのROI内のビデオをキャプチャするように構成される。別の例において、通信モジュール930はさらに、リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、1または複数のPTZFコマンドをリモートUEに送信するように構成され得る。
別の例は、図10のフローチャートに示されるように、ローカルUEとビデオ会議を実行するように動作可能なリモートユーザ装置(UE)の機能1000を提供する。機能は、方法として実施され得、または、機能は、機械上で複数の命令として実行され得る。ここで、複数の命令は、少なくとも1つのコンピュータ可読媒体または1つの非一時的機械可読記憶媒体に含まれる。リモートUEは、ブロック1010のように、1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドをローカルUEから受信するように構成される1または複数のプロセッサを有することができる。1または複数のプロセッサは、ブロック1020のように、リモートUEにて、1または複数のPTZFコマンドに基づく関心領域(ROI)を特定するように構成され得、ROIはリモートUEのカメラの視野内に存在する。1または複数のプロセッサは、ブロック1030のように、ROI内の符号化ビデオを生成するように構成され得、符号化ビデオはROI内の複数の領域を含み、ROI外の領域を除き、符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルでROI内の複数の領域を含む。1または複数のプロセッサは、ブロック1040のように、ローカルUEがROI内の符号化ビデオをレンダリングおよび表示するのを可能にするべく、ROI内の符号化ビデオをローカルUEへ送信するように構成され得る。
1つの構成において、第1プロセッサは、ブロック1010、1020および1030の複数の工程を実行することができる。第1プロセッサは、単一プロセッサであり得、または、代わりに、第1プロセッサは、1または複数の別個のプロセッサから成り得る。1つの構成において、第2プロセッサは、ブロック1040の工程を実行することができる。第2プロセッサの1つの例は、ベースバンドプロセッサである。
1つの例において、1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づく。別の例において、1または複数のプロセッサは、1または複数のPTZFコマンドを単一伝送にてローカルUEから受信するように構成される。さらに別の例において、1または複数のプロセッサは、リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、1または複数のPTZFコマンドをローカルUEから受信するように構成される。また、1または複数のプロセッサはさらに、1または複数のステップサイズをローカルUEへ送信するように構成され、ステップサイズは、1または複数のPTZFコマンドを処理するべくリモートUEで使用され、1または複数のステップサイズは、複数の専用リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張属性としてシグナリングされる。
図11は、ユーザ装置(UE)、移動局(MS)、移動無線デバイス、移動無線通信デバイス、移動体通信デバイス、タブレット、ハンドセット、または他のタイプの無線デバイスなどの無線デバイスの例示的な説明を提供する。無線デバイスは、基地局(BS)、進化型Node B(eNB)、ベースバンドユニット(BBU)、リモート無線ヘッド(RRH)、リモート無線装置(RRE)、中継局(RS)、無線装置(RE)、リモート無線ユニット(RRU)、セントラルプロセッシングモジュール(CPM)、または他のタイプのワイヤレスワイドエリアネットワーク(WWAN)アクセスポイントなどノード、または送信局と通信を行うよう構成された1または複数のアンテナを含み得る。ワイヤレスデバイスは、3GPP LTE、WiMAX、高速パケットアクセス(HSPA)、ブルートゥース(登録商標)、およびWiFiを含む、少なくとも1つのワイヤレス通信規格を使用して、通信するように構成することが可能である。無線デバイスは、各無線通信規格用の別個のアンテナを使用して、または、複数の無線通信規格用の共有アンテナを使用して通信できる。無線デバイスは、無線ローカルエリアネットワーク(WLAN)、無線パーソナルエリアネットワーク(WPAN)、および/または、WWANで通信できる。
図11はまた、無線デバイスからのオーディオ入出力のために使用され得るマイクおよび1または複数のスピーカの説明を提供する。ディスプレイスクリーンは、液晶ディスプレイ(LCD)スクリーン、または有機発光ダイオード(OLED)ディスプレイなどの他のタイプのディスプレイスクリーンであり得る。ディスプレイスクリーンは、タッチスクリーンとして構成され得る。タッチスクリーンは、容量、抵抗、または別のタイプのタッチスクリーン技術を使用することができる。アプリケーションプロセッサおよびグラフィックプロセッサは、処理能力および表示能力を提供するために、内部メモリと結合され得る。不揮発性メモリポートはまた、データ入力/データ出力の選択肢をユーザに提供するべく使用され得る。不揮発性メモリポートはまた、無線デバイスのメモリ能力を拡張するべく使用され得る。キーボードは、追加のユーザ入力を提供するべく、無線デバイスと統合され得る、または、無線デバイスと無線で接続され得る。また、タッチスクリーンを使用して仮想キーボードが提供され得る。
様々な技術、または、それらの特定の態様あるいは一部は、有形の媒体で具現化されるプログラムコード(すなわち、命令)の形態を取ることができる。有形の媒体としては、フロッピー(登録商標)ディスケット、コンパクトディスクリードオンリーメモリ(CD−ROM)、ハードドライブ、非一時的コンピュータ可読記憶媒体または任意の他の機械可読記憶媒体が挙げられる。プログラムコードがコンピュータ等の機械へとロードされてそれによって実行される場合、当該機械は様々な技術を実施する装置となる。回路は、ハードウェア、ファームウェア、プログラムコード、実行可能なコード、コンピュータ命令、および/またはソフトウェアを含み得る。非一時的コンピュータ可読記憶媒体は、信号を含まないコンピュータ可読記憶媒体であり得る。プログラミング可能なコンピュータ上のプログラムコード実行の場合、コンピューティングデバイスは、プロセッサ、プロセッサ可読記憶媒体(揮発性および不揮発性メモリ、および/または記憶素子を含む)、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスを含み得る。揮発性および不揮発性メモリおよび/または記憶素子は、ランダムアクセスメモリ(RAM)、消去可能プログラミング可能なリードオンリーメモリ(EPROM)、フラッシュドライブ、光ドライブ、磁気ハードドライブ、ソリッドステートドライブ、または、電子データを格納する他の媒体であってよい。ノードおよび無線デバイスはまた、送受信機モジュール(すなわち、送受信機)、カウンタモジュール(すなわち、カウンタ)、プロセッシングモジュール(すなわち、プロセッサ)、および/または、クロックモジュール(すなわち、クロック)あるいはタイマモジュール(すなわち、タイマ)を含むことができる。本明細書に説明される様々な技術を実施または利用し得る1または複数のプログラムは、アプリケーションプログラミングインタフェース(API)、再利用可能な制御などを使用し得る。複数のそのようなプログラムは、コンピュータシステムと通信するべく、高水準手続型またはオブジェクト指向型のプログラミング言語で実装され得る。しかし、所望であれば、プログラムは、アセンブリ言語または機械言語で実装され得る。いずれの場合も、言語はコンパイラ型言語またはインタプリタ型言語であり得、ハードウェア実装と組み合わせられ得る。
本明細書にて使用されるように、用語のプロセッサは、汎用プロセッサ、特殊プロセッサ、たとえばVLSI、FPGAまたは複数の他のタイプの特殊プロセッサ、ならびに無線通信を送信、受信および処理する送受信機に使用されるベースバンドプロセッサを含むことができる。
本明細書において説明される複数の機能ユニットの多くは、それらの実装の独立性をより具体的に強調すべくモジュールとして示されていることを理解されるべきである。例えば、モジュールは、カスタマイズされた超大規模集積(VLSI)回路あるいはゲートアレイ、ロジックチップ、トランジスタまたはその他の別個の構成要素等の市販の半導体素子を備えるハードウェア回路として実施され得る。モジュールはまた、複数のプログラミング可能なハードウェアデバイス、たとえば、フィールドプログラミング可能なゲートアレイ、プログラミング可能なアレイロジック、プログラミング可能なロジックデバイス等で実施され得る。
1つの例において、複数のハードウェア回路または複数のプロセッサが、本明細書に説明される複数の機能ユニットを実装するのに使用され得る。例えば、第1ハードウェア回路または第1プロセッサは、処理工程を実行するべく使用され得、第2ハードウェア回路または第2プロセッサ(例えば、送受信機)は、複数の他のエンティティと通信するべく使用され得る。第1ハードウェア回路および第2ハードウェア回路は単一ハードウェア回路へと統合され得、または、代わりに、第1ハードウェア回路および第2ハードウェア回路は、別個のハードウェア回路であり得る。
モジュールはまた、様々なタイプのプロセッサにより実行されるソフトウェアを使って実装され得る。実行可能なコードの識別されたモジュールは、例えば、複数のコンピュータ命令からなる1または複数の物理ブロックあるいは論理ブロックを含み得る。これらのブロックは例えば、オブジェクト、手順、または機能として構成され得る。それでもなお、特定のモジュールの複数の実行ファイルは、物理的に共に配置される必要はなく、複数の異なる位置に格納されている複数の別個の命令を備えることができる。これらの命令は、論理的に一緒に集められる場合、モジュールを構成し、当該モジュールに対して記述された目的を実現する。
実際に、実行可能なコードのモジュールは単一の命令または多くの命令であり得、複数の異なるプログラムの中の数個の異なるコードセグメント上、およびいくつかのメモリデバイスにわたり分配され得る。同様に、演算データは複数のモジュール内で識別されて本明細書に示され得、任意の適切な形態で具現化され、任意の適切なタイプのデータ構造内に構成され得る。演算データは、単一データセットとして収集され得、または異なる記憶デバイス以上を含む異なる位置にわたり分配され得、システムまたはネットワーク上に単に電子信号として、少なくとも部分的に存在し得る。モジュールは、受動型または能動型であり得、所望の機能を実行するよう動作可能なエージェントを含む。
本明細書を通した「例」または「例示的」についての言及は、例に関連して説明される特定の特徴、構造または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。従って、本明細書を通した「例において」なる表現または「例示的」なる単語が様々な場所に現れるが、必ずしも全てが同じ実施形態を指すものではない。
本明細書に使用されるとき、複数のアイテム、構造要素、構成要素、および/または材料は便宜上、共通のリストに提示され得る。しかしながら、これらのリストは、リストの各部材が別個の固有の部材として個別に識別されるように解釈されるべきである。従って、そのようなリストの個別の部材は、共通のグループにおけるそれらの表示のみに基づいて、相反する指示のない限り、同じリストの任意の他の部材の事実上の均等物と解釈されるべきではない。また、本発明の様々な実施形態および例が、それらの様々な構成要素の代替例と共に本明細書に言及され得る。このような実施形態、例および代替例は、互いの事実上の均等物と解釈されるべきではなく、別個かつ自立した本発明の説明と解釈されるべきと理解されたい。
さらに、説明された複数の特徴、構造、または特性は、1または複数の実施形態において、任意の適切な態様で組み合わせられ得る。以下の説明において、本発明の実施形態の深い理解を提供すべく、レイアウトの複数の例、複数の距離、ネットワークの複数の例など多数の具体的な詳細が提供される。しかしながら、当業者は、それら具体的な詳細のうち1または複数を用いなくとも、または、複数の他の方法、構成要素、レイアウトなどを用いて、本発明は実施され得ることを認めるだろう。他の例において、周知の構造、材料または動作は、本発明の態様の不明瞭化を回避するべく、詳細に示されないか、説明されていない。
前述された複数の例は、1または複数の特定の用途における本発明の原理を例示するものであるが、発明力を発揮することなく、かつ、発明の原理および概念から逸脱することなく、実装の形態、使用法および詳細にて多数の修正がなされ得ることは、当業者にとって明らかであろう。従って、以下に記載する請求項以外で、本発明は限定されることを意図されるものではない。

Claims (27)

  1. リモートユーザ装置(UE)とビデオ会議を実行するように動作可能なローカルUEであって、1または複数のプロセッサを有する前記ローカルUEは、
    前記ローカルUEで前記リモートUEのカメラの視野内の関心領域(ROI)を規定し、
    前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングし、
    リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、前記1または複数のPTZFコマンドを前記ローカルUEから前記リモートUEへ送信し、前記リモートUEは、前記1または複数のPTZFコマンドに基づき前記ROIを特定し、
    前記ROI内の符号化ビデオを前記リモートUEから受信し、前記符号化ビデオは前記ROI内に複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、前記ROI内の前記符号化ビデオが前記ローカルUEにてレンダリングおよび表示されるのを可能にするべく規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む
    ローカルUE。
  2. リモートユーザ装置(UE)とビデオ会議を実行するように動作可能なローカルUEであって、1または複数のプロセッサを有する前記ローカルUEは、
    前記ローカルUEで前記リモートUEのカメラの視野内の関心領域(ROI)を規定し、
    前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングし、
    少なくとも1つのリアルタイムトランスポートプロトコル(RTP)ヘッダ拡張に前記1または複数のPTZFコマンドを埋め込み、キャプチャされたローカルビデオを前記ローカルUEから前記リモートUEへ送信し、前記キャプチャされたローカルビデオは、前記1または複数のPTZFコマンドを有する前記RTPヘッダ拡張を含み、前記リモートUEは、前記1または複数のPTZFコマンドに基づき前記ROIを特定し、
    前記ROI内の符号化ビデオを前記リモートUEから受信し、前記符号化ビデオは前記ROI内に複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、前記ROI内の前記符号化ビデオが前記ローカルUEにてレンダリングおよび表示されるのを可能にするべく規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む
    ローカルUE。
  3. リモートユーザ装置(UE)とビデオ会議を実行するように動作可能なローカルUEであって、1または複数のプロセッサを有する前記ローカルUEは、
    前記ローカルUEで前記リモートUEのカメラの視野内の関心領域(ROI)を規定し、
    前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングし、
    前記1または複数のPTZFコマンドを前記ローカルUEから前記リモートUEへ送信し、前記リモートUEは、前記1または複数のPTZFコマンドに基づき前記ROIを特定し、
    前記ROI内の符号化ビデオを前記リモートUEから受信し、前記符号化ビデオは前記ROI内に複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、前記ROI内の前記符号化ビデオが前記ローカルUEにてレンダリングおよび表示されるのを可能にするべく規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含み、
    前記ローカルUEから送信された前記1または複数のPTZFコマンドを処理するべく前記リモートUEにて使用される、前記リモートUEからの1または複数のステップサイズを受信する
    ローカルUE。
  4. 前記1または複数のステップサイズは、複数の専用リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張属性としてシグナリングされる、
    請求項3に記載のローカルUE。
  5. 前記1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づく、
    請求項1から4のいずれか一項に記載のローカルUE。
  6. 前記1または複数のプロセッサは、前記1または複数のPTZFコマンドを単一伝送にて前記リモートUEへ送信する、
    請求項1から5のいずれか一項に記載のローカルUE。
  7. 前記ROIは、前記ローカルUEと対話するユーザによって選択される、
    請求項1から6のいずれか一項に記載のローカルUE。
  8. 前記符号化ビデオは、前記リモートUEの固定された非移動カメラを使用してキャプチャされる、
    請求項1から7のいずれか一項に記載のローカルUE。
  9. 前記1または複数のPTZFコマンドは、遠端カメラ制御(FECC)プロトコルに従って前記リモートUEへ送信される、
    請求項1から8のいずれか一項に記載のローカルUE。
  10. 前記1または複数のプロセッサはさらに、前記リモートUEが前記1または複数のPTZFコマンドを受信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを示す、前記リモートUEからのセッション記述プロトコル(SDP)提供メッセージを受信する、
    請求項1から9のいずれか一項に記載のローカルUE。
  11. 前記1または複数のプロセッサはさらに、前記ローカルUEが前記1または複数のPTZFコマンドを送信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを確認するセッション記述プロトコル(SDP)応答メッセージを送信する、
    請求項1から10のいずれか一項に記載のローカルUE。
  12. 前記1または複数のプロセッサは、前記1または複数のPTZFコマンドを前記リモートUEに送信し、前記リモートUEは、前記1または複数のPTZFコマンドに対応し前記ROI内のビデオを符号化するだけの前記ROI内の前記ビデオをキャプチャする、
    請求項1から11のいずれか一項に記載のローカルUE。
  13. 前記1または複数のプロセッサはさらに、ROIベースの対話型ズーム機能をサポートする前記リモートUEでビデオ会議アプリケーションを動作させる、
    請求項1から12のいずれか一項に記載のローカルUE。
  14. コンピュータに、
    ローカルユーザ装置(UE)の少なくとも1つのプロセッサを使用して、リモートUEのカメラの視野内のユーザ規定の関心領域(ROI)を特定する手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングする手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEから前記リモートUEへリアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、前記1または複数のPTZFコマンドを送信する手順であって、前記リモートUEは前記1または複数のPTZFコマンドに基づき前記ROIを特定する、手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記リモートUEから前記ROI内の符号化ビデオを受信する手順であって、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む、手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEでのレンダリングおよび表示のために前記ROI内の前記符号化ビデオを提供する手順と
    を実行させるプログラム。
  15. コンピュータに、
    ローカルユーザ装置(UE)の少なくとも1つのプロセッサを使用して、リモートUEのカメラの視野内のユーザ規定の関心領域(ROI)を特定する手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングする手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、少なくとも1つのリアルタイムトランスポートプロトコル(RTP)ヘッダ拡張に前記1または複数のPTZFコマンドを埋め込む手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEから前記リモートUEへキャプチャされたローカルビデオを送信する手順であって、前記キャプチャされたローカルビデオは、前記1または複数のPTZFコマンドを有する前記RTPヘッダ拡張を含み、前記リモートUEは前記1または複数のPTZFコマンドに基づき前記ROIを特定する、手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記リモートUEから前記ROI内の符号化ビデオを受信する手順であって、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む、手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEでのレンダリングおよび表示のために前記ROI内の前記符号化ビデオを提供する手順と
    を実行させるプログラム。
  16. コンピュータに、
    ローカルユーザ装置(UE)の少なくとも1つのプロセッサを使用して、リモートUEのカメラの視野内のユーザ規定の関心領域(ROI)を特定する手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングする手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEから前記リモートUEへ前記1または複数のPTZFコマンドを送信する手順であって、前記リモートUEは前記1または複数のPTZFコマンドに基づき前記ROIを特定する、手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記リモートUEから前記ROI内の符号化ビデオを受信する手順であって、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む、手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEから送信された前記1または複数のPTZFコマンドを処理するべく前記リモートUEにて使用される、前記リモートUEからの1または複数のステップサイズを受信する手順であって、前記1または複数のステップサイズは、複数の専用リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張属性としてシグナリングされる、手順と、
    前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEでのレンダリングおよび表示のために前記ROI内の前記符号化ビデオを提供する手順と
    を実行させるプログラム。
  17. 前記1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づく、
    請求項14から16のいずれか一項に記載のプログラム。
  18. 前記プログラムはさらに前記コンピュータに、前記1または複数のPTZFコマンドを前記リモートUEへ単一伝送で送信する手順をさらに実行させる、
    請求項14から17のいずれか一項に記載のプログラム。
  19. 前記1または複数のPTZFコマンドは、遠端カメラ制御(FECC)プロトコルに従って前記リモートUEに送信される、
    請求項14から18のいずれか一項に記載のプログラム。
  20. リモートユーザ装置(UE)とビデオ会議を実行するように動作可能なローカルUEであって、前記ローカルUEは、
    前記リモートUEのカメラの視野内に、ユーザ規定の関心領域(ROI)を特定するROIモジュールと、
    前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングするマッピングモジュールであって、前記1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づき規定される、マッピングモジュールと、
    リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、前記1または複数のPTZFコマンドを前記ローカルUEから前記リモートUEへ単一伝送にて送信する通信モジュールであって、前記リモートUEは前記1または複数のPTZFコマンドに基づき前記ROIを特定し、前記ROI内の符号化ビデオを前記リモートUEから受信し、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む、通信モジュールと、
    前記ローカルUEでのレンダリングおよび表示のために前記ROI内の前記符号化ビデオを提供するように構成されるディスプレイモジュールと
    を備えるローカルUE。
  21. 前記通信モジュールはさらに、前記リモートUEが前記1または複数のPTZFコマンドを受信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを示す、前記リモートUEからのセッション記述プロトコル(SDP)提供メッセージを受信し、前記ローカルUEが前記1または複数のPTZFコマンドを送信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを確認するセッション記述プロトコル(SDP)応答メッセージを送信する、
    請求項20に記載のローカルUE。
  22. 前記通信モジュールはさらに、前記1または複数のPTZFコマンドを前記リモートUEに送信し、前記リモートUEは、前記1または複数のPTZFコマンドに対応し、前記ROI内のビデオを符号化するだけの前記ROI内の前記ビデオをキャプチャする、
    請求項20または21に記載のローカルUE。
  23. ローカルユーザ装置(UE)とビデオ会議を実行するように動作可能なリモートUEであって、1または複数のプロセッサを有する前記リモートUEは、
    リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドを前記ローカルUEから受信し、
    前記リモートUEにて、前記1または複数のPTZFコマンドに基づく関心領域(ROI)を特定し、前記ROIは前記リモートUEのカメラの視野内に存在し、
    前記ROI内に符号化ビデオを生成し、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含み、
    前記ローカルUEが前記ROI内の前記符号化ビデオをレンダリングおよび表示するのを可能にするべく、前記ROI内の前記符号化ビデオを前記ローカルUEへ送信する、
    リモートUE。
  24. ローカルユーザ装置(UE)とビデオ会議を実行するように動作可能なリモートUEであって、1または複数のプロセッサを有する前記リモートUEは、
    1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドを前記ローカルUEから受信し、
    前記リモートUEにて、前記1または複数のPTZFコマンドに基づく関心領域(ROI)を特定し、前記ROIは前記リモートUEのカメラの視野内に存在し、
    1または複数のステップサイズを前記ローカルUEへ送信し、前記1または複数のステップサイズは、前記1または複数のPTZFコマンドを処理するべく前記リモートUEで使用され、前記1または複数のステップサイズは、複数の専用リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張属性としてシグナリングされ、
    前記ROI内に符号化ビデオを生成し、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含み、
    前記ローカルUEが前記ROI内の前記符号化ビデオをレンダリングおよび表示するのを可能にするべく、前記ROI内の前記符号化ビデオを前記ローカルUEへ送信する、
    リモートUE。
  25. 前記1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づく、
    請求項23または24に記載のリモートUE。
  26. 前記1または複数のプロセッサは、前記1または複数のPTZFコマンドを単一伝送にて前記ローカルUEから受信する、
    請求項23から25のいずれか一項に記載のリモートUE。
  27. 請求項14から19のいずれか一項に記載のプログラムを格納するコンピュータ可読記憶媒体。
JP2018116662A 2014-10-02 2018-06-20 対話型ビデオ会議 Pending JP2018186518A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462059025P 2014-10-02 2014-10-02
US62/059,025 2014-10-02
US14/704,437 2015-05-05
US14/704,437 US9516220B2 (en) 2014-10-02 2015-05-05 Interactive video conferencing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017511988A Division JP6359764B2 (ja) 2014-10-02 2015-08-07 対話型ビデオ会議

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020203978A Division JP7114684B2 (ja) 2014-10-02 2020-12-09 対話型ビデオ会議

Publications (1)

Publication Number Publication Date
JP2018186518A true JP2018186518A (ja) 2018-11-22

Family

ID=53879849

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017511988A Active JP6359764B2 (ja) 2014-10-02 2015-08-07 対話型ビデオ会議
JP2018116662A Pending JP2018186518A (ja) 2014-10-02 2018-06-20 対話型ビデオ会議
JP2020203978A Active JP7114684B2 (ja) 2014-10-02 2020-12-09 対話型ビデオ会議

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017511988A Active JP6359764B2 (ja) 2014-10-02 2015-08-07 対話型ビデオ会議

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020203978A Active JP7114684B2 (ja) 2014-10-02 2020-12-09 対話型ビデオ会議

Country Status (7)

Country Link
US (4) US9516220B2 (ja)
EP (1) EP3202137B1 (ja)
JP (3) JP6359764B2 (ja)
KR (2) KR102211546B1 (ja)
CN (1) CN106797448A (ja)
TW (2) TWI590664B (ja)
WO (1) WO2016053477A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
US9386275B2 (en) * 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
US9706107B2 (en) * 2015-07-13 2017-07-11 Avaya Inc. Camera view control using unique nametags and gestures
US10257284B2 (en) 2015-12-30 2019-04-09 Samsung Electronics Co., Ltd. Broadcasting local function templates to proximate mobile computing devices
KR20170091913A (ko) 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
US20170237986A1 (en) * 2016-02-11 2017-08-17 Samsung Electronics Co., Ltd. Video encoding method and electronic device adapted thereto
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR102540459B1 (ko) * 2016-12-22 2023-06-05 한화비전 주식회사 Rtp/rtsp 표준을 따르는 서버와 클라이언트에서 실시간 영상 스트리밍 방법
CN110178368B (zh) 2017-01-31 2021-12-14 惠普发展公司,有限责任合伙企业 基于所接收的信息的视频变焦控制
GB2560029A (en) * 2017-02-28 2018-08-29 Nicholas Mcardell Roger A system and a method for switching focus and a connector
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
US10523820B2 (en) 2017-06-02 2019-12-31 Apple Inc. High-quality audio/visual conferencing
WO2019035007A1 (en) 2017-08-15 2019-02-21 American Well Corporation APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT
KR102044242B1 (ko) * 2017-12-27 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말 및 서버
US20190215729A1 (en) * 2018-03-15 2019-07-11 Intel Corporation Session description protocol mechanisms for signaling radio access network capabilities in multimedia telephony sessions
US10887514B2 (en) * 2018-12-21 2021-01-05 Fuji Xerox Co., Ltd. System and method of providing gaze and awareness for ultra wide and 360 cameras
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
US11848023B2 (en) * 2019-06-10 2023-12-19 Google Llc Audio noise reduction
US20200329088A1 (en) * 2019-07-26 2020-10-15 Intel Corporation Viewport indication during streaming of volumetric point cloud content
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
CN114615362B (zh) * 2020-12-09 2023-07-11 华为技术有限公司 相机控制方法、装置和存储介质
WO2023122511A1 (en) * 2021-12-21 2023-06-29 Canon U.S.A., Inc. Apparatus and method for controlling an online meeting
US11900677B2 (en) 2022-02-25 2024-02-13 Cisco Technology, Inc. User-selected multi-view videoconferencing
TW202416066A (zh) 2022-10-04 2024-04-16 倍利科技股份有限公司 遠端遙控顯微機具的系統及方法

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496607B1 (en) * 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation
CA2425411A1 (en) 2000-10-09 2002-04-18 Ses Astra S.A. Internet broadcast system
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US7119829B2 (en) 2003-07-31 2006-10-10 Dreamworks Animation Llc Virtual conference room
AU2003298462A1 (en) 2003-12-23 2005-08-11 Nokia Corporation Image data transfer sessions
CN101820537B (zh) 2004-04-23 2013-04-03 住友电气工业株式会社 活动图像数据的编码方法、终端装置以及双向对话型系统
US8427538B2 (en) 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4093226B2 (ja) * 2004-11-08 2008-06-04 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
US8768084B2 (en) 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US8019175B2 (en) 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
CN101171841B (zh) 2005-03-09 2012-06-27 高通股份有限公司 用于视频电话的关注区提取
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
KR101194518B1 (ko) * 2005-04-05 2012-10-24 톰슨 라이센싱 양자화 단계를 국부적으로 조정하기 위한 방법
CA2604203A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
CA2624339C (en) 2005-10-12 2014-12-02 Thomson Licensing Region of interest h.264 scalable video coding
US20090317282A1 (en) 2006-07-06 2009-12-24 Lotus Alloy Co., Ltd. Method for manufacturing porous body
US20080095228A1 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP2008259000A (ja) 2007-04-06 2008-10-23 Sony Corp テレビ会議装置、制御方法、およびプログラム
US8289371B2 (en) 2007-05-21 2012-10-16 Polycom, Inc. Smart cropping of video images in a videoconferencing session
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
FR2918520A1 (fr) 2007-07-03 2009-01-09 Canon Kk Procede et dispositif de transmission video
KR101421587B1 (ko) 2007-08-23 2014-07-22 삼성전자주식회사 무선 영상 전화 단말간의 선호 영상 규격을 결정하는 방법및 장치
CN101453639B (zh) 2007-11-29 2012-05-30 展讯通信(上海)有限公司 支持roi区域的多路视频流的编码、解码方法和系统
US8570359B2 (en) 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
CN101404726B (zh) * 2008-10-20 2012-05-02 华为终端有限公司 一种远端摄像机的控制方法、系统和装置
US20100118111A1 (en) 2008-11-10 2010-05-13 Nokia Corporation Method and apparatus for remote camera control indications in video conferencing
WO2010107411A1 (en) 2009-03-17 2010-09-23 Utc Fire & Security Corporation Region-of-interest video quality enhancement for object recognition
NO332170B1 (no) * 2009-10-14 2012-07-16 Cisco Systems Int Sarl Anordning og fremgangsmate for kamerakontroll
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
CN102215373B (zh) * 2010-04-07 2014-12-24 苹果公司 会议中的显示调整
US8451994B2 (en) 2010-04-07 2013-05-28 Apple Inc. Switching cameras during a video conference of a multi-camera mobile device
US8718245B2 (en) * 2011-02-16 2014-05-06 Justin Kahn Methods and systems for online counseling sessions and clinics
US8970653B2 (en) * 2011-06-16 2015-03-03 Vtel Products Corporation, Inc. Video conference control system and method
CN103858457B (zh) 2011-08-01 2018-11-13 英特尔公司 用于身份提供商(IdP)漫游/代理的多跳单点登录(SSO)
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9042247B2 (en) 2011-12-06 2015-05-26 Wi-Lan Labs, Inc. Systems and methods for preserving application identification information on handover in a communication network
US9413941B2 (en) 2011-12-20 2016-08-09 Motorola Solutions, Inc. Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device
US8854958B2 (en) 2011-12-22 2014-10-07 Cygnus Broadband, Inc. Congestion induced video scaling
US9213605B2 (en) 2012-01-23 2015-12-15 Intel Corporation IP multimedia subsystem and method for MBMS file repair using HTTP servers
EP2621171A1 (en) 2012-01-27 2013-07-31 Alcatel Lucent System and method for sharing videos
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
CN103384319B (zh) * 2012-05-04 2018-06-15 中兴通讯股份有限公司 双流视频会议终端的图像缩放方法和系统
EP2688283B1 (en) 2012-07-20 2020-03-18 BlackBerry Limited Dynamic region of interest adaptation and image capture device providing same
US8935246B2 (en) 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
US10771801B2 (en) 2012-09-14 2020-09-08 Texas Instruments Incorporated Region of interest (ROI) request and inquiry in a video chain
US8963988B2 (en) 2012-09-14 2015-02-24 Tangome, Inc. Camera manipulation during a video conference
KR101835802B1 (ko) 2012-09-18 2018-03-08 브이아이디 스케일, 인크. 타일 및 타일 그룹을 이용한 관심 영역 비디오 코딩
CN103686056B (zh) * 2012-09-24 2017-07-28 鸿富锦精密工业(深圳)有限公司 会议终端及该会议终端的视频处理方法
EP2946525B1 (en) 2013-01-17 2020-06-24 Intel IP Corporation Presence service using ims based dash service
US9160515B2 (en) 2013-04-04 2015-10-13 Intel IP Corporation User equipment and methods for handover enhancement using scaled time-to-trigger and time-of-stay
CN104113766B (zh) 2013-04-16 2018-01-02 华为技术有限公司 一种媒体流的传输带宽的调整方法及相关装置
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
CN105981387B (zh) 2013-10-15 2019-09-27 诺基亚技术有限公司 用于处理视频的方法、装置和计算机可读存储介质
US9762533B2 (en) 2013-12-20 2017-09-12 Futurewei Technologies, Inc. Method of IMS (SIP network) webRTC optimized P2P communication
US9386275B2 (en) 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"3GPP TS 26.114 V12.7.0 (2014-09)", JPN6019035358, 18 September 2014 (2014-09-18), pages 1 - 11, ISSN: 0004113678 *
INTEL (ROI RAPPORTEUR), "ROI PERMANENT DOCUMENT - REQUIREMENTS, WORKING ASSUMPTIONS AND POTENTIAL SOLUTIONS", vol. Tdoc S4-140975, JPN6018000906, 7 August 2014 (2014-08-07), ISSN: 0004113677 *

Also Published As

Publication number Publication date
US20180054563A1 (en) 2018-02-22
TWI590664B (zh) 2017-07-01
JP6359764B2 (ja) 2018-07-18
EP3202137B1 (en) 2021-09-22
US20170085782A1 (en) 2017-03-23
JP2017536713A (ja) 2017-12-07
TWI630825B (zh) 2018-07-21
KR20190006069A (ko) 2019-01-16
KR20170049512A (ko) 2017-05-10
KR101936944B1 (ko) 2019-01-10
CN106797448A (zh) 2017-05-31
JP2021052415A (ja) 2021-04-01
US10148868B2 (en) 2018-12-04
US9832369B2 (en) 2017-11-28
US10791261B2 (en) 2020-09-29
KR102211546B1 (ko) 2021-02-02
TW201742447A (zh) 2017-12-01
TW201633776A (zh) 2016-09-16
US20160100099A1 (en) 2016-04-07
US20190037131A1 (en) 2019-01-31
JP7114684B2 (ja) 2022-08-08
US9516220B2 (en) 2016-12-06
WO2016053477A1 (en) 2016-04-07
EP3202137A1 (en) 2017-08-09
BR112017004323A2 (pt) 2017-12-05

Similar Documents

Publication Publication Date Title
JP7114684B2 (ja) 対話型ビデオ会議
US10165226B2 (en) Interactive video conferencing
US10491861B2 (en) Interactive video conferencing
TWI635751B (zh) 可組配用於視訊注意區域(roi)傳信之以經由ims之多媒體電話服務(mtsi)為基礎的使用者設備(ue)(二)
BR112017004323B1 (pt) Videoconferência interativa

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191211

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200213

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200811