JP2019533372A - パノラマ画像の表示制御方法、装置及び記憶媒体 - Google Patents

パノラマ画像の表示制御方法、装置及び記憶媒体 Download PDF

Info

Publication number
JP2019533372A
JP2019533372A JP2019520848A JP2019520848A JP2019533372A JP 2019533372 A JP2019533372 A JP 2019533372A JP 2019520848 A JP2019520848 A JP 2019520848A JP 2019520848 A JP2019520848 A JP 2019520848A JP 2019533372 A JP2019533372 A JP 2019533372A
Authority
JP
Japan
Prior art keywords
mobile terminal
parameter
panoramic image
smart
adjustment parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019520848A
Other languages
English (en)
Other versions
JP6798019B2 (ja
Inventor
丹 ▲陽▼
丹 ▲陽▼
▲賢▼▲駿▼ 王
▲賢▼▲駿▼ 王
▲ユウ▼ 周
▲ユウ▼ 周
奕 ▲謝▼
奕 ▲謝▼
▲剛▼ 徐
▲剛▼ 徐
佳 瞿
佳 瞿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2019533372A publication Critical patent/JP2019533372A/ja
Application granted granted Critical
Publication of JP6798019B2 publication Critical patent/JP6798019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208Display device provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data

Abstract

本出願は、パノラマ画像の表示制御方法を開示し、移動端末により送信されたパノラマ画像トリガ命令を受信することと、受信された前記パノラマ画像トリガ命令に応じて、前記移動端末にバインドされたスマートテレビに前記パノラマ画像トリガ命令を送信し、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにすることと、前記移動端末から送信された前記移動端末の立体空間における位置変化パラメータ及び/又は姿勢変化パラメータを受信することと、前記位置変化パラメータ及び/又は姿勢変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視角調整パラメータ及び/又は視点調整パラメータを確定することと、前記視角調整パラメータ及び/又は視点調整パラメータを前記スマートテレビに送信し、前記スマートテレビが前記視角調整パラメータ及び/又は視点調整パラメータに基づいて、前記パノラマ画像の視角及び/又は視点を調整するようにすることと、を含む。本出願は、対応するパノラマ画像の表示制御装置をさらに提供している。

Description

本出願は2017年3月28日に中国特許庁に提出され、発明の名称が「パノラマ画像の表示制御方法及び装置」である出願番号201710191254.Xの中国特許出願の優先権を主張し、そのすべての内容が参照として本願に組み込まれる。
本発明はコンピュータ技術分野に関し、特にパノラマ画像の表示制御方法、装置及び記憶媒体に関する。
パノラマとは、水平視角360°であり、垂直視角180°である画像である。パノラマ画像が立体感と現実感に富み、コストパフォーマンスの極めて高い仮想現実ソリューションである。パノラマ技術は人物の全体的な動きと人物との相互関係を十分に表現することができ、パノラマの中で、人物と環境が常に一体になり、人と景色が両方とも存在する生き生きとしている画像が生成することができる。
デジタルテレビの普及に伴い、ますます多くのデジタルテレビ端末が計算能力を有するようになり、しかもデジタル処理能力がますます高くなり、ネットワークテレビなどのような直接インターネットに接続することができるスマートテレビが現れる。当面のスマートテレビのビデオの画像の視角範囲が限られ、立体感が欠如しており、スマートテレビでのパノラマビデオの再生はますます多くの注目を集めている。
本出願の実施例では、パノラマ画像の表示制御方法を提供し、移動端末に適用され、
パノラマ画像トリガ操作に応じて、メディアコンテンツサーバにパノラマ画像トリガ命令を送信し、前記メディアコンテンツサーバが前記パノラマ画像トリガ命令を前記移動端末にバインドされたスマートテレビに送信するようにし、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにすることと、
前記移動端末に対する操作に応じて、前記移動端末の立体空間におけるディスクリプションパラメータを取得し、前記メディアコンテンツサーバに前記ディスクリプションパラメータを送信し、前記メディアコンテンツサーバが前記ディスクリプションパラメータに基づいて前記パノラマ画像のパノラマ空間における調整パラメータを確定し、前記調整パラメータを前記スマートテレビに送信するようにし、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることと、を含む。
本出願の実施例では、パノラマ画像の表示制御方法をさらに提供し、メディアコンテンツサーバに適用され、
移動端末により送信されたパノラマ画像トリガ命令を受信することと、
受信された前記パノラマ画像トリガ命令に応じて、前記移動端末にバインドされたスマートテレビに前記パノラマ画像トリガ命令を送信し、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにすることと、
前記移動端末により送信された前記移動端末の立体空間におけるディスクリプションパラメータを受信することと、
前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定することと、
前記調整パラメータを前記スマートテレビに送信し、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることと、を含む。
本出願の実施例では、パノラマ画像の表示制御装置を提供し、一つ以上のプロセッサと一つ以上のメモリとを含み、前記一つ以上のメモリがコンピュータでの読み取り可能な命令を含み、設定によって前記一つ以上のプロセッサで実行され、
パノラマ画像トリガ操作に応じて、メディアコンテンツサーバにパノラマ画像トリガ命令を送信し、前記メディアコンテンツサーバが前記パノラマ画像トリガ命令を前記移動端末にバインドされたスマートテレビに送信するようにし、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにすることと、
前記移動端末に対する操作に応じて、前記移動端末の立体空間におけるディスクリプションパラメータを取得し、前記メディアコンテンツサーバに前記ディスクリプションパラメータを送信し、前記メディアコンテンツサーバが前記ディスクリプションパラメータに基づいて前記パノラマ画像のパノラマ空間における調整パラメータを確定し、前記調整パラメータを前記スマートテレビに送信するようにし、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることと、を実現するようにする。
本出願の実施例では、パノラマ画像の表示制御装置をさらに提供し、一つ以上のプロセッサと一つ以上のメモリとを含み、前記一つ以上のメモリがコンピュータでの読み取り可能な命令を含み、設定によって前記一つ以上のプロセッサで実行され、
移動端末により送信されたパノラマ画像トリガ命令を受信することと、
受信された前記パノラマ画像トリガ命令に応じて、前記移動端末にバインドされたスマートテレビに前記パノラマ画像トリガ命令を送信し、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにすることと、
前記移動端末により送信された前記移動端末の立体空間におけるディスクリプションパラメータを受信することと、
前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定することと、
前記調整パラメータを前記スマートテレビに送信し、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることと、を実現するようにする。
本出願は、不揮発性コンピュータでの読み取り可能な記憶媒体をさらに提供し、ここで、前記記憶媒体に機械可読命令が記憶され、前記機械可読命令がプロセッサによって実行され、上記の方法を実施するようにする。
本出願に提供される上記の考案を採用し、パノラマ画像の調整がより柔軟になる。
本出願の実施例に係るシステムアーキテクチャ図である。 本出願の一つの実施例のサーバ側に応用するパノラマ画像の表示制御方法フローチャートである。 本出願の一つの実施例における移動端末でのパノラマ画像表示トリガオプション画面の図である。 本出願の一つの実施例におけるスマートテレビ表示前のパノラマ画像の概略図である。 本出願の一つの実施例におけるパノラマ画像を水平移動した後の概略図である。 本出願の一つの実施例におけるパノラマ画像を拡大した後の概略図である。 本出願の一つの実施例における空間座標系とパノラマ座標系をマッチングするフローチャートである。 本出願の一つの実施例における空間座標系とパノラマ空間座標系との概略図である。 本出願の一つの実施例におけるスマートテレビで表示されるイメージ識別コードの概略図である。 本出願の一つの実施例における移動端末とスマートテレビとがパノラマ画像を同期を取って表示する概略図である。 本出願の一つの実施例における移動端末がパノラマ画像を同期を取って表示すると同時にリマインド情報を表示する概略図である。 本出願の一つの実施例におけるユーザがリマインド情報に従って移動端末を調整した後にターゲット対象を発見する概略図である。 本出願の一つの実施例の移動端末側に応用するパノラマ画像の表示制御方法フローチャートである。 本出願の一つの実施例のサーバ側に応用するパノラマ画像の表示制御装置の構成概略図である。 本出願の一つの実施例の移動端末側に応用するパノラマ画像の表示制御装置の構成概略図である。 本出願の実施例における計算装置構成概略図である。
下記において、本発明の実施例の図面を結合し、本発明の実施例の技術案を明確的、全面的に説明し、当然、説明されている実施例は、本発明の一部の実施例に過ぎず、全ての実施例ではない。本発明の実施例に基づいて、当業者は、創造的な労力を払わずに得られた全てのその他の実施例は、本発明の範囲内である。
本出願において、パノラマ画像視角調整方法及び装置を提供し、当該方法に係るシステムアーキテクチャが図1に示されている。当該システムアーキテクチャは、移動端末101、スマートテレビ102、メディアコンテンツサーバ103、及びインターネット104を含む。移動端末101とスマートテレビ102とは、インターネット104を介してメディアコンテンツサーバ103と接続する。
上記の移動端末101は、ユーザのスマートフォン又はPDA又はその他のユーザポータブルデバイスであっても良く、その中に各種のアプリケーションのクライアント側のソフトがインストールされ、ユーザは、上記の移動端末101によって、各種のアプリケーションのクライアント側に登録して使用することができ、当該アプリケーションのクライアント側はビデオ再生クライアントであっても良い。上記のインターネット104は、有線ネットワークと無線ネットワークを含むことが可能である。スマートテレビ102にはビデオ再生アプリケーションのクライアントがインストールされ、オンラインビデオリソース又はローカルビデオリソースを再生するために用いられることができる。
本出願においてパノラマ画像の表示制御方法を提供し、メディアコンテンツサーバ103に適用され、図2に示すように、主に下記のステップが含まれる
ステップ201において、移動端末により送信されたパノラマ画像トリガ命令を受信する。
ここでのパノラマ画像はパノラマピクチャーであっても良く、パノラマビデオであっても良い。まず、移動端末101をスマートテレビ102とバインディングさせ、パノラマ画像トリガ命令は、移動端末101とスマートテレビ102とのバインディング後に、移動端末101がメディアコンテンツサーバ103に送信されるバインディング確認命令であっても良い。例えば、移動端末がスマートテレビ上に表示されるイメージ識別コードをスキャンすることによって移動端末とスマートテレビとのバインディングを行い、移動端末が上記のイメージ識別コードをスキャンして識別すると同時に、メディアコンテンツサーバに前記パノラマ画像トリガ命令を送信する。メディアコンテンツサーバ103が、当該パノラマ画像トリガ命令を受信した後に、スマートテレビ102にパノラマ画像表示命令を送信し、スマートテレビがパノラマ画像を表示する。幾つかの実施例において、移動端末101がスマートテレビ102とバインディングされた後に、移動端末上でパノラマ画像のウェブページを自動的に開き、当該パノラマ画像のウェブページ上でスマートテレビと前記パノラマ画像を同期を取って表示する。
幾つかの実施例において、パノラマ画像トリガ命令はその他方式を採用しても良く、例えばスマートテレビ102はメディアコンテンツサーバ103にパノラマ画像再生リクエストを送信し、メディアコンテンツサーバは当該再生リクエストを移動端末に送信し、ユーザの選択に従ってパノラマ画像を表示するか否かを決定する。広告に関するパノラマ画像に対する表示を例にして、スマートテレビ102で広告を表示する時に、スマートテレビ102はメディアコンテンツサーバ103にパノラマ画像表示リクエストを送信し、メディアコンテンツサーバ103は、パノラマ画像を表示するか否かのリマインド情報を移動端末101に送信し、図3に示すように、移動端末101はインストールされたビデオAPPに前記リマインド情報301を表示し、それと同時に肯定オプション302及び否定オプション303を表示する。ユーザがオプション302を選択した場合、移動端末101は、メディアコンテンツサーバ103に表示確認メッセージを送信し、メディアコンテンツサーバ103は、当該表示確認メッセージをスマートテレビ102に送信し、それによって、スマートテレビは広告のパノラマ画像を表示し、当該パノラマ画像はパノラマピクチャーであっても良く、パノラマビデオであっても良い。ユーザがオプション303を選択した場合、移動端末101は、メディアコンテンツサーバ103に表示確認メッセージを送信せず、対応するスマートテレビ102にパノラマ画像が表示されない。
ステップ202において、受信された前記パノラマ画像トリガ命令に応じて、前記移動端末にバインドされたスマートテレビに前記パノラマ画像トリガ命令を送信し、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにする。
スマートテレビは、パノラマ画像トリガ命令を受信した後に、現在表示されているメディアコンテンツに対応するパノラマ画像を表示し、ここでのパノラマ画像データは、前よりメディアコンテンツサーバ103からスマートテレビ102に送信されたものであっても良い。例えば、スマートテレビは、メディアコンテンツサーバ103にビデオをリクエストする時に、当該ビデオに広告が含まれ、メディアコンテンツサーバは、前記ビデオデータをスマートテレビに送信すると同時に、広告に対応する素材もスマートテレビを送信する。ここで、広告に対する出力は広告に対応するパノラマ画像又はパノラマビデオであっても良い。
ステップ203において、前記移動端末により送信された前記移動端末の立体空間におけるディスクリプションパラメータを受信する。ここで、前記ディスクリプションパラメータは、位置変化パラメータと姿勢変化パラメータとを含むことができる。
移動端末101が位置変化パラメータを取得するのは、室内の測位を利用して移動端末101の位置変化パラメータを取得することができ、具体的に、Wi−Fi室内の測位又はブルートゥース(登録商標)室内の測位を採用しても良い。具体的に、Wi−Fi室内の測位は、移動端末の受信された無線ネットワークアクセスポイントの無線信号強度によって、移動端末に対して測位することができる。あるWi−Fiホットスポットの座標が知られているとした場合、移動端末が当該Wi−Fiホットスポットの信号を受信し、当該信号の強度が、Wi−Fiホットスポットから移動端末までの距離と一定の関係が有され、それによって信号強度で移動端末と当該Wi−Fiホットスポットとの距離を得ることができる。移動端末から三つ以上のWi−Fiホットスポットまでの距離は、これらのWi−Fiホットスポットの座標によって移動端末の座標を得ることができる。Wi−Fi室内の測位のもう一つの方式は指紋識別に似ており、複数のセマンティック位置を定義し、セマンティック位置毎にWi−Fi信号を収集して「指紋ライブラリー」を生成する。測位時に、移動端末で測定したWi−Fi信号を、生成された「指紋ライブラリー」内のWi−Fi信号と対比し、この新しい信号が前記「指紋ライブラリー」内のどの位置のWi−Fi信号と最もマッチングしているかを確認し、この場合、移動端末が当該位置に位置する可能性が一番大きいと見なす。
ブルートゥース(登録商標)室内の測位は、室内にいくつかのブルートゥース(登録商標)ローカルエリヤネットワークアクセスポイントを装着し、ネットワークを複数のユーザに基づく基礎ネットワーク接続モードに維持し、ブルートゥース(登録商標)ローカルエリヤネットワークアクセスポイントが常にこのピコネットのマスタデバイスであることを保ち、そして移動端末の受信されたブルートゥース(登録商標)信号の信号強度を測定することによって、移動端末の所在位置に対して三角測位を行う。
ユーザは移動端末を上下左右、左上、右下等の方向に任意に移動しても良く、移動端末を回転し、遠くに離し、又は近くに寄せても良く、上、下、左、右、左上、左下、右上、右下等の方向に移動すると同時に、遠くに離し、近くに寄せ、及び/又は回転する移動を行ってもよい。移動端末101の位置変化パラメータは、移動端末の以前の位置座標と現在の位置座標によって確定されることができ、ここで、移動端末の以前の位置座標と現在の位置座標は、Wi−Fi室内の測位又はブルートゥース(登録商標)室内の測位により得られる。前記移動端末101の基準点位置座標と現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定する。
移動端末の姿勢変化パラメータの取得について、移動端末101にジャイロが設けられ、ジャイロが重力の方向、即ち垂直方向を提供することができる。ジャイロから取得されたセンサーパラメータに基づいて、前記移動端末の基準点における偏向角度と現在位置における偏向角度とをそれぞれ確定し、移動端末101の基準点における偏向角度と現在位置における偏向角度とに基づいて、移動端末101の姿勢変化パラメータを確定する。
移動端末は、位置変化パラメータ及び/又は姿勢変化パラメータを確定した後に、自身の位置変化パラメータ及び/又は姿勢変化パラメータを示すことができる。回転、移動等の操作行為に基づいて、移動端末は偏向角度変化、位置変化などの変化データを示す。例えば、移動端末を反時計方向へ30°回転した場合、移動端末に数値−30°が対応的に表示され、移動端末を左方向にX距離移動した場合、移動端末に−Xが対応的に表示され、左上方に直接移動した場合、左方向のX距離の移動、上方向のY距離の移動に分解し、データ(−X、Y)が対応的に表示され、左方向にX距離を直接移動し、上方向にY距離を移動する同時に、スマートテレビへの方向にZ距離を移動した場合、データ(−X、Y、Z)が対応的に表示され、立体空間においてその他の方向への移動は同様である。
ステップ204において、前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定する。ここで、前記調整パラメータは視点調整パラメータと視角調整パラメータとを含むことができ、ディスクリプションパラメータ内の位置変化パラメータに基づいて、視点調整パラメータを確定することができ、ディスクリプションパラメータ内の姿勢変化パラメータに基づいて、視角調整パラメータを確定することができる。
パノラマ画像データを取得する時に、異なる撮影位置で360°のパノラマ画像又は720°のパノラマ画像を撮影し、異なる撮影位置が異なる視点に対応し、同時に当該視点座標を記録する。一つの固定の視点で、360°のパノラマ画像又は720°のパノラマ画像を撮影し、異なる角度が異なる視角に対応する。それによって一つの視点の三次元座標と視角のパノラマ座標ライブラリーが形成され、異なる視点と視角が異なるパノラマ画像に対応する。移動端末の立体空間内の第1の基準点をパノラマ空間内の第2の基準点に対応させ、移動端末の立体空間における座標と姿勢をパノラマ座標ライブラリー内の視点座標と視角に対応させる。移動端末の立体空間における基準点に対する位置変化パラメータ及び/又は姿勢変化パラメータに基づいて、移動端末の現在位置に対応するパノラマ画像の視点と視角のパノラマ空間における第2の基準点に対する視点変化パラメータと視角変化パラメータを確定することができる。
ステップ205において、前記調整パラメータを前記スマートテレビに送信し、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにする。
メディアコンテンツサーバは、移動端末の現在位置に対応するパノラマ画像の視点と視角のパノラマ空間における第2の基準点に対する視点変化パラメータと視角変化パラメータを取得した後に、視角調整パラメータ及び/又は視点調整パラメータをスマートテレビを送信し、スマートテレビは、当該視角調整パラメータ及び/又は視点調整パラメータに基づいて、移動端末の現在位置に対応するパノラマ画像の視点と視角を確定し、そして当該視点と視角のパノラマ画像を表示する。
図4に示すように、スマートテレビに表示されているのは観光地の広告であり、スマートテレビに広告のパノラマ画像が表示されている。図5に示すように、移動端末を左方向にX移動し、上方向にY移動した後に、メディアコンテンツサーバは、データのマッチングによってパノラマ画像の視点が左方向にX1移動し、上方向にY1移動することを確定し、当該視点調整パラメータをスマートテレビに送信する。スマートテレビは、当該視点調整パラメータに基づいて、視点を左方向にX1移動し、上方向にY1移動した後に対応する視点のパノラマ画像を表示する。図6に示すように、移動端末を後ろにZ移動した後に、メディアコンテンツサーバは、データのマッチングに基づいて、パノラマ画像の視点が後ろにZ1移動され、当該視点調整パラメータをスマートテレビに送信する。スマートテレビは、当該視点調整パラメータに基づいて、視点を後ろにZ1移動した後の視点のパノラマ画像を表示する。パノラマ画像の視点の前後方向の移動は、ユーザの視覚上において画像拡大、縮小の視覚効果があり、視点を後ろにZ1移動した後に、パノラマ画像が対応する倍数を拡大して表示され、視点を前にZ1移動した後に、パノラマ画像が対応する倍数を縮小して表示される。
本出願に提供されるパノラマ画像の表示制御方法を採用し、移動端末の立体空間における位置変化と姿勢変化によって、スマートテレビ上のパノラマ画像の視点と視角の調整を制御し、パノラマ画像の調整次元がより多く、より柔軟になる。ユーザがパノラマ画像を見るときに、ビデオカメラを持ちながら任意方向に移動してビデオを撮影するように自然になる。
本出願に提供されるパノラマ画像の表示制御方法は、例えば、広告のパノラマ画像表示の制御に応用することができる。例えば、車内装飾広告用パノラマビデオの表示において、スマートテレビにパノラマビデオを再生し、ユーザは、携帯電話によってスマートテレビに接続し、携帯電話の回転、移動(携帯電話をビデオカメラとして異なる位置に調整する)を制御することによって車内装飾の異なる角度の細部を見ることができる。本出願に提供されるパノラマ画像の表示制御方法は、広告だけではなく、ゲーム、例えば、射撃類のゲームにも応用することもできる。キャラクターの測位、空間内の奨励金、宝物、装備の探索等の補助に用いられることができる。移動端末はゲームのハンドルの代わりにも可能であり、携帯電話によってゲームのキャラクターの移動等を制御することができる。
幾つかの実施例において、ここで、前記ディスクリプションパラメータは、位置変化パラメータと姿勢変化パラメータとを含み、前記調整パラメータは視角調整パラメータと視点調整パラメータとを含み、
ここで、前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定することは、
前記位置変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視点調整パラメータを確定し、前記姿勢変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視角調整パラメータを確定すること、を含み
ここで、前記調整パラメータを前記スマートテレビに送信し、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることは、
前記視点調整パラメータと前記視角調整パラメータとを前記スマートテレビに送信し、前記スマートテレビが前記視点調整パラメータに基づいて前記パノラマ画像の視点を調整し、前記視角調整パラメータに基づいて前記パノラマ画像の視角を調整するようにすること、を含む。
当該実施例において、移動端末の立体空間におけるディスクリプションパラメータは、位置変化パラメータと姿勢変化パラメータとを含み、移動端末は、前記位置変化パラメータと前記姿勢変化パラメータとをメディアコンテンツサーバに送信する。メディアコンテンツサーバは、位置変化パラメータに基づいて視点調整パラメータを確定し、姿勢変化パラメータに基づいて視角調整パラメータを確定し、視点調整パラメータと視角調整パラメータをスマートテレビに送信する。スマートテレビは、視点調整パラメータに基づいてパノラマ画像の視点を調整し、視角調整パラメータに基づいてパノラマ画像の視角を調整する。
幾つかの実施例において、本出願で考案されたパノラマ画像の表示制御方法は、移動端末の立体空間における座標系をパノラマ空間におけるパノラマ座標系とマッチングすることをさらに含み、それによって、移動端末の三次元の空間における位置変化パラメータ及び/又は姿勢変化パラメータから、前記パノラマ画像の視角調整パラメータ及び/又は視点調整パラメータへのマッピング関係を確定する。図7に示すように、下記のステップを含む。
ステップ701において、前記移動端末から送信された前記移動端末の第1の座標系データを受信し、当該第1の座標系によって取得したパラメータが前記移動端末の立体空間における位置座標と姿勢角度を示すために用いられる。
移動端末の所在する立体空間に第1の座標系を確立し、当該第1の座標系は3つの座標軸を含み、即ちX軸、Y軸、及びZ軸であり、同時に一つの移動端末の回転軸を選択する。移動端末はスマートテレビを調整する時に、移動端末をスマートテレビと並行に置く。移動端末にジャイロが設けれら、ジャイロによって重力方向を知ることができ、図8に示すように、重力方向の所在する軸をY軸として定義し、Y軸に垂直する面が水平面であり、当該水平面がスマートテレビのスクリーンと並行する軸をX軸として定義し、X軸に垂直し、かつテレビの平面に向かう軸をZ軸として定義する。X軸は移動端末の左右方向での移動距離を表し、Y軸は移動端末の上下方向での移動距離を表し、Z軸は移動端末の前后方向での移動距離を表し、同時に移動端末101とスマートテレビ102との距離を表す。同時に第1の基準点を確定し、移動端末の位置変化パラメータが、移動端末の位置座標の当該第1の基準点に対する位置変化パラメータである。第1の基準点は、移動端末がスマートテレビを調整する前の初期位置であり、幾つかの実施例において、第1の座標系の座標原点を当該第1の基準点として定義することができ、それによって移動端末の位置変化パラメータを確定する際に、直接に移動端末の位置座標パラメータを位置変化パラメータとすることができ、それによって計算量を減少させる。移動端末がスマートテレビ上のパノラマ画像を調整する際に、ある固定位置で、移動端末は回転によって移動端末の姿勢を制御することができ、当該姿勢の変化によってパノラマ画像のある視点にける視角を制御することができる。パノラマ画像が360°のパノラマ画像である場合、移動端末の一つの平面内の回転によってパノラマ画像の異なる視角を制御することができ、パノラマ画像が720°のパノラマ画像である場合、移動端末の二つの平面内の回転によってパノラマ画像の異なる視角を制御することができる。幾つかの実施例において、上記のX軸、Y軸、Z軸のいずれか一つの軸を回転軸とすることができる。幾つかの実施例において、移動端末の前記第1の基準点における回転角度を0°として設定し、姿勢変化パラメータを確定する時に、直接に移動端末の所在位置における回転角度を姿勢変化パラメータとすることができ、それによって計算量を減少させる。第1の座標系データは主に3つの座標軸、座標原点、第1の基準点、及び移動端末の回転軸を含む。
ステップ702において、前記スマートテレビから送信されたパノラマ空間内の第2の座標系データを受信し、当該第2の座標系によって取得したパラメータがパノラマ画像の視点と視角を示すために用いられる。
パノラマ空間に第2の座標系を確立し、パノラマ画像の撮影の起点を第2の基準点として定義し、幾つかの実施例において、パノラマ空間座標系の原点を当該第2の基準点(第2の基準点与第2の座標系的原点重合)として定義する。デフォルトとして、パノラマ画像がテレビのスクリーンの所在垂直平面に位置され、水平面に平行するのがX軸であり、水平面に垂直するのがY軸であり、テレビスクリーンの所在平面に垂直するのがZ軸である。X軸は視点の左右方向における移動距離を表し、Y軸は視点の上下方向における移動距離を表し、Z軸は視点の前后方向における移動距離を表す。パノラマ画像が360°のパノラマ画像である、一つの角度パラメータで視角を示し、パノラマ画像が720°のパノラマ画像である場合、二つの角度パラメータで視角を示す。第2の座標系データは、第2の座標系の3つの座標軸、座標原点、第2の基準点、及び視角を表す角度を含む。
ステップ703において、前記第1の座標系データと前記第2の座標系データとに基づいて、前記第1の座標系におけるディスクリプションパラメータから前記第2の座標系における調整パラメータへのマッピング関係を確定する。ここで、ディスクリプションパラメータは、位置変化パラメータ及び/又は姿勢変化パラメータを含み、調整パラメータは視点調整パラメータ及び/又は視角調整パラメータを含む。
メディアコンテンツサーバは、スマートテレビから送信されたパノラマ空間座標系データと移動端末の立体空間座標系データを受信し、パノラマ空間における第2の座標系を移動端末の第1の座標系とマッチングする。第1の座標系の第1の基準点を第2の座標系の第2の基準点に対応させ、第1の座標系のX、Y、Z軸を第2の座標系のX、Y、Z軸にそれぞれ対応させ、即ち、移動端末の左右方向における移動を、視点の左右方向における移動に対応させ、移動端末の上下方向における移動を視点の上下方向における移動に対応させ、移動端末の前后方向における移動を、視点の前后方向における移動に対応させ、視点の前后移動は、見るときの視覚効果上において、パノラマ画像拡大、縮小の視覚効果がある。移動端末の回転角度をパノラマ画像の視角に対応させ、パノラマ画像が360°のパノラマ画像である場合、移動端末の一つの平面内の回転角度をパノラマ画像の360°範囲内の視角に対応させ、パノラマ画像が720°のパノラマ画像である場合、移動端末の立体空間における回転角度を2つの平面上の回転角度に分解し、当該2つの平面上の回転角度をパノラマ画像の720°範囲内における視角に対応させる。また、前記マッピング関係は、第1の座標系と第2の座標系との寸法における対応関係をさらに含み、ユーザの腕の移動による移動端末の上下、左右、前后方向の移動可能距離、ユーザの腕の回転による移動端末101の回転可能角度、及びパノラマ画像の視点の左右方向、上下方向、前后方向上の移動可能距離範囲と視角範囲に基づいて、空間座標系の寸法とパノラマ空間における座標の寸法との対応関係を確定する。例えば、移動端末101を上下方向に距離a移動し、パノラマ画像が対応的に上下方向にa1移動され、aとa1が線形比例関係になっており、比率の大きさは、ユーザの腕の上下方向における移動可能距離範囲とパノラマ画像の視点の上下方向における移動距離範囲とにより決定される。移動端末101を左右方向に距離b移動し、パノラマ画像の視点が対応的に左右方向にb1移動され、bとb1とが線形比例関係になっており、比率の大きさは、ユーザの腕の左右方向における移動可能距離範囲とパノラマ画像の視点の左右方向における移動距離範囲とにより決定される。移動端末101を前后方向に距離c移動し、パノラマ画像の視点が前后方向にc1移動され、cとc1とが線形比例関係になっており、比率の大きさは、于ユーザの腕の前后方向における移動可能距離範囲とパノラマ画像の視点の前后方向における移動距離範囲により決定される。移動端末を角度θ回転し、パノラマ画像の視角がθ1変わり、θとθ1とが線形比例関係になっており、比率の大きさは、ユーザの腕の回転可能角度範囲とパノラマ画像の視角範囲とにより決定される。
幾つかの実施例において、上記のステップ204において、前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定することは、前記マッピング関係と前記ディスクリプションパラメータとに基づいて、前記調整パラメータを確定することを含む
移動端末101は得られた位置変化パラメータと姿勢変化パラメータとをメディアコンテンツサーバ103に送信する。メディアコンテンツサーバ103は、得られた移動端末101の空間座標系における位置変化パラメータと姿勢変化パラメータとに基づいて、同時に上記で確定された立体空間内の第1の座標系における位置パラメータ及び/又は姿勢パラメータから、前記パノラマ空間における視角調整パラメータ及び/又は視点調整パラメータへのマッピング関係に基づいて、パノラマ画像に対する調整パラメータを確定する。幾つかの実施例において、第1の基準点が第1の座標系の座標原点として定義され、移動端末の初期姿勢の回転角度が0°として定義され、例えば、図8に示すように、移動端末の図8における姿勢の回転角度を0°として定義する。第2の基準点が第2の座標系の座標原点(第2の基準点と第2の座標系の座標原点と一致する)として定義されても良く、スマートテレビに表示されるパノラマ画像の初期視角が0°として定義される。第1の基準点を第1の座標系の原点に設定し、移動端末の初期位置の回転角度を0°として設定した場合、位置変化パラメータと姿勢変化パラメータとは、まさしく移動端末の現在位置の位置座標と回転角度である。第2の基準点を第2の座標系の原点に設定し、移動端末に初期表示されるパノラマ画像の回転角度を0°として設定した場合、視角調整パラメータと視点調整パラメータとは、まさしくパノラマ画像の視角と視点である。上記のステップで確定されたマッピング関係に基づいて、移動端末の現在位置の座標に対応する視点を確定し、同時に移動端末の現在位置の回転角度に対応するパノラマ画像の視角を確定する。メディアコンテンツサーバは、確定された視点と視角とをスマートテレビに送信し、スマートテレビが前記確定された視点と視角のパノラマ画像を表示する。
幾つかの実施例において、本出願で考案されたパノラマ画像の表示制御方法は、移動端末をスマートテレビとバインディングすることをさらに含み、イメージ識別コードによって、移動端末をスマートテレビとバインディングすることができ、移動端末がスマートテレビのイメージ識別コードをスキャンしてバインディングを確立し、具体的に下記のステップを含む。
ステップS11において、前記スマートテレビの識別子を含むイメージ識別コードを生成し、前記イメージ識別コードを当該スマートテレビに送信し、当該スマートテレビが前記イメージ識別コードを表示するようにする。
メディアコンテンツサーバ103は、スマートテレビ識別子を含むイメージ識別コードを生成し、前記イメージ識別コードを当該スマートテレビに送信し、当該スマートテレビが前記イメージ識別コードを表示するようにする。図9に示すように。当該イメージ識別コードは、スマートテレビの識別子を含むQRコード(登録商標)であってもよく、当該スマートテレビ識別子は、ネットワークテレビのGUIDであってもよい。スマートテレビは、それの表示装置、例えばスクリーンに前記イメージ識別コードを表示することができる。
ステップS12において、前記移動端末が前記イメージ識別コードを識別してから送信されたバインディングリクエストメッセージを受信し、前記バインディングリクエストメッセージに当該移動端末の識別子と当該スマートテレビの識別子を含む。
移動端末は上記のスマートテレビのイメージ識別コードをスキャンして識別し、移動端末は移動端末自身のスキャン機能によって上記のイメージ識別コードをスキャンしてもよく、それのアプリケーションクライアント側に含まれるスキャン機能によって上記のイメージ識別コードをスキャンしてもよい。イメージ識別コードの識別が成功した後に、移動端末はメディアコンテンツサーバ103にバインディングリクエストメッセージを送信し、当該バインディングリクエストメッセージに移動端末の識別子とスマートテレビの識別子が含まれる。
ステップS13において、当該移動端末の識別子と当該スマートテレビの識別子との対応関係を確立する。
メディアコンテンツサーバ103は上記のバインディングリクエストメッセージを受信した後に、移動端末識別子とスマートテレビ識別子との対応関係を確立し、当該対応関係を記憶する。同時にメディアコンテンツサーバ103はスマートテレビにバインディング成功メッセージを送信し、スマートテレビにバインディング成功メッセージを表示する。移動端末がイメージ識別コードの識別に失敗した場合、メディアコンテンツサーバ103にバインディング識別メッセージに送信し、メディアコンテンツサーバ103は当該バインディング識別メッセージをスマートテレビに送信して表示させ、スマートテレビはイメージ識別コードを再表示し、同時に再度スキャンするように促すためのリマインド情報を表示する。
幾つかの実施例において、上記のステップ202において、前記移動端末にバインドされたスマートテレビに前記パノラマ画像トリガ命令を送信することは下記のステップを含む。
ステップS21において、前記対応関係に基づいて、前記移動端末の識別子に対応するスマートテレビの識別子を確定する。
上記のステップにおいて、メディアコンテンツサーバ103は、既に移動端末101識別子とスマートテレビ102識別子との対応関係を確立し、記憶している。メディアコンテンツサーバ103は、パノラマ画像トリガ命令を受信した後に、パノラマ画像トリガ命令に当該命令を送信する移動端末の識別子が含まれ、メディアコンテンツサーバは、当該移動端末の識別子に基づいて、記憶されている対応関係から前記移動端末識別子に対応するスマートテレビ識別子をサーチする。
ステップS22において、前記パノラマ画像トリガ命令を前記スマートテレビの識別子に対応するスマートテレビに送信する。
メディアコンテンツサーバ103は、スマートテレビの識別子をサーチして得られた後に、パノラマ画像トリガ命令を当該スマートテレビ識別子に対応するスマートテレビに送信し、スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにする。
幾つかの実施例において、本出願で考案されたパノラマ画像の表示制御方法は、移動端末とスマートテレビにおいてパノラマ画像を同期をとって表示すること、をさらに含み、移動端末はセカンダリスクリーンとして表示し、ユーザの閲覧に便利である。主に下記のステップを含む。
ステップS31において、前記スマートテレビから送信された現在表示されているパノラマ画像データを受信する。
移動端末とスマートテレビとはパノラマ画像を同期をとって表示し、スマートテレビは、現在表示されているパノラマ画像をメディアコンテンツサーバにリアルタイムで送信することができ、同時にメディアコンテンツサーバは、受信されたパノラマ画像を移動端末に送信し、移動端末とスマートテレビとはパノラマ画像を同期をとって表示するようにする。
ステップS32において、前記現在表示されているパノラマ画像データを前記移動端末に送信し、前記移動端末と前記スマートテレビとは前記パノラマ画像を同期をとって表示する。
図10に示すように、移動端末とスマートテレビとはパノラマ画像を同期をとって表示し、移動端末にパノラマ画像を同期をとって表示し、一方は、移動端末上の表示装置をセカンダリスクリーンとすることが可能であり、もう一方は、インタラクションに便利であり、例えば、パノラマ画像がパノラマビデオである場合、移動端末上でパノラマビデオ再生のシークバーを制御することができる。
幾つかの実施例において、本出願で考案されたパノラマ画像の表示制御方法は、スマートテレビから送信された調整後のパノラマ画像をリアルタイムに受信するではなく、移動端末はそれの上で表示されているパノラマ画像を単独で調整すること、をさらに含む。主に、上記のステップ204の後に、前記パノラマ画像の調整パラメータを前記移動端末に送信し、前記移動端末が前記調整パラメータに基づいて前記パノラマ画像の視角及び/又は視点を調整すること、をさらに含む。
スマートテレビは、メディアコンテンツサーバから送信された再生パノラマ画像確認メッセージを受信してから、パノラマ画像データをメディアコンテンツサーバに送信してもよく、メディアコンテンツサーバは、それを移動端末に送信し、移動端末のAPPで初期のパノラマ画像を表示する。幾つかの実施例において、移動端末に表示されているパノラマ画像ウェブページ(例えばH5ページ)で前記パノラマ画像を表示してもよく、当該パノラマ画像は調整していないパノラマ画像であってもよい。移動端末から送信された、パノラマ画像の単独調整のトリガーリクエストを受信した後に、移動端末は、受信されたスマートテレビの表示中のパノラマ画像に対して、後続の調整においてパノラマ画像を自ら独立して調整してもよい。その後の、メディアコンテンツサーバ103がスマートテレビにパノラマ画像の調整パラメータを送信する時に、移動端末101は、当該調整パラメータに基づいて、それの上に表示されているパノラマ画像に対して調整し、アプリケーションサーバは、前記調整パラメータに基づいて確定されたパノラマ画像を移動デバイスに送信して表示させてもよい。移動端末101とスマートテレビとは、パノラマ画像を同期をとって表示し、同時にパノラマ画像を同期をとって調整する。
幾つかの実施例において、本出願で考案されたパノラマ画像の表示制御方法は、ここで、前記パノラマ画像に一つのターゲット対象が含まれ、当該ターゲット対象は、広告画像内の一枚割引券、ゲーム内のパノラマ画像内の敵、キー、道具などであってもよい。
前記方法は、ステップS41をさらに含む。
ステップS41において、前記調整パラメータと前記ターゲット対象の位置とに基づいて、リマインド情報を確定し、前記リマインド情報は、前記移動端末に対して操作を行うことをリマインドするために用いられる。当該ステップを実行する時に、前記視角調整パラメータ及び/又は視点調整パラメータと前記ターゲット対象の位置とに基づいてリマインド情報を確定し、前記リマインド情報は、前記移動端末に対する移動及び/又は回転操作をリマインドするために用いられる。
移動端末とスマートテレビとは、パノラマ画像を同期をとって表示する場合、パノラマ画像を提供する側は、パノラマ画像に一つのターゲット対象を設置することができる。メディアコンテンツサーバは、ターゲット対象の所在位置とスマートテレビ現在表示されているパノラマ画像とに基づいて、リマインド情報を確定し、当該リマインド情報は、ユーザのパノラマ画像からターゲット対象の発見を手伝う。例えば、広告パノラマ画像を例として説明すると、移動端末とスマートテレビとはパノラマ画像を同期をとって表示し、現在のパノラマ画像を2倍拡大したら、ユーザがターゲット対象を発見することができ、その場合、ビデオサーバは、2倍を拡大するようなリマインド情報を移動端末に送信して表示させ、図11に示すように、移動端末に広告のパノラマ画像を表示し、ここでの広告は、観光スポットの広告である。同時に移動端末にリマインド情報1101を表示し、当該リマインド情報1101は、2倍拡大したらサプライズがあることをユーザにリマインドする。
ステップS42において、前記リマインド情報を前記移動端末に送信して表示させる。それによって、ユーザは前記リマインド情報に基づいて、前記移動端末を移動及び/又は回転する。
また上記の例に示されているように、移動端末に「2倍拡大したらサプライズがある」というリマインド情報を表示する。ユーザは移動端末をスマートテレビに近づき、2倍拡大した後に、図12に示すように、スマートテレビ102上で割引券1202を見つけ、移動端末上で割引券1202が同期をとって表示され、同時に割引券発見というリマインド情報1201が表示される。ユーザは、移動端末でボタン1203、即ち、図12内の「ギリシャへの旅しよう」ボタン(コントロール)を押下して割引チケットを購入することができ、さらに割引券の共有などのインタラクションも可能である。
本出願はパノラマ画像の表示制御方法をさらに提供し、移動端末101に適用され、図13に示すように、主に下記のステップを含む。
ステップ1301において、パノラマ画像トリガ操作に応じて、メディアコンテンツサーバにパノラマ画像トリガ命令を送信し、前記メディアコンテンツサーバが前記パノラマ画像トリガ命令を前記移動端末にバインドされたスマートテレビに送信するようにし、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにする。
ステップ1302において、前記移動端末に対する操作に応じて、前記移動端末の立体空間におけるディスクリプションパラメータを取得し、前記メディアコンテンツサーバに前記ディスクリプションパラメータを送信し、前記メディアコンテンツサーバが前記ディスクリプションパラメータに基づいて前記パノラマ画像のパノラマ空間における調整パラメータを確定し、前記調整パラメータを前記スマートテレビに送信するようにし、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにする。
本出願に提供されたパノラマ画像の表示制御方法を採用し、移動端末の立体空間における位置変化と姿勢変化によって、スマートテレビ上のパノラマ画像の視点と視角の調整を制御する。パノラマ画像の調整次元がより多くなり、より柔軟になる。ユーザがパノラマ画像を見るときに、ビデオカメラを持ちながら任意方向に移動してビデオを撮影するように自然になる。
幾つかの実施例において、ここで、前記ディスクリプションパラメータは、位置変化パラメータと姿勢変化パラメータとを含み、前記調整パラメータは視角調整パラメータと視点調整パラメータとを含み、
ここで、前記移動端末に対する操作に応じて、前記移動端末の立体空間におけるディスクリプションパラメータを取得することは、
前記移動端末に対する移動操作に応じて、前記位置変化パラメータを取得し、前記移動端末に対する回転操作に応じて、前記姿勢変化パラメータを取得することを含み、
ここで、前記ディスクリプションパラメータを前記メディアコンテンツサーバに送信し、前記メディアコンテンツサーバが前記ディスクリプションパラメータに基づいて前記パノラマ画像のパノラマ空間における調整パラメータを確定し、前記調整パラメータを前記スマートテレビに送信するようにし、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることは、
前記位置変化パラメータと前記姿勢変化パラメータと前記メディアコンテンツサーバに送信し、前記メディアコンテンツサーバが前記位置変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視点調整パラメータを確定し、前記姿勢変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視角調整パラメータを確定し、前記視点調整パラメータと前記視角調整パラメータとを前記スマートテレビに送信するようにし、前記スマートテレビが前記視点調整パラメータに基づいて前記パノラマ画像の視点を調整し、前記視角調整パラメータに基づいて前記パノラマ画像の視角を調整するようにすることを含む。
幾つかの実施例において、上記のステップ1301において、前記ユーザのパノラマ画像トリガ操作に応じることは、ユーザの表示パノラマ画像オプションに対する選択操作に応答することを含み、それとバインディングされているスマートテレビ上のイメージ識別コードを識別することも含むことができる。
まず、移動端末101をスマートテレビ102とバインディングさせ、パノラマ画像トリガ命令は、移動端末101とスマートテレビ102とのバインディング後に、移動端末101がメディアコンテンツサーバ103に送信されるバインディング確認命令であっても良い。例えば、移動端末がスマートテレビ上に表示されるイメージ識別コードをスキャンすることによって移動端末とスマートテレビとのバインディングを行い、移動端末が上記のイメージ識別コードをスキャンして識別すると同時に、メディアコンテンツサーバに前記パノラマ画像トリガ命令を送信する。メディアコンテンツサーバ103が、当該パノラマ画像トリガ命令を受信した後に、スマートテレビ102にパノラマ画像表示命令を送信し、スマートテレビがパノラマ画像を表示する。幾つかの実施例において、移動端末101がスマートテレビ102とバインディングされた後に、移動端末上でパノラマ画像のウェブページを自動的に開き、当該パノラマ画像のウェブページ上でスマートテレビと前記パノラマ画像を同期を取って表示する。
幾つかの実施例において、パノラマ画像トリガ命令はその他方式を採用しても良く、例えばスマートテレビ102はメディアコンテンツサーバ103にパノラマ画像再生リクエストを送信し、メディアコンテンツサーバは当該再生リクエストを移動端末に送信し、ユーザの選択に従ってパノラマ画像を表示するか否かを決定する。広告に関するパノラマ画像に対する表示を例にして、スマートテレビ102で広告を表示する時に、スマートテレビ102はメディアコンテンツサーバ103にパノラマ画像表示リクエストを送信し、メディアコンテンツサーバ103は、パノラマ画像を表示するか否かのリマインド情報を移動端末101に送信し、図3に示すように、移動端末101はインストールされたビデオAPPに前記リマインド情報301を表示し、それと同時に肯定オプション302及び否定オプション303を表示する。ユーザがオプション302を選択した場合、移動端末101は、メディアコンテンツサーバ103に表示確認メッセージを送信し、メディアコンテンツサーバ103は、当該表示確認メッセージをスマートテレビ102に送信し、それによって、スマートテレビは広告のパノラマ画像を表示し、当該パノラマ画像はパノラマピクチャーであっても良く、パノラマビデオであっても良い。ユーザがオプション303を選択した場合、移動端末101は、メディアコンテンツサーバ103に表示確認メッセージを送信せず、対応するスマートテレビ102にパノラマ画像が表示されない。
幾つかの実施例において、上記のステップ1302において、前記移動端末の立体空間における位置変化パラメータを取得する時に、移動端末101が位置変化パラメータを取得するのは、室内の測位を利用して移動端末101の位置変化パラメータを取得することができる。具体的に、Wi−Fi室内の測位又はブルートゥース(登録商標)室内の測位を採用して前記位置変化パラメータを得ることができる。具体的に、Wi−Fi室内の測位は、移動端末の受信された無線ネットワークアクセスポイントの無線信号強度によって、移動端末に対して測位することができる。あるWi−Fiホットスポットの座標が知られているとした場合、移動端末が当該Wi−Fiホットスポットの信号を受信し、当該信号の強度が、Wi−Fiホットスポットから移動端末までの距離と一定の関係が有され、それによって信号強度で移動端末と当該Wi−Fiホットスポットとの距離を得ることができる。移動端末から三つ以上のWi−Fiホットスポットまでの距離に基づいて、移動端末の座標を確定することができる。ここで、前記立体空間にM個のネットワークアクセスポイントが配置され、ここでMが3以上である。
前記移動端末の立体空間におけるディスクリプションパラメータを取得することは下記のステップを含む。
ステップS51において、M個のネットワークアクセスポイントを設置し、ここでMが3以上である。立体空間に前記M個のネットワークアクセスポイントを設置する。
ステップS52において、前記移動端末の基準点位置と現在位置で受信されたそれぞれの前記M個のネットワークアクセスポイントのM個の無線信号強度に基づいて、前記基準点位置座標と現在位置座標とをそれぞれ確定し、即ち、前記移動端末が基準点位置で受信された前記M個のネットワークアクセスポイントのM個の無線信号強度と、現在位置で受信された前記M個のネットワークアクセスポイントのM個の無線信号強度とに基づいて、前記基準点位置座標と前記現在位置座標とをそれぞれ確定する。
ステップS53において、前記基準点位置座標と前記現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定する。
幾つかの実施例において、上記のステップ1302において、前記移動端末の立体空間における位置変化パラメータを取得する時に、移動端末101が位置変化パラメータを取得するのにWi−Fi室内の測位のもう一つの方式を採用してもよく、指紋識別に似ており、複数のセマンティック位置を定義し、セマンティック位置毎にWi−Fi信号を収集して「指紋ライブラリー」を生成する。測位時に、移動端末で測定したWi−Fi信号を、生成された「指紋ライブラリー」内のWi−Fi信号と対比し、この新しい信号が前記「指紋ライブラリー」内のどの位置のWi−Fi信号と最もマッチングしているかを確認し、この場合、移動端末が当該位置に位置する可能性が一番大きいと見なす。具体的に主に下記のステップを含む。
ステップS61において、前記移動端末が複数の位置点で受信されたネットワークアクセスポイントの無線信号強度を確定し、位置点座標と位置点座標に対応する無線信号強度とを関連付けて記憶する。
ステップS62において、移動端末が基準点位置と現在位置でそれぞれ受信されたネットワークアクセスポイントの第1の無線信号強度と第2の無線信号強度とを確定し、記憶されている無線信号強度から前記第1の無線信号強度と第2の無線信号強度とに最も近い無線信号強度をそれぞれサーチし、サーチして得られた前記第1の無線信号強度と第2の無線信号強度とにそれぞれ最も近い無線信号強度に対応する位置点の位置座標を、それぞれ基準点位置座標と現在位置座標とする。
ステップS63において、前記基準点位置座標と現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定する。
ブルートゥース(登録商標)室内の測位は、室内にいくつかのブルートゥース(登録商標)ローカルエリヤネットワークアクセスポイントを装着し、ネットワークを複数のユーザに基づく基礎ネットワーク接続モードに維持し、ブルートゥース(登録商標)ローカルエリヤネットワークアクセスポイントが常にこのピコネットのマスタデバイスであることを保ち、そして信号強度を測定することによって、新しく加入されたブラインドノードに対して三角測位を行う。
ユーザは移動端末を上下左右、左上、右下等の方向に任意に移動しても良く、移動端末を回転し、遠くに離し、又は近くに寄せても良く、上、下、左、右、左上、左下、右上、右下等の方向に移動すると同時に、遠くに離し、近くに寄せ、及び/又は回転する移動を行ってもよい。移動端末101の位置変化パラメータは、移動端末の以前の位置座標と現在の位置座標によって確定されることができ、ここで、移動端末の以前の位置座標と現在の位置座標は、Wi−Fi室内の測位又はブルートゥース(登録商標)室内の測位により得られる。前記移動端末101の基準点位置座標と現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定する。
幾つかの実施例において、上記のステップ1302において、前記移動端末の立体空間における姿勢変化パラメータを取得する時に、移動端末101ジャイロが設けられ、ジャイロが重力の方向、即ち垂直方向を提供することができる。ジャイロから取得されたセンサーパラメータに基づいて、前記移動端末の基準点偏向角度と現在の偏向角度とをそれぞれ確定し、移動端末101の基準点偏向角度と現在の偏向角度とに基づいて、移動端末101の姿勢変化パラメータを確定する。具体的に主に下記のステップを含む。
ステップS71において、ジャイロから取得されたセンサーパラメータに基づいて、前記移動端末の基準点偏向角度と現在の偏向角度とをそれぞれ確定する。
ステップS72において、前記移動端末の基準点偏向角度と現在の偏向角度とに基づいて、前記移動端末の姿勢変化パラメータを確定する。
また、幾つかの実施例において、移動端末は、位置変化パラメータ及び/又は姿勢変化パラメータを確定した後に、自身の位置変化パラメータ及び/又は姿勢変化パラメータを表示することができる。回転、移動等の操作行為に基づいて、移動端末のユーザインターフェースに角度、位置などの変化データが表示される。例えば、反時計方向へ30°回転した場合、数値−30°が対応的に表示され、移動端末101を左方向にX距離移動した場合、携帯電話に対応的に−Xが表示され、左上方に直接移動した場合、左方向のX距離の移動+上方向のY距離の移動に分解し、データ(−X、Y)が対応的に表示され、立体空間においてその他の方向への移動は同様である。
幾つかの実施例において、本出願で考案されたパノラマ画像の表示制御方法は、移動端末とスマートテレビにパノラマ画像を同期をとって表示することがさらに含み、移動端末の表示装置をセカンダリスクリーンとして、ユーザの閲覧に便利である。主に、メディアコンテンツサーバから送信された前記スマートテレビの現在表示されているパノラマ画像データを受信し、前記パノラマ画像を表示することを含む。
移動端末とスマートテレビとはパノラマ画像を同期をとって表示し、スマートテレビは、現在表示されているパノラマ画像をメディアコンテンツサーバにリアルタイムで送信することができ、同時にメディアコンテンツサーバは、受信されたパノラマ画像を移動端末に送信し、移動端末とスマートテレビとはパノラマ画像を同期をとって表示するようにする。図10に示すように、移動端末とスマートテレビとはパノラマ画像を同期をとって表示し、移動端末にパノラマ画像を同期をとって表示し、一方は、移動端末上の表示装置をセカンダリスクリーンとすることが可能であり、もう一方は、インタラクションに便利であり、例えば、パノラマ画像がパノラマビデオである場合、移動端末上でパノラマビデオ再生のシークバーを制御することができる。
幾つかの実施例において、本出願で考案されたパノラマ画像の表示制御方法は、スマートテレビから送信された調整後のパノラマ画像をリアルタイムに受信するではなく、移動端末はそれの上で表示されているパノラマ画像を単独で調整すること、をさらに含む。主に、上記のステップ204の後に、さらに下記のステップを含む。
ステップS81において、メディアコンテンツサーバから送信された調整パラメータを受信する。
スマートテレビは、メディアコンテンツサーバから送信された再生パノラマ画像確認メッセージを受信してから、パノラマ画像データをメディアコンテンツサーバに送信してもよく、メディアコンテンツサーバは、それを移動端末に送信し、移動端末のAPPで初期のパノラマ画像を表示する。幾つかの実施例において、移動端末上のパノラマ画像ウェブページで前記パノラマ画像を表示してもよく、当該パノラマ画像は調整していないパノラマ画像である。幾つかの実施例において、ユーザのパノラマ画像を単独調整するトリガーリクエストを受信した後に、移動端末は、受信されたスマートテレビの表示中のパノラマ画像に対して、後続の調整においてパノラマ画像を自ら独立して調整してもよい。
ステップS82において、前記調整パラメータに基づいて前記パノラマ画像を調整する。即ち、視角調整パラメータに基づいて、パノラマ画像の視角を調整し、視点調整パラメータに基づいて、パノラマ画像の視点を調整する。
後続にメディアコンテンツサーバ103がスマートテレビに調整パラメータを送信する時に、同時に移動端末に当該調整パラメータを送信し、移動端末は、当該調整パラメータに基づいて、それに表示されているパノラマ画像の視点と視角を調整する。移動端末101とスマートテレビとはパノラマ画像が同期をとって表示され、パノラマ画像を同時に同期をとって調整する。
幾つかの実施例において、本出願で考案されたパノラマ画像の表示制御方法は、メディアコンテンツサーバから送信されたリマインド情報を受信して表示することをさらに含み、前記リマインド情報が前記移動端末を操作(移動又は回転)するように前記移動端末のユーザにリマインドするために用いられる。ユーザが前記リマインド情報に基づいて、前記移動端末を移動又は回転するようにする。
例えば、広告パノラマ画像を例として説明すると、移動端末とスマートテレビとはパノラマ画像を同期をとって表示し、移動端末にリマインド情報を表示し、リマインド情報は、2倍拡大したらサプライズがあることをユーザにリマインドする。ユーザは移動端末をスマートテレビに近づき、2倍拡大した後に、図12に示すように、スマートテレビ102上で割引券を見つけ、移動端末上で割引券が同期をとって表示され、ユーザは、移動端末で「ギリシャへの旅しよう」ボタンを押下して割引チケットを購入することができ、さらに割引券の共有などのインタラクションも可能である。
本出願は、パノラマ画像の表示制御装置1400をさらに提供し、メディアコンテンツサーバ103に適用され、図14に示すように、かきのユニットを含む。
トリガー命令受信ユニット1401は、移動端末により送信されたパノラマ画像トリガ命令を受信するために用いられる。
トリガー命令送信ユニット1402は、受信された前記パノラマ画像トリガ命令に応じて、前記移動端末にバインドされたスマートテレビに前記パノラマ画像トリガ命令を送信し、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにするために用いられる。
位置姿勢変化パラメータ受信ユニット1403は、前記移動端末から送信された前記移動端末の立体空間における位置変化パラメータ及び/又は姿勢変化パラメータを受信するために用いられる。
調整パラメータ確定ユニット1404は、前記位置変化パラメータ及び/又は姿勢変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視角調整パラメータ及び/又は視点調整パラメータを確定するために用いられる。
調整パラメータ送信ユニット1405は、前記視角調整パラメータ及び/又は視点調整パラメータを前記スマートテレビに送信し、前記スマートテレビが前記視角調整パラメータ及び/又は視点調整パラメータに基づいて、前記パノラマ画像の視角及び/又は視点を調整するために用いられる。
本出願に提供されるパノラマ画像の表示制御装置を採用し、移動端末の立体空間における位置変化及び姿勢変化によって、スマートテレビ上のパノラマ画像の視点及び視角の調整を制御し、パノラマ画像の視点と視角を同時に調整することができ、パノラマ画像に対する調整次元がより多く、より柔軟になる。同時にユーザがパノラマ画像を見るときに、ビデオカメラを持ちながら任意方向に移動してビデオを撮影するように自然になる。
幾つかの実施例において、前記装置1400は、さらに、下記のユニットを含む。
座標系パラメータ受信ユニット1406は、前記移動端末から送信された前記移動端末の第1の座標系データを受信し、前記スマートテレビから送信されたパノラマ空間内の第2の座標系データを受信するために用いられ、当該第1の座標系が前記移動端末の立体空間における位置座標と姿勢角度を表すために用いられ、当該第2の座標系がパノラマ画像の視点と視角を表すために用いられ、異なる視点と視角が異なるパノラマ画像に対応する。
マッピング関係確定ユニット1407は、前記第1の座標系データと前記第2の座標系データとに基づいて、前記第1の座標系における位置変化パラメータ及び/又は姿勢変化パラメータから前記第2の座標系における視角調整パラメータ及び/又は視点調整パラメータへのマッピング関係を確定するために用いられる。
前記調整パラメータ確定ユニット1404は、前記マッピング関係と前記位置変化パラメータ及び/又は姿勢変化パラメータに基づいて、前記視角調整パラメータ及び/又は視点調整パラメータを確定するために用いられる。
本出願は、パノラマ画像の表示制御装置1500をさらに提供し、移動端末101に適用され、図15に示すように、下記のユニットを含む。
トリガー命令送信ユニット1501は、ユーザのパノラマ画像トリガ操作に応じて、メディアコンテンツサーバにパノラマ画像トリガ命令を送信し、前記メディアコンテンツサーバが前記パノラマ画像トリガ命令を前記スマートテレビに送信するようにし、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにするために用いられる。
位置姿勢変化パラメータ取得ユニット1502は、前記ユーザの移動及び/又は回転操作に応じて、自身の立体空間における位置変化パラメータ及び/又は姿勢変化パラメータを取得し、それを前記メディアコンテンツサーバに送信し、前記メディアコンテンツサーバが前記位置変化パラメータ及び/又は姿勢変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視角調整パラメータ及び/又は視点調整パラメータを確定し、それを前記スマートテレビに送信し、前記スマートテレビが前記視角調整パラメータ及び/又は視点調整パラメータに基づいて、前記パノラマ画像の視角及び/又は視点を調整するようにするために用いられる。
本出願に提供されるパノラマ画像の表示制御装置を採用し、移動端末の立体空間における位置変化及び姿勢変化によって、スマートテレビ上のパノラマ画像の視点及び視角の調整を制御し、パノラマ画像の視点と視角を同時に調整することができ、パノラマ画像に対する調整次元がより多く、より柔軟になる。同時にユーザがパノラマ画像を見るときに、ビデオカメラを持ちながら任意方向に移動してビデオを撮影するように自然になる。
幾つかの実施例において、前記位置姿勢変化パラメータ取得ユニット1502は、
3以上であるM個のネットワークアクセスポイントを設置し、
前記移動端末の基準点位置と現在位置で受信されたそれぞれの前記M個のネットワークアクセスポイントのM個の無線信号強度に基づいて、前記基準点位置座標と現在位置座標とをそれぞれ確定し、
前記基準点位置座標と現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定するために用いられる。
幾つかの実施例において、前記位置姿勢変化パラメータ取得ユニット1502は、
複数の位置点で受信されたネットワークアクセスポイントの無線信号の強度を確定し、位置点座標と対応する無線信号強度とを記憶し、
移動端末の基準点位置と現在位置で受信されたネットワークアクセスポイントの第1の無線信号強度と第2の無線信号強度を確定し、記憶されている無線信号強度から前記第1の無線信号強度と第2の無線信号強度とに最も近い無線信号強度をそれぞれサーチし、サーチして得られた前記第1の無線信号強度と第2の無線信号強度とにそれぞれ最も近い無線信号強度に対応する位置点の位置座標を、基準点位置座標及び現在位置座標とし、
前記基準点位置座標と現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定するために用いられる。
幾つかの実施例において、前記位置姿勢変化パラメータ取得ユニット1502は、
ジャイロから取得されたセンサーパラメータに基づいて、前記移動端末の基準点偏向角度と現在の偏向角度とをそれぞれ確定し、
前記移動端末の基準点偏向角度と現在の偏向角度とに基づいて、前記移動端末の姿勢変化パラメータを確定するために用いられる。
図16には、パノラマ画像の表示制御装置1400とパノラマ画像の表示制御装置1500との所在する計算装置の構成図が示されている。図16に示すように、当該計算装置は、一つ又は複数のプロセッサ(CPU)1602、通信モジュール1604、メモリ1606、ユーザインターフェース1610、及びこれらのモジュールを互いに接続するための通信バス1608を含む。
プロセッサ1602は、通信モジュール1604によってデータを送受信することができ、ネットワーク通信及び/又はローカル通信を実現するようにする。
ユーザインターフェース1610は一つ又は複数の出力デバイス1612を含み、一つ又は複数のスピーカー及び/又は一つ又は複数の可視化のディスプレイを含む。ユーザインターフェース1610は、一つ又は複数の入力デバイス1614も含み、例えば、キーボード、マウス、音声命令入力ユニット又は拡声器、タッチスクリーンディスプレイ、タッチセンシティブタブレット、姿勢キャプチャカメラ又はその他の入力ボタン又はコントローラー等を含む。
メモリ1606は、DRAM、SRAM、DDR RAM、又はその他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリ、又は1つまたは複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ装置などの不揮発性メモリ、又は他の不揮発性固体記憶装置であってもよい。
メモリ1606にプロセッサ1602で実行可能な命令セットが記憶され、例えばコンピュータでの読み取り可能な命令、上記の本出願におけるパノラマ画像の表示制御方法内の各ステップを実現するようにし、同時に本出願におけるパノラマ画像の表示制御装置内の各モジュールの機能を実現する。前記メモリ1606は、オペレーションシステム1616とアプリケーション1618を含む。
オペレーションシステム1616は、様々な基本的なシステムサービスを処理し、ハードウェア関連のタスクを実行するために使用されるプログラムを含む。
アプリケーション1618は、パノラマ画像の表示を制御するための各種のアプリケーションプログラムを含み、このようなアプリケーションプログラムは上記の各実施例内のフローを実現することができ、例えば、パノラマ画像の表示制御装置1400内の一部又はすべてのユニット又はパノラマ画像の表示制御装置1500内の一部又はすべてのユニットを含むことができる。パノラマ画像の表示制御装置1400とパノラマ画像の表示制御装置1500内の各ユニットのうちの少なくとも一つのユニットは機械実行可能な命令が記憶されることができる。プロセッサ1602は、メモリ1606内の各ユニットのうちの少なくとも一つのユニット内の機械実行可能な命令を実行することによって、上記各ユニット内の少なくとも一つのモジュールの機能を実現することができる。
なお、上述の各フローチャートおよび構成図における全てのステップおよびモジュールが必ずしも必要なわけではなく、実際の必要に応じて一部のステップ又はモジュールが省略されてもよい。各ステップの手順は固定したのではなく、必要に応じて適宜に調整できる。各々のモジュールは、単に説明を容易にするために機能に応じて定義されており、実際は、1つのモジュールが複数のモジュールによって実現されてもよく、また複数のモジュールの機能も1つの同一のモジュールによって実現されてもよい。これらのモジュールは同じ機器に設置されてもよく、異なる機器に設置されることもできる。
各実施例内のハードウェアモジュールは、ハードウェア又はハードウェアとソフトウェアの方式で実現されてもよい。上記のソフトウェアは、不揮発性メモリに記憶される機械可読命令を含む。そのため、各実施例はソフトウェア製品として表されてもよい。
各実施例において、ハードウェアは専用のハードウェア又は機械可読命令を実行するハードウェアで実現されてもよい。例えば、ハードウェアは、専用に設計され、特定の操作を実施するための永久性回路又はロジックデバイス(例えば、FPGA又はASICのような専用プロセッサ)であってもよい。ハードウェアは、ソフトウェアで一時に配置され、特定の操作を実施するためのプログラミング可能なロジックデバイス又は回路(例えば、汎用プロセッサ又はその他のプログラミング可能なプロセッサ)であってもよい。
また、本出願における各実施例は、コンピュータのようなデータ処理デバイスに実行されるデータ処理プログラムによって実現されてもよい。明らかに、データ処理プログラムは本出願になる。また、一つの記憶媒体に記憶されるデータ処理プログラムは、プログラムを記憶媒体から直接読み取むこと、又はプログラムをデータ処理デバイスの記憶デバイス(例えば、ハードディスク及び/又はメモリ)にインストール又はコピーすることによって実行される。そのため、このような記憶媒体も本出願になり、本出願はデータ処理プログラムを記憶する不揮発性メモリをさらに提供し、このようなデータ処理プログラムは、本出願上記の方法実施例のいずれか一つの実施例を実行するために用いられる。
図16におけるモジュールに対応する機械可読命令は、コンピュータ上で動作するオペレーティングシステムなどに、本明細書に記載される操作の一部又はすべてを実行させることができる。不揮発性コンピュータでの読み取り可能な記憶媒体は、コンピュータ内の拡張ボードに挿入されることによって設置されたメモリ、又はコンピュータに接続され、拡張ユニットに設けられたメモリに書き込むことができる。安装在 拡張ボード又は拡張ユニットに装着されるCPUなどは、命令に従って実際操作の一部又はすべてを実行することができる。
以上に記載しているのは、単なる本発明の好ましい実施例であって、本発明を限定するわけではない。本発明の趣旨と原理に基づいて実施されるいずれの改修、同様な変形又は改善は、全て本発明の範囲内である。
101 移動端末
102 スマートテレビ
103 メディアコンテンツサーバ
104 インターネット

Claims (25)

  1. パノラマ画像の表示制御方法であって、移動端末に適用され、
    パノラマ画像トリガ操作に応じて、メディアコンテンツサーバにパノラマ画像トリガ命令を送信し、前記メディアコンテンツサーバが前記パノラマ画像トリガ命令を前記移動端末にバインドされたスマートテレビに送信するようにし、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにすることと、
    前記移動端末に対する操作に応じて、前記移動端末の立体空間におけるディスクリプションパラメータを取得し、前記メディアコンテンツサーバに前記ディスクリプションパラメータを送信し、前記メディアコンテンツサーバが前記ディスクリプションパラメータに基づいて前記パノラマ画像のパノラマ空間における調整パラメータを確定し、前記調整パラメータを前記スマートテレビに送信するようにし、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることと、を含む、
    ことを特徴する前記方法。
  2. 前記ディスクリプションパラメータは、位置変化パラメータと姿勢変化パラメータとを含み、前記調整パラメータは視角調整パラメータと視点調整パラメータとを含み、
    ここで、前記移動端末に対する操作に応じて、前記移動端末の立体空間におけるディスクリプションパラメータを取得することは、
    前記移動端末に対する移動操作に応じて、前記位置変化パラメータを取得し、前記移動端末に対する回転操作に応じて、前記姿勢変化パラメータを取得すること、を含み、
    ここで、前記メディアコンテンツサーバに前記ディスクリプションパラメータを送信し、前記メディアコンテンツサーバが前記ディスクリプションパラメータに基づいて前記パノラマ画像のパノラマ空間における調整パラメータを確定し、前記調整パラメータを前記スマートテレビに送信するようにし、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることは、
    前記位置変化パラメータと前記姿勢変化パラメータと前記メディアコンテンツサーバに送信し、前記メディアコンテンツサーバが前記位置変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視点調整パラメータを確定し、前記姿勢変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視角調整パラメータを確定し、前記視点調整パラメータと前記視角調整パラメータとを前記スマートテレビに送信するようにし、前記スマートテレビが前記視点調整パラメータに基づいて前記パノラマ画像の視点を調整し、前記視角調整パラメータに基づいて前記パノラマ画像の視角を調整するようにすること、を含む、
    請求項1に記載の方法。
  3. 前記ディスクリプションパラメータは位置変化パラメータを含み、ここで、前記立体空間にM個のネットワークアクセスポイントが配置され、ここでMが3以上であり、ここで、前記移動端末の立体空間におけるディスクリプションパラメータを取得することは、
    前記移動端末が基準点位置で受信された前記M個のネットワークアクセスポイントのM個の無線信号強度と、現在位置で受信された前記M個のネットワークアクセスポイントのM個の無線信号強度とに基づいて、前記基準点位置座標と前記現在位置座標とをそれぞれ確定することと、
    前記基準点位置座標と前記現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定することと、を含む、
    請求項1に記載の方法。
  4. 前記ディスクリプションパラメータは位置変化パラメータを含み、前記移動端末の立体空間におけるディスクリプションパラメータを取得することは、
    前記移動端末が複数の位置点で受信されたネットワークアクセスポイントの無線信号強度を確定し、位置点座標と位置点座標に対応する無線信号強度とを関連付けて記憶することと、
    移動端末が基準点位置と現在位置でそれぞれ受信されたネットワークアクセスポイントの第1の無線信号強度と第2の無線信号強度とを確定し、記憶されている無線信号強度から前記第1の無線信号強度と第2の無線信号強度とに最も近い無線信号強度をそれぞれサーチし、サーチして得られた前記第1の無線信号強度と第2の無線信号強度とにそれぞれ最も近い無線信号強度に対応する位置点の位置座標を、基準点位置座標及び現在位置座標とすることと、
    前記基準点位置座標と現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定することと、を含む、
    請求項1に記載の方法。
  5. 前記ディスクリプションパラメータは姿勢変化パラメータを含み、前記移動端末の立体空間におけるディスクリプションパラメータを取得することは、
    ジャイロから取得されたセンサーパラメータに基づいて、前記移動端末の基準点偏向角度と現在の偏向角度とをそれぞれ確定することと、
    前記移動端末の基準点偏向角度と現在の偏向角度とに基づいて、前記移動端末の姿勢変化パラメータを確定することと、を含む、
    請求項1に記載の方法。
  6. 前記方法は、
    メディアコンテンツサーバから送信された前記スマートテレビの現在表示されているパノラマ画像データを受信し、前記パノラマ画像を表示すること、をさらに含む、
    請求項1に記載の方法。
  7. 前記方法は、
    メディアコンテンツサーバから送信された前記調整パラメータを受信することと、
    前記調整パラメータに基づいて前記パノラマ画像を調整することと、をさらに含む、
    請求項6に記載の方法。
  8. 前記方法は、
    メディアコンテンツサーバから送信されたリマインド情報を受信して表示することをさらに含み、前記リマインド情報は、前記移動端末を操作するように前記移動端末のユーザにリマインドするために用いられる、
    請求項6又は7に記載の方法。
  9. パノラマ画像の表示制御方法であって、メディアコンテンツサーバに適用され、
    移動端末により送信されたパノラマ画像トリガ命令を受信することと、
    受信された前記パノラマ画像トリガ命令に応じて、前記移動端末にバインドされたスマートテレビに前記パノラマ画像トリガ命令を送信し、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにすることと、
    前記移動端末により送信された前記移動端末の立体空間におけるディスクリプションパラメータを受信することと、
    前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定することと、
    前記調整パラメータを前記スマートテレビに送信し、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることと、を含む、
    ことを特徴する前記方法。
  10. 前記ディスクリプションパラメータは、位置変化パラメータと姿勢変化パラメータとを含み、前記調整パラメータは視角調整パラメータと視点調整パラメータとを含み、
    ここで、前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定することは、
    前記位置変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視点調整パラメータを確定し、前記姿勢変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視角調整パラメータを確定することと、
    ここで、前記調整パラメータを前記スマートテレビに送信し、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることは、
    前記視点調整パラメータと前記視角調整パラメータとを前記スマートテレビに送信し、前記スマートテレビが前記視点調整パラメータに基づいて前記パノラマ画像の視点を調整し、前記視角調整パラメータに基づいて前記パノラマ画像の視角を調整するようにすること、を含む、
    請求項9に記載の方法。
  11. 前記移動端末から送信された前記移動端末の第1の座標系データを受信し、当該第1の座標系によって取得したパラメータが前記移動端末の立体空間における位置座標と姿勢角度を示すために用いられることと、
    前記スマートテレビから送信されたパノラマ空間内の第2の座標系データを受信し、当該第2の座標系によって取得したパラメータがパノラマ画像の視点と視角を示すために用いられることと、
    前記第1の座標系データと前記第2の座標系データとに基づいて、前記第1の座標系におけるディスクリプションパラメータから前記第2の座標系における調整パラメータへのマッピング関係を確定すること、をさらに含み、
    ここで、前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定することは、
    前記マッピング関係と前記ディスクリプションパラメータとに基づいて、前記調整パラメータを確定すること、を含む、
    請求項9に記載の方法。
  12. 前記パノラマ画像に一つのターゲット対象が含まれ、
    前記方法は、
    前記調整パラメータと前記ターゲット対象の位置とに基づいて、リマインド情報を確定し、前記リマインド情報は、前記移動端末に対して操作を行うことをリマインドするために用いられることと、
    前記リマインド情報を前記移動端末に送信して表示させることと、をさらに含む、
    請求項9に記載の方法。
  13. パノラマ画像の表示制御装置であって、一つ以上のプロセッサと一つ以上のメモリとを含み、前記一つ以上のメモリがコンピュータでの読み取り可能な命令を含み、設定によって前記一つ以上のプロセッサで実行され、
    パノラマ画像トリガ操作に応じて、メディアコンテンツサーバにパノラマ画像トリガ命令を送信し、前記メディアコンテンツサーバが前記パノラマ画像トリガ命令を前記移動端末にバインドされたスマートテレビに送信するようにし、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにすることと、
    前記移動端末に対する操作に応じて、前記移動端末の立体空間におけるディスクリプションパラメータを取得し、前記メディアコンテンツサーバに前記ディスクリプションパラメータを送信し、前記メディアコンテンツサーバが前記ディスクリプションパラメータに基づいて前記パノラマ画像のパノラマ空間における調整パラメータを確定し、前記調整パラメータを前記スマートテレビに送信するようにし、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることと、を実現するようにする、
    前記パノラマ画像の表示制御装置。
  14. 前記ディスクリプションパラメータは、位置変化パラメータと姿勢変化パラメータとを含み、前記調整パラメータは視角調整パラメータと視点調整パラメータとを含み、前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    前記移動端末に対する移動操作に応じて、前記位置変化パラメータを取得し、前記移動端末に対する回転操作に応じて、前記姿勢変化パラメータを取得することと、
    前記位置変化パラメータと前記姿勢変化パラメータと前記メディアコンテンツサーバに送信し、前記メディアコンテンツサーバが前記位置変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視点調整パラメータを確定し、前記姿勢変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視角調整パラメータを確定し、前記視点調整パラメータと前記視角調整パラメータとを前記スマートテレビに送信するようにし、前記スマートテレビが前記視点調整パラメータに基づいて前記パノラマ画像の視点を調整し、前記視角調整パラメータに基づいて前記パノラマ画像の視角を調整するようにすることと、を実現するようにする、
    請求項13に記載の装置。
  15. 前記ディスクリプションパラメータは位置変化パラメータを含み、ここで、前記立体空間にM個のネットワークアクセスポイントが配置され、ここでMが3以上であり、ここで、前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    前記移動端末が基準点位置で受信された前記M個のネットワークアクセスポイントのM個の無線信号強度と、現在位置で受信された前記M個のネットワークアクセスポイントのM個の無線信号強度とに基づいて、前記基準点位置座標と前記現在位置座標とをそれぞれ確定することと、
    前記基準点位置座標と前記現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定することと、を実現するようにする、
    請求項13に記載の装置。
  16. 前記ディスクリプションパラメータは位置変化パラメータを含み、ここで、前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    前記移動端末が複数の位置点で受信されたネットワークアクセスポイントの無線信号強度を確定し、各位置点座標とそれぞれに対応する無線信号強度と関連付けて記憶することと、
    移動端末が基準点位置と現在位置でそれぞれ受信されたネットワークアクセスポイントの第1の無線信号強度と第2の無線信号強度とを確定し、記憶されている無線信号強度から前記第1の無線信号強度と第2の無線信号強度とに最も近い無線信号強度をそれぞれサーチし、サーチして得られた前記第1の無線信号強度と第2の無線信号強度とにそれぞれ最も近い無線信号強度に対応する位置点の位置座標を、基準点位置座標及び現在位置座標とすることと、
    前記基準点位置座標と現在位置座標とに基づいて、前記移動端末の立体空間における位置変化パラメータを確定することと、を実現するようにする、
    請求項13に記載の装置。
  17. 前記ディスクリプションパラメータは姿勢変化パラメータを含み、ここで、前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    ジャイロから取得されたセンサーパラメータに基づいて、前記移動端末の基準点偏向角度と現在の偏向角度とをそれぞれ確定することと、
    前記移動端末の基準点偏向角度と現在の偏向角度とに基づいて、前記移動端末の姿勢変化パラメータを確定することと、を実現するようにする、
    請求項13に記載の装置。
  18. 前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    メディアコンテンツサーバから送信された前記スマートテレビの現在表示されているパノラマ画像データを受信し、前記パノラマ画像を表示することと、を実現するようにする、
    請求項13に記載の装置。
  19. 前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    メディアコンテンツサーバから送信された前記調整パラメータを受信することと、
    前記調整パラメータに基づいて前記パノラマ画像を調整することと、を実現するようにする、
    請求項18に記載の装置。
  20. 前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    メディアコンテンツサーバから送信されたリマインド情報を受信して表示し、前記リマインド情報は、前記移動端末を操作するように前記移動端末のユーザにリマインドするために用いられることと、を実現するようにする、
    請求項18又は19に記載の装置。
  21. パノラマ画像の表示制御装置であって、一つ以上のプロセッサと一つ以上のメモリとを含み、前記一つ以上のメモリがコンピュータでの読み取り可能な命令を含み、設定によって前記一つ以上のプロセッサで実行され、
    移動端末により送信されたパノラマ画像トリガ命令を受信することと、
    受信された前記パノラマ画像トリガ命令に応じて、前記移動端末にバインドされたスマートテレビに前記パノラマ画像トリガ命令を送信し、前記スマートテレビが現在表示されているメディアコンテンツに対応するパノラマ画像を表示するようにすることと、
    前記移動端末により送信された前記移動端末の立体空間におけるディスクリプションパラメータを受信することと、
    前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定することと、
    前記調整パラメータを前記スマートテレビに送信し、前記スマートテレビが前記調整パラメータに基づいて前記パノラマ画像を調整するようにすることと、を実現するようにする、
    前記パノラマ画像の表示制御装置。
  22. 前記ディスクリプションパラメータは、位置変化パラメータと姿勢変化パラメータとを含み、前記調整パラメータは視角調整パラメータと視点調整パラメータとを含み、前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    前記位置変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視点調整パラメータを確定し、前記姿勢変化パラメータに基づいて、前記パノラマ画像のパノラマ空間における視角調整パラメータを確定することと、
    前記視点調整パラメータと前記視角調整パラメータとを前記スマートテレビに送信し、前記スマートテレビが前記視点調整パラメータに基づいて前記パノラマ画像の視点を調整し、前記視角調整パラメータに基づいて前記パノラマ画像の視角を調整するようにすることと、を実現するようにする、
    請求項21に記載の装置。
  23. 前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    前記移動端末から送信された前記移動端末の第1の座標系データを受信し、当該第1の座標系によって取得したパラメータが前記移動端末の立体空間における位置座標と姿勢角度を示すために用いられることと、
    前記スマートテレビから送信されたパノラマ空間内の第2の座標系データを受信し、当該第2の座標系によって取得したパラメータがパノラマ画像の視点と視角を示すために用いられることと、
    前記第1の座標系データと前記第2の座標系データとに基づいて、前記第1の座標系におけるディスクリプションパラメータから前記第2の座標系における調整パラメータへのマッピング関係を確定することと、を実現するようにし、
    ここで、前記ディスクリプションパラメータに基づいて、前記パノラマ画像のパノラマ空間における調整パラメータを確定することは、
    前記マッピング関係と前記ディスクリプションパラメータとに基づいて、前記調整パラメータを確定すること、を含む、
    請求項21に記載の装置。
  24. 前記パノラマ画像に一つのターゲット対象が含まれ、ここで、前記一つ以上のプロセッサが前記コンピュータでの読み取り可能な命令を実行し、
    前記調整パラメータと前記ターゲット対象の位置とに基づいて、リマインド情報を確定し、前記リマインド情報は、前記移動端末に対して操作を行うことをリマインドするために用いられることと、
    前記リマインド情報を前記移動端末に送信して表示させることと、を実現するようにする、
    請求項21に記載の装置。
  25. 不揮発性コンピュータでの読み取り可能な記憶媒体であって、
    前記記憶媒体に機械可読命令が記憶され、前記機械可読命令は、プロセッサによって実行され、請求項1〜12のいずれか1項に記載の方法を実現するするようにする、
    前記不揮発性コンピュータでの読み取り可能な記憶媒体。
JP2019520848A 2017-03-28 2018-03-28 パノラマ画像の表示制御方法、装置及び記憶媒体 Active JP6798019B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710191254.XA CN107659851B (zh) 2017-03-28 2017-03-28 全景图像的展示控制方法及装置
CN201710191254.X 2017-03-28
PCT/CN2018/080819 WO2018177314A1 (zh) 2017-03-28 2018-03-28 全景图像的展示控制方法、装置及存储介质

Publications (2)

Publication Number Publication Date
JP2019533372A true JP2019533372A (ja) 2019-11-14
JP6798019B2 JP6798019B2 (ja) 2020-12-09

Family

ID=61127613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019520848A Active JP6798019B2 (ja) 2017-03-28 2018-03-28 パノラマ画像の表示制御方法、装置及び記憶媒体

Country Status (6)

Country Link
US (1) US10764626B2 (ja)
EP (1) EP3525473A4 (ja)
JP (1) JP6798019B2 (ja)
KR (1) KR102184586B1 (ja)
CN (1) CN107659851B (ja)
WO (1) WO2018177314A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570100B (zh) * 2016-10-31 2019-02-26 腾讯科技(深圳)有限公司 信息搜索方法和装置
CN107659851B (zh) 2017-03-28 2019-09-17 腾讯科技(北京)有限公司 全景图像的展示控制方法及装置
WO2019194434A1 (ko) * 2018-04-05 2019-10-10 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
JP6368881B1 (ja) * 2018-04-09 2018-08-01 チームラボ株式会社 表示制御システム,端末装置,コンピュータプログラム,及び表示制御方法
CN109451139B (zh) * 2018-09-13 2020-11-20 腾讯科技(深圳)有限公司 消息传输方法、终端、装置、电子设备及可读介质
CN111198610B (zh) * 2018-11-16 2021-08-10 北京字节跳动网络技术有限公司 一种全景视频的视场控制方法、装置、设备及存储介质
US10972789B2 (en) * 2019-06-03 2021-04-06 At&T Intellectual Property I, L.P. Methods, systems, and devices for providing service differentiation for different types of frames for video content
CN117635815A (zh) 2019-06-28 2024-03-01 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
CN110446116B (zh) * 2019-09-05 2021-11-02 青岛一舍科技有限公司 全景视频播放装置和方法
CN111369684B (zh) * 2019-12-10 2023-09-01 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111126975A (zh) * 2019-12-11 2020-05-08 中国建设银行股份有限公司 电子红包的处理方法、装置、电子设备及可读存储介质
CN111161144B (zh) * 2019-12-18 2021-07-20 北京城市网邻信息技术有限公司 全景图获取方法、全景图获取装置及存储介质
CN112312227B (zh) * 2020-06-15 2022-09-16 青岛一舍科技有限公司 一种全景交互方法和装置
CN111913645B (zh) * 2020-08-17 2022-04-19 广东申义实业投资有限公司 三维图像展示的方法、装置、电子设备及存储介质
CN112203127A (zh) * 2020-10-12 2021-01-08 广州欢网科技有限责任公司 基于移动终端和智能电视的vr视频交互方法、装置及系统
CN113297984B (zh) * 2021-05-27 2024-02-27 北京皮尔布莱尼软件有限公司 虚拟现实展馆内展品的展示方法及计算设备
CN115442644A (zh) * 2021-10-29 2022-12-06 佛山欧神诺云商科技有限公司 一种全景图像的展示角度操控方法、设备、介质及产品
CN114040119A (zh) * 2021-12-27 2022-02-11 未来电视有限公司 全景视频显示方法、装置和计算机设备
CN114691068A (zh) * 2022-03-23 2022-07-01 北京优酷科技有限公司 基于投屏技术的信息显示方法及装置
CN115393380B (zh) * 2022-08-01 2023-07-04 北京城市网邻信息技术有限公司 车内全景图像显示方法、装置、电子设备及存储介质
CN115379277B (zh) * 2022-08-22 2023-07-25 烽火通信科技股份有限公司 一种基于iptv业务的vr全景视频播放方法和系统
CN115512046B (zh) * 2022-09-26 2023-11-03 如你所视(北京)科技有限公司 模型外点位的全景图展示方法和装置、设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013059573A (ja) * 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体およびゲーム装置
JP2013150202A (ja) * 2012-01-20 2013-08-01 Nippon Hoso Kyokai <Nhk> 送受信システム及び送受信方法、受信装置及び受信方法
JP2013251787A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014132431A (ja) * 2012-12-04 2014-07-17 Nintendo Co Ltd 情報処理システム、情報処理装置、情報処理プログラム、および、情報の送受信方法
US20160259420A1 (en) * 2014-06-26 2016-09-08 Lg Electronics Inc. Mobile terminal and method for controlling the same

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6450064B2 (ja) * 2013-03-18 2019-01-09 任天堂株式会社 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
US10062209B2 (en) * 2013-05-02 2018-08-28 Nintendo Co., Ltd. Displaying an object in a panoramic image based upon a line-of-sight direction
US10070172B2 (en) * 2014-07-01 2018-09-04 Lg Electronics Inc. Method and apparatus for processing broadcast data by using external device
US20160094866A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. User interaction analysis module
KR101909254B1 (ko) * 2015-07-08 2018-10-17 주식회사 케이티 셋톱 박스에서 고화질 파노라마를 제공하는 방법, 디바이스 및 시스템
CN105979242A (zh) * 2015-11-23 2016-09-28 乐视网信息技术(北京)股份有限公司 一种视频的播放方法和装置
CN105898460A (zh) * 2015-12-10 2016-08-24 乐视网信息技术(北京)股份有限公司 调整智能电视的全景视频播放视角的方法和装置
CN105913478A (zh) * 2015-12-28 2016-08-31 乐视致新电子科技(天津)有限公司 360度全景显示方法、显示模块及移动终端
CN105847850A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 全景视频的实时播放方法及装置
CN106028132A (zh) * 2016-06-30 2016-10-12 四川长虹电器股份有限公司 通过智能移动终端在电视上观看全景视频的系统及方法
CN106296819A (zh) * 2016-08-12 2017-01-04 北京航空航天大学 一种基于智能机顶盒的全景视频播放器
CN108432229B (zh) * 2016-10-18 2020-07-07 华为技术有限公司 一种通过自拍实现他人拍照效果的方法及拍照设备
JP6857251B2 (ja) * 2016-10-25 2021-04-14 イーサー・メディア・インコーポレーテッド ビデオ・コンテンツ切り替えおよび同期システム、ならびに複数のビデオ・フォーマット間における切り替え方法
CN106454450B (zh) * 2016-10-31 2019-07-12 努比亚技术有限公司 全景视频播放装置及方法
CN107659851B (zh) * 2017-03-28 2019-09-17 腾讯科技(北京)有限公司 全景图像的展示控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013059573A (ja) * 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体およびゲーム装置
JP2013150202A (ja) * 2012-01-20 2013-08-01 Nippon Hoso Kyokai <Nhk> 送受信システム及び送受信方法、受信装置及び受信方法
JP2013251787A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014132431A (ja) * 2012-12-04 2014-07-17 Nintendo Co Ltd 情報処理システム、情報処理装置、情報処理プログラム、および、情報の送受信方法
US20160259420A1 (en) * 2014-06-26 2016-09-08 Lg Electronics Inc. Mobile terminal and method for controlling the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伊沢 亮一、他: "無線LANを用いたモバイル端末の位置検出法について(第二報)", 情報処理学会研究報告, vol. 2004, no. 79, JPN6020014689, 30 July 2004 (2004-07-30), pages 25 - 30, ISSN: 0004256732 *

Also Published As

Publication number Publication date
CN107659851A (zh) 2018-02-02
US10764626B2 (en) 2020-09-01
EP3525473A1 (en) 2019-08-14
KR20190087530A (ko) 2019-07-24
KR102184586B1 (ko) 2020-11-30
WO2018177314A1 (zh) 2018-10-04
EP3525473A4 (en) 2019-12-18
CN107659851B (zh) 2019-09-17
US20190246162A1 (en) 2019-08-08
JP6798019B2 (ja) 2020-12-09

Similar Documents

Publication Publication Date Title
JP6798019B2 (ja) パノラマ画像の表示制御方法、装置及び記憶媒体
KR101591579B1 (ko) 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
JP6348741B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
EP3962090A1 (en) Communication terminal, image communication system, method for displaying image, and carrier means
US20220094850A1 (en) Communication terminal, image communication system, and method for displaying image
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
US20220103751A1 (en) Communication management apparatus, image communication system, communication management method, and recording medium
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
CA3087871A1 (en) Apparatus, systems, and methods for tagging building features in a 3d space
JP2022057800A (ja) 画像通信システム、通信管理装置、通信管理方法及びプログラム
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
KR20190085681A (ko) 실감형 vr 영상의 제공 방법 및 이를 위한 서버 장치
JP2017201743A (ja) 画像管理システム、画像管理装置、プログラム及び情報端末
US11863871B2 (en) Communication terminal, image communication system, and method of displaying image
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
KR101352090B1 (ko) 게임 영상 디스플레이 방법
JP2004054828A (ja) 画像処理装置
JP2023134065A (ja) 通信装置、通信システム、表示方法、及びプログラム
JP2023134220A (ja) 通信システム、通信管理サーバ、通信管理方法、及びプログラム
JP2023092729A (ja) 通信装置、通信システム、表示方法、及びプログラム
JP2024052524A (ja) 通信管理サーバ、通信システム、通信管理方法、及びプログラム
JP2023134089A (ja) 通信装置、通信システム、表示方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201118

R150 Certificate of patent or registration of utility model

Ref document number: 6798019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250