JP2020502851A - 映像表示装置、モバイル装置及びその動作方法 - Google Patents

映像表示装置、モバイル装置及びその動作方法 Download PDF

Info

Publication number
JP2020502851A
JP2020502851A JP2019519213A JP2019519213A JP2020502851A JP 2020502851 A JP2020502851 A JP 2020502851A JP 2019519213 A JP2019519213 A JP 2019519213A JP 2019519213 A JP2019519213 A JP 2019519213A JP 2020502851 A JP2020502851 A JP 2020502851A
Authority
JP
Japan
Prior art keywords
image
viewpoint
display device
mobile device
spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019519213A
Other languages
English (en)
Inventor
キム,ヨン−イル
ヤン,クァン−シク
ジャン,ジョン−ロク
チェー,キル−ス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020502851A publication Critical patent/JP2020502851A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208Display device provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/16Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34Microprocessors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36Memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38Displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/06Details of telephonic subscriber devices including a wireless LAN interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • H04N1/00103Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
    • H04N1/00106Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites using land mobile radio networks, e.g. mobile telephone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

モバイル装置、映像表示装置及びその動作に係り、該モバイル装置は、通信インターフェースと、ディスプレイと、1以上のインストラクションを保存するメモリと、メモリに保存された1以上のインストラクションを実行するプロセッサと、を含み、該プロセッサは、1以上のインストラクションを実行することにより、映像表示装置と通信するように、通信インターフェースを制御し、入力に対応し、360°映像の視点を制御し、360°映像において視点に対応する映像、または360°映像の視点に対応する視点制御情報のうち少なくとも一つを、映像表示装置に伝送する。

Description

本発明は、映像表示装置、モバイル装置及びその動作方法に関する。
映像表示装置は、ユーザが視聴することができる映像を表示する機能を備えた装置である。ユーザは、該映像表示装置を介して、放送プログラムのような多様な映像やビデオを視聴することができる。デジタル放送機能に加え、多様なコンテンツを提供するスマートテレビが提供されている。360°映像は、全方向カメラ、または複数のカメラセットを利用し、全方向へのビューが同時に記録された映像を言う。
本発明が解決しようとする課題は、映像表示装置上において、さらに便利であって効果的に360°映像を制御する技術を提供することである。
多様な実施形態は、360°映像の制御をさらに便利であって効果的に提供することができる映像表示装置、モバイル装置及びその動作方法を提供する。
本実施形態により、360°映像を、モバイル装置と映像表示装置との間にミラーリングさせながら表示するとき、360°映像の視点制御をモバイル装置を介して便利に行うことができる。
一実施形態による、360°映像を表示する映像表示装置及び制御装置を示す図面である。 360°映像の画角について説明するための図面である。 開示された一実施形態による、360°映像を表示する方法を示す図面である。 一実施形態により、映像表示装置とモバイル装置とを利用し、360°映像を表示する概念について説明するための参照図である。 一実施形態により、360°映像の原本映像、球状映像、指定された視点の映像について説明するための参照図である。 一実施形態による、映像表示装置とモバイル装置との概略的なブロック図である。 一実施形態による、ミラーリングで連結されたモバイル装置での動作過程を示すフローチャートである。 一実施形態による、ミラーリングで連結された映像表示装置での動作過程を示すフローチャートである。 一実施形態による、360°映像を保有しているモバイル装置と映像表示装置とのミラーリング動作を示すフローチャートである。 一実施形態によって、モバイル装置で表示される球状360°映像の一例を示す図面である。 一実施形態によって、モバイル装置で表示される球状360°映像の一例を示す図面である。 一実施形態によって、モバイル装置にアイテムが表示されたモードでの動作について説明するための参照図である。 一実施形態によって、モバイル装置にアイテムが表示されたモードでの動作について説明するための参照図である。 一実施形態によって、360°映像を保有している映像表示装置とモバイル装置とのミラーリング動作を示すフローチャートである。
一実施形態によってモバイル装置は、通信インターフェースと、ディスプレイと、1以上のインストラクションを保存するメモリと、前記メモリに保存された前記1以上のインストラクションを実行する少なくとも1つのプロセッサと、を含み、前記プロセッサは、前記1以上のインストラクションを実行することにより、映像表示装置と通信するように、前記通信インターフェースを制御し、前記映像表示装置に表示された360°映像の視点を制御するために球状映像を表示するように、前記ディスプレイを制御し、前記球状映像を制御するための入力を受信し、前記球状映像を制御するための前記入力に基づいて、前記視点に係わる情報を生成し、前記映像表示装置が前記視点に係わる情報に基づいて、前記360°映像の視点を選択するように、前記映像表示装置に前記視点に係わる情報を伝送するように、前記通信インターフェースを制御する。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記映像表示装置から前記360°映像を受信し、前記360°映像を球にマッピングすることにより、前記球状映像を生成することができる。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記映像表示装置から、前記球状映像を受信するように、前記通信インターフェースを制御することができる。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記ユーザ入力による画角に対応し、前記球状映像を回転させたり、ユーザ入力によるズームサイズに対応し、前記球状映像を拡大したりすることにより、前記球状映像の視点を制御することができる。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記入力に基づいて、前記視点に対応する映像を決定することができる。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記360°映像に基づいて、球状360°映像を生成し、球状360°映像を映像表示装置に伝送するように、通信インターフェースを制御することができる。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記360°映像についての情報、及び前記映像表示装置についての情報のうち少なくとも一つに基づいて、前記視点に対応する映像を決定することができる。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記映像表示装置の画面比に基づいて、前記視点に対応する映像を処理することができる。
前記プロセッサは、前記1以上のインストラクションを実行することにより、スクリーンミラーリングのための前記360°映像についての情報を交換するために、前記通信インターフェースを制御し、前記スクリーンミラーリングのための1以上のタスクを生成し、前記モバイル装置と前記映像表示装置とのプロセッシング資源を考慮し、前記1以上のタスクのそれぞれを、前記モバイル装置または前記映像表示装置に委任することができる。
他の実施形態によって映像表示装置は、通信インターフェースと、ディスプレイと、1以上のインストラクションを保存するメモリと、前記メモリに保存された前記1以上のインストラクションを実行するプロセッサと、を含み、前記プロセッサは、前記1以上のインストラクションを実行することにより、モバイル装置と通信するように、前記通信インターフェースを制御し、前記ディスプレイに360°映像を表示し、前記モバイル装置に表示された球状映像を制御する入力に基づいて生成された視点についての情報を、前記モバイル装置から受信し、前記視点についての情報に基づいて、前記360°映像の視点を選択し、前記選択された360°映像の視点に対応する映像を表示するように、前記ディスプレイを制御する。
前記プロセッサは、前記1以上のインストラクションを実行することにより、入力に基づいて、視点に対応する視点制御情報、及び前記入力によって視点に対応する360°映像の領域のイメージのうち少なくとも一つを、モバイル装置から受信し、前記視点制御情報、及び前記領域のイメージのうち少なくとも一つに基づいて、360°映像の視点を決定することができる。
前記視点制御情報は、前記360°映像の画角またはズームサイズのうち少なくとも一つを含んでもよい。
前記視点に対応する映像は、前記360°映像についての情報、及び前記映像表示装置についての情報のうち少なくとも一つに対応する。
さらに他の実施形態によってモバイル装置の動作方法は、映像表示装置と通信する動作、前記映像表示装置に表示された360°映像の視点を制御するために球状映像を表示する動作、前記球状映像を制御する入力を受信する動作、前記球状映像を制御する入力に基づいて、前記視点についての情報を生成する動作、及び前記映像表示装置が前記視点についての情報に基づいて、前記360°映像の視点を選択するように、前記視点についての情報を、前記映像表示装置に伝送する動作を含む。
前記方法は、映像表示装置から前記360°映像を受信する動作をさらに含んでもよい。
前記方法は、前記入力により、前記360°映像を回転させたり拡大したりする動作のうち少なくとも一つを含んでもよい。
前記方法は、360°映像に基づいて、球状360°映像を生成する動作、及び前記球状360°映像によって視点に対応する映像を決定する動作をさらに含んでもよい。
前記方法は、球状360°映像に対応する視点制御情報を映像表示装置に伝送する動作をさらに含んでもよい。
さらに他の実施形態によって映像表示装置の動作方法は、360°映像を表示する動作、モバイル装置に表示された球状映像を制御するための入力に基づいて生成された視点についての情報を、前記モバイル装置から受信する動作、前記視点についての情報に基づいて、前記360°映像の視点を選択する動作、及び前記360°映像のうちから選択された視点に対応する映像を表示する動作を含む。
前記方法は、モバイル装置に表示された360°映像の視点を制御する入力に基づいて生成された視点制御情報、及び前記視点に対応する360°映像領域のイメージのうち少なくとも一つを、モバイル装置から受信する動作、並びに前記視点制御情報、及び前記領域のイメージのうち少なくとも一つに基づいて、360°映像の視点に対応する映像を表示する動作をさらに含んでもよい。
さらに他の実施形態によって映像表示装置は、通信インターフェースと、ディスプレイと、1以上のインストラクションを保存するメモリと、前記メモリに保存された前記1以上のインストラクションを実行するプロセッサと、を含み、前記プロセッサは、前記1以上のインストラクションを実行することにより、前記ディスプレイに360°映像を表示し、外部装置から制御信号を受信するように、前記通信インターフェースを制御し、前記制御信号に基づいて、360°映像のセクションを表示するように、前記ディスプレイを制御する。
前記ディスプレイは、タッチ入力信号を生成するように構成されたタッチスクリーンを含んでもよく、前記プロセッサは、前記1以上のインストラクションを実行することにより、前記タッチ入力信号及び前記制御信号に基づいて、前記360°映像のセクションを表示するように、前記ディスプレイを制御することができる。
前記少なくとも1つのプロセッサは、1以上のインストラクションを実行することにより、360°映像のセクションの位置を示す3Dインジケータを表示することができる。
前記少なくとも1つのプロセッサは、1以上のインストラクションを実行することにより、映像表示装置のリソースと、前記外部装置のリソースとに基づいて、前記映像表示装置と前記外部装置とのうち一つを決定し、前記決定された映像表示装置及び外部装置のうち一つをして、前記360°映像に基づいて、球状360°映像を生成させるように制御し、映像表示装置と外部装置との間で、前記球状360°映像を通信させる。
本明細書で使用される用語について簡略に説明し、本発明について具体的に説明する。
本発明で使用される用語は、本発明での機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それは、当分野当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分において、詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本発明の全般にわたる内容とを基に定義されなければならない。
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載された「…部」、「モジュール」というような用語は、少なくとも1つの機能や動作を処理する単位を意味し、それは、ハードウェアまたはソフトウェアによって具現されるか、あるいはハードウェアとソフトウェアとの結合によっても具現される。
以下では、添付された図面を参照し、実施形態について、本本発明が属する技術分野において当業者が、容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまな異なる形式にも具現され、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と関係ない部分は、省略し、明細書全体を通じて、類似した部分については、類似図面符号を付した。
本明細書の実施形態において「ユーザ」という用語は、制御装置を利用し、映像表示装置の機能または動作を制御する者を意味し、視聴者、管理者または設置技士を含んでもよい。
図1は、一実施形態による360°映像を表示する映像表示装置及び制御装置を示す図面である。図1を参照すれば、一実施形態による映像表示装置100は、360°映像を表示することができる。一実施形態による360°映像は、360°の画角(angle of view)を有する映像でもある。該360°映像は、静止映像、動画またはパノラマ映像でもある。例えば、該360°映像は、少なくとも1つのカメラを利用し、360°方向に撮影された複数の映像に基づいて生成された映像でもある。そのとき、撮影された複数の映像は、球(sphere)にマッピングされ、マッピングされた映像の接点が連結(スティッチング(stitching))され、球(sphere)状の360°映像が生成される。また、球状の360°映像は、他のデバイスに伝送されたり保存されたりするために、図1に図示されているように、平面状の360°映像50にも変換される。
一実施形態による映像表示装置100は、平面状の360°映像50にグラフィック処理を施し、平面状の360°映像50を、球状360°映像70に変換することができる。映像表示装置100は、変換された球状360°映像において、ある画角に対応する一部領域80を選択し、選択された領域80に対応する映像を、ディスプレイ部に表示することができる。そのとき、映像表示装置100は、選択された領域80に対応する映像を、ディスプレイの解像度によってスケーリングして表示することができる。また、一実施形態による、映像表示装置100は、360°映像内において、一部領域80の位置を示す三次元状のインジケータ20を表示することができる。該360°映像の画角に係わる詳細な説明は、図2を参照して後述する。
一方、一実施形態による映像表示装置100は、TV(television)でもあるが、それは、一実施形態に過ぎず、ディスプレイを含む電子装置によって具現される。例えば、映像表示装置100は、携帯電話、タブレットPC(personal computer)、デジタルカメラ、カムコーダ、ノート型パソコン(laptop computer)、デスクトップ、電子書籍端末機、デジタル放送用端末機、PDA(personal digital assistant)、PMP(portable multimedia player)、ナビゲーション、MP3プレイヤ、着用型機器(wearable device)のような多様な電子装置としても具現される。特に、一実施形態は、TVのように、ディスプレイが大型であるディスプレイ装置において、容易に具現されるが、それに限定されるものではない。また、映像表示装置100は、固定型または移動型でもあり、デジタル放送受信が可能なデジタル放送受信機でもある。
映像表示装置100は、平面(flat)ディスプレイ装置だけではなく、曲率を有する画面である曲面(curved)ディスプレイ装置、または曲率を調整することができる可変型(flexible)ディスプレイ装置としても具現される。映像表示装置100の出力解像度は、例えば、HD(high definition)、full HD、ultra HDの解像度、またはultra HDよりさらに鮮明は解像度を含んでもよい。
一方、映像表示装置100は、制御装置30によっても制御され、制御装置30は、リモコンまたは携帯電話のように、映像表示装置100を制御するための多様な形態の装置としても具現される。
また、制御装置30は、赤外線(infrared)またはブルートゥース(登録商標(Bluetooth))を含む近距離通信を利用し、映像表示装置100を制御することができる。制御装置30は、具備されたキー(ボタンを含む)、タッチパッド(touchpad)、ユーザ音声の受信が可能であるマイク(図示せず)、及び制御装置30のモーション認識が可能なセンサ(図示せず)のうち少なくとも一つを利用し、映像表示装置100の機能を制御することができる。
一実施形態による制御装置30は、4方向キー(または、4方向ボタン)を含んでもよい。該4方向キーは、360°映像内において、ディスプレイ部に表示される一部領域80の位置を移動させるところにも利用される。
また、制御装置30は、ポインティング装置でもある。例えば、制御装置30は、特定キー入力を受信する場合、ポインティング装置として動作することができる。制御装置30がポインティング装置として動作する場合、映像表示装置100は、制御装置30を上下左右に動かすか、あるいは任意の方向に傾けるユーザ入力によっても制御される。制御装置30のセンサを介して感知された制御装置30の動きについての情報は、映像表示装置100にも伝送される。映像表示装置100は、制御装置30の動きについての情報に基づいて、360°映像内において、ディスプレイ部に表示される一部領域80を移動させることができる。
または、制御装置30がタッチパッドを含む場合、該タッチパッド上で動くユーザの指のような被写体の変位値により、360°映像内において、ディスプレイ部に表示される一部領域80の位置を移動させることができる。
図2は、360°映像の画角について説明するための図面である。
前述のように、360°映像は、少なくとも1台のカメラを利用し、360°方向に撮影された複数の映像に基づいて生成された映像でもある。そのとき、撮影された複数の映像は、球にもマッピングされ、マッピングされた映像の接点が連結(スティッチング)され、球状の360°映像が生成される。
そして、360°映像は、360°の画角を有する映像を意味することができる。360°映像を、球状の映像200で表現するとき、360°映像の画角は、x軸座標とy軸座標とからも構成される。x軸座標は、球の中心を通る縦平面が、球の表面に沿って回転しながら形成される角度を示す。y軸座標は、球の中心を通る横平面が、球の表面に沿って回転しながら形成される角度を示す。例えばx軸座標は、0°から360°の範囲を有することができる。例えば、y軸座標は、−90°から90°、または0°から180°の範囲を有することができる。
例えば、図2を参照すれば、球状の映像200において、球の表面に位置する所定の地点221の画角(x,y)を(0°,0°)と設定するとき、地点222の画角は、(30°,30°)にもなる。
図3は、開示された一実施形態による360°映像を表示する方法を示す図面である。
ユーザは、360°映像において、所望角度に対応する映像を見るために、360°映像をナビゲーションすることができる。図3を参照すれば、例えば、ユーザが、画角が0°に対応する領域311に対応する映像320を見ていて、さらに右側方向にある領域の映像を見たいとき、ユーザは、制御装置30を利用して画角を調整するユーザ入力を選択することができる。例えば、ユーザが、画角を60°に変更するユーザ入力を選択するとき、映像表示装置100は、画角が60°に対応する領域312に対応する領域321を表示することができる。
一実施形態によってユーザは、制御装置30の4方向キーを利用し、360°映像の画角を移動させることができる。例えば、4方向キーの左右方向キーを利用し、360°映像を左右方向に移動させることができる。例えば、該4方向キーの上下方向キーを利用し、360°映像を上下方向に移動させることができる。
一実施形態によってユーザは、加速度センサやジャイロスコープを含む制御装置30を、上下左右、または任意の方向に動かすことにより、360°映像の画角を調整することができる。
一実施形態によってユーザは、制御装置30に設けられたタッチパッドに、ユーザの指をタッチさせながら動かす方向により、360°映像の画角を調整することができる。
一実施形態により、映像表示装置100がタッチセンシティブスクリーンで構成された場合、ユーザは、映像表示装置100のタッチセンシティブスクリーン上でのユーザの指のタッチ動きを利用し、360°映像の画角を調整することができる。
一実施形態によってユーザは、制御装置30の特定のキー、ボタン、または制御装置30を利用したジェスチャを介して、360°映像をズームインしたりズームアウトしたりする。該ズームイン入力に応答し、映像表示装置100は、現在表示される領域を拡大させて表示することができる。該ズームアウト入力に応答し、映像表示装置100は、現在表示される領域を縮小させて表示することができる。一例によってズームアウト程度が既定の臨界値を超えれば、映像表示装置100は、映像を球状に表示することができる。一例としてズームは、−4倍から4倍までの範囲を有することができる。
図4は、一実施形態により、映像表示装置100とモバイル装置600とを利用し、360°映像を表示する概念について説明するための参照図である。図4を参照すれば、映像表示装置100とモバイル装置600は、多様なミラーリング技術を利用しても連結される。多様なミラーリング技術は、例えば、スクリーンミラーリング、DLNA(登録商標(digital living network alliance))、ブルートゥース(Bluetooth)、ミラキャスト、Wi−Fi(wireless fidelity)ダイレクト 、DMR(digital mobile radio)などを含んでもよい。ミラーリング技術とは、1つの電子機器の画面に表示される映像を、他の電子機器の画面においても、同一に表示されるように送受信することを言う。例えば、スマートフォンの画面に表示される映像を、スマートテレビの画面に出力することもあり、ここで、反対に、スマートテレビの画面に表示される映像を、スマートフォンの画面に出力することも可能であるということは言うまでもない。
モバイル装置600は、360°原本映像から生成された球状360°映像430を表示することができる。球状360°映像は、360°映像の全面全体、すなわち、左右に80°、及び上下に−90°から+90°まで示すので、ユーザは、球状360°映像430から、さらに広い範囲の領域を見ることができる。ある画角に対応する360°映像領域より、さらに広い範囲の領域を同時に見ることができるので、ユーザは、360°映像の関心領域を一層便利に探したり制御したりすることができる。ユーザは、モバイル装置600に表示された球状360°映像430の視点を制御することにより、球状360°映像430を回転させることができる。例えば、初期に、球状360°映像430が、X軸上で、−90°から+90°までの領域を示した状態で、ユーザが画角を+30°ほど移動させたのであるならば、モバイル装置は、球状360°映像430を+30°ほど回転させることにより、−60°から+120°までの領域で示すことができる。
映像表示装置100は、球状360°映像430において、指定された視点に対応する領域を表示することができる。指定された視点は、多様にも決定される。
360°映像の原本映像は、映像表示装置100とモバイル装置600とのうちいずれか一つに位置することができる。映像表示装置100とモバイル装置600は、多様なミラーリング技術を利用し、360°映像、360°映像の一部領域に対応する映像、360°映像の視点を制御する情報を互いに送受信することができる。
図4に図示された実施形態のように、ミラーリング技術を利用し、映像表示装置100とモバイル装置600とに、360°映像を表示するが、映像表示装置100は、360°映像の決定された領域に対応する映像450を表示し、モバイル装置600は、球状360°映像430を表示することにより、ユーザは、モバイル装置600に表示された球状360°映像430からさらに広い範囲の領域を見ることができ、またそれを利用し、360°映像の視点をより容易に制御することができる。
図5は、一実施形態により、360°映像の原本映像、球状映像、指定された視点の映像について説明するための参照図である。図5を参照すれば、原本映像410は、二次元(2D:two-dimensional)になる360°映像であり、その原本映像410は、映像表示装置100にも存在しモバイル装置600にも存在する。
球状360°映像430は、360°映像の原本映像410から球へのマッピングを介して生成された球状の映像を示す。球状360°映像430は、モバイル装置600にも表示される。
指定された視点に対応する映像450は、球状360°映像430の領域A,B,Cのうち、指定された視点に対応する領域Bの映像を示す。指定された視点は、多様にも決定される。例えば、指定された視点は、映像表示装置100により、デフォルトと決定されるか、360°映像の情報によって決定されるか、あるいはモバイル装置600に表示された球状360°映像430を制御するユーザ入力によっても決定される。指定された視点に対応する映像450は、映像表示装置100にも表示される。
原本映像410から球状360°映像430にマッピングする処理や、球状360°映像430から指定された視点に対応する領域の映像450をプロジェクションする処理には、多くのグラフィック処理資源を要する。従って、マッピング処理やプロジェクション処理は、ミラーリングで連結された映像表示装置100とモバイル装置600との間で、プロセッシング資源性能を考慮し、いずれがその処理を行うかということを決定することができる。
図6は、一実施形態による、映像表示装置10とモバイル装置600との概略的なブロック図である。図6を参照すれば、モバイル装置600は、制御部610、通信インターフェース620、ビデオ処理部630、ディスプレイ640、感知部650、メモリ660を含む。
通信インターフェース620は、スクリーンミラーリング、DLNA、ブルートゥース、ミラキャスト、Wi−Fiダイレクトなど多様なミラーリング技術を利用し、モバイル装置600として、映像表示装置100と通信させる。
ビデオ処理部630は、ディスプレイ640によって表示される映像を信号処理し、ビデオデータに対するデコーディング、スケーリング、ノイズフィルタリング、フレームレート変換、解像度変換のような多様なイメージ処理を行うことができる。
特に、グラフィック処理部631は、2D 360°映像から球状360°映像をマッピングするか、あるいは球状360°映像において指定された視点に対応する領域の映像をプロジェクションすることができる。ここで、そのようなマッピング処理やプロジェクション処理は、モバイル装置600のグラフィック処理部631のプロセッシング資源が不足するならば、映像表示装置100のグラフィック処理部131によっても行われるということは言うまでもない。
ディスプレイ640は、ビデオ処理部630で処理された映像信号、データ信号、OSD(on-screen display)信号、制御信号などを変換し、駆動信号を生成する。ディスプレイ部640は、PDP(plasma display panel)、LCD(liquid crystal display)、OLED(organic light emitting diode)、フレキシブルディスプレイなどによっても具現され、また、三次元ディスプレイ(3D display)によっても具現される。また、ディスプレイ640は、タッチスクリーンで構成され、出力装置以外に、入力装置としても使用される。
一実施形態によってディスプレイ640は、ミラーリング技術を利用して表示する360°映像から生成された球状360°映像を表示することができる。
一実施形態によってディスプレイ640は、球状360°映像の視点を制御するユーザ入力に応答し、球状360°映像を回転させて表示することができる。
感知部650は、ユーザ入力を感知し、感知された信号を制御部610に伝達することができる。感知部650は、ユーザの音声を受信するマイク、ユーザの映像を受信するカメラ、またはユーザのインタラクションを感知する光受信部も、タッチパッドを含んでもよい。
一実施形態による感知部650は、360°映像において、ディスプレイ640に表示される一部領域の位置を移動させるための入力、すなわち、360°映像の視点を制御するためのユーザ入力、ディスプレイ部に表示される映像をズームインさせたりズームアウトさせたりするための入力、360°映像において、特定位置の領域に対応する映像を表示させるための入力などを感知することができる。
メモリ660は、オペレーティングシステム、制御部610で処理されるデータ、制御部610で実行される1以上のインストラクションを含んでもよい。
特に、一実施形態によるメモリ660は、ミラーリングのために連結された映像表示装置と、360°映像を送受信するように、前記通信インターフェースを制御し、360°映像から生成された球状360°映像をディスプレイに出力し、ディスプレイされた球状360°映像の視点を制御するユーザ入力に対応させ、球状360°映像の視点を制御し、映像表示装置において360°映像の表示のために、前記360°映像、360°映像において指定された視点に対応する映像、または360°映像の視点制御情報のうち少なくとも一つを映像表示装置に伝送する1以上のインストラクションを含んでもよい。
一実施形態において、「メモリ」という用語は、保存所、制御部のROM(read-only memory)またはRAM(random access memory)、あるいはモバイル装置600に装着されるメモリカード(例えば、micro SDカード、USBメモリ、図示せず)を含む。また、メモリ660は、不揮発性メモリ、揮発性メモリ、ハードディスクドライブ(HDD)またはソリッドステートドライブ(SSD)を含んでもよい。
制御部610は、モバイル装置600の全般的な動作、及びモバイル装置600の内部構成要素間の信号フローを制御し、データを処理する機能を遂行する。制御部610は、ユーザの入力があるか、あるいは既設定の保存された条件を満足する場合、メモリ120に保存されたOS及び多様なアプリケーションを実行することができる。
制御部610は、モバイル装置600の外部から入力される信号またはデータを保存したり、モバイル装置600で遂行される多様な作業に対応する保存領域で使用されたりするRAM、モバイル装置600制御のための制御プログラムが保存されたROM、及びプロセッサを含んでもよい。
一実施形態によって制御部610は、メモリに保存された1以上のインストラクションを遂行することにより、本明細書に開示されたミラーリング動作を遂行することができる。
一実施形態によって制御部610は、ミラーリングのために連結された映像表示装置100と、360°映像を送受信するように、前記通信インターフェースを制御し、前記360°映像から生成された球状360°映像を前記ディスプレイに出力し、前記ディスプレイされた球状360°映像の視点を制御するユーザ入力に対応させ、前記球状360°映像の視点を制御し、前記映像表示装置100において、前記360°映像を表示するために、前記360°映像、前記360°映像において指定された視点に対応する映像、または前記360°映像の視点制御情報のうち少なくとも一つを、前記映像表示装置100に伝送することができる。
一実施形態によって制御部610は、360°映像を獲得し、前記獲得された360°映像を球状360°に変更し、前記球状360°映像を生成することができる。
一実施形態によって制御部610は、ミラーリングのために連結された映像表示装置100から、前記360°映像、または前記360°映像に基づいて生成された球状360°映像を受信することができる。
一実施形態によって制御部610は、ユーザ入力による画角に対応し、前記球状360°映像を回転させて表示するか、あるいはユーザ入力によるズームサイズに対応し、前記球状360°映像を拡大することにより、前記球状360°映像の視点を制御することができる。
一実施形態により、指定された視点に対応する映像は、前記球状360°映像の視点を制御するユーザ入力によって決定された視点に対応する映像を含んでもよい。
一実施形態によって制御部610は、前記球状360°映像の視点を制御するユーザ入力に対応する視点制御情報を、前記映像表示装置100に伝送することができる。
一実施形態により、指定された視点に対応する映像は、前記電子装置、または前記360°映像についての情報によって決定された視点に対応する映像を含んでもよい。
一実施形態によって制御部610は、前記360°映像において指定された視点に対応する映像を、前記映像表示装置100に伝送するとき、前記映像表示装置100の画面比を考慮し、前記指定された視点に対応する映像を処理することができる。
一実施形態によって制御部610は、前記360°映像のスクリーンミラーリングのための1以上のタスクに分け、前記モバイル装置600と前記映像表示装置100とのプロセッシング資源を考慮し、前記1以上のタスクを、前記モバイル装置600または前記映像表示装置100に委任することができる。
前述の、制御部610によって遂行される機能は、制御部610が、メモリ660に保存された1以上のアプリケーションを実行することによっても具現される。
モバイル装置600は、図6に図示された構成以外にも、オーディオデータに対する処理を行うオーディオ処理部、オーディオを出力するオーディオ出力部、モバイル装置600の外部から、ビデオ、オーディオ及び付加情報などを受信する入出力部をさらに含んでもよい。
また、モバイル装置600は、その用語に限定されず、プロセッサ及びメモリを含み、アプリケーションを実行する装置であるならば、ラップトップ、スマートフォン、タブレット、ウェアラブル装置、PDA(personal digital assistant)などいかなる電子装置でも可能である。
映像表示装置100は、制御部110、通信インターフェース120、ビデオ処理部130、ディスプレイ140、メモリ150を含む。
通信インターフェース120は、スクリーンミラーリング、DLNA、ブルートゥース、ミラキャスト、Wi−Fiダイレクトなど多様なミラーリング技術を利用し、映像表示装置100がモバイル装置600と通信することができるようにする。
ビデオ処理部130は、ディスプレイ140によって表示される映像を信号処理し、ビデオデータに対するデコーディング、スケーリング、ノイズフィルタリング、フレームレート変換、解像度変換のような多様なイメージ処理を行うことができる。
特に、グラフィック処理部131は、2D 360°映像から球状360°映像をマッピングするか、あるいは球状360°映像で指定された視点に対応する領域の映像をプロジェクションすることができる。ここで、そのようなマッピング処理やプロジェクション処理は、映像表示装置100のグラフィック処理部131のプロセッシング資源が不足するならば、モバイル装置600のグラフィック処理部631によって遂行されるということは言うまでもない。
ディスプレイ140は、ビデオ処理部130で処理された映像信号、データ信号、OSD信号、制御信号などを変換して駆動信号を生成する。ディスプレイ部140は、PDP、LCD、OLED、フレキシブルディスプレイなどによっても具現され、また、三次元ディスプレイ(3D display)によっても具現される。また、ディスプレイ140は、タッチスクリーンで構成され、出力装置以外に、入力装置としても使用される。
一実施形態によってディスプレイ140は、ミラーリング技術を利用して表示する360°映像の指定された視点に対応する領域の映像を表示することができる。
一実施形態によってディスプレイ140は、モバイル装置600に表示された球状360°映像の視点を制御するユーザ入力に対応し、変更された視点に対応する領域の映像を表示することができる。
メモリ150は、オペレーティングシステム、制御部610で処理されるデータ、制御部610で実行される1以上のインストラクションを含んでもよい。
特に、一実施形態によるメモリ150は、ミラーリングのために、モバイル装置と連結するように、前記通信インターフェースを制御し、360°映像から生成された球状360°映像を表示する前記モバイル装置から、前記360°映像を受信するか、あるいは前記モバイル装置において、前記球状360°映像が表示されるように、前記360°映像または前記球状360°映像を伝送し、前記360°映像において指定された視点に対応する映像を表示するように、前記ディスプレイを制御する1以上のインストラクションを含んでもよい。
一実施形態において、「メモリ」という用語は、保存所、制御部のROMまたはRAM、あるいはモバイル装置600に装着されるメモリカード(例えば、micro SDカード、USBメモリ)を含む。また、メモリ150は、不揮発性メモリ、揮発性メモリ、ハードディスクドライブ(HDD)またはソリッドステートドライブ(SSD)を含んでもよい。
制御部110は、映像表示装置100の全般的な動作、及び映像表示装置100の内部構成要素間の信号フローを制御し、データを処理する機能を遂行する。制御部110は、ユーザの入力があるか、あるいは既設定の保存された条件を満足する場合、メモリ120に保存されたOS、及び多様なアプリケーションを実行することができる。
制御部110は、映像表示装置100の外部から入力される信号またはデータを保存するか、あるいは映像表示装置100で遂行される多様な作業に対応する保存領域で使用されるRAM、映像表示装置100の制御のための制御プログラムが保存されたROM、及びプロセッサを含んでもよい。
一実施形態によって制御部110は、メモリに保存された前記1以上のインストラクションを実行することにより、ミラーリングのためにモバイル装置と連結するように、前記通信インターフェースを制御し、360°映像から生成された球状360°映像を表示する前記モバイル装置から前記360°映像を受信するか、あるいは前記モバイル装置において、前記球状360°映像が表示されるように、前記360°映像または前記球状360°映像を伝送し、前記360°映像において指定された視点に対応する映像を表示するように、前記ディスプレイを制御することができる。
一実施形態によって制御部110は、前記モバイル装置にディスプレイされた前記球状360°映像の視点を制御するユーザ入力に対応する視点制御情報、または前記ユーザ入力による視点に対応する領域の360°映像を前記モバイル装置から受信し、前記視点制御情報、または前記視点に対応する領域の360°映像を基に、前記360°映像において指定された視点に対応する映像を表示することができる。
前述の制御部110によって遂行される機能は、制御部110が、メモリ150に保存された1以上のアプリケーションを実行することによっても具現される。
映像表示装置100は、図6に図示された構成以外にも、オーディオデータに対する処理を行うオーディオ処理部、オーディオを出力するオーディオ出力部、映像表示装置100の外部からビデオ、オーディオ及び付加情報などを受信する入出力部、放送信号を受信するチューナ部、ユーザの音声、ユーザの映像、ユーザのインタラクションを感知する感知部をさらに含んでもよい。
一方、図6に図示された映像表示装置100やモバイル装置600のブロック図は、一実施形態のためのブロック図である。該ブロック図の各構成要素は、実際に具現される映像表示装置100やモバイル装置600の仕様により、統合されたり追加されたり省略されたりする。すなわち、必要により、2以上の構成要素が1つの構成要素に合わされたり、1つの構成要素が2以上の構成要素に細分されたりしても構成される。また、各ブロックで遂行する機能は、一実施形態について説明するためのものであり、その具体的な動作や装置は、本発明の権利範囲を制限するものではない。
図7は、一実施形態による、ミラーリングで連結されたモバイル装置での動作過程を示すフローチャートである。図7を参照すれば、S710において、モバイル装置600は、ミラーリングのために連結された映像表示装置100と、360°映像を送受信するように、通信インターフェース620を制御することができる。
モバイル装置600が360°映像を有している場合、モバイル装置600は、映像表示装置100に、360°映像を伝送することができる。または、映像表示装置100が360°映像を有している場合、モバイル装置600は、映像表示装置100から360°映像を受信することができる。
S720において、モバイル装置600は、360°映像から生成された球状360°映像を、ディスプレイ640に出力することができる。
一実施形態によってモバイル装置600は、360°映像から生成された球状360°映像を、映像表示装置100から受信することができる。
一実施形態によってモバイル装置600は、グラフィック処理部631を利用し、360°映像から球状360°映像を生成するマッピング処理を行うこともできる。
一実施形態によって、360°映像から球状360°映像を生成するマッピング処理を、モバイル装置600のグラフィック処理部631で行うか、あるいは映像表示装置100のグラフィック処理部131で行うかということは、モバイル装置600と映像表示装置100とのプロセッシング資源を考慮し、流動的にも決定される。
S730において、モバイル装置600は、ディスプレイされた球状360°映像の視点を制御するユーザ入力に対応し、球状360°映像の視点を制御することができる。
具体的には、モバイル装置600は、球状360°映像をディスプレイに表示し、表示された球状360°映像について視点を制御するユーザ入力を感知することができる。該視点は、ユーザが360°映像を見る画角またはズームサイズを含んでもよい。モバイル装置600が視点を制御するユーザ入力を感知することにより、モバイル装置600は、ディスプレイに表示される球状360°映像を制御することができる。すなわち、画角を制御するユーザ入力によってモバイル装置600は、ユーザ入力に対応する画角ほど球状360°映像を回転させて表示することができる。ズームサイズを制御するユーザ入力によってモバイル装置600は、ディスプレイに表示される球状360°映像を拡大させたり縮小させたりすることができる。
S740において、モバイル装置600は、360°映像、360°映像において指定された視点に対応する映像、360°映像の視点制御情報のうち少なくとも一つを、映像表示装置100に伝送することができる。
一実施形態によって、モバイル装置600が360°原本映像を有している場合、モバイル装置600は、360°映像を、映像表示装置100に伝送することができる。
一実施形態によって、モバイル装置600においては、視点を制御するユーザ入力により、モバイル装置600に表示された球状360°映像の回転制御を行い、映像表示装置100においては、モバイル装置100でのユーザ入力と係わりなく、指定された視点に対応する領域の映像を表示することができる。その場合、モバイル装置600は、360°映像や、360°映像において指定された視点に対応する領域の映像を、映像表示装置100に伝送することで十分である。
一実施形態によって、モバイル装置600において視点を制御するユーザ入力により、モバイル装置600に表示された球状360°映像の回転制御を行うだけではなく、映像表示装置100においても、モバイル装置100でのユーザ入力に対応する視点に対応する領域の映像を表示することができる。その場合、モバイル装置600は、ユーザ入力に対応する視点制御情報または360°映像において、ユーザ入力による視点に対応する領域の映像を、映像表示装置100に伝送することができる。
一実施形態により、モバイル装置600が映像表示装置100の画面比に係わる情報を有している場合、モバイル装置600は、ユーザ入力による視点に対応する領域を、360°映像でプロジェクションするとき、映像表示装置100の画面比を考慮することができる。
図8は、一実施形態により、ミラーリングで連結された映像表示装置での動作過程を示すフローチャートである。図8を参照すれば、S810において、映像表示装置100は、ミラーリングのために連結されたモバイル装置360°映像を送受信するように、通信インターフェース120を制御することができる。
映像表示装置100が360°映像を有している場合、映像表示装置100は、モバイル装置600に、360°映像を伝送することができる。または、モバイル装置600が360°映像を有している場合、映像表示装置100は、モバイル装置600から360°映像を受信することができる。
S820において、映像表示装置100は、360°映像から生成された球状360°映像を表示するモバイル装置から360°映像を受信するか、あるいはモバイル装置で球状360°映像が表示されることができるように、360°映像をモバイル装置600に伝送することができる。
一実施形態によって、映像表示装置100が360°映像を有している場合、映像表示装置100は、360°映像をモバイル装置600に伝送するか、あるいは360°映像を球状360°映像にマッピングし、球状360°映像をモバイル装置600に伝送することができる。360°映像をそのまま伝送するか、あるいは球状360°映像にマッピングして伝送するかということは、映像表示装置100とモバイル装置600とのプロセッシング資源を考慮して適切に決定することができる。
S830において、映像表示装置100は、360°映像において、指定された視点に対応する映像をディスプレイに表示することができる。
指定された視点は、固定的であっても可変であってもよい。具体的には、映像表示装置100は、モバイル装置600でのユーザ入力による視点制御と関係なく、固定的に、360°映像において固定された視点に対応する映像をディスプレイすることができる。または、映像表示装置100は、モバイル装置600でのユーザ入力によって可変的に、すなわち、モバイル装置600でのユーザ入力による視点制御を反映させ、ユーザ入力による視点に対応する領域の映像をディスプレイすることができる。
一実施形態によって映像表示装置100は、360°映像において、映像表示装置100またはモバイル装置600によって指定された視点に対応する映像を、固定的にディスプレイに表示することができる。例えば、モバイル装置600または映像表示装置100は、デフォルトとして、360°映像においてディスプレイする領域の視点を決定することができる。
一実施形態によって映像表示装置100は、360°映像についての情報により、指定された視点に対応する映像を固定的にディスプレイに表示することができる。例えば、映像表示装置100は、360°映像自体において、デフォルトとして決定された視点に対応する映像をディスプレイすることができる。
一実施形態によって映像表示装置100は、モバイル装置600から、360°映像において、ユーザ入力による視点に対応する領域の映像を受信し、それをディスプレイに表示することができる。
一実施形態によって映像表示装置100は、モバイル装置600から、ユーザ入力による視点に対応する視点制御情報を受信し、受信された視点制御情報を利用し、360°映像から、視点制御情報において示す視点に対応する領域をプロジェクションし、プロジェクションされた領域の映像を、ディスプレイに表示することができる。例えば、視点制御情報は、ユーザ入力に対応する画角情報またはズームサイズ情報を含んでもよい。
一実施形態によって映像表示装置100が、モバイル装置600から視点制御情報を受信し、視点制御情報により、360°映像をプロジェクションするか、あるいは映像表示装置100が、モバイル装置600から視点制御情報に基づいて、プロジェクションされた領域の映像を受信するかということは、モバイル装置600と映像表示装置100とのプロセッシング資源を考慮しても決定される。
図9は、一実施形態により、360°映像を保有しているモバイル装置600と映像表示装置100とのミラーリング動作を示すフローチャートである。図9を参照すれば、動作910において、モバイル装置600と映像表示装置100は、ミラーリングのための連結動作を遂行することができる。
動作920において、モバイル装置600は、360°映像のミラーリングのために、360°映像を映像表示装置100に伝送することができる。モバイル装置600は、360°映像原本を伝送することもでき、モバイル装置600のプロセッシング資源が利用可能であるならば、360°映像から、指定された視点に対応する領域をプロジェクションし、プロジェクション処理された領域の映像を表示することができる。また、モバイル装置600は、映像表示装置100の画面比に係わる情報を有している場合、プロジェクション処理時、映像表示装置100の画面比を考慮することができる。
動作930において、映像表示装置100は、モバイル装置100から受信した360°映像において指定された視点に対応する領域をプロジェクションし、プロジェクション処理された領域の映像を表示することができる。
動作940において、モバイル装置600は、360°映像を球状360°映像にマッピングすることができる。
動作950において、モバイル装置600は、球状360°映像をディスプレイに表示することができる。
動作960において、モバイル装置600は、球状360°映像を制御するユーザ入力を受信することができる。
図10A、図10Bは、一実施形態による、モバイル装置600で表示される球状360°映像の一例を示す。
図10Aを参照すれば、モバイル装置600のディスプレイは、球状360°映像1000だけでなく、1以上のコントロールメニューを表示することができる。該コントロールメニューは、360°映像の全体長において、現在再生視点を示すプログレスバー1010、ボリュームを制御することができるボリュームバー1020、リワインドメニュー1030、停止メニュー1040、ファーストフォワードメニュー1050、アイテム1060などを含んでもよい。該コントロールメニューに対応するユーザ入力を受信すれば、モバイル装置100は、該コントロールメニューに対応するユーザ入力に基づいて、モバイル装置100に表示された球状360°映像の表示を制御するだけでなく、そのコントロールメニューに対応するユーザ入力に基づいた制御情報を映像表示装置100に伝送することができる。映像表示装置100は、モバイル装置600から受信したコントロールメニューに基づいた制御情報を利用し、映像表示装置100に表示される360°映像の表示を制御することができる。
またユーザは、球状360°映像の視点を制御することができる。例えば、モバイル装置100がタッチスクリーンからなる場合、ユーザは、タッチスクリーンに表示された球状360°映像1000を、指または他の入力ツールを利用し、タッチ、ドラッグ、ジェスチャなどを介して視点を移動させたり変更したり選択したりすることができる。例えば、ユーザは、球状360°映像を左に回転させるために、指で球状360°映像1000上で左にドラッグする動作を遂行し、モバイル装置100は、そのようなユーザ入力を受信することができる。
動作970において、モバイル装置100は、ユーザ入力により、球状360°映像の表示を制御することができる。
例えば、図10Aにおいて、球状360°映像1000上で左にドラッグするユーザ入力を受信した場合、モバイル装置600は、球状360°映像が左に回転されるように表示を制御することができる。球状360°映像1000において、視点に対応する領域が領域Bである状態において、左に回転制御した場合、領域Cが視点に対応する領域にもなる。
動作980において、モバイル装置600は、視点制御情報を、映像表示装置100に伝送することができる。該視点制御情報は、ユーザ入力によって決定された視点を制御するための情報として、例えば、ユーザ入力による画角情報またはズームサイズ情報などを含んでもよい。
一実施形態により、モバイル装置600のプロセッシング資源が十分である場合、モバイル装置100は、視点制御情報の代わりに、視点制御情報によって決定された領域をプロジェクション処理し、プロジェクションされた領域の映像を、直接映像表示装置100に伝送することができる。
動作990において、映像表示装置100は、モバイル装置600から視点制御情報を受信し、それにより、360°映像において、視点に対応する領域をプロジェクションし、プロジェクションされた領域の映像を表示することができる。
一実施形態により、図10Aを参照すれば、モバイル装置600に表示されるコントロールメニューは、映像表示装置100の画面に表示される360°映像の視点が、モバイル装置100の360°映像の視点によって可変であるということを示すアイテム1060を含んでもよい。すなわち、アイテム1060が表示された状態で、モバイル装置600での球状360°映像の視点制御は、映像表示装置100に表示された360°映像の視点制御にも利用され、ユーザがモバイル装置600を利用し、360°映像の視点を調節すれば、それにより、映像表示装置100の視点が調節される。
図11は、一実施形態により、モバイル装置600にアイテム1060が表示された状態での動作について説明するための参照図である。図11の1100aを参照すれば、モバイル装置600には、球状360°映像1000において、領域Bが視点に対応する領域として表示されており、アイテム1060が表示されている。また、映像表示装置100°モバイル装置600に表示された球状360°映像1000の視点に対応する領域Bがプロジェクションされて表示されている。モバイル装置600において、アイテム1060が表示された状態で、ユーザがモバイル装置600に表示された球状360°映像1000を左にドラッグすることにより、図11の1100bに図示されているように、モバイル装置600は、球状360°映像を左に回転させて表示することにより、例えば、領域Cが、球状360°映像1000が視点に対応する領域として表示されている。またモバイル装置600は、アイテム1060が表示された状態なので、すなわち、モバイル装置での視点制御情報を映像表示装置100に伝送するモードなので、モバイル装置600は、領域Cに対応する視点制御情報を映像表示装置100に伝送することによって映像表示装置100°領域Cに対応する映像を表示することができる。
図10Aに図示されたアイテム1060は、トグリング形態であると定義される。すなわち、ユーザが、図10Aの画面に表示されたアイテム1060を1回タッチすれば、アイテム1060は、図10Bのように、アイテム1070にも変更される。アイテム1070は、モバイル装置600での360°映像の視点制御は、映像表示装置100に表示される360°映像の視点制御に利用されず、映像表示装置100に表示される360°映像の視点は、固定されるということを示す。
図12の1200aを参照すれば、モバイル装置600にアイテム1070が表示された状態においては、ユーザがモバイル装置600に表示された球状360°映像を左にドラッグすれば、それにより、図12の1200bのように、モバイル装置600に表示される球状360°映像が左に回転され、領域Cが視点に対応する領域にも表示される。しかし、アイテム1070が表示されたモードにより、すなわち、映像表示装置100に表示される360°映像の視点が固定されるモードであるので、映像表示装置100は、モバイル装置600での視点制御に影響を受けず、そのまま領域Bに対応する映像が続けて表示される。
すなわち、アイテム1060をタッチする入力により、映像表示装置100での画面は固定させ、モバイル装置600の画面だけ動かし、他角度の映像を見ることができる。また、映像表示装置100においても、モバイル装置600の映像制御によって動く画面を見たい場合には、アイテム1070をタッチすることができる。
図13は、一実施形態による、360°映像を保有している映像表示装置100と、モバイル装置600とのミラーリング動作を示すフローチャートである。図9での動作と類似した部分に係わる説明は、簡略に説明する。図13を参照すれば、動作1310において、モバイル装置600と映像表示装置100は、ミラーリングのための連結動作を遂行することができる。
動作1320において、映像表示装置100は、360°映像のミラーリングのために、360°映像をモバイル装置600に伝送することができる。映像表示装置100は、モバイル装置600のプロセッシング資源を考慮し、360°映像原本を伝送することもでき、または360°映像を球状360°映像にマッピング処理し、球状360°映像を伝送することもできる。
動作1330において、映像表示装置100は、360°映像において指定された視点に対応する領域をプロジェクションし、プロジェクション処理された領域の映像を表示することができる。
動作1340において、モバイル装置600は、映像表示装置100から受信した360°映像を、球状360°映像にマッピングすることができる。
動作1350において、モバイル装置600は、球状360°映像をディスプレイに表示することができる。
動作1360において、モバイル装置600は、球状360°映像を制御するユーザ入力を受信することができる。
動作1370において、モバイル装置600は、ユーザ入力により、球状360°映像の表示を制御することができる。
動作1380において、モバイル装置600は、視点制御情報を映像表示装置100に伝送することができる。該視点制御情報はユーザ入力によって決定された視点を制御するための情報であり、例えば、ユーザ入力による画角情報またはズームサイズ情報などを含んでもよい。
一実施形態により、モバイル装置100のプロセッシング資源が十分である場合、モバイル装置600は、視点制御情報の代わりに、視点制御情報によって決定された領域をプロジェクション処理し、プロジェクションされた領域の映像を、直接映像表示装置100に伝送することができる。
動作1390において、映像表示装置100は、モバイル装置600から視点制御情報を受信し、それにより、360°映像において、視点に対応する領域をプロジェクションし、プロジェクションされた領域の映像を表示することができる。
図13に図示された例においては、映像表示装置100において、360°映像の表示前に、モバイル装置600と映像表示装置100とのミラーリング連結が完了した例について説明したが、映像表示装置100において、360°映像を表示している状態で、モバイル装置600からの連結要請がある場合にも、同様に動作することができる。すなわち、映像表示装置100が360°映像を表示している状態において、モバイル装置600からの連結要請を検出すれば、映像表示装置100は、360°映像の原本映像をモバイル装置600に伝送するか、あるいは360°映像を球にマッピングし、球状360°映像を生成し、それをモバイル装置600に伝送することができる。
一実施形態によるモバイル装置及び映像表示装置の動作方法は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態に具現され、コンピュータ可読媒体にも記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア当業者に公知されて使用可能なものでもある。該コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体(magnetic media);CD−ROM(compact disc read only memory)、DVD(digital versatile disc)のような光記録媒体(optical media)、フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical media);及びROM、RAM、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。該プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含む。
以上、一実施形態について詳細に説明したが、本発明の権利範囲は、それらに限定されるものではなく、特許請求の範囲で定義している本発明の基本概念を利用した当業者のさまざまな変形及び改良形態も、本発明の権利範囲に属する。

Claims (15)

  1. モバイル装置において、
    通信インターフェースと、
    ディスプレイと、
    1以上のインストラクションを保存するメモリと、
    前記メモリに保存された前記1以上のインストラクションを実行する少なくとも1つのプロセッサと、を含み、前記プロセッサは、前記1以上のインストラクションを実行することにより、
    映像表示装置と通信するように、前記通信インターフェースを制御し、
    前記映像表示装置に表示された360°映像の視点を制御するために球状映像を表示するように、前記ディスプレイを制御し、
    前記球状映像を制御するための入力を受信し、
    前記球状映像を制御するための前記入力に基づいて、前記視点に係わる情報を生成し、
    前記映像表示装置が前記視点に係わる情報に基づいて、前記360°映像の視点を選択するように、前記映像表示装置に前記視点に係わる情報を伝送するように、前記通信インターフェースを制御するモバイル装置。
  2. 前記プロセッサは、前記1以上のインストラクションを実行することにより、
    前記映像表示装置から前記360°映像を受信し、
    前記360°映像を球にマッピングすることにより、前記球状映像を生成することを特徴とする請求項1に記載のモバイル装置。
  3. 前記プロセッサは、前記1以上のインストラクションを実行することにより、
    前記映像表示装置から、前記球状映像を受信するように、前記通信インターフェースを制御することを特徴とする請求項1に記載のモバイル装置。
  4. 前記プロセッサは、前記1以上のインストラクションを実行することにより、
    前記ユーザ入力による画角に対応し、前記球状映像を回転させたり、ユーザ入力によるズームサイズに対応し、前記球状映像を拡大したりすることにより、前記球状映像の視点を制御することを特徴とする請求項1に記載のモバイル装置。
  5. 前記360°映像の視点に係わる情報は、前記360°映像の前記視点に対応する映像、及び前記360°映像の前記視点に対応する視点制御情報のうち少なくとも一つを含むことを特徴とする請求項1に記載のモバイル装置。
  6. 前記プロセッサは、前記1以上のインストラクションを実行することにより、
    第1状態または第2状態のうち一つを示すアイテムを前記ディスプレイに表示し、
    前記第1状態により、前記360°映像の視点に係わる情報を、前記映像表示装置に伝送することを中断し、
    前記第2状態により、前記360°映像の視点に係わる情報を、前記映像表示装置に伝送することを再開することを特徴とする請求項1に記載のモバイル装置。
  7. 前記プロセッサは、前記1以上のインストラクションを実行することにより、
    前記360°映像についての情報、及び前記映像表示装置についての情報のうち少なくとも一つにさらに基づいて、前記視点に対応するイメージを決定することを特徴とする請求項1に記載のモバイル装置。
  8. 前記プロセッサは、前記1以上のインストラクションを実行することにより、
    前記映像表示装置の画面比に基づいて、前記視点に対応する映像を処理することを特徴とする請求項1に記載のモバイル装置。
  9. 前記プロセッサは、前記1以上のインストラクションを実行することにより、
    スクリーンミラーリングのための前記360°映像についての情報を交換するために、前記通信インターフェースを制御し、
    前記スクリーンミラーリングのための1以上のタスクを生成し、前記モバイル装置と前記映像表示装置とのプロセッシング資源を考慮し、前記1以上のタスクのそれぞれを、前記モバイル装置または前記映像表示装置に委任することを特徴とする請求項1に記載のモバイル装置。
  10. 映像表示装置において、
    通信インターフェースと、
    ディスプレイと、
    1以上のインストラクションを保存するメモリと、
    前記メモリに保存された前記1以上のインストラクションを実行するプロセッサと、を含み、
    前記プロセッサは、前記1以上のインストラクションを実行することにより、
    モバイル装置と通信するように、前記通信インターフェースを制御し、
    前記ディスプレイに360°映像を表示し、
    前記モバイル装置に表示された球状映像を制御する入力に基づいて生成された視点についての情報を、前記モバイル装置から受信し、
    前記視点についての情報に基づいて、前記360°映像の視点を選択し、
    前記選択された360°映像の視点に対応する映像を表示するように、前記ディスプレイを制御する映像表示装置。
  11. 前記360°映像の視点についての情報は、前記360°映像の視点に対応する映像及び前記360°映像の視点に対応する視点制御情報のうち少なくとも一つを含むことを特徴とする請求項10に記載の映像表示装置。
  12. 前記視点制御情報は、前記360°映像の画角またはズームサイズのうち少なくとも一つを含むことを特徴とする請求項11に記載の映像表示装置。
  13. モバイル装置の動作方法において、
    映像表示装置と通信する動作、
    前記映像表示装置に表示された360°映像の視点を制御するために球状映像を表示する動作と、
    前記球状映像を制御する入力を受信する動作と、
    前記球状映像を制御する入力に基づいて、前記視点についての情報を生成する動作と、
    前記映像表示装置が前記視点についての情報に基づいて、前記360°映像の視点を選択するように、前記視点についての情報を、前記映像表示装置に伝送する動作と、を含むモバイル装置の動作方法。
  14. 映像表示装置の動作方法において、
    360°映像を表示する動作と、
    モバイル装置に表示された球状映像を制御するための入力に基づいて生成された視点についての情報を、前記モバイル装置から受信する動作と、
    前記視点についての情報に基づいて、前記360°映像の視点を選択する動作と、
    前記360°映像のうちから選択された視点に対応する映像を表示する動作と、を含む映像表示装置の動作方法。
  15. 請求項13に記載の方法を遂行するコンピュータ可読プログラムが記録されたコンピュータ可読記録媒体。
JP2019519213A 2016-10-28 2017-10-25 映像表示装置、モバイル装置及びその動作方法 Pending JP2020502851A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0142155 2016-10-28
KR1020160142155A KR102598082B1 (ko) 2016-10-28 2016-10-28 영상 표시 장치, 모바일 장치 및 그 동작방법
PCT/KR2017/011843 WO2018080165A1 (en) 2016-10-28 2017-10-25 Image display apparatus, mobile device, and methods of operating the same

Publications (1)

Publication Number Publication Date
JP2020502851A true JP2020502851A (ja) 2020-01-23

Family

ID=62020527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019519213A Pending JP2020502851A (ja) 2016-10-28 2017-10-25 映像表示装置、モバイル装置及びその動作方法

Country Status (5)

Country Link
US (1) US10810789B2 (ja)
JP (1) JP2020502851A (ja)
KR (1) KR102598082B1 (ja)
CN (1) CN108024127B (ja)
WO (1) WO2018080165A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567002B1 (ko) * 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
JP2018037944A (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置および撮像制御方法
US10270851B2 (en) * 2017-02-13 2019-04-23 Microsoft Technology Licensing, Llc Activating a peer-to-peer communication channel
US11216149B2 (en) 2019-03-15 2022-01-04 Samsung Electronics Co., Ltd. 360° video viewer control using smart device
JP7192592B2 (ja) 2019-03-15 2022-12-20 株式会社リコー 撮像装置、画像通信システム、画像処理方法、プログラム
US11259081B2 (en) 2020-02-28 2022-02-22 Rovi Guides, Inc. Systems and methods for adaptively modifying presentation of media content
CN114430492B (zh) * 2020-10-29 2023-10-13 海信视像科技股份有限公司 显示设备、移动终端及图片同步缩放方法

Family Cites Families (304)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998016889A1 (fr) * 1996-10-16 1998-04-23 Sharp Kabushiki Kaisha Appareil d'entree de caracteres et support de donnees dans lequel le programme d'entree de caracteres est mis en memoire
US7893963B2 (en) * 2000-03-27 2011-02-22 Eastman Kodak Company Digital camera which estimates and corrects small camera rotations
US6778699B1 (en) * 2000-03-27 2004-08-17 Eastman Kodak Company Method of determining vanishing point location from an image
US6968094B1 (en) * 2000-03-27 2005-11-22 Eastman Kodak Company Method of estimating and correcting camera rotation with vanishing point location
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US8707354B1 (en) * 2002-06-12 2014-04-22 Tvworks, Llc Graphically rich, modular, promotional tile interface for interactive television
KR100415161B1 (ko) * 2003-07-01 2004-01-13 (주)두모션 기울기 센서를 이용한 3차원 이미지 조망 기능을 갖는핸드헬드 장치 및 이를 이용한 3차원 이미지 디스플레이시스템
JP4033198B2 (ja) * 2004-02-27 2008-01-16 カシオ計算機株式会社 画像処理装置、画像投影装置、画像処理方法及びプログラム
US7224326B2 (en) * 2004-03-03 2007-05-29 Volo, Llc Virtual reality system
WO2006053271A1 (en) * 2004-11-12 2006-05-18 Mok3, Inc. Method for inter-scene transitions
US8438297B1 (en) * 2005-01-31 2013-05-07 At&T Intellectual Property Ii, L.P. Method and system for supplying media over communication networks
JP4244973B2 (ja) * 2005-08-03 2009-03-25 ソニー株式会社 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
US20070157126A1 (en) * 2006-01-04 2007-07-05 Tschirhart Michael D Three-dimensional display and control image
US7768545B2 (en) * 2007-03-06 2010-08-03 Otto Gregory Glatt Panoramic image management system and method
WO2008147561A2 (en) 2007-05-25 2008-12-04 Google Inc. Rendering, viewing and annotating panoramic images, and applications thereof
KR101354899B1 (ko) 2007-08-29 2014-01-27 삼성전자주식회사 파노라마 사진 촬영 방법
US8683067B2 (en) * 2007-12-19 2014-03-25 Nvidia Corporation Video perspective navigation system and method
US8884883B2 (en) * 2008-01-25 2014-11-11 Microsoft Corporation Projection of graphical objects on interactive irregular displays
US8423076B2 (en) * 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8274506B1 (en) 2008-04-28 2012-09-25 Adobe Systems Incorporated System and methods for creating a three-dimensional view of a two-dimensional map
JP2010117973A (ja) * 2008-11-14 2010-05-27 Sony Corp 情報処理装置、画像表示方法およびコンピュータプログラム
WO2011019155A2 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
JP5563270B2 (ja) * 2009-10-19 2014-07-30 シャープ株式会社 ネットワークシステム、通信方法、通信機器、および通信プログラム
KR20110052997A (ko) 2009-11-13 2011-05-19 삼성전자주식회사 디스플레이 장치와 클라이언트 단말 및 이의 제어 방법
EP2330561A1 (en) 2009-12-04 2011-06-08 Alcatel Lucent Method for browsing a 3 dimensional virtual environment
JP5554218B2 (ja) * 2009-12-14 2014-07-23 パナソニック株式会社 電子機器、通信システム
CN102111672A (zh) 2009-12-29 2011-06-29 康佳集团股份有限公司 一种在数字电视上浏览全景图像的方法、系统及终端
EP2572336B1 (en) * 2010-05-18 2021-09-15 Teknologian Tutkimuskeskus VTT Mobile device, server arrangement and method for augmented reality applications
US8378985B2 (en) * 2010-05-26 2013-02-19 Sony Mobile Communications Ab Touch interface for three-dimensional display control
KR101199852B1 (ko) * 2010-06-21 2012-11-09 한국과학기술연구원 이미지 조작 장치 및 방법
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
JP5935694B2 (ja) 2010-10-13 2016-06-15 日本電気株式会社 動画像配信システム、及び動画像配信方法
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US8681151B2 (en) 2010-11-24 2014-03-25 Google Inc. Rendering and navigating photographic panoramas with depth information in a geographic information system
US20120174038A1 (en) * 2011-01-05 2012-07-05 Disney Enterprises, Inc. System and method enabling content navigation and selection using an interactive virtual sphere
KR101742578B1 (ko) * 2011-01-14 2017-06-01 삼성전자주식회사 컨텐츠 관리 방법 및 이를 적용한 디스플레이 장치
KR101251964B1 (ko) 2011-01-19 2013-04-08 전자부품연구원 회전 제스처에 기반한 사용자 인터페이스 제공방법 및 이를 적용한 전자기기
KR101814602B1 (ko) * 2011-01-26 2018-01-30 삼성전자주식회사 원격 제어 장치 및 상기 원격 제어 장치에 의해 원격 제어되는 전자기기
KR101723642B1 (ko) * 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) * 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
WO2012133980A1 (ko) * 2011-03-25 2012-10-04 엘지전자 주식회사 영상처리장치 및 영상처리방법
US9055277B2 (en) * 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
US8907968B2 (en) * 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US20130027613A1 (en) * 2011-05-03 2013-01-31 Lg Electronics Inc. Image display apparatus, portable terminal, and methods for operating the same
US9848158B2 (en) * 2011-05-04 2017-12-19 Monument Peak Ventures, Llc Digital camera user interface for video trimming
JP5961926B2 (ja) * 2011-06-14 2016-08-03 ソニー株式会社 情報処理システム
KR20120138334A (ko) * 2011-06-15 2012-12-26 한성엘컴텍 주식회사 3d영상 촬영이 가능한 휴대용 단말기
JP5820181B2 (ja) * 2011-07-29 2015-11-24 キヤノン株式会社 撮影システム及びその制御方法ならびに表示制御装置及びその制御方法、プログラム、記憶媒体
WO2013032955A1 (en) 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
CN102510474B (zh) 2011-10-19 2013-12-25 中国科学院宁波材料技术与工程研究所 一种360度全景监控系统
US20130129308A1 (en) * 2011-11-18 2013-05-23 Keith Stoll Karn Display device with adaptive fast navigation mode
US9197925B2 (en) * 2011-12-13 2015-11-24 Google Technology Holdings LLC Populating a user interface display with information
CN104126197B (zh) * 2011-12-27 2018-04-27 索尼公司 信息处理设备和信息处理方法
JP6008331B2 (ja) * 2012-02-03 2016-10-19 パナソニックIpマネジメント株式会社 触覚提示装置および触覚提示装置の駆動方法、駆動プログラム
KR101931939B1 (ko) * 2012-04-02 2019-03-20 엘지전자 주식회사 업그레이드 가능한 디스플레이 장치 및 그 제어 방법
KR101952682B1 (ko) * 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6226225B2 (ja) * 2012-05-25 2017-11-08 パナソニックIpマネジメント株式会社 画像閲覧システム、調停端末、画像閲覧方法および調停方法
KR20140001726A (ko) * 2012-06-27 2014-01-07 한국전자통신연구원 화면 동기화 가능한 원격 제어 장치
US9632648B2 (en) 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
US8976303B2 (en) * 2012-08-22 2015-03-10 Sony Corporation Presenting snapshot of controlled device display on display of remote commander to facilitate control of the controlled device by user who cannot see controlled device
KR20140030668A (ko) * 2012-09-03 2014-03-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10524100B2 (en) * 2012-09-07 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus and method of outputting content by the electronic apparatus
KR101936075B1 (ko) * 2012-09-21 2019-01-08 삼성전자주식회사 이동통신 단말기를 이용한 디스플레이 장치의 데이터 표시 방법 및 상기 장치들
KR102163740B1 (ko) * 2012-10-05 2020-10-12 삼성전자주식회사 플렉서블 디스플레이 장치 및 플렉서블 디스플레이 장치의 제어 방법
KR101473257B1 (ko) * 2012-11-01 2014-12-24 주식회사 케이티 유저 인터페이스 데이터를 포함하는 컨텐츠 스트림을 재생하는 장치 및 방법
US20140125554A1 (en) * 2012-11-07 2014-05-08 Shanghai Powermo Information Tech. Co. Ltd. Apparatus and algorithm to implement smart mirroring for a multiple display system
KR20140060040A (ko) * 2012-11-09 2014-05-19 삼성전자주식회사 디스플레이장치, 음성취득장치 및 그 음성인식방법
KR101911253B1 (ko) * 2012-11-21 2018-10-24 엘지전자 주식회사 전자 태그와 모바일 디바이스 및 디스플레이 장치를 포함하는 시스템의 제어 방법, 모바일 디바이스 그리고 디스플레이 장치
US9245372B2 (en) * 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
US20140218289A1 (en) * 2013-02-06 2014-08-07 Motorola Mobility Llc Electronic device with control interface and methods therefor
CN103984494A (zh) * 2013-02-07 2014-08-13 上海帛茂信息科技有限公司 用于多种设备间的直觉式用户互动系统及方法
KR102097640B1 (ko) * 2013-03-08 2020-04-06 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9179199B2 (en) * 2013-03-14 2015-11-03 Apple Inc. Media playback across multiple devices
US9298830B2 (en) * 2013-05-01 2016-03-29 Timothy Alan Barrett Method, system and apparatus for facilitating discovery of items sharing common attributes
JP6249202B2 (ja) * 2013-05-10 2017-12-20 ソニー株式会社 画像表示装置、画像表示方法、およびプログラム
US10021180B2 (en) * 2013-06-04 2018-07-10 Kingston Digital, Inc. Universal environment extender
KR102089432B1 (ko) * 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
KR102189679B1 (ko) * 2013-07-12 2020-12-14 삼성전자주식회사 외부 기기에 디스플레이된 정보와 관련된 기능을 실행하는 휴대용 기기, 휴대용 기기에서 외부 기기에 디스플레이된 정보와 관련된 기능을 실행하는 방법 및 컴퓨터 판독 가능한 기록 매체
KR102089614B1 (ko) 2013-08-28 2020-04-14 삼성전자주식회사 구면 파노라마 이미지 촬영 방법 및 그 전자 장치
EP2849448A1 (fr) * 2013-09-13 2015-03-18 Nagravision S.A. Méthode pour contrôler l'accès à du contenu diffusé
KR20150031098A (ko) * 2013-09-13 2015-03-23 삼성전자주식회사 화면 미러링 방법 및 그에 따른 디스플레이 기기
KR102084633B1 (ko) * 2013-09-17 2020-03-04 삼성전자주식회사 화면 미러링 방법 및 그에 따른 소스 기기
JP5802249B2 (ja) * 2013-09-30 2015-10-28 シャープ株式会社 表示装置、ソース機器、及び表示システム
KR102087987B1 (ko) * 2013-10-04 2020-03-11 삼성전자주식회사 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법
WO2015061689A1 (en) * 2013-10-24 2015-04-30 Ramos Olivia System and method for mining data using haptic feedback
US9686581B2 (en) * 2013-11-07 2017-06-20 Cisco Technology, Inc. Second-screen TV bridge
US9775107B2 (en) * 2014-02-12 2017-09-26 Sony Corporation Information processing device, information processing system, and information processing method
WO2015140816A1 (en) * 2014-03-15 2015-09-24 Vats Nitin Self-demonstrating object features and/or operations in interactive 3d-model of real object for understanding object's functionality
GB2524250A (en) * 2014-03-17 2015-09-23 Sony Comp Entertainment Europe Image processing
GB2524249B (en) * 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
CN103841332B (zh) * 2014-03-21 2018-10-12 英华达(上海)科技有限公司 全景景象拍摄及浏览的移动装置、系统及方法
JP6496904B2 (ja) * 2014-03-25 2019-04-10 パナソニックIpマネジメント株式会社 多視点画像の撮影方法および撮影装置
EP3076304A4 (en) * 2014-03-25 2017-06-07 Panasonic Intellectual Property Management Co., Ltd. Information display system and information display method
KR102249827B1 (ko) * 2014-04-21 2021-05-10 삼성전자주식회사 심볼(symbol) 생성을 위한 디스플레이 장치 및 그 제어방법
KR102120843B1 (ko) * 2014-04-22 2020-06-09 삼성전자주식회사 디스플레이 장치 및 그의 멀티 뷰 디스플레이 방법
WO2015163529A1 (en) * 2014-04-23 2015-10-29 Lg Electronics Inc. Head mounted display device displaying thumbnail image and method of controlling therefor
KR20150122561A (ko) * 2014-04-23 2015-11-02 삼성전자주식회사 디바이스 및 상기 디바이스에서의 착신 호출 처리 방법
KR102270007B1 (ko) * 2014-05-07 2021-06-28 삼성전자주식회사 단말 장치 및 단말 장치의 원격 제어 방법
EP3145199A4 (en) * 2014-05-16 2018-04-25 Unimoto Incorporated 360-degree video-distributing system, 360-degree video distribution method, image-processing device, and communications terminal device, as well as control method therefor and control program therefor
US9911454B2 (en) * 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
TWI610221B (zh) * 2014-06-18 2018-01-01 緯創資通股份有限公司 螢幕播送方法以及使用該方法的系統與裝置
US9570113B2 (en) * 2014-07-03 2017-02-14 Gopro, Inc. Automatic generation of video and directional audio from spherical content
US10254942B2 (en) * 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
KR102230024B1 (ko) * 2014-09-05 2021-03-18 엘지전자 주식회사 전자 기기 및 그 동작방법
JP6205071B2 (ja) * 2014-09-08 2017-09-27 富士フイルム株式会社 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
EP2996346A1 (en) * 2014-09-12 2016-03-16 Samsung Electronics Co., Ltd. Multi-screen control method and device supporting multiple window applications
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
KR20160034037A (ko) * 2014-09-19 2016-03-29 삼성전자주식회사 화면 캡쳐를 위한 방법 및 그 전자 장치
US10055064B2 (en) * 2014-10-29 2018-08-21 Sony Corporation Controlling multiple devices with a wearable input device
WO2016080395A1 (ja) * 2014-11-21 2016-05-26 シャープ株式会社 サーバ、アイテム提供システム、表示装置、携帯端末、および制御プログラム
WO2016084485A1 (ja) * 2014-11-27 2016-06-02 ソニー株式会社 情報処理装置および情報処理方法
KR102322026B1 (ko) * 2014-12-09 2021-11-04 삼성전자주식회사 모바일 디바이스 및 모바일 디바이스의 동작 방법
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
KR102364620B1 (ko) * 2015-01-26 2022-02-17 엘지전자 주식회사 영상표시장치, 및 그 동작방법
EP3065042B1 (en) * 2015-02-13 2018-11-07 LG Electronics Inc. Mobile terminal and method for controlling the same
US9497790B2 (en) * 2015-03-03 2016-11-15 Google Inc. Simulation of near-field communications
US10911781B2 (en) * 2015-03-05 2021-02-02 Sony Corporation Image processing device and image processing method for encoding/decoding omnidirectional images at different resolutions
WO2016191694A1 (en) * 2015-05-27 2016-12-01 Google Inc. Streaming spherical video
KR20160142184A (ko) * 2015-06-02 2016-12-12 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법.
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
EP3319326B1 (en) * 2015-07-02 2021-05-19 LG Electronics Inc. Image display device and mobile terminal
KR20170011190A (ko) * 2015-07-21 2017-02-02 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20180359462A1 (en) * 2015-08-06 2018-12-13 Sony Interactive Entertainment Inc. Information processing apparatus
US9864734B2 (en) * 2015-08-12 2018-01-09 International Business Machines Corporation Clickable links within live collaborative web meetings
KR101808852B1 (ko) * 2015-08-18 2017-12-13 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
KR102381141B1 (ko) * 2015-09-03 2022-03-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2017044795A1 (en) * 2015-09-10 2017-03-16 Google Inc. Playing spherical video on a limited bandwidth connection
US20170078653A1 (en) * 2015-09-15 2017-03-16 Qualcomm Incorporated Systems and methods for producing a surround view
CN105208368A (zh) 2015-09-23 2015-12-30 北京奇虎科技有限公司 显示全景数据的方法及装置
US10104282B2 (en) * 2015-09-30 2018-10-16 Ricoh Co., Ltd. Yaw user interface
CN105898460A (zh) 2015-12-10 2016-08-24 乐视网信息技术(北京)股份有限公司 调整智能电视的全景视频播放视角的方法和装置
KR102459590B1 (ko) * 2015-12-24 2022-10-26 엘지전자 주식회사 영상표시장치
CN105898271A (zh) 2015-12-28 2016-08-24 乐视致新电子科技(天津)有限公司 360度全景视频的播放方法、播放模块及移动终端
US20170186219A1 (en) * 2015-12-28 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method for 360-degree panoramic display, display module and mobile terminal
CN105913478A (zh) 2015-12-28 2016-08-31 乐视致新电子科技(天津)有限公司 360度全景显示方法、显示模块及移动终端
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
KR20170079198A (ko) * 2015-12-30 2017-07-10 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR102482549B1 (ko) * 2016-01-11 2022-12-28 엘지전자 주식회사 영상표시장치
JP6665558B2 (ja) * 2016-01-29 2020-03-13 株式会社リコー 画像管理システム、画像管理方法、画像通信システム及びプログラム
KR20170095030A (ko) * 2016-02-12 2017-08-22 삼성전자주식회사 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법
KR102523997B1 (ko) * 2016-02-12 2023-04-21 삼성전자주식회사 360도 영상 처리 방법 및 장치
KR102484135B1 (ko) * 2016-02-15 2023-01-04 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
KR102442527B1 (ko) * 2016-02-26 2022-09-13 엘지전자 주식회사 무선 디바이스
US10277836B2 (en) * 2016-03-07 2019-04-30 Ricoh Company, Ltd. Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
US9996311B2 (en) * 2016-03-15 2018-06-12 Roku, Inc. Efficient communication interface for casting interactively controlled visual content
CN108780584B (zh) * 2016-03-21 2023-04-21 葫芦有限责任公司 用于流传输和渲染的球形视频的转换和预处理
KR20170111000A (ko) * 2016-03-24 2017-10-12 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20170112797A (ko) * 2016-04-01 2017-10-12 삼성전자주식회사 디스플레이 장치, 시스템 및 그 제어 방법
US20180308281A1 (en) * 2016-04-01 2018-10-25 draw, Inc. 3-d graphic generation, artificial intelligence verification and learning system, program, and method
US20170302714A1 (en) * 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video
US20170316611A1 (en) * 2016-04-20 2017-11-02 30 60 90 Corporation System and method for very large-scale communication and asynchronous documentation in virtual reality and augmented reality environments enabling guided tours of shared design alternatives
KR20170124811A (ko) * 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR20170124814A (ko) 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
CN109074628A (zh) * 2016-05-13 2018-12-21 索尼公司 生成装置和生成方法以及再现装置和再现方法
CN106028115A (zh) 2016-05-18 2016-10-12 乐视控股(北京)有限公司 视频播放方法和装置
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10887577B2 (en) * 2016-05-26 2021-01-05 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
CN113542602A (zh) * 2016-06-20 2021-10-22 麦克赛尔株式会社 摄像装置、显示装置和摄像显示系统
CN106060570B (zh) 2016-06-30 2019-06-14 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
US10297086B2 (en) * 2016-07-04 2019-05-21 Liquid Cinema Inc. System and method for processing digital video
KR20180005377A (ko) * 2016-07-06 2018-01-16 엘지전자 주식회사 이동단말기 및 그 제어 방법, 디스플레이 디바이스 및 그 제어 방법
US10277886B2 (en) * 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US10958834B2 (en) * 2016-07-22 2021-03-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
KR102542515B1 (ko) * 2016-07-28 2023-06-12 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR102525575B1 (ko) 2016-08-12 2023-04-25 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
KR102568897B1 (ko) * 2016-08-16 2023-08-21 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102567002B1 (ko) * 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR20180020386A (ko) * 2016-08-18 2018-02-28 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20180020517A (ko) * 2016-08-18 2018-02-28 엘지전자 주식회사 이동 단말기
KR20180021515A (ko) * 2016-08-22 2018-03-05 삼성전자주식회사 영상 표시 장치 및 영상 표시 장치의 동작 방법
EP3503547A4 (en) * 2016-08-25 2020-01-22 LG Electronics Inc. -1- OMNIDIRECTIONAL VIDEO TRANSMISSION METHOD, OMNIDIRECTIONAL VIDEO RECEPTION METHOD, OMNIDIRECTIONAL VIDEO TRANSMISSION APPARATUS, AND OMNIDIRECTIONAL VIDEO RECEPTION APPARATUS
US20190199921A1 (en) * 2016-08-29 2019-06-27 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
US10524018B2 (en) * 2016-08-30 2019-12-31 Samsung Electronics Co., Ltd. Apparatus and method for displaying image
KR102536945B1 (ko) * 2016-08-30 2023-05-25 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102522565B1 (ko) * 2016-08-31 2023-04-17 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
KR102627518B1 (ko) * 2016-09-02 2024-01-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
KR102567803B1 (ko) * 2016-09-06 2023-08-18 엘지전자 주식회사 디스플레이 장치
KR20180028320A (ko) * 2016-09-08 2018-03-16 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
KR20180028782A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10623635B2 (en) * 2016-09-23 2020-04-14 Mediatek Inc. System and method for specifying, signaling and using coding-independent code points in processing media contents from multiple media sources
CN106548446B (zh) * 2016-09-29 2019-08-09 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
CN107888928B (zh) * 2016-09-30 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
CN110024407B (zh) * 2016-10-04 2021-10-15 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
KR20180037725A (ko) * 2016-10-05 2018-04-13 엘지전자 주식회사 디스플레이 장치
KR20180037721A (ko) * 2016-10-05 2018-04-13 엘지전자 주식회사 디스플레이 장치
KR101969082B1 (ko) * 2016-10-06 2019-04-16 주식회사 카이 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
CN109362242B (zh) * 2016-10-10 2021-05-14 华为技术有限公司 一种视频数据的处理方法及装置
KR20180040451A (ko) * 2016-10-12 2018-04-20 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10917564B2 (en) * 2016-10-12 2021-02-09 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
CN107945101B (zh) * 2016-10-13 2021-01-29 华为技术有限公司 图像处理方法和装置
KR20180042777A (ko) * 2016-10-18 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10186067B2 (en) * 2016-10-25 2019-01-22 Aspeed Technology Inc. Method and apparatus for generating panoramic image with rotation, translation and warping process
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统
KR102589853B1 (ko) * 2016-10-27 2023-10-16 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR20180048170A (ko) * 2016-11-02 2018-05-10 엘지전자 주식회사 디스플레이 장치
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10448107B2 (en) * 2016-11-11 2019-10-15 Lg Electronics Inc. Display device
US9998847B2 (en) * 2016-11-17 2018-06-12 Glen A. Norris Localizing binaural sound to objects
KR102551713B1 (ko) * 2016-11-18 2023-07-06 삼성전자주식회사 전자 장치 및 그 이미지 처리 방법
KR102633595B1 (ko) * 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP6565878B2 (ja) * 2016-11-25 2019-08-28 トヨタ自動車株式会社 表示システム
KR20180060236A (ko) * 2016-11-28 2018-06-07 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10244200B2 (en) * 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
US10244215B2 (en) * 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc Re-projecting flat projections of pictures of panoramic video for rendering by application
US10614606B2 (en) * 2016-11-30 2020-04-07 Ricoh Company, Ltd. Information processing apparatus for creating an animation from a spherical image
KR102561274B1 (ko) * 2016-12-01 2023-07-31 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
US20180167634A1 (en) * 2016-12-09 2018-06-14 Nokia Technologies Oy Method and an apparatus and a computer program product for video encoding and decoding
EP3334164B1 (en) * 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
US10620441B2 (en) * 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
US10509965B2 (en) * 2016-12-15 2019-12-17 Google Llc Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content by tiling the sphere
KR20180070297A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10242714B2 (en) * 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
KR20180071012A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR20180074369A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치
WO2018123645A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 生成装置、識別情報生成方法、再生装置および画像再生方法
BR112019012886A2 (pt) * 2016-12-28 2019-11-26 Sony Corp dispositivos de geração, de reprodução e de método de geração de imagem, e, método de geração de informações de identificação.
CN109074678B (zh) * 2016-12-30 2021-02-05 华为技术有限公司 一种信息的处理方法及装置
US10863198B2 (en) * 2017-01-03 2020-12-08 Lg Electronics Inc. Intra-prediction method and device in image coding system for 360-degree video
US10560660B2 (en) * 2017-01-04 2020-02-11 Intel Corporation Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
KR20180080892A (ko) * 2017-01-05 2018-07-13 삼성전자주식회사 전자 장치 및 그 제어 방법
US10742999B2 (en) * 2017-01-06 2020-08-11 Mediatek Inc. Methods and apparatus for signaling viewports and regions of interest
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
KR102157659B1 (ko) * 2017-01-10 2020-09-18 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10313664B2 (en) * 2017-01-11 2019-06-04 Qualcomm Incorporated Adjusting field of view of truncated square pyramid projection for 360-degree video
KR20180082812A (ko) * 2017-01-11 2018-07-19 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
US10560682B2 (en) * 2017-01-13 2020-02-11 Gopro, Inc. Methods and apparatus for providing a frame packing arrangement for panoramic content
JP6805861B2 (ja) * 2017-02-09 2020-12-23 株式会社リコー 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10368047B2 (en) * 2017-02-15 2019-07-30 Adone Inc. Six-degree of freedom video playback of a single monoscopic 360-degree video
KR20180096170A (ko) * 2017-02-20 2018-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서 360도 영상 디스플레이 방법
WO2018156243A1 (en) * 2017-02-22 2018-08-30 Twitter, Inc. Transcoding video
US11172208B2 (en) * 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming
US20200074593A1 (en) * 2017-03-01 2020-03-05 Peking University Shenzhen Graduate School Panoramic image mapping method, apparatus, and device
CN106899840B (zh) * 2017-03-01 2018-06-05 北京大学深圳研究生院 全景图像映射方法
JP6775776B2 (ja) * 2017-03-09 2020-10-28 株式会社岩根研究所 自由視点移動表示装置
US10681271B2 (en) * 2017-03-15 2020-06-09 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
JP7196834B2 (ja) * 2017-03-22 2022-12-27 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
WO2018178507A1 (en) * 2017-03-27 2018-10-04 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
KR20190125526A (ko) * 2017-03-28 2019-11-06 삼성전자주식회사 사용자 움직임 정보에 기초하여 영상을 표시하기 위한 방법 및 장치
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102362850B1 (ko) * 2017-04-14 2022-02-15 삼성전자주식회사 디스플레이장치, 디스플레이 시스템 및 디스플레이장치의 제어방법
WO2018194273A1 (en) * 2017-04-21 2018-10-25 Samsung Electronics Co., Ltd. Image display apparatus and method
US20180307352A1 (en) * 2017-04-25 2018-10-25 Gopro, Inc. Systems and methods for generating custom views of videos
WO2018196682A1 (en) * 2017-04-27 2018-11-01 Mediatek Inc. Method and apparatus for mapping virtual-reality image to a segmented sphere projection format
US10740972B2 (en) * 2017-04-28 2020-08-11 Harman International Industries, Incorporated System and method for presentation and control of augmented vehicle surround views
US10957009B2 (en) * 2017-05-04 2021-03-23 Electronics And Telecommunications Research Institute Image processing apparatus and method
US10182222B2 (en) * 2017-05-12 2019-01-15 Garmin Switzerland Gmbh Graphical object overlays for 360 degree cameras
JP6331178B1 (ja) * 2017-05-12 2018-05-30 パナソニックIpマネジメント株式会社 画像処理装置、及び、画像処理方法
US10469751B2 (en) * 2017-05-12 2019-11-05 Garmin Switzerland Gmbh Smart stabilization and reorientation for an omnidirectional camera
US10375375B2 (en) * 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
US20180338160A1 (en) * 2017-05-18 2018-11-22 Mediatek Inc. Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images
JP6919334B2 (ja) * 2017-05-26 2021-08-18 株式会社リコー 画像処理装置、画像処理方法、プログラム
US20190387212A1 (en) * 2017-05-26 2019-12-19 Lg Electronics Inc. 360 video processing method and apparatus therefor
CN108965917B (zh) * 2017-05-27 2021-07-20 华为技术有限公司 视频图像的呈现、封装方法和视频图像的呈现、封装装置
BR102017012517A2 (pt) * 2017-06-12 2018-12-26 Samsung Eletrônica da Amazônia Ltda. método para exibição de mídia ou interface de bolhas em 360°
KR102350933B1 (ko) * 2017-06-20 2022-01-12 엘지전자 주식회사 영상표시장치
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
GB2563944B (en) * 2017-06-30 2021-11-03 Canon Kk 360-Degree video encoding with block-based extension of the boundary of projected parts
JP6721631B2 (ja) * 2017-07-07 2020-07-15 ノキア テクノロジーズ オーユー ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
KR102535031B1 (ko) * 2017-07-19 2023-05-22 삼성전자주식회사 디스플레이장치, 그 제어방법 및 그 컴퓨터프로그램제품
US10477266B2 (en) * 2017-07-24 2019-11-12 Facebook, Inc. Determining local network connections of devices using tokens
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
KR102422929B1 (ko) * 2017-08-16 2022-07-20 삼성전자 주식회사 디스플레이장치, 서버 및 그 제어방법
US10264297B1 (en) * 2017-09-13 2019-04-16 Perfect Sense, Inc. Time-based content synchronization
KR102208129B1 (ko) * 2017-09-26 2021-01-27 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN107608605A (zh) * 2017-09-28 2018-01-19 北京金山安全软件有限公司 一种图像的显示方法、装置、电子设备及存储介质
JP2020521348A (ja) * 2017-10-24 2020-07-16 エルジー エレクトロニクス インコーポレイティド 魚眼ビデオ情報を含む360度ビデオを送受信する方法及びその装置
USD857722S1 (en) * 2017-10-24 2019-08-27 Atlas Biomed Group Limited Display screen with graphical user interface
US10805530B2 (en) * 2017-10-30 2020-10-13 Rylo, Inc. Image processing for 360-degree camera
EP3506619A1 (en) * 2017-12-27 2019-07-03 Nokia Technologies Oy Receiving and displaying sensor data on a substantially spherical surface of a display device
US10664127B2 (en) * 2017-12-29 2020-05-26 Facebook, Inc. Connected TV 360-degree media interactions
JP6413035B1 (ja) * 2018-01-18 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
US10740981B2 (en) * 2018-02-06 2020-08-11 Adobe Inc. Digital stages for presenting digital three-dimensional models
US20190281273A1 (en) * 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10659780B2 (en) * 2018-03-09 2020-05-19 Mediatek Inc. De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10986371B2 (en) * 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
KR102338901B1 (ko) * 2018-04-03 2021-12-13 삼성전자주식회사 전자 장치 및 그 동작 방법
WO2019194434A1 (ko) * 2018-04-05 2019-10-10 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
WO2019203456A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN110392206B (zh) * 2018-04-18 2021-04-02 株式会社理光 信息处理设备和记录介质
US10650790B2 (en) * 2018-04-30 2020-05-12 Ramzi Khalil Maalouf System, apparatus, and method for optimizing viewing experience on an intelligent terminal
KR102154530B1 (ko) * 2018-06-06 2020-09-21 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치
KR102138536B1 (ko) * 2018-06-08 2020-07-28 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
KR102188270B1 (ko) * 2018-07-06 2020-12-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
KR102258446B1 (ko) * 2018-07-11 2021-05-31 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US10764513B2 (en) * 2018-07-31 2020-09-01 Ricoh Company, Ltd. Communication terminal, image data communication system, and communication method
US20200153885A1 (en) * 2018-10-01 2020-05-14 Lg Electronics Inc. Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and/or a method for receiving point cloud data
WO2020071632A1 (ko) * 2018-10-02 2020-04-09 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치

Also Published As

Publication number Publication date
KR20180046681A (ko) 2018-05-09
CN108024127A (zh) 2018-05-11
US10810789B2 (en) 2020-10-20
US20180122130A1 (en) 2018-05-03
WO2018080165A1 (en) 2018-05-03
KR102598082B1 (ko) 2023-11-03
CN108024127B (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
JP2020502851A (ja) 映像表示装置、モバイル装置及びその動作方法
CN107736031B (zh) 图像显示设备及其操作方法
US20210405838A1 (en) Image display device and operating method for enlarging an image displayed in a region of a display and displaying the enlarged image variously
US20160231885A1 (en) Image display apparatus and method
EP3242472B1 (en) Image displaying apparatus and method of operating the same
US11500509B2 (en) Image display apparatus and image display method
CN109792561B (zh) 图像显示设备及其操作方法
KR102329124B1 (ko) 영상 표시 장치 및 영상 표시 방법
US11301108B2 (en) Image display apparatus and method for displaying item list and cursor
KR102325341B1 (ko) 영상 표시 장치 및 그 동작방법
EP3661220B1 (en) Client device, companion screen device, and operation method therefor
US10742880B2 (en) Image display apparatus and method of displaying image
EP3319308B1 (en) Spherical image display apparatus and method of displaying spherical image on a planar display