JP2020520489A - 映像表示装置及び映像表示方法 - Google Patents

映像表示装置及び映像表示方法 Download PDF

Info

Publication number
JP2020520489A
JP2020520489A JP2019556349A JP2019556349A JP2020520489A JP 2020520489 A JP2020520489 A JP 2020520489A JP 2019556349 A JP2019556349 A JP 2019556349A JP 2019556349 A JP2019556349 A JP 2019556349A JP 2020520489 A JP2020520489 A JP 2020520489A
Authority
JP
Japan
Prior art keywords
image
viewpoint
recommended
category
composition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019556349A
Other languages
English (en)
Other versions
JP7090642B2 (ja
Inventor
スン−ヒョン・キム
ヨン−ドク・キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/003239 external-priority patent/WO2018194273A1/en
Publication of JP2020520489A publication Critical patent/JP2020520489A/ja
Application granted granted Critical
Publication of JP7090642B2 publication Critical patent/JP7090642B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

３６０°映像を表示する映像表示装置及び映像表示方法に係り、該３６０°映像を表示する映像表示装置は、ディスプレイ、及び３６０°映像の視点を移動させるユーザ入力を受信し、３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図に基づいて、ユーザ入力に対応する探索領域から、おすすめ視点を示す情報を獲得し、ユーザ入力に応答し、３６０°映像を、現在視点からおすすめ視点に移動させ、３６０°映像において、おすすめ視点に対応する領域をディスプレイするようにディスプレイを制御するプロセッサを含む。

Description

本発明は、映像表示装置及び映像表示方法に係り、さらに詳細には、３６０°映像を表示する映像表示装置及び映像表示方法に関する。
映像表示装置は、ユーザが視聴することができる映像を表示する機能を備えた装置である。ユーザは、該映像表示装置を介して放送を視聴することができる。該映像表示装置は、放送局から送出される放送信号のうちからユーザが選択した放送を表示する。現在の放送は、全世界的に、アナログ放送からデジタル放送に転換されて行っている。
該デジタル放送は、デジタルの映像及び音声信号を送出する放送を意味する。該デジタル放送は、アナログ放送に比べ、外部ノイズに強く、データ損失が少なく、エラー訂正に有利であり、解像度が高く、鮮明な画面を提供する。また、該デジタル放送は、アナログ放送と異なり、双方向サービスが可能である。
最近では、デジタル放送機能に加え、多様なコンテンツを提供するスマートＴＶ（television）が提供されており、３６０°映像を表示することができる映像表示装置が提供されている。ユーザは、３６０°映像の視点を移動させ、多様な角度から３６０°映像を視聴することができる。視点選択により、３６０°映像において、ユーザに見える領域が異なるために、３６０°映像を視聴するとき、適切な視点を選択することができる方法が必要である。
本開示書の実施形態は,ユーザが３６０°映像を視聴するとき、適切な視点を選択する方法及び映像表示装置を提供する。
本開示書の実施形態により、ユーザが３６０°映像を視聴するとき、適切な視点がユーザに提供される。
一実施形態による３６０°映像を表示する映像表示装置を示す図面である。 一実施形態による映像表示装置の構成を示すブロック図である。 他の実施形態による映像表示装置の構成を示すブロック図である。 一実施形態によって、構図検出パラメータセットを学習する過程について説明するための図面である。 一実施形態によって、構図検出パラメータセットを学習する過程について説明するための図面である。 一実施形態によって、おすすめ視点が決定される過程について説明するための図面である。 一実施形態によって、おすすめ視点が決定される過程について説明するための図面である。 一実施形態によって、構図検出パラメータセット、またはユーザの好み構図に基づいて、おすすめ視点を決定する方法について説明するための図面である。 一実施形態によって、構図検出パラメータセット、またはユーザの好み構図に基づいて、おすすめ視点を決定する方法について説明するための図面である。 一実施形態によって、おすすめ視点を示す情報を、外部サーバから受信する過程について説明するための図面である。 一実施形態によって、おすすめ視点を示す情報を、外部サーバから受信する過程について説明するための図面である。 一実施形態による映像表示装置が、現在ディスプレイされる視点と、おすすめ視点との距離差により、３６０°映像の視点を、異なる速度で移動させる例を示す図面である。 一実施形態による映像表示装置が、現在ディスプレイされる視点と、おすすめ視点との距離差により、３６０°映像の視点を、異なる速度で移動させる例を示す図面である。 一実施形態による映像表示装置が３６０°映像で検出された客体の動きにより、３６０°映像の視点を移動させる例を示す図面である。 一実施形態による映像表示方法を示すフローチャートである。
一実施形態による３６０°映像を表示する映像表示装置は、ディスプレイ、及び３６０°映像の視点を移動させるユーザ入力を受信し、３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図に基づいて、ユーザ入力に対応する探索領域からおすすめ視点を示す情報を獲得し、ユーザ入力に応答し、３６０°映像を、現在視点からおすすめ視点に移動させ、３６０°映像において、おすすめ視点に対応する領域をディスプレイするようにディスプレイを制御するプロセッサを含んでもよい。
一実施形態による構図検出パラメータセットは、１以上のニューラルネットワークに、３６０°映像のカテゴリーを示すカテゴリー情報、及びカテゴリーに属する複数の映像が入力されたことに応答し、３６０°映像のカテゴリーのためのおすすめ構図を学習することによっても決定される。
一実施形態による構図検出パラメータセットは、３６０°映像のカテゴリーのための１以上のおすすめ構図を示す１以上のレイヤ、及び１以上のレイヤに適用される加重値が線形結合された形態にも決定される。
一実施形態によるプロセッサは、探索領域を、３６０°映像がディスプレイされる画面の大きさを有する複数の領域に分割し、複数の領域それぞれに、前記構図検出パラメータセット、またはユーザの好み構図を適用して分析し、該分析結果に基づいて、前記おすすめ視点を決定することができる。
一実施形態によるプロセッサは、３６０°映像の現在再生位置を示す情報、及び３６０°映像の視点を移動させるユーザ入力に係わる情報を外部サーバに伝送し、外部サーバによって決定されたおすすめ視点に係わる情報を、外部サーバから受信することができる。
一実施形態による探索領域は、おすすめ視点を決定するために分析される３６０°映像の一部領域として、ユーザ入力に応答し、３６０°映像の視点が移動する方向に基づいて決定され、探索領域の大きさは、３６０°映像がディスプレイされる画角、及び３６０°映像がディスプレイされる画面の縦横比のうち少なくとも一つに基づいても決定される。
一実施形態による探索領域は、ユーザ入力に応答し、３６０°映像の視点が移動することによってアップデートされ、おすすめ視点は、アップデートされた探索領域、及びカテゴリー情報に基づいても決定される。
一実施形態による３６０°映像のカテゴリーは、３６０°映像のジャンル、３６０°映像が撮影された場所、及び３６０°映像の内容のうち少なくとも一つに基づいて決定され、
プロセッサは、３６０°映像の題目（title）、３６０°映像のメタデータのうち少なくとも一つに基づいて、３６０°映像のカテゴリーに係わる情報を獲得することができる。
一実施形態によるプロセッサは、３６０°映像の現在視点とおすすめ視点との移動距離、及び３６０°映像の視点を移動させるユーザ入力の種類のうち少なくとも一つに基づいて、３６０°映像がおすすめ視点に移動する速度を異なって設定することができる。
一実施形態によるプロセッサは、探索領域から１以上の客体を検出し、検出された１以上の客体の動き情報をさらに考慮し、おすすめ視点に係わる情報を獲得することができる。
一実施形態による映像表示方法は、３６０°映像の視点を移動させるユーザ入力を受信する段階、３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図に基づいて、ユーザ入力に対応する探索領域からおすすめ視点を示す情報を獲得する段階、ユーザ入力に応答し、３６０°映像を、現在視点からおすすめ視点に移動させる段階、及び３６０°映像において、前記おすすめ視点に対応する領域をディスプレイする段階を含んでもよい。
一実施形態による構図検出パラメータセットは、前記１以上のニューラルネットワークに、前記３６０°映像のカテゴリーを示すカテゴリー情報、及び前記カテゴリーに属する複数の映像が入力されたことに応答し、前記３６０°映像のカテゴリーのためのおすすめ構図を学習することによっても決定される。
一実施形態による前記構図検出パラメータセットは、前記３６０°映像のカテゴリーのための１以上のおすすめ構図を示す１以上のレイヤ、及び前記１以上のレイヤに適用される加重値が線形結合された形態にも決定される。
一実施形態による、前記おすすめ視点に係わる情報を獲得する段階は、前記探索領域を、前記３６０°映像がディスプレイされる画面の大きさを有する複数の領域に分割する段階と、前記複数の領域それぞれに、前記構図検出パラメータセット、または前記ユーザの好み構図を適用して分析する段階と、前記分析結果に基づいて、前記おすすめ視点を決定する段階と、を含んでもよい。
一実施形態による、前記おすすめ視点に係わる情報を獲得する段階は、前記３６０°映像の現在再生位置を示す情報、及び前記３６０°映像の視点を移動させるユーザ入力に係わる情報を外部サーバに伝送する段階と、前記外部サーバによって決定された前記おすすめ視点に係わる情報を、前記外部サーバから受信する段階と、を含んでもよい。
一実施形態による前記探索領域は、前記おすすめ視点を決定するために分析される前記３６０°映像の一部領域として、前記ユーザ入力に応答し、前記３６０°映像の視点が移動する方向に基づいて決定され、前記探索領域の大きさは、前記３６０°映像がディスプレイされる画角、及び前記３６０°映像がディスプレイされる画面の縦横比のうち少なくとも一つに基づいても決定される。
一実施形態による前記探索領域は、前記ユーザ入力に応答し、前記３６０°映像の視点が移動することによってアップデートされ、前記おすすめ視点は、前記構図検出パラメータセット、または前記ユーザの好み構図に基づいて、前記アップデートされた探索領域からも決定される。
一実施形態による前記３６０°映像のカテゴリーは、前記３６０°映像のジャンル、前記３６０°映像が撮影された場所、及び前記３６０°映像の内容のうち少なくとも一つに基づいて決定され、前記映像表示方法は、前記３６０°映像の題目、前記３６０°映像のメタデータのうち少なくとも一つに基づいて、前記３６０°映像のカテゴリーに係わる情報を獲得する段階をさらに含んでもよい。
一実施形態による、前記おすすめ視点に係わる情報を獲得する段階は、前記探索領域から１以上の客体を検出する段階と、前記検出された１以上の客体の動き情報をさらに考慮し、前記おすすめ視点に係わる情報を獲得する段階と、を含んでもよい。
一実施形態によって映像表示方法を遂行するために、コンピュータによって実行可能なプログラムが記録された非一時的コンピュータ可読記録媒体が提供される。
一実施形態による、３６０°映像が、現在視点からおすすめ視点に移動される速度は、現在視点とおすすめ視点との距離にも反比例する。
以下では、添付図面を参照し、本開示が属する技術分野において当業者であるならば、容易に実施することができるように、本開示の実施形態について詳細に説明する。しかし、本開示は、さまざまに異なる形態にも具現される、ここで説明する実施形態に限定されるものではない。また、図面において、本開示を明確に説明するために、説明と関係ない部分は、省略し、明細書全体を通じて、類似した部分については、類似した図面符号を付した。
本開示で使用される用語は、本開示で言及される機能を考慮し、現在使用される一般的な用語で記載されたが、それらは、当分野の当業者の意図、判例、あるいは新規技術の出現などにより、多様な他の用語を意味することにもなる。従って、本開示で使用される用語は、用語の名称だけで解釈されるものではなく、該用語が有する意味と、本開示の全般にわたる内容とを基に解釈されなければならない。
また、本開示で使用された用語は、ただ特定の実施形態についての説明に使用されたものであり、本開示を限定する意図で使用されるものではない。単数の表現は、文脈上明白に単数を意味しない限り、複数の意味を含む。また、明細書全体において、ある部分が他の部分と「連結」されているとするとき、それは、「直接連結」されている場合だけではなく、その中間に、他の素子を挟み、「電気的に連結」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。
本明細書、特に、特許請求の範囲で使用された「前記」及びそれと類似した指示語は、単数及び複数をいずれも指示するものでもある。また、本開示による方法について説明する段階の順序を明白に指定する記載がなければ、記載された段階は、適切な順序で遂行される。記載された段階の記載順序により、本開示が限定されるものではない。
本明細書において多様なところに登場する「一部実施形態で」または「一実施形態で」というような語句は、必ずしもいずれも同一実施形態を示すものではない。
本開示の一部実施形態は、機能的なブロック構成、及び多様な処理段階によっても示される。そのような機能ブロックの一部または全部は、特定機能を遂行する多様な個数のハードウェア構成及び／またはソフトウェア構成によっても具現される。例えば、本開示の機能ブロックは、１以上のマイクロプロセッサによって具現されるか、あるいは所定機能のための回路構成によっても具現される。また、例えば、本開示の機能ブロックは、多様なプログラミング言語またはスクリプティング言語によっても具現される。該機能ブロックは、１以上のプロセッサで実行されるアルゴリズムによっても具現される。また、本開示は、電子的な環境設定、信号処理、及び／またはデータ処理などのために、従来技術を採用することができる。「メカニズム」、「要素」、「手段」及び「構成」というような用語は、広く使用され、機械的であって物理的な構成として限定されるものではない。
また、図面に図示された構成要素間の連結線または連結部材は、機能的な連結、及び／または物理的または回路的な連結を例示的に示したのみである。実際の装置においては、代替可能であったり追加されたりする多様な機能的な連結、物理的な連結、または回路的な連結により、構成要素間の連結が示されるのである。
以下、添付された図面を参照し、本開示について詳細に説明する。
図１は、一実施形態による３６０°映像を表示する映像表示装置を示す図面である。
一実施形態による映像表示装置１００は、３６０°映像を表示することができる。
該３６０°映像は、３６０°の画角（angle of view）を有する映像でもある。例えば、３６０°映像は、少なくとも１台のカメラを利用し、３６０°方向に撮影された複数の映像に基づいて生成された映像でもある。このとき、撮影された複数の映像は、球（sphere）にもマッピング（mapping）され、マッピングされた映像の接点が、連結（スティッチング（stiching））され、球形式の３６０°映像が生成される。また、球形式の３６０°映像は、他の装置に伝送したり保存したりするために、図１に図示されているように、平面形式の３６０°映像５０にも変換される。
一実施形態による映像表示装置１００は、平面形式の３６０°映像５０にグラフィック処理を施し、平面形式の３６０°映像５０を、球形態の３６０°映像７０に変換することができる。例えば、映像表示装置１００は、平面形式の３６０°映像を球にマッピングし、球形態の３６０°映像７０を生成することができる。そして、映像表示装置１００は、球形態の３６０°映像７０において、特定視点に対応する一部領域８０を選択し、選択された領域８０に対応する映像を表示することができる。
一実施形態による映像表示装置１００は、３６０°映像において、選択された視点に対応する領域を表示することができ、視点を変更するユーザ入力に応答し、変更された視点に対応する領域を表示することができる。このとき、映像表示装置１００が、ＨＭＤ（head mount display）のような装置である場合、ユーザは、映像表示装置１００を着用した状態で、３６０°映像を視聴することができる。従って、ユーザは、３６０°映像の視点を、所望視点に容易に変更することができる。しかし、ＴＶのように、制御装置１０１によって制御される映像表示装置１００である場合、ユーザは、制御装置１０１を利用し、３６０°映像の視点を微細に調整することが容易ではない。例えば、ユーザが、制御装置１０１を利用し、３６０°映像の視点を変更する場合、視聴に適する構図を探し出すために、視点を移動させる操作が数回以上必要になってしまう。映像表示装置１００は、３６０°映像の特定視点に対応する一部領域だけディスプレイするために、ユーザは、視点を移動させるまで、ディスプレイされていない視点に係わる情報を知り難い。従って、ユーザは、３６０°映像において、現在ディスプレイされていない領域を考慮するとき、どの視点が視聴に適する構図であるかということを容易に判断し難い。従って、３６０°映像の視点を移動させるユーザ入力が受信されるとき、視点の移動方向を考慮し、視聴に適する構図を有するおすすめ視点を提供することができる方法が要求される。
一実施形態による映像表示装置１００は、３６０°映像の視点を移動させるユーザ入力が受信されることにより、視点が移動する方向に基づいて探索領域を設定し、設定された探索領域を分析し、視聴に適する構図を有するおすすめ視点を決定し、３６０°映像の視点を、おすすめ視点に移動させることができる。それにより、映像表示装置１００は、３６０°映像の視点を移動させるユーザの入力に応答し、３６０°映像の視点を移動させるとき、視聴に適する構図を考慮し、３６０°映像の視点を移動させることができる。
一実施形態による映像表示装置１００は、ＴＶでもあるが、それに限定されるものではなく、ディスプレイを含む電子装置によっても具現される。例えば、映像表示装置１００は、携帯電話、タブレットＰＣ（personal computer）、デジタルカメラ、カムコーダ、ノート型パソコン（laptop computer）、デスクトップ、電子書籍端末機、デジタル放送用端末機、ＰＤＡ（personal digital assistant）、ＰＭＰ（portable multimedia player）、ナビゲーション、ＭＰ３プレイヤ、着用型機器（wearable device）のような多様な電子装置によっても具現される。また、映像表示装置１００は、固定型または移動型でもあり、デジタル放送受信が可能なデジタル放送受信機でもある。
映像表示装置１００は、平面（flat）ディスプレイ装置だけではなく、曲率を有する画面である曲面（curved）ディスプレイ装置、または曲率を調整することができる可変型（flexible）ディスプレイ装置によっても具現される。映像表示装置１００の出力解像度は、例えば、ＨＤ（high definition）、full ＨＤ、ultra ＨＤのもの、またはultra ＨＤよりさらに鮮明な解像度を含んでもよい。
映像表示装置１００は、制御装置１０１によっても制御され、制御装置１０１は、リモコンまたは携帯電話のように、映像表示装置１００を制御するための多様な形態の装置によっても具現される。または、映像表示装置１００のディスプレイがタッチスクリーンによって具現される場合、制御装置１０１は、ユーザの指や入力ペンなどでも代替される。
また、制御装置１０１は、赤外線（infrared）またはブルートゥース（登録商標）（Bluetooth（登録商標））を含む近距離通信を利用し、映像表示装置１００を制御することができる。制御装置１０１は、具備されたキー（ボタンを含む）、タッチパッド（touchpad）、ユーザ音声の受信が可能なマイク（図示せず）、及び制御装置１０１のモーション認識が可能なセンサ（図示せず）のうち少なくとも一つを利用し、映像表示装置１００の機能を制御することができる。
制御装置１０１は、映像表示装置１００の電源をオン（on）にしたりオフ（off）にしたりするための電源オン／オフボタンを含んでもよい。また、制御装置１０１は、ユーザ入力により、映像表示装置１００のチャンネル変更、音量調整、地上波放送／ケーブル放送／衛星放送選択、または環境設定（setting）を行うことができる。
また、制御装置１０１は、ポインティング装置でもある。例えば、制御装置１０１は、特定キー入力を受信する場合、ポインティング装置で動作することができる。
本明細書の実施形態において、「ユーザ」という用語は、制御装置１０１を利用し、映像表示装置１００の機能または動作を制御する者を意味し、視聴者、管理者または設置技士を含んでもよい。
図２は、一実施形態による映像表示装置の構成を示すブロック図である。
図２に図示された映像表示装置１００ａは、図１に図示された映像表示装置１００の一実施形態でもある。図２を参照すれば、開示された一実施形態による映像表示装置１００ａは、プロセッサ２１０及びディスプレイ２２０を含んでもよい。しかし、映像表示装置１００ａは、図示された構成要素より多くの構成要素によっても具現されるものであり、前述の例に限定されるものではない。
以下、前記構成要素について、順に説明する。
プロセッサ２１０は、１以上のメモリ、及び１以上のプロセッサの多様な組み合わせによっても具現される。例えば、メモリは、プロセッサ２１０の動作により、プログラムモジュールを生成して削除することができ、プロセッサ２１０は、プログラムモジュールの動作を処理することができる。
一実施形態によるプロセッサ２１０は、３６０°映像の視点を移動させるユーザ入力を受信する。
３６０°映像の視点を移動させるユーザ入力は、制御装置１０１において、所定の方向キーを選択する入力でもあるが、それに限定されるものではない。例えば、制御装置１０１がタッチスクリーンを利用して具現された場合、３６０°映像の視点を移動させるユーザ入力は、特定方向に対応するキーを示すアイコンをタッチする入力を意味するが、それに限定されるものではない。また、視点の移動は、３６０°映像の視点を移動させるユーザ入力の種類（例えば、短くタッチする入力、長くタッチする入力、シングルタップ、及びダブルタップなど）により、既設定単位（例えば、３０°単位）で不連続に移動してもよく、連続して移動してもよい。
一実施形態によるプロセッサ２１０は、３６０°映像のカテゴリーのための構図検出パラメータセット、及びユーザの好み構図のうち少なくとも一つに基づいて、ユーザ入力に応答して設定された探索領域からおすすめ視点を示す情報を獲得する。
カテゴリーは、３６０°映像の少なくとも一つの属性に基づいても分類される。カテゴリーは、３６０°映像のジャンル、３６０°映像が撮影された場所、及び３６０°映像の内容のうち少なくとも一つに基づいても決定されるが、それらに限定されるものではない。例えば、該カテゴリーは、映画、ミュージックビデオ、ドキュメンタリー、スポーツ映像、ニュース、教育映像などを含む３６０°映像のジャンルによっても異なる。また、該カテゴリーは、３６０°映像が、室内で撮影された映像であるか、野外で撮影された映像であるか、海で撮影された映像であるかということによっても異なる。また、該カテゴリーは、映像に撮影された内容が結婚式であるか、動物であるか、公演であるか、スポーツであるかということによっても異なるが、それらに限定されるものではない。
該カテゴリー情報は、３６０°映像のカテゴリーを示す情報であり、３６０°映像のメタデータ（metadata）、３６０°映像の題目、３６０°映像のタグのような形態で示すことができるが、それに限定されるものではない。例えば、カテゴリー情報は、３６０°映像に係わる付加情報を表現するためのメタデータの一部として示すことができる。また、該カテゴリー情報は、例えば、「結婚式」、「全国バスケットボール大会決勝」、「ＡＢＣオーケストラ定期公演」のような３６０°映像の題目として示すことができる。「結婚式」、「全国バスケットボール大会決勝」、「ＡＢＣオーケストラ定期公演」のような題目は、３６０°映像のカテゴリーが、それぞれ結婚式映像、スポーツ映像、公演映像であるということを示すことができる。また、ストリーミングサービスを提供するウェブサイトは、ウェブサイトによって提供される３６０°映像について説明するための１以上のタグを、３６０°映像と共に表示することができる。例えば、ＡＢＣサッカー大会決勝競技映像がウェブサイトにアップロードされるとき、「ＡＢＣサッカー大会」、「サッカー」、「スポーツ」のように、ＡＢＣサッカー大会決勝競技について説明するためのタグが共にアップロードされる。このとき、「ＡＢＣサッカー大会」、「サッカー」、「スポーツ」などのタグは、当該映像のカテゴリーが、例えば「スポーツ映像」であることを示すことができる。
該探索領域は、おすすめ視点を決定するために分析される３６０°映像の一部領域であり、ユーザ入力に応答し、３６０°映像の視点が移動する方向に基づいても設定される。例えば、映像表示装置１００は、３６０°映像の視点を特定方向に移動させるユーザ入力が受信され始めれば、映像表示装置１００は、３６０°映像において、現在ディスプレイされる領域を含む所定の領域を、初期探索領域として設定することができる。このとき、探索領域の大きさは、３６０°映像が１つの画面にディスプレイされる画角、及び３６０°映像がディスプレイされる画面の縦横比のうち少なくとも一つに基づいても決定される。探索領域の大きさは、３６０°映像がディスプレイされる画面の大きさよりも大きくなり、３６０°映像が１つの画面にディスプレイされる画角が大きいほど、探索領域の大きさも大きくなる。また、該探索領域が広いいほど、おすすめ視点を決定するために分析しなければならない領域が広くなるので、おすすめ視点を決定するのに必要な演算量が増加してしまう。該探索領域の大きさは、事前に決定され、映像表示装置１００にも保存され、該探索領域は、既保存の探索領域サイズに対応するようにも設定される。
映像表示装置１００は、３６０°映像の視点を移動させるユーザ入力が止まるまで、探索領域をアップデートすることができる。例えば、３６０°映像の視点を右側に移動させるユーザ入力が継続して受信されれば、映像表示装置１００は、探索領域を右側に継続的に移動させながら、該探索領域をアップデートすることができる。そして、３６０°映像の視点を移動させるユーザ入力が終われば、映像表示装置１００は、最終的にアップデートされた探索領域を分析した結果に基づいて、おすすめ視点を示す情報を獲得することができる。
構図検出パラメータセットは、１以上のニューラルネットワークに、３６０°映像のカテゴリー情報、及び当該カテゴリーに属する複数の映像が入力されたことに応答し、当該カテゴリーのためのおすすめ構図を学習することによっても決定される。ニューラルネットワークは、人工知能（artificial intelligence）に基づいて、ニューラルネットワークに入力された３６０°映像のカテゴリーを示すカテゴリー情報、及び当該カテゴリーに属する複数の学習映像から、当該カテゴリーのためのおすすめ構図を学習するアルゴリズムの集合でもある。
例えば、３６０°映像が結婚映像であるとき、３６０°映像のカテゴリーが「結婚映像」であることを示すカテゴリー情報、及び「結婚映像」のカテゴリーに属する複数の学習映像が１以上のニューラルネットワークにも入力される。複数の学習映像は、互いに異なる構図に撮影された複数の結婚映像を含んでもよい。このとき、複数の学習映像は、結婚映像に適切なおすすめ構図に撮影された複数の映像を含んでもよい。例えば、該おすすめ構図に撮影された複数の映像は、専門家が撮影した映像、ヒット数が多い映像、有料に撮影された映像などを含んでもよいが、それに限定されるものではない。
例えば、該ニューラルネットワークは、入力された学習映像が、当該カテゴリーに適切な構図を有する映像であるか、あるいは当該カテゴリーに適切ではない構図を有する映像であるかということを指導することにより、当該カテゴリーのためのおすすめ構図を学習する指導学習（supervised learning）、入力された複数の映像を、何の指導もなしに自ら学習することにより、当該カテゴリーに適切な構図と、適切ではない構図とを判断するためのパターンを見つける非指導学習（unsupervised learning）に基づいて、３６０°映像のカテゴリーと、おすすめ構図との関係を学習することができる。また、例えば、該ニューラルネットワークは、学習によるユーザの状態を判断した結果が正しいものであるか否かということに係わるフィードバックを利用する強化学習（reinforcement learning）を利用し、３６０°映像のカテゴリーと、おすすめ構図との関係を学習することができる。カテゴリーとおすすめ構図との関係を学習する過程に係わる説明は、図４を参照して後述する。
一実施形態により、プロセッサ２１０は、ユーザが視聴している３６０°映像のカテゴリーを示すカテゴリー情報と、視点を移動させるユーザ入力に係わる情報とを外部サーバに伝送し、外部サーバから、当該カテゴリーのための構図検出パラメータセットを受信することができる。このとき、該構図検出パラメータセット、またはユーザの好み構図に基づいて、おすすめ視点を決定する動作は、プロセッサ２１０によっても遂行される。プロセッサ２１０は、ユーザが現在視聴している３６０°映像の視点、及び３６０°映像の視点を移動させるユーザ入力に基づいて、探索領域を設定することができる。プロセッサ２１０は、外部サーバから受信された構図検出パラメータセット、またはユーザの好み構図に基づいて、探索領域を分析することにより、該探索領域内において、適切な構図を有する領域に対応する視点をおすすめ視点として決定することができる。
一実施形態により、おすすめ視点を決定する動作は、外部サーバによっても遂行される。例えば、該外部サーバは、ユーザが、映像表示装置１００を介して視聴する３６０°映像、及び３６０°映像のカテゴリーによる構図検出パラメータセットを保存してもいる。プロセッサ２１０は、３６０°映像の現在再生位置を示す情報、及び３６０°映像の視点を移動させるユーザ入力に係わる情報を外部サーバに伝送することができる。そして、プロセッサ２１０は、外部サーバから、３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図に基づいて決定されたおすすめ視点に係わる情報を受信することができる。
おすすめ視点に係わる情報は、おすすめ視点を示す座標の形態でもあり、探索領域において、おすすめ視点に対応する領域を区別されるように表示した形態でもあるが、それらに限定されるものではない。
一実施形態による映像表示装置１００は、獲得したおすすめ視点に係わる情報に基づいて、３６０°映像の視点を、おすすめ視点に移動させることができる。
前述のように、映像表示装置１００は、３６０°映像の視点を移動させるユーザ入力に応答し、３６０°映像の視点を移動させるとき、ユーザが視聴に適する構図に対応する視点に、３６０°映像の視点を移動させることにより、ユーザが視聴に適する構図を探し出すために視点を手動で調整する必要がない。
図３は、他の実施形態による映像表示装置の構成を示すブロック図である。
図３に図示されているように、映像表示装置１００ｂは、プロセッサ２１０及びディスプレイ２２０以外に、メモリ１２０、チューナ部１４０、通信部１５０、感知部１６０、入出力部１７０、ビデオ処理部１８０、オーディオ処理部１１５、オーディオ出力部１２５及びユーザ入力部１９０をさらに含んでもよい。
プロセッサ２１０及びディスプレイ２２０について、図２で説明した内容と同一内容は、図３において省略する。
メモリ１２０は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ（例えば、ＳＤメモリまたはＸＤメモリなど）、ＲＡＭ（random access memory）、ＳＲＡＭ（static random access memory）、ＲＯＭ（read-only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、ＰＲＯＭ（programmable read-only memory）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも１つのタイプの記録媒体を含んでもよい。
一実施形態によるメモリ１２０は、３６０°映像の視点を移動させるユーザ入力を受信し、３６０°映像のカテゴリーのための構図検出パラメータ、またはユーザの好み構図に基づいて、ユーザ入力に対応する探索領域から、おすすめ視点を示す情報を獲得し、３６０°映像において、おすすめ視点に対応する領域をディスプレイするように、ディスプレイを制御するインストラクション（instruction）を含むモジュールを含んでもよい。
一実施形態によるメモリ１２０は、外部サーバから受信された構図検出パラメータセットを保存することができる。
チューナ部１４０は、有線または無線で受信される放送信号に対し、増幅（amplification）、混合（mixing）、共振（resonance）などを介して、多くの電波成分のうち、映像表示装置１００ｂで受信しようとするチャンネルの周波数のみをチューニング（tuning）させて選択することができる。該放送信号は、オーディオ（audio）、ビデオ（video）及び付加情報（例えば、ＥＰＧ（electronic program guide））を含む。
チューナ部１４０を介して受信された放送信号は、デコーディング（例えば、オーディオデコーディング、ビデオデコーディングまたは付加情報デコーディング）され、オーディオ、ビデオ及び／または付加情報に分離する。分離されたオーディオ、ビデオ及び／または付加情報は、プロセッサ２１０の制御により、メモリ１２０にも保存される。
映像表示装置１００ｂのチューナ部１４０は、一つでもあり、複数でもある。
チューナ部１４０は、映像表示装置１００ｂと一体型（all-in-one）に具現されるか、あるいは映像表示装置１００ｂと電気的に連結されるチューナ部を有する別個の装置（例えば、セットトップボックス（図示せず）、入出力部１７０に連結されるチューナ部（図示せず））によっても具現される。
通信部１５０は、プロセッサ２１０の制御により、映像表示装置１００ｂを外部装置（例えば、オーディオ装置など）と連結することができる。プロセッサ２１０は、通信部１５０を介して連結された外部装置に／からコンテンツを送／受信したり、外部装置からアプリケーション（application）をダウンロードしたり、ウェブブラウジングしたりすることができる。
通信部１５０は、映像表示装置１００ｂの性能及び構造に対応し、無線ＬＡＮ（local area network）１５１、ブルートゥース（登録商標）（Bluetooth（登録商標））１５２及び有線イーサネット（登録商標）１５３のうち一つを含んでもよい。また、通信部１５０は、無線ＬＡＮ１５１、ブルートゥース（登録商標）１５２及び有線イーサネット（登録商標）１５３の組み合わせを含んでもよい。通信部１５０は、プロセッサ２１０の制御により、制御装置１０１の制御信号を受信することができる。該制御信号は、ブルートゥース（登録商標）タイプ、ＲＦ（radio frequency）信号タイプまたはＷｉ−Ｆｉ（wireless fidelity）タイプによっても具現される。
通信部１５０は、ブルートゥース（登録商標）以外に、他の近距離通信（例えば、ＮＦＣ（near field communication）（図示せず）、ＢＬＥ（Bluetooth（登録商標） low energy）（図示せず）をさらに含んでもよい。
一実施形態による通信部１５０は、外部サーバからおすすめ視点を示す情報を受信することができ、一実施形態により、外部サーバから、３６０°映像カテゴリーのための構図検出パラメータセットを受信することができる。
感知部１６０は、ユーザの音声、ユーザの映像、またはユーザのインタラクションを感知し、マイク１６１、カメラ部１６２及び光受信部１６３を含んでもよい。
マイク１６１は、ユーザの発話（utterance）された音声を受信する。マイク１６１は、受信された音声を電気信号に変換し、プロセッサ２１０に出力することができる。
カメラ部１６２は、カメラ認識範囲において、ジェスチャを含むユーザのモーションに対応する映像（例えば、連続フレーム）を受信することができる。
光受信部１６３は、制御装置１０１から受信される光信号（制御信号を含む）を受信する。光受信部１６３は、制御装置１０１から、ユーザ入力（例えば、タッチ、押し、タッチジェスチャ、音声またはモーション）に対応する光信号を受信することができる。受信された光信号から、プロセッサ２１０の制御により、制御信号が抽出される。
一実施形態による光受信部１６３は、制御装置１０１から視点を変更するユーザ入力に対応する光信号を受信することができる。
入出力部１７０は、プロセッサ２１０の制御により、映像表示装置１００ｂの外部から、ビデオ（例えば、動画など）、オーディオ（例えば、音声、音楽など）及び付加情報（例えば、ＥＰＧなど）などを受信する。入出力部１７０は、ＨＤＭＩ（登録商標）ポート（high-definition multimedia interface port）１７１、コンポーネントジャック（component jack）１７２、ＰＣ（personal computer）ポート１７３及びＵＳＢ（universal serial bus）ポート１７４のうち一つを含んでもよい。入出力部１７０は、ＨＤＭＩ（登録商標）ポート１７１、コンポーネントジャック１７２、ＰＣポート１７３及びＵＳＢポート１７４の組み合わせを含んでもよい。
一実施形態によるメモリ１２０は、プロセッサ２１０の処理及び制御のためのプログラムを保存することができ、映像表示装置１００ｂに入力されたり、映像表示装置１００ｂから出力されたりするデータを保存することができる。
プロセッサ２１０は、映像表示装置１００ｂの全般的な動作、及び映像表示装置１００ｂの内部構成要素間の信号フローを制御し、データを処理する機能を遂行する。プロセッサ２１０は、ユーザの入力があるか、あるいは既設定であって保存された条件を満足する場合、メモリ１２０に保存されたＯＳ（operating system）、及び多様なアプリケーションを実行することができる。
一実施形態によるプロセッサ２１０は、メモリ１２０に保存された１以上のインストラクションを遂行することにより、３６０°映像の視点を移動させるユーザ入力を受信し、３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図に基づいて、ユーザ入力に対応する探索領域から、おすすめ視点を示す情報を獲得し、３６０°映像において、おすすめ視点に対応する領域をディスプレイするようにディスプレイを制御することができる。
ビデオ処理部１８０は、ディスプレイ２２０によって表示される映像データを処理し、映像データに対するデコーディング、レンダリング、スケーリング、ノイズフィルタリング、フレームレート変換及び解像度変換のような多様な映像処理動作を遂行することができる。
ディスプレイ２２０は、プロセッサ２１０の制御により、チューナ部１４０を介して受信された放送信号に含まれたビデオを画面に表示することができる。また、ディスプレイ２２０は、通信部１５０または入出力部１７０を介して入力されるコンテンツ（例えば、動画）を表示することができる。ディスプレイ２２０は、プロセッサ２１０の制御により、メモリ１２０に保存された映像を出力することができる。
オーディオ処理部１１５は、オーディオデータに対する処理を行う。オーディオ処理部１１５においては、オーディオデータに対するデコーディングや増幅、ノイズフィルタリングのような多様な処理が行われる。オーディオ出力部１２５は、プロセッサ２１０の制御により、チューナ部１４０を介して受信された放送信号に含まれたオーディオ、通信部１５０または入出力部１７０を介して入力されるオーディオ、メモリ１２０に保存されたオーディオを出力することができる。オーディオ出力部１２５は、スピーカ１２６、ヘッドフォン出力端子１２７またはＳ／ＰＤＩＦ（Sony／Philips digital interface）出力端子１２８のうち少なくとも一つを含んでもよい。
ユーザ入力部１９０は、ユーザが、映像表示装置１００ｂを制御するためのデータを入力する手段を意味する。例えば、ユーザ入力部１９０は、キーパッド（key pad）、ドームスイッチ（dome switch）、タッチパッド、ジョグホイール、ジョグスイッチなどを含んでもよいが、それらに限定されるものではない。
また、ユーザ入力部１９０は、前述の制御装置１０１の構成要素でもあり、映像表示装置１００ｂの構成要素でもある。
一実施形態によるユーザ入力部１９０は、３６０°映像の視点を移動させる入力を受信することができる。例えば、ユーザ入力部１９０がキーパッドまたはドームスイッチによって構成される場合、視点を移動させる入力は、特定方向に対応するキーをクリック（click）したり押したりする入力でもある。または、ユーザ入力部１９０がタッチパッドによって構成される場合、特定方向に対応するキーをタッチする入力でもあるが、前述の例に限定されるものではない。
視点を移動させるユーザ入力は、キーをクリックしたりタッチしたりする方法により、視点の変化量が異なりもする。例えば、キーを所定時間以上長く押したりタッチしたりする場合、視点が連続して移動する。キーを短くクリックしたり短くタッチしたりする場合、視点が所定の角度単位に移動することができる。例えば、ユーザが、右側方向に対応するキーを１回ずつクリックしたりタッチしたりするたびに、視点が右側に３０°ずつ移動するが、それに限定されるものではない。
一方、図２及び図３に図示された映像表示装置１００ａ及び１００ｂのブロック図は、一実施形態のためのブロック図である。ブロック図の各構成要素は、実際に具現される映像表示装置１００ａ及び１００ｂの仕様により、統合、追加または省略されもする。例えば、必要により、２以上の構成要素が１つの構成要素に合わされたり、１つの構成要素が２以上の構成要素に細分化されたりして構成される。また、各ブロックで遂行する機能は実施形態について説明するためのものであり、その具体的な動作や装置は、本発明の権利範囲を制限するものではない。
図４Ａ及び図４Ｂは、一実施形態による、構図検出パラメータセットを学習する過程について説明するための図面である。
一実施形態による映像表示装置１００は、１以上のニューラルネットワークを利用し、３６０°映像のカテゴリーと、当該カテゴリーのためのおすすめ構図との関係を学習することにより、構図検出パラメータセットを設定することができる。
ユーザが３６０°映像を視聴するとき、３６０°映像において、現在ディスプレイされる視点に対応する領域が適切な構図を有する領域であるか否かということは、３６０°映像のカテゴリーによっても異なる。例えば、３６０°映像において、客体の動きが相対的に多いスポーツ映像、新郎と新婦とが主要客体である結婚映像、自然景観を撮影した旅行プログラムの映像など、３６０°映像が属するカテゴリーにより、おすすめ構図が異なりもする。従って、映像表示装置１００は、３６０°映像のカテゴリーと、おすすめ構図との関係を学習し、構図検出パラメータセットを設定し、設定された構図検出パラメータセットに基づいて、おすすめ視点を決定することができる。
例えば、１以上のニューラルネットワークは、３６０°映像のカテゴリーを示すカテゴリー情報、及び当該カテゴリーに属する複数の学習映像を利用し、当該カテゴリーのためのおすすめ構図を学習することができる。このとき、複数の学習映像は、同一カテゴリーに属する映像として、互いに異なる構図を有する映像を含んでもよく、３６０°映像ではない映像であり、制限的な画角を有する映像を意味する。例えば、図４Ａを参照すれば、３６０°映像のカテゴリーが、結婚映像４１０であるとき、複数の学習映像は、互いに異なる構図に撮影された複数の結婚映像４１１，４１２，４１３，４１４，４１５を含んでもよい。例えば、結婚映像において、新郎及び新婦を正面で撮影した場面、新郎及び新婦を側面で撮影した場面、賀客を撮影した場面、結婚式場の周辺を撮影した場面などにより、おすすめ構図が異なるために、結婚映像という１つのカテゴリー内においても、おすすめ構図が複数個でもある。従って、３６０°映像のカテゴリーが結婚映像であるということを示すカテゴリー情報と、多様な構図に撮影された結婚映像４１１，４１２，４１３，４１４，４１５とが１以上のニューラルネットワーク４００に入力されれば、１以上のニューラルネットワーク４００は、結婚映像に係わるおすすめ構図を学習することができる。そして、１以上のニューラルネットワーク４００は、おすすめ構図を学習した結果を、構図検出パラメータセットとして示すことができる。
該構図検出パラメータセットは、１つのカテゴリーのための複数のおすすめ構図をそれぞれ示す複数のレイヤと、該複数のレイヤに適用される加重値とが線形結合された形態でもある。映像表示装置１００は、探索領域に対して各レイヤをマッチングさせ、マッチング結果に基づいて、複数のおすすめ構図と類似度が最も高い領域に対応する視点を、おすすめ視点として決定することができる。
一実施形態により、一実施形態による映像表示装置１００は、１以上のニューラルネットワークを利用し、ユーザが好む構図を学習することができる。例えば、ユーザは、映像のカテゴリーと関係なく、ユーザが好む特定構図で３６０°映像を視聴しようとする。このとき、１以上のニューラルネットワークは、ユーザが好む構図に撮影された複数の学習映像を利用し、ユーザが好む構図を学習することができる。
例えば、図４Ｂを参照すれば、ユーザは、３６０°映像のカテゴリーに係わりなく、３分割構図４３０で３６０°映像を視聴しようとする。１以上のニューラルネットワーク４２０は、３分割構図４３０で撮影された複数の学習映像４３１，４３２，４３３が入力されたことに応答し、ユーザが好む構図を学習し、ユーザが好む構図を学習した結果を、構図検出パラメータセットで示すことができる。例えば、３分割構図であるとしても、客体が位置する地点により、多様な形態が存在することができる。従って、３分割構図を学習した構図検出パラメータセットは、３分割構図に含まれる１以上の構図を示す１以上のレイヤと、１以上のレイヤに適用される加重値との線形結合形態でもあるが、それに限定されるものではない。
一実施形態により、３６０°映像のカテゴリーによるおすすめ構図を学習する動作、及びユーザが好む構図を学習する動作は、映像表示装置１００または外部サーバでも遂行され、該外部サーバは、学習した結果を構図検出パラメータ形態で保存することができる。
図５Ａ及び図５Ｂは、一実施形態による、おすすめ視点が決定される過程について説明するための図面である。
一実施形態による映像表示装置１００は、３６０°映像の視点を移動させるユーザ入力が受信されることにより、ユーザ入力に対応する探索領域を設定することができる。図５Ａを参照すれば、映像表示装置１００は、３６０°映像５００において、所定の視点に対応する領域５０１をディスプレイすることができる。ユーザは、所定の視点に対応する領域５０１を視聴していて、３６０°映像の視点を移動させようとする。映像表示装置１００は、３６０°映像の視点を移動させるユーザ入力が受信されることにより、おすすめ視点を決定するために分析する探索領域５０２を設定することができる。前述のように、探索領域５０２は、３６０°映像５００の一部領域として、現在ディスプレイされる領域５０１を基準にも設定され、現在ディスプレイされる領域５０１より大きい領域でもある。探索領域５０２の大きさが大きいほど、おすすめ視点を決定するために分析される領域が広くなるので、おすすめ視点を決定するのに必要となる時間が長くなる。例えば、図５Ａに図示されているように、３６０°映像の視点を右側に移動させるユーザ入力に応答し、映像表示装置１００は、現在ディスプレイされる領域５０１を含み、現在ディスプレイされる領域５０１の右側に位置する領域をさらに含む探索領域５０２を設定することができるが、それに限定されるものではない。
一実施形態による映像表示装置１００は、３６０°映像５００の視点を移動させるユーザ入力が止まるまで、探索領域５０２をアップデートすることができる。例えば、映像表示装置１００は、３６０°映像５００の視点を右側に移動させるユーザ入力が、継続して受信されることにより、設定された探索領域５０２を右側に移動させることにより、探索領域５０２をアップデートすることができる。３６０°映像５００の視点を右側に移動させるユーザ入力が中断されることにより、最終探索領域が設定されれば、映像表示装置１００は、最終探索領域を分析し、おすすめ視点を決定することができる。
一実施形態による映像表示装置１００は、探索領域５０２を、３６０°映像がディスプレイされる画面の大きさ単位に分割し、分割された各領域に、構図検出パラメータ、またはユーザの好み構図を適用して分析することができる。例えば、探索領域５０２は、３６０°映像がディスプレイされる画面５１０の大きさより大きくもなる。映像表示装置１００は、探索領域５０２を、３６０°映像がディスプレイされる画面の大きさ５１０を有する複数の領域に分割することができ、複数の領域は、互いに重畳されもする。映像表示装置１００は、３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図に基づいて、複数の領域のうち最も良好な構図を有する領域を決定し、当該領域に対応する視点を、おすすめ視点として決定することができる。
例えば、図５Ｂを参照すれば、映像表示装置１００は、３６０°映像がディスプレイされる画面と同一サイズを有するウィンドウ５１０を設定することができ、探索領域５０２内において、ウィンドウ５１０の位置を移動させることができる。映像表示装置１００は、ウィンドウ５１０の位置が変更されるたびに、変更された位置に存在するウィンドウに対応する領域５２１，５２２，５２３，５２４を分析することができる。
映像表示装置１００は、構図検出パラメータ、またはユーザの好み構図に基づいて、探索領域５０２内で分割された複数の領域５２１，５２２，５２３，５２４をそれぞれ分析することにより、複数の領域５２１，５２２，５２３，５２４のうち、３６０°映像のカテゴリーに最も適切な構図、またはユーザの好み構図と最も類似した構図を有する領域５３０を決定することができる。そして、映像表示装置１００は、決定された領域５３０に対応する視点をおすすめ視点として決定することができる。
図６Ａ及び図６Ｂは、一実施形態による、構図検出パラメータセット、またはユーザの好み構図に基づいて、おすすめ視点を決定する方法について説明するための図面である。
３６０°映像が、カテゴリーのための構図検出パラメータに基づいて、おすすめ視点を決定する場合、映像表示装置１００は、探索領域６００を、３６０°映像がディスプレイされる画面の大きさを有する複数の領域に分割することができ、構図検出パラメータセットを適用し、各領域を分析することができる。
図６Ａを参照すれば、映像表示装置１００は、構図検出パラメータセット６２０を適用し、探索領域６００から分割された領域６１０を分析することができる。
構図検出パラメータセット６２０は、現在再生中の３６０°映像のカテゴリーのための構図検出パラメータであり、構図検出パラメータセット６２０は、３６０°映像のカテゴリーによっても異なる。構図検出パラメータセット６２０は、３６０°映像のカテゴリーに適する１以上のおすすめ構図を示すレイヤ６２１，６２２，６２３，６２４，６２５と、各レイヤに適用される加重値とによっても表現される。
一実施形態による映像表示装置１００は、探索領域６００内部の各領域６１０，６１１，６１２に対し、構図検出パラメータセット６２０の各レイヤ６２１，６２２，６２３，６２４，６２５とマッチングさせることができる。そして、各レイヤ６２１，６２２，６２３，６２４，６２５とマッチングさせた結果に基づいて、探索領域６００内において、最も適切な構図を有する領域６３０を決定することができる。例えば、映像表示装置１００は、探索領域６００から分割された領域６１０を、構図検出パラメータセット６２０の各レイヤ６２１，６２２，６２３，６２４，６２５とマッチングさせ、分割された領域６１０と、各レイヤ６２１，６２２，６２３，６２４，６２５との類似度により、点数を計算することができる。そして、映像表示装置１００は、各レイヤ６２１，６２２，６２３，６２４，６２５に適用される加重値を考慮して合算することにより、分割された領域６１０が、適切な構図を有する映像であるか否かということに係わる総合点数を計算することができる。映像表示装置１００は、探索領域に分割された複数の領域６１０，６１１，６１２に対して、分割された領域６１０が適切な構図を有する映像であるか否かということに係わる総合点数を計算することができ、該総合点数が最も高い領域６３０に対応する視点を、おすすめ視点として決定することができる。
おすすめ視点を示す情報は、図６Ａに図示されているように、探索領域６００において、総合点数が最も高い領域６３０に対応する視点が区別されるように表示する（６３１）形態でもあり、一実施形態により、総合点数が最も高い領域６３０に対応する視点を示す座標形態でもあるが、それに限定されるものではない。
ユーザの選択により、一実施形態による映像表示装置１００は、ユーザの好み構図に基づいて、おすすめ視点を決定することができる。例えば、ユーザは、３６０°映像のカテゴリーと係わりなく、ユーザが好む構図で３６０°映像を視聴しようとする。このとき、ユーザが好む構図は、映像表示装置１００によって提供される複数の構図のうち選択された１つの構図でもあるが、それに限定されるものではない。例えば、映像表示装置１００は、ユーザが３６０°映像を視聴することができる構図であり、３分割構図、垂直線構図、円構図、斜線構図など複数の構図を提供することができる。ユーザが、映像表示装置１００によって提供される複数の構図のうち１つの構図を選択すれば、映像表示装置１００は、ユーザによって選択された構図を、ユーザの好み構図と認識することができる。そして、ユーザが３６０°映像を視聴するとき、ユーザの好み構図により、おすすめ視点を提供されようとする場合、映像表示装置１００は、ユーザの好み構図に基づいて、おすすめ視点を決定することができる。
図６Ｂを参照すれば、映像表示装置１００は、探索領域６４０で検出された１以上の客体のアウトライン情報に基づいて、重要度マップ（saliency map）６４１を生成することができる。重要度マップ６４１は、探索領域６４０において、他の領域に比べ、相対的に明るさ及び／または色相の差が大きい領域、アウトラインの特徴が相対的に強い領域を、区別されるように表示したマップを意味する。例えば、図６Ｂに図示されているように、映像表示装置１００は、探索領域６４０で縄跳びをする人を検出し、検出された人のアウトライン情報に基づいて、検出された人に対応する領域を、重要度マップ６４１に明るく表示することができる。
制御装置１０１から、３６０°映像の視点を移動させるユーザ入力が受信されることにより、３６０°映像の視点を移動させるとき、映像表示装置１００は、３６０°映像の視点に対し、人に対応する領域が重要度マップ６４１上において、３分割地点に位置する視点をおすすめ視点として決定することができる。そして、映像表示装置１００は、３６０°映像において、おすすめ視点に対応する領域６５０をディスプレイすることができる。従って、映像表示装置１００は、ユーザの選択により、３６０°映像のカテゴリーのためのおすすめ構図、またはユーザの好み構図にマッチングされるおすすめ視点を自動的に決定し、３６０°映像の視点を、おすすめ視点に移動させることができる。
図７Ａ及び図７Ｂは、一実施形態による、おすすめ視点を示す情報を、外部サーバから受信する過程について説明するための図面である。
一実施形態による映像表示装置１００は、３６０°映像の視点を移動させるためのユーザ入力、が制御装置１０１から受信されることにより、外部サーバからおすすめ視点を示す情報を受信することができる。
図７Ａを参照すれば、映像表示装置１００は、制御装置１０１を介して受信された３６０°映像の視点を移動させるユーザ入力に応答し、３６０°映像の現在再生位置を示す情報７１０、及び視点を移動させるユーザ入力に係わる情報７１１を外部サーバ７００に伝送することができる。
例えば、３６０°映像が、全体再生時間が１時間の動画であるとき、現在再生位置を示す情報７１０は、動画において、現在３１分４０秒に対応する映像が再生中であるということを示す情報でもある。また、ユーザ入力に係わる情報７１１は、現在ディスプレイされる視点に係わる情報、ユーザが視点を移動させようとする方向（例：上下左右の方向）、ユーザ入力の種類（例えば、長くタッチする入力、短くタッチする入力、シングルタップ、またはダブルタップなど）などに係わる情報を含んでもよいが、それらに限定されるものではない。
外部サーバ７００は、現在再生位置を示す情報７１０と、ユーザ入力に係わる情報７１１とに基づいて、３６０°映像の一部を、探索領域と設定する（７２０）。このとき、現在映像表示装置１００において再生中である３６０°映像、及び３６０°映像のカテゴリー情報は、外部サーバ７００のデータベースに事前に保存された状態でもある。従って、外部サーバ７００は、映像表示装置１００から、３６０°映像の現在再生位置を示す情報７１０と、視点を移動させるユーザ入力に係わる情報７１１とが受信されれば、３６０°映像において、おすすめ視点を決定するための探索領域を設定することができる。
該探索領域は、おすすめ視点を決定するために分析される３６０°映像の一部領域であり、ユーザ入力に応答し、３６０°映像の視点が移動する方向に基づいても設定される。外部サーバ７００は、現在再生位置を示す情報７１０に基づいて、全体３６０°映像において、何番目フレームが再生中であるかということを知り、視点を移動させるユーザ入力に係わる情報７１１から、視点が移動する方向を確認することができる。外部サーバ７００は、現在再生中のフレームにおいて、現在ディスプレイされる視点、及びユーザ入力に応答し、３６０°映像の視点が移動する方向に基づいて、探索領域を設定することができる。
外部サーバ７００は、３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図を適用し、探索領域を分析することができ、該探索領域を分析した結果に基づいて、おすすめ視点を決定する（７２１）。外部サーバ７００は、決定されたおすすめ視点を示す情報７３０を映像表示装置１００に伝送することができる。おすすめ視点を示す情報７３０は、おすすめ視点を示す座標形態でもあり、あるいは該探索領域において、おすすめ視点に対応する領域を、区別されるように表示した形態でもあるが、それらに限定されるものではない。
映像表示装置１００は、外部サーバ７００から受信されたおすすめ視点を示す情報７３０に基づいて、３６０°映像の視点を、おすすめ視点に移動させることができる。
一実施形態により、映像表示装置１００がおすすめ視点を決定する動作を遂行することができる。例えば、３６０°映像のカテゴリーのための構図検出パラメータセットに基づいて、おすすめ視点が決定されるとき、映像表示装置１００は、外部サーバ７００のデータベースに保存された構図検出パラメータを、外部サーバ７００から受信し、受信された構図検出パラメータに基づいて、おすすめ視点を決定することができる。
図７Ｂを参照すれば、映像表示装置１００は、制御装置１０１から、３６０°映像の視点を移動させるユーザ入力が受信されることにより、３６０°映像のカテゴリー情報７４０、及び視点を移動させるユーザ入力に係わる情報７４１を外部サーバ７００に伝送することができる。また、映像表示装置１００は、外部サーバ７００から、３６０°映像のカテゴリーのための構図検出パラメータセット７５０を受信することができる。
映像表示装置１００は、３６０°映像の視点を移動させるユーザ入力に応答し、探索領域を設定し（７６０）、受信された構図検出パラメータセットに基づいて設定された探索領域を分析し、おすすめ視点を決定する（７６１）。そして、映像表示装置１００は、３６０°映像の視点を、決定されたおすすめ視点に移動させることができる。それにより、ユーザが視聴するのに良好な構図を探し出すために、３６０°映像の視点を手動で調整しないとしても、映像表示装置１００は、該探索領域内において、良好な構図を自動的に検出し、検出された構図に対応する視点に、３６０°映像の視点を移動させることができる。
おすすめ視点を決定する動作が、外部サーバ７００で遂行される場合、おすすめ視点を決定するのに必要となる時間が短縮され、映像表示装置１００は、３６０°映像の視点を移動させるユーザ入力に応答し、３６０°映像の視点を、おすすめ視点にさらに迅速に移動させることができる。
図８Ａ及び図８Ｂは、一実施形態による映像表示装置が、現在ディスプレイされる視点と、おすすめ視点との距離差により、３６０°映像の視点を、異なる速度で移動させる例を示す図面である。
一実施形態による映像表示装置１００は、現在ディスプレイされる視点と、構図検出パラメータに基づいて決定されたおすすめ視点との距離が遠いほど、３６０°映像の視点を迅速に移動させることができる。
図８Ａを参照すれば、映像表示装置１００は、制御装置１０１を介して、３６０°映像８００の視点を移動させる入力を受信することができる。例えば、３６０°映像８００の視点を右側に移動させるユーザ入力に応答し、映像表示装置１００は、３６０°映像８００の視点を右側に移動させることができる。このとき、３６０°映像８００の視点を右側に移動させるユーザ入力が続く間、映像表示装置１００は、３６０°映像８００の視点を右側に続けて移動させることができる。また、映像表示装置１００は、３６０°映像８００の視点を右側に移動させるユーザ入力が続く間、該探索領域を続けてアップデートすることができる。例えば、３６０°映像８００の視点が右側に移動することにより、該探索領域も、右側に移動する。３６０°映像８００の視点を右側に移動させるユーザ入力が終われば、映像表示装置１００は、最終アップデートされた探索領域を分析することにより、おすすめ視点８１１を決定することができる。３６０°映像の視点が、現在ディスプレイされた視点８１０から、おすすめ視点８１１に漸次移動するとき、２視点間の距離により、視点の移動速度が異なりもする。
例えば、図８Ａに図示された視点の移動は、現在ディスプレイされた視点８１０と、おすすめ視点８１１との距離が相対的に近い場合であり、図８Ｂに図示された視点の移動は、現在ディスプレイされた視点８１０と、おすすめ視点８２１との距離が相対的に遠い場合でもある。このとき、図８Ａに図示された場合より、図８Ｂに図示された場合の方が、３６０°映像８００の視点がさらに迅速に移動する。それにより、映像表示装置１００は、現在ディスプレイされた視点８１０と、おすすめ視点８２１との距離が相対的に遠い場合にも、ユーザが、おすすめ視点８２１に対応する映像をさらに迅速に視聴することができる。
図９は、一実施形態による映像表示装置が３６０°映像で検出された客体の動きにより、３６０°映像の視点を移動させる例を示す図面である。
一実施形態によれば、映像表示装置１００は、現在再生中の３６０°映像において、１以上の客体を検出し、検出された１以上の客体の動き情報をさらに考慮し、３６０°映像の視点を移動させることができる。３６０°映像で検出される客体は、３６０°映像で発生する主要イベントに係わる客体でもある。映像表示装置１００は、３６０°映像において、１以上の客体を検出し、検出された１以上の客体の動きにより、３６０°映像の視点を移動させることにより、視聴に適する構図の映像を提供しながら、ユーザが３６０°映像で発生する主要イベントを逃さないようにする。
例えば、視点を移動させるユーザ入力が受信されることにより、おすすめ視点が決定されれば、映像表示装置１００は、３６０°映像の視点を、おすすめ視点に移動させることができる。おすすめ視点に対応する領域がディスプレイ２２０上にディスプレイされれば、映像表示装置１００は、おすすめ視点に対応する領域から、１以上の客体を検出することができる。検出される１以上の客体は、３６０°映像に登場する人及び／または動物や、３６０°映像で発生する主要イベントと係わる事物でもあるが、それらに限定されるものではない。例えば、３６０°映像が、映画またはドラマであるとき、検出される１以上の客体は、映画に登場する主人公でもある。
例えば、図９を参照すれば、現在再生中の３６０°映像は、熱気球に乗って移動しながら撮影された映像でもある。３６０°映像の視点を移動させるユーザ入力が受信されることにより、視聴に適する構図を有するおすすめ視点が決定されれば、映像表示装置１００は、３６０°映像の視点を、おすすめ視点に移動させることができる。おすすめ視点に対応する領域９００がディスプレイ２２０上にディスプレイされ、おすすめ視点に対応する領域９００において、熱気球に乗った人９１０が登場するとき、映像表示装置１００は、熱気球に乗った人９１０を客体として検出することができる。そして、おすすめ視点に対応する領域９００において、熱気球に乗った人９１０が移動することにより、映像表示装置１００は、熱気球に乗った人９１０の動き情報に基づいて、３６０°映像の視点を移動させることができる。例えば、図９に図示されているように、熱気球に乗った人９１０が、ディスプレイ２２０上で右側に移動することにより、映像表示装置１００は、熱気球に乗った人９１０が、移動方向及び移動速度のうち少なくとも一つに基づいて、３６０°映像の視点を右側に移動させることができる。それにより、映像表示装置１００は、視聴に適する構図の映像を提供しながら、ユーザが３６０°映像で発生する主要イベントを逃さないようにする。
一実施形態により、検出された客体９１０の動きにより、３６０°映像の視点を移動させている最中、３６０°映像で話の流れが転換されるか、あるいは場面が変更されることにより、検出された客体９１０が、ディスプレイ２２０上にそれ以上示されない。そのとき、映像表示装置１００は、３６０°映像の視点を、既設定初期視点（例えば、０°）に移動させることができるが、それに限定されるものではない。
図１０は、一実施形態による映像表示方法を示すフローチャートである。
Ｓ１０００段階において、映像表示装置１００は、３６０°映像の視点を移動させるユーザ入力を受信する。
３６０°映像の視点を移動させるユーザ入力は、制御装置１０１において、所定の方向キーを選択する入力でもあるが、それに限定されるものではない。例えば、制御装置１０１がタッチスクリーンを利用して具現された場合、３６０°映像の視点を移動させるユーザ入力は、特定方向に対応するキーを示すアイコンをタッチする入力を意味するが、それに限定されるものではない。また、視点の移動は、３６０°映像の視点を移動させるユーザ入力の種類（例えば、短くタッチする入力、長くタッチする入力、シングルタップ、及びダブルタップなど）により、既設定単位（例えば、３０°単位）で不連続にも移動し、連続しても移動する。
Ｓ１０１０段階において、映像表示装置１００は、３６０°映像のカテゴリーのための構図検出パラメータセット、及びユーザの好み構図のうち少なくとも一つに基づいて、ユーザ入力に応答して設定された探索領域から、おすすめ視点を示す情報を獲得する。
該探索領域は、おすすめ視点を決定するために分析される３６０°映像の一部領域であり、ユーザ入力に応答し、３６０°映像の視点が移動する方向に基づいても設定される。例えば、映像表示装置１００は、３６０°映像の視点を特定方向に移動させるユーザ入力が受信され始めれば、映像表示装置１００は、３６０°映像において、現在ディスプレイされる領域を含む所定の領域を初期探索領域として設定することができる。このとき、探索領域の大きさは、３６０°映像がディスプレイされる画角、及び３６０°映像がディスプレイされる画面の縦横比のうち少なくとも一つに基づいても決定される。該探索領域の大きさは、３６０°映像がディスプレイされる画面の大きさよりも大きくなり、３６０°映像が１つの画面にディスプレイされる画角が大きいほど、該探索領域の大きさも大きくなる。また、該探索領域の大きさは、事前に設定され、映像表示装置１００に保存され、該探索領域は、既保存の探索領域の大きさに対応するようにも設定される。
映像表示装置１００は、３６０°映像の視点を移動させるユーザ入力が止まるまで、探索領域をアップデートすることができる。例えば、３６０°映像の視点を右側に移動させるユーザ入力が継続して受信されれば、映像表示装置１００は、探索領域を右側に継続して移動させながら、探索領域をアップデートすることができる。そして、３６０°映像の視点を移動させるユーザ入力が終われば、映像表示装置１００は、最終的にアップデートされた探索領域を分析した結果に基づいて、おすすめ視点を示す情報を獲得することができる。
構図検出パラメータセットは、１以上のニューラルネットワークに、３６０°映像のカテゴリー情報、及び当該カテゴリーに属する複数の映像が入力されたことに応答し、当該カテゴリーのためのおすすめ構図を学習することによっても決定される。
一実施形態により、映像表示装置１００は、ユーザが視聴している３６０°映像のカテゴリーを示すカテゴリー情報と、視点を移動させるユーザ入力に係わる情報とを外部サーバに伝送し、外部サーバから、当該カテゴリーのための構図検出パラメータセットを受信することができる。このとき、構図検出パラメータセット、またはユーザの好み構図に基づいて、おすすめ視点を決定する動作は、映像表示装置１００によっても遂行される。映像表示装置１００は、ユーザが現在視聴している３６０°映像の視点、及び３６０°映像の視点を移動させるユーザ入力に基づいて、該探索領域を設定することができる。映像表示装置１００は、外部サーバから受信された構図検出パラメータセット、またはユーザの好み構図に基づいて、探索領域を分析することにより、該探索領域内において、適切な構図を有する領域に対応する視点をおすすめ視点として決定することができる。
一実施形態により、おすすめ視点を決定する動作は、外部サーバによっても遂行される。例えば、該外部サーバは、ユーザが映像表示装置１００を介して視聴する３６０°映像、及び３６０°映像のカテゴリーによる構図検出パラメータセットを保存してもいる。映像表示装置１００は、３６０°映像の現在再生位置を示す情報、及び３６０°映像の視点を移動させるユーザ入力に係わる情報を、外部サーバに伝送することができる。そして、映像表示装置１００は、外部サーバから、３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図に基づいて決定されたおすすめ視点に係わる情報を受信することができる。
Ｓ１０２０段階において、映像表示装置１００は、獲得したおすすめ視点に係わる情報に基づいて、３６０°映像の視点を、おすすめ視点に移動させることができる。
開示された実施形態は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態によって具現され、コンピュータ可読媒体にも記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独または組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。該コンピュータ可読記録媒体の例には、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含む。
前述の本発明の説明は、例示のためのものであり、本発明が属する技術分野の当業者であるならば、本発明の技術的思想や、必須な特徴を変更せずとも、他の具体的な形態に容易に変形が可能であるということを理解することができるであろう。従って、以上で記述された実施形態は、全ての面で例示的なものであり、限定的ではないと理解されなければならない。例えば、単一型と説明されている各構成要素は、分散されても実施され、同様に、分散されていると説明されている構成要素も、結合された形態でも実施される。
本発明の範囲は、前述の説明よりは、特許請求の範囲によって示され、特許請求の範囲の意味、範囲及びその均等概念から導き出される全ての変更、または変形された形態は、本発明の範囲に含まれると解釈されなければならない。
115 オーディオ処理部
120 メモリ
125 オーディオ出力部
126 スピーカ
127 ヘッドフォン
140 チューナ部
150 通信部
151 無線ＬＡＮ
152 ブルートゥース（登録商標）
153 有線イーサネット（登録商標）
160 感知部
161 マイク
162 カメラ部
163 光受信部
170 入出力部
172 コンポーネントジャック
180 ビデオ処理部
181 グラフィック処理部
190 ユーザ入力部
210 プロセッサ
220 ディスプレイ
410 結婚映像
620 構図検出パラメータセット
710 現在再生位置を示す情報
711 視点を移動させるユーザ入力に係わる情報
720 探索領域を決定
721 探索領域を分析しおすすめ視点を決定
730 おすすめ視点に係わる情報
740 ３６０°映像のカテゴリー情報
741 視点を移動させるユーザ入力に係わる情報
750 構図検出パラメータセット
760 探索領域を決定
761 探索領域を分析しおすすめ視点を決定

Claims (15)

  1. ３６０°映像を表示する映像表示装置において、
    ディスプレイと、
    前記３６０°映像の視点を移動させるユーザ入力を受信し、前記３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図に基づいて、前記ユーザ入力に対応する探索領域から、おすすめ視点を示す情報を獲得し、前記ユーザ入力に対応し、前記３６０°映像を現在視点から前記おすすめ視点に移動させ、前記３６０°映像において、前記おすすめ視点に対応する領域をディスプレイするように、前記ディスプレイを制御する、プロセッサと、を含む映像表示装置。
  2. 前記構図検出パラメータセットは、
    １以上のニューラルネットワークに、前記３６０°映像のカテゴリーを示すカテゴリー情報、及び前記カテゴリーに属する複数の映像が入力されたことに応答し、前記３６０°映像のカテゴリーのためのおすすめ構図を学習することによって決定されることを特徴とする請求項１に記載の映像表示装置。
  3. 前記構図検出パラメータセットは、
    前記３６０°映像のカテゴリーのための１以上のおすすめ構図を示す１以上のレイヤ、及び前記１以上のレイヤに適用される加重値が線形結合された形態に決定されることを特徴とする請求項２に記載の映像表示装置。
  4. 前記プロセッサは、
    前記探索領域を、前記３６０°映像がディスプレイされる画面の大きさを有する複数の領域に分割し、
    前記複数の領域それぞれに、前記構図検出パラメータセット、または前記ユーザの好み構図を適用して分析し、
    前記分析結果に基づいて、前記おすすめ視点を決定することを特徴とする請求項１に記載の映像表示装置。
  5. 前記プロセッサは、
    前記３６０°映像の現在再生位置を示す情報、及び前記３６０°映像の視点を移動させるユーザ入力に係わる情報を外部サーバに伝送し、
    前記外部サーバによって決定された前記おすすめ視点に係わる情報を、前記外部サーバから受信することを特徴とする請求項１に記載の映像表示装置。
  6. 前記探索領域は、前記おすすめ視点を決定するために分析される前記３６０°映像の一部領域であり、前記ユーザ入力に応答し、前記３６０°映像の視点が移動する方向に基づいて決定され、
    前記探索領域の大きさは、前記３６０°映像がディスプレイされる画角、及び前記３６０°映像がディスプレイされる画面の縦横比のうち少なくとも一つに基づいて決定されることを特徴とする請求項１に記載の映像表示装置。
  7. 前記探索領域は、前記ユーザ入力に応答し、前記３６０°映像の視点が移動することによってアップデートされ、
    前記おすすめ視点は、前記構図検出パラメータセット、または前記ユーザの好み構図に基づいて、前記アップデートされた探索領域から決定されることを特徴とする請求項１に記載の映像表示装置。
  8. 前記３６０°映像のカテゴリーは、前記３６０°映像のジャンル、前記３６０°映像が撮影された場所、及び前記３６０°映像の内容のうち少なくとも一つに基づいて決定され、
    前記プロセッサは、前記３６０°映像の題目、前記３６０°映像のメタデータのうち少なくとも一つに基づいて、前記３６０°映像のカテゴリーに係わる情報を獲得することを特徴とする請求項１に記載の映像表示装置。
  9. 前記プロセッサは、
    前記３６０°映像の現在視点と、前記おすすめ視点との移動距離、及び前記３６０°映像の視点を移動させるユーザ入力の種類のうち少なくとも一つに基づいて、前記３６０°映像が、前記おすすめ視点に移動する速度を異なって設定することを特徴とする請求項１に記載の映像表示装置。
  10. 前記プロセッサは、
    前記探索領域から１以上の客体を検出し、
    前記検出された１以上の客体の動き情報をさらに考慮し、前記おすすめ視点に係わる情報を獲得することを特徴とする請求項１に記載の映像表示装置。
  11. ３６０°映像を表示する映像表示方法において、
    前記３６０°映像の視点を移動させるユーザ入力を受信する段階と、
    前記３６０°映像のカテゴリーのための構図検出パラメータセット、またはユーザの好み構図に基づいて、前記ユーザ入力に対応する探索領域から、おすすめ視点を示す情報を獲得する段階と、
    前記ユーザ入力に応答し、前記３６０°映像を現在視点から前記おすすめ視点に移動させる段階と、
    前記３６０°映像において、前記おすすめ視点に対応する領域をディスプレイする段階と、を含む映像表示方法。
  12. 前記構図検出パラメータセットは、
    １以上のニューラルネットワークに、前記３６０°映像のカテゴリーを示すカテゴリー情報、及び前記カテゴリーに属する複数の映像が入力されたことに応答し、前記３６０°映像のカテゴリーのためのおすすめ構図を学習することによって決定されることを特徴とする請求項１１に記載の映像表示方法。
  13. 前記構図検出パラメータセットは、
    前記３６０°映像のカテゴリーのための１以上のおすすめ構図を示す１以上のレイヤ、及び前記１以上のレイヤに適用される加重値が線形結合された形態に決定されることを特徴とする請求項１２に記載の映像表示方法。
  14. 前記おすすめ視点に係わる情報を獲得する段階は、
    前記探索領域を、前記３６０°映像がディスプレイされる画面の大きさを有する複数の領域に分割する段階と、
    前記複数の領域それぞれに、前記構図検出パラメータセット、または前記ユーザの好み構図を適用して分析する段階と、
    前記分析結果に基づいて、前記おすすめ視点を決定する段階と、を含むことを特徴とする請求項１１に記載の映像表示方法。
  15. 請求項１１に記載の映像表示方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
JP2019556349A 2017-04-21 2018-03-21 映像表示装置及び映像表示方法 Active JP7090642B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762488158P 2017-04-21 2017-04-21
US62/488,158 2017-04-21
KR10-2017-0104367 2017-08-17
KR1020170104367A KR102054947B1 (ko) 2017-04-21 2017-08-17 영상 표시 장치 및 영상 표시 방법
PCT/KR2018/003239 WO2018194273A1 (en) 2017-04-21 2018-03-21 Image display apparatus and method

Publications (2)

Publication Number Publication Date
JP2020520489A true JP2020520489A (ja) 2020-07-09
JP7090642B2 JP7090642B2 (ja) 2022-06-24

Family

ID=64099801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019556349A Active JP7090642B2 (ja) 2017-04-21 2018-03-21 映像表示装置及び映像表示方法

Country Status (3)

Country Link
EP (1) EP3593539A4 (ja)
JP (1) JP7090642B2 (ja)
KR (1) KR102054947B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190735A1 (ja) * 2021-03-11 2022-09-15 株式会社Ｎｔｔドコモ 表示制御装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102179243B1 (ko) * 2019-05-07 2020-11-16 재단법인대구경북과학기술원 360도 영상 재생 방법 및 장치
KR102284913B1 (ko) * 2020-08-27 2021-08-02 세종대학교산학협력단 360도 영상에서의 사용자 시야각 선택 방법 및 그 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250830A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014072826A (ja) * 2012-10-01 2014-04-21 Nippon Telegr & Teleph Corp <Ntt> 視聴領域推定装置、視聴領域推定方法、及びプログラム
US20150161807A1 (en) * 2012-10-17 2015-06-11 Google Inc. Reference orientations for viewing panoramic images
WO2016009864A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
JP2016212784A (ja) * 2015-05-13 2016-12-15 株式会社リコー 画像処理装置、画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3650578B2 (ja) 2000-09-28 2005-05-18 株式会社立山アールアンドディ 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
KR101308872B1 (ko) * 2011-12-21 2013-09-16 한국과학기술원 사용자 행동의 예측에 기반하여 서비스를 제공하기 위한 서비스 서버 및 단말
KR102433931B1 (ko) * 2015-07-30 2022-08-19 삼성전자주식회사 움직임 인식 방법 및 움직임 인식 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250830A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014072826A (ja) * 2012-10-01 2014-04-21 Nippon Telegr & Teleph Corp <Ntt> 視聴領域推定装置、視聴領域推定方法、及びプログラム
US20150161807A1 (en) * 2012-10-17 2015-06-11 Google Inc. Reference orientations for viewing panoramic images
WO2016009864A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
JP2016212784A (ja) * 2015-05-13 2016-12-15 株式会社リコー 画像処理装置、画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190735A1 (ja) * 2021-03-11 2022-09-15 株式会社Ｎｔｔドコモ 表示制御装置

Also Published As

Publication number Publication date
EP3593539A1 (en) 2020-01-15
EP3593539A4 (en) 2020-03-18
JP7090642B2 (ja) 2022-06-24
KR102054947B1 (ko) 2019-12-11
KR20180118499A (ko) 2018-10-31

Similar Documents

Publication Publication Date Title
US10845941B2 (en) Image display apparatus and method
US10453246B2 (en) Image display apparatus and method of operating the same
JP6746772B2 (ja) 映像表示装置及びその動作方法
KR102422796B1 (ko) 전자 장치 및 전자 장치에서 채널 탐색 방법
US10524018B2 (en) Apparatus and method for displaying image
KR20200092465A (ko) 추천 컨텐츠 리스트 제공 방법 및 그에 따른 전자 장치
KR102582046B1 (ko) 추천 채널 리스트 제공 방법 및 그에 따른 디스플레이 장치
US10477134B2 (en) Image display device and operating method for the same
KR20190062030A (ko) 영상 표시 장치 및 그 동작 방법
JP7090642B2 (ja) 映像表示装置及び映像表示方法
KR20190026560A (ko) 영상 표시 장치 및 그 동작 방법
US10742880B2 (en) Image display apparatus and method of displaying image
EP3874765B1 (en) Electronic device and operation method thereof
KR20160061176A (ko) 디스플레이 장치 및 그 제어 방법
US20200221179A1 (en) Method of providing recommendation list and display device using the same
KR102220198B1 (ko) 디스플레이 장치 및 그의 동작 방법
EP3319307B1 (en) Spherical image display apparatus and method of displaying a spherical image on a planar display
KR20160004739A (ko) 디스플레이 장치 및 그의 동작 방법
KR102664197B1 (ko) 영상 표시 방법 및 그에 따른 디스플레이 장치
KR20180025089A (ko) 영상 표시 장치 및 영상 표시 방법
KR102670524B1 (ko) 추천 리스트 제공 방법 및 그에 따른 디스플레이 장치
KR102509935B1 (ko) 디스플레이 장치
US20230319376A1 (en) Display device and operating method thereof
KR20240037796A (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220614

R150 Certificate of patent or registration of utility model

Ref document number: 7090642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150