CN106162035A - 移动终端 - Google Patents

移动终端 Download PDF

Info

Publication number
CN106162035A
CN106162035A CN201510983256.3A CN201510983256A CN106162035A CN 106162035 A CN106162035 A CN 106162035A CN 201510983256 A CN201510983256 A CN 201510983256A CN 106162035 A CN106162035 A CN 106162035A
Authority
CN
China
Prior art keywords
image
mobile terminal
controller
user
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510983256.3A
Other languages
English (en)
Other versions
CN106162035B (zh
Inventor
任星玟
权允美
李基仙
李秉起
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN106162035A publication Critical patent/CN106162035A/zh
Application granted granted Critical
Publication of CN106162035B publication Critical patent/CN106162035B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种移动终端,该移动终端包括:相机;显示器;无线通信单元;以及控制器,该控制器被配置为控制所述无线通信单元向外部装置发送请求视频呼叫以提供虚拟现实VR图像的第一信号,所述VR图像具有等于或大于预设度数的视角,基于利用所述相机获得的多个图像来生成所述VR图像,控制所述无线通信单元从所述外部装置接收预设的第二信号,并且控制所述无线通信单元响应于所述第二信号将包括所生成的VR图像的第三信号发送给所述外部装置。

Description

移动终端
技术领域
本发明涉及移动终端。尽管本发明适合于宽范围的应用,但是它尤其适合于在进一步考虑用户的便利性的情况下方便终端的使用。
背景技术
终端可大致分成移动/便携式终端或者固定终端。移动终端还可分成手持终端或车载终端。移动终端已变得越来越多功能。这些功能的示例包括数据和语言通信、经由相机拍摄图像和视频、记录音频、经由扬声器系统播放音乐文件以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的附加功能,而其它终端被配置成多媒体播放器。最近,移动终端已被配置为接收广播和多播信号,其使得能够观看诸如视频和电视节目的内容。
近来,已逐渐提供通过将移动终端安装在虚拟现实(VR)装置中来使得用户能够体验虚拟现实的技术。然而,存在这样的问题:用户仅可利用VR装置来观看仅为VR而制作的内容,到目前为止,VR专用内容的数量是微不足道的。
发明内容
因此,本发明的目的是解决上述和其它问题。
本发明的一个目的是提供一种移动终端,通过其提供一种便于移动终端的用户容易地制作VR内容的解决方案。
本发明的另一目的是提供一种移动终端,通过其提供一种使得制作并发送VR内容的发送方与接收并观看VR内容的接收方之间能够交互的解决方案。
可从本发明获得的技术任务不受上述技术任务限制。并且,本发明所属技术领域的普通技术人员可从以下描述清楚地理解其它未提及的技术任务。
本发明的附加优点、目的和特征将在本文的公开以及附图中阐述。这些方面也可由本领域技术人员基于本文的公开来理解。
为了实现这些目的和其它优点并且根据本发明的目的,如本文具体实现和广义描述的,根据本发明的实施方式的移动终端可包括相机、无线通信单元和控制器,该控制器控制无线通信单元向外部装置发送请求视频呼叫以提供虚拟现实(VR)图像的第一信号,所述VR图像具有等于或大于预设度数的视角,所述控制器基于利用相机获得的多个图像来生成VR图像,所述控制器控制无线通信单元从外部装置接收预设的第二信号,所述控制器控制无线通信单元根据该第二信号将包括所生成的VR图像的第三信号发送给外部装置。
在本发明的另一方面中,根据本发明的实施方式的移动终端可包括无线通信单元、显示单元和控制器,该控制器控制无线通信单元从外部装置接收请求视频呼叫以提供虚拟现实(VR)图像的第一信号,所述VR图像具有等于或大于预设度数的视角,所述控制器根据指示移动终端与VR装置之间的连接的第二信号控制无线通信单元将许可视频呼叫以提供VR图像的第三信号发送给外部装置,所述控制器控制无线通信单元从外部装置接收包括VR图像的第四信号,所述控制器将包括在第四信号中的VR图像显示在显示单元上。
本申请的进一步的适用范围将从下文给出的详细描述而变得显而易见。然而,应该理解,仅示意性地在指示本发明的优选实施方式的同时给出详细描述和具体示例,因为对于本领域技术人员而言,通过该详细描述,在本发明的精神和范围内的各种改变和修改将变得显而易见。
附图说明
本发明将从本文下面给出的详细描述和附图而变得更充分地理解,这些附图仅例示性地给出,因此不限制本发明,附图中:
图1A是根据本公开的移动终端的框图;
图1B和图1C是从不同方向看时移动终端的一个示例的概念图;
图2是根据本公开的另选实施方式的可变形移动终端的概念图;
图3是根据本公开的另一另选实施方式的可穿戴移动终端的概念图;
图4是根据本公开的另一另选实施方式的可穿戴移动终端的概念图;
图5是示出根据本发明的一个实施方式的连接到接收方移动终端的VR装置的一个示例的示图;
图6是示出根据本发明的一个实施方式的发送方移动终端将VR图像提供给接收方移动终端的方法的一个示例的示图;
图7是示出根据本发明的一个实施方式的用于通过VR装置体验虚拟现实的VR图像的一个示例的示图;
图8是示出根据本发明的一个实施方式的第一移动终端将VR图像发送给第二移动终端的方法的一个示例的示图;
图9是示出根据本发明的一个实施方式的第一移动终端将VR图像发送给第二移动终端的方法的另一示例的示图;
图10是示出根据本发明的一个实施方式的从第一移动终端向第二移动终端发送VR图像的方法的一个示例的示图;
图11是示出根据本发明的一个实施方式的第一移动终端请求视频呼叫以用于提供VR图像的方法的一个示例的示图;
图12是示出根据本发明的一个实施方式的第一移动终端生成VR图像的方法的一个示例的示图;
图13是示出根据本发明的一个实施方式的第一移动终端生成VR图像的方法的一个示例的示意图;
图14是示出根据本发明的一个实施方式的被输出以获得第一移动终端用来生成VR图像的图像的指引UI的一个示例的示图;
图15是示出根据本发明的一个实施方式的被输出以获得第一移动终端用来生成VR图像的图像的指引UI的另一示例的示图;
图16是示出根据本发明的一个实施方式的由第一移动终端生成的VR图像的一个示例的示图;
图17是示出根据本发明的一个实施方式的在第一移动终端与第二移动终端之间执行视频呼叫以提供VR图像的处理的一个示例的示图;
图18是示出根据本发明的一个实施方式的在视频呼叫期间显示在第一移动终端上的画面和显示在第二移动终端上的画面的示例的示图;
图19是示出根据本发明的一个实施方式的第一移动终端生成VR图像的方法的另一示例的示图;
图20是示出根据本发明的一个实施方式的在第一移动终端与第二移动终端之间的一般视频呼叫期间切换为用于提供VR图像的视频呼叫的方法的一个示例的示图;
图21是示出根据本发明的一个实施方式的在第一移动终端与第二移动终端之间的一般视频呼叫期间切换为用于提供VR图像的视频呼叫的情况下显示在第一移动终端和第二移动终端中的每一个上的画面的一个示例的示图;
图22是示出根据本发明的一个实施方式的第二移动终端100B根据用户的动作提供反馈的方法的一个示例的示图;
图23是示出根据本发明的一个实施方式的第二移动终端的用户针对第二移动终端的用户所期望的内容请求第一移动终端的用户的方法的一个示例的示图;
图24是示出根据本发明的一个实施方式的如参照图23所提及的由第一移动终端从第二移动终端接收指定信号的一个示例的示图;
图25是示出根据本发明的一个实施方式的如参照图24所提及的在从第一移动终端发送新的VR图像的情况下输出到第二移动终端的显示单元的画面的一个示例的示图;
图26是示出根据本发明的一个实施方式的第二移动终端的用户控制VR图像中所包括的特定对象的方法的一个示例的示图;
图27是示出根据本发明的一个实施方式的第二移动终端的用户控制VR图像的方法的一个示例的示图;
图28是示出根据本发明的一个实施方式的在用于提供VR图像的视频呼叫期间第二移动终端输出音频数据的方法的一个示例的示图;
图29是示出根据本发明的一个实施方式的利用安装在车辆上的相机生成VR图像的方法的一个示例的示图;
图30是示出根据本发明的一个实施方式的生成VR图像的方法的另一示例的示图;
图31是示出根据本发明的一个实施方式的第二移动终端的用户选择期望的相机的VR图像的方法的一个示例的示图;
图32是示出根据本发明的一个实施方式的如参照图31所提及的在第二移动终端的用户选择特定相机的情况下输出由所述特定相机生成的VR图像的方法的一个示例的示图;以及
图33是示出根据本发明的一个实施方式的生成VR图像的方法的另一示例的示图。并且,参照图31所提及的冗余内容将被省略。
具体实施方式
现在将参照附图根据本文公开的示例性实施方式详细给出描述。为了参照附图简要描述,可为相同或等同的组件提供相同的标号,其描述将不再重复。通常,诸如“模块”和“单元”的后缀可用于指代元件或组件。本文使用这种后缀仅是为了方便说明书的描述,后缀本身并非旨在给予任何特殊含义或功能。在本公开中,为了简明起见,相关领域的普通技术人员熟知的内容已被省略。使用附图来帮助容易地理解各种技术特征,应该理解,本文呈现的实施方式不受附图的限制。因此,本公开应该被解释为扩展至附图中具体示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。
尽管本文中可能使用术语第一、第二等来描述各种元件,这些元件不应受这些术语的限制。这些术语通常仅用于将一个元件与另一元件相区分。当元件被称作“与”另一元件“连接”时,该元件可与所述另一元件连接或者还可存在中间元件。相比之下,当元件被称作“与”另一元件“直接连接”时,不存在中间元件。
除非从上下文看出表示明确不同的含义,否则单数表示形式可包括多数表示形式。本文中使用诸如“包括”或“具有”的术语,应该理解它们旨在指示存在说明书中公开的多个组件、功能或步骤,还将理解,同样可利用更多或更少的组件、功能或步骤。
本文呈现的移动终端可利用各种不同类型的终端来实现。这些终端的示例包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、石板PC、平板PC、超级本、可穿戴装置(例如,智能手表、智能眼镜、头戴式显示器(HMD))等。
仅作为非限制性示例,参照特定类型的移动终端进行进一步描述。然而,这些教导同样适用于其它类型的终端,例如上述那些类型。另外,这些教导也可适用于诸如数字TV、台式计算机等的固定终端。
现在参照图1A至图1C,其中图1A是根据本公开的移动终端的框图,图1B和图1C是从不同方向看时移动终端的一个示例的概念图。
移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190的组件。不要求实现所示的所有组件,可另选地实现更多或更少的组件。
现在参照图1A,移动终端100被示出为具有无线通信单元110,该无线通信单元110配置有多个通常实现的组件。例如,无线通信单元110通常包括允许移动终端100与无线通信系统或者移动终端所在的网络之间的无线通信的一个或更多个组件。
无线通信单元110通常包括允许通信(例如,移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端之间的通信、移动终端100与外部服务器之间的通信)的一个或更多个模块。另外,无线通信单元110通常包括将移动终端100连接到一个或更多个网络的一个或更多个模块。为了方便这些通信,无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。
输入单元120包括用于获得图像或视频的相机121、麦克风122(是用于输入音频信号的一种音频输入装置)以及用于使得用户能够输入信息的用户输入单元123(例如,触摸键、按键、机械键、软键等)。数据(例如,音频、视频、图像等)通过输入单元120来获得,并且可由控制器180根据装置参数、用户命令及其组合来分析和处理。
感测单元140通常利用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现。例如,在图1A中,感测单元140被示出为具有接近传感器141和照明传感器142。
如果需要,感测单元140可另选地或另外地包括其它类型的传感器或装置,例如触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如,相机121)、麦克风122、电池电量计、环境传感器(例如,气压计、湿度计、温度计、辐射检测传感器、热传感器和气体传感器等)和化学传感器(例如,电子鼻、保健传感器、生物传感器等)等。移动终端100可被配置为利用从感测单元140获得的信息,具体地讲,从感测单元140的一个或更多个传感器获得的信息,及其组合。
输出单元150通常被配置为输出各种类型的信息,例如音频、视频、触觉输出等。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。
显示单元151可具有与触摸传感器的中间层结构或集成结构,以便方便触摸屏。触摸屏可在移动终端100与用户之间提供输出接口,并且用作在移动终端100与用户之间提供输入接口的用户输入单元123。
接口单元160用作与可连接到移动终端100的各种类型的外部装置的接口。例如,接口单元160可包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下,移动终端100可响应于外部装置连接到接口单元160而执行与连接的外部装置关联的各种控制功能。
存储器170通常被实现为存储用于支持移动终端100的各种功能或特征的数据。例如,存储器170可被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。这些应用程序中的一些应用程序可经由无线通信从外部服务器下载。其它应用程序可在制造或出厂时安装在移动终端100内,针对移动终端100的基本功能(例如,接电话、打电话、接收消息、发送消息等),通常是这种情况。常见的是,应用程序被存储在存储器170中,被安装在移动终端100中,并由控制器180执行以执行移动终端100的操作(或功能)。
除了与应用程序关联的操作以外,控制器180通常还用于控制移动终端100的总体操作。控制器180可通过处理经由图1A所描绘的各种组件输入或输出的信号、数据、信息等或者激活存储在存储器170中的应用程序来提供或处理适合于用户的信息或功能。作为一个示例,控制器180根据存储在存储器170中的应用程序的执行来控制图1A至图1C所示的一些或所有组件。
电源单元190可被配置为接收外部电力或提供内部电力,以便供应对包括在移动终端100中的元件和组件进行操作所需的适当电力。电源单元190可包括电池,所述电池可被配置为嵌入在终端主体中,或者被配置为可从终端主体拆卸。
仍参照图1A,现在将更详细地描述该图中描绘的各种组件。关于无线通信单元110,广播接收模块111通常被配置为经由广播频道从外部广播管理实体接收广播信号和/或广播相关信息。广播频道可包括卫星频道、地面频道或这二者。在一些实施方式中,可使用两个或更多个广播接收模块111以方便同时接收两个或更多个广播频道或支持在广播频道之间切换。
广播管理实体可以是生成并发送广播信号和/或广播相关信息的系统或者接收预先生成的广播信号和/或广播相关信息并将这些项目发送给移动终端的服务器。除了别的以外,广播信号可利用TV广播信号、无线电广播信号、数据广播信号及其组合中的任一个来实现。在一些情况下,广播信号还可包括与TV或无线电广播信号组合的数据广播信号。
广播信号可根据用于数字广播信号的发送和接收的各种技术标准或广播方法(例如,国际标准化组织(ISO)、国际电工委员会(IEC)、数字视频广播(DVB)、高级电视系统委员会(ATSC)等)中的任一种来编码。广播接收模块111可利用适合于使用的发送方法的方法来接收数字广播信号。
广播相关信息的示例可包括与广播频道、广播节目、广播事件、广播服务提供商等关联的信息。广播相关信息还可经由移动通信网络来提供,并且在这种情况下由移动通信模块112来接收。
广播相关信息可按照各种格式来实现。例如,广播相关信息可包括数字多媒体广播(DMB)的电子节目指南(EPG)、手持数字视频广播(DVB-H)的电子服务指南(ESG)等。经由广播接收模块111接收的广播信号和/或广播相关信息可被存储在诸如存储器170的合适的装置中。
移动通信模块112可向一个或更多个网络实体发送无线信号和/或从其接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体形成移动通信网络的一部分,所述移动通信网络根据移动通信的技术标准或通信方法(例如,全球移动通信系统(GSM)、码分多址(CDMA)、CDMA 2000(码分多址2000)、EV-DO(增强型优化语音数据或增强型仅语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等)来构建。经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号或者支持文本和多媒体消息的通信的各种格式的数据。
无线互联网模块113被配置为方便无线互联网接入。此模块可从内部或外部连接到移动终端100。无线互联网模块113可根据无线互联网技术经由通信网络发送和/或接收无线信号。
这种无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(WiBro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等。无线互联网模块113可根据这些无线互联网技术以及其它互联网技术中的一个或更多个来发送/接收数据。
在一些实施方式中,当根据(例如)WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LET、LTE-A等实现无线互联网接入时,作为移动通信网络的一部分,无线互联网模块113执行这种无线互联网接入。因此,互联网模块113可与移动通信模块112协作或用作移动通信模块112。
短距离通信模块114被配置为方便短距离通信。用于实现这些短距离通信的合适的技术包括BLUETOOTH、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。短距离通信模块114通常经由无线局域网支持移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端100之间的通信或者移动终端100与另一移动终端100(或外部服务器)所在的网络之间的通信。无线局域网的一个示例是无线个域网。
在一些实施方式中,另一移动终端(可类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者与移动终端100协作)的可穿戴装置(例如,智能手表、智能眼镜或头戴式显示器(HMD))。短距离通信模块114可感测或识别可穿戴装置,并允许可穿戴装置与移动终端100之间的通信。另外,当所感测到的可穿戴装置是被验证为与移动终端100进行通信的装置时,例如,控制器180可经由短距离通信模块114将在移动终端100中处理的数据发送给可穿戴装置。因此,可穿戴装置的用户可在可穿戴装置上使用在移动终端100中处理的数据。例如,当在移动终端100中接到电话时,用户可利用可穿戴装置来回电话。另外,当在移动终端100中接收到消息时,用户可利用可穿戴装置来查看所接收到的消息。
位置信息模块115通常被配置为检测、计算、推导或者标识移动终端的位置。例如,位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块或这二者。如果需要,位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起工作,以获得与移动终端的位置有关的数据。
作为一个示例,当移动终端使用GPS模块时,可利用从GPS卫星发送的信号来获取移动终端的位置。作为另一示例,当移动终端使用Wi-Fi模块时,可基于与无线接入点(AP)有关的信息来获取移动终端的位置,所述无线接入点(AP)向Wi-Fi模块发送无线信号或从Wi-Fi模块接收无线信号。
输入单元120可被配置为允许向移动终端120的各种类型的输入。这种输入的示例包括音频、图像、视频、数据和用户输入。图像和视频输入常常利用一个或更多个相机121来获得。这些相机121可对在视频或图像拍摄模式下通过图像传感器获得的静止画面或视频的图像帧进行处理。经处理的图像帧可被显示在显示单元151上或存储在存储器170中。在一些情况下,相机121可按照矩阵配置布置,以使得具有各种角度或焦点的多个图像能够被输入至移动终端100。作为另一示例,相机121可按照立体布置方式来设置,以获取用于实现立体图像的左图像和右图像。
麦克风122通常被实现为允许向移动终端100输入音频。可根据移动终端100中执行的功能来按照各种方式处理音频输入。如果需要,麦克风122可包括各种噪声去除算法以去除在接收外部音频的过程中生成的不期望的噪声。
用户输入单元123是允许用户输入的组件。这种用户输入可使得控制器180能够控制移动终端100的操作。用户输入单元123可包括机械输入元件(例如,位于移动终端100的正面和/或背面或侧面的键、按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入装置等中的一个或更多个。作为一个示例,触敏输入装置可以是通过软件处理显示在触摸屏上的虚拟键或软键、或者设置在移动终端上的触摸屏以外的位置处的触摸键。另外,虚拟键或视觉键可按照各种形状(例如,图形、文本、图标、视频或其组合)显示在触摸屏上。
感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一个或更多个。控制器180通常与感测单元140协作以基于感测单元140所提供的感测来控制移动终端100的操作或者执行与安装在移动终端中的应用程序关联的数据处理、功能或操作。可利用各种传感器中的任何传感器来实现感测单元140,现在将更详细地描述其中一些传感器。
接近传感器141可包括在没有机械接触的情况下,利用电磁场、红外线等来感测是否存在靠近表面的物体或者位于表面附近的物体的传感器。接近传感器141可布置在移动终端被触摸屏覆盖的内侧区域处或触摸屏附近。
例如,接近传感器141可包括透射型光电传感器、直接反射型光电传感器、反射镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等中的任何传感器。当触摸屏被实现为电容型时,接近传感器141可通过电磁场响应于导电物体的靠近而发生的变化来感测指点器相对于触摸屏的接近。在这种情况下,触摸屏(触摸传感器)也可被归类为接近传感器。
本文中常常将提及术语“接近触摸”以表示指点器被设置成在没有接触触摸屏的情况下接近触摸屏的情景。本文中常常将提及术语“接触触摸”以表示指点器与触摸屏进行物理接触的情景。对于与指点器相对于触摸屏的接近触摸对应的位置,这种位置将对应于指点器垂直于触摸屏的位置。接近传感器141可感测接近触摸以及接近触摸模式(例如,距离、方向、速度、时间、位置、移动状态等)。
通常,控制器180对与接近传感器141所感测的接近触摸和接近触摸模式对应的数据进行处理,并在触摸屏上输出视觉信息。另外,控制器180可根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端100执行不同的操作或处理不同的数据。
触摸传感器可利用各种触摸方法中的任何触摸方法来感测施加到触摸屏(例如,显示单元151)的触摸。这些触摸方法的示例包括电阻型、电容型、红外型和磁场型等。作为一个示例,触摸传感器可被配置为将施加到显示单元151的特定部分的压力的变化或者在显示单元151的特定部分处发生的电容的变化转换为电输入信号。触摸传感器还可被配置为不仅感测触摸位置和触摸面积,而且感测触摸压力和/或触摸电容。通常使用触摸物体来对触摸传感器施加触摸输入。典型的触摸物体的示例包括手指、触摸笔、手写笔、指点器等。
当通过触摸传感器感测到触摸输入时,可将对应信号发送给触摸控制器。触摸控制器可对所接收到的信号进行处理,然后将对应数据发送给控制器180。因此,控制器180可感测显示单元151的哪一区域被触摸。这里,触摸控制器可以是独立于控制器180的组件、控制器180及其组合。
在一些实施方式中,控制器180可根据对触摸屏或者除触摸屏以外设置的触摸键进行触摸的触摸物体的类型来执行相同或不同的控制。例如,根据提供触摸输入的物体是执行相同的控制还是不同的控制可基于移动终端100的当前操作状态或者当前执行的应用程序来决定。
触摸传感器和接近传感器可单独实现或者组合实现,以感测各种类型的触摸。这些触摸包括短(或轻敲)触摸、长触摸、多触摸、拖曳触摸、轻拂触摸、缩小触摸、放大触摸、轻扫触摸、悬停触摸等。如果需要,可实现超声传感器以利用超声波来识别与触摸物体有关的位置信息。例如,控制器180可基于由照明传感器和多个超声传感器感测的信息来计算波生成源的位置。由于光远比超声波快,所以光到达光学传感器的时间远比超声波到达超声传感器的时间短。可利用这一事实来计算波生成源的位置。例如,可基于光作为参考信号利用相对于超声波到达传感器的时间的时间差来计算波生成源的位置。
相机121通常包括至少一个相机传感器(CCD、CMOS等)、光电传感器(或图像传感器)和激光传感器。利用激光传感器实现相机121可允许检测物理对象相对于3D立体图像的触摸。光电传感器可被层合在显示装置上或者与显示装置交叠。光电传感器可被配置为对接近触摸屏的物理对象的移动进行扫描。更详细地讲,光电传感器可包括成行和列的光电二极管和晶体管,以利用根据施加的光的量而变化的电信号来对光电传感器处接收的内容进行扫描。即,光电传感器可根据光的变化来计算物理对象的坐标,从而获得物理对象的位置信息。
显示单元151通常被配置为输出在移动终端100中处理的信息。例如,显示单元151可显示在移动终端100处执行的应用程序的执行画面信息或者响应于执行画面信息的用户界面(UI)和图形用户界面(GUI)信息。在一些实施方式中,显示单元151可被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。
通常,3D立体图像可包括左图像(例如,左眼图像)和右图像(例如,右眼图像)。根据左图像和右图像如何组合成3D立体图像,3D立体成像方法可分为左图像和右图像在帧中上下布置的上下方法、左图像和右图像在帧中左右布置的L至R(左至右或并排)方法、左图像和右图像的片段以拼块形式布置的棋盘格方法、左图像和右图像按照列或行交替布置的交织方法以及左图像和右图像基于时间交替显示的时间顺序(逐帧)方法。
另外,对于3D缩略图图像,可分别从原始图像帧的左图像和右图像生成左图像缩略图和右图像缩略图,然后将其组合以生成单个3D缩略图图像。通常,术语“缩略图”可用于表示缩小的图像或者缩小的静止图像。生成的左图像缩略图和右图像缩略图可按照与左图像和右图像之间的视差对应的深度利用二者间的水平距离差来显示在屏幕上,从而提供立体空间感。
实现3D立体图像所需的左图像和右图像可利用立体处理单元来显示在立体显示单元上。立体处理单元可接收3D图像并提取左图像和右图像,或者可接收2D图像并将其改变为左图像和右图像。
音频输出模块152通常被配置为输出音频数据。这些音频数据可从多种不同的源中的任何源获得,使得所述音频数据可从无线通信单元110接收或者可存储在存储器170中。所述音频数据可在诸如信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等的模式期间输出。音频输出模块152可提供与移动终端100所执行的特定功能有关的可听输出(例如,呼叫信号接收音、消息接收音等)。音频输出模块152还可被实现为受话器、扬声器、蜂鸣器等。
触觉模块153可被配置为产生用户感觉、感知或者体验的各种触觉效果。由触觉模块153产生的触觉效果的典型示例是振动。由触觉模块153产生的振动的强度、模式等可通过用户选择或控制器的设定来控制。例如,触觉模块153可按照组合方式或顺序方式输出不同的振动。
除了振动以外,触觉模块153可产生各种其它触觉效果,包括诸如插针排列向接触皮肤垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等的刺激效果、利用能够吸热或发热的元件再现冷和热的感觉的效果等。
除了通过直接接触传递触觉效果以外,触觉模块153还可被实现为使得用户能够通过诸如用户的手指或手臂的肌肉觉来感觉到触觉效果。可根据移动终端100的特定配置设置两个或更多个触觉模块153。
光学输出模块154可输出用于利用光源的光指示事件的发生的信号。移动终端100中发生的事件的示例可包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。由光学输出模块154输出的信号可被实现为使得移动终端发射单色光或多种颜色的光。例如,随着移动终端感测到用户已查看所发生的事件,信号输出可被终止。
接口单元160用作要与移动终端100连接的外部装置的接口。例如,接口单元160可接收从外部装置发送来的数据,接收电力以输送给移动终端100内的元件和组件,或者将移动终端100的内部数据发送给这种外部装置。接口单元160可包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
所述标识模块可以是存储用于验证移动终端100的使用权限的各种信息的芯片,并且可包括用户标识模块(UIM)、订户标识模块(SIM)、全球订户标识模块(USIM)等。另外,具有标识模块的装置(本文中也称作“标识装置”)可采取智能卡的形式。因此,标识装置可经由接口单元160与移动终端100连接。
当移动终端100与外部托架连接时,接口单元160可用作使得能够将来自托架的电力供应给移动终端100的通道,或者可用作使得能够用来将由用户从托架输入的各种命令信号输送给移动终端的通道。从托架输入的各种命令信号或电力可用作用于识别出移动终端被正确安装在托架上的信号。
存储器170可存储用于支持控制器180的操作的程序,并存储输入/输出数据(例如,电话簿、消息、静止图像、视频等)。存储器170可存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。存储器170可包括一种或更多种类型的存储介质,包括闪存、硬盘、固态盘、硅磁盘、微型多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。移动终端100还可与在诸如互联网的网络上执行存储器170的存储功能的网络存储装置有关地操作。
控制器180通常可控制移动终端100的总体操作。例如,当移动终端100的状态满足预设条件时,控制器180可设定或解除用于限制用户相对于应用输入控制命令的锁定状态。
控制器180还可执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理,或者执行模式识别处理以将触摸屏上进行的手写输入或绘画输入分别识别为字符或图像。另外,控制器180可控制那些组件中的一个或其组合,以便实现本文公开的各种示例性实施方式。
电源单元190接收外部电力或提供内部电力,并且供应对包括在移动终端100中的各个元件和组件进行操作所需的适当电力。电源单元190可包括电池,该电池通常是可再充电的或者以可拆卸的方式连接到终端主体以便于充电。电源单元190可包括连接端口。该连接端口可被配置为接口单元160的一个示例,用于供应电力以对电池进行再充电的外部充电器可电连接到该连接端口。
作为另一示例,电源单元190可被配置为以无线方式对电池进行再充电,而不使用连接端口。在此示例中,电源单元190可利用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发射器输送的电力。本文所述的各种实施方式可利用(例如)软件、硬件或其任何组合来在计算机可读介质、机器可读介质或类似介质中实现。
现在参照图1B和图1C,参照直板型终端主体描述移动终端100。然而,另选地,移动终端100可按照各种不同的配置中的任何配置来实现。这些配置的示例包括手表型、夹子型、眼镜型或者折叠型、翻盖型、滑盖型、旋转型和摆动型(其中两个和更多个主体按照能够相对移动的方式彼此组合)或其组合。本文的讨论将常常涉及特定类型的移动终端(例如,直板型、手表型、眼镜型等)。然而,关于特定类型的移动终端的这些教导将通常也适用于其它类型的移动终端。
移动终端100将通常包括形成终端的外观的壳体(例如,框架、外壳、盖等)。在此实施方式中,壳体利用前壳体101和后壳体102形成。各种电子组件被包含在前壳体101与后壳体102之间所形成的空间中。另外,可在前壳体101与后壳体102之间设置至少一个中间壳体。
显示单元151被示出为在终端主体的前侧以输出信息。如图所示,显示单元151的窗口151a可被安装到前壳体101以与前壳体101一起形成终端主体的前表面。在一些实施方式中,电子组件也可被安装到后壳体102。这些电子组件的示例包括可拆卸电池191、标识模块、存储卡等。后盖103被示出为盖住电子组件,该盖可以可拆卸地连接到后壳体102。因此,当将后盖103从后壳体102拆卸时,安装到后壳体102的电子组件暴露于外。
如图所示,当后盖103连接到后壳体102时,后壳体102的侧表面部分地暴露。在一些情况下,在连接时,后壳体102也可被后盖103完全遮蔽。在一些实施方式中,后盖103可包括开口以用于将相机121b或音频输出模块152b暴露于外。
壳体101、102、103可通过合成树脂的注塑成型来形成,或者可由例如不锈钢(STS)、铝(Al)、钛(Ti)等的金属形成。作为多个壳体形成用于容纳组件的内部空间的示例的另选方式,移动终端100可被配置为使得一个壳体形成该内部空间。在此示例中,具有单一体的移动终端100被形成为使得合成树脂或金属从侧表面延伸至后表面。
如果需要,移动终端100可包括用于防止水进入终端主体中的防水单元。例如,防水单元可包括位于窗口151a与前壳体101之间、前壳体101与后壳体102之间、或者后壳体102与后盖103之间的防水构件,以在那些壳体连接时将内部空间密封。
图1B和图1C描绘了布置在移动终端上的特定组件。然而,另选布置方式也是可能的并且在本公开的教导内。一些组件可被省略或重新布置。例如,第一操纵单元123a可设置在终端主体的另一表面上,第二音频输出模块152b可设置在终端主体的侧表面上。
显示单元151输出在移动终端100中处理的信息。显示单元151可利用一个或更多个合适的显示装置来实现。这些合适的显示装置的示例包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3维(3D)显示器、电子墨水显示器及其组合。
可利用两个显示装置(可实现相同或不同的显示技术)来实现显示单元151。例如,多个显示单元151可被布置在一侧,彼此间隔开或者这些装置可被集成,或者这些装置可被布置在不同的表面上。
显示单元151还可包括触摸传感器,其感测在显示单元处接收的触摸输入。当触摸被输入到显示单元151时,触摸传感器可被配置为感测该触摸,并且控制器180(例如)可生成与该触摸对应的控制命令或其它信号。以触摸方式输入的内容可以是文本或数值或者是可按照各种模式指示或指定的菜单项。
触摸传感器可按照设置在窗口151a与窗口151a的后表面上的显示器之间的具有触摸图案的膜或者直接图案化在窗口151a的后表面上的金属丝的形式来配置。另选地,触摸传感器可与显示器一体地形成。例如,触摸传感器可设置在显示器的基板上或者显示器内。显示单元151还可与触摸传感器一起形成触摸屏。这里,触摸屏可用作用户输入单元123(参见图1A)。因此,触摸屏可代替第一操纵单元123a的至少一些功能。
第一音频输出模块152a可按照扬声器的形式来实现以输出语音音频、报警音、多媒体音频再现等。显示单元151的窗口151a通常将包括孔径以允许由第一音频输出模块152a生成的音频通过。一个另选方式是允许音频沿着结构体之间的装配间隙(例如,窗口151a与前壳体101之间的间隙)来释放。在这种情况下,从外观上看,独立地形成以输出音频音的孔不可见或者被隐藏,从而进一步简化移动终端100的外观和制造。
光学输出模块154可被配置为输出用于指示事件发生的光。这些事件的示例包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。当用户已查看发生的事件时,控制器可控制光学输出模块154停止光输出。
第一相机121a可处理由图像传感器在拍摄模式或者视频呼叫模式下获得的图像帧(例如,静止图像或运动图像)。然后,经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。
第一操纵单元123a和第二操纵单元123b是用户输入单元123的示例,其可由用户操纵以提供对移动终端100的输入。第一操纵单元123a和第二操纵单元123b还可被共同称作操纵部分,并且可采用允许用户执行诸如触摸、推按、滚动等的操纵的任何触觉方法。第一操纵单元123a和第二操纵单元123b还可采用允许用户执行诸如接近触摸、悬停等的操纵的任何非触觉方法。
图1B将第一操纵单元123a示出为触摸键,但可能的另选方式包括机械键、按键、触摸键及其组合。在第一操纵单元123a和第二操纵单元123b处接收的输入可按照各种方式来使用。例如,用户可使用第一操纵单元123a来提供对菜单、主屏键、取消、搜索等的输入,用户可使用第二操纵单元123b来提供输入以控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。
作为用户输入单元123的另一示例,后输入单元可被设置在终端主体的后表面上。用户可操纵后输入单元以提供对移动终端100的输入。所述输入可按照各种不同的方式来使用。例如,用户可使用后输入单元来提供输入以进行电源开/关、开始、结束、滚动、控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。后输入单元可被配置为允许触摸输入、推按输入或其组合。
后输入单元可被设置为在终端主体的厚度方向上与前侧的显示单元151交叠。作为一个示例,后输入单元可被设置在终端主体的后侧的上端部,使得当用户用一只手抓握终端主体时用户可利用食指容易地操纵后输入单元。另选地,后输入单元可至多被设置在终端主体的后侧的任何位置。
包括后输入单元的实施方式可将第一操纵单元123a的一些或全部功能实现在后输入单元中。因此,在从前侧省略第一操纵单元123a的情况下,显示单元151可具有更大的屏幕。作为另一另选方式,移动终端100可包括扫描用户的指纹的手指扫描传感器。然后控制器180可使用由手指扫描传感器感测到的指纹信息作为验证程序的一部分。手指扫描传感器也可被安装在显示单元151中或实现在用户输入单元123中。
麦克风122被示出为设置在移动终端100的端部,但其它位置也是可能的。如果需要,可实现多个麦克风,这种布置方式允许接收立体声。
接口单元160可用作允许移动终端100与外部装置进行接口的路径。例如,接口单元160可包括用于连接到另一装置(例如,耳机、外部扬声器等)的连接端子、用于近场通信的端口(例如,红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等)、或者用于向移动终端100供电的电源端子中的一个或更多个。接口单元160可按照用于容纳外部卡(例如,订户标识模块(SIM)、用户标识模块(UIM)、或者用于信息存储的存储卡)的插槽的形式来实现。
第二相机121b被示出为设置在终端主体的后侧,并且其图像拍摄方向基本上与第一相机单元121a的图像拍摄方向相反。如果需要,可另选地将第二相机121b设置在其它位置或者使其能够移动,以便具有不同于所示图像拍摄方向的图像拍摄方向。
第二相机121b可包括沿着至少一条线布置的多个透镜。所述多个透镜还可按照矩阵配置来布置。这些相机可被称作“阵列相机”。当第二相机121b被实现为阵列相机时,可利用多个透镜以各种方式拍摄图像,并且图像具有更好的质量。
如图1C所示,闪光灯124被示出为与第二相机121b相邻。当利用相机121b拍摄目标的图像时,闪光灯124可对目标进行照明。如图1C所示,可在终端主体上设置第二音频输出模块152b。第二音频输出模块152b可结合第一音频输出模块152a实现立体声功能,并且还可用于实现呼叫通信的免提模式。
用于无线通信的至少一个天线可设置在终端主体上。所述天线可安装在终端主体中或者可由壳体形成。例如,构成广播接收模块111的一部分的天线可收缩到终端主体中。另选地,天线可利用附着到后盖103的内表面的膜或者包含导电材料的壳体来形成。
用于向移动终端100供电的电源单元190可包括电池191,该电池191被安装在终端主体中或者可拆卸地连接到终端主体的外部。电池191可经由连接到接口单元160的电源线来接收电力。另外,电池191可利用无线充电器以无线方式再充电。无线充电可通过磁感应或电磁共振来实现。
后盖103被示出为连接到后壳体102以用于遮蔽电池191,以防止电池191分离并保护电池191免受外部冲击或异物的影响。当电池191能够从终端主体拆卸时,后壳体103可以可拆卸地连接到后壳体102。
在移动终端100上可另外设置用于保护外观或者辅助或扩展移动终端100的功能的附件。作为附件的一个示例,可设置用于覆盖或容纳移动终端100的至少一个表面的盖或袋。所述盖或袋可与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于辅助或扩展对触摸屏的触摸输入的触摸笔。
图2是根据本发明的另选实施方式的可变形移动终端的概念图。在该图中,移动终端200被示出为具有显示单元251,该显示单元251是能够通过外力而变形的一种显示器。包括显示单元251和移动终端200的其它组件的这种变形可包括弯曲、折曲、折叠、扭曲、卷曲及其组合的任一种。可变形显示单元251也可被称作“柔性显示单元”。在一些实现方式中,柔性显示单元251可包括一般柔性显示器、电子纸(e-paper)及其组合。通常,移动终端200可被配置为包括与图1A至图1C的移动终端100相同或相似的特征。
移动终端200的柔性显示器通常形成为重量轻、不易碎的显示器,其仍呈现出传统平板显示器的特性,但是作为替代在可如前所述变形的柔性基板上制造。术语电子纸可用于表示采用一般墨水的特性的显示技术,并且与传统平板显示器的不同之处在于使用反射光。电子纸通常被理解为利用扭转向列球(twist ball)或者利用囊(capsule)经由电泳来改变显示的信息。
当柔性显示单元251没有变形(例如,处于具有无穷大曲率半径的状态下,称作第一状态)时,柔性显示单元251的显示区域包括大致平坦表面。当柔性显示单元251通过外力而从第一状态变形(例如,具有有限曲率半径的状态,称作第二状态)时,显示区域可变为曲面或弯折表面。如图所示,在第二状态下显示的信息可以是在曲面上输出的视觉信息。所述视觉信息可被实现为使得按照矩阵配置排列的各个单元像素(子像素)的光发射被独立地控制。单元像素是指用于表示一种颜色的基本单元。
根据一个另选实施方式,代替平坦状态,柔性显示单元251的第一状态可以是弯曲状态(例如,从上至下或者从右至左弯曲的状态)。在此实施方式中,当外力施加于柔性显示单元251时,柔性显示单元251可转变为第二状态,使得柔性显示单元变形成平坦状态(或较不弯曲的状态)或者更弯曲的状态。
如果需要,柔性显示单元251可利用与显示器组合的触摸传感器来实现柔性触摸屏。当在柔性触摸屏处接收到触摸时,控制器180可执行与触摸输入对应的特定控制。通常,柔性触摸屏被配置为在处于第一状态和第二状态下的同时感测触摸和其它输入。一个选择是将移动终端200配置为包括感测柔性显示单元251的变形的变形传感器。该变形传感器可被包括在感测单元140中。
变形传感器可被设置在柔性显示单元251或者壳体201中以感测与柔性显示单元251的变形有关的信息。这种与柔性显示单元251的变形有关的信息的示例可以是变形方向、变形程度、变形位置、变形时间量、变形的柔性显示单元251恢复的加速度等。其它可能主要包括可响应于柔性显示单元的弯曲感测到的或者在柔性显示单元251转变为第一状态和第二状态或者存在于第一状态和第二状态下的同时感测到的任何类型的信息。
在一些实施方式中,控制器180或其它组件可基于与柔性显示单元251的变形有关的信息来改变显示在柔性显示单元251上的信息或者生成用于控制移动终端200的功能的控制信号。这种信息通常由变形传感器来感测。移动终端200被示出为具有壳体201以用于容纳柔性显示单元251。考虑到柔性显示单元251的特性,壳体201可随柔性显示单元251一起变形。
考虑到柔性显示单元251的特性,设置在移动终端200中的电池也可与柔性显示单元261协作地变形。实现这种电池的一种技术是使用层叠电池单元的层叠和折叠方法。
柔性显示单元251的变形不限于通过外力来执行。例如,柔性显示单元251可通过用户命令、应用命令等而从第一状态变形为第二状态。根据另外的实施方式,移动终端可被配置成能够穿戴在人体上的装置。这些装置超出用户使用其手来抓握移动终端的常规技术。可穿戴装置的示例包括智能手表、智能眼镜、头戴式显示器(HMD)等。
典型的可穿戴装置可与另一移动终端100交换数据(或者协作)。在这种装置中,可穿戴装置通常具有比协作移动终端少的功能。例如,移动终端100的短距离通信模块114可感测或识别足够靠近以与移动终端通信的可穿戴装置。另外,当所感测的可穿戴装置是被验证为与移动终端100通信的装置时,控制器180可经由例如短距离通信模块114将移动终端100中处理的数据发送给可穿戴装置。因此,可穿戴装置的用户可在可穿戴装置上使用在移动终端100中处理的数据。例如,当在移动终端100中接收到呼叫时,用户可利用可穿戴装置来应答该呼叫。另外,当在移动终端100中接收到消息时,用户可利用可穿戴装置来查看所接收到的消息。
图3是示出根据另一示例性实施方式的手表型移动终端300的一个示例的立体图。如图3所示,手表型移动终端300包括具有显示单元351的主体301以及连接到主体301从而能够穿戴在腕部上的表带302。通常,移动终端300可被配置为包括与图1A至图1C的移动终端100相同或相似的特征。
主体301可包括具有特定外观的壳体。如图所示,所述壳体可包括第一壳体301a和第二壳体301b,这两个壳体协作地限定用于容纳各种电子组件的内部空间。其它配置也是可能的。例如,另选地,可实现单个壳体,这种壳体被配置为限定内部空间,从而利用单一体来实现移动终端300。
手表型移动终端300可执行无线通信,用于无线通信的天线可安装在主体301中。该天线可利用壳体来延伸其功能。例如,包含导电材料的壳体可电连接到天线,以延伸接地面积或辐射面积。
显示单元351被示出为位于主体301的前侧,使得用户可看到显示的信息。在一些实施方式中,显示单元351包括触摸传感器,使得显示单元可用作触摸屏。如图所示,窗口351a被设置在第一壳体301a上,以与第一壳体301a一起形成终端主体的前表面。
图示的实施方式包括设置在主体301上的音频输出模块352、相机321、麦克风322和用户输入单元323。当显示单元351被实现为触摸屏时,附加功能键可被最小化或消除。例如,当实现触摸屏时,用户输入单元323可被省略。
表带302通常穿戴在用户的腕部上,并且可由柔性材料制成以方便装置的穿戴。作为一个示例,表带302可由毛皮、橡胶、硅、合成树脂等制成。表带302还可被配置为可从主体301拆卸。因此,可根据用户的偏好来用各种类型的表带替换表带302。
在一个配置中,表带302可用于延伸天线的性能。例如,表带中可包括接地延伸部分,该接地延伸部分电连接到天线以延伸接地面积。表带302可包括系紧件302a。系紧件302a可被实现为扣环型、按扣钩结构、型等,并且包括柔性部分或材料。附图示出利用扣环实现系紧件302a的示例。
图4是示出根据另一示例性实施方式的眼镜型移动终端400的一个示例的立体图。眼镜型移动终端400可穿戴在人体的头上,并且设置有框架(壳体、外壳等)。框架可由柔性材料制成以便于穿戴。移动终端400的框架被示出为具有可由相同或不同的材料制成的第一框架401和第二框架402。通常,移动终端400可被配置为包括与图1A至图1C的移动终端100相同或相似的特征。
框架可被支撑于头上,并且限定用于安装各种组件的空间。如图所示,诸如控制模块480、音频输出模块452等的电子组件可被安装到框架部分。另外,用于覆盖左眼和右眼中的任一者或二者的透镜403可按照可拆卸方式连接到框架部分。
控制模块480控制设置在移动终端400中的各种电子组件。控制模块480可被理解为与上述控制器180对应的组件。图4示出了控制模块480被安装在头一侧的框架部分中,但是其它位置也是可能的。
显示单元451可被实现为头戴式显示器(HMD)。HMD表示显示器被安装到头部以直接在用户的眼睛前面显示图像的显示技术。为了在用户穿戴眼镜型移动终端400时直接在用户的眼睛前面提供图像,显示单元451可被设置为与左眼和右眼中的任一者或二者对应。图4示出了显示单元451被设置在与右眼对应的部分上以输出用户的右眼可看到的图像。
显示单元451可利用棱镜将图像投影到用户的眼睛上。另外,该棱镜可由光学透明材料形成,使得用户可看到投影的图像以及用户前面的一般视野(用户通过眼睛看到的范围)二者。这样,通过显示单元451输出的图像可在与一般视野交叠的同时被看到。移动终端400可通过利用显示器将虚拟图像叠加在真实图像或者背景上来提供增强现实(AR)。
相机421可与左眼和右眼中的任一者或二者相邻以拍摄图像。由于相机421与眼睛相邻,所以相机421可获取用户当前正在看的场景。相机421可设置在移动终端的任何位置处。在一些实施方式中,可使用多个相机421。这样的多个相机421可用于获取立体图像。
眼镜型移动终端400可包括用户输入单元423a和423b,其可各自由用户操纵以提供输入。用户输入单元423a和423b可采用允许经由触觉输入来输入的技术。典型的触觉输入包括触摸、推按等。用户输入单元423a和423b被示出为当其位于框架部分和控制模块480上时分别能够按照推按方式和触摸方式来操作。
如果需要,移动终端400可包括将输入声音处理成电音频数据的麦克风以及用于输出音频的音频输出模块452。音频输出模块452可被配置为按照一般音频输出方式或者骨传导方式来生成音频。当音频输出模块452按照骨传导方式来实现时,音频输出模块452可在用户穿戴移动终端400时被紧密地附着到头部,并且振动用户的颅骨以传递声音。
现在更详细地描述可随所描述的各种移动终端一起操作的通信系统。这种通信系统可被配置为使用各种不同的空中接口和/或物理层中的任一个。由通信系统使用的这些空中接口的示例包括频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、通用移动电信系统(UMTS)(包括长期演进(LTE)、LTE-A(高级长期演进))、全球移动通信系统(GSM)等。
仅作为非限制性示例,进一步的描述将涉及CDMA通信系统,但这些教导同样适用于包括CDMA无线通信系统以及OFDM(正交频分复用)无线通信系统的其它系统类型。CDMA无线通信系统通常包括一个或更多个移动终端(MT或用户设备、UE)100、一个或更多个基站(BS、NodeB或演进NodeB)、一个或更多个基站控制器(BSC)以及移动交换中心(MSC)。MSC被配置为与传统公共电话交换网络(PSTN)和BSC接口连接。BSC经由回程线路连接到基站。回程线路可根据包括(例如)E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL或xDSL的多种已知接口中的任一种来配置。因此,CDMA无线通信系统中可包括多个BSC。
各个基站可包括一个或更多个扇区,各个扇区具有全向天线或者指向径向背离基站的特定方向的天线。另选地,各个扇区可包括两个或更多个不同的天线。各个基站可被配置为支持多个频率指派,各个频率指派具有特定频谱(例如,1.25MHz、5MHz等)。
扇区与频率指派的交叉点可被称作CDMA信道。基站也可被称作基站收发机子系统(BTS)。在一些情况下,术语“基站”可用于共同指代BSC以及一个或更多个基站。基站还可被称作“小区站点”。另选地,给定基站的各个扇区可被称作小区站点。
广播发送机(BT)向在系统内操作的移动终端100发送广播信号。通常在移动终端100内部配置图1A的广播接收模块111以接收由BT发送的广播信号。
例如,用于对移动终端100的位置进行定位的全球定位系统(GPS)卫星可与CDMA无线通信系统协作。可利用比两个卫星更多或更少的卫星来获得有用位置信息。将理解,另选地,可实现其它类型的位置检测技术(即,除了GPS定位技术以外或代替GPS定位技术可使用的定位技术)。如果需要,至少一个GPS卫星可另选地或另外地被配置为提供卫星DMB传输。
位置信息模块115通常被配置为检测、计算或者以其它方式标识移动终端的位置。例如,位置信息模块115可包括全球定位系统(GPS)模块、Wi-Fi模块或这二者。如果需要,位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起作用,以获得与移动终端的位置有关的数据。
典型的GPS模块115可测量准确时间以及距三个或更多个卫星的距离,并且基于所测量的时间和距离根据三角法准确地计算移动终端的当前位置。可使用从三个卫星获取距离和时间信息并且利用单个卫星执行误差校正的方法。具体地讲,除了纬度、经度和高度值的位置以外,GPS模块还可根据从卫星接收的位置信息获取准确时间以及三维速度信息。
另外,GPS模块可实时地获取速度信息,以计算当前位置。通常,当移动终端位于卫星信号的盲点处(例如,位于室内空间)时,可能损害测量的位置的准确性。为了使这些盲点的影响最小化,可使用诸如Wi-Fi定位系统(WPS)的另选或补充位置技术。
Wi-Fi定位系统(WPS)是指使用Wi-Fi作为跟踪移动终端100的位置的技术的基于无线局域网(WLAN)的位置确定技术。该技术通常包括在移动终端100中使用Wi-Fi模块,并且无线接入点与该Wi-Fi模块通信。Wi-Fi定位系统可包括Wi-Fi位置确定服务器、移动终端、连接到移动终端的无线接入点(AP)以及存储有无线AP信息的数据库。
连接到无线AP的移动终端可将位置信息请求消息发送给Wi-Fi位置确定服务器。Wi-Fi位置确定服务器基于移动终端100的位置信息请求消息(或信号)提取连接到移动终端100的无线AP的信息。无线AP的信息可通过移动终端100发送至Wi-Fi位置确定服务器,或者可从无线AP发送至Wi-Fi位置确定服务器。
基于移动终端100的位置信息请求消息提取的无线AP的信息可包括媒体访问控制(MAC)地址、服务集标识(SSID)、接收信号强度指示符(RSSI)、参考信号接收功率(RSRP)、参考信号接收质量(RSRQ)、信道信息、隐私、网络类型、信号强度、噪声强度等中的一个或更多个。
Wi-Fi位置确定服务器可如上所述接收连接到移动终端100的无线AP的信息,并且可从预先建立的数据库提取与连接到移动终端的无线AP对应的无线AP信息。存储在数据库中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、隐私、网络类型、纬度和经度坐标、无线AP所在的建筑物、楼层号、详细室内位置信息(可用的GPS坐标)、AP所有者的地址、电话号码等的信息。为了在位置确定处理期间去除利用移动AP或非法MAC地址提供的无线AP,Wi-Fi位置确定服务器可按照高RSSI的顺序仅提取预定数量的无线AP信息。
然后,Wi-Fi位置确定服务器可利用从数据库提取的至少一个无线AP信息来提取(分析)移动终端100的位置信息。
提取(分析)移动终端100的位置信息的方法可包括小区ID方法、指纹方法、三角方法、界标方法等。小区ID方法用于确定由移动终端收集的周边无线AP信息当中的具有最大信号强度的无线AP的位置,作为移动终端的位置。小区ID方法是复杂度最小,不需要附加成本,并且可快速获取位置信息的实现方式。然而,在小区ID方法中,当无线AP的安装密度较低时,定位精度可能落于期望的阈值以下。
指纹方法用于通过从服务区域选择参考位置来收集信号强度信息,并且基于所收集的信息利用从移动终端发送来的信号强度信息跟踪移动终端的位置。为了使用指纹方法,常见的是将无线电信号的特性以数据库的形式预存储。
三角方法用于基于至少三个无线AP的坐标与移动终端之间的距离来计算移动终端的位置。为了测量移动终端与无线AP之间的距离,可将信号强度转换为距离信息,针对发送的无线信号可采取到达时间(ToA)、到达时间差(TDoA)、到达角(AoA)等。
界标方法用于利用已知的界标发送机来测量移动终端的位置。除了这些定位方法以外,可使用各种算法来提取(分析)移动终端的位置信息。这些提取的位置信息可通过Wi-Fi位置确定服务器发送给移动终端100,从而获取移动终端100的位置信息。
移动终端100可通过连接到至少一个无线AP来获取位置信息。获取移动终端100的位置信息所需的无线AP的数量可根据移动终端100所在的无线通信环境而不同地改变。
如先前参照图1A描述的,移动终端可被配置为包括诸如BluetoothTM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线USB(无线通用串行总线)等的短距离通信技术。
设置在移动终端处的典型NFC模块支持短距离无线通信,短距离无线通信是移动终端之间的不可接触型通信,通常发生在大约10cm内。NFC模块可在卡模式、读取器模式或P2P模式中的一种模式下操作。移动终端100还可包括用于存储卡信息的安全模块,以便NFC模块在卡模式下操作。该安全模块可以是诸如通用集成电路卡(UICC)(例如,订户标识模块(SIM)或通用SIM(USIM))、安全微型SD和记忆棒(sticker)的物理介质、或者嵌入移动终端中的逻辑介质(例如,嵌入式安全元件(SE))。可在NFC模块与安全模块之间执行基于单线协议(SWP)的数据交换。
当NFC模块在卡模式下操作时,移动终端可将一般IC卡上的卡信息发送至外部。更具体地讲,如果具有关于支付卡(例如,信用卡或公交卡)的卡信息的移动终端靠近读卡器,则可执行短距离移动支付。又如,如果存储有关于门禁卡的卡信息的移动终端靠近门禁卡读取器,则进入准许过程可以开始。诸如信用卡、交通卡或门禁卡的卡可按照小应用(applet)的形式包括在安全模块中,安全模块可存储关于安装在其中的卡的卡信息。用于支付卡的卡信息可包括卡号、余额和使用历史等中的任何信息。门禁卡的卡信息可包括用户姓名、用户编号(例如,学号或员工编号)、进入历史等中的任何信息。
当NFC模块在读取器模式下操作时,移动终端可从外部标签读取数据。由移动终端从外部标签接收的数据可被编码为由NFC论坛定义的NFC数据交换格式。NFC论坛总体上定义了四种记录类型。更具体地讲,NFC论坛定义了诸如智能海报、文本、统一资源标识符(URI)和总体控制的四种记录类型定义(RTD)。如果从外部标签接收的数据是智能海报型,则控制器可执行浏览器(例如,互联网浏览器)。如果从外部标签接收的数据是文本型,则控制器可执行文本查看器。如果从外部标签接收的数据是URI型,则控制器可执行浏览器或发起呼叫。如果从外部标签接收的数据是总体控制型,则控制器可根据控制内容执行适当操作。
在NFC模块在P2P(对等)模式下操作的一些情况下,移动终端可与另一移动终端执行P2P通信。在这种情况下,逻辑链路控制协议(LLCP)可应用于P2P通信。为了P2P通信,可在移动终端与另一移动终端之间生成连接。该连接可被分类为在交换一个分组之后结束的无连接模式以及连续交换分组的面向连接模式。对于典型的P2P通信,可交换诸如电子型名片、地址信息、数字照片和URL的数据、蓝牙连接、Wi-Fi连接的设置参数等。可在交换小容量的数据时有效地使用P2P模式,因为NFC通信的可用距离相对较短。
此外,尽管本发明的实施方式在移动终端例如对应于如图1A至图1C所示的移动终端100的情况下描述,但是根据实施方式,移动终端可对应于图2中的移动终端200、图3中的移动终端300和图4中的移动终端400中的至少一个。
根据本发明的一个实施方式,两个移动终端100中的指定一个提供VR图像,另一移动终端100可接收VR图像。为了清晰,提供VR图像的移动终端100被命名为第一移动终端100或者发送方移动终端100,接收VR图像的移动终端100被命名为第二移动终端100和接收方移动终端100。
在这种情况下,VR图像对应于视角等于或大于预设度数的图像。另选地,根据实施方式,VR图像可对应于具有等于或大于预设度数的视角以及用户所识别(感知)的深度的图像。所述深度可按照VR图像被渲染为三维图像的方式通过用户的眼睛来识别(感知)。VR图像可对应于静止图像和视频图像中的一个。在一些情况下,VR图像可被命名为VR内容。此外,VR图像的视角通常大于内置于移动终端100中的相机121的视角,并且可等于或大于例如110度。
接收方移动终端100可在被安装在单独的VR装置中的情况下将VR图像显示在显示单元151上。当VR装置中不包括显示单元时,接收方移动终端100可被直接安装在VR装置中。并且,接收方移动终端100可经由有线/无线方式连接到VR装置。
图5是示出根据本发明的一个实施方式的连接到接收方移动终端的VR装置的一个示例的示图。根据本发明的一个实施方式,VR装置500包括第一壳体510和第二壳体520。VR装置500还可包括要穿戴在用户的头上的箍带。
第一壳体510可至少部分地与第二壳体520分离。第一壳体510可在内部包括能够装载移动终端100的装载部。移动终端100可被布置为使得移动终端100的后侧靠近第一壳体510,移动终端100的前侧靠近第二壳体520。在移动终端100被安装在VR装置500中的情况下,第一壳体510可具有用于暴露移动终端100的后相机121的孔511。根据实施方式,第一壳体510包括用于连接移动终端100的端口。
第二壳体520是当用户穿戴VR装置500时与用户的头部触摸的部分。第二壳体520包括当用户将VR装置500穿戴在头上时与用户的眼睛对应的透镜521。例如,透镜521可通过包括鱼眼透镜、广角透镜等来实现以便增强用户的视野。
根据实施方式,第二壳体520可在当用户穿戴VR装置500时与用户的头部触摸的部分上具有接近传感器。利用该接近传感器,VR装置500可确定用户是否穿戴VR装置500。此外,基于箍带是否被拉扯以及拉扯箍带的强度,VR装置500可确定用户是否穿戴VR装置500。
VR装置500包括感测单元,其包含陀螺仪传感器、运动传感器等。VR装置500可基于感测单元所提供的感测数据来确定穿戴VR装置500的用户的头部的移动、位置或者旋转以及移动、位置或者旋转的程度。
此外,根据实施方式,VR装置500包括用于跟踪穿戴VR装置500的用户的眼睛的眼睛跟踪模块。例如,眼睛跟踪模块包括用于获得用户的眼睛的图像的相机以及用于在用户的眼睛上辐射红外光的IR传感器。VR装置500可基于相机所获得的图像通过所辐射的红外光来确定显示在用户的眼睛中的点的位置和移动,从而跟踪用户的眼睛。
另外,根据实施方式,VR装置500还可包括用于接收用户命令的用户接口单元。例如,用于接收用户的触摸命令的触摸板可设置在第二壳体520的外侧表面上。
图6是示出根据本发明的一个实施方式的发送方移动终端将VR图像提供给接收方移动终端的方法的一个示例的示图。在本实施方式中,发送方移动终端100被称作第一移动终端100A,接收方移动终端100被称作第二移动终端100B。
参照图6的(a),第一移动终端100A生成VR图像。生成VR图像的方法将稍后参照图10以及后面的图来详细描述。第一移动终端100A将用于请求用于提供VR图像的视频呼叫的第一信号发送给第二移动终端100B。根据实施方式,可通过通信提供商服务器将第一信号从第一移动终端100A发送给第二移动终端100B。在将第一信号发送给第二移动终端100B之后,第一移动终端100A可生成VR图像。
参照图6的(b),第二移动终端100B可接收第一信号。如果第二移动终端100B的用户从第一移动终端接收到用于提供VR图像的视频呼叫,则第二移动终端100B的用户将第二移动终端100B安装在VR装置500中并且穿戴安装了第二移动终端100B的VR装置500。如果第二移动终端100B被完全安装在VR装置500中,则第二移动终端100B可将用于连接视频呼叫的第二信号发送给第一移动终端100A。另选地,根据实施方式,第二移动终端100B可紧接着许可连接请求之后将第二信号发送给第一移动终端100A。并且,在第二移动终端100B的用户尝试穿戴VR装置500或者正在穿戴VR装置500的情况下第二移动终端100B可在许可连接请求之后将第二信号发送给第一移动终端100A。
在以下情况下第二移动终端100B可确定第二移动终端100B被安装在VR装置500中。首先,通过接口单元160检测到VR装置500的连接。其次,从VR装置500向第二移动终端100B发送预设信号。第三,从第二移动终端100B的用户输入预设命令。
如果从第二移动终端100B接收到第二信号,则第一移动终端可将所生成的VR图像发送给第二移动终端100B。在这种情况下,第一移动终端100A将所生成的图像转换为左眼图像和右眼图像并且可将所转换的VR图像发送给第二移动终端100B。此外,第一移动终端100A也可将VR图像的深度信息一起发送给第二移动终端。
第二移动终端100B将显示单元151分割成左眼显示区域和右眼显示区域。此外,第二移动终端可通过左眼显示区域输出从第一移动终端100A发送的左眼VR图像,并且通过右眼显示区域输出从第一移动终端100A发送的右眼VR图像。在这种情况下,第二移动终端100B可基于从第一移动终端100A发送的深度信息使得VR图像能够通过穿戴VR装置500的用户的眼睛被识别为具有适当的深度。
由于通过第二移动终端100B显示的VR图像被设置在VR装置500中的透镜521扭曲,所以第二移动终端的用户的视野(FOV)可变宽。根据本实施方式,第二移动终端100B的用户可体验虚拟现实,就像实际上处于第一移动终端100A的用户正在拍摄图像的位置中一样。
图7是示出根据本发明的一个实施方式的用于通过VR装置体验虚拟现实的VR图像的一个示例的示图。为了利用VR装置500来体验虚拟现实,不使用一般图像(或内容)而是使用VR图像(或VR内容)。具体地讲,为了使穿戴VR装置500的用户具有真实感和空间感,就像用户实际上在一个位置一样,使用视角近似等于或大于110度的VR图像。通常,所述VR图像可通过将利用多个相机从多个角度拍摄的照片彼此匹配来生成。另选地,利用具有鱼眼透镜或光学透镜的相机拍摄的照片可用作VR图像。
根据本发明的一个实施方式,提供了一种在没有单独的设备的情况下利用通过移动终端100的相机121拍摄的图像生成VR图像的方法。然而,用户利用通过相机121获得的图像通过VR装置500体验虚拟现实受到限制仅是因为内置于移动终端100中的相机121不具有宽视角。因此,优选的是,利用移动终端100的相机121生成视角等于或大于预设度数的VR图像。
图8是示出根据本发明的一个实施方式的第一移动终端将VR图像发送给第二移动终端的方法的一个示例的示图。如前面参照图6的描述中所提及的,根据本发明的一个实施方式,第一移动终端100A将VR图像发送给第二移动终端100B。在这种情况下,第一移动终端100A可转换VR图像,然后将所转换的VR图像发送给第二移动终端100B,以便于使得穿戴安装了第二移动终端100B的VR装置500的用户能够通过三维效果体验虚拟现实。
第一移动终端100A可将VR图像810转换为左眼VR图像821和右眼VR图像820,然后将所转换的图像821和822发送给第二移动终端100B。第一移动终端100A可将VR图像810的深度信息一起发送给第二移动终端100B。
例如,当按照相机121的位置改变的方式拍摄图像时,第一移动终端100A可利用包括在图像中的彼此相同的对象之间的视差来提取深度信息。并且,第一移动终端100A可基于从设置在第一移动终端100A中的红外传感器辐射的信号是否延迟来提取深度信息。此外,第一移动终端100A可单独地利用包括在第一移动终端100A中的深度相机来提取深度信息。
第二移动终端100B可基于深度信息适当地使从第一移动终端100A发送来的VR图像821和822偏移,然后通过显示单元151输出偏移的VR图像821和822。另选地,第二移动终端100B可基于深度信息对从第一移动终端100A发送来的VR图像821和822执行渲染,然后通过显示单元151输出所渲染的VR图像821和822。在第二移动终端100B中,左眼VR图像821可被输出给左眼显示区域,右眼VR图像822可被输出给右眼显示区域。穿戴VR装置500的用户可按照左眼VR图像821和右眼VR图像822彼此组合的方式根据聚焦的图像的位置感觉到距离感。
接下来,图9是示出根据本发明的一个实施方式的第一移动终端将VR图像发送给第二移动终端的方法的另一示例的示图。如前面参照图6的描述中所提及的,根据本发明的一个实施方式,第一移动终端100A将VR图像发送给第二移动终端100B。
在本实施方式中,假设两个相机121设置在第一移动终端100A中以便与用户的双眼之间的距离对应,并且分别利用这两个相机121来生成VR图像。第一移动终端100A将利用第一相机121获得的第一VR图像911以及利用第二相机121获得的第二VR图像912发送给第二移动终端100B。假设第一相机121被设置在第一移动终端100A中与用户的左眼对应的位置处,第二相机121被设置在第一移动终端100A中与用户的右眼对应的位置处。
第二移动终端100B可将从第一移动终端100A发送来的第一VR图像911输出给左眼显示区域,将从第一移动终端100A发送来的第二VR图像912输出给右眼显示区域。由于第一相机121和第二相机121按照上述两个相机之间的距离对应于用户的双眼之间的距离的方式设置,所以穿戴VR装置500的用户可从第一VR图像911和第二VR图像912感觉到距离感。
图10是示出根据本发明的一个实施方式的将VR图像从第一移动终端发送给第二移动终端的方法的一个示例的示图。第一移动终端100A的控制器180通过无线通信单元110将请求用于提供VR图像的视频呼叫的第一信号发送给第二移动终端100B(S1010)。第一信号包括:呼叫信号,请求用于提供VR图像的视频呼叫;以及除呼叫信号以外的信号(例如,与文本消息对应的信号),告知请求用于提供VR图像的视频呼叫。
如果第二移动终端100B的控制器180通过无线通信单元110检测到第一信号,则第二移动终端100B的控制器180可输出与第一信号对应的数据。例如,第二移动终端100B的控制器180可将与第一信号对应的视频数据输出给显示单元151,将与第一信号对应的音频数据输出在音频输出单元152上,并且将与第一信号对应的振动数据输出给触觉模块153。例如,当第一信号包括呼叫信号时,第二移动终端100B的控制器180可在显示单元151上显示用于接收呼叫的画面。
输出给第二移动终端100B的显示单元151的视频数据包括用于指引第二移动终端100B的用户穿戴VR装置500的指引消息。第二移动终端100B的用户将第二移动终端100B连接到VR装置500,然后将VR装置500穿戴在其头上(S1020)。第二移动终端100B的控制器180可检测到第二移动终端100B已连接到VR装置500。例如,在以下情况下,第二移动终端100B的控制器180可检测到第二移动终端100B已连接到VR装置500。首先,检测到第二移动终端100B的用户在将第二移动终端100B连接到VR装置500之后输入的预设信号。其次,通过接口单元160检测到与VR装置500的连接。第三,从VR装置500接收到预设信号。
此外,第一移动终端100A的控制器180生成VR图像(S1030)。在已将第一信号发送给第二移动终端100B之后,第一移动终端100A的控制器180可生成VR图像。第一移动终端100A的控制器180可通过将通过相机121获得的多个图像彼此匹配来生成VR图像。由于第二移动终端100B的用户在仅利用相机121的视角体验虚拟现实方面受到限制,所以应该通过将利用相机121获得的多个图像彼此匹配来生成视角等于或大于预设度数的VR图像。生成VR图像的方法将参照图12至图16来更详细地描述。
所生成的VR图像包括通过相机121实时(或者在各个预设时间)获得的动态图像以及通过相机121获得的静态图像。根据实施方式,动态图像可被处理以具有由用户识别的深度。如果检测到第二移动终端100B连接到VR装置500,则第二移动终端100B的控制器180可通过无线通信单元110将许可用于提供VR图像的视频呼叫的第二信号发送给第一移动终端100A(S1040)。第二信号包括指示第二移动终端100B已完全连接到VR装置500的信息。
根据实施方式,第二移动终端100B可在VR装置的安装步骤(S1020)之前通过将指示用户正在穿戴VR装置500的信息包括在第二信号中来将第二信号发送给第一移动终端100A,而不管用于提供VR图像的视频呼叫的许可。在已接收第二信号或者发送第一信号之后,第一移动终端100A可生成VR图像,然后转换所生成的VR图像。并且,第一移动终端100A可根据从第二移动终端100B接收到指示VR装置安装已完成的信号来将所转换的VR图像发送给第二移动终端100B。
如果第一信号包括呼叫信号,则第二信号包括许可用于提供VR图像的视频呼叫的信号。并且,如果第一信号包括除呼叫信号以外的预设信号,则第二信号包括请求用于提供VR图像的视频呼叫的信号。第一移动终端100A的控制器180根据第二信号将VR图像转换为左眼VR图像和右眼VR图像(S1050),然后通过无线通信单元110将所转换的VR图像发送给第二移动终端100B(S1060)。
第二移动终端100B的控制器180通过无线通信单元110接收VR图像,将显示单元151分割成左眼显示区域和右眼显示区域,然后将左眼VR图像输出给左眼显示区域,将右眼VR图像输出给右眼显示区域(S1070)。第二移动终端100B的用户可通过透过VR装置500的透镜521观看输出到第二移动终端100B的显示单元151的VR图像来感觉到空间感和距离感。因此,第二移动终端100B的用户可体验到虚拟现实,就像实际上处于第一移动终端100A的用户正在拍摄图像的位置一样。
接下来,图11是示出根据本发明的一个实施方式的第一移动终端请求用于提供VR图像的视频呼叫的方法的一个示例的示图。第一移动终端100A的控制器180启动联系人应用(或呼叫应用)并且在显示单元151上显示启动画面1100。启动画面1100可以是与第二移动终端100B的用户对应的画面。
启动画面1100包括:第一菜单选项1110,用于请求与第二移动终端100B的语音呼叫;第二菜单选项1120,用于请求与第二移动终端100B的一般视频呼叫;第三菜单选项1130,用于请求与第二移动终端100B的视频呼叫以提供VR图像;以及第四菜单选项1140,用于向第二移动终端100B发送文本消息。
第一移动终端100A的控制器180根据选择第三菜单选项1130的命令通过无线通信单元110将请求用于提供VR图像的视频呼叫的信号发送给第二移动终端100B,激活相机121,然后可利用通过激活的相机121获得的多个图像来生成VR图像。
图12是示出根据本发明的一个实施方式的第一移动终端生成VR图像的方法的一个示例的示图。第一移动终端100A的控制器180可通过将由相机121获得的多个图像彼此匹配来生成VR图像。第一移动终端100A的控制器180可在将请求用于提供VR图像的视频呼叫的信号发送给第二移动终端100B之后生成VR图像。并且,第一移动终端100A的控制器180可在生成VR图像期间根据预设命令将请求用于提供VR图像的视频呼叫的信号发送给第二移动终端100B。
参照图12的(a),第一移动终端100A的控制器180可根据选择用于将VR图像提供给第二移动终端100B的视频呼叫的命令将第一画面1200输出给显示单元151。第一画面1200包括由激活的相机121根据选择视频呼叫的命令获得的第一图像1210。第一图像1210可对应于由相机121实时获得的视频图像(动态图像)。
此外,第一画面1200包括指引UI,该指引UI用于指引获得用于生成VR图像的多个图像的方法。例如,第一画面1200包括指引消息1211和图形1212,其指示相机121的移动方向以便获得用于生成VR图像的图像。
参照图12的(b),第一移动终端100A的用户基于指引消息1211和图形1212来改变相机121的位置(角度)。与由相机121以改变的位置(角度)获得的第二图像的至少一部分对应的图像(1220)显示在显示单元151上。第一移动终端100A的控制器180分析由相机121获得的第一图像1210和第二图像二者,通过包括在第一图像1210和第二图像二者中的彼此相同的对象之间的边缘分析、颜色分析等来将第一图像1210和第二图像彼此匹配(合成),然后可将所匹配的图像1210和1220显示在显示单元151上。
在这种情况下,显示在显示单元151上的图像1220可对应于静态图像(静止图像),而非视频图像。并且,第一移动终端100A的控制器180可在第一画面1200上显示指示相机121的移动方向的指引消息1221和图形1222,以便指引进一步获得用于生成VR图像的图像的方法。
参照图12的(c),第一移动终端100A的用户基于指引消息1221和图形1222改变相机121的位置(角度)。与由相机121以改变的位置(角度)获得的第三图像的至少一部分对应的图像(1230)显示在显示单元151上。第一移动终端100A的控制器180分析由相机121获得的第一图像1210和第三图像二者,通过包括在第一图像1210和第三图像二者中的彼此相同的对象之间的边缘分析、颜色分析等来将第一图像1210和第三图像彼此匹配(合成),然后可将所匹配的图像1210和1230显示在显示单元151上。
在这种情况下,显示在显示单元151上的图像1230可对应于静态图像(静止图像),而非视频图像。并且,第一移动终端100A的控制器180可在第一画面1200上显示指示相机121的移动方向的指引消息1231和图形1232,以便指引进一步获得用于生成VR图像的图像的方法。
此外,第一移动终端100A的用户可选择包括在第一画面1200中的菜单选项1233。菜单选项1233可对应于请求视频呼叫以将VR图像提供给第二移动终端100B的功能。第一移动终端100A的用户可在生成VR图像之前请求视频呼叫。另选地,第一移动终端100A的用户可在生成VR图像的同时请求视频呼叫。另外,第一移动终端100A的用户可在VR图像的生成基本上完成之后请求视频呼叫。第一移动终端100A的控制器180可在生成VR图像期间根据选择菜单选项1233的命令通过无线通信单元110将请求视频呼叫以提供VR图像的信号发送给第二移动终端。
参照图12的(d),第一移动终端100A的用户基于指引消息1231和图形1232改变相机121的位置(角度)。与由相机121以改变的位置(角度)获得的第四图像的至少一部分对应的图像(1240)显示在显示单元151上。同时,第一移动终端100A可一直请求与第二移动终端100B的视频呼叫。第一移动终端100A的控制器180分析由相机121获得的第一图像1210至第四图像,通过包括在第一图像1210至第四图像中的彼此相同的对象之间的边缘分析、颜色分析等来将第一图像1210至第四图像彼此匹配(合成),然后可将所匹配的图像1210、1220、1230和1240显示在显示单元151上。
在这种情况下,显示在显示单元151上的图像1240可对应于静态图像(静止图像),而非视频图像。并且,第一移动终端100A的控制器180可在第一画面1200上显示指示相机121的移动方向的指引消息1241和图形1242,以便指引进一步获得用于生成VR图像的图像的方法。
参照图12的(e),第一移动终端100A的用户基于指引消息1241和图形1242改变相机121的位置(角度)。与由相机121以改变的位置(角度)获得的第五图像的至少一部分对应的图像(1250)显示在显示单元151上。同时,第一移动终端100A可一直请求与第二移动终端100B的视频呼叫。第一移动终端100A的控制器180分析由相机121获得的第一图像1210至第三图像以及第五图像,通过包括在第一图像1210至第三图像以及第五图像中的彼此相同的对象之间的边缘分析、颜色分析等来将第一图像1210至第三图像以及第五图像彼此匹配(合成),然后可将所匹配的图像1210、1220、1230和1250显示在显示单元151上。在这种情况下,显示在显示单元151上的图像1250可对应于静态图像(静止图像),而非视频图像。
因此,第一移动终端100A的控制器180将第一图像1210与由相机121获得的第五图像匹配,然后可生成视角等于或大于预设度数的VR图像。此外,第一移动终端100A的控制器180可利用诸如关于对象的交叠边界的信息、关于对象的大小的信息等的关于图像的对象信息来从第一图像1210至第五图像提取深度信息。
根据实施方式,第一移动终端100A的控制器可在所生成的VR图像当中的对应VR图像上实时地显示指示第一移动终端100A的用户当前正在利用相机121拍摄图像的区域的指示物1261。在本实施方式中,用于生成VR图像的图像的数量可根据实施方式而不同,本实施方式不限于此。
图13是示出根据本发明的一个实施方式的第一移动终端生成VR图像的方法的一个示例的示意图。具体地讲,图13描述了利用具有从左至右60度的视角以及从上至下45度的视角的第一移动终端的相机121来生成具有从左至右180度的视角以及从上至下180度的视角的VR图像的方法的示例。
参照图13的(a),第一移动终端100A的控制器180利用相机121获得第一图像1310。由于需要第一图像1310以外的多个图像来生成视角等于或大于预设度数的VR图像,所以第一移动终端100A的用户朝着第一图像1310的外侧改变相机121的位置(角度),从而能够进一步获得多个图像。在这种情况下,第一移动终端100A的控制器180可在显示单元151上显示指示用于进一步获得图像的相机121的移动方向的指示物1311,所述图像用于生成VR图像。
参照图13的(b),第一移动终端100A的用户可通过将相机121向右移动预设距离或者将相机121的角度向右改变预设度数来拍摄第二图像1320。第一移动终端100A的控制器180可通过将第一图像1310和第二图像1320匹配来生成具有从左至右120度的视角以及从上至下45度的视角的图像。并且,第一移动终端100A的控制器180可在显示单元151上显示指示用于进一步获得图像的相机121的移动方向的指示物1311,所述图像用于生成VR图像。在这种情况下,例如,由于在生成VR图像时不习惯再从第二图像1320的右侧获得任何图像,所以在显示单元151上可不显示指示第二图像1320的右侧的指示物。
参照图13的(c),第一移动终端100A的用户可通过基于指示物1311所指示的方向移动相机121来另外拍摄第三图像至第五图像1330。第一移动终端100A的控制器180可通过使第一图像至第五图像1310、1320和1330匹配来生成具有从左至右180度的视角以及从上至下90度的视角的图像。并且,第一移动终端100A的控制器180可在显示单元151上显示指示用于进一步获得图像的相机121的移动方向的指示物1311,所述图像用于生成VR图像。
参照图13的(d),第一移动终端100A的用户可通过基于指示物1311所指示的方向移动相机121来另外拍摄第六图像至第九图像1340。第一移动终端100A的控制器180可通过使第一图像至第九图像1310、1320、1330和1340匹配来生成具有从左至右180度的视角以及从上至下180度的视角的VR图像。
图14是示出根据本发明的一个实施方式的被输出以获得第一移动终端用来生成VR图像的图像的指引UI的一个示例的示图。第一移动终端100A的控制器180将由相机121获得的第一图像1410输出给显示单元151。第一图像1410可对应于由相机121实时获得的视频图像(动态图像)。
第一移动终端100A的控制器180可在显示单元151上显示指引UI,该指引UI用于指引获得用于生成VR图像的多个图像的方法。例如,参照图14的(a),第一移动终端100A的控制器180可在显示单元151上显示指示相机121的移动方向的指示物1411,以便获得用于生成视角等于或大于预设度数的VR图像的图像。如果按照第一移动终端100A的用户通过移动相机121来获得图像的方式从用于生成VR图像的图像获得指定图像,则第一移动终端100A的控制器180可在显示单元151上去除与所获得的指定图像对应的指示物1411。
在另一示例中,参照图14的(b),第一移动终端的控制器180可在显示单元151上显示迷你地图型的指引UI 1420,以便获得用于生成视角等于或大于预设度数的VR图像的图像。指引UI 1420包括分别与用于生成VR图像的多个图像当中的到目前为止获得的图像对应的指示物1421和1422。并且,指引UI 1420包括指示相机121的移动方向以获得用于生成VR图像的图像的指示物1423。
第一移动终端100A的控制器180可通过将指示物1421与另一指示物1422相区分,来显示指示物1421和1422中的与当前显示在显示单元151上的图像对应的指示物1421。如果按照第一移动终端100A的用户通过移动相机121来获得图像的方式从用于生成VR图像的图像获得指定图像,则第一移动终端100A的控制器180可在显示单元151上去除与所获得的指定图像对应的指示物1423。
图15是示出根据本发明的一个实施方式的被输出以获得第一移动终端用来生成VR图像的图像的指引UI的另一示例的示图。第一移动终端100A的控制器180将由相机121获得的第一图像1510输出给显示单元151。第一图像1510可对应于由相机121实时获得的视频图像(动态图像)。
第一移动终端100A的控制器180可在显示单元151上显示迷你地图型的指引UI 1520,以便获得用于生成视角等于或大于预设度数的VR图像的图像。指引UI 1420包括分别与用于生成VR图像的多个图像当中的到目前为止获得的图像对应的指示物1521和1522。例如,指示物1521和1522中的每一个可对应于通过按照预设比率减小由相机121获得的各个图像而得到的图像。
第一移动终端100A的控制器180可通过将指示物1521与另一指示物1522相区分,来显示指示物1521和1522中的与当前显示在显示单元151上的图像对应的指示物1521。此外,指引UI 1520包括指示相机121的移动方向以获得用于生成VR图像的图像的指示物1523。如果按照第一移动终端100A的用户通过移动相机121来获得图像的方式从用于生成VR图像的图像获得指定图像,则第一移动终端100A的控制器180可在显示单元151上去除与所获得的指定图像对应的指示物1523。
图16是示出根据本发明的一个实施方式的由第一移动终端生成的VR图像的一个示例的示图。参照图16,第一移动终端100A的控制器180可利用由相机121获得的多个图像来生成VR图像1600。如在先前参照图12至图15的描述中所提及的,VR图像1600可如下生成。首先,第一移动终端100A的用户通过改变相机121的位置(角度)来拍摄多个图像。其次,第一移动终端100A的控制器180将所拍摄的多个图像匹配。
VR图像1600包括由相机121实时获得的动态图像1620。并且,VR图像1600中除了与动态图像1620对应的区域以外的区域可对应于静态图像。根据实施方式,第一移动终端100A的控制器180可在VR图像1600上显示指示VR图像1600中的动态图像1620的区域的指示物1620。
根据实施方式,如果第一移动终端100A的用户在基本上生成VR图像1600之后改变相机121的位置,则VR图像1600的至少一部分可被更新为新的图像。并且,动态图像1620的区域可被更新为通过改变了位置的相机121获得的新的动态图像。此外,与动态图像1620对应的区域可用静态图像填充。另外,由于第一移动终端100A的用户改变相机121的位置,所以静态图像的至少一部分可被再次拍摄。在这种情况下,如果再次拍摄的图像的可靠性高于现有的静态图像,则第一移动终端100A的控制器180可利用再次拍摄的静态图像来更新现有的静态图像。在这种情况下,图像的可靠性可由图像的清晰度确定。
此外,根据实施方式,第一移动终端100A的控制器180给予VR图像1600内的静态图像的预设部分以运动效果。在这种情况下,所述运动效果意指给予静态图像以便使得用户能够感觉到实际上与没有运动的图像对应的静态图像的预设部分中的重复运动的视觉效果。
具体地讲,第一移动终端100A的控制器180检测指示由相机121获得以生成VR图像1600的图像的重复运动的部分1630(例如,与波浪的运动对应的部分),获得存在于所检测的部分1630中的重复运动的周期,然后可在实现包括所检测的部分1630作为VR图像1600内的静态图像的图像的情况下给予视觉效果以使得所检测的部分1630的运动能够根据所获得的周期而重复。例如,第一移动终端100A的控制器180从由相机121获得的图像提取指示重复运动的部分1630,然后可仅重复地播放VR图像1600内的与从相机121所获得的图像提取的部分1630对应的对象的区域。因此,如果第二移动终端100B的用户在穿戴VR装置500的情况下观看VR图像1600,则第二移动终端100B的用户可感觉到部分1630中的波浪的运动,尽管VR图像1600的部分1630并不对应于实时获得的动态图像。
接下来,图17是示出根据本发明的一个实施方式的在第一移动终端与第二移动终端之间执行视频呼叫以提供VR图像的处理的一个示例的示图。参照图17的(a),第一移动终端100A的控制器180根据用户命令通过无线通信单元110将请求视频呼叫以用于提供VR图像的第一信号发送给第二移动终端100B。
根据用户命令,第一移动终端100A的控制器180激活相机121,然后在显示单元151上显示利用所激活的相机121获得的图像1710。图像1710可对应于所生成的VR图像的至少一部分。此外,第一移动终端100A的控制器180可在显示单元151上显示指示正在请求与第二移动终端100B的视频呼叫的信息1711。并且,第一移动终端100A的控制器180可在显示单元151上显示指示已请求第二移动终端100B的用户穿戴VR装置500的信息1712。
此外,第一移动终端100A的控制器180可在显示单元151上显示用于取消对与第二移动终端100B的视频呼叫的请求的菜单选项1713。参照图17的(b),第二移动终端100B的控制器180在显示单元151上根据从第一移动终端100A发送来的第一信号将与用于提供VR图像的视频呼叫对应的画面1720输出给显示单元151。画面1720包括指示第一移动终端100A已请求用于提供VR图像的视频呼叫的信息1721。并且,画面1720包括指引VR装置500穿戴的信息1722。根据实施方式,画面1720包括通过第一移动终端100A的相机121获得的图像的至少一部分。此外,画面1720还可包括用于取消来自第一移动终端100A的视频呼叫请求的菜单选项1723。
参照图17的(c),第二移动终端100B的用户将第二移动终端100B连接到VR装置500,然后将VR装置500穿戴在头上。第二移动终端100B的控制器180可检测第二移动终端100B是否连接到VR装置500。如果检测到第二移动终端100B与VR装置500之间的连接,则第二移动终端100B的控制器180可通过无线通信单元110将许可提供VR图像的视频呼叫请求的第二信号发送给第一移动终端100A。
此外,在图17的(a)至图17的(c)的处理中,第一移动终端100A可生成VR图像。由于生成VR图像的处理与先前参照图12至图16的描述中所提及的处理相同,所以省略详细描述。
参照图17的(d),第一移动终端100A的控制器180可根据第二信号在显示单元151上显示画面1730。例如,画面1730包括指示第二移动终端100B的用户已完成VR装置500穿戴的信息1731。并且,画面1730包括与所生成的VR图像的至少一部分对应的图像1732。例如,图像1732包括VR图像中的由相机121实时获得的动态图像。
并且,第一移动终端100A的控制器180将所生成的VR图像转换为左眼VR图像和右眼VR图像,然后可通过无线通信单元110将所转换的VR图像发送给第二移动终端100B。在用于提供VR图像的视频呼叫期间,第一移动终端100A的控制器180周期性地、非周期性地或者实时地生成/更新VR图像,然后可将所生成/更新的VR图像发送给第二移动终端100B。
参照图17的(e),第二移动终端100B的控制器180将从第一移动终端100A发送来的VR图像输出到显示单元151。第二移动终端100B的用户可透过VR装置500的透镜521看到VR图像1740。VR图像1740具有等于或大于预设度数的视角以及由第二移动终端100B的用户识别的指定深度。
图18是示出根据本发明的一个实施方式的在视频呼叫期间显示在第一移动终端上的画面和显示在第二移动终端上的画面的示例的示图。参照图18的(a),第一移动终端100A的控制器180可在与第二移动终端100B的视频呼叫期间将与所生成的VR图像的至少一部分对应的图像1810输出到显示单元151。例如,图像1810可对应于VR图像中的由相机121实时获得的动态图像。
并且,第一移动终端100A的控制器180可在显示单元151上显示与VR图像对应的附加信息1820。例如,附加信息1820包括通过按照预设比率减小VR图像而得到的图像1821、用于指示VR图像中的动态图像的位置的第一指示物1822以及用于指示VR图像中的由第二移动终端100B的用户观看的区域的第二指示物1823。第一移动终端的控制器180可通过无线通信单元110周期性地或者非周期性地从第二移动终端100B接收关于第二移动终端100B的用户观看VR图像中的哪一区域的信息。例如,如果VR图像中的第二移动终端的用户所观看的区域的位置(或方向)改变超过预设度数,则第一移动终端100A的控制器180可从第二移动终端100B接收相关信息。第二移动终端100B可通过基于通过感测单元140感测的数据检测连接到第二移动终端100B的VR装置500的运动来检测第二移动终端的用户的头部运动。并且,第二移动终端100B可基于从VR装置500发送的数据来检测第二移动终端100B的用户的头部运动和/或第二移动终端100B的用户的眼睛的运动。
根据本发明的实施方式,第一移动终端100A的用户可容易地识别出对应用户当前通过相机121拍摄VR图像的哪一部分以及第二移动终端100B的用户当前感兴趣地观看VR图像的哪一部分。
另外,参照图18的(b),第二移动终端100B的控制器180在显示单元151上显示从第一移动终端100A发送来的VR图像。第二移动终端100B的用户可观看通过VR装置500的透镜521而扭曲的VR图像1830。根据实施方式,第二移动终端100B的控制器180可在VR图像1830上显示指示VR图像1830中由第一移动终端100A的相机121实时获得的动态图像的位置的指示物1831。因此,第二移动终端100B的用户可容易地识别出VR图像1830的哪一部分对应于实时图像以及VR图像1830的哪一部分对应于预先获得的静态图像。
图19是示出根据本发明的一个实施方式的第一移动终端生成VR图像的方法的另一示例的示图。第一移动终端100A的控制器180可通过将相机121所获得的多个图像的至少一部分匹配来生成VR图像1900。在这种情况下,如果VR图像1900的部分无法仅利用相机121所获得的图像来生成,则第一移动终端100A的控制器180可利用预设方案来实现它。
例如,参照图19的(a),VR图像1900的部分1910无法仅利用相机121所获得的图像来生成,因为可能存在第一移动终端100A的用户由于意外没有拍摄到的部分或者所拍摄的图像的可靠性可能低于预设值。在这种情况下,可通过使与VR图像1900的部分1910相邻的区域直至部分1910模糊或者进行层次处理来填充部分1910。
在另一示例中,参照图19的(b),VR图像1900的部分1920无法仅利用相机121所获得的图像来生成,因为可能存在第一移动终端100A的用户由于意外没有拍摄到的部分或者所拍摄的图像的可靠性可能低于预设值。在这种情况下,可通过将与VR图像1900的部分1920相邻的区域直至部分1920放大来填充部分1920。
在另一示例中,参照图19的(c),VR图像1900的部分1930由于以下原因而无法仅利用相机121所获得的图像来生成。首先,可能存在第一移动终端100A的用户由于意外没有拍摄到的部分。其次,可能存在由于第一移动终端100A的用户通过移动相机121拍摄图像时被物体覆盖的部分而没有拍摄到的部分。在这种情况下,可通过使与VR图像1900的部分1930相邻的区域直至部分1930模糊或者进行层次处理来填充部分1930。
此外,根据本发明的一个实施方式,可在第一移动终端100A与第二移动终端100B之间的一般视频呼叫期间切换为用于提供VR图像的视频呼叫。将参照图20和图21来描述。
图20是示出根据本发明的一个实施方式的在第一移动终端与第二移动终端之间的一般视频呼叫期间切换为用于提供VR图像的视频呼叫的方法的一个示例的示图。图20中的移动终端100可对应于发送方移动终端或接收方移动终端。
参照图20的(a),移动终端100的控制器180在一般视频呼叫期间将与视频呼叫对应的画面输出到显示单元151。该画面包括从与视频呼叫中的另一用户对应的移动终端100发送来的图像2010以及通过对应用户的前相机121获得的图像2020。
移动终端100的控制器180检测将一般视频呼叫切换为用于提供VR图像的视频呼叫的预设命令。例如,所述预设命令可对应于轻敲图像2020两次的命令。另选地,所述预设命令可对应于对弹出消息的许可命令,所述弹出消息用于在从前相机121切换为后相机121的过程中请求切换为输出到显示单元151的VR视频呼叫的配置。
参照图20的(b),移动终端100的控制器180根据预设命令向与另一用户对应的移动终端100发送将一般视频呼叫切换为用于提供VR图像的视频呼叫的信号,然后可显示指示切换为用于提供VR图像的视频呼叫的指引消息。例如,检测到所述预设命令的移动终端100可在用于提供VR图像的视频呼叫中成为发送方移动终端100A。
图21是示出根据本发明的一个实施方式的在第一移动终端与第二移动终端之间的一般视频呼叫期间切换为用于提供VR图像的视频呼叫的情况下显示在第一移动终端和第二移动终端中的每一个上的画面的一个示例的示图。参照图21的(a),第一移动终端100A的控制器180根据将一般视频呼叫切换为用于提供VR图像的视频呼叫的预设命令在显示单元151上显示第一画面2110。
第一画面2110包括由相机121获得的图像,但是与一般视频呼叫不同,可不包括从另一用户的第二移动终端100B发送来的图像。并且,第一移动终端100A的控制器180将请求切换为提供VR图像的视频呼叫的信号发送给第二移动终端100B,然后可生成VR图像。由于生成VR图像的处理与先前参照图12至图16的描述中所提及的处理相同,所以省略详细描述。
此外,第一移动终端100A的控制器180可根据预设命令在第一画面2110上显示指示已请求第二移动终端穿戴VR装置500的信息。
此外,参照图21的(b),第二移动终端100B的控制器180根据从第一移动终端发送来的信号在显示单元151上显示第二画面2120。第二画面2120包括根据切换为用于提供VR图像的视频呼叫指引VR装置500穿戴的消息。并且,第二移动终端100B的控制器180可根据第二移动终端100B与VR装置500之间完成连接,来将许可用于提供VR图像的视频呼叫的信号发送给第一移动终端100A。
由于后一处理类似于先前参照图17的描述中所提及的处理,所以省略详细描述。根据本发明的一个实施方式,可根据第二移动终端100B的用户的动作提供适当反馈。将参照图22来描述。
图22是示出根据本发明的一个实施方式的第二移动终端100B根据用户的动作提供反馈的方法的一个示例的示图。第二移动终端100B的控制器180在显示单元151上显示从第一移动终端100A发送来的VR图像2200。第二移动终端的用户可在穿戴连接了第二移动终端100B的VR装置500的情况下观看VR图像2200。
在本实施方式中,第一移动终端100A的控制器180识别包括在VR图像220中的对象,然后可基于保存在存储器170中的信息来确定对象的特性。例如,第一移动终端100A的控制器180识别包括在VR图像2200中的第一对象2201。如果第一对象2201对应于波浪,则第一移动终端100A的控制器180可基于用于生成VR图像2200的至少一个图像中所包括的第一对象2201的分析结果以及保存在存储器170中的信息来了解该波浪的一般特性(例如,运动特性、声音特性、纹理特性等)。
类似地,第一移动终端100A的控制器180识别包括在VR图像2200中的第二对象2202。如果第二对象对应于木栅栏,则第一移动终端100A的控制器180可了解木栅栏的一般特性(例如,运动特性、强度特性、纹理特性等)。此外,第一移动终端100A的控制器180识别包括在VR图像2200中的第三对象2203。如果第三对象对应于天空,则第一移动终端100A的控制器180可了解天空的一般特性(例如,风特性等)。
第一移动终端100A的控制器180可将包括在VR图像2200中的各个对象的位置以及相应对象的特性之间的映射数据随VR图像2200一起发送给第二移动终端100B。根据实施方式,如果第一移动终端100A的控制器180无法了解哪一个是包括在VR图像2200中的对象,则第一移动终端100A的控制器180可通过对用于VR图像2200以及VR图像2200的生成的多个图像进行分析来了解对应对象的特性(例如,运动特性、权重特性、纹理特性等)。
第二移动终端100B的用户可对通过VR装置500观看的VR图像2200采取指定动作。例如,第二移动终端100B的用户可采取类似于用手触摸通过VR装置500观看的VR图像2200的指定部分的动作。
例如,第二移动终端100B的控制器180激活相机121,检测包括在通过激活的相机121获得的图像中的第二移动终端100B的用户的手,然后可在VR图像2200上显示与所检测到的手的位置对应的图形2210。在另一示例中,第二移动终端100B的控制器180通过接口单元160接收通过包括在VR装置500中(或者连接到VR装置500)的相机获得的图像,检测包括在所接收到的图像中的第二移动终端100B的用户的手,然后可在VR图像2200上显示与所检测到的手的位置对应的图形2210。
又如,VR装置500检测包括在通过包括在VR装置500中(或者连接到VR装置500)的相机获得的图像中的第二移动终端100B的用户的手,然后将与所检测到的手的位置对应的信息发送给第二移动终端100B。第二移动终端100B的控制器180可基于所述信息在VR图像2200上显示与所检测到的手的位置对应的图形2210。
如果与第二移动终端100B的用户的手对应的图形2210位于VR图像2200内的第一对象2201上,则第二移动终端100B的控制器180可基于从第一移动终端100A发送来的关于对象的特性的信息来提供与第一对象2201的特性对应的反馈。例如,第二移动终端100B的控制器180可通过显示单元151输出与波浪的运动对应的预设视觉效果,并且通过音频输出单元152输出与波浪的声音对应的预设音频数据。
此外,如果与第二移动终端100B的用户的手对应的图形2210位于VR图像2200内的第二对象2202上,则第二移动终端100B的控制器180可基于从第一移动终端100A发送来的关于对象的特性的信息来提供与第二对象2202的特性对应的反馈。例如,第二移动终端100B的控制器180可基于木栅栏的强度不生成任何特定视觉改变,就像第二移动终端100B的用户推实际的木栅栏时一样。
另外,如果与第二移动终端100B的用户的手对应的图形2210位于VR图像2200内的第三对象2203上,则第二移动终端100B的控制器180可基于从第一移动终端100A发送来的关于对象的特性的信息来提供与第三对象2203的特性对应的反馈。例如,第二移动终端100B的控制器180可通过音频输出单元152输出与风的声音对应的预设音频数据,并且输出与风的感觉对应的数据,就像第二移动终端100B的用户将手朝着实际天空伸出时一样。在后一种情况下,如果超声波输出单元被内置于第二移动终端100B中,则第二移动终端100B可通过该超声波输出单元将预设数据输出给用户的手。并且,如果超声波输出单元被设置在与第二移动终端100B配对(或连接)的外部装置上,则第二移动终端100B可将预设数据输出给外部装置。
根据本实施方式,第二移动终端100B的用户可感觉就像实际上在VR图像2200的拍摄场景中一样。此外,根据本发明的一个实施方式,可在用于提供VR图像的视频呼叫期间执行第一移动终端100A与第二移动终端100B之间的交互。这将参照图23至图27来描述。
图23是示出根据本发明的一个实施方式的第二移动终端的用户针对第二移动终端的用户所期望的内容请求第一移动终端的用户的方法的一个示例的示图。参照图23的(a),第二移动终端100B的控制器180显示从第一移动终端100A发送来的VR图像2300。第二移动终端100B的用户可在将安装有第二移动终端100B的VR装置500穿戴在头上的情况下观看VR图像2300。第二移动终端100B的用户可向第一移动终端100A的用户发送预设请求。第二移动终端100B的控制器180可通过无线通信单元110将与预设命令对应的信号发送给第一移动终端100A。
图23的(b)至(d)是示出第二移动终端100B的用户输入预设命令的方法的示例的示图。例如,参照图23的(b),用于接收用户的触摸命令的触摸板501可被包括在VR装置500的外部。根据实施方式,VR装置500可在VR装置500的两侧中的每一侧设置有触摸板501。例如,如果用户期望作为实时图像观看VR图像2300中的左侧区域,则用户可触摸设置在左侧的触摸板501。VR装置500可将与通过触摸板501接收的命令对应的第一信号发送给第二移动终端100B,并且第二移动终端100B的控制器180可向第一移动终端100A发送与第一信号对应的第二信号。该第二信号包括第二移动终端100B的用户期望实时观看的区域的信息。
在另一示例中,参照图23的(c),第二移动终端100B的控制器180激活相机121,检测包括在通过激活的相机121获得的图像中的第二移动终端的用户的手,然后可识别所检测到的手的手势。另选地,第二移动终端100B的控制器180通过接口单元160接收通过包括在VR装置500中(或者连接到VR装置500)的相机获得的图像,检测包括在所接收到的图像中的第二移动终端100B的用户的手,然后可识别所检测到的手的手势。第二移动终端100B的控制器180可将包括与所检测到的手的手势对应的命令的第三信号发送给第一移动终端100A。所检测到的手的手势可对应于第二移动终端100B的用户将手向左弯的手势。第三信号包括第二移动终端100B的用户期望实时观看的区域的信息。
在另一示例中,参照图23的(d),第二移动终端100B的控制器180激活相机121,检测包括在通过激活的相机121获得的图像中的第二移动终端的用户的手,然后可将与所检测到的手的位置对应的图形2310的显示在VR图像2300上。另选地,第二移动终端100B的控制器180通过接口单元160接收通过包括在VR装置500中(或者连接到VR装置500)的相机获得的图像,检测包括在所接收到的图像中的第二移动终端100B的用户的手,然后可将与所检测到的手的位置对应的图形2310显示在VR图像2300上。如果第二移动终端100B的用户期望观看VR图像2300中的左侧区域,则第二移动终端100B的用户可通过移动手来将图形2310定位在VR图像2300中的左侧。第二移动终端100B的控制器180可将与通过图形2310输入的命令对应的第四信号发送给第一移动终端100A。该第四信号包括第二移动终端100B的用户期望实时观看的区域的信息。
在另一示例中,参照图23的(e),第二移动终端100B的控制器180激活麦克风122,然后可通过分析通过激活的麦克风122获得的音频信号来识别语音命令。第二移动终端100B的控制器180可将与所识别的语音命令对应的第五信号发送给第一移动终端100A。所识别的语音命令可对应于将第一移动终端100A的相机121向左移动的命令。该第五信号包括第二移动终端100B的用户期望实时观看的区域的信息。
图24是示出根据本发明的一个实施方式的如参照图23所提及的由第一移动终端从第二移动终端接收指定信号的一个示例的示图。参照图24的(a),第一移动终端100A的控制器180利用通过相机121获得的多个图像来生成VR图像2400,然后可将所生成的VR图像2400的至少一部分输出给显示单元151。
第一移动终端100A的控制器180可通过无线通信单元110从第二移动终端100B接收与第二移动终端100B的用户所输入的命令对应的信号。该信号包括用于请求移动相机121以便获得VR图像2400中的第二移动终端100B的用户期望作为实时图像观看的区域的图像的信号。
第一移动终端100A的控制器180可根据所述信号在显示单元151上显示指示相机121的移动方向的指示物2401,以便获得VR图像2400中的第二移动终端100B的用户期望作为实时图像观看的区域的图像。
参照图24的(b),第一移动终端100A的用户可通过根据指示物2401所指示的方向改变相机121的位置(或角度)来拍摄图像。第一移动终端100A的控制器180利用现有的VR图像2400以及通过获得相机121的图像来生成新的VR图像2410,所述相机121的位置由第一移动终端的用户改变。并且,第一移动终端的控制器180可通过无线通信单元110将新的VR图像2410发送给第二移动终端100B。
根据参照图23和图24提及的本发明的一个实施方式,第二移动终端100B的用户可通过与第一移动终端100A的用户的交互来请求拍摄期望的图像并且观看所拍摄的期望的图像。
图25是示出根据本发明的一个实施方式的如参照图24所提及的在从第一移动终端发送新的VR图像的情况下第二移动终端的显示单元上输出的画面的一个示例的示图。例如,参照图25的(a),第二移动终端100B的用户可请求改变通过VR装置500观看的VR图像内的期望作为实时图像观看的区域。因此,第二移动终端100B的控制器180从第一移动终端100A接收动态图像的区域改变了的新的VR图像2500,然后可将所接收到的VR图像2500显示在显示单元151上。因此,第二移动终端的控制器180改变指示动态图像的指示物2510的位置,然后可在VR图像2500内显示指示物2510的改变的位置。根据实施方式,指示物2510可被用作指示请求通过第一移动终端另外拍摄的区域的指示物。
在另一示例中,参照图25的(b),第二移动终端的用户可请求作为实时图像,观看未包括在通过VR装置500观看的VR图像中的区域。因此,第二移动终端的控制器180从第一移动终端接收包括通过相机121获得的新图像作为动态图像的VR图像2500,然后可将所接收到的VR图像2500显示在显示单元151上。VR图像2500包括现有VR图像的至少一部分以及通过第一移动终端100A的相机121获得的新图像2520。图像2520包括通过第一移动终端100A的相机121重新获得的动态图像2521。通过从图像2520排除动态图像2521而得到的各个区域2522可对应于通过将第一移动终端100A的相机121所获得的图像匹配而生成的静态图像,如参照图12至图15所提及的。另选地,区域1922可对应于如参照图19提及的补充图像。
图26是示出根据本发明的一个实施方式的第二移动终端的用户控制包括在VR图像中的特定对象的方法的一个示例的示图。参照图26的(a),第二移动终端100B的控制器可将从第一移动终端100A发送来的VR图像2600显示在显示单元151上。第二移动终端100B的控制器180可根据预设命令进入VR图像2600的控制模式。如果VR图像2600中包括可控的特定对象,则第二移动终端100B的控制器180可进入使得包括在VR图像2600中的所述特定对象能够根据预设命令来被控制的模式。例如,所述预设命令可对应于按照参照图23的(b)至图23的(e)所提及的相似方式接收的命令。并且,所述预设命令可对应于感测穿戴VR装置500的第二移动终端100B的用户的眼睛固定在VR图像2600内的指定区域上超过预设时间的命令。
如果进入VR图像2600的控制模式,则第二移动终端的控制器180可在VR图像2600上显示指示VR图像2600中的可控特定对象的指示物2610。并且,第二移动终端的控制器180可将与第二移动终端100B的用户的手对应的图形2620显示在VR图像2600上。
在从第一移动终端100A接收到VR图像2600时或者根据进入VR图像2600的控制模式的命令,第二移动终端100B的控制器180可从第一移动终端100A接收用于控制特定对象的附加信息。
第一移动终端100A的控制器180在生成VR图像2600时分析VR图像2600。当所分析的VR图像2600中包括特定对象时,第一移动终端100A的控制器180可生成用于控制特定对象的附加信息。例如,第一移动终端100A的存储器170包括关于与第一移动终端100A配对的电器的信息。并且,第一移动终端100A可通过家庭网络从连接到电器的单独的控制装置接收关于这些电器的信息。在这种情况下,关于电器的信息包括各个电器的位置信息、关于各个电器的可控功能的信息等。
第一移动终端100A的控制器180基于关于电器的信息检测所生成的VR图像2600中是否包括与可控电器对应的特定对象。如果VR图像2600中包括与可控电器对应的特定对象,则第一移动终端100A的控制器180可基于关于电器的信息来生成用于控制所述特定对象的附加信息。
例如,所述附加信息包括VR图像2600中的特定对象的ID信息、关于VR图像2600中的特定对象的位置的信息、关于用于控制VR图像2600中的特定对象的功能的命令的信息等。如果控制与包括在VR图像2600中的对象中的TV对应的特定对象,则第二移动终端100B的控制器180可将图形2620定位在指示与TV对应的特定对象的指示物2610上。
参照图26的(b),第二移动终端100B的控制器180可基于用于控制特定对象的附加信息来将指示控制特定对象的功能的方法的指引信息2630显示在VR图像2600上。例如,指引信息2630包括关于应该由第二移动终端100B的用户输入以便打开/关闭TV的手势命令的信息。
第二移动终端100B的用户可基于指引信息2630作出用于控制TV的特定功能的手势。第二移动终端100B的控制器180识别包括在通过相机121获得的图像中的手势,然后可将与所识别的手势对应的信号(即,用于控制特定对象的功能的信号)发送给第一移动终端100A。例如,手势可对应于握住或张开手的手势、抬起或放下手的手势、在张开手掌的情况下朝着预设方向移动手的手势、用手指推按指定区域的手势、弯曲或展开指定数量的手指的手势、与用于控制特定对象所对应的实际电子装置的动作类似的手势等。
参照图26的(c),第一移动终端100A的控制器180可基于从第二移动终端100B发送来的信号来运行与特定对象对应的功能。例如,第一移动终端100A的控制器180可将运行与特定对象对应的功能的命令发送给与特定对象对应的TV(根据实施方式,成为控制目标的电子装置,例如TV、灯、风扇、收音机、热水器或冰箱)和控制装置。并且,第一移动终端100A的控制器180可在显示单元151上显示指示物2640,该指示物2640指示由第二移动终端100B的用户控制与特定对象对应的TV的功能。
根据实施方式,当控制与特定对象对应的TV的功能时,第二移动终端的控制器180通过音频输出单元152输出与TV的功能对应的音频数据,由此第二移动终端的控制器180可使得第二移动终端100B的用户能够感觉到真实感。
图27是示出根据本发明的一个实施方式的第二移动终端的用户控制VR图像的方法的一个示例的示图。参照图27的(a),第二移动终端100B的控制器180可将从第一移动终端100A发送来的VR图像2700输出给显示单元151。VR图像2700包括与能够将指定备忘录添加到VR图像2700的功能对应的菜单选项2710。
第二移动终端100B的控制器180可在VR图像2700上显示与第二移动终端100B的用户的手对应的图形2720。第二移动终端100B的用户通过移动手来将图形2720定位在菜单选项2710上,然后可选择菜单选项2710。根据实施方式,第二移动终端100B的用户可在包括在VR图像2700中的对象中指定第二移动终端100B的用户期望在其上留备忘录的对象。
参照图27的(b),第二移动终端100B的控制器180可根据选择菜单选项2710的命令来输出使得第二移动终端的用户能够向VR图像2700输入指定备忘录的GUI(图形用户界面)2730。第二移动终端100B的用户可通过移动手利用图形2720经由GUI2710来输入指定备忘录。第二移动终端100B的控制器180可将包括通过GUI 2710输入的备忘录的内容的信号发送给第一移动终端100A。
参照图27的(c),第一移动终端100A的控制器180可基于从第二移动终端100B发送来的信号在显示单元151上显示包括备忘录的内容的指示物2740。根据实施方式,如果在图27的(a)中第一移动终端100A的用户指定第一移动终端100A的用户期望在其上留备忘录的对象,则第一移动终端100A的控制器180可在与输出到显示单元151的VR图像的至少一部分对应的图像中的与特定对象对应的区域上显示指示物2740。
图28是示出根据本发明的一个实施方式的在用于提供VR图像的视频呼叫期间第二移动终端输出音频数据的方法的一个示例的示图。参照图28的(a),第一移动终端100A的控制器180在用于提供VR图像的视频呼叫中激活麦克风122。所激活的麦克风122接收外部声音信号,然后可将所接收到的外部声音信号转换为电语音信号。第一移动终端100A包括至少两个或更多个麦克风122。
当通过麦克风122获得语音信号时,第一移动终端100A的控制器180可基于语音信号的强度、波形等了解包括在语音信号中的特定语音信号是从哪一侧获得的。并且,当通过麦克风122获得语音信号时,第一移动终端100A的控制器180可感测第一移动终端面向哪一侧。
在与第二移动终端100B的用于提供VR图像的视频呼叫中,第一移动终端100A的控制器180可将与VR图像对应的语音信号以及VR图像发送给第二移动终端100B。
参照图28的(b),当将从第一移动终端100A发送来的VR图像输出给显示单元151时,第二移动终端100B可通过音频输出单元152输出与VR图像对应的语音信号。在这种情况下,第二移动终端100B可确定在VR图像中穿戴VR装置500的用户面向哪一侧。例如,第二移动终端100B可通过基于通过感测单元140感测的数据检测连接到第二移动终端100B的VR装置500的运动来检测第二移动终端的用户的头部运动。并且,第二移动终端100B可基于从VR装置500发送来的数据来检测第二移动终端100B的用户的头部运动和/或第二移动终端100B的用户的眼睛的运动。
第二移动终端100B的控制器180在从第一移动终端100A发送来的语音信号当中加强与第二移动终端100B的用户所面向的一侧对应的语音信号,然后可通过音频输出单元152输出加强的语音信号。例如,第二移动终端的控制器180可利用波束成形技术来处理所发送的语音信号。例如,在从第一移动终端100A发送来的语音信号当中,第二移动终端100B的控制器180可通过音频输出单元152仅输出与第二移动终端100B的用户所面向的一侧对应的语音信号。在另一示例中,当通过第一移动终端100A获得语音信号时,第二移动终端100B的控制器180参照第二移动终端的用户所面向的一侧基于第一移动终端100A所面向的一侧来转换语音信号,然后可通过音频输出单元152显示所转换的语音信号。
图29是示出根据本发明的一个实施方式的利用安装在车辆上的相机生成VR图像的方法的一个示例的示图。参照图29的(a),车辆中包括前相机、后相机、左相机和右相机中的至少两个相机。并且,用于接收通过车辆的相机获得的图像的电子装置2900存在于车辆的内部或外部。
电子装置2900可对应于属于车辆的所有者的移动终端或者设置在车辆内的导航装置。电子装置2900接收通过车辆的相机获得的多个图像,然后可通过将所接收到的图像匹配来生成VR图像。由于生成VR图像的方法类似于参照图6至图10以及图19提及的方法,所以省略详细描述。
电子装置2900可将用于请求通信连接以提供VR图像的信号发送给第二移动终端100B。用于请求通信连接以提供VR图像的信号可对应于用于请求视频呼叫以提供VR图像的信号或者用于请求先前描述中所提及的视频呼叫以外的单独的通信连接以提供VR图像的信号。并且,电子装置2900可将所生成的VR图像发送给第二移动终端100B。
第二移动终端100B接收信号,并且第二移动终端的用户可在穿戴连接了第二移动终端的VR装置500之后通过VR装置500观看VR图像。在本实施方式中,由于其它处理类似于参照图5至图28提及的那些,所以省略详细描述。
图30是示出根据本发明的一个实施方式的生成VR图像的方法的另一示例的示图。参照图30的(a),在拍摄场景中设置有多个相机。在本实施方式中,假设第一相机至第四相机存在于该拍摄场景中。
第一移动终端100A可从四个相机接收图像。在这种情况下,可通过第一相机至第四相机中的每一个拍摄用于生成VR图像的视角等于或大于预设度数的图像。另选地,第一相机至第四相机中的每一个可按照如参照图12至图15所提及的相似方式通过改变各个相机的位置(或角度)来生成视角等于或大于预设度数的图像。
第一移动终端100A的控制器180将请求通信连接以提供VR图像的信号发送给第二移动终端100B。如果从第二移动终端100B接收到许可通信连接的信号,则第一移动终端100A的控制器180可将VR图像3010发送给第二移动终端100B。发送给第二移动终端100B的VR图像3010可对应于通过第一相机至第四相机当中的特定相机获得的图像。例如,发送给第二移动终端100B的VR图像3010可对应于通过第一相机至第四相机当中的预设为主相机的相机获得的图像。
参照图30的(b),第二移动终端100B的控制器180将VR图像3010输出给显示单元151,并且第二移动终端100B的用户可在将连接了第二移动终端100B的VR装置500穿戴在头上的情况下观看VR图像3010。VR图像3010包括指示通过第一相机至第四相机当中的哪一相机生成VR图像3010的信息3020。
此外,根据本发明的一个实施方式,第二移动终端100B的用户选择通过第一相机至第四相机当中的期望的相机生成的VR图像,然后可观看所选择的VR图像。这将参照图31和图32来描述。
图31是示出根据本发明的一个实施方式的第二移动终端的用户选择期望的相机的VR图像的方法的一个示例的示图。参照图31的(a),输出给第二移动终端100B的显示单元151的VR图像3010包括与互连至第一移动终端100A的相应第一相机至第四相机对应的指示物3110。并且,指示物3110当中的与当前VR图像3010对应的第三相机的指示物可通过与其余指示物相区分来显示。
第二移动终端100B的控制器180激活相机121,检测包括在通过激活的相机121获得的图像中的第二移动终端的用户的手,然后可在VR图像3010上显示与所检测到的手的位置对应的图形3120。另选地,第二移动终端100B的控制器180通过接口单元160接收通过包括在VR装置500中(或者连接到VR装置500)的相机获得的图像,检测包括在所接收到的图像中的第二移动终端100B的用户的手,然后可在VR图像3010上显示与所检测到的手的位置对应的图形3120。第二移动终端100B的用户可通过利用图形3120选择特定指示物3110来从第一相机至第四相机中选择用于观看VR图像的期望的相机。并且,第二移动终端100B的控制器180可将请求用户所选择的特定相机的VR图像的信号发送给第一移动终端100A。
参照图31的(b),第二移动终端100B的控制器180激活麦克风122,并且可通过分析通过激活的麦克风122获得的音频信号来识别语音命令。第二移动终端100B的控制器180可将与所识别的语音命令对应的信号发送给第一移动终端100A。所识别的语音命令可对应于从第一相机至第四相机中选择用于观看VR图像的期望的相机的命令。
参照图31的(c),用于接收用户的触摸命令的触摸板501可被包括在VR装置500的外部。例如,第二移动终端100B的用户可通过将触摸板501触摸所期望的相机编号那么多次来输入用户命令。
参照图31的(d),第二移动终端100B的控制器180激活相机121,检测包括在通过激活的相机121获得的图像中的第二移动终端的用户的手,然后可识别所检测到的手的手势。另选地,第二移动终端100B的控制器180通过接口单元160接收通过包括在VR装置500中(或者连接到VR装置500)的相机获得的图像,检测包括在所接收到的图像中的第二移动终端100B的用户的手,然后可识别所检测到的手的手势。第二移动终端100B的控制器180可将包括与所检测到的手的手势对应的命令的信号发送给第一移动终端100A。与手势对应的命令可以是与指示特定相机的预设手势对应的命令。
图32是示出根据本发明的一个实施方式的如参照图31所提及的在第二移动终端的用户选择特定相机的情况下输出由该特定相机生成的VR图像的方法的一个示例的示图。参照图32的(a),第一移动终端100A的控制器180可根据用于选择第二相机的用户命令将通过第二相机获得的VR图像发送给第二移动终端100B。并且,第二移动终端100B的控制器180可将通过第二相机获得的VR图像3210输出给显示单元151。
参照图32的(b),第二移动终端100B的用户可选择多个相机。第一移动终端100A的控制器180可根据选择第一相机至第四相机中的全部的用户命令将通过相应的第一相机至第四相机获得的图像(或者通过将这些图像合成而得到的图像)3220发送给第二移动终端100B。在本实施方式中,各个图像3220可不对应于VR图像。第二移动终端100B的控制器180可将图像3220输出给显示单元151。
图33是示出根据本发明的一个实施方式的生成VR图像的方法的另一示例的示图。并且,参照图31提及的冗余内容将被省略。根据本实施方式,在拍摄场景处设置有多个相机。例如,假设存在第一相机至第四相机。
第一移动终端100A的控制器180可通过将从四个相机接收的图像彼此匹配来生成VR图像3300。第一移动终端100A的控制器180可通过经由包括在从四个相机接收的图像中的彼此相同的对象之间的边缘分析、颜色分析等将多个图像彼此匹配来生成VR图像3300,然后可将所生成的VR图像3300发送给第二移动终端100B。
因此,本发明的实施方式提供各种优点。根据本发明的至少一个实施方式,可提供使得移动终端的用户容易地制作VR内容的解决方案。根据本发明的至少一个实施方式,可提供使得制作和发送VR内容的发送方与接收和观看VR内容的接收方之间能够交互的解决方案。
本领域技术人员将理解,在不脱离本发明的精神或范围的情况下,本发明可被指定为其它形式。另外,上述方法可被实现在程序记录介质中作为计算机可读代码。计算机可读介质包括存储可由计算机系统读取的数据的所有类型的记录装置。计算机可读介质包括例如ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等,并且还包括载波型实现方式(例如,经由互联网的传输)。另外,计算机包括终端的控制器180。控制器180、无线通信单元110以及图1A所示的其它组件具有足以执行适当的算法(流程)以执行所描述的功能的结构(例如,处理芯片)。
本领域技术人员将理解,在不脱离本发明的精神或范围的情况下,可对本发明进行各种修改和变化。因此,本发明旨在涵盖对本发明的修改和变化,只要它们落入所附权利要求书及其等同物的范围内即可。
相关申请的交叉引用
本申请要求2015年5月12日在韩国提交的韩国专利申请No.10-2015-0066027的优先权,通过引用将其全部内容整体并入本文。

Claims (20)

1.一种移动终端,该移动终端包括:
相机;
显示器;
无线通信单元;以及
控制器,该控制器被配置为:
控制所述无线通信单元向外部装置发送请求视频呼叫以提供虚拟现实VR图像的第一信号,所述VR图像具有等于或大于预设度数的视角,
基于利用所述相机获得的多个图像来生成所述VR图像,
控制所述无线通信单元从所述外部装置接收预设的第二信号,并且
控制所述无线通信单元响应于所述第二信号将包括所生成的VR图像的第三信号发送给所述外部装置。
2.根据权利要求1所述的移动终端,其中,所述控制器还被配置为在所述显示器上显示用于指引获得所述多个图像的方法的指引用户界面UI,所述指引UI包括指示为了获得所述多个图像所述相机应该移动的方向的指示物。
3.根据权利要求1所述的移动终端,其中,所述预设度数大于所述相机的视角。
4.根据权利要求1所述的移动终端,其中,所述VR图像包括通过所述相机实时获得的动态图像以及通过所述相机预先获得的静态图像,并且
其中,所述动态图像被处理以具有由用户感知的预设深度。
5.根据权利要求1所述的移动终端,其中,所述控制器还被配置为在所述显示器上在联系人应用的启动画面中显示与所述外部装置的用户对应的第一画面,并且
其中,所述第一画面包括用于请求对所述外部装置的语音呼叫的第一菜单选项、用于请求对所述外部装置的所述视频呼叫的第二菜单选项、用于向所述外部装置发送文本消息的第三菜单选项以及用于请求对所述外部装置的所述视频呼叫以提供所述VR图像的第四菜单选项。
6.根据权利要求4所述的移动终端,其中,所述控制器还被配置为在所述显示器上显示所述VR图像中的所述动态图像。
7.根据权利要求6所述的移动终端,其中,所述控制器还被配置为将与所述VR图像对应的附加信息输出给所述动态图像,并且
其中,所述附加信息包括用于指示所述动态图像在所述VR图像中的位置的指示物。
8.根据权利要求7所述的移动终端,其中,所述控制器还被配置为:
控制所述无线通信单元从所述外部装置接收第四信号,该第四信号包括发送给所述外部装置的所述VR图像中的由所述外部装置的用户观看的区域的信息,并且
基于所述第四信号在所述附加信息上显示用于指示所述VR图像中的由所述外部装置的所述用户观看的所述区域的指示物。
9.根据权利要求7所述的移动终端,其中,所述控制器还被配置为:
控制所述无线通信单元从所述外部装置接收第五信号,该第五信号包括所述外部装置的用户期望作为实时图像观看的区域的信息,并且
基于所述第五信号在所述显示器上显示指示所述相机应该移动的方向的指示物,以便获得所述外部装置的所述用户期望作为实时图像观看的所述区域的图像。
10.根据权利要求4所述的移动终端,其中,所述控制器还被配置为:
在所述显示器上显示所述VR图像,并且
在所述VR图像上显示指示所述VR图像中的所述动态图像的指示物。
11.根据权利要求9所述的移动终端,其中,所述控制器还被配置为:
控制所述无线通信单元从所述外部装置接收第六信号,该第六信号用于控制发送给所述外部装置的所述VR图像内的特定对象,并且
执行与所述VR图像内的所述特定对象对应的功能。
12.根据权利要求1所述的移动终端,其中,所述第二信号包括指示所述外部装置已连接到VR装置的信息,并且
其中,所述控制器还被配置为根据所述第二信号在所述显示器上显示通知所述外部装置已连接到所述VR装置的通知消息。
13.一种移动终端,该移动终端包括:
无线通信单元;
显示器;以及
控制器,该控制器被配置为:
控制所述无线通信单元从外部装置接收请求视频呼叫以提供虚拟现实VR图像的第一信号,所述VR图像具有等于或大于预设度数的视角,
响应于指示所述移动终端与VR装置之间的连接的第二信号,控制所述无线通信单元发送许可所述视频呼叫以提供所述VR图像的第三信号,
控制所述无线通信单元从所述外部装置接收包括所述VR图像的第四信号,并且
将包括在所述第四信号中的所述VR图像显示在所述显示器上。
14.根据权利要求13所述的移动终端,该移动终端还包括:
接口单元,该接口单元被配置为将所述移动终端和所述VR装置彼此连接,
其中,当所述VR装置连接到所述接口单元时,所述第二信号被检测到。
15.根据权利要求13所述的移动终端,其中,所述VR图像包括通过所述外部装置的相机实时获得的动态图像以及通过所述外部装置的所述相机预先获得的静态图像,并且
其中,所述动态图像被处理以具有由用户感知的预设深度。
16.根据权利要求15所述的移动终端,其中,所述控制器还被配置为在所述VR图像上显示指示所述VR图像中的所述动态图像的指示物。
17.根据权利要求13所述的移动终端,其中,所述控制器还被配置为,如果所述第一信号被接收到,则将指引用户穿戴所述VR装置的指引消息输出给所述显示器。
18.根据权利要求14所述的移动终端,其中,所述控制器还被配置为:
通过所述接口单元从所述VR装置接收所述VR装置的运动信息、所述VR装置的倾斜信息、所述移动终端的用户的眼睛信息以及所述移动终端的用户命令信息中的至少一个,并且
控制所述无线通信单元将第五信号发送给所述外部装置,所述第五信号包括通过所述接口单元接收的信息中的至少一个。
19.根据权利要求13所述的移动终端,其中,所述第四信号还包括与所述VR图像对应的音频数据,并且
其中,所述控制器还被配置为基于通过接口单元接收的信息来检测所述VR图像中的由所述移动终端的用户观看的区域,基于所检测的区域来处理所述音频数据,并且通过音频输出单元输出所处理的音频数据。
20.根据权利要求16所述的移动终端,其中,如果所述VR图像包括与控制目标对应的特定对象,则所述第四信号还包括所述特定对象的信息,并且
其中,所述控制器还被配置为基于所述特定对象的所述信息在所述VR图像上显示指示所述VR图像内的所述特定对象的所述指示物。
CN201510983256.3A 2015-05-12 2015-12-24 移动终端 Expired - Fee Related CN106162035B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0066027 2015-05-12
KR1020150066027A KR20160133230A (ko) 2015-05-12 2015-05-12 이동 단말기

Publications (2)

Publication Number Publication Date
CN106162035A true CN106162035A (zh) 2016-11-23
CN106162035B CN106162035B (zh) 2020-12-08

Family

ID=54427526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510983256.3A Expired - Fee Related CN106162035B (zh) 2015-05-12 2015-12-24 移动终端

Country Status (4)

Country Link
US (1) US9729819B2 (zh)
EP (1) EP3094080B1 (zh)
KR (1) KR20160133230A (zh)
CN (1) CN106162035B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791385A (zh) * 2016-12-09 2017-05-31 深圳创维-Rgb电子有限公司 一种基于虚拟现实技术的观景方法、装置及系统
CN107066094A (zh) * 2017-03-22 2017-08-18 深圳市魔眼科技有限公司 一种场景融合显示方法及显示装置
CN107071539A (zh) * 2017-05-08 2017-08-18 深圳小辣椒虚拟现实技术有限责任公司 基于vr设备的终端上信息资源同步显示方法及系统
CN109426332A (zh) * 2017-08-23 2019-03-05 中兴通讯股份有限公司 一种信息处理方法、装置及虚拟现实设备
CN111050145A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及系统
CN111226258A (zh) * 2017-10-15 2020-06-02 阿莱西奥公司 信号转换系统和信号转换方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110440747B (zh) * 2013-04-08 2021-11-09 斯纳普公司 使用多个相机设备的距离评估
JP5665068B1 (ja) * 2014-09-05 2015-02-04 株式会社Live2D プログラム、情報処理装置、制御方法及び記録媒体
US9928656B2 (en) * 2015-09-11 2018-03-27 Futurewei Technologies, Inc. Markerless multi-user, multi-object augmented reality on mobile devices
US20170285863A1 (en) * 2016-03-31 2017-10-05 Google Inc. Conductive contacts for alignment of portable user device in vr viewer
US10747389B2 (en) * 2016-06-22 2020-08-18 Siemens Aktiengesellschaft Display of three-dimensional model information in virtual reality
US10168798B2 (en) * 2016-09-29 2019-01-01 Tower Spring Global Limited Head mounted display
US10257395B2 (en) * 2016-10-31 2019-04-09 Nokia Technologies Oy Method, apparatus and computer program product for creating virtual reality content of an event
US10999569B2 (en) * 2016-12-22 2021-05-04 Eva—Esthetic Visual Analytics Ltd. Three-dimensional image reconstruction using multi-layer data acquisition
US11412204B2 (en) 2016-12-22 2022-08-09 Cherry Imaging Ltd. Three-dimensional image reconstruction using multi-layer data acquisition
US11402740B2 (en) 2016-12-22 2022-08-02 Cherry Imaging Ltd. Real-time tracking for three-dimensional imaging
US10942439B2 (en) 2016-12-22 2021-03-09 Eva—Esthetic Visual Analytics Ltd. Real-time tracking for three-dimensional imaging
KR20180099026A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
CN106878786B (zh) * 2017-03-07 2020-03-03 北京小米移动软件有限公司 Vr视频中弹幕的显示方法和装置
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
CN108881706B (zh) * 2017-05-16 2023-10-10 北京三星通信技术研究有限公司 控制多媒体设备工作的方法及装置
KR102351542B1 (ko) 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US10687119B2 (en) * 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
CN107463251B (zh) * 2017-07-13 2020-12-22 咪咕音乐有限公司 一种信息处理方法、装置、系统和存储介质
US9992449B1 (en) * 2017-08-10 2018-06-05 Everysight Ltd. System and method for sharing sensed data between remote users
CN107426522B (zh) * 2017-08-11 2020-06-09 歌尔科技有限公司 基于虚拟现实设备的视频方法和系统
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
CN108196365A (zh) * 2017-12-13 2018-06-22 深圳市虚拟现实科技有限公司 校正移动终端位置的方法与装置
KR102508286B1 (ko) * 2018-08-27 2023-03-09 삼성전자 주식회사 가상 현실에서 정보를 제공하는 전자 장치 및 방법
US11032532B2 (en) * 2018-10-04 2021-06-08 Samsung Electronics Co., Ltd. Electronic device and method for providing virtual device via at least portion of content
EP3877831A4 (en) 2018-11-09 2022-08-03 Beckman Coulter, Inc. MAINTENANCE GOGGLES WITH SELECTIVE DATA SUPPLY
CN109814713A (zh) * 2019-01-10 2019-05-28 重庆爱奇艺智能科技有限公司 一种用于vr用户视角切换的方法与设备
KR102279104B1 (ko) * 2019-01-15 2021-07-20 박창현 현실 환경 기반 포스팅 공유 장치 및 현실 환경 기반 포스팅 공유 방법
US10547974B1 (en) * 2019-03-19 2020-01-28 Microsoft Technology Licensing, Llc Relative spatial localization of mobile devices
WO2020214897A1 (en) 2019-04-18 2020-10-22 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
US10849034B1 (en) 2019-11-26 2020-11-24 Motorola Mobility Llc Signal map for wireless connectivity
US11129032B2 (en) * 2019-11-26 2021-09-21 Motorola Mobility Llc Optimal device position for wireless communication
US11475652B2 (en) 2020-06-30 2022-10-18 Samsung Electronics Co., Ltd. Automatic representation toggling based on depth camera field of view
TW202229978A (zh) * 2021-01-27 2022-08-01 美商菲絲博克科技有限公司 用於擴增實境和虛擬實境裝置的反向透視眼鏡
US11736679B2 (en) * 2021-01-27 2023-08-22 Meta Platforms Technologies, Llc Reverse pass-through glasses for augmented reality and virtual reality devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054627A1 (en) * 2008-09-04 2010-03-04 Pro Track Ltd. Methods and systems for creating an aligned bank of images with an iterative self-correction technique for coordinate acquisition and object detection
US20100304720A1 (en) * 2009-05-27 2010-12-02 Nokia Corporation Method and apparatus for guiding media capture
US20110037712A1 (en) * 2009-08-11 2011-02-17 Lg Electronics Inc. Electronic device and control method thereof
CN102231726A (zh) * 2011-01-25 2011-11-02 北京捷讯华泰科技有限公司 虚拟现实合成方法及终端
CN103873758A (zh) * 2012-12-17 2014-06-18 北京三星通信技术研究有限公司 全景图实时生成的方法、装置及设备
US20150055937A1 (en) * 2013-08-21 2015-02-26 Jaunt Inc. Aggregating images and audio data to generate virtual reality content

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189849A1 (en) 2003-03-31 2004-09-30 Hofer Gregory V. Panoramic sequence guide
US8717412B2 (en) 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
KR102047703B1 (ko) * 2013-08-09 2019-11-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9851091B2 (en) * 2015-02-18 2017-12-26 Lg Electronics Inc. Head mounted display
KR101570354B1 (ko) * 2015-03-05 2015-11-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054627A1 (en) * 2008-09-04 2010-03-04 Pro Track Ltd. Methods and systems for creating an aligned bank of images with an iterative self-correction technique for coordinate acquisition and object detection
US20100304720A1 (en) * 2009-05-27 2010-12-02 Nokia Corporation Method and apparatus for guiding media capture
US20110037712A1 (en) * 2009-08-11 2011-02-17 Lg Electronics Inc. Electronic device and control method thereof
CN102231726A (zh) * 2011-01-25 2011-11-02 北京捷讯华泰科技有限公司 虚拟现实合成方法及终端
CN103873758A (zh) * 2012-12-17 2014-06-18 北京三星通信技术研究有限公司 全景图实时生成的方法、装置及设备
US20150055937A1 (en) * 2013-08-21 2015-02-26 Jaunt Inc. Aggregating images and audio data to generate virtual reality content

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791385A (zh) * 2016-12-09 2017-05-31 深圳创维-Rgb电子有限公司 一种基于虚拟现实技术的观景方法、装置及系统
WO2018103233A1 (zh) * 2016-12-09 2018-06-14 深圳创维-Rgb电子有限公司 基于虚拟现实技术的观景方法、装置及系统
CN107066094A (zh) * 2017-03-22 2017-08-18 深圳市魔眼科技有限公司 一种场景融合显示方法及显示装置
CN107066094B (zh) * 2017-03-22 2020-07-14 深圳市魔眼科技有限公司 一种场景融合显示方法及显示装置
CN107071539A (zh) * 2017-05-08 2017-08-18 深圳小辣椒虚拟现实技术有限责任公司 基于vr设备的终端上信息资源同步显示方法及系统
CN107071539B (zh) * 2017-05-08 2020-04-17 深圳小辣椒科技有限责任公司 基于vr设备的终端上信息资源同步显示方法及系统
CN109426332A (zh) * 2017-08-23 2019-03-05 中兴通讯股份有限公司 一种信息处理方法、装置及虚拟现实设备
CN109426332B (zh) * 2017-08-23 2023-02-28 中兴通讯股份有限公司 一种信息处理方法、装置及虚拟现实设备
CN111226258A (zh) * 2017-10-15 2020-06-02 阿莱西奥公司 信号转换系统和信号转换方法
CN111226258B (zh) * 2017-10-15 2023-09-22 阿莱西奥公司 信号转换系统和信号转换方法
CN111050145A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及系统
CN111050145B (zh) * 2018-10-11 2022-07-01 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及系统

Also Published As

Publication number Publication date
US9729819B2 (en) 2017-08-08
EP3094080B1 (en) 2019-12-04
EP3094080A1 (en) 2016-11-16
KR20160133230A (ko) 2016-11-22
CN106162035B (zh) 2020-12-08
US20160337612A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
US11934625B2 (en) Mobile terminal
CN106162035A (zh) 移动终端
US10219026B2 (en) Mobile terminal and method for playback of a multi-view video
CN106412222B (zh) 移动终端及其控制方法
EP3246916A1 (en) Mobile terminal and controlling method thereof
EP3096506A2 (en) Watch-type mobile terminal and method of controlling therefor
US10187577B2 (en) Mobile device and method of controlling therefor
US9454301B2 (en) Mobile terminal controlled by at least one touch and method of controlling therefor
CN106201391B (zh) 移动终端系统及其控制方法
EP3128391B1 (en) Mobile terminal and watch-type mobile terminal
EP3285154B1 (en) Mobile terminal
EP3264760B1 (en) Glasses-type mobile terminal and method of operating the same
US20180124552A1 (en) Mobile terminal
US11645644B2 (en) Mobile terminal
US20180217809A1 (en) Earphones, mobile terminal connectable thereto, and control method
CN105391842A (zh) 移动终端及其控制方法
EP3282686B1 (en) Mobile terminal and operating method thereof
US20180048815A1 (en) Mobile terminal and operating method thereof
CN107851248A (zh) 移动终端及其控制方法
KR20160069693A (ko) 모바일 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201208

Termination date: 20211224

CF01 Termination of patent right due to non-payment of annual fee