CN107959788B - 移动终端及其操作方法 - Google Patents

移动终端及其操作方法 Download PDF

Info

Publication number
CN107959788B
CN107959788B CN201710894881.XA CN201710894881A CN107959788B CN 107959788 B CN107959788 B CN 107959788B CN 201710894881 A CN201710894881 A CN 201710894881A CN 107959788 B CN107959788 B CN 107959788B
Authority
CN
China
Prior art keywords
mobile terminal
image
moving
controller
omnidirectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710894881.XA
Other languages
English (en)
Other versions
CN107959788A (zh
Inventor
张裕准
金成恩
全俸廷
薛枝迩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN107959788A publication Critical patent/CN107959788A/zh
Application granted granted Critical
Publication of CN107959788B publication Critical patent/CN107959788B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34Microprocessors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38Displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/06Details of telephonic subscriber devices including a wireless LAN interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开了一种移动终端及其操作方法。该移动终端包括:短距离通信模块,其被配置为与用于拍摄全向图像的全向拍摄装置执行短距离通信;显示单元,其被配置为显示通过短距离通信模块接收的全向图像并接收用户输入;以及控制器,其被配置为在全向图像中设定生成运动图像的区域并在所设定的区域中生成运动图像。因此,可获取所述全向图像中的所述运动对象的运动图像。

Description

移动终端及其操作方法
技术领域
本发明涉及移动终端及其操作方法,更具体地讲,涉及一种能够基于全向图像来生成运动图像的移动终端及其操作方法。
背景技术
终端通常可根据其移动性而被分成移动/便携式终端或固定终端。移动终端还可根据用户是否能够直接携带终端而被分成手持终端或车载终端。
移动终端已经变得越来越多功能化。这些功能的示例包括数据和语音通信、经由相机拍摄图像和视频、记录音频、经由扬声器系统播放音乐文件以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的附加功能,而其它终端被配置成多媒体播放器。最近,移动终端已经被配置为接收允许观看诸如视频和电视节目的内容的广播和多播信号。
随着这些功能变得更多样化,移动终端可支持更复杂的功能,例如拍摄图像或视频、再现音乐或视频文件、玩游戏、接收广播信号等。通过全面地和集总地实现这些功能,移动终端可按照多媒体播放器或装置的形式来具体实现。
近来,移动终端可与用于拍摄全向图像的拍摄装置协作。尽管一般相机拍摄二维(2D)图像,360度相机可拍摄三维空间的球形全向图像。所拍摄的全向图像可被发送至移动终端并显示在显示器上。
现有的360度相机可在不移动的情况下拍摄全向背景,但是无法指定要拍摄的区域。即,无法设定360度相机的视角,因此用户无法仅拍摄期望的区域。
另外,由于全向图像具有宽拍摄范围,所以需要大的存储空间来存储全向图像。
因此,需要利用全向图像来生成容量小于视频的容量的运动图像。
发明内容
因此,本发明的目的在于解决上述和其它问题。
本发明的一个目的在于提供一种能够设定拍摄装置的拍摄区域,在全向图像中设定生成运动图像的区域,并且在所设定的区域中生成运动图像的移动终端及其操作方法。
本发明的另一目的在于通过移动终端来设定全向拍摄装置的一个或更多个拍摄区域。
根据本发明的一个实施方式的移动终端包括:短距离通信模块,其被配置为与用于拍摄全向图像的全向拍摄装置执行短距离通信;显示单元,其被配置为显示通过短距离通信模块接收的全向图像并且接收用户输入;以及控制器,其被配置为在全向图像中设定生成运动图像的区域并且在所设定的区域中生成运动图像。
根据另一实施方式的操作移动终端的方法包括以下步骤:与用于拍摄全向图像的全向拍摄装置执行短距离通信并接收全向图像;显示所接收的全向图像;以及在全向图像中设定生成运动图像的区域并且在所设定的区域中生成运动图像。
根据下文给出的详细描述,本发明的适用性的进一步范围将变得更加明显。然而,应当理解的是,由于根据详细描述,本发明的精神和范围内的各种改变和修改对于本领域技术人员而言将变得显而易见,因此仅通过例示的方式给出了表示本发明的优选实施方式的详细描述和具体示例。
附图说明
根据下文给出的详细描述和附图,本发明将被更加全面地理解,这些附图仅是例示进而不是对本发明的限制,并且,在附图中:
图1是根据本公开的移动终端的框图;
图2是示出根据本发明的实施方式的移动终端和全向拍摄装置的配置的图;
图3是示出拍摄全向拍摄装置周围的全向背景的状态的图;
图4是示出根据本发明的实施方式的操作移动终端和全向拍摄装置的方法的梯形图;
图5是示出根据本发明的实施方式的操作移动终端和全向拍摄装置的方法的图;
图6A至图6C是示出根据本发明的实施方式的识别全向图像中的移动的人并自动地生成运动图像的示例的图;
图7A至图7E是示出根据本发明的实施方式的识别全向图像中的移动的人并在包括移动的人的区域中生成运动图像的示例的图;
图8A至图8D是示出根据本发明的实施方式的自动地跟踪运动对象并生成运动图像的示例的图;
图9A至图9D是示出根据本发明的实施方式的选择运动对象或区域并生成运动图像的示例的图;
图10A至图10C是示出生成与全向拍摄装置的前侧和后侧对应的运动图像的示例的图;
图11A和图11B是示出生成与全向拍摄装置的多个特定角度对应的运动图像的示例的图;
图12A至图12E是示出生成与全向拍摄图像的特定角度对应的运动图像的示例的图;
图13A至图13E是示出调节全向拍摄图像的特定角度下的视角并生成运动图像的示例的图;
图14A至图14D是示出当在运动图像中接收到与运动对应的输入时移动图像的方法的图;
图15A和图15B是示出当从运动图像接收到与运动对应的输入时移动图像的方法的图;以及
图16A和图16B是示出依据全向图像的用户所观看的区域来生成运动图像的示例的图。
具体实施方式
现在将参照附图,根据本文公开的示例性实施方式详细给出描述。为了参照附图简要描述,可为相同或等同的组件提供相同的标号,其描述将不再重复。通常,诸如“模块”和“单元”的后缀可用于指代元件或组件。本文使用这种后缀仅是为了方便说明书的描述,后缀本身并非旨在给予任何特殊含义或功能。在本公开中,为了简明起见,相关领域的普通技术人员熟知的内容已被省略。使用附图来帮助容易地理解各种技术特征,应该理解,本文呈现的实施方式不受附图的限制。因此,本公开应该被解释为扩展至附图中具体示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。
尽管可在本文中使用术语第一、第二等描述各种元件,但是这些元件不应当受这些术语的限制。这些术语一般仅用于将一个元件与另一个元件相区分。
当一个元件被称为“与”另一个元件“连接”时,该元件可以与另一个元件连接或中间元件也可以存在。相反,当一个元件被称为“与”另一个元件“直接连接”时,不存在中间元件。
单数表示可以包括复数表示,除非该单数表示根据上下文表示明确不同的含义。在本文中使用的诸如“包括”或“具有”的术语应当理解为它们旨在指示本说明书中公开的多个部件、功能或步骤的存在,并且还应当理解的是,同样可以使用更多或更少的部件、功能或步骤。
本文呈现的移动终端可利用各种不同类型的终端来实现。这些终端的示例包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、石板PC、平板PC、超级本、可穿戴装置(例如,智能手表、智能眼镜、头戴式显示器(HMD))等。
仅通过非限制性示例,参照特定类型的移动终端进行进一步的描述。然而,这些教导同样适用于其它类型的终端,例如上述那些类型。另外,这些教导也可适用于诸如数字TV、台式计算机等的固定终端。
现在参照图1,图1是根据本公开的移动终端的框图。
移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190的组件。将理解,不要求实现所示的所有组件,可另选地实现更多或更少的组件。
现在参照图1,移动终端100被示出为具有利用多个通常实现的组件配置的无线通信单元110。例如,无线通信单元110通常包括允许移动终端100与无线通信系统或者移动终端所在的网络之间的无线通信的一个或更多个组件。
无线通信单元110通常包括允许通信(例如,移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端之间的通信、移动终端100与外部服务器之间的通信)的一个或更多个模块。另外,无线通信单元110通常包括将移动终端100连接到一个或更多个网络的一个或更多个模块。为了方便这些通信,无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。
输入单元120包括用于获得图像或视频的相机121、麦克风122(是用于输入音频信号的一种音频输入装置)以及用于使得用户能够输入信息的用户输入单元123(例如,触摸键、按键、机械键、软键等)。数据(例如,音频、视频、图像等)通过输入单元120来获得,并且可由控制器180根据装置参数、用户命令及其组合来分析和处理。
通常利用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现感测单元140。例如,在图1中,感测单元140被示出为具有接近传感器141和照度传感器142。
如果需要,感测单元140可另选地或另外地包括其它类型的传感器或装置,例如触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如,相机121)、麦克风122、电池电量计、环境传感器(例如,气压计、湿度计、温度计、辐射检测传感器、热传感器和气体传感器等)和化学传感器(例如,电子鼻、保健传感器、生物传感器等)等。移动终端100可被配置为利用从感测单元140获得的信息,具体地讲,从感测单元140的一个或更多个传感器获得的信息及其组合。
输出单元150通常被配置为输出各种类型的信息,例如音频、视频、触觉输出等。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。
为了方便触摸屏,显示单元151可具有与触摸传感器的中间层结构或集成结构。触摸屏可在移动终端100与用户之间提供输出接口,并且用作在移动终端100与用户之间提供输入接口的用户输入单元123。
接口单元160用作与可连接到移动终端100的各种类型的外部装置的接口。例如,接口单元160可包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下,移动终端100可响应于外部装置连接到接口单元160而执行与连接的外部装置关联的各种控制功能。
存储器170通常被实现为存储用于支持移动终端100的各种功能或特征的数据。例如,存储器170可被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。这些应用程序中的一些应用程序可经由无线通信从外部服务器下载。其它应用程序可在制造或出厂时安装在移动终端100内,针对移动终端100的基本功能(例如,接电话、打电话、接收消息、发送消息等),通常是这种情况。常见的是,应用程序被存储在存储器170中,被安装在移动终端100中,并由控制器180执行以执行移动终端100的操作(或功能)。
除了与应用程序关联的操作以外,控制器180通常还用于控制移动终端100的总体操作。控制器180可通过处理经由图1所描绘的各种组件输入或输出的信号、数据、信息等或者激活存储在存储器170中的应用程序来提供或处理适合于用户的信息或功能。作为一个示例,控制器180根据存储在存储器170中的应用程序的执行来控制图1所示的一些或所有组件。
电源单元190可被配置为接收外部电力或提供内部电力,以便供应对包括在移动终端100中的元件和组件进行操作所需的适当电力。电源单元190可包括电池,所述电池可被配置为嵌入终端主体中,或者被配置为可从终端主体拆卸。
仍参照图1,现在将更详细地描述该图中描绘的各种组件。关于无线通信单元110,广播接收模块111通常被配置为经由广播频道从外部广播管理实体接收广播信号和/或广播相关信息。广播频道可包括卫星频道、地面频道或这二者。在一些实施方式中,可使用两个或更多个广播接收模块111以方便同时接收两个或更多个广播频道或者支持在广播频道之间切换。
广播管理实体可以是生成并发送广播信号和/或广播相关信息的系统或者接收预先生成的广播信号和/或广播相关信息并将这些项目发送给移动终端的服务器。广播信号可利用TV广播信号、无线电广播信号、数据广播信号及其组合等中的任一个来实现。在一些情况下,广播信号还可包括与TV或无线电广播信号组合的数据广播信号。
可根据用于数字广播信号的发送和接收的各种技术标准或广播方法(例如,国际标准化组织(ISO)、国际电工委员会(IEC)、数字视频广播(DVB)、高级电视系统委员会(ATSC)等)中的任一种来对广播信号进行编码。广播接收模块111可利用适合于使用的发送方法的方法来接收数字广播信号。
广播相关信息的示例可包括与广播频道、广播节目、广播事件、广播服务提供商等关联的信息。广播相关信息还可经由移动通信网络来提供,并且在这种情况下由移动通信模块112来接收。
广播相关信息可按照各种格式来实现。例如,广播相关信息可包括数字多媒体广播(DMB)的电子节目指南(EPG)、手持数字视频广播(DVB-H)的电子服务指南(ESG)等。经由广播接收模块111接收的广播信号和/或广播相关信息可被存储在诸如存储器170的合适的装置中。
移动通信模块112可向一个或更多个网络实体发送无线信号和/或从其接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体形成移动通信网络的一部分,根据移动通信的技术标准或通信方法(例如,全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址2000)、EV-DO(增强型优化语音数据或增强型仅语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等)来构建所述移动通信网络。经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号或者支持文本和多媒体消息的通信的各种格式的数据。
无线互联网模块113被配置为方便无线互联网接入。此模块可从内部或外部连接到移动终端100。无线互联网模块113可根据无线互联网技术经由通信网络发送和/或接收无线信号。
这种无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(WiBro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等。无线互联网模块113可根据这些无线互联网技术以及其它互联网技术中的一个或更多个来发送/接收数据。
在一些实施方式中,当根据例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等实现作为移动通信网络的一部分的无线互联网接入时,无线互联网模块113执行这种无线互联网接入。因此,互联网模块113可与移动通信模块112协作或用作移动通信模块112。
短距离通信模块114被配置为方便短距离通信。用于实现这些短距离通信的合适的技术包括BLUETOOTHTM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。短距离通信模块114通常经由无线局域网支持移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端100之间的通信或者移动终端与另一移动终端100(或外部服务器)所在的网络之间的通信。无线局域网的一个示例是无线个域网。
在一些实施方式中,另一移动终端(可类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者与移动终端100协作)的可穿戴装置(例如,智能手表、智能眼镜或头戴式显示器(HMD))。短距离通信模块114可感测或识别可穿戴装置,并允许可穿戴装置与移动终端100之间的通信。另外,当所感测到的可穿戴装置是被验证为与移动终端100进行通信的装置时,例如,控制器180可将在移动终端100中处理的数据的至少一部分经由短距离通信模块114发送给可穿戴装置。因此,可穿戴装置的用户可在可穿戴装置上使用在移动终端100中处理的数据。例如,当在移动终端100中接收到呼叫时,用户可利用可穿戴装置来对该呼叫进行应答。另外,当在移动终端100中接收到消息时,用户可利用可穿戴装置来查看所接收到的消息。
位置信息模块115通常被配置为检测、计算、推导或者标识移动终端的位置。例如,位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块或这二者。如果需要,位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起工作,以获得与移动终端的位置有关的数据。
作为一个示例,当移动终端使用GPS模块时,可利用从GPS卫星发送的信号来获取移动终端的位置。作为另一示例,当移动终端使用Wi-Fi模块时,可基于与无线接入点(AP)有关的信息来获取移动终端的位置,所述无线接入点(AP)向Wi-Fi模块发送无线信号或者从Wi-Fi模块接收无线信号。
输入单元120可以被配置为允许对移动终端100的各种类型的输入。这些输入的示例包括音频、图像、视频、数据和用户输入。图像和视频输入常常利用一个或更多个相机121来获得。这些相机121可对在视频或图像拍摄模式下通过图像传感器获得的静止画面或视频的图像帧进行处理。经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。在一些情况下,相机121可按照矩阵配置布置,以使得具有各种角度或焦点的多个图像能够被输入至移动终端100。作为另一示例,相机121可按照立体布置方式来设置,以获取用于实现立体图像的左图像和右图像。
麦克风122通常被实现为允许向移动终端100输入音频。可根据移动终端100中执行的功能来按照各种方式处理音频输入。如果需要,麦克风122可包括各种噪声去除算法以去除在接收外部音频的过程中生成的不期望的噪声。
用户输入单元123是允许用户输入的组件。这种用户输入可使得控制器180能够控制移动终端100的操作。用户输入单元123可包括机械输入元件(例如,位于移动终端100的正面和/或背面或侧面的键、按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入装置等中的一个或更多个。作为一个示例,触敏输入装置可以是通过软件处理显示在触摸屏上的虚拟键或软键、或者设置在移动终端上的触摸屏以外的位置处的触摸键。另一方面,虚拟键或视觉键可按照各种形状(例如,图形、文本、图标、视频或其组合)显示在触摸屏上。
感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一个或更多个。控制器180通常与感测单元140协作以基于感测单元140所提供的感测来控制移动终端100的操作或者执行与安装在移动终端中的应用程序关联的数据处理、功能或操作。可利用各种传感器中的任何传感器来实现感测单元140,现在将更详细地描述其中一些传感器。
接近传感器141可包括在没有机械接触的情况下,利用电磁场、红外线等来感测是否存在靠近表面的物体或者位于表面附近的物体的传感器。接近传感器141可布置在移动终端被触摸屏覆盖的内侧区域处或触摸屏附近。
例如,接近传感器141可包括透射型光电传感器、直接反射型光电传感器、反射镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等中的任何传感器。当触摸屏被实现为电容型时,接近传感器141可通过电磁场响应于导电物体的靠近而发生的变化来感测指点器相对于触摸屏的接近。在这种情况下,触摸屏(触摸传感器)也可被归类为接近传感器。
本文中常常将提及术语“接近触摸”以表示指点器被设置为在没有接触触摸屏的情况下接近触摸屏的情景。本文中常常将提及术语“接触触摸”以表示指点器与触摸屏进行物理接触的情景。对于与指点器相对于触摸屏的接近触摸对应的位置,这种位置将对应于指点器垂直于触摸屏的位置。接近传感器141可感测接近触摸以及接近触摸模式(例如,距离、方向、速度、时间、位置、移动状态等)。
通常,控制器180对与接近传感器141所感测的接近触摸和接近触摸模式对应的数据进行处理,并使得在触摸屏上输出视觉信息。另外,控制器180可根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端100执行不同的操作或者处理不同的数据。
触摸传感器可利用各种触摸方法中的任何触摸方法来感测施加到触摸屏(例如,显示单元151)的触摸。这些触摸方法的示例包括电阻型、电容型、红外型和磁场型等。
作为一个示例,触摸传感器可被配置为将施加到显示单元151的特定部分的压力的变化或者在显示单元151的特定部分处发生的电容的变化转换为电输入信号。触摸传感器还可被配置为不仅感测触摸位置和触摸面积,而且感测触摸压力和/或触摸电容。通常使用触摸物体来对触摸传感器施加触摸输入。典型的触摸物体的示例包括手指、触摸笔、手写笔、指点器等。
当通过触摸传感器感测到触摸输入时,可将对应信号发送给触摸控制器。触摸控制器可对所接收到的信号进行处理,然后将对应数据发送给控制器180。因此,控制器180可感测显示单元151的哪一区域被触摸。这里,触摸控制器可以是独立于控制器180的组件、控制器180及其组合。
在一些实施方式中,控制器180可以根据对触摸屏或者除触摸屏以外设置的触摸键进行触摸的一种触摸物体来执行相同或不同的控制。例如,根据提供触摸输入的物体是执行相同的控制还是不同的控制可基于移动终端100的当前操作状态或者当前执行的应用程序来决定。
触摸传感器和接近传感器可单独实现或者组合实现,以感测各种类型的触摸。这些触摸包括短(或轻敲)触摸、长触摸、多触摸、拖曳触摸、轻拂触摸、缩小触摸、放大触摸、轻扫触摸、悬停触摸等。
如果需要,可实现超声传感器以利用超声波来识别与触摸物体有关的位置信息。例如,控制器180可基于由照度传感器和多个超声传感器感测的信息来计算波生成源的位置。由于光远比超声波快,所以光到达光学传感器的时间远比超声波到达超声传感器的时间短。可利用这一事实来计算波生成源的位置。例如,可以基于作为参考信号的光、利用相对于超声波到达传感器的时间的时间差来计算波生成源的位置。
相机121通常包括相机传感器(CCD、CMOS等)、光电传感器(或图像传感器)和激光传感器中的至少一个。
利用激光传感器实现相机121可允许检测物理对象相对于3D立体图像的触摸。光电传感器可被层压在显示装置上或者与显示装置交叠。光电传感器可被配置为对接近触摸屏的物理对象的移动进行扫描。更详细地讲,光电传感器可包括成行和列的光电二极管和晶体管,以利用根据施加的光的量而变化的电信号来对光电传感器处接收的内容进行扫描。即,光电传感器可根据光的变化来计算物理对象的坐标,从而获得物理对象的位置信息。
显示单元151通常被配置为输出在移动终端100中处理的信息。例如,显示单元151可显示在移动终端100处执行的应用程序的执行画面信息或者响应于执行画面信息的用户界面(UI)和图形用户界面(GUI)信息。
在一些实施方式中,显示单元151可被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。
通常,3D立体图像可包括左图像(例如,左眼图像)和右图像(例如,右眼图像)。根据左图像和右图像如何组合成3D立体图像,3D立体成像方法可分为左图像和右图像在帧中上下布置的上下方法、左图像和右图像在帧中左右布置的L至R(左至右或并排)方法、左图像和右图像的片段以拼块(tile)形式布置的棋盘格方法、左图像和右图像按照列或行交替布置的交织方法以及左图像和右图像基于时间交替显示的时间顺序(逐帧)方法。
另外,对于3D缩略图图像,可分别从原始图像帧的左图像和右图像生成左图像缩略图和右图像缩略图,然后将其组合以生成单个3D缩略图图像。通常,术语“缩略图”可用于表示缩小的图像或者缩小的静止图像。生成的左图像缩略图和右图像缩略图可按照与左图像和右图像之间的视差对应的深度利用二者间的水平距离差来显示在屏幕上,从而提供立体空间感。
可利用立体处理单元将实现3D立体图像所需的左图像和右图像显示在立体显示单元上。立体处理单元可接收3D图像并提取左图像和右图像,或者可接收2D图像并将其改变为左图像和右图像。
音频输出模块152通常被配置为输出音频数据。这些音频数据可从多种不同的源中的任何源获得,使得所述音频数据可从无线通信单元110接收或者可存储在存储器170中。所述音频数据可在诸如信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等的模式期间输出。音频输出模块152可提供与移动终端100所执行的特定功能有关的可听输出(例如,呼叫信号接收音、消息接收音等)。音频输出模块152还可被实现为受话器、扬声器、蜂鸣器等。
触觉模块153可被配置为产生用户感觉、感知或者体验的各种触觉效果。由触觉模块153产生的触觉效果的典型示例是振动。由触觉模块153产生的振动的强度、模式等可通过用户选择或控制器的设定来控制。例如,触觉模块153可按照组合方式或顺序方式输出不同的振动。
除了振动以外,触觉模块153可产生各种其它触觉效果,包括诸如插针排列向接触皮肤垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等的刺激效果、利用能够吸热或发热的元件再现冷和热的感觉的效果等。
除了通过直接接触传递触觉效果以外,触觉模块153还可被实现为使得用户能够通过诸如用户的手指或手臂的肌肉觉来感觉到触觉效果。可根据移动终端100的特定配置设置两个或更多个触觉模块153。
光学输出模块154可输出用于利用光源的光指示事件的发生的信号。移动终端100中发生的事件的示例可包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。
由光学输出模块154输出的信号可被实现为使得移动终端发射单色光或多种颜色的光。例如,随着移动终端感测到用户已查看所发生的事件,信号输出可被终止。
接口单元160用作要与移动终端100连接的外部装置的接口。例如,接口单元160可接收从外部装置发送来的数据,接收电力以传送给移动终端100内的元件和组件,或者将移动终端100的内部数据发送给这种外部装置。接口单元160可包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
所述标识模块可以是存储用于验证移动终端100的使用权限的各种信息的芯片,并且可包括用户标识模块(UIM)、订户标识模块(SIM)、全球订户标识模块(USIM)等。另外,具有标识模块的装置(本文中也称作“标识装置”)可采取智能卡的形式。因此,标识装置可经由接口单元160与移动终端100连接。
当移动终端100与外部托架连接时,接口单元160可用作使得能够将来自托架的电力供应给移动终端100的通道,或者可用作使得能够用来将由用户从托架输入的各种命令信号传送给移动终端的通道。从托架输入的各种命令信号或电力可用作用于识别出移动终端被正确安装在托架上的信号。
存储器170可存储用于支持控制器180的操作的程序,并存储输入/输出数据(例如,电话簿、消息、静止图像、视频等)。存储器170可存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。
存储器170可包括一种或更多种类型的存储介质,包括闪存、硬盘、固态盘、硅磁盘、微型多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。移动终端100还可与在诸如互联网的网络上执行存储器170的存储功能的网络存储装置有关地操作。
控制器180通常可控制移动终端100的总体操作。例如,当移动终端的状态满足预设条件时,控制器180可设定或解除用于限制用户相对于应用输入控制命令的锁定状态。
控制器180还可执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理,或者执行模式识别处理以将触摸屏上进行的手写输入或绘画输入分别识别为字符或图像。另外,控制器180可控制那些组件中的一个或其组合,以便实现本文公开的各种示例性实施方式。
电源单元190接收外部电力或提供内部电力,并且供应对包括在移动终端100中的各个元件和组件进行操作所需的适当电力。电源单元190可包括电池,该电池通常是可再充电的或者以可拆卸的方式连接到终端主体以便于充电。
电源单元190可包括连接端口。该连接端口可被配置为接口单元160的一个示例,用于供应电力以对电池进行再充电的外部充电器可电连接到该连接端口。
作为另一示例,电源单元190可被配置为以无线方式对电池进行再充电,而不使用连接端口。在此示例中,电源单元190可利用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发送器传送的电力。
本文所述的各种实施方式可利用例如软件、硬件或其任何组合来在计算机可读介质、机器可读介质或类似介质中实现。
现在将更详细地描述可随所描述的各种移动终端一起操作的通信系统。这种通信系统可被配置为使用各种不同的空中接口和/或物理层中的任一个。由通信系统使用的这些空中接口的示例包括频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、通用移动电信系统(UMTS)(包括长期演进(LTE)、LTE-A(高级长期演进))、全球移动通信系统(GSM)等。
仅通过非限制性示例,进一步的描述将涉及CDMA通信系统,但是这些教导同样适用于包括CDMA无线通信系统以及OFDM(正交频分复用)无线通信系统的其它系统类型。CDMA无线通信系统通常包括一个或更多个移动终端(MT或用户设备、UE)100、一个或更多个基站(BS、NodeB或演进NodeB)、一个或更多个基站控制器(BSC)以及移动交换中心(MSC)。MSC被配置为与传统公共交换电话网络(PSTN)和BSC进行接口连接。BSC经由回程线路连接到基站。回程线路可根据包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL或xDSL的多种已知接口中的任一种来配置。因此,CDMA无线通信系统中可包括多个BSC。
各个基站可包括一个或更多个扇区,各个扇区具有全向天线或者指向径向背离基站的特定方向的天线。另选地,各个扇区可包括两个或更多个不同的天线。各个基站可被配置为支持多个频率指派,各个频率指派具有特定频谱(例如,1.25MHz、5MHz等)。
扇区与频率指派的交叉点可被称作CDMA信道。基站也可被称作基站收发机子系统(BTS)。在一些情况下,术语“基站”可用于集总地指代BSC以及一个或更多个基站。基站还可被称作“小区站点”。另选地,给定基站的各个扇区可被称作小区站点。
广播发送机(BT)向在系统内操作的移动终端100发送广播信号。通常在移动终端100内部配置图1的广播接收模块111以接收由BT发送的广播信号。
例如,用于对移动终端100的位置进行定位的全球定位系统(GPS)卫星可与CDMA无线通信系统协作。可利用比两个卫星更多或更少的卫星来获得有用的位置信息。将理解,另选地,可实现其它类型的位置检测技术(即,除了GPS定位技术以外还可另外使用的定位技术或代替GPS定位技术可使用的定位技术)。如果需要,多个GPS卫星中的至少一个可另选地或另外地被配置为提供卫星DMB传输。
位置信息模块115通常被配置为检测、计算或者标识移动终端的位置。例如,位置信息模块115可包括全球定位系统(GPS)模块、Wi-Fi模块或这二者。如果需要,位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起作用,以获得与移动终端的位置有关的数据。
典型的GPS模块115可测量准确时间以及距三个或更多个卫星的距离,并且基于所测量的时间和距离来根据三角法准确地计算移动终端的当前位置。可使用从三个卫星获取距离和时间信息并且利用单个卫星执行误差校正的方法。具体地讲,除了位置的纬度值、经度值和高度值以外,GPS模块还可根据从卫星接收的位置信息来获取准确时间以及三维速度信息。
另外,GPS模块可实时地获取速度信息,以计算当前位置。有时,当移动终端位于卫星信号的盲点处(例如,位于室内空间)时,可能损害测量的位置的准确性。为了使这些盲点的影响最小化,可使用诸如Wi-Fi定位系统(WPS)的另选或补充的定位技术。
Wi-Fi定位系统(WPS)是指使用Wi-Fi作为跟踪移动终端100的位置的技术的基于无线局域网(WLAN)的位置确定技术。该技术通常包括在移动终端100中使用Wi-Fi模块以及使用无线接入点与该Wi-Fi模块通信。
Wi-Fi定位系统可包括Wi-Fi位置确定服务器、移动终端、连接到该移动终端的无线接入点(AP)以及存储有无线AP信息的数据库。
连接到无线AP的移动终端可将位置信息请求消息发送给Wi-Fi位置确定服务器。Wi-Fi位置确定服务器基于移动终端100的位置信息请求消息(或信号)来提取连接到移动终端100的无线AP的信息。无线AP的信息可通过移动终端100发送至Wi-Fi位置确定服务器,或者可从无线AP发送至Wi-Fi位置确定服务器。
基于移动终端100的位置信息请求消息提取的无线AP的信息可包括介质访问控制(MAC)地址、服务集标识(SSID)、接收信号强度指示符(RSSI)、参考信号接收功率(RSRP)、参考信号接收质量(RSRQ)、信道信息、隐私、网络类型、信号强度、噪声强度等中的一个或更多个。
Wi-Fi位置确定服务器可如上所述接收连接到移动终端100的无线AP的信息,并且可从预先建立的数据库提取与连接到移动终端的无线AP对应的无线AP信息。存储在数据库中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、隐私、网络类型、纬度和经度坐标、无线AP所在的建筑物、楼层号、详细室内位置信息(可用的GPS坐标)、AP所有者的地址、电话号码等的信息。为了在位置确定处理期间去除利用移动AP或非法MAC地址提供的无线AP,Wi-Fi位置确定服务器可按照高RSSI的顺序仅提取预定数量的无线AP信息。
然后,Wi-Fi位置确定服务器可利用从数据库提取的至少一个无线AP信息来提取(分析)移动终端100的位置信息。
提取(分析)移动终端100的位置信息的方法可包括小区ID方法、指纹方法、三角方法、界标方法等。
小区ID方法用于确定由移动终端收集的周边无线AP信息当中的具有最大信号强度的无线AP的位置,作为移动终端的位置。小区ID方法是复杂度最小,不需要附加成本,并且可快速获取位置信息的实现方式。然而,在小区ID方法中,当无线AP的安装密度较低时,定位精度可能落于期望的阈值以下。
指纹方法用于通过从服务区域选择参考位置来收集信号强度信息,并且基于所收集的信息来利用从移动终端发送来的信号强度信息跟踪移动终端的位置。为了使用指纹方法,常见的是将无线电信号的特性以数据库的形式预存储。
三角方法用于基于至少三个无线AP的坐标与移动终端之间的距离来计算移动终端的位置。为了测量移动终端与无线AP之间的距离,可将信号强度转换为距离信息,针对发送的无线信号可采取到达时间(ToA)、到达时间差(TDoA)、到达角(AoA)等。
界标方法用于利用已知的界标发送机来测量移动终端的位置。
除了这些定位方法以外,可使用各种算法来提取(分析)移动终端的位置信息。这些提取的位置信息可通过Wi-Fi位置确定服务器发送给移动终端100,从而获取移动终端100的位置信息。
移动终端100可通过连接到至少一个无线AP来获取位置信息。获取移动终端100的位置信息所需的无线AP的数量可根据移动终端100所在的无线通信环境而不同地改变。
如先前参照图1描述的,移动终端可被配置为包括诸如BluetoothTM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、近场通信(NFC)、无线USB(无线通用串行总线)等的短距离通信技术。
设置在移动终端处的典型NFC模块支持短距离无线通信,短距离无线通信是移动终端之间的不可接触型的通信,通常发生在大约10cm内。NFC模块可在卡模式、读取器模式或P2P模式中的一种模式下操作。移动终端100还可包括用于存储卡信息的安全模块,以便NFC模块在卡模式下操作。该安全模块可以是诸如通用集成电路卡(UICC)(例如,订户标识模块(SIM)或通用SIM(USIM))、安全微型SD和记忆棒(sticker)的物理介质、或者嵌入移动终端中的逻辑介质(例如,嵌入式安全元件(SE))。可在NFC模块与安全模块之间执行基于单线协议(SWP)的数据交换。
在NFC模块在卡模式下操作的情况下,移动终端可将关于一般IC卡的卡信息发送至外部。更具体地讲,如果具有关于支付卡(例如,信用卡或公交卡)的卡信息的移动终端靠近读卡器,则可执行短距离移动支付。又如,如果存储有关于门禁卡的卡信息的移动终端靠近门禁卡读取器,则进入准许过程可以开始。诸如信用卡、交通卡或门禁卡的卡可按照小应用(applet)的形式被包括在安全模块中,安全模块可存储关于安装在其中的卡的卡信息。用于支付卡的卡信息可包括卡号、余额和使用历史等中的任何信息。门禁卡的卡信息可包括用户姓名、用户编号(例如,学号或员工编号)、进入历史等中的任何信息。
当NFC模块在读取器模式下操作时,移动终端可从外部标签读取数据。由移动终端从外部标签接收的数据可被编码为由NFC论坛定义的NFC数据交换格式。NFC论坛总体上定义了四种记录类型。更具体地讲,NFC论坛定义了诸如智能海报、文本、统一资源标识符(URI)和总体控制的四种记录类型定义(RTD)。如果从外部标签接收的数据是智能海报型,则控制器可执行浏览器(例如,互联网浏览器)。如果从外部标签接收的数据是文本型,则控制器可执行文本查看器。如果从外部标签接收的数据是URI型,则控制器可执行浏览器或发起呼叫。如果从外部标签接收的数据是总体控制型,则控制器可根据控制内容执行适当操作。
在NFC模块在P2P(对等)模式下操作的一些情况下,移动终端可与另一移动终端执行P2P通信。在这种情况下,逻辑链路控制协议(LLCP)可应用于P2P通信。为了P2P通信,可在移动终端与另一移动终端之间生成连接。该连接可被分类为在交换一个分组之后结束的无连接模式以及连续交换分组的面向连接模式。对于典型的P2P通信,可交换诸如电子型名片、地址信息、数字照片和URL的数据、蓝牙连接、Wi-Fi连接的设置参数等。可在交换小容量的数据时有效地使用P2P模式,因为NFC通信的可用距离相对较短。
将参照另外的附图更详细地描述进一步的优选实施方式。本领域技术人员将理解,在不脱离本发明的特性的情况下,本发明的特征可按照多种形式来具体实现。
图2是示出根据本发明的实施方式的移动终端和全向拍摄装置的配置的图。
在图2中,仅示出图1所示的移动终端100的一些组件。对于图2所示的移动终端100的配置,参考图1。
全向拍摄装置200可包括图像获取单元210、短距离通信模块230、传感器250和控制器290。
图像获取单元210可拍摄全向拍摄装置200周围的全向背景并获取全向图像。
可通过从特定点拍摄所有方向来获得全向图像。
例如,如果存在虚拟球体并且特定点是虚拟球体的中心,则所有方向可表示从球体的中心到虚拟球体的表面的所有方向。
即,当利用全向拍摄装置200(例如,360度相机)拍摄图像时,可通过拍摄全向拍摄装置200的所有方向来获得全向图像。
全向图像可如图3所示具有球形形状。全向图像可被称作360度图像。
图像获取单元210可包括多个相机。尽管图2中示出前相机211和后相机213,本发明不限于此,全向拍摄装置200中可包括三个或更多个相机。
前相机211和后相机213中的每一个可包括具有180度或以上的视角的鱼眼镜头。前相机211和后相机213中的每一个可通过鱼眼镜头来拍摄全向背景。
控制器290可将通过鱼眼镜头以球形形状获取的两个部分全向图像合成以生成全向图像。
尽管在以上描述中全向图像具有球形形状,本发明不限于此。
更具体地,当利用全向拍摄装置200拍摄特定视角内的图像时,全向图像可意指通过拍摄该特定视角内的所有方向而获得的图像。
例如,当全向拍摄装置200的视角被设定为180度时,全向图像可以是通过拍摄从虚拟球体的中心到虚拟半球的表面的所有方向而获得的图像。
短距离通信模块230可将控制器290所生成的球形全向图像以无线方式发送至移动终端100。短距离通信模块230可利用诸如Wi-Fi直连、蓝牙或Wi-Fi的任一种通信协议来将全向图像发送至移动终端100,但不限于此。
全向拍摄装置200除了短距离通信模块230以外还可包括诸如USB接口的有线通信接口,并且可通过有线通信接口来与移动终端100通信。
传感器250可包括陀螺仪传感器和加速度传感器中的一个或更多个。
控制器290可控制全向拍摄装置200的总体操作。
另外,全向拍摄装置200可包括一个或更多个麦克风。
图3是示出拍摄全向拍摄装置周围的全向背景的状态的图。
拍摄装置200可拍摄全向背景。拍摄装置200可基于拍摄装置200所在的水平面拍摄垂直下区域和垂直上区域。即,拍摄装置200可获取与拍摄装置200的全向背景对应的球形全向图像300。所获取的全向图像300可被发送至移动终端100。
移动终端100的显示单元151可显示与全向图像300的特定区域对应的部分图像。例如,移动终端100的显示单元151可显示与全向图像300的第一区域对应的第一部分图像310或者与第二区域对应的第二部分图像320。
显示在显示单元151上的部分图像可根据用户设置而改变,并且可被设定为默认部分图像。
图4是示出根据本发明的实施方式的操作移动终端和全向拍摄装置的方法的梯形图。
首先,移动终端100和全向拍摄装置200通过短距离无线通信来彼此连接(S401)。
全向拍摄装置200通过图像获取单元210来拍摄全向图像(S403)并将所获取的全向图像发送至移动终端100(S405)。
在一个实施方式中,全向拍摄装置200的控制器290可通过短距离通信模块230将全向图像发送至移动终端100的短距离通信模块114。
在一个实施方式中,全向拍摄装置200的控制器290可将所获取的全向图像实时地发送至移动终端100。
移动终端100的控制器180将全向图像显示在移动终端100的显示单元151上(S407)。
移动终端100的控制器将从全向拍摄装置200接收的全向图像显示在显示单元151上。全向图像可利用各种方法被显示在显示单元151上。
移动终端100的控制器180可在没有失真的情况下将全向图像的预定区域显示在画面上。在这种情况下,可限制显示在显示单元151上的图像的视角。如果视角增大,则显示在显示单元151上的图像可能失真。
另外,移动终端100的控制器180可将完整的全向图像显示在显示单元151上。在这种情况下,图像可能失真,但是完整的失真全向图像可显示在显示单元151上。
即,移动终端100的控制器可在显示单元151上以预览的形式提供从全向拍摄装置200接收的全向图像。
当利用预先拍摄的全向图像来生成运动图像时,显示预览图像的步骤可被显示预先存储的全向图像的步骤代替。
移动终端100的控制器180可识别拍摄命令并生成运动图像的拍摄信息(S409)。拍摄信息可被传送至全向拍摄装置200(S411)。全向拍摄装置200可根据拍摄信息来拍摄全向图像(S413)。另外,全向拍摄装置200可将所拍摄的全向图像发送至移动终端(S415)。
在本发明中,拍摄信息可包括全向图像的生成运动图像的拍摄区域、拍摄时间、每单位时间拍摄的帧数等。当利用预先存储的全向图像来生成运动图像时,拍摄信息可包括全向图像的生成运动图像的拍摄区域、拍摄时间、每单位时间拍摄的帧数等。
在一个实施方式中,拍摄信息可以是用于基于全向拍摄装置200的位置指定要由全向拍摄装置200拍摄的全向图像的拍摄区域的信息。更具体地,拍摄信息可以是用于基于全向图像的特定对象来拍摄全向图像的信息。
在本发明中,设定全向拍摄装置200的拍摄区域可被解释为具有与设定全向拍摄装置200的视角相同的含义。
具体地,设定全向拍摄装置200的拍摄区域可被解释为具有与设定全向拍摄装置200的前相机211或后相机213的视角相同的含义。
如果用户通过全向拍摄装置200生成运动图像,则难以在通过移动终端100的显示单元151查看全向图像的同时找到期望的部分。
此时,如果用户在移动终端100的控制器180中指定运动对象的预定区域作为拍摄区域,则即使当用户没有识别全向图像的运动区域时,移动终端100的控制器180也可生成包括拍摄区域的拍摄信息。
在一个实施方式中,移动终端100的控制器180可根据拍摄指定请求不存储与从全向拍摄装置100接收的全向图像的指定的拍摄区域以外的区域对应的图像。
因此,根据本发明的一个实施方式,可解决由于其大容量而难以将通过全向拍摄装置200拍摄的全向图像存储在存储器170中的问题。
在本发明的另一实施方式中,全向拍摄装置200可拍摄包括所有方向的图像的全向图像并将其发送至移动终端100,并且移动终端100的控制器180可在所接收的全向图像中设定预定区域并在所设定的区域中生成运动图像。
在另一实施方式中,移动终端100的控制器180可仅从全向拍摄装置200接收与设定的拍摄区域对应的拍摄的图像。为此,全向拍摄装置200可仅将与全向图像的设定的拍摄区域对应的部分图像发送至移动终端100。
在另一实施方式中,移动终端100的控制器180可仅从全向拍摄装置200接收与设定的拍摄时间对应的拍摄的图像。例如,如果不存在运动对象,则可限制全向拍摄装置200的拍摄。
在另一实施方式中,移动终端100的控制器180可仅从全向拍摄装置200接收与设定的每单位时间拍摄的帧数对应的拍摄的图像。例如,如果每单位时间拍摄的帧数被设定为2,则全向拍摄装置200可按照每秒2帧的帧率(小于每秒15帧至60帧的一般帧率)将所拍摄的图像发送至移动终端100。
移动终端100的控制器180可在拍摄区域中设定存储区域(S417)。另外,移动终端100的控制器180可生成运动图像(S419)。
在一个实施方式中,移动终端100的控制器180可设定拍摄的全向图像的存储区域并生成与所设定的区域对应的运动图像。
在本发明中,运动图像可以是能够通过将多个图像按照图形交换格式(GIF)作为单个文件存储来实现简单动画效果的图像。
下文中,将详细描述图4的实施方式。
图5是示出根据本发明的实施方式的操作移动终端和全向拍摄装置的方法的图。
在图5中,假设移动终端100和全向拍摄装置200通过短距离无线通信彼此连接。
另外,假设全向拍摄装置200拍摄全向拍摄装置200周围的全向图像510。
尽管在图5中全向图像510仅包括位于一侧的人,但是仅全向图像的一部分被显示并且全向图像510可以是全向拍摄装置200周围的完整图像。
参照图5,移动终端100可显示由全向拍摄装置200拍摄的全向图像510的部分图像。
在图5中,移动终端100可从全向拍摄装置200接收与全向图像510对应的全向图像,但是可不将所接收的全向图像显示在显示单元151上。
显示在移动终端100的显示单元151上的图像可对应于由全向拍摄装置200拍摄的全向图像。该全向图像可具有二维展开形状,而非球形形状。
移动终端100可从全向拍摄装置200接收球形全向图像并将球形全向图像转换为二维图像。
移动终端100可将二维全向图像550分成多个网格区域。多个网格区域当中的与设定的拍摄区域对应的网格区域可被显示以与其它网格区域相区分。
图6A至图6C是示出根据本发明的实施方式的识别全向图像中的移动的人并自动地生成运动图像的示例的图。
参照图6A,移动终端100的控制器180可将全向图像的部分图像620显示在显示单元151上。另外,移动终端100的控制器180可将与全向图像的部分图像620对应的时间线图像631至635显示在显示单元151的下端。另外,移动终端100的控制器180可显示在显示单元151上显示图像时的时间点。在图6A中,全向图像的部分图像620可以是与时间点643对应的图像,并且时间线图像633也可以是与时间点643对应的图像。
参照图6B,在本发明的一个实施方式中,移动终端100的控制器180可在全向图像中搜索对象移动的区域650。搜索到的区域可被显示在移动终端100的显示单元151上。当搜索到的区域被指定时,用户可选择用于存储该区域的图标660并生成与该区域对应的运动图像。
参照图6C,在本发明的一个实施方式中,移动终端100的控制器180可生成与对象移动的区域650对应的运动图像670。另外,控制器可将与运动图像670对应的区域672显示在与全向图像对应的球体671中。
根据本发明,当移动终端100的用户利用全向图像来生成运动图像时,移动终端100的控制器180可自动地从全向图像检测运动图像并生成运动图像。因此,在本发明中,可更容易地从难以检测期望的对象的全向图像检测运动对象并生成运动图像。
图7A至图7E是示出根据本发明的实施方式的识别全向图像中的移动的人并在包括移动的人的区域中生成运动图像的示例的图。
参照图7A和7B,在本发明的一个实施方式中,移动终端100的控制器180可在全向图像中搜索对象移动的区域。另外,移动终端100的控制器180可搜索对象移动的区域的周边对象并且将包括运动对象及其周边对象的区域设定为存储区域。
例如,参照图7A,通过时间线图像631至635可以看出,仅左侧的人移动,其他人没有移动。在这种情况下,移动终端100的控制器180可将包括运动对象以及运动对象附近的固定对象的区域设定为存储区域710。
因此,移动终端100的控制器180可生成包括运动对象以及运动对象附近的固定对象的运动图像711。
根据本发明,可按照各种方式来生成包括运动对象以及运动对象附近的固定对象的运动图像并获得运动图像。
参照图7C和7D,在本发明的一个实施方式中,移动终端100的控制器180可在全向图像中搜索对象移动的多个区域720和730。移动终端100的控制器180可将搜索到的区域显示在移动终端100的显示单元151上。
例如,参照图7C,通过时间线图像631至635可以看出,仅左侧的人和右侧的人移动,其他人没有移动。在这种情况下,移动终端100的控制器180可在运动对象和固定对象之间进行区分并且将对象移动的多个区域720和730设定为存储区域。
在本发明的一个实施方式中,如果存在对象移动的多个区域720和730作为存储区域,则移动终端100的控制器180可生成与所述多个区域对应的运动图像721和722。
在本发明的另一实施方式中,如果存在对象移动的多个区域720和730作为存储区域,则移动终端100的控制器180可生成与所述多个区域对应的一个运动图像。
根据本发明,如果存在多个运动对象,则可生成分别与所述多个区域对应的运动图像或者生成包括多个运动区域的运动图像。因此,可按照各种方式获得运动图像。
参照图7E,移动终端100的控制器180可确定运动图像被拍摄时的时间以及在拍摄全向图像时每秒的帧数中的至少一个。
例如,用户可将移动终端设定为每秒拍摄两个图像,将所拍摄的图像组合,并生成运动图像。在这种状态下,当用户连续地按下拍摄按钮时,移动终端100的控制器180使得全向拍摄装置180能够在按下拍摄按钮的同时按照预定周期拍摄周边图像。如图7E所示,如果用户按下拍摄按钮直至拍摄了12个图像,则移动终端100的控制器180可在6秒内获得12个图像并利用所获得的图像生成运动图像。
根据本发明,移动终端100的用户可在期望的时间内按照期望的周期拍摄全向图像。因此,可更容易地拍摄运动图像。
图8A至图8D是示出根据本发明的实施方式的自动地跟踪运动对象并生成运动图像的示例的图。
参照图8A,移动终端100可显示由全向拍摄装置200拍摄的全向图像800的部分图像810。
在图8A中,移动终端100可从全向拍摄装置200接收与全向图像800对应的全向图像,但是可不将所接收的全向图像显示在显示单元151上。
在本发明的一个实施方式中,移动终端100的控制器180可从全向拍摄装置200接收全向图像,跟踪运动对象(如果存在的话),并生成运动图像。
例如,如图8A所示,当猫801在预定方向802上移动时,可生成包括移动的猫801的运动图像。
参照图8B,移动终端100的控制器180可将全向图像的部分图像820显示在显示单元151上。另外,移动终端100的控制器180可将与全向图像的部分图像820对应的时间线图像831至835显示在显示单元151的下端。另外,移动终端100的控制器180可显示图像被显示在显示单元151上时的时间点。
在本发明的一个实施方式中,如果猫801从第一位置821移动到第二位置822,则移动终端100的控制器180可将包括第一位置821、第二位置822以及猫801从第一位置821到第二位置822的移动路径的区域820设定为存储区域。
例如,如果如图8C所示设定存储区域,则移动终端100的控制器180可固定运动图像的视角并在固定的视角内生成包括作为目标对象的猫871至874的运动图像851至854的运动图像。另外,移动终端100的控制器180可按照球形形状显示视角的位置。在这种情况下,视角864是恒定的。
尽管运动图像包括四个图像,包括在运动图像中的图像的数量不固定,可不同地改变。
再参照图8B。
在本发明的另一实施方式中,如果猫801从第一位置821移动到第二位置822,则移动终端100的控制器180可设定存储区域,使得当猫801从第一位置821移动到第二位置822时猫801位于区域的中心处。在这种情况下,存储区域可在作为运动对象的猫801移动的同时移动。
例如,如果如图8D所示设定存储区域,则移动终端100的控制器180可通过随着运动对象移动而改变视角来生成包括作为目标对象的猫881至883位于区域的中心处的图像891至893的运动图像。另外,移动终端100的控制器180可按照球形形状显示视角的位置。在这种情况下,可以看出,视角894至896的位置是不同的。
尽管运动图像包括三个图像,包括在运动图像中的图像的数量不固定,可不同地改变。
图9A至图9D是示出根据本发明的实施方式的选择运动对象或区域并生成运动图像的示例的图。
在本发明的一个实施方式中,移动终端100的控制器180可设定任意区域或者包括任意对象的区域作为存储区域。
参照图9A和图9B,移动终端100的控制器180可利用显示单元151从用户接收关于存储区域的信息。当第一区域910被选为存储区域并且所选区域存储按钮911被按下时,移动终端100的控制器180可生成与存储区域对应的运动图像。
参照图9C和图9D,当选择猫920的手势被输入至显示单元151时,移动终端100的控制器180可设定以猫920为中心的存储区域。另外,当接收到选择所选对象存储按钮923的手势时,可生成与存储区域对应的运动图像。在这种情况下,如图8D所示,可生成包括作为目标对象的猫920位于区域的中心处的图像的运动图像。
图10A至图10C是示出生成与全向拍摄装置的前侧和后侧对应的运动图像的示例的图。
在本发明的一个实施方式中,当运动对象位于全向拍摄装置200的前侧和后侧时,移动终端100的控制器180可利用前侧和后侧区域的图像来生成运动图像。
例如,如图10A所示,运动对象1010存在于全向拍摄装置200的前侧,运动对象1020存在于全向拍摄装置200的后侧。在这种情况下,全向拍摄装置200可同时拍摄运动对象1010和运动对象1020。另外,移动终端100的控制器180可生成包括运动对象1010和运动对象1020的运动图像。
在本发明的一个实施方式中,可通过在向显示单元151输入第一输入信号1031的状态下向显示单元151输入第二输入信号1032来执行同时拍摄前侧和后侧图像并生成运动图像的手势。然而,本发明不限于该手势,可利用各种手势来生成运动图像。
参照图10C,在本发明的一个实施方式中,当存在对象移动的多个区域时,即,当运动对象1010和运动对象1020存在于全向拍摄装置的前侧和后侧时,移动终端100的控制器180可生成分别与多个区域对应的运动图像1051和1052。另外,可生成包括多个区域的一个运动图像。
图11A和图11B是示出生成与全向拍摄装置的多个特定角度对应的运动图像的示例的图。
在本发明的一个实施方式中,同时拍摄前侧和后侧图像并生成运动图像的手势可根据在向显示单元151输入第一输入信号1031的状态下输入第二输入信号1132的次数来控制全向图像的拍摄角度。如图11A所示,当第二输入信号1132被输入两次时,移动终端100的控制器180可按照180°的间隔角度1111将全向图像分成前侧部分1120和后侧部分1121。另外,如图11B所示,当第二输入信号1132被输入三次时,移动终端100的控制器180可按照120°的间隔角度将全向图像分成三个部分1120、1142和1143。
上述实施方式仅是示例性的,可使用上述手势以外的手势。全向图像可按照均匀的间隔角度被分成n个部分。
图12A至图12E是示出生成与全向拍摄图像的特定角度对应的运动图像的示例的图。
参照图12A,在本发明的一个实施方式中,移动终端100的控制器180可将完整的全向图像显示在显示单元151上。在这种情况下,图像可能失真,但是完整的失真全向图像可显示在显示单元151上。即,移动终端100的控制器180可按照球形形状将全向图像显示在显示单元151上。如果按照球形形状显示全向图像,则图像可能失真,因此无法准确地指定对象。
参照图12B和图12C,在本发明的一个实施方式中,如果按照球形形状显示全向图像,则可指定指导线1203以便生成包括对象1204的运动图像。因此,移动终端100的控制器180可生成包括位于两条指导线1203之间的对象1204的运动图像。另外,移动终端100的控制器180可将与全向图像的部分图像对应的时间线图像1211至1214显示在显示单元151的下端。
参照图12C和图12D,在本发明的一个实施方式中,如果按照球形形状显示全向图像,则可指定指导线1242和1244以便生成包括多个对象1241和1243的运动图像。因此,移动终端100的控制器180可生成包括位于两条指导线之间的对象1242和1244的运动图像。即,如果在球形图像中存在要用于生成运动图像的多个对象,则可利用多条指导线来选择对象。因此,即使当存在多个对象时,也可利用指导线来选择对象。另外,指示所选择的区域的数量的通知1249可显示在移动终端100的显示单元151上。
另外,移动终端100的控制器180可将与全向图像的部分图像对应的时间线图像1251至1253和1261至1263显示在显示单元151的下端。因此,可更容易地确认要生成的运动图像。
图13A至图13E是示出调节全向拍摄图像的特定角度下的视角并生成运动图像的示例的图。
在本发明的一个实施方式中,移动终端100的控制器180可设定以选择的对象为中心的运动图像的视角。
参照图13A至图13C,用户可从显示在移动终端100的显示单元151上的图像选择要用于生成运动图像的对象1301。另外,可选择以对象1301为中心的图像的视角。例如,当用户选择30度(1311)时,移动终端100的控制器180可确定具有位于其中心处的对象1301并且具有30°的视角的存储区域。
参照图13D和图13E,当用户选择90度(1312)时,移动终端100的控制器180可确定具有位于其中心处的对象1301并且具有90°的视角的存储区域。
图14A至图14D是示出当在运动图像中接收到与运动对应的输入时移动图像的方法的图。
在本发明的一个实施方式中,移动终端100的控制器180可存储运动图像1401中的对象的运动方向。
另外,如果接收到与运动图像1401中的对象的运动方向对应的手势1411,则移动终端100的控制器180可使得运动图像能够移动。
参照图14A至图14D,存储在移动终端的存储器170中的运动图像是男人和女人上下跳跃的图像。
当在运动图像1401停止的状态下用户输入向上滚动的手势1411时,移动终端100的控制器180可播放运动图像,直至男人和女人向上跳跃至其峰值(1402)。
另外,移动终端100的控制器180可在男人和女人向上跳跃至其峰值的状态下停止运动图像(1402)。
在这种状态下,当用户输入向下滚动的手势1412时,移动终端100的控制器180可播放运动图像,直至男人和女人落地(1403)。
根据本发明,移动终端的用户可考虑对象的运动来播放运动图像。
图15A和图15B是示出当从运动图像接收到与运动对应的输入时移动图像的方法的图。
参照图15A和图15B,存储在移动终端100的存储器170中的运动图像是猫向左移动的运动图像。
当在运动图像1501停止的状态下用户在输入选择猫1511作为运动对象的手势之后输入向左滚动的手势1521时,移动终端100的控制器180可播放猫1511移动的图像。
根据本发明,移动终端的用户可考虑对象的运动来播放运动图像。
图16A和图16B是示出依据全向图像的用户所观看的区域来生成运动图像的示例的图。
在本发明的一个实施方式中,当移动终端100的用户在移动视点的同时观看全向图像时,移动终端100的控制器180可根据移动的视点来生成运动图像。
例如,移动终端100的用户可将全向图像的部分图像的视点从第一视点1601通过第二视点1602和第三视点1603移动到第四视点1604。更具体地,视点可沿着第一路径1611、第二路径1612和第三路径1613移动。如果全向图像的部分图像的视点如上所述移动,则移动终端100的控制器180可根据视点的移动路径来生成运动图像。
另外,移动终端100的控制器180可在显示单元151上显示指示存储与这种路径对应的运动图像的通知1620。
根据本发明的各种实施方式,可从全向图像获取运动对象的运动图像。
根据本发明的各种实施方式,可更容易地从难以检测期望的对象的全向图像检测运动对象,并生成运动图像。
根据本发明的各种实施方式,可根据运动对象从全向图像获取运动图像。
根据本发明的各种实施方式,可生成包括运动对象以及附近运动对象的固定对象的运动图像并获得各种运动图像。
根据本发明的各种实施方式,移动终端可不存储从全向拍摄装置接收的全向图像,而是可仅存储特定拍摄区域。因此,可节省存储器的存储空间。
另一方面,控制器180通常是管理设备的控制的组件,也可被称作中央处理单元、微处理器、处理器等。
以上描述中提到的本发明可利用存储有指令的机器可读介质来实现,所述指令由处理器执行以执行本文所呈现的各种方法。可能的机器可读介质的示例包括HDD(硬盘驱动器)、SSD(固态盘)、SDD(硅磁盘驱动器)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置、本文所呈现的其它类型的存储介质及其组合。如果期望,机器可读介质可按照载波的形式实现(例如,经由互联网的传输)。处理器可包括移动终端的控制器180。
以上实施方式仅是示例性的,并且不被认为限制本公开。本说明书旨在是说明性的,而不是限制权利要求的范围。对于本领域技术人员而言,许多替代、修改和变型将是显而易见的。在此描述的示例性实施方式的特征、结构、方法和其它特性可以按照各种方式组合以获得另外的和/或另选的示例性实施方式。
由于在不脱离本发明的特性的情况下,本发明的特征可以按照多种形式来具体实现,所以还应该理解,除非另外指明,否则上述实施方式不受以上描述的任何细节限制,而是应该在所附权利要求书中所限定的范围内广义地理解,因此,落入权利要求的范围及其等同范围内的所有改变和修改因此旨在被所附的权利要求书涵盖。
相关申请的交叉引用
本申请要求于2016年10月18日提交的韩国专利申请第10-2016-0135371号的优先权,通过引用将该韩国专利申请的全部内容并入本文。

Claims (18)

1.一种移动终端,该移动终端包括:
无线通信接口,该无线通信接口被配置为与用于拍摄全向图像的全向拍摄装置执行短距离通信;
显示单元,该显示单元被配置为显示通过所述无线通信接口接收的所述全向图像并接收用户输入;以及
控制器,该控制器被配置为:
在所述全向图像中设定生成多个运动图像的多个区域;并且
生成分别对应于所述多个区域的所述多个运动图像,
其中,所述多个运动图像中的每一个是组合了与设定的所述多个区域中的每一个相对应的多个图像的动画,
其中,所述多个图像是根据预定帧率获得的。
2.根据权利要求1所述的移动终端,其中,所述控制器识别所述全向图像中的运动对象,
其中,生成所述多个运动图像的所述多个区域中的第一区域包括所述运动对象。
3.根据权利要求2所述的移动终端,其中,所述控制器识别位于距所述运动对象预定距离内的停止对象,
其中,生成所述多个运动图像的所述多个区域中的所述第一区域包括所述运动对象和所述停止对象。
4.根据权利要求2所述的移动终端,其中,所述控制器随着时间过去灵活地改变生成所述多个运动图像的所述多个区域中的所述第一区域。
5.根据权利要求4所述的移动终端,其中,所述控制器随着时间过去改变生成所述多个运动图像的所述多个区域中的所述第一区域,使得所述运动对象位于所述第一区域的预定位置处。
6.根据权利要求1所述的移动终端,其中,所述显示单元是触摸屏,并且所述控制器通过所述触摸屏来接收用于指定生成所述多个运动图像的所述多个区域中的第一区域的输入。
7.根据权利要求6所述的移动终端,其中,所述控制器将相对于所述输入的输入点成预定角度的区域设定为所述第一区域。
8.根据权利要求1所述的移动终端,其中,所述控制器接收在所述显示单元上选择对象达预定时间或超过所述预定时间的输入,
其中,生成所述多个运动图像的所述多个区域中的第一区域包括所选择的对象。
9.根据权利要求1所述的移动终端,其中,如果在所述显示单元的画面上接收到预定触摸输入,则所述控制器在所述全向图像中按照180°的间隔角度来设定生成所述多个运动图像的所述多个区域。
10.根据权利要求1所述的移动终端,其中,如果在所述显示单元的画面上接收到触摸输入n次,则所述控制器设定生成所述多个运动图像的n个区域,并且在所述全向图像中按照预定间隔角度来设定所述n个区域。
11.一种操作移动终端的方法,该方法包括以下步骤:
与用于拍摄全向图像的全向拍摄装置执行短距离通信并接收所述全向图像;
显示所接收的全向图像;
在所述全向图像中设定生成多个运动图像的多个区域;并且
生成分别对应于所述多个区域的所述多个运动图像,
其中,所述多个运动图像中的每一个是组合了与设定的所述多个区域中的每一个相对应的多个图像的动画,
其中,所述多个图像是根据预定帧率获得的。
12.根据权利要求11所述的方法,该方法还包括以下步骤:
识别所述全向图像中的运动对象,并且
其中,生成所述多个运动图像的所述多个区域中的第一区域包括所述运动对象。
13.根据权利要求12所述的方法,该方法还包括以下步骤:识别位于距所述运动对象预定距离内的停止对象,
其中,生成所述多个运动图像的所述多个区域中的所述第一区域包括所述运动对象和所述停止对象。
14.根据权利要求12所述的方法,该方法还包括以下步骤:随着时间过去灵活地改变生成所述多个运动图像的所述多个区域中的所述第一区域。
15.根据权利要求14所述的方法,其中,随着时间过去改变生成所述多个运动图像的所述多个区域中的所述第一区域的步骤包括以下步骤:随着时间过去改变生成所述运动图像的所述区域,使得所述运动对象位于所述第一区域的预定位置处。
16.根据权利要求11所述的方法,其中,设定生成包括所识别的运动对象的所述多个运动图像的所述多个区域的步骤还包括以下步骤:接收用于指定生成所述多个运动图像的所述多个区域中的第一区域的输入。
17.根据权利要求16所述的方法,其中,所述第一区域是相对于所述输入的输入点在预定角度内的区域。
18.根据权利要求11所述的方法,该方法还包括以下步骤:接收选择对象达预定时间或超过所述预定时间的输入,
其中,生成所述多个运动图像的所述多个区域中的第一区域包括所选择的对象。
CN201710894881.XA 2016-10-18 2017-09-28 移动终端及其操作方法 Expired - Fee Related CN107959788B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160135371A KR20180042777A (ko) 2016-10-18 2016-10-18 이동 단말기 및 그의 동작 방법
KR10-2016-0135371 2016-10-18

Publications (2)

Publication Number Publication Date
CN107959788A CN107959788A (zh) 2018-04-24
CN107959788B true CN107959788B (zh) 2021-02-02

Family

ID=60143461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710894881.XA Expired - Fee Related CN107959788B (zh) 2016-10-18 2017-09-28 移动终端及其操作方法

Country Status (4)

Country Link
US (1) US10750086B2 (zh)
EP (1) EP3313060B1 (zh)
KR (1) KR20180042777A (zh)
CN (1) CN107959788B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10509965B2 (en) 2016-12-15 2019-12-17 Google Llc Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content by tiling the sphere
US11262856B2 (en) 2018-05-11 2022-03-01 Beijing Bytedance Network Technology Co., Ltd. Interaction method, device and equipment for operable object
CN109753209B (zh) 2018-06-21 2020-05-05 北京字节跳动网络技术有限公司 一种应用程序启动方法、装置及设备
EP3752956B1 (en) * 2018-05-21 2023-12-13 Google LLC Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content
WO2019242450A1 (zh) * 2018-06-19 2019-12-26 北京字节跳动网络技术有限公司 一种数据传输方法、装置及移动终端
JP7183033B2 (ja) 2018-12-26 2022-12-05 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7350511B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7350510B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7277887B2 (ja) * 2019-11-19 2023-05-19 3アイ インコーポレイテッド 端末スタンドの制御方法
KR20210098239A (ko) * 2020-01-31 2021-08-10 삼성전자주식회사 콘텐츠를 형성하기 위한 전자 장치 및 그의 동작 방법
KR102495926B1 (ko) * 2020-11-26 2023-02-06 주식회사 라온솔루션 연산량을 분배할 수 있는 스마트 아이티 레퍼런스 보드 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578407A (zh) * 2003-06-27 2005-02-09 佳能株式会社 图像摄取装置及其控制方法
CN102243432A (zh) * 2011-06-28 2011-11-16 浙江工业大学 全景立体摄像装置
CN104243805A (zh) * 2013-06-20 2014-12-24 Lg电子株式会社 移动终端和控制移动终端的方法
CN104349052A (zh) * 2013-07-23 2015-02-11 Lg电子株式会社 移动终端及其全景拍摄方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US20070002131A1 (en) * 2005-02-15 2007-01-04 Ritchey Kurtis J Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method
WO2011121741A1 (ja) * 2010-03-30 2011-10-06 富士通株式会社 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
JP5678324B2 (ja) * 2011-02-10 2015-03-04 パナソニックIpマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
JP5810296B2 (ja) * 2011-06-07 2015-11-11 パナソニックIpマネジメント株式会社 画像表示装置及び画像表示方法
KR102145190B1 (ko) 2013-11-06 2020-08-19 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
TWI564647B (zh) * 2015-03-27 2017-01-01 國立臺北科技大學 全景動態網路攝影機的影像轉換運算方法
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578407A (zh) * 2003-06-27 2005-02-09 佳能株式会社 图像摄取装置及其控制方法
CN102243432A (zh) * 2011-06-28 2011-11-16 浙江工业大学 全景立体摄像装置
CN104243805A (zh) * 2013-06-20 2014-12-24 Lg电子株式会社 移动终端和控制移动终端的方法
CN104349052A (zh) * 2013-07-23 2015-02-11 Lg电子株式会社 移动终端及其全景拍摄方法

Also Published As

Publication number Publication date
EP3313060A3 (en) 2018-07-25
CN107959788A (zh) 2018-04-24
KR20180042777A (ko) 2018-04-26
EP3313060A2 (en) 2018-04-25
US10750086B2 (en) 2020-08-18
EP3313060B1 (en) 2020-11-25
US20180109729A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
CN107959788B (zh) 移动终端及其操作方法
US10852940B2 (en) Mobile terminal, and method for operating same
USRE49245E1 (en) Mobile terminal having two cameras and method for storing images taken by two cameras
CN107040644B (zh) 手表型移动终端及其操作方法
US10469744B2 (en) Mobile terminal and operating method thereof
KR102557575B1 (ko) 이동단말기 및 그 제어방법
CN106713738B (zh) 移动终端及其控制方法
KR20180040451A (ko) 이동 단말기 및 그의 동작 방법
US11559901B2 (en) Robot, recording medium in which program for performing service providing method thereof is recorded, and mobile terminal connected to same
KR20170013555A (ko) 이동단말기 및 그 제어방법
US10382693B2 (en) Mobile terminal
US10809907B2 (en) Mobile terminal and control method thereof
KR20180095196A (ko) 이동단말기 및 그 제어방법
KR20170041098A (ko) 이동 단말기 및 그의 동작 방법
KR20180041430A (ko) 이동 단말기 및 그의 동작 방법
EP3327648A1 (en) Mobile terminal and control method thereof
US20170270967A1 (en) Mobile terminal and method for controlling the same
KR101582048B1 (ko) 디바이스 동작 방법
KR20180047694A (ko) 이동 단말기
KR20180055364A (ko) 이동 단말기
KR101639123B1 (ko) 이동단말기 및 그 제어방법
KR20180040465A (ko) 이동 단말기 및 그의 동작 방법
KR20180056166A (ko) 이동 단말기
KR102550261B1 (ko) 이동 단말기
KR20170043893A (ko) 이동 단말기 및 그의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210202

Termination date: 20210928

CF01 Termination of patent right due to non-payment of annual fee