CN108965954A - 使用用于减少视频的回放时间的智能分析的终端 - Google Patents

使用用于减少视频的回放时间的智能分析的终端 Download PDF

Info

Publication number
CN108965954A
CN108965954A CN201810133438.5A CN201810133438A CN108965954A CN 108965954 A CN108965954 A CN 108965954A CN 201810133438 A CN201810133438 A CN 201810133438A CN 108965954 A CN108965954 A CN 108965954A
Authority
CN
China
Prior art keywords
video
playback
controller
terminal
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810133438.5A
Other languages
English (en)
Other versions
CN108965954B (zh
Inventor
池柱珉
白松伊
咸智惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108965954A publication Critical patent/CN108965954A/zh
Application granted granted Critical
Publication of CN108965954B publication Critical patent/CN108965954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34Microprocessors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36Memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38Displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

使用用于减少视频的回放时间的智能分析的终端。终端包括控制器,该控制器被配置为,将用户的使用模式信息存储在存储器中,并且基于所存储的使用模式信息选择要用作第一视频的编辑准则的对象。控制器还在第一视频中识别包括该对象的一个或多个第一回放区段和不包括该对象的一个或多个第二回放区段。另外,控制器被配置成从第一视频中删除一个或多个第二回放区段以生成第二视频,将第二视频的回放时间减小到预定回放时间,并且根据视频回放请求使显示器显示具有预定回放时间的第二视频。

Description

使用用于减少视频的回放时间的智能分析的终端
技术领域
本发明涉及一种终端,并且更加具体地,涉及一种能够使用用于减少视频的回放时间的智能分析编辑视频的终端。
背景技术
学习数据涉及计算机工程和信息技术,其包括使计算机能够进行思考、学习、自我完善等,能够被人类智能执行的方法,并且使计算机能够模仿人类的智能行为。
另外,学习数据与其他计算机科学领域直接或间接相关。特别地,今天,已经积极开展将学习数据元素引入到信息技术的各种领域并且解决这些领域问题的尝试。
同时,在现有技术中,已经研究了使用学习数据来识别用户的情况并且以期望的形式向用户提供期望的信息的情境感知技术。
随着情境感知技术的发展,对能够执行适合用户情况的功能的移动终端的需求已经增加。
发明内容
因此,本发明的实施例将解决上述和其他问题。
本发明的一个实施例为了提供一种移动终端,其能够使用学习数据在视频中自动地感测用户不感兴趣的不重要的回放区段并且快速地回放感测到的不重要回放区段。
本发明的另一个实施例是为了提供一种移动终端,其能够使用学习数据通过另一图片或视频来删除或替换不重要的回放区段。
本发明的另一实施例是为了提供一种能够通过另一图片或视频来删除或替换视频的不重要的回放区段的移动终端。
根据本发明的又一实施例,移动终端包括:存储器,该存储器配置成存储用户的使用模式信息;显示单元,该显示单元被配置成显示视频;学习数据单元,该学习数据单元被配置成基于所存储的使用模式信息的学习结果选择要用作视频的编辑准则的对象,从配置视频的多个回放区段中提取包括该对象的一个或者多个第一回放区段和不包括该对象的一个或多个第二回放区段,删除从视频的多个回放区段提取的一个或多个第二回放区段,并且将视频的回放时间减少到预定回放时间;以及控制器,该控制器被配置成根据视频回放请求回放具有预定回放时间的视频。
根据另一实施例,一种移动终端包括:存储器,该存储器被配置成存储用户的使用模式信息;显示单元,该显示单元被配置成显示视频;学习数据单元,该学习数据单元被配置成基于所存储的使用模式信息的学习结果选择要被用作视频的编辑准则的对象,从配置视频的多个回放区段中提取包括该对象的一个或多个第一回放区段和不包括该对象的一个或多个第二回放区段,并且基于提取的结果将视频的回放时间减少到预定回放时间;以及控制器,该控制器被配置成根据视频回放请求回放具有预定回放时间的视频。
根据在下文中给出的详细描述,本发明的应用的进一步范围将变得更加显然。然而,应理解的是,仅通过说明给出指示本公开的优选实施例的特定示例和详细描述,因为对本领域的技术人员来说从此详细描述中本发明的精神和范围内的各种变化和修改将变得显然。
附图说明
图1A是根据本公开的移动终端的框图。
图1B和图1C是从不同方向看到的移动终端的一个示例的视图。
图2是根据本公开的可替选实施例的可变形移动终端的视图。
图3是根据本公开的另一可替选实施例的可穿戴式移动终端的视图。
图4是根据本公开的另一可替选实施例的可穿戴式移动终端的视图。
图5A-5C是图示根据本发明的实施例的操作移动终端的方法的流程图。
图5D图示面部识别方法。
图6A(1)、图6A(2)、图6A(3)、图6B(1)、图6B(2)、图6B(3)是图示根据本发明的一个实施例的从视频的整个回放区段感测不重要的回放区段的过程。
图7和图8是图示根据本发明的实施例的当回放视频时识别不重要的回放区段的示例的图。
图9A-9B、图10A-10C是图示根据本发明的实施例的编辑视频的不重要的回放区段的示例的图。
图11、图12、图13A-13C是图示根据本发明的实施例的根据观看视频的用户的语音或面部的识别调整视频的特定区段的回放速度的示例的图。
图14A-14C是图示根据本发明的实施例的将视频的总回放时间自动地编辑成用户期望的时间的过程的图。
图15A(1)、图15A(2)、图15B(1)、图15B(2)是图示根据本发明的实施例的在共享视频时根据共享单元自动地编辑视频的示例的图。
具体实施方式
现在将参考附图根据在此公开的示例性实施例详细地给出描述。为了参照附图进行简要描述,相同或者等同的组件可以被设置有相同的附图标记,并且其描述将不被重复。通常,可以使用诸如“模块”和“单元”的后缀来指代元件或组件。这里使用这样的后缀仅仅是为了便于说明书的描述,并且后缀本身不旨在给出任何特殊的含义或功能。在本公开中,为了简洁起见,通常已经省略相关领域的普通技术人员所公知的内容。附图用于帮助理解各种技术特征,并且应该理解的是,在此提出的实施例不受附图的限制。这样,本公开应该被解释为扩展到除了在附图中特别说明的那些之外的任何变更、等同物和替代物。
应该理解的是,尽管这里可以使用术语第一、第二等来描述各种元件,但是这些元件不应该被这些术语限制。这些术语通常仅用于区分一个元件与另一元件。
应该理解的是,如果元件被称为与另一元件“相连接”,则元件能够与另一元件直接地连接,或者也可以存在中间元件。相反,如果元件被称为与另一元件“直接连接”,则不存在中间元件。
单数表示可以包括复数表示,除非其表示与上下文明显不同的含义。诸如“包括”或“具有”的术语在此被使用并且应该理解为它们旨在指示在说明书中公开的数个组件、功能或步骤的存在,并且还应理解,同样可以使用更多或更少的组件、功能或者步骤。
在此呈现的终端可以使用各种不同类型的终端来实现。这种终端的例子包括蜂窝电话、智能电话、用户设备,膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、平板电脑、平板PC,超级本、可穿戴式设备(例如,智能手表、智能眼镜、头戴式显示器(HMD))等。
仅通过非限制性示例,将参照特定类型的终端进行进一步的描述。然而,这样的教导同样适用于其他类型的终端,诸如在此注明的那些类型。另外,这些教导还可以应用于诸如数字电视、台式计算机等的固定终端。
现在参考图1A-1C,其中图1A是根据本公开的终端的框图,图1B是根据本发明实施例的终端的正面的透视图,并且图1C是图1中所示的终端的后视图。
终端100可以包括诸如无线通信单元110、输入单元120、学习数据单元130、感测单元140、输出单元150、接口单元160、存储器170、控制器180、电源单元190等的组件。图1A图示具有各种组件的终端,但是应该理解的是,实现所有的被图示的组件并不是必要的,并且可以可替选地实现更多或更少的组件。
更加详细地,这些组件的无线通信单元110通常可以包括一个或多个模块,其允许终端100与无线通信系统之间、终端100与另一个终端100之间或者终端100和一个外部服务器之间的通信。
无线通信单元110可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、位置信息模块115等中的至少一个。
输入单元120可以包括用于输入图像信号的相机121、用于输入音频信号的麦克风122或者音频输入模块,或允许用户输入信息的用户输入单元123(例如,触摸键、推动键(或机械键)等)。由输入单元120收集的音频数据或图像数据可以通过用户的控制命令来分析和处理。
学习数据单元130可以被配置为接收、分类、存储和输出要用于数据挖掘、数据分析、智能决策以及机器学习算法和技术的信息。学习数据单元130可以包括一个或多个存储器单元,其被配置为存储由终端接收、检测、感测、生成、预定义或以其他方式输出的或通过与终端通信的另一组件、设备、终端或者实体接收、检测、感测、生成、预定义或以其他方式输出的数据。
学习数据单元130可以包括在终端处被包含或实现的存储器。在一些实施例中,可以使用存储器170实现学习数据单元130。可替选地或另外,学习数据单元130可以使用与终端相关联的存储器,诸如直接耦合到终端的外部存储器或者在与终端通信的服务器处保持的存储器来实现。在其他实施例中,学习数据单元130可以使用在云计算环境或通过通信方案,诸如网络,终端可访问的其他远程存储器位置中保持的存储器来实现。
学习数据单元130通常被配置成将数据存储在一个或多个数据库中以识别、索引、归类、操作、存储、检索和输出数据以用于受监督或无监督学习、数据挖掘、预测分析、或其他机器学习技术。使用各种不同类型的数据分析和机器学习算法和技术中的任何一种,可以由控制器180、或终端的一个或多个其他控制器利用存储在学习数据单元130处的信息。这样的算法和技术的示例包括k-最近邻系统、模糊逻辑(例如,概率理论)、神经网络、玻尔兹曼机器、矢量量化、脉冲神经网络、支持向量机、最大间隔分类器、爬山、归纳逻辑系统、贝叶斯网络、petri网(例如,有限状态机、米利(mealy)型机器、摩尔有限状态机)、分类树(例如,感知树、支持向量树、马尔可夫树、决策树森林、随机森林)、泛魔识别(pandemonium)模型和系统、聚类、人工智能规划、人工智能预测、数据融合、传感融合、图像融合、强化学习、增强现实、模式识别、自动规划等。
控制器180可以基于使用数据分析和机器学习算法和技术确定或生成的信息请求、检索、接收或以其他方式利用学习数据单元130的数据来确定或预测终端的至少一个可执行操作,并且控制终端以执行至少一个可执行操作当中的预测或期望的操作。控制器180可以执行实现智能的仿真的各种功能(即,基于知识的系统、推理系统和知识获取系统);并且包括用于不确定性推理的系统(例如,模糊逻辑系统)、自适应系统、机器学习系统、人工神经网络等。
控制器180还可以包括使其能够实现其性能和/或涉及语音和自然语言处理的执行的子模块,诸如I/O处理模块、环境条件模块、语音文本(STT)处理模块、自然语言处理模块、任务流处理模块和服务处理模块。这些子模块中的每一个还可以访问终端处的一个或多个系统或数据和模型或其子集或超集,包括调度、词汇索引、用户数据、任务流模型、服务模型和自动语音识别(ASR)系统。在其他实施例中,控制器180或终端的其它方面可以以所述子模块、系统或数据和模型来实现。
在一些示例中,基于学习数据单元130处的数据,控制器180可以被配置为基于用户输入或自然语言输入中表达的上下文条件或用户意图对需求进行检测和感测(例如,通过分析包括历史输入和输出、模式匹配、消歧词、输入意图等的历史数据);主动地引出和/或获得基于上下文条件或用户的意图来完全地确定需求所需要的信息;基于上下文条件或用户的意图确定用于响应于需求而执行功能的任务流;并且根据上下文条件或用户的意图执行满足需求的任务流。
在一些实施例中,控制器180可以实现专用于学习数据过程的特定硬件元件,包括存储电阻器、忆阻器、跨导放大器、脉冲神经回路、人工智能纳米技术系统(例如,自主纳米机器)或人工智能量子机械系统(量子神经网络)等等。在一些实施例中,控制器180可以包括诸如机器视觉系统、声学识别系统、手写识别系统、数据融合系统、传感器融合系统和软传感器的模式识别系统。机器视觉系统还可以包括基于内容的图像检索、光学字符识别、增强现实、自运动、跟踪或光流等。
控制器180可以被配置为经由终端处的一个或多个感测组件来收集、感测、监测、提取、检测和/或接收信号或数据,以便收集用于在学习数据单元130处处理和存储并在数据分析和机器学习操作中使用的信息。信息的收集可以包括通过传感器感测信息、提取在诸如存储器170的存储器中存储的信息、或者通过通信装置从另一终端、实体或外部存储器接收信息。因此在一个示例中,控制器180可以收集终端处的历史使用信息,存储用于数据分析的历史使用信息,并且在未来发生时,基于所存储的历史使用信息使用预测建模来确定用于执行特定功能的最佳匹配。
控制器180还可以通过感测单元140接收或感测周围环境的信息或其他信息。另外,控制器180可以通过无线通信单元110接收广播信号和/或广播相关信息、无线信号、无线数据等等。控制器180还可以从输入单元接收图像信息(或相应的信号)、音频信息(或相应的信号)、数据或用户输入信息。
控制器180可以实时收集信息,并且对信息进行处理或归类(例如,在知识图、命令策略、个性化数据库、对话引擎等中),并且将处理后的信息存储在存储器170中或学习数据单元130。
如果基于数据分析和机器学习算法和技术来确定终端的操作,则控制器180可以控制终端的组件以执行所确定的操作。然后控制器180可以通过基于控制命令控制终端来执行所确定的操作。
在一些实施例中,如果执行特定操作,则控制器180可以通过数据分析和机器学习算法和技术来分析指示特定操作的执行的历史信息,并且基于分析的信息执行先前学习的信息的更新。因此,控制器180结合学习数据单元130能够基于更新的信息提高数据分析和机器学习算法和技术的未来性能的准确性。
感测单元140可以包括感测终端的内部信息、终端的周围环境、以及用户信息中的至少一个的至少一个传感器。例如,感测单元140可以包括接近传感器141、照度传感器142、触摸传感器、加速度传感器、磁传感器、G传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如,指的是相机121)、麦克风122、电池量表、环境传感器(例如,气压计、湿度计、温度计、辐射监测传感器、热传感器、气体传感器等)、以及化学传感器(例如,电子鼻、医疗传感器、生物传感器等)。另一方面,在此公开的终端100可以以组合由这些传感器中的至少两个传感器感测到的信息的这样的方式利用信息。
输出单元150可以被配置成输出音频信号、视频信号、或者触觉信号。输出单元150可以包括显示单元151、音频输出单元152、触觉模块153、光学输出单元154等。显示单元151可以具有带有触摸传感器的层间结构或者集成结构使得实现触摸屏。触摸屏可以在终端100和用户之间提供输出接口,以及用作在终端100和用户之间提供输入接口的用户输入单元123。
接口单元160可以用作与终端100连接的各种类型的外部设备的接口。例如,接口单元160可以包括有线或者无线头戴式受话器端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有标识模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。响应于被连接到接口单元160的外部设备,终端100可以执行与连接的外部设备相关联的适当的控制。
存储器170可以存储在终端100中执行的多个应用程序(或者应用)、用于终端100的操作的数据、指令字等。经由无线通信可以从外部服务器下载这些应用程序中的至少一些。在装运时这些应用程序中的其它一些可以被安装在终端100内,用于终端100的基本功能(例如,接听电话、拨打电话、接收消息、发送消息等)。另一方面,应用程序可以被存储在存储器170中,被安装在终端100中,并且由控制器180执行以执行终端100的操作(或者功能)。
除了与应用程序相关联的操作之外,控制器180通常可以控制终端100的整体操作。控制器180可以以处理通过前述的组件输入或者输出的信号、数据、信息等,或者激活被存储在存储器170中的应用程序的方式来提供或者处理适合于用户的信息或者功能。
示出终端100,该终端100以有助于各种单元(例如,无线通信单元110、输入单元120、学习数据单元130、感测单元140、输出单元150、接口单元160等)和在附图中示出的子模块的操作的一个控制器180来实现。然而,针对这样的单元和子模块中的任意一个或者全部可替选地实现一个或多个单独的控制器180。
此外,控制器180可以控制在图1A中图示的组件中的至少一部分,以便于驱动被存储在存储器170中的应用程序。另外,控制器180可以通过组合被包括在终端100中的组件中的至少两个来驱动应用程序用于操作。
电源单元190可以接收外部电力或者内部电力并且在控制器180的控制下供应对于操作被包括在终端100中的各个的元件和组件所要求的适当的电力。电源单元190可以包括电池,并且电池可以是嵌入电池或者可更换的电池。
这些元件和组件中的至少一部分可以被组合以实现根据在此描述的各种示例性实施例的终端的操作和控制或者终端的控制方法。而且,在终端中可以以激活被存储在存储器170中的至少一个应用程序的方式实现终端的操作和控制或者控制方法。
在下文中,在解释由具有该配置的终端100实现的各种示例性实施例之前,将会参考图1A更加详细地描述每个前述的组件。
首先,将会描述无线通信单元110。无线通信单元110的广播接收模块111可以经由广播信道从外部广播管理实体接收广播信号和/或广播关联信息。广播信道可以包括卫星信道和陆地信道。至少两个广播接收模块111可以被设置在终端100中以同时接收至少两个广播信道或者切换广播信道。
在根据移动通信(例如,全球移动通信系统(GSM)、码分多址(CDMA)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、长期演进(LTE)、高级长期演进(LTE-A)等)的技术标准或者传输方法构建的移动通信网络上,移动通信模块112可以将无线信号发送到网络实体,例如,基站、外部终端、服务器等中的至少一个/从网络实体,例如,基站、外部终端、服务器等中的至少一个接收无线信号。无线信号可以包括音频呼叫信号、视频(电话)呼叫信号、或者根据文本/多媒体消息的发送/接收的各种格式的数据。
无线互联网模块113表示用于无线互联网接入的模块。此模块可以被内部地或者外部地耦合到终端100。无线互联网模块113可以根据无线互联网技术经由通信网络发送/接收无线信号。这样的无线互联网接入的示例可以包括无线LAN(WLAN)、无线保真(Wi-Fi)直连、数字生活网络联盟(DLNA)、无线宽带(Wibro)、全球微波接入互操作(Wimax)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)、高级长期演进(LTE-A)等。无线互联网模块113可以根据在包括甚至前面没有描述的互联网技术的范围内的至少一个无线互联网技术发送/接收数据。
从经由移动通信网络执行根据WiBro、HSDPA、GSM、CDMA、WCDMA、LTE等的无线互联网接入的角度来看,经由移动通信网络执行无线互联网接入的无线互联网模块113可以被理解为移动通信模块112的类型。
短程通信模块114表示用于短程通信的模块。适合于实现短程通信的技术可以包括:蓝牙(BLUETOOTH)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连等。经由无线个域网,短程通信模块114可以支持在终端100和无线通信系统之间、在终端100和另一终端100之间、或者在终端和另一终端100(或者外部服务器)位于的网络之间的无线通信。
在此,另一终端100可以是可佩戴装置,例如,智能手表、智能眼镜或者头戴式显示器(HMD),其能够与终端100交换数据(或者类似与终端100交换数据)。短程通信模块114可以感测(识别)终端100附近的可佩戴装置,其能够与终端通信。另外,如果感测到的可佩戴装置是被授权与根据本公开的终端100通信的装置,则控制器180可以经由短程通信模块114将在终端100中处理的数据的至少一部分发送到可佩戴装置。因此,可佩戴装置的用户可以在可佩戴装置上使用在终端100中处理的数据。例如,如果在终端100中接收到呼叫,则用户可以使用可佩戴装置应答呼叫。而且,如果在终端100中接收到消息,则用户可以使用可佩戴装置查看接收到的消息。
位置信息模块115表示用于检测或者计算终端的位置的模块。位置信息模块115的示例可以包括全球定位系统(GPS)模块或者Wi-Fi模块。例如,如果终端使用GPS模块,则可以使用从GPS卫星发送的信号获取终端的位置。作为另一示例,如果终端使用Wi-Fi模块,则可以基于将无线信号发送到Wi-Fi模块或者从Wi-Fi模块接收无线信号的无线接入点(AP)有关的信息获取终端的位置。根据需要,位置信息模块115可以执行无线通信单元110的其它模块的任何功能以获得关于终端的位置的数据。当模块被用于获取终端的位置(或者当前位置)时,位置信息模块115可以不必限于用于直接地计算或者获取终端的位置的模块。
接下来,输入单元120可以被配置成向终端提供被输入到终端的音频或者视频信号(或者信息)或者由用户输入的信息。对于音频信息的输入,终端100可以包括一个或者多个相机121。相机121可以处理在视频呼叫模式或者捕获模式下通过图像传感器获得的静止图片或者视频的图像帧。被处理的图像帧可以被显示在显示单元151上。另一方面,被布置在终端100中的多个相机121可以以矩阵结构排列。通过使用具有矩阵结构的相机121,具有各种角度或者焦点的多个图像信息可以被输入到终端100中。而且,多个相机121可以以立体结构被排列以获取用于实现立体图像的左图像和右图像。
麦克风122可以将外部音频信号处理成电音频数据。根据在终端100中执行的功能(或者被执行的应用程序)可以以各种方式利用被处理的音频数据。另一方面,麦克风122可以包括各种消噪算法以去除在接收外部音频信号的过程中产生的噪声。
用户输入单元123可以接收用户输入的信息。如果通过用户输入单元123输入信息,则控制器180可以控制终端100的操作以对应于输入的信息。用户输入单元123可以包括机械输入元件(或者机械键,例如,位于终端100的前/后表面或者侧表面上的按钮、薄膜开关、滚动轮、滚动开关等)、以及触摸灵敏的输入装置。作为一个示例,触摸灵敏的输入装置可以是通过软件处理被显示在触摸屏上的虚拟键、软键或者可视键、或者被布置在除了触摸屏之外的部分上的触摸键。另一方面,虚拟键或者可视键可以以例如,图形、文本、图标、视频、或者其组合的各种形状显示在触摸屏上。
另一方面,感测单元140可以感测终端的内部信息、终端的周围环境信息、以及用户信息中的至少一个,并且生成与其相对应的感测信号。控制器180可以基于感测信号控制终端100的操作或者执行数据处理、与被安装在终端中的应用程序相关联的功能或者操作。在下文中,将会更加详细地给出可以被包括在感测单元140中的各种传感器的代表性传感器的描述。
首先,接近传感器141指的是在没有机械接触的情况下通过使用电磁场或者红外线感测接近要被感测的表面的对象、或者被布置在要被感测的表面附近的对象的存在或者不存在的传感器。接近传感器141可以被布置在通过触摸屏覆盖的终端的内部区域处,或者触摸屏附近。接近传感器141可以具有比接触传感器更长的寿命和更强的实用性。
例如,接近传感器141可以包括透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等。如果触摸屏被实现为电容型,接近传感器141可以通过响应于具有导电性的对象的接近的电磁场的变化来感测指示器相对于触摸屏的接近。在这样的情况下,触摸屏(触摸传感器)也可以被归类成接近传感器。
另一方面,为了进行简洁解释,指示器被定位为在不接触的情况下接近触摸屏的状态将会被称为“接近触摸”,然而指示器实质上接触触摸屏的状态将会被称为“接触触摸”。对于触摸屏上的与指示器的接近触摸相对应的位置,这样的位置将对应于在指示器的接近触摸时指示器垂直面向触摸屏的位置。接近传感器141可以感测接近触摸和接近触摸模式(例如,距离、方向、速度、时间、位置、移动状态等)。另一方面,控制器180可以处理与通过接近传感器141感测到的接近触摸和接近触摸模式相对应的数据(或者信息),并且在触摸屏上输出与处理数据相对应的可视信息。另外,根据相对于触摸屏上的相同点的触摸是接近触摸还是接触触摸,控制器180可以控制终端100执行不同的操作或者处理不同的数据(或者信息)。
使用诸如电阻型、电容型、红外线型、磁场型等的各种类型的触摸方法中的至少一个,触摸传感器可以感测被施加到触摸屏(或者显示单元151)的触摸(或者触摸输入)。
作为一个示例,触摸传感器可以被配置成将被施加到显示单元151的特定部分的压力的变化转换成电输入信号,或者将从显示单元151的特定部分处出现的电容转换成电输入信号。而且,触摸传感器也可以被配置成不仅感测被触摸的位置和被触摸的区域,而且感测触摸压力。在此,触摸对象是将触摸输入施加到触摸传感器的对象。触摸对象的示例可以包括手指、触摸笔、触笔、指示器等。
如果通过如上所述的触摸传感器感测触摸输入,则相对应的信号可以被发送到触摸控制器。触摸控制器可以处理接收到的信号,并且然后将相对应的数据发送到控制器180。因此,控制器180可以感测已经触摸显示单元151的哪个区域。在此,触摸控制器可以是与控制器180分离的组件、或者控制器180本身。
另一方面,控制器180可以根据触摸了触摸屏(或者除了触摸屏之外设置的触摸键)的对象的类型执行不同的控制或者相同的控制。基于终端100的当前操作状态或者当前执行的应用程序,可以决定是否根据给出触摸输入的对象而执行不同的控制或者相同的控制。
同时,触摸传感器和接近传感器可以被单独地执行或者组合执行,以感测各种类型的触摸,诸如短(或者轻敲)触摸、长触摸、多触摸、拖动触摸、轻击触摸、捏缩触摸、捏放触摸、轻扫触摸、悬停触摸等等。
超声传感器可以被配置成通过使用超声波识别与感测对象有关的位置信息。例如,控制器180可以基于通过照度传感器和多个超声传感器感测到的信息计算波生成源的位置。因为光比超声波快得多,所以光到达光学传感器的时间可以远远比超声波到达超声传感器的时间短。使用此事实可以计算波生成源的位置。更加详细地,可以基于光作为参考信号通过使用与超声波到达传感器的时间的时间差计算波生成源的位置。
输入单元120的相机121可以是一种类型的相机传感器。相机传感器可以包括光传感器和激光传感器中的至少一个。相机121和激光传感器可以被组合以检测相对于3D立体图像的感测对象的触摸。光传感器可以被层压在显示装置上。光传感器可以被配置成扫描感测接近触摸屏的对象的移动。更加详细地,光传感器可以包括在行和列处的光电二极管和晶体管以通过使用根据被施加的光的量改变的电信号扫描被放置在光传感器上的内容。即,光传感器可以根据光的变化计算感测对象的坐标从而获得感测对象的位置信息。
显示单元151可以输出在终端100中处理的信息。例如,显示单元151可以显示在终端100中驱动的应用程序的执行屏幕信息或者响应于执行屏幕信息的用户界面(UI)和图形用户界面(GUI)信息。
此外,显示单元151也可以被实现为用于显示立体图像的立体显示单元。立体显示单元可以采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等等的立体显示方案。
音频输出单元152可以在呼叫信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等中输出从无线通信单元110接收或者被存储在存储器170中的音频数据。而且,音频输出单元152也可以提供与由终端100执行的特定功能(例如,呼叫信号接收声音、消息接收声音等)有关的音频输出信号。音频输出单元152可以包括接收器、扬声器、蜂鸣器等。
触觉模块153可以生成用户能够感觉的各种触觉效果。通过触觉模块153生成的触觉效果的代表性示例可以是振动。通过用户的选择或者控制器的设置可以控制通过触觉模块155产生的振动的强度、模式等。例如,触觉模块153可以以组合的方式或者顺序的方式输出不同的振动。
除了振动之外,触觉模块153可以生成各种其它的触觉效果,包括通过诸如相对于接触皮肤垂直移动的针排列的刺激的效果、通过喷孔或者吸入口的空气的喷射力或者吸力、在皮肤上的触摸、电极的接触、静电力等、通过使用能够吸收或者产生热的元件再现冷和暖的感觉的效果等。
触觉模块153可以被实现以允许用户通过诸如用户的手指或者手臂的肌肉感觉来感觉触觉效果,以及通过直接接触传递触觉效果。根据终端100的配置也可以设置两个或者更多个触觉模块153。
光学输出单元154可以使用光源的光输出用于指示事件产生的信号。在终端100中产生的事件的示例可以包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的信息接收等。以终端发射单色光或者多种颜色的光的方式可以实现通过光学输出单元154输出的信号。当终端感测用户的事件查看时可以终止信号输出。
接口单元160可以用作与终端100连接的各个外部设备的接口。例如,接口单元160可以接收从外部设备发送的数据,接收电力以传送到终端100内的每个元件,或者将终端100的内部数据发送到外部设备。例如,接口单元160可以包括有线或者无线头戴式受话器端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有标识模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
标识模块可以是存储用于验证使用终端100的权限的各种信息的芯片并且可以包括用户标识模块(UIM)、订户标识模块(SIM)、通用订户标识模块(USIM)等。另外,具有标识模块的设备(在下文中,被称为“标识设备”)可以采用智能卡的形式。因此,标识设备可以经由接口单元160与终端100相连接。
此外,如果终端100与外部托架相连接,则接口单元160可以用作允许电力从托架供应到终端100的通道或者可以用作允许用户从托架输入的各种命令信号传递到终端的通道。从托架输入的各种命令信号或者电力可以作为用于识别终端被正确地安装在托架上的信号操作。
存储器170可以存储用于控制器180的操作的程序并且临时地存储输入/输出数据(例如,电话簿、消息、静止图像、视频等)。存储器170可以存储与响应于触摸屏上的触摸输入输出的各种模式的振动和音频有关的数据。
存储器170可以包括至少一种类型的存储介质,包括闪存、硬盘、微型多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、以及光盘。而且,也能够关于在互联网或其他网络上执行存储器170的存储功能的网络存储设备操作终端100。
如前述的,控制器180通常可以控制终端100的总体操作。例如,如果终端的状态满足预设条件,则控制器180可以设置或者释放用于限制用户相对于应用输入控制命令的锁定状态。
此外,控制器180也可以执行与语音呼叫、数据通信、视频呼叫等相关联的控制和处理,或者执行模式识别处理以将在触摸屏上执行的手写输入或者绘图输入分别识别为字符或者图像。另外,控制器180可以控制这些组件中的一个或者组合以便于在终端100上实现在此公开的各种示例性实施例。
电源单元190可以接收外部电力或者内部电力并且提供用于在控制器180的控制下操作被包括在终端100中的各个元件和组件所需要的适当的电力。电源单元190可以包括电池。电池通常是嵌入式电池,其是可充电的或者可拆卸地耦合到终端主体,用于充电。
此外,电源单元190可以包括连接端口。连接端口可以被配置为接口单元160的一个示例,用于供应电力以对电池再充电的外部充电器被电连接到该接口单元160。
作为另一示例,电源单元190可以被配置成在不使用连接端口的情况下以无线的方式对电池再充电。在此,使用以磁感应为基础的电感耦合方法或者以电磁谐振为基础的磁谐振耦合方法,电源单元190可以接收从外部无线电力发射器传递的电力。
可以使用例如软件、硬件、或者其任何组合,以计算机可读介质、或者类似地介质实现在此描述的各种实施例。对于硬件实现,可在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编辑门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于执行在此描述功能的其它电子单元、或其选择性组合中实现在此描述的实施例。在一些情况下,通过控制器180实现这样的实施例。
对于软件实现,可通过单独的软件模块实现在此描述的实施例,软件模块诸如是程序和函数,其中的每一个都执行在此描述的一个或多个功能或操作。能够以任何合适的编程语言编写的软件应用实现软件代码,并且可将软件代码存储存储器(例如,存储器170)中,并且由诸如控制器或处理器来执行(例如,控制器180)。
参考图1B和图1C,在此公开的终端100可以使用直板式终端主体来实现。然而,本公开可以不限于此,但是也可以适用于诸如手表式、夹式、眼镜型、或者折叠式、翻盖式、滑盖式、摇摆式、旋转式等的各种结构,其中两个或者更多个主体以相对可移动的方式被相互组合。要与特定类型的终端相关联或者对特定类型的终端的描述通常也将被应用于其它类型的终端。使用至少一个组件可以形成终端主体。
终端100可以包括形成终端的外观的壳体(外壳、外罩、盖等)。在本实施例中,壳体可以被划分成前壳体101和后壳体102。各种电子组件可以被包含在前壳体101和后壳体102之间形成的空间中。至少一个中间壳体可以被附加地布置在前壳体和后壳体101和102之间。
显示单元151可以被布置在终端主体的前表面上以输出信息。如所图示的,显示单元151的窗口151a可以被安装到前壳体101使得与前壳体101一起形成终端主体的前表面。
在一些情况下,电子组件也可以被安装到后壳体102。被安装到后壳体102的这样的电子组件的示例可以包括可拆卸的电池、标识模块、存储卡等。在此,用于覆盖被安装的电子组件的后盖103可以被可拆卸地耦合到后壳体102。因此,如果从后壳体102拆卸后盖103,被安装到后壳体102的电子组件可以被外部地暴露。
如所图示的,如果后盖103被耦合到后壳体102,后壳体102的侧表面可以被部分地暴露。在一些情况下,在耦合时,后壳体102也可以被后盖103完全地遮盖。另一方面,后盖103可以包括用于外部地暴露相机121b或者音频输出模块152b的开口。
壳体101、102、103可以通过注入成型合成树脂形成或者可以由例如不锈钢(STS)、钛(Ti)等的金属形成。
不同于多个壳体形成用于容纳各种组件的内部空间的示例,终端100可以被配置使得一个壳体形成内部空间。在此实例中,以合成树脂或者金属从侧表面延伸到后表面的方式形成的一体式的终端100也可以被实现。
另一方面,终端100可以包括防水单元(未示出),用于防止水进入终端主体。例如,防水单元可以包括防水构件,其位于窗口151a和前壳体101之间、前壳体101和后壳体102之间、或者后壳体102和后盖103之间,如果这些壳体被耦合则密闭地密封内部空间。
终端100可以包括显示单元151、第一和第二音频输出模块152a和152b、接近传感器141、照度传感器142、光学输出模块154、第一和第二相机121a和121b、第一和第二操纵单元123a和123b、麦克风122、接口单元160等。
在下文中,参考图1B和图1C,将会给出示例性的终端100的描述,其中显示单元151、第一音频输出模块152a、接近传感器141、照度传感器142、光学输出模块154、第一相机121a以及第一操纵单元123a被布置在终端主体的前表面上,第二操纵单元123b、麦克风122以及接口单元160被布置在终端主体的侧表面上,并且第二音频输出模块152b和第二相机121b被布置在终端主体的后表面上。
在此,这些组件可以不限于该布置,但是如有必要可以被排除或者被布置在其它的表面上。例如,第一操纵单元123a可以不被布置在终端主体的前表面上,并且第二音频输出模块152b可以被布置在除了终端主体的后表面之外的侧表面上。
显示单元151可以输出在终端100中处理的信息。例如,显示单元151可以显示在终端100中驱动的应用程序的执行屏幕信息或者响应于屏幕执行信息的用户界面(UI)和图形用户界面(GUI)信息。
显示单元151可以包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3维(3D)显示器、以及电子墨水显示器中的至少一个。
使用两个或者更多个显示器可以实现显示单元151。例如,多个显示单元151可以被布置在一个表面上以相互分开或者集成,或者可以被布置在不同的表面上。
显示单元151可以包括触摸传感器,该触摸传感器感测在显示单元上的触摸使得以触摸方式接收控制命令。如果触摸被输入到显示单元151,则触摸传感器可以被配置成感测此触摸并且控制器180可以生成与该触摸相对应的控制命令。以触摸方式输入的内容可以是文本或者数值,或者可以以各种模式指示或者指定的菜单项目。
触摸传感器可以以具有触摸图案的膜的形式构造。触摸传感器可以是金属线,其被布置在窗口151a和窗口151a的后表面上的显示器(未示出)之间,或者被直接地构图在窗口151a的后表面上。可替选地,触摸传感器可以与显示器一体地形成。例如,触摸传感器可以被布置在显示器的基板上或者显示器内。
显示单元151可以与触摸传感器一起形成触摸屏。在此,触摸屏可以用作用户输入单元123(参见图1A)。因此,触摸屏可以替换第一操纵单元123a的功能中的至少一些。
可以以用于将语音声音传输到用户的耳朵的接收器、或者用于输出各种报警声音或者多媒体再生声音的喇叭扬声器的形式实现第一音频输出模块152a。
显示单元151的窗口151a可以包括用于发射从第一音频输出模块152a生成的声音的声音孔。在此,本公开可以不限于此。其也可以被配置成使得沿着结构主体之间的组装间隙(例如,在窗口151a和前壳体101之间的间隙)释放声音。在这样的情况下,被独立地形成以输出音频声音的孔在外观上可以不被看到或者被隐藏,从而进一步简化终端100的外观。
光学输出模块154可以输出用于指示事件生成的光。在终端100中生成的事件的示例包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的信息接收等。如果感测到用户的事件查看,控制器可以控制光学输出单元154停止光的输出。
第一相机121a可以处理在视频呼叫模式或者捕获模式下通过图像传感器获得的诸如静止或者运动图像的视频帧。经处理的图像帧可以被显示在显示单元151上或者被存储在存储器170中。
第一和第二操纵单元123a和123b是用户输入单元123的示例,其可以由用户操纵以输入用于控制终端100的操作的命令。第一和第二操纵单元123a和123b也可以被统称为操纵部分,并且如果其是允许用户以诸如触摸、推动、滚动等触觉执行操纵的触觉方式,则可以采用任何方法。
基于第一操纵单元123a是触摸键图示附图,但是本公开可以不必限于此。例如,第一操纵单元123a可以被配置有机械键、触摸键和推动键的组合。
可以以各种方式设置通过第一和第二操纵单元123a和123b接收到的内容。例如,用户可以使用第一操纵单元123a输入诸如菜单、归位键、取消、搜索等的命令,并且用户可以使用第二操纵单元123b输入诸如控制从第一或者第二音频输出模块152a或者152b输出的音量级,切换到显示单元151的触摸识别模式等的命令。
另一方面,作为用户输入单元123的另一示例,后输入单元(未示出)可以位于终端主体的后表面上。用户可以操纵后输入单元以输入用于控制终端100的操作的命令。可以以各种不同的方式设置内容输入。例如,用户可以使用后输入单元输入命令,诸如电源开/关、开始、结束、滚动等,控制从第一或者第二音频输出模块152a或者152b输出的音量级,切换到显示单元151的触摸识别模式等。后输入单元可以被实现为允许触摸输入、推动输入、或者其组合的形式。
后输入单元可以被布置为在终端主体的厚度方向中重叠前表面的显示单元151。作为一个示例,后输入单元可以被布置在终端主体的后表面的上端部分上使得当用户使用一只手抓握终端主体时用户能够使用食指容易地操纵它。然而,本公开可以不限于此,并且后输入单元的位置可以是可改变的。
如果后输入单元被布置在终端主体的后表面上,则使用后输入单元可以实现新的用户接口。而且,前述的触摸屏或者后输入单元可以替代位于终端主体的前表面上的第一操纵单元123a的功能的至少一部分。因此,如果第一操纵单元123a没有被布置在终端的前表面上,则显示单元151可以被实现为具有更大的屏幕。
另一方面,终端100可以包括手指扫描传感器,该手指扫描传感器扫描用户的指纹。控制器180可以使用通过手指扫描传感器感测到的指纹信息作为验证手段。手指扫描传感器可以被安装在显示单元151或者用户输入单元123中。
麦克风122可以被形成为接收用户的语音、其它的声音等。麦克风122可以被设置在多个地方处,并且被配置成接收立体声音。
接口单元160可以用作允许终端100与外部设备交换数据的路径。例如,接口单元160可以是用于连接到另一设备(例如,耳机、外部扬声器等)的连接终端、用于近场通信的端口(例如,红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等)、或者用于将电力供应到终端100的电源终端中的至少一个。接口单元160可以以用于容纳诸如订户标识模块(SIM)、用户标识模块(UIM)、或者用于信息存储的存储卡的外部卡的插槽的形式实现。
第二相机121b可以进一步被安装到终端主体的后表面。第二相机121b可以具有与第一相机单元121a的方向大体上相对的图像捕获方向。
第二相机121b可以包括沿着至少一条线布置的多个透镜。多个透镜也可以以矩阵结构布置。相机可以被称为“阵列相机”。如果第二相机121b被实现为阵列相机,则可以使用多个透镜以各种方式捕获图像并且可以获得具有更好的质量的图像。
闪光灯124可以被布置为与第二相机121b相邻。如果通过相机121b捕获主题的图像,则闪光灯124可以照亮主题。
第二音频输出模块152b可以进一步被布置在位于终端主体上。第二音频输出模块152b可以结合第一音频输出模块152a(参考图1B)实现立体声功能,并且也可以被用于实现用于呼叫通信的扬声器电话模式。
用于无线通信的至少一个天线可以被布置在终端主体上。天线可以被安装在终端主体中或者被形成在壳体上。例如,配置广播接收模块111(参见图1A)的一部分的天线可以可伸缩到终端主体中。可替选地,天线可以以膜的形式被形成以被贴附到后盖103的内表面,或者包括导电材料的壳体可以用作天线。
用于将电力供应到终端100的电源单元190(参考图1A)可以被布置在终端主体上。电源单元190可以包括电池,该电池被安装在终端主体中或者可拆卸地耦合到终端主体的外部。
电池可以经由被连接到接口单元160的电源线缆接收电力。而且,电池可以是使用无线充电器以无线方式可(再)充电的。通过电磁感应或者电磁谐振可以实现无线充电。
另一方面,附图图示后盖103,其被耦合到用于遮盖电池的后壳体102,使得防止电池的分离,并且保护电池免受外部冲击或者外来物质。如果从终端主体可拆卸电池,则后壳体103可以被可拆卸地耦合到后壳体102。
用于保护外观或者协助或者扩展终端100的功能的附件可以进一步被设置在终端100上。作为附件的一个示例,可以提供用于覆盖或者容纳终端100的至少一个表面的盖或者袋。盖或者袋可以与显示单元151协作以扩展终端100的功能。附件的另一示例可以是用于协作或者扩展触摸屏上的触摸输入的触摸笔。
图2是根据本公开的可替选的实施例的可变形的移动终端的视图。在该附图中,示出具有显示单元251的移动终端200,显示单元251是一种通过外力可变形的显示器。此变形,包括显示单元251和移动终端200的其它组件,可以包括弯曲、弯折、折叠、扭曲、滚动以及其组合中的任意一个。可变形的显示单元251也可以被称为“柔性显示单元”。在一些实现中,柔性显示单元251可以包括一般柔性显示器、电子纸张(也被称为电子纸)、以及其组合。通常,移动终端200可以被配置成包括与图1A-1C的移动终端100相同或者相似的特征。
移动终端200的柔性显示器通常被形成为轻质的、非易碎的显示器,其始终呈现常规平板显示器的特性,但是替代地在如先前所述能够变形的柔性基板上制造。
术语电子纸可以被用于指代采用一般墨水的特性的显示技术,并且在使用反射光方面不同于常规平板显示器。电子纸通常被理解为使用扭动球或者经由使用胶囊的电泳改变显示的信息。
如果在柔性显示单元251没有变形的状态下(例如,在无限曲率半径的状态下并且被称为第一状态),则柔性显示单元251的显示区域包括大体平坦的表面。如果在柔性显示单元251被外力从第一状态变形的状态(例如,具有有限曲率半径并且被称为第二状态的状态)下,显示区域可以变成弯曲表面或者弯折表面。如所图示的,在第二状态中显示的信息可以是在弯曲表面上输出的可视信息。以独立地控制在矩阵结构中排列的各个单元像素(子像素)的发光的方式可以实现可视信息。单元像素表示用于代表一种颜色的基本单元。
根据一个可替选的实施例,柔性显示单元251的第一状态可以是弯曲状态(例如,从上到下或者从右到左弯曲的状态),而不是处于平坦状态。在本实施例中,如果外力被施加到柔性显示单元251,则柔性显示单元251可以转变到第二状态使得柔性显示单元被变形成平坦的状态(或者较少弯曲的状态)或者更加弯曲的状态。
如有必要,柔性显示单元251可以使用与显示器相结合的触摸传感器实现柔性触摸屏。如果在柔性触摸屏处接收到触摸,则控制器180能够执行与触摸输入相对应的某些控制。通常,柔性触摸屏被配置成在第一和第二状态时感测触摸和其它的输入。
一个选项是配置移动终端200以包括感测柔性显示单元251的变形的变形传感器。变形传感器可以被包括在感测单元140中。
变形传感器可以位于柔性显示单元251或者壳体201中以感测与柔性显示单元251的变形有关的信息。与柔性显示单元251的变形有关的这样的信息的示例可以是变形的方向、变形的程度、变形的位置、变形的时间量、变形的柔性显示单元251被恢复的加速度等等。其它的可能性包括能够响应于柔性显示单元的弯曲被感测到的或者当柔性显示单元251被转变成、或者存在于第一和第二状态时被感测的大多数任何类型的信息。
在一些实施例中,基于与柔性显示单元251的变形有关的信息,控制器180或者其它的组件能够改变被显示在柔性显示单元251上的信息,或者生成用于控制移动终端200的功能的控制信号。通常通过变形传感器感测这样的信息。
示出移动终端200,其具有用于容纳柔性显示单元251的壳体201。考虑到柔性显示单元251的特性,该壳体201能够与柔性显示单元251一起变形。
考虑到柔性显示单元251的特性,位于移动终端200中的电池(在该附图中未被示出)也可以与柔性显示单元261协作地可变形。实现这样的电池的一种技术是使用堆叠电池单元的堆叠和折叠方法。
柔性显示单元251的变形不限于通过外力执行。例如,通过用户命令、应用命令等等能够将柔性显示单元251从第一状态变形成第二状态。
根据又一实施例,移动终端可以被配置为可佩戴在人体上的装置。这样的装置超出用户使用他们的手抓握移动终端的常用技术。可佩戴装置的示例包括智能手表、智能眼镜、头戴式显示器(HMD)等等。
典型的可佩戴装置能够与另一移动终端100(或者协作)交换数据。在这样的装置中,可佩戴装置通常具有少于协作的移动终端的功能。例如,移动终端100的短程通信模块114可以感测或者识别足够近以与移动终端通信的可佩戴装置。另外,如果感测到的可佩戴装置是被授权与移动终端100通信的装置,例如,控制器180可以经由短程通信模块114将在移动终端100中处理的数据发送到可佩戴装置。因此,可佩戴装置的用户能够在可佩戴装置上使用移动终端100中处理的数据。例如,如果在移动终端100中接收到呼叫,则用户能够使用可佩戴装置应答呼叫。而且,如果在移动终端100中接收到消息,则用户能够使用可佩戴装置查看接收到的消息。
图3是图示根据另一示例性实施例的手表式移动终端300的一个示例的透视图。如在图3中所图示,手表式移动终端300包括具有显示单元351的主体301和连接到主体301从而可佩戴在手腕上的带302。通常,移动终端300可以被配置成包括与图1A-1C的移动终端100相同或者相似的特征。
主体301可以包括具有某一外观的壳体。如图所示的,壳体可以包括协作地限定用于容纳各种电子组件的内部空间的第一壳体301a和第二壳体301b。其它的配置是可能的。例如,利用被配置成限定内部空间的这样的壳体,可以可替选地实现单个壳体,从而实现一体式的移动终端300。
手表式移动终端300能够执行无线通信,并且用于无线通信的天线能够被安装在主体301中。天线可以使用壳体延伸其功能。例如,包括导电材料的壳体可以被电连接到天线以延伸接地面积或者辐射面积。
示出显示单元351位于主体301的前侧处使得被显示的信息对于用户来说是可视的。在一些实施例中,显示单元351包括触摸传感器使得显示单元能够用作触摸屏。如图所示的,窗口351a被定位在第一壳体301a上以与第一壳体301a一起形成终端主体的前表面。
被图示的实施例包括被定位在主体301上的音频输出模块352、相机321、麦克风322、以及用户输入单元323。如果显示单元351被实现为触摸屏,则附加的功能键可以被最小化或者被消除。例如,如果触摸屏被实现,则用户输入单元323可以被省略。
带302通常被佩戴在用户的手腕上并且可以是由用于有助于装置的佩戴的柔性材料制成。作为一个示例,带302可以是由皮毛、橡胶、硅胶、合成树脂等等制成。带302也可以被配置成从主体301可拆卸。因此,根据用户的偏好带302可以以各种类型的带来替换。
在一个配置中,带302可以被用于延伸天线的性能。例如,带可以在其中包括电连接到天线以延伸接地面积的接地延伸部分(未被示出)。
带302可以包括紧固件302a。紧固件302a可以被实现为搭扣型、扣合钩结构、型等等,并且包括柔性部分或者材料。附图图示使用搭扣实现紧固件302a的示例。
图4是图示根据另一示例性实施例的眼镜型移动终端400的一个示例的透视图。眼镜型移动终端400能够佩戴在人体的头部并且设有框架(壳体、外壳等等)。框架可以是由易于佩戴的柔性材料制成。示出移动终端400的框架,其具有能够由相同或者不同材料制成的第一框架401和第二框架402。通常,移动终端400可以被配置成包括与图1A-图1C的移动终端100相同或者相似的特征。
框架可以被支撑在头部上并且限定用于安装各种组件的空间。如图所示的,诸如控制模块480、音频输出模块452等等的电子组件可以被安装到框架部分。而且,用于覆盖左眼和右眼中的任意一个或者两者的透镜403可以被可拆卸地耦合到框架部分。
控制模块480包括被布置在移动终端400中的各种电子组件。控制模块480可以被理解为与前述的控制器180相对应的组件。图4图示控制模块480被安装在头部的一侧上的框架部分中,但是其它的位置是可能的。
显示单元451可以被实现为头戴式显示器(HMD)。HMD指的是显示器被安装在头部以在用户的眼睛的前面直接地示出图像的显示技术。为了如果用户佩戴眼镜式移动终端400在用户的眼睛的前面直接地提供图像,显示单元451可以被定位成对应于左眼和右眼中的任意一个或者两者。图4图示显示单元451位于与右眼相对应的一部分上以输出通过用户的右眼可观看的图像。
使用棱镜,显示单元451可以将图像投射到用户的眼睛。而且,棱镜可以由光学透明的材料形成使得用户能够在用户的前面观看被投射的图像和一般视野(用户通过眼睛观看的范围)两者。
以这样的方式,当与一般视野重叠时通过显示单元451输出的图像可以被观看。移动终端400可以通过使用显示器将虚拟图像重叠在现实图像或者背景上来提供增强现实(AR)。
相机421可以被定位成与左眼和右眼中的任意一个或者两者相邻以捕获图像。因为相机421被定位成与眼睛相邻,所以相机421能够获取用户当前观看的场景。相机421可以被定位在移动终端的至多任何位置处。在一些实施例中,多个相机421可以被利用。这样的多个相机421可以被用于获取立体图像。
眼镜式移动终端400可以包括用户输入单元423a和423b,通过用户能够操作其中的每一个以提供输入。用户输入单元423a和423b可以采用经由触觉输入允许输入的技术。典型的触觉输入包括触摸、推动等等。用户输入单元423a和423b被示出,当用户输入单元423a和423b分别位于框架部分和控制模块480上时该用户输入单元423a和423b以推动方式和触摸模式是可操作的。
必要时,移动终端400可以包括:麦克风,该麦克风将输入声音处理成电音频数据;和音频输出模块452,该音频输出模块452用于输出音频。音频输出模块452可以被配置成以一般的音频输出方式或者骨传导方式产生音频。如果以骨传导方式实现音频输出模块452,则音频输出模块452可以在用户佩戴移动终端400时紧密地贴附到头部并且振动用户的颅骨以传送声音。
现在更加详细地描述通过不同地描述的移动终端可操作的通信系统。这样的通信系统可以被配置成利用各种不同的空中接口和/或物理层中的任意一个。通过通信系统利用的这样的空中接口的示例包括:频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、通用移动电信系统(UMTS)(包括长期演进(LTE),LTE-A(长期高级演进))、全球移动通讯系统(GSM)等。
仅通过非限制性示例,进一步的描述将会涉及CDMA通信系统,但是这样的教导同等地适用于包括CDMA无线通信系统以及OFDM(正交频分复用)无线通信系统的其它系统类型。CDMA无线通信系统通常包括一个或者多个移动终端(MT或者用户设备,UE)100、一个或者多个基站(BS、节点B、或者演进的节点B)、一个或者多个基站控制器(BSC)、以及移动交换中心(MSC)。MSC被配置成与传统的公共交换电话网络(PSTN)和BSC对接。BSC经由回程线路被耦合到基站。可以根据包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL、或者xDSL的数个已知的接口中的任何一个来配置回程线路。因此,CDMA无线通信系统中能够包括多个BSC。
各个基站可以包括一个或者多个扇区,每个扇区具有全向天线或者指向径向远离基站的特定方向的天线。可替选地,每个扇区可以包括两个或者更多个不同的天线。各个基站可以被配置成支持多种频率指配,每个频率指配具有特定的频谱(例如,1.25MHz、5MHz等等)。
扇区和频率指配的交集可以被称为CDMA信道。基站也可以被称为基站收发器子系统(BTS)。在一些情况下,术语“基站”可以用于统一指代BSC,以及一个或多个基站。基站也可以被表示为“小区站点”。可替选地,给定的基站的单个扇区可以被称为小区站点。
广播发射器(BT)将广播信号发送到在系统内操作的移动终端100。图1A的广播接收模块111通常被配置在移动终端100内部以接收由BT发送的广播信号。
例如,用于定位移动终端100的位置的全球定位系统(GPS)卫星可以与CDMA无线通信系统协作。可以利用比两个卫星更多或者更少的卫星来获得有用的位置信息。要了解的是,可以可替选地实现其它类型的位置检测技术(即,除了或者替代GPS定位技术可以使用的定位技术)。必要时,GPS卫星中的至少一个可以被可替选地或者另外配置成提供卫星DMB传输。
位置信息模块115通常被配置成检测、计算、或者以其它方式识别移动终端的位置。作为示例,位置信息模块115可以包括全球定位系统(GPS)模块、Wi-Fi模块、或者两者。如有必要,位置信息模块115可以可替选地或者另外与无线通信单元110的其它模块中的任意一个一起工作以获得与移动终端的位置有关的数据。
典型的GPS模块115能够从三个或者更多个卫星测量精确的时间和距离,并且基于测量的时间和距离根据三角法精确地计算移动终端的当前位置。可以使用从三个卫星获取距离和时间信息并且通过单个卫星执行错误校正的方法。特别地,GPS模块可以根据从卫星接收到的位置信息获取精确的时间和三维速度信息以及纬度、经度和高度值的位置。
此外,GPS模块能够实时获取速度信息以计算当前位置。有时候,如果移动终端位于卫星信号的盲点中,诸如位于室内空间中,被测量的位置的精确度可能被折衷。为了最小化这样的盲点的影响,可以利用可替选的或者互补的位置技术,诸如Wi-Fi定位系统(WPS)。
Wi-Fi定位系统(WPS)指的是使用Wi-Fi基于无线局域网(WLAN)的位置确定技术作为用于跟踪移动终端100的位置的技术。此技术通常包括移动终端100中的Wi-Fi模块和用于与Wi-Fi模块通信的无线接入点的使用。
Wi-Fi定位系统可以包括Wi-Fi位置确定服务器、移动终端、被连接到移动终端的无线接入点(AP)、以及存储有无线AP信息的数据库。
被连接到无线AP的移动终端可以将位置信息请求消息发送到Wi-Fi位置确定服务器。Wi-Fi位置确定服务器基于移动终端100的位置信息请求消息(或者信号)提取被连接到移动终端100的无线AP的信息。无线AP的信息可以通过移动终端100被发送到Wi-Fi位置确定服务器,或者可以从无线AP被发送到Wi-Fi位置确定服务器。
基于移动终端100的位置信息请求消息提取的无线AP的信息可以包括媒体接入控制(MAC)地址、服务集标识(SSID)、接收信号强度指示符(RSSI)、参考信号接收功率(RSRP)、参考信号接收质量(RSRQ)、信道信息、隐私、网络类型、信号强度、噪声强度等等中的一个或者多个。
如上所述,Wi-Fi位置确定服务器可以接收被连接到移动终端100的无线AP的信息,并且可以从事先建立的数据库提取与被连接到移动终端的无线AP相对应的无线AP信息。被存储在数据库中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、隐私、网络类型、纬度和经度坐标、无线AP位于的建筑物、楼层、详细的室内位置信息(GPS坐标可用)、AP拥有者的地址、电话号码等等的信息。为了在位置确定过程期间去除使用移动AP或者非法的MAC地址提供的无线AP,Wi-Fi位置确定服务器可以仅提取预定数目的无线AP信息,以便于获得高RSSI。
然后,Wi-Fi位置确定服务器可以使用从数据库提取的至少一个无线AP信息提取(分析)移动终端100的位置信息。
用于提取(分析)移动终端100的位置信息的方法可以包括小区ID方法、指纹方法、三角法方法、地标方法等等。
小区ID方法被用于将通过移动终端收集的外围无线AP信息当中的具有最大的信号强度的无线AP的位置确定为移动终端的位置。小区ID方法是最低复杂度的实现,不需要附加的成本,并且能够快速地获取位置信息。然而,在小区ID方法中,如果无线AP的安装密度低,则定位的精确度可能落在所期待的阈值之下。
指纹方法被用于通过从服务区域选择参考位置来收集信号强度信息,并且基于收集的信息使用从移动终端发送的信号强度信息来跟踪移动终端的位置。为了使用指纹方法,通常无线电信号的特性要以数据库的形式预先存储。
三角法方法被用于基于至少三个无线AP和移动终端的坐标之间的距离计算移动终端的位置。为了测量移动终端和无线AP之间的距离,信号强度可以被转换成距离信息。对于被发送的无线信号可以采用到达时间(ToA)、到达时间差(TDoA)、到达角(AoA)等等。
地标方法被用于使用已知的地标发射器测量移动终端的位置。
除了这些定位位置方法之外,各种算法可以被用于提取(分析)移动终端的位置信息。这样提取的位置信息可以通过Wi-Fi位置确定服务器被发送到移动终端100,从而获取移动终端100的位置信息。
移动终端100能够通过被连接到至少一个无线AP来获取位置信息。根据在移动终端100被定位的无线通信环境可以不同地改变获取移动终端100的位置信息所需要的无线AP的数目。
如关于图1A先前所描述的,移动终端可以被配置成包括诸如蓝牙(BluetoothTM)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂、近场通信(NFC)、无线USB(无线通用串行总线)等等的短程通信技术。
被设置在移动终端处的典型的NFC模块支持短程无线通信,其是移动终端之间的非接触型的通信并且通常在大约10cm内发生。NFC模块可以以卡模式、阅读器模式、或者P2P模式中的一个来操作。移动终端100可以进一步包括用于存储卡信息的安全模块,以便于在卡模式下操作NFC模块。安全模块可以是诸如通用集成电路卡(UICC)(例如,用户身份模块(SIM)或者通用SIM(USIM))、安全微型SD和贴纸的物理介质,或者被嵌入在移动终端中的逻辑介质(例如,嵌入式安全元件(SE))。可以在NFC模块和安全模块之间执行基于单线协议(SWP)的数据交换。
在NFC模块在卡模式下操作的情况下,移动终端可以将关于普通的IC卡的卡信息传送到外部。更加具体地,如果具有关于支付卡(例如,信用卡或者公交卡)的卡信息的移动终端接近卡阅读器,则可以执行短程移动支付。作为另一示例,如果存储关于门卡的卡信息的移动终端接近门卡阅读器,则进入批准过程可以启动。诸如信用卡、交通卡、或者门卡的卡可以以小型程序的形式被包括在安全模块中,并且安全模块可以存储关于在其中安装的卡的卡信息。用于支付卡的卡信息可以包括卡号、余额和使用历史等等中的任意一个。门卡的卡信息可以包括用户的姓名、用户的编号(例如,大学生编号或者员工编号)、进入历史等等中的任意一个。
如果NFC模块在阅读器模式下操作,则移动终端能够从外部标签读取数据。通过移动终端从外部标签接收到的数据可以被编码成由NFC论坛定义的NFC数据交换格式。NFC论坛通常定义四种记录类型。更加具体地,NFC论坛定义四种记录类型定义(RTD),诸如智能型海报、文本、统一资源标识符(URI)、以及一般控制。如果从外部标签接收到的数据是智能型海报类型,则控制器可以执行浏览器(例如,互联网浏览器)。如果从外部标签接收到的数据是文本类型,则控制器可以执行文本查看器。如果从外部标签接收到的数据是URI类型,则控制器可以执行浏览器或者发起呼叫。如果从外部标签接收到的数据是一般控制类型,则控制器可以根据控制内容执行适当的操作。
在NFC模块在P2P(端对端)模式下操作的一些情况下,移动终端能够执行与另一移动终端的P2P通信。在这样的情况下,逻辑链路控制协议(LLCP)可以被应用于P2P通信。对于P2P通信,在移动终端和另一移动终端之间可以产生连接。此连接可以被归类成在一个分组被交换之后结束的无连接模式,和其中分组被连续地交换的面向连接模式。对于典型的P2P通信,诸如电子类型名片、地址信息、数字照片和URL、用于蓝牙连接、Wi-Fi连接的设置参数等等的数据可以被交换。因为用于NFC通信的可用距离相对短,所以在交换小容量的数据中能够有效地利用P2P模式。
将会参考附加的附图更加详细地描述更多的优选实施例。本领域的技术人员将会理解,在不脱离其特性的情况下能够以数种形式实施本特征。
图5A是图示根据本发明实施例的操作移动终端的方法的流程图。具体而言,图5A示出基于使用移动终端的用户的使用模式信息来提取要用作视频的编辑准则的对象、删除不包括所提取的对象的一个或多个回放区段、并且将视频的总回放时间减少到用户期望的回放时间的实施例。提出示例,使得视频的整个回放区段由多个回放区段组成。另外,多个回放区段中的每一个可以包括多个图像帧。
多个回放区段的回放时间可以相等或不同。另外,虽然学习数据单元130被描述为与控制器180分开设置,但是本发明不限于此,并且学习数据单元130可以被包括在控制器180中。
参考图5A,移动终端100的学习数据单元130收集用户的使用模式信息(S501)。
在一个实施例中,用户的使用模式信息是关于用户使用移动终端100的模式的信息,并且可以包括关于使用移动终端100的特定功能或应用的信息。使用模式信息可以是根据特定应用的使用记录的信息。例如,使用模式信息可以是相机121通过执行相机应用而捕获并存储在存储器170中的图片。可替选地,使用模式信息可以是关于通过电话呼叫应用的执行具有与用户的电话交谈的人的信息。
学习数据单元130基于学习收集的使用模式信息的结果选择要用作视频的编辑准则的对象(S503)。在一个实施例中,学习数据单元130可以使用机器学习技术来选择要用作视频的编辑准则的对象。下面将描述使用机器学习技术来选择要用作视频的编辑准则的对象的方法。
在另一实施例中,在不使用学习使用模式信息的结果的情况下学习数据单元130可以接收用户命令并且选择对象。例如,如果在回放视频时接收到用于触摸对象的命令,则学习数据单元130可以选择所触摸的对象作为要用作视频的编辑准则的对象。可替选地,学习数据单元130可以通过通过麦克风122接收的语音来选择对象。更加具体地,如果转换的文本指示对象的名称,则学习数据单元130可以将通过麦克风122接收的语音转换为文本并且选择该对象作为要用作视频的编辑准则的对象。
学习数据单元130从配置视频的多个回放区段当中提取不包括所选择的对象的一个或多个回放区段(S505),并且删除提取的一个或多个回放区段(S507)。学习数据单元130可以从配置视频的多个回放区段当中提取包括所选择的对象的一个或多个第一回放区段和不包括所选择的对象的一个或多个第二回放区段。学习数据单元130可以删除不包括所选择的对象的提取的一个或多个第二回放片段。学习数据单元130可以确定所选择的对象是否被包括在配置视频的所有图像帧中。如果不包括所选择对象的图像帧是连续的,则学习数据单元130可以提取不包括所选择的对象的连续图像帧作为一个回放区段。
这里,不包括所选择的对象的一个或多个回放区段中的每一个可以被称为用户不感兴趣的不重要回放区段。相反,包括所选择对象的回放区段可以是用户感兴趣的重要回放区段。
学习数据单元130基于删除提取的一个或多个回放区段的结果将视频的总回放时间减少到预定回放时间(S509)。在一个实施例中,预定回放时间可以根据用户设置来预先确定。例如,如果视频的总回放时间是一小时并且预定回放时间是20分钟,则学习数据单元130可以删除提取的一个或多个回放部分,并且将视频的总回放时间减少到预定回放时间。
在一个实施例中,如果在删除提取的一个或多个回放段之后视频的总回放时间大于预定回放时间,则学习数据单元130可以以预定速度或更快速度来回放未删除的回放区段。也就是说,如果未删除的回放区段的回放速度是第一回放速度,则学习数据单元130可以将未删除的回放区段的回放速度改变为大于第一回放速度的第二回放速度。因此,视频的总回放时间可被调整到预定回放时间。
在另一个实施例中,如果在删除提取的一个或多个回放区段之后视频的总回放时间小于预定回放时间,则学习数据单元130可以以小于预定速度的方式回放未删除的回放区段。也就是说,如果未删除的回放区段的回放速度是第三回放速度,则学习数据单元130可以将未删除的回放区段的回放速度改变为小于第三回放速度的第四回放速度。因此,视频的总回放时间可被调整到预定回放时间。
在另一个实施例中,预定回放时间可以根据用户语音命令来确定。例如,如果通过麦克风122接收的用户语音命令指示视频的总回放时间被改变为预定回放时间,则学习数据单元130可以根据语音命令将视频的总回放时间减少到预定回放时间。控制器180根据视频回放请求回放具有预定回放时间的视频(S511)。
图5B是图示根据本发明另一实施例的操作移动终端的方法的流程图。具体而言,图5B示出基于使用移动终端100的用户的使用模式信息提取要用作视频的编辑准则的对象,快速回放不包括所提取的对象的一个或多个回放区段,并且将视频的总回放时间减少到用户期望的回放时间的实施例。与图5A的那些相同的图5B的部分的详细描述被省略。
仍然参考图5B,移动终端100的学习数据单元130收集用户的使用模式信息(S531)。学习数据单元130基于学习收集的使用模式信息的结果来选择要用作视频的编辑准则的对象(S532)。学习数据单元130从配置视频的多个回放区段中提取不包括所选对象的一个或多个回放区段(S533)。
在多个回放区段当中不包括所选择的对象的一个或多个回放区段可以是如果用户在视频的整个回放区段中基于存储在用户的移动终端100中的信息观看视频则被确定为不重要部分的回放区段。
学习数据单元130可以基于存储在存储器170中的信息从视频的整个回放区段中感测不包括选择的对象的回放区段。可以基于存储在存储器170中的信息来获取特定的对象。例如,学习数据单元130可以基于存储在存储器170中的图片来感测不包括所选择的对象的回放区段。更具体地,如果在被存储在存储器170中的图片当中的包括特定人的面部的图片的数量等于或大于预定值,则学习数据单元130可以将不包括特定人的回放区段确定为不重要回放区段。
作为另一示例,学习数据单元130可以基于存储在存储器170中的其他人的联系信息来提取视频的不重要回放区段。具体地,如果具有与特定人的电话交谈的次数等于或大于预定值,则学习数据单元130可以识别被存储在联系人地址簿中的特定人的面部。学习数据单元130可以将视频的整个回放区段中的不包括特定人的面部的回放区段提取作为不重要回放区段。
在另一实施例中,学习数据单元130可以在回放视频时感测回放区段的移动,并且将其中发生移动的回放区段提取为不重要回放区段。
在另一个实施例中,学习数据单元130可以基于通过麦克风122输入的用户的语音来感测不重要回放区段。例如,如果通过麦克风122输入的用户的语音是特定用户的名字,则学习数据单元130可以识别与存储在存储器170中的特定人的名字相对应的面部图像。例如,人的名字和面部图像可以存储在联系人地址簿中。
学习数据单元130可以提取与特定人的名字相对应的面部图像,并且从整个回放区段中感测没有出现具有输入名字的人的面部图像的图像帧的回放区段作为不重要回放区段。如果从视频的整个回放区段感测到不重要回放区段,则学习数据单元130可以将除了不重要回放区段之外的回放区段确定为在观看视频时重要的回放区段。
下面将更详细地描述框S533的特征。
当接收到视频回放请求时,控制器180回放视频(S534)。控制器180确定视频的当前回放时间是否属于在步骤S533中提取的一个或多个回放区段(S535)。如果视频的当前回放时间属于一个或多个回放区段,则控制器180以大于预定第一回放速度的第二回放速度回放回放区段(S536)。
在一个实施例中,如果通过设置在移动终端100中的相机121捕获视频,则可以在捕获时设置预定第一回放速度。捕获速度可以是帧速率。在另一个实施例中,第一回放速度可以由用户在回放视频时设置。在一个实施例中,如果视频的当前回放时间到达不重要的回放区段,则控制器180可以确定用户对不重要的回放区段不感兴趣并且增加视频的回放速度。增加不重要回放区段的回放速度可以包括对于不重要回放区段执行时间流逝处理。时间流逝处理可以意指回放速度被调整,并且长时间捕获的视频的回放区段被压缩,从而在短时间内回放视频。
在另一个实施例中,控制器180可以对于不重要的回放区段执行时间流逝处理,并且将不重要回放区段的分辨率降低为低于重要回放区段的分辨率。例如,如果重要回放区段的分辨率是HD,则学习数据单元130可以将不重要回放区段的分辨率转换为SD。
学习数据单元130可以将其中不重要的回放区段的分辨率被转换为SD的编辑的视频存储在存储器170中。如果视频的当前回放时间不属于提取的一个或多个回放区段时,控制器180以预定第一回放速度或小于第一回放速度的第三回放速度回放该回放区段(S536)。
在一个实施例中,如果视频的当前回放时间不属于提取的一个或多个回放区段,则控制器180可以以预定第一回放速度回放该回放区段(包括所选对象的区段)。
在另一个实施例中,如果视频的当前回放时间不属于提取的一个或多个回放区段,则控制器180可以以小于预定第一回放速度的第三回放速度回放该回放区段(包括所选对象的区段)。也就是说,因为用户对该部分感兴趣,所以控制器180可以降低回放速度使得用户在较长时间内观看感兴趣的区段。另外,学习数据单元130可以确定包括所选对象的一个或更多个回放区段的回放速度以及其他回放区段的回放速度。
学习数据单元130可以根据确定的结果将视频的总回放时间改变为预定回放时间。学习数据单元130可以将包括选择的对象的回放区段的回放速度确定为第二回放速度,并且将不包括所选择的对象的回放区段的回放速度确定为第一或第三回放速度,并且将视频的总回放时间减少到预定回放时间。
如果视频的整个回放区段的用户不感兴趣的回放区段被自动地提取并且快速回放,则用户只能够集中观看期望的部分。另外,用户不需要选择诸如快进按钮或后退按钮的按钮以便于仅查看视频的期望部分,从而提高便利性。另外,控制器180可以将其中重要回放区段和不重要回放区段的回放速度不同的编辑视频和其中重要回放区段和不重要回放区段的回放速度相同的原始视频存储在存储器170中。
接下来,将描述基于学习使用模式信息的结果来选择要用作视频的编辑准则的对象的过程。
图5C是图示根据本发明的实施例的通过识别存储在存储器中的图片中包括的人的面部来选择要用作视频的编辑准则的对象的方法的流程图,图5D是图示根据本发明的实施例的获取图片中包括的最终面部的过程的图。
在图5C中,学习数据单元130从存储在存储器170中的多个图片中识别人的面部(S541)。存储在存储器170中的多个图片可以通过执行图库应用来显示。每个图片可以是通过相机121捕获的图片或从外部设备接收的图片中的任何一个。
参考图5D,示出图片570。学习数据单元130可以从图片570中识别人的面部571。例如,学习数据单元130可以基于图片570的颜色来识别人的面部571。也就是说,学习数据单元130可以识别图片570中具有预定肤色的区域。
作为另一示例,学习数据单元130可以检测面部元素并识别面部571。具体而言,学习数据单元130可以预先获取诸如眼睛、鼻子和嘴巴的面部元素的位置,计算元素之间的特征向量,并且检测面部571。
学习数据单元130从识别的面部提取面部区域(S542)。学习数据单元130可以提取与识别的面部相对应的面部区域572。学习数据单元130从提取的面部区域中提取多个特征点(S543)。在一个实施例中,可以从每个面部元素(眼睛、鼻子、嘴巴、眉毛、前额等)中提取多个特征点中的每一个。多个特征点中的每一个可以是为了获取面部轮廓而提取的参考点。
图5D示出指示从面部区域572提取多个特征点的状态的特征点提取过程573。学习数据单元130使用多个提取的特征点获取面部区域的轮廓(S544)。在一个实施例中,学习数据单元130可以使用德劳内(Delaunay)三角剖分法来获取面部区域的轮廓。Delaunay三角剖分法是连接三角形平面上的特征点并且分割空间使得三角形的三个内角之间的差较小的技术。学习数据单元130可以使用Delaunay三角剖分法将面部区域572分割成多个三角形区域,由此获取面部的轮廓574。
学习数据单元130三维地转换所获取的面部区域的轮廓(S545)。学习数据单元130可以三维地转换被分割成多个三角形区域的面部区域的轮廓574。因此,如图5D所示,能够获得三维轮廓575。
学习数据单元130根据面部特征的重要程度来调整三维转换的面部区域的轮廓的亮度(S546)。学习数据单元130可以根据面部元素的重要程度来调整轮廓的亮度。例如,学习数据单元130可以将诸如眼睛、鼻子和嘴巴的重要面部元素调整为比其他面部元素暗。因此,能够获得其中调整面部元素的亮度的三维轮廓575。
学习数据单元130基于多个特征点将具有调整的亮度的三维转换的轮廓转换成二维面部区域(S547)。学习数据单元130将转换的二维面部区域调整为向前形式(S548)。学习数据单元130可以将二维面部区域调整为向前形式以便更准确地获取人的面部。也就是说,如果在二维面部区域中将面部转向另一侧,则不能准确地获取人的面部。
学习数据单元130根据调整的结果获取最终面部(S549)。即,如在图5D中所示,能够从图片570获取正面的最终面部。
学习数据单元130确定所获取的最终面部是否存在于存储在存储器170中的预定数量或更多的图片中(S550)。在一个实施例中,学习数据单元130可以确定在预定时间段期间存在预定数量或更多的获取的最终面部。预定时间段可以是一周,这仅是示例性的。
如果获取的最终面部存在于预定数量或更多的所存储的图片中,则学习数据单元130选择包括最终面部的人作为要用作视频的编辑准则的对象(S551)。在一个实施例中,如果在预定数量或更多的图片中存在多个最终面部,则学习数据单元130可以根据优先级将最终面部中的任何一个选择为要用作视频的编辑准则的对象。在一个实施例中,优先级可以根据图片的存储时间确定。如果在预定数量或更多的图片中存在多个最终面部,则学习数据单元130可以选择包括在最近存储的图片中的最终面部的人作为要用作视频的编辑准则的对象。
在另一个实施例中,作为优先级,可以选择最频繁出现在图片中的人的面部作为要用作视频的编辑准则的对象。学习数据单元130可以针对存储在存储器170中的图片重复框S541至S551的操作以学习获取最终面部的过程。
图6A(1)、图6A(2)、图6A(3)、图6B(1)、图6B(2)、6B(3)是图示根据本发明的实施例的从视频的整个回放区段感测不重要回放区段的过程的图。这些图示出示例,其中学习数据单元130在移动终端100的显示单元151上回放视频时感测不重要回放区段,但不限于此。也就是说,学习数据单元130可以分析存储在存储器170中的视频的图像帧并且感测不重要回放区段,而在显示单元151上不显示视频。作为另一示例,学习数据单元130可以分析图像从外部服务器接收到的视频的图像帧,并且感测不重要的回放区段。
如果存储在存储器170中的图片当中的包括特定人的面部的图片的数目等于或大于预定值,则学习数据单元130可以将特定人的面部设置为用于区分视频的不重要图像帧的准则。显示单元151显示视频的第一图像帧611。第一图像帧611可以包括特定人的面部601。学习数据单元130可以通过图库应用对存储的图片执行图像分析。学习数据单元130可以从视频的多个图像帧当中提取不包括特定人的面部601的第二图像帧613。
如果不包括特定人的面部601的图像帧是连续的,则学习数据单元130可以获取连续的图像帧作为不重要的回放区段。其后,学习数据单元130可以提取包括特定人的面部601的第三图像帧615。如果包括特定人的面部601的图像帧是连续的,则学习数据单元130可以获取连续的图像帧作为重要的回放区段。
图6B(1)、图6B(2)、图6B(3)图示在学习数据单元130处感测视频的整个回放区段当中的什么都没有捕获的回放区段的过程。具体地,这些图示出其中学习数据单元130在不使用存储在存储器170中的信息的情况下感测不重要的回放区段的示例。
参考图6B(1),显示单元151可以显示第四图像帧631,并且然后显示第五图像帧633(图6B(2))。第四图像帧631可以包括一个或多个对象,并且第五图像帧633可以不包括对象。具体地,第四图像帧631可以是不包括对象的黑色图像帧。学习数据单元130可以将第四图像帧631识别为不重要的图像帧。如果不重要的图像帧是连续的,则学习数据单元130可以将连续的图像帧感测为不重要的回放片段。
此后,学习数据单元130可以提取包括一个或多个对象的第六图像帧635。如果包括一个或多个对象的图像帧是连续的,则学习数据单元130可以将连续的图像帧感测为重要回放区段。接下来,将描述在回放视频时识别视频的不重要的回放区段的实施例。
图7和图8是图示根据本发明的实施例的在回放视频时识别不重要回放区段的示例的图。具体而言,图7是图示在进度条700上识别视频的不重要的回放区段的示例的图,并且图8是图示在缩略图搜索条800上识别不重要回放区段的示例的图。
参考图7,移动终端100的显示单元151回放视频710。控制器180还可以显示指示视频710的进度的进度条700。视频的整个回放区段的不重要回放区段701和703被显示在进度条700上。另外,除了不重要的回放区段701和703之外,进度条700可以包括重要回放区段711、713和715。不重要的回放区段701和703以及重要回放区段711、713和715可以被显示为被彼此区分。例如,不重要的回放区段701和703以及重要的回放区段711、713和715可以被显示为不同的颜色。因此,用户可以容易地检查不重要的回放区段。
参考图8,控制器180可以在显示单元151上显示视频710和缩略图搜索条800。缩略图搜索条800可以被用于搜索或选择视频的特定回放时间。缩略图搜索条800可以包括不重要回放区段中包括的多个缩略图图像以及重要回放区段中包括的多个缩略图图像。不重要回放区段中包括的缩略图图像801和重要回放区段中包括的第二缩略图图像803可以被显示为彼此区分。例如,第一缩略图图像801可以被亮化。因此,用户可以容易地检查包含在不重要回放区段中的缩略图图像。接下来,将描述编辑视频的不重要的回放区段的实施例。
图9A-9B、图10A-10C是图示根据本发明实施例的编辑视频的不重要回放区段的示例的图。在这些图中,假设学习数据单元130将不包括特定人的面部601的视频的回放区段感测为不重要的回放区段。参考图9A,在回放视频901时控制器180可以显示进度条700。在进度条700上,可以区分地显示不重要的回放区段701和703以及其他重要的回放区段711、713和715。如果在预定时间内不重要的回放区段703被选择,则控制器180可以显示用于编辑不重要的回放区段703的编辑菜单900。如果小于预定时间内不重要的回放区段703被选择,则控制器180可以回放所选的不重要回放区段703。
编辑菜单900可以被显示为与不重要回放区段703相邻。编辑菜单900可以包括裁剪项目910和效果项目930。裁剪项目910可以是用于从视频的整个回放区段裁剪不重要回放区段703的项目。也就是说,如果选择裁剪项目910,则控制器180可以删除不重要的回放区段703。因此,可以生成编辑的最终视频。
在另一实施例中,如果在预定时间或者更长的时间内不重要回放区段703被选择,则控制器180可以删除不重要回放区段703。效果项目930可以是用于以另一图片或者视频替换视频的整个回放区段的不重要回放区段703的项目。
参考图9B,在缩略图搜索条800上,可以可区分地显示不重要回放区段中包括的第一缩略图图像801和重要回放区段中包括的第二缩略图图像803。如果在预定时间或者更长时间内第一缩略图图像801被选择,则控制器180可以显示包括裁剪项目910和效果项目930的编辑菜单900,如参照图9A所描述的。如果在少于预定时间内第一缩略图图像801被选择,则控制器180可以从与所选择的第一缩略图图像801相对应的回放时间开始回放视频。编辑菜单900可以被显示为与第一缩略图图像801相邻。
在下文中,将关于图9B的实施例描述编辑不重要的回放区段的示例。在图9B中,如果选择裁剪项目910,则控制器180可以删除第一缩略图图像801。
第一缩略图图像801可以指示图9a中所示的不重要回放区段701。如果选择第一缩略图图像801并且选择裁剪项目910,则控制器180可以删除不重要回放区段701。在另一个实施例中,如果在预定时间或者更长时间内第一缩略图图像801被选择,则控制器180可以删除第一缩略图图像801。用户可以容易地删除视频的不感兴趣的回放区段,由此仅查看期望的部分。
同时,在图10A-10C中,如果选择效果项目910,则控制器180可以显示包括特定人的面部601的多个图片1010、1030和1050。在一个实施例中,多个图片1010、1030和1050中的每一个可以包括与图库应用协作存储在存储器170中的图片中的特定人的面部601(参见图9A)。在另一个实施例中,多个图片1010、1030和1050可以是被包括在视频910的重要回放区段711、713和715中的任何一个中的图像帧。尽管参考图10A-图10C描述其中如果效果项目910被选择则多个图片1010、1030和1050被显示的示例,但是本发明不限于此。也就是说,如果效果项目910被选择,则控制器180可以显示包括特定人的面部601的多个运动图片。
运动图片是通过短时间捕获运动场景而获得的图形交换格式(GIF)图片。在另一个实施例中,如果选择效果项目910,则控制器180可以显示一些或全部重要回放区段711、713和715。用户可以用期望的图片或视频替换不重要的回放区段。同时,根据本发明的另一实施例,控制器180可以向重要回放区段711、713和715提供各种效果。控制器180可以在回放视频的同时降低重要回放区段的回放速度。例如,控制器180可以降低回放速度并且以慢动作回放重要回放区段。
作为另一个例子,控制器180可以自动地放大并且回放重要回放区段。另外,根据本发明的另一实施例,移动终端100可以根据观看视频的用户的语音识别或者面部识别来调整视频的回放速度。
图11、12、13A-13C是图示根据本发明的实施例的根据观看视频的用户的语音或面部的识别来调整视频的特定区段的回放速度的示例的图。
参考图11,显示单元151回放视频1100的重要回放区段711。学习数据单元130可以在回放视频1100的重要回放区段711的同时通过麦克风122接收用户的语音。学习数据单元130可以分析所接收的用户的语音以检查用户的情绪状态。学习数据单元130可以在确定用户的情绪状态是积极的时降低重要回放区段711的回放速度。积极的情绪状态可能意味着用户感觉良好。如果接收到指示积极情绪状态的语音,则学习数据单元130可以将接收到的语音与存储在存储器170中的语音进行比较,并且确定用户的情绪状态是积极的。例如,如果<看我们孩子跳舞。如此可爱>被识别,则学习数据单元130可以确定用户的情绪状态是积极的并且降低重要回放区段711的回放速度。控制器180可以以慢动作回放重要回放区段711。
在另一个实施例中,学习数据单元130可以通过第一相机121a分析所获取的用户的面部图像,并且确定用户的情绪状态。当回放视频100的重要回放区段711时,学习数据单元130分析通过第一相机121a获取的用户的面部图像。如果用户的面部图像匹配存储在存储器170中的指示积极状态的面部图像,则学习数据单元130可以确定用户的情绪状态是积极的。在确定用户的情绪状态是积极的时,学习数据单元130可以降低重要回放区段711的回放速度。
现在参考图12,显示单元151可以回放视频1100的重要回放区段711。学习数据单元130可以在回放视频1100的重要回放区段711的同时通过麦克风122接收用户的语音。学习数据单元130可以分析用户的语音以识别用户的情绪状态。在确定用户的情绪状态为消极时,学习数据单元130可以增加重要回放区段711的回放速度。消极状态可能指示用户感不觉不好。
如果接收到表示消极状态的语音,则学习数据单元130将接收到的语音与指示消极状态的语音进行比较,并且确定情绪状态是消极的。例如,如果<我看不清楚我们的孩子>被识别,则学习数据单元130可以确定用户的情绪状态是消极的并且增加重要回放区段711的回放速度。控制器180可以对重要回放区段711执行时间流逝处理以实现快速回放。
在另一实施例中,学习数据单元130可以分析通过第一相机121a获取的用户的面部图像并且确定用户的情绪状态。学习数据单元130可以在回放视频1100的重要回放区段711的同时分析通过第一相机121获取的用户的面部图像。如果用户的面部图像与存储在存储器170中的指示消极状态的面部图像相匹配,则学习数据单元130可以确定用户的情绪状态是消极的。学习数据单元130可以在确定用户的情绪状态为消极的时增加重要回放区段711的回放速度。
图13A-13C是图示根据本发明的实施例的根据观看视频的用户的语音或面部的识别来调整视频的特定区段的回放速度的示例的图。
在图13A中,显示单元151显示第一图片1301。显示单元151还可以包括指示第一图片1301被显示的时间的第一时间指示器1331。第一时间指示器1311可以指示第一图片1301可以被显示三秒钟。三秒仅是示例性的,并且可以设置默认时间。也就是说,图片幻灯片的每个图片可以被回放三秒钟。
如果选择第一时间指示器1311,则控制器180可以继续显示第一图片1301。其后,显示单元151可以将第一图片1301改变为第二图片1303(图13B)。学习数据单元130可以在回放第二图片1303的同时通过麦克风1220识别指示用户的积极状态的语音。例如,如果指示积极状态的语音<在哪里?太棒了>被识别,如果第二图片1303被显示则学习数据单元130可以增加时间。因此,指示三秒回放时间的第一时间指示器1311可以被改变为指示6秒钟的回放时间的第二指示器1313。另外,显示单元151可以将第二图片1303改变为第三图片1305(图13C)。
学习数据单元130可以基于通过麦克风122接收的语音和作为先前的图片的第三图片1305和第二图片1303之间的相似性来减小第三图片1303的回放时间,同时回放第三图片。例如,如果在预定时间内没有接收到通过麦克风122输入的语音同时在第三图片和第二图片1303之间的相似度等于或者大于预定值,则学习数据单元130可以减少第三图片1305的回放时间。因此,指示6秒钟的回放时间的第二时间指示器1313可以被改变为指示1秒钟的回放时间的第三指示器1315。接下来,将描述根据本发明的实施例的将视频的总回放时间自动地设置为用户期望的时间的示例。
图14A-14C是图示根据本发明的实施例的将视频的总回放时间自动编辑成用户期望的时间的过程的图。参考图14A,显示单元151显示要编辑的视频1400。显示单元151可以进一步显示视频编辑菜单1401。
在图14A中,视频的总回放时间是30分钟。如果选择视频编辑菜单1401,则控制器180可以显示回放时间编辑项目1410和共享项目1430。回放时间编辑项目1410可以用于减少视频1410的总回放时间。共享项目1430可用于与另一个人共享视频1430。如果接收到用于选择回放时间编辑项目1410的命令1410,则控制器180可以显示包括多个编辑时间的编辑时间列表1450。编辑时间列表1450可以包括用于将视频1400的总回放时间减少到特定时间的多个编辑时间。
学习数据单元130可以编辑30分钟视频1400,并且如果从编辑时间列表1450中选择“2分钟”项目1451,则自动生成2分钟视频1470。学习数据单元130还可以感测视频1400的整个回放区段的不重要回放区段。描述了与图5A-5C有关的不重要回放区段。学习数据单元130可以删除视频1400的整个回放区段的不重要回放区段。如果即使删除视频1400的整个回放区段的不重要的回放区段也不能够获得具有2分钟的回放时间的视频,则学习数据单元130可以增加重要回放区段的回放速度。学习数据单元130可以对多个重要的回放区段中的任何一个进行时间流逝处理。在一个实施例中,任何一个区段可以是多个重要回放区段中最长的回放区段。被编辑为具有2分钟回放区段的视频1470可以通过预览功能来提供。用户可以在查看编辑的视频1470之后将编辑的视频1470存储为预览功能。
同时,编辑时间列表1450还可以包括“取决于音乐”项目1453。如果音乐被添加到要被回放的编辑的视频1470,则“取决于音乐”项目1453可以被用于将未编辑的视频1400的总回放时间减少到音乐的总回放时间。如果选择“取决于音乐”项目1453,则学习数据单元130可以显示音乐文件并且将视频1400的回放时间减少到从音乐文件当中选择的音乐文件的总回放时间。因此,未经编辑的视频可以被编辑为具有音乐文件的回放长度。
图15A(1)、15A(2)、15B(1)、15B(2)是图示根据本发明的实施例的在共享视频时根据共享单元自动地编辑视频的示例的图。也将参考图14A-14C的实施例对这些附图进行论述。
具体地说,图15A(1)、15A(2)提供通过应用A共享编辑的视频的示例,并且图15B(1)、15B(2)图示通过应用程序B共享编辑的视频的示例。
现在具体参照图15A(1)、15A(2),如果选择共享项目1430,则控制器180可以显示用于共享视频1400的应用列表。如果从包括在应用列表中的多个应用中选择应用A,则学习数据单元130可以获取应用A可以提供的传输容量。学习数据单元130可以基于可以由所选应用提供的传输容量来自动调整视频1400的分辨率或总回放时间中的一个或多个。例如,假设视频1400的容量为100Mb,则视频质量较高,并且应用A可以提供的传输容量为20Mb。
如果视频1400的容量大于可以由应用A提供的传输容量,则学习数据单元130可以根据传输容量限制将视频1400的图像质量从高图像质量改变为中等图像质量。学习数据单元130可以显示指示视频1400的图像质量从高图像质量改变为中等图像质量的变化进度窗口1510。如果视频1400的整个回放区段被从高图像质量转换为中等图像质量,则控制器180可以通过应用A将具有中等图像质量的视频发送到另一个人的终端。因此,在共享视频时,用户可能不会由于应用的传输容量限制而发送视频失败。
根据本发明的另一实施例,学习数据单元130可以将视频1400的整个回放区段的不重要回放区段的图像质量从高图像质量改变为中等图像质量。也就是说,如果其中不重要回放区段的图像质量变为中间图像质量的视频的容量小于应用A可以提供的传输容量,则学习数据单元130可以仅将不重要的回放区段的图像质量改变为中等图像质量并且以高图像质量维持其他回放区段。因此,用户可以与其他人共享视频同时将原始视频的图像质量保持为最高。
现在参考图15B(1)、15B(2),如果共享项目1430被选择,则控制器180可以显示用于共享视频1400的应用列表。如果从包括在应用列表中的多个应用中选择应用B,则学习数据单元130可以获取应用B可以提供的传输容量。学习数据单元130可以基于可以由所选应用提供的传输容量来自动地调整视频1400的分辨率或总回放时间中的一个或多个。例如,假设视频1400的容量是100Mb,则视频具有高质量,并且应用B可以提供的传输容量是20Mb。
学习数据单元130可以根据传输容量限制来降低视频1400的分辨率,因为视频1400的容量大于应用B可以提供的传输容量。如果即使视频1400的分辨率被更改为低图像质量具有低图像质量的视频的容量仍大于应用B可以提供的传输容量,则学习数据单元130可以从具有低图像质量的视频的整个回放区段中自动地删除不重要回放区段。学习数据单元130可以显示指示视频1400的图像质量从高图像质量改变为低图像质量并且正在删除不重要回放区段的变化进度窗口1530。控制器180可以通过应用B将其图像质量从高图像质量改变为低图像质量并且从其删除不重要回放区段的视频发送到另一个人的终端。因此,不论应用的传输容量限制如何,用户都可以与其他人分享视频。
再次,这里讨论的实施例包括参考执行某些操作的学习数据单元130。然而,可以使用诸如控制器180的处理器或控制器可替选地或者另外实现这样的操作中的一些或全部。
根据本发明的实施例,可以自动跳过包括在视频中的用户不感兴趣的区段,使得用户仅集中地观看所期待的部分。根据本发明的其它实施例,用户不需要在视频中搜索期望的部分,从而增加便利性。
使用具有在其上存储的指令的机器可读介质可以实现在前述说明书中提及的本发明,其中存储的指令由处理器执行以执行在此提出的各种方法。可能的机器可读介质的示例包括HDD(硬盘驱动器)、SSD(固态盘)、SDD(硅盘驱动器)、ROM、RAM、CD-ROM、磁带、软盘、以及光数据存储设备、在此提出的其它类型的存储介质,和其组合。如有必要,以载波(例如,互联网上的传输)的形式可以实现机器可读介质。处理器可以包括移动终端的控制器180。
前述的实施例仅是示例性的并且不被视为限制本公开。此描述旨在是说明性的,并且不限制权利要求的范围。对于本领域的技术人员来说许多替代、修改以及变化是显然的。可以以各种方式组合在此描述的示例性实施例的特征、结构、方法以及其它特性以获得附加的和/或可替选的示例性实施例。
由于在不脱离其特性的情况下可以以多种形式实现本特征,所以也应理解的是,上述实施例不受前面描述的任何细节的限制,除非另有规定,否则应在所附的权利要求限定的范围内被广泛地解释,并且因此旨在由所附的权利要求涵盖落入权利要求的范围和界限或者该范围和界限的等同物内的所有变化和修改。

Claims (20)

1.一种终端,包括:
存储器;
显示器;和
控制器,所述控制器被配置成:
在所述存储器中存储用户的使用模式信息;
基于存储的使用模式信息,选择要用作第一视频的编辑准则的对象;
在所述第一视频中识别包括所述对象的一个或多个第一回放区段;
在所述第一视频中识别不包括所述对象的一个或多个第二回放区段;
从所述第一视频中删除所述一个或多个第二回放区段以生成第二视频;
将所述第二视频的回放时间减少到预定回放时间;以及
根据视频回放请求使所述显示器显示具有所述预定回放时间的所述第二视频。
2.根据权利要求1所述的终端,其中,所述控制器还被配置成:
当存在特定人的面部的图片的数目等于或大于预定值时,从所述第一视频的多个回放区段中识别包括所述特定人的面部的回放区段,其中所述数目的图片在存储在所述存储器中的多个图片当中。
3.根据权利要求2所述的终端,其中,所述控制器还被配置成:
当多个人的面部出现在存储在所述存储器中的预定数目或更多的多个图片中时,在存储在所述存储器中的所述多个图片当中,选择出现在最近存储的图片中的人的面部作为要用作所述第一视频的编辑准则的对象。
4.根据权利要求2所述的终端,其中,所述控制器还被配置成:
当多个人的面部出现在存储在所述存储器中的预定数目或更多的多个图片中时,在存储在所述存储器中的所述多个图片当中,选择最频繁地出现在一组图片中的人的面部作为要用作所述第一视频的编辑准则的对象。
5.根据权利要求1所述的终端,其中,所述控制器还被配置成:
当在删除所述一个或多个第二回放区段之后所述第二视频的总回放时间大于所述预定回放时间时,使所述显示器以预定速度或更高速度显示所述第二视频的一个或多个回放区段。
6.根据权利要求5所述的终端,其中,所述控制器还被配置成:
当所述一个或多个第二回放区段的回放速度是定义的速度时,将所述一个或多个第一回放区段的第一回放速度调整为大于所述第一回放速度的第二回放速度。
7.根据权利要求1所述的终端,其中,所述控制器还被配置成:
当在删除所述一个或多个第二回放区段之后所述第二视频的总回放时间小于所述预定回放时间时,使所述显示器以小于预定速度显示所述一个或多个第一回放区段。
8.根据权利要求7所述的终端,其中,所述控制器还被配置成:
当所述一个或多个第二回放区段的回放速度是定义的速度时,将所述一个或多个第一回放区段的第一回放速度调整为小于所述第一回放速度的第二回放速度。
9.根据权利要求1所述的终端,其中,所述控制器还被配置成:
当与特定人进行电话通信的次数等于或大于预定值时,在所述第二视频的进一步生成中从所述第一视频中删除不包括所述特定人的回放区段。
10.根据权利要求1所述的终端,还包括麦克风,所述麦克风被配置成接收音频输入,其中,所述控制器还被配置成:
基于接收到的音频输入的内容,将所述预定回放时间设置为回放时间。
11.一种终端,包括:
存储器;
显示器;和
控制器,所述控制器被配置成:
在所述存储器中存储用户的使用模式信息;
基于存储的使用模式信息,选择要用作视频的编辑准则的对象;
在所述视频中识别不包括所述对象的一个或多个第一回放区段;
基于所述视频中识别所述一个或多个第一回放区段的结果,将所述视频的回放时间减小到预定回放时间;并且
使所述显示器根据视频回放请求显示具有所述预定回放时间的所述视频。
12.根据权利要求11所述的终端,其中,所述控制器还被配置为:
使所述显示器显示所述视频使得以大于预定第一回放速度的速度显示所述一个或多个第一回放区段。
13.根据权利要求12所述的终端,其中,所述控制器还被配置成:
对于所述一个或多个第一回放区段执行时间流逝处理并且使所述显示器显示所述视频,使得根据所述时间流逝处理显示所述一个或多个第一回放区段。
14.根据权利要求11所述的终端,其中,所述控制器还被配置成:
将所述一个或多个第一回放区段的分辨率改变为小于在所述视频中包括的其他回放区段的分辨率。
15.根据权利要求11所述的终端,其中,所述控制器还被配置成:
使所述显示器显示指示所述视频的显示进度的进度条,并且在所述进度条上识别所述一个或多个第一回放区段。
16.根据权利要求11所述的终端,其中,所述控制器还被配置成:
使所述显示器显示缩略图搜索条,所述缩略图搜索条包括所述视频的缩略图图像并且识别分别对应于所述一个或多个第一回放区段的缩略图图像。
17.根据权利要求16所述的终端,其中,所述控制器还被配置成:
当根据输入选择所选择的缩略图图像时,从所述视频中删除来自于与所述一个或多个第一回放区段对应的所述缩略图图像当中的所选择的缩略图图像。
18.根据权利要求17所述的终端,其中,所述控制器还被配置成:
使所述显示器将所选择的缩略图图像替换成图片、图形交换格式(GIF)图片或视频中的至少一个。
19.根据权利要求11所述的终端,其中,所述控制器还被配置成:
当存在特定人的面部的图片的数目等于或大于预定值时,从所述第一视频的多个回放区段中识别包括所述特定人的面部的回放区段,其中,所述数目的图片在存储在所述存储器中的多个图片当中。
20.根据权利要求11所述的终端,其中,所述控制器还被配置成:
当多个人的面部出现在存储在所述存储器中的预定数目或者更多的多个图片中时,在存储在所述存储器中的所述多个图片当中,选择出现在最近存储的图片中的人的面部作为要用作所述第一视频的编辑准则的对象。
CN201810133438.5A 2017-05-17 2018-02-09 使用用于减少视频的回放时间的智能分析的终端 Active CN108965954B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170060823A KR102314370B1 (ko) 2017-05-17 2017-05-17 이동 단말기
KR10-2017-0060823 2017-05-17

Publications (2)

Publication Number Publication Date
CN108965954A true CN108965954A (zh) 2018-12-07
CN108965954B CN108965954B (zh) 2022-08-02

Family

ID=60543296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810133438.5A Active CN108965954B (zh) 2017-05-17 2018-02-09 使用用于减少视频的回放时间的智能分析的终端

Country Status (4)

Country Link
US (1) US10863216B2 (zh)
EP (1) EP3404658A1 (zh)
KR (1) KR102314370B1 (zh)
CN (1) CN108965954B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225282A (zh) * 2019-05-31 2019-09-10 努比亚技术有限公司 一种视频录制控制方法、设备及计算机可读存储介质
CN110719440A (zh) * 2019-09-26 2020-01-21 恒大智慧科技有限公司 一种视频回放方法、装置及存储介质
CN112433028A (zh) * 2020-11-09 2021-03-02 西南大学 基于忆阻细胞神经网络的电子鼻气体分类方法
CN113688671A (zh) * 2021-07-14 2021-11-23 公安部物证鉴定中心 一种指纹相似度的计算方法、装置、存储介质及终端

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200137321A1 (en) * 2017-06-28 2020-04-30 Sourcico Ltd. Pulsating Image
US11601715B2 (en) * 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
KR102512298B1 (ko) * 2018-02-23 2023-03-22 삼성전자주식회사 영상 데이터의 편집을 위한 인터페이스를 표시하는 전자 장치 및 그 동작 방법
US10990812B2 (en) * 2018-06-20 2021-04-27 Agora Lab, Inc. Video tagging for video communications
SG10201807663PA (en) * 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd System and method for multi-layer potential associates discovery
KR102604937B1 (ko) * 2018-12-05 2023-11-23 삼성전자주식회사 캐릭터를 포함하는 동영상을 생성하기 위한 전자 장치 및 그에 관한 방법
KR102656963B1 (ko) 2019-04-03 2024-04-16 삼성전자 주식회사 전자 장치 및 전자 장치의 제어 방법
CN111050106B (zh) * 2019-12-23 2022-07-15 浙江大华技术股份有限公司 视频回放方法、设备及计算机存储介质
JP6997996B2 (ja) * 2020-05-14 2022-01-18 ダイキン工業株式会社 情報処理方法、情報処理装置、プログラム、及び情報処理システム
EP4192023A4 (en) 2021-01-12 2024-02-14 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE, METHOD AND NON-TRANSITORY STORAGE MEDIUM FOR VIDEO EDITING
KR102313164B1 (ko) * 2021-03-11 2021-10-15 주식회사 크라운드터틀 이미지의 움직임을 표현하기 위한 서버, 전자 장치, 및 제어 방법
CN114205677B (zh) * 2021-11-30 2022-10-14 浙江大学 一种基于原型视频的短视频自动编辑方法
US11922824B2 (en) 2022-03-23 2024-03-05 International Business Machines Corporation Individualized media playback pacing to improve the listener's desired outcomes
KR20240065446A (ko) * 2022-10-28 2024-05-14 주식회사 엠티이지 초음파 영상 처리 방법 및 디바이스

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719911A (zh) * 2009-11-24 2010-06-02 中兴通讯股份有限公司 通过蓝牙传输多媒体数据并实时播放的方法、设备和系统
CN102999622A (zh) * 2012-11-30 2013-03-27 杭州易尊数字科技有限公司 一种基于数据库的在视频中搜索目标的方法
US20130144903A1 (en) * 2008-05-03 2013-06-06 Cinsay, Inc. Method and system for generation and playback of supplemented videos
US20130343729A1 (en) * 2010-03-08 2013-12-26 Alex Rav-Acha System and method for semi-automatic video editing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313808B1 (en) * 1999-07-08 2007-12-25 Microsoft Corporation Browsing continuous multimedia content
US20060080591A1 (en) 2004-10-12 2006-04-13 Huang Ho C Apparatus and method for automated temporal compression of multimedia content
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8446490B2 (en) 2010-05-25 2013-05-21 Intellectual Ventures Fund 83 Llc Video capture system producing a video summary
US9185469B2 (en) 2010-09-30 2015-11-10 Kodak Alaris Inc. Summarizing image collection using a social network
US20130091431A1 (en) * 2011-10-05 2013-04-11 Microsoft Corporation Video clip selector
US8789120B2 (en) 2012-03-21 2014-07-22 Sony Corporation Temporal video tagging and distribution
US9830727B2 (en) * 2015-07-30 2017-11-28 Google Inc. Personalizing image capture
US10158825B2 (en) * 2015-09-02 2018-12-18 International Business Machines Corporation Adapting a playback of a recording to optimize comprehension
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US20180132006A1 (en) 2015-11-02 2018-05-10 Yaron Galant Highlight-based movie navigation, editing and sharing
US10531153B2 (en) * 2017-02-27 2020-01-07 International Business Machines Corporation Cognitive image obstruction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130144903A1 (en) * 2008-05-03 2013-06-06 Cinsay, Inc. Method and system for generation and playback of supplemented videos
CN101719911A (zh) * 2009-11-24 2010-06-02 中兴通讯股份有限公司 通过蓝牙传输多媒体数据并实时播放的方法、设备和系统
US20130343729A1 (en) * 2010-03-08 2013-12-26 Alex Rav-Acha System and method for semi-automatic video editing
CN102999622A (zh) * 2012-11-30 2013-03-27 杭州易尊数字科技有限公司 一种基于数据库的在视频中搜索目标的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225282A (zh) * 2019-05-31 2019-09-10 努比亚技术有限公司 一种视频录制控制方法、设备及计算机可读存储介质
CN110225282B (zh) * 2019-05-31 2023-05-30 山西仨仁行文化传媒有限公司 一种视频录制控制方法、设备及计算机可读存储介质
CN110719440A (zh) * 2019-09-26 2020-01-21 恒大智慧科技有限公司 一种视频回放方法、装置及存储介质
CN112433028A (zh) * 2020-11-09 2021-03-02 西南大学 基于忆阻细胞神经网络的电子鼻气体分类方法
CN113688671A (zh) * 2021-07-14 2021-11-23 公安部物证鉴定中心 一种指纹相似度的计算方法、装置、存储介质及终端
CN113688671B (zh) * 2021-07-14 2024-07-19 公安部物证鉴定中心 一种指纹相似度的计算方法、装置、存储介质及终端

Also Published As

Publication number Publication date
CN108965954B (zh) 2022-08-02
KR102314370B1 (ko) 2021-10-19
EP3404658A1 (en) 2018-11-21
US20180338167A1 (en) 2018-11-22
US10863216B2 (en) 2020-12-08
KR20180126167A (ko) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108965954A (zh) 使用用于减少视频的回放时间的智能分析的终端
US11416588B2 (en) Mobile terminal with enhanced security by having explicit authentication and implicit authentication
US11164581B2 (en) Artificial intelligence device
US11151998B2 (en) Artificial intelligence device
CN104935724B (zh) 终端和在其中处理数据的方法
KR102455199B1 (ko) 인공지능 디바이스
CN106471860B (zh) 移动终端和用于控制其的方法
US10742808B2 (en) Mobile terminal for automatically making a telephone conversation using artificial intelligence
CN106303406A (zh) 移动终端
CN106453812A (zh) 移动终端及其控制方法
CN106412222A (zh) 移动终端及其控制方法
CN108989973A (zh) 移动终端
US10397736B2 (en) Mobile terminal
KR20190040822A (ko) 이동 단말기
CN107851248A (zh) 移动终端及其控制方法
US11240361B2 (en) Mobile terminal
KR102114064B1 (ko) 이동 단말기
US11349828B2 (en) Mobile terminal
CN109144381A (zh) 移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant