CN110546946A - 基于装置移动处理媒体内容 - Google Patents

基于装置移动处理媒体内容 Download PDF

Info

Publication number
CN110546946A
CN110546946A CN201880027691.0A CN201880027691A CN110546946A CN 110546946 A CN110546946 A CN 110546946A CN 201880027691 A CN201880027691 A CN 201880027691A CN 110546946 A CN110546946 A CN 110546946A
Authority
CN
China
Prior art keywords
computing device
media content
display
movement
movement data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880027691.0A
Other languages
English (en)
Other versions
CN110546946B (zh
Inventor
A·班贝格
M·汉诺威
N·利特克
M·B·默里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snapple Co
Original Assignee
Snapple Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snapple Co filed Critical Snapple Co
Priority to CN202110472034.0A priority Critical patent/CN113132665A/zh
Publication of CN110546946A publication Critical patent/CN110546946A/zh
Application granted granted Critical
Publication of CN110546946B publication Critical patent/CN110546946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

系统和方法提供用于在计算装置的显示器上的媒体内容的播放期间检测计算装置的移动,从计算装置的一个或多个传感器接收移动数据,分析移动数据以确定移动的方向,基于移动的方向计算媒体内容的显示的转动,以及使媒体内容的显示相对于移动的方向而转动,以显示媒体内容的与移动的方向相关联的部分。

Description

基于装置移动处理媒体内容
优先权
本申请要求于2017年8月9日提交的序列号为15/673,215的美国专利申请的优先权权益,并且是该美国专利申请的继续申请,该美国专利申请要求于2017年2月27日提交的序列号为62/464,183的美国临时专利申请的优先权,其全部内容通过引用并入本文。
背景技术
在用户装置(例如,移动装置、个人计算机等)之间共享诸如音频、图像和视频的媒体内容可能需要将媒体内容转换为可由接收装置消耗的格式并在诸如智能电话的移动装置上显示媒体内容。
附图说明
附图中的各种附图仅示出了本公开的示例实施例,并且不应被视为限制其范围。
图1是示出根据一些示例实施例的联网系统的框图。
图2是示出根据一些示例实施例的包括相机装置的细节的联网系统的框图。
图3示出根据一些示例实施例的一幅示例智能眼镜。
图4示出根据一些示例实施例的圆形视频格式的示例显示。
图5是示出根据一些示例实施例的方法的各方面的流程图。
图6示出根据一些示例实施例的示例视差(parallax)区域图。
图7是示出根据一些示例实施例的方法的各方面的流程图。
图8示出根据一些示例实施例的计算装置上的示例显示。
图9是示出根据一些示例实施例的方法的各方面的流程图。
图10示出根据一些示例实施例的红线显示的示例。
图11示出根据一些示例实施例的计算装置上的示例显示。
图12是示出根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。
图13示出根据示例实施例的计算机系统形式的机器的图形表示,在计算机系统内可以执行一组指令以使机器执行在此所讨论的任何一种或多种方法。
具体实施方式
在此描述的系统和方法涉及处理要在装置之间经由消息传递系统共享并且要在装置上显示的媒体内容项。例如,用户可以使用相机装置录制视频。相机装置可以能够采集圆形视频格式的视频。在一个示例中,相机装置可以是一副智能眼镜,其可以采集整个115度视野。115度视野类似于人眼所见的视角,并给予相机装置采集圆形视频的能力。用户可能希望与一个或多个其他用户共享圆形视频和/或在诸如智能电话的计算装置的显示器上查看视频。示例实施例允许用户在计算装置的显示器中查看圆形视频格式的视频,转动视频的显示以利用视频的圆形广角视图,并以全屏模式和圆形视图查看视频。
图1是示出根据一些示例实施例的联网系统100的框图,联网系统100被配置为处理媒体内容项以及发送和接收包括所处理的媒体内容的消息。在一个示例实施例中,该系统是消息传递系统,其被配置为从多个用户接收多个消息,处理包含在消息中的媒体内容,以及向一个或多个用户发送具有所处理的媒体内容的消息。系统100可以包括一个或多个客户端装置,诸如客户端装置110。客户端装置110在此也可以称为用户装置或计算装置。客户端装置110可以包括但不限于移动电话、台式计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、笔记本计算机、多处理器系统、基于微处理器的或可编程的消费电子设备、游戏机、机顶盒、车载计算机,或用户可用于访问联网系统100的任何其它通信装置。
在一些实施例中,客户端装置110可包括显示模块(未示出)以显示信息(例如,以用户界面的形式)。在一些实施例中,显示模块或用户界面用于显示诸如视频(例如,传统视频和圆形视频格式的视频)、图像(例如,照片)等的媒体内容。在进一步的实施例中,客户端装置110可以包括触摸屏、加速度计、陀螺仪、相机、麦克风、全球定位系统(GPS)装置等中的一个或多个。客户端装置110可以是用户的装置,其用于创建诸如视频、图像(例如,照片)、音频的内容媒体项,以及向其他用户发送和从其他用户接收包含这些媒体内容项的消息。
一个或多个用户106可以是人、机器或与客户端装置110交互的其它装置。在示例实施例中,用户106可能不是系统100的一部分,但是可以经由客户端装置110或其它装置与系统100交互。例如,用户106可以向客户端装置110提供输入(例如,触摸屏输入或字母数字输入),并且输入可以经由网络104传送到系统100中的其它实体(例如,第三方服务器130、服务器系统102等)。在该实例中,响应于从用户106接收输入,系统100中的其它实体可以经由网络104将信息传送到客户端装置110以呈现给用户106。以该方式,用户106可以使用客户端装置110与系统100中的各种实体交互。
系统100可以进一步包括网络104。网络104的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网络、无线网络、WiFi网络、WiMax网络、另一种类型的网络或两个或更多此类网络的组合。
客户端装置110可以经由web客户端112(例如,浏览器,诸如由华盛顿州雷德蒙德市的公司开发的Internet浏览器)或一个或多个客户端应用104访问由系统100中的其它实体提供的各种数据和应用。客户端装置110可以包括一个或多个应用114(也称为“app”),诸如但不限于web浏览器、消息传递应用、电子邮件(email)应用、电子商务站点应用、地图绘制或位置应用、媒体内容编辑应用、媒体内容查看应用等。
在一个示例中,客户端应用114可以是消息传递应用,其允许用户106拍摄照片或视频(或从相机装置108接收媒体内容),添加标题或以其它方式编辑照片或视频,以及然后将照片或视频发送给另一用户。客户端应用114可以进一步允许用户106经由相机装置108查看用户106已经经由客户端装置拍摄的照片或视频,或者查看另一个用户106已经经由客户端装置110或相机装置108拍摄的照片和视频(例如,以传统视频格式或圆形视频格式)。消息可以是短时的并且在查看之后或在预定量的时间(例如,10秒、24小时等)之后从接收用户装置移除。消息传递应用可以进一步允许用户106创建图库。图库可以是媒体内容(诸如照片和视频)的集合,其可以由“关注”该用户的图库的其他用户查看(例如,订阅查看并接收用户图库中的更新)。图库也可以是短时的(例如,持续24小时,持续事件的持续时间(例如,在音乐会、体育赛事等期间),或其它预定时间)。
短时消息可以与消息持续时间参数相关联,该消息持续时间参数的值确定短时消息将由客户端应用110向短时消息的接收用户显示的时间量。短时消息可以进一步与消息接收方标识符和消息定时器相关联。消息定时器可以负责确定向由消息接收方标识符识别的特定接收用户显示短时消息的时间量。例如,短时消息可以仅对相关接收用户示出由消息持续时间参数的值确定的时间段。
在另一示例中,消息传递应用可以允许用户106存储照片和视频并创建不是短时的并且可以发送给其他用户的图库。例如,组合最近度假的照片和视频,与朋友和家人分享。
在一些实施例中,一个或多个应用114可以包括在客户端装置110的给定的一个客户端装置中,并且被配置为在本地提供用户界面和至少一些功能,其中应用114被配置为根据需要与系统100(例如,服务器系统102)中的其它实体通信,用于在本地不可用的数据和/或处理能力(例如,访问位置信息,验证用户106,验证支付方法,访问存储在服务器上的媒体内容,在客户端装置110和服务器计算机之间同步媒体内容等)。相反,一个或多个应用114可以不包括在客户端装置110中,并且然后客户端装置110可以使用其web浏览器来访问系统100(例如,服务器系统102)中的其它实体上托管的一个或多个应用。
诸如图像和视频的媒体内容可以经由客户端装置(例如,经由客户端装置的相机)和/或经由单独的相机装置108采集。相机装置108可以是独立的相机,可以是可穿戴装置,诸如具有电子功能的手表、钥匙扣、眼镜装置等。在一个示例中,相机装置108是具有电子功能的眼镜装置,诸如所谓的智能眼镜(例如,SNAP SPECTACLES)。图3中示出了示例的具有电子功能的眼镜。
图3示出了根据一个示例实施例的一副智能眼镜300。智能眼镜300具有一个或多个集成相机(例如,在一个示例中在玻璃器具框架的相对端,示为302和304),相机的相应镜头面向前并具有透明覆盖物。
在一个示例中,智能眼镜300或其它相机装置108可以采集圆形视频格式的视频。例如,相机装置108可以包括采集整个115度视野的圆形广角镜头(例如,相机装置108的相机传感器采集整个115度视野)。该115度视野类似于人眼看到的视角,并且给予相机装置108采集圆形视频的能力。
在用于采集圆形视频格式的视频的一个示例中,相机装置108可以包括用于采集图像和视频的传感器(例如,方形或矩形传感器)。相机装置108可以进一步包括位于传感器前面的外壳,以将阻挡在圆形区域之外的传感器的部分(例如,因此光将仅打到圆形区域)。相机镜头可以设置在外壳后面。因此,相机装置108可以仅采集圆形区域中的圆形视频。可选地,相机装置108可以进一步裁剪每个圆形格式化的视频(例如,逐帧地将周围像素值设置为零,其在预定圆形大小之外)以考虑圆形区域的边缘周围的任何噪声。以这种方式,相机装置108可以在采集视频期间优化圆形格式。例如,由于视频格式可以包含圆形视频,因此可以导出圆形视频而无需任何其它修改。此外,通过在固件中裁剪圆形内容可以实现视频压缩的一些益处。
返回图1,服务器系统102可以经由网络104(例如,因特网或广域网(WAN))向一个或多个客户端装置110提供服务器侧功能。服务器系统102可以包括应用编程接口(API)服务器120、消息传递应用服务器122和媒体内容处理服务器124,它们中的每一个可以彼此通信地耦接以及与一个或多个数据存储设备126通信地耦接。
根据一些示例实施例,服务器系统102可以是云计算环境。在一个示例实施例中,服务器系统102和与服务器系统102相关联的任何服务器可以与基于云的应用相关联。一个或多个数据存储设备126可以是存储诸如未处理的媒体内容、来自用户106的原始媒体内容(例如,高质量媒体内容)、处理的媒体内容(例如,为了与客户端装置110共享以及在客户端装置110上查看而被格式化的媒体内容)、用户信息、用户装置信息等的信息的存储装置。一个或多个数据存储设备126可以包括服务器系统102外部的基于云的存储设备(例如,由服务器系统102外部的一个或多个第三方实体托管)。数据存储设备126可以包括数据库、blob存储设备等。
媒体内容处理服务器124可以提供执行媒体内容项的各种处理的功能。媒体内容处理服务器124可以访问一个或多个数据存储126以检索存储的数据以用于处理媒体内容以及存储所处理的媒体内容的结果。
消息传递应用服务器122可以负责在客户端装置110的用户106之间生成和传递消息。消息传递应用服务器122可以利用多个消息传递网络和平台中的任何一个来向用户106传递消息。例如,消息传递应用服务器122可以使用电子邮件(e-mail)、即时消息(IM)、短消息服务(SMS)、文本、传真或语音(例如,IP语音(VoIP))消息经由有线(例如,因特网)、普通老式电话服务(POTS)或无线网络(例如,移动、蜂窝、WiFi、长期演进(LTE)、蓝牙)来传递消息。
如上所述,用户106可能希望与一个或多个其他用户共享各种媒体内容项(例如,视频、音频内容、图像等)。例如,用户106可以在他度假时使用客户端装置110或其它装置(例如相机装置108)拍摄各种视频和照片。用户106可能想要与他的朋友和家人分享他度假时最好的视频和照片。用户106可以利用客户端装置110上的客户端应用114(诸如消息传递应用)来选择他想要分享的媒体内容项。用户106还可以使用客户端应用114来编辑各种媒体内容项。例如,用户106可以向媒体内容项添加文本,选择媒体内容项的覆盖(标签、绘图、其它艺术作品等),可以在媒体内容项上绘图,裁剪或改变(例如,减轻红眼、聚焦、调整颜色等)媒体内容项等。“未处理”的媒体内容项是指尚未使用客户端应用114编辑的媒体内容项。
用户106可以经由客户端应用114选择他想要与他的朋友和家人共享的媒体内容项。在他选择了媒体内容项后,他可以指示他想要共享媒体内容项。例如,他可以在客户端应用114的用户界面上选择选项(例如,菜单项、按钮等)以指示他希望共享媒体内容项。
用户106可以经由客户端应用114查看媒体内容。例如,用户106可以查看他已经在客户端装置110上采集的媒体内容(例如,经由客户端装置110的相机),用户106可以查看由其他人采集并发送给用户106的媒体内容,并且用户106可以查看由相机装置108采集的媒体内容。
图2是示出根据一些示例实施例的包括相机装置108的细节的联网系统200的框图。在某些实施例中,相机装置108可以在如上所述的图3的智能眼镜300中实现。
如上面关于图1所述,系统200包括相机装置108、客户端装置110和服务器系统102。客户端装置110可以是智能手机、平板计算机、平板手机、膝上型计算机、接入点或能够使用低功率无线连接225和高速无线连接237二者与相机装置108连接的任何其它此类装置。客户端装置110连接到服务器系统102和网络104。如上所述,网络104可以包括有线和无线连接的任何组合。同样如上所述,服务器系统102可以是一个或多个计算装置,作为服务或网络计算系统的一部分。客户端装置110和服务器系统102的任何元件和网络104可以使用图12和13中描述的软件架构1202或机器1300的细节来实现。
系统200可以可选地包括与相机装置210集成的附加的外围装置元件219和/或显示器211。此类外围装置元件219可以包括生物计量传感器、附加传感器或与相机装置210集成的显示元件。相对于图12和图13进一步讨论外围装置元件219的示例。例如,外围装置元件219可以包括任何I/O组件1350,其包括输出组件1352、运动组件1358或在此描述的任何其它此类元件。
相机装置108包括相机214、视频处理器212、接口216、低功率电路220和高速电路230。相机214包括数字相机元件,诸如电荷耦合装置、镜头或可用于采集数据的任何其它光采集元件,作为相机214的一部分。
接口216涉及提供给相机装置210的用户命令的任何源。在一个实现方式中,接口216是相机上的物理按钮,当按下该物理按钮时将用户输入信号从接口216发送到低功率处理器222。按下该相机按钮之后立即释放可由低功率处理器222来处理作为采集单个图像的请求。该相机按钮在第一时间段内的按压可由低功率处理器222处理,作为在按下按钮时采集视频数据以及在按钮被释放时停止视频采集的请求,其中按下按钮时采集的视频存储为单个视频文件。在某些实施例中,低功率处理器222可以具有在按压按钮和释放按钮之间的阈值时间段,诸如500毫秒或一秒,低于该阈值时间段,按钮按压和释放被处理作为图像请求,并且高于该阈值时间段,按钮按压和释放被解释为视频请求。低功率处理器222可以在视频处理器212启动时进行该确定。在其它实施例中,接口216可以是能够接受与来自相机214的数据请求相关联的用户输入的任何机械开关或物理接口。在其它实施例中,接口216可以具有软件组件,或者可以与从另一个源无线接收的命令相关联。
视频处理器212包括用于从相机214接收信号并将来自相机214的那些信号处理成适于存储在存储器234中的格式的电路。视频处理器212被构造在相机装置210内,使得它可以在低功率电路220的控制下通电和启动。另外,视频处理器212可以由低功率电路220断电。取决于与视频处理器212相关联的各种功率设计元件,视频处理器212即使在处于关闭状态时仍可消耗少量功率。然而,与视频处理器212处于接通状态时使用的功率相比,该消耗的功率可以忽略不计,并且对电池寿命的影响也可忽略不计。处于“关闭”状态的装置元件仍被配置在装置内,使得低功率处理器222能够使装置通电和断电。在相机装置108的操作期间被称为“关闭”或“断电”的装置由于泄漏或系统设计的其它方面而不一定消耗零功率。
在一个示例实施例中,视频处理器212包括针对处理来自相机214的传感器数据而被定制的微处理器集成电路(IC),以及由微处理器使用以操作的易失性存储器。为了减少视频处理器212在加电到处理数据时所花费的时间量,非易失性只读存储器(ROM)可以集成在IC上,其具有用于操作或启动视频处理器212的指令。该ROM可以最小化以匹配提供从相机214收集传感器数据的基本功能所需的最小大小,使得不存在将导致启动时间延迟的额外功能。ROM可以配置有对视频处理器212的微处理器的易失性存储器的直接存储器访问(DMA)。DMA允许从ROM到视频处理器212的系统存储器的数据的存储器到存储器传输,而与视频处理器212的主控制器的操作无关。向该引导ROM提供DMA进一步降低从视频处理器212通电直到来自相机214的传感器数据可被处理和存储的时间量。在某些实施例中,来自相机214的相机信号的最小处理由视频处理器212执行,并且附加处理可以由在客户端装置110或服务器系统102上操作的应用执行。
低功率电路220包括低功率处理器222和低功率无线电路224。低功率电路220的这些元件可以实现为单独的元件,或者可以作为单个芯片上系统的一部分在单个IC上实现。低功率处理器222包括用于管理相机装置108的其它元件的逻辑。如上所述,例如,低功率处理器222可以接受来自接口216的用户输入信号。低功率处理器222还可以被配置为经由低功率无线连接225从客户端装置110接收输入信号或指令通信。下面进一步描述与此类指令有关的附加细节。低功率无线电路224包括用于实现低功率无线通信系统的电路元件。BluetoothTM Smart,也称为BluetoothTM低能量,是可用于实现低功率无线电路224的低功率无线通信系统的一种标准实现方式。在其它实施例中,可以使用其它低功率通信系统。
高速电路230包括高速处理器232、存储器234和高速无线电路236。高速处理器232可以是能够管理相机装置210所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器232包括使用高速无线电路236管理在高速无线连接237上的高速数据传输所需的处理资源。在某些实施例中,高速处理器232执行诸如LINUX操作系统的操作系统或诸如图12的操作系统1204的其它此类操作系统。除了任何其它职责之外,执行相机装置108的软件架构的高速处理器232用于管理采用高速无线电路236的数据传输。在某些实施例中,高速无线电路236被配置为实现电气和电子工程师协会(IEEE)802.11通信标准,在此也称为Wi-Fi。在其它实施例中,可以由高速无线电路236实现其它高速通信标准。
存储器234包括能够存储由相机214和视频处理器212生成的相机数据的任何存储装置。虽然存储器234被示为与高速电路230集成,但在其它实施例中,存储器234也可以是独立的独立式元件。在某些此类实施例中,电路由线可以提供通过包括高速处理器232的芯片从视频处理器212或低功率处理器222到存储器234的连接。在其它实施例中,高速处理器232可以管理存储器234的寻址,使得低功率处理器222将在需要涉及存储器234的读取或写入操作的任何时间启动高速处理器232。
如上所述,可以以圆形视频格式采集媒体内容(例如,视频内容)。
图4示出了在客户端装置110上的圆形视频格式的示例显示400。如在该示例中可以看到的,媒体内容(例如,视频)的圆形视频格式402大于客户端装置110的显示器404(例如,屏幕)。因此,当在显示器404中所示的全屏模式中时,仅显示整个视频的一部分。示例实施例允许用户转动客户端装置110以使客户端装置110的显示器404中的媒体内容转动以利用圆形视频格式402并查看或暴露圆形视频格式的更多区域。
图5是示出根据一些示例实施例的用于当在客户端装置110上显示圆形视频格式的媒体内容(例如,视频内容)时的播放(playback)行为和交互的方法500的方面的流程图。为了说明的目的,相对于图1的联网系统100来描述方法500。可理解,在其它实施例中,可以用其它系统配置来实践方法500。
在操作502中,计算装置(例如,客户端装置110)在计算装置的显示器上的媒体内容(或媒体内容流)的播放期间检测计算装置的移动。例如,用户106可能观看以圆形视频格式采集的视频。用户106可以倾斜或转动装置以查看圆形视频格式的其它区域。计算装置(例如,经由转动播放器(rotational player))可以经由计算装置的一个或多个传感器检测计算装置的移动。例如,计算装置可以包括加速度计传感器、陀螺仪传感器和/或其它运动传感器。加速度计传感器测量计算装置的加速度(例如,速度的变化率)。加速度计传感器还用于确定计算装置沿其三个轴的取向。例如,来自加速度计的移动数据可用于指示计算装置是处于纵向模式还是横向模式等。陀螺仪传感器还可以提供取向信息并测量取向中的任何变化。
在操作504中,计算装置从计算装置的一个或多个传感器接收移动数据。在一个示例中,移动数据从加速度计传感器接收,并且移动数据包括计算装置的取向,该取向包括计算装置的轴相对于向下的重力的转动。例如,计算装置的取向可以包括计算装置围绕远离计算装置的显示器的其z轴的转动。还可以/可替代地从陀螺仪传感器、重力传感器或其它运动传感器或工具接收移动数据。
在操作506中,计算装置分析移动数据以确定移动的方向。例如,用户可以将计算装置向右倾斜,并且计算装置的转动播放器可以检测用户向右倾斜计算装置以及其向右转动了多少。然后,转动播放器将以相反方向转动显示的媒体内容(例如,视频),使得看起来像当计算装置倾斜或转动时显现出更多的媒体内容。在一个示例中,计算装置可以分析移动数据,诸如来自陀螺仪的计算装置已经在“Z”轴中旋转了9度,以及来自加速度计的用户转动电话的速度。计算装置分析来自传感器的这些输出以确定计算装置实际转动了多少。
在操作508中,计算装置基于移动的方向计算媒体内容的显示的转动。例如,计算装置可以确定电话已经在“Z”轴中转动了20度,这意味着用户已经将计算装置相对于用户转动了20度,并且因此媒体内容应以相反方向移动20度。
在一个示例中,从加速度计传感器和陀螺仪传感器接收移动数据。计算装置可以确定计算装置由用户保持在平面取向,并且因此,取向是模糊的。在该示例中,计算装置基于来自陀螺仪传感器的移动数据来计算媒体内容的显示的转动。
在另一示例中,计算装置确定计算装置由用户以接近平面的取向保持,并且因此,使用来自加速度计的测量的组合来计算转动,并且陀螺仪用于计算转动(例如,使用来自加速度计传感器和陀螺仪传感器二者的移动数据)。
在另一示例中,计算装置确定计算装置由用户以接近平面的取向保持,但是仅具有来自陀螺仪传感器的移动数据(例如,计算装置可能没有加速度计传感器)。在该示例中,基于来自陀螺仪传感器的移动数据计算媒体内容的显示的转动。
在操作510中,计算装置使媒体内容的显示相对于移动的方向转动,以显示与移动的方向相关联的媒体内容的一部分。在一个示例中,显示媒体内容的一部分包括显示在计算装置的显示器上先前不能看到的媒体内容的一部分。以该方式,用户106可以转动计算装置以利用圆形视频格式402并且查看或显露圆形视频格式的更多区域。
在一个示例中,媒体内容在计算装置上的显示器内相对于地面转动。换句话说,锚点可能不是基于用户开始角位置来设置的。例如,如果计算装置被保持在向上位置,则重量将位于计算装置的底部。如果用户颠倒计算装置,则媒体内容将翻转,使得重量将再次位于装置的“底部”(其颠倒的实际上是装置的顶部)。
在另一示例中,如果计算装置是接近水平的,则媒体内容转动不跟踪重力1:1,而是跟踪计算装置的陀螺仪数据。可以这样做以避免小计算装置取向变化映射到大的转动变化。
在另一示例中,任何媒体覆盖(例如,文本、贴纸、特效、地理滤镜等)或其它创意工具可随媒体内容转动而转动。例如,如果在用户将计算装置保持向上时用户在视频的右下方放置贴纸,则当用户将计算装置转动90度时,用户将不再能够看到贴纸,因为它将离开屏幕/显示器。以该方式,即使在转动媒体内容时,媒体覆盖仍保持在其被放置的实际位置中。
在另一示例中,如果检测到急剧的转动变化(例如,诸如当用户翻转计算装置时),则计算装置应更新转动并使过渡动画化以使其看起来像平滑过渡(例如,平滑地跟随计算装置的转动)。对于大的转动变化,动作可能被短时延迟,因为其缓解装置的转动。在一个示例中,急剧的转动变化可以被认为是大于十度或二十度的任何转动。
用户的一些动作可以暂停转动功能。例如,添加创意内容(例如,媒体覆盖)可能自动暂停转动。在创意内容添加或放置在媒体内容后,转动可以再次自动启用。
在一个示例中,如果计算装置不具有测量其转动的方式,则禁用转动功能并且以全屏模式示出媒体内容的显示。
一些示例实施例可以包括视差效果(parallax effect)。例如,如果用户稍微倾斜计算装置,则显露在用户倾斜的方向中的视频的一小部分。以该方式,当用户来回转动计算装置时,以上下和左右运动移动(例如,滑动)媒体内容的运动。这旨在使其更像是用户环顾四周。在一个示例中,无论用户倾斜计算装置到什么程度,用户将永远不会看到视频的边缘。当用户开始查看以圆形视频格式采集的媒体内容时,显示媒体内容的正中心,除非用户先前以圆形视频格式查看另一媒体内容,在这种情况下,屏幕/显示器上视频的位置继承先前的视频。
图6示出了示例视差区域图600。图6中的图600未按比例示出。该图600示出了计算装置屏幕602上的显示区域,其略小于视差区域604(例如,全屏区域)。在一个示例中,86%的媒体内容(例如,视频)是可见的而没有视差。媒体内容可以是圆形视频格式606。
视差区域604是计算装置屏幕可以环流(flow around)的区域。例如,视差区域604是屏幕可以相对于视频移动而不暴露视频的任何边缘的区域。因此,当用户倾斜计算装置时,屏幕602上的显示区域可以移动(例如,滑动)到视差区域604的不同边缘。以该方式,看起来用户正在窥视更多的视频。这可能使移动感觉更自然且更立体。例如,如果用户将计算装置向右转动,他将看到他通常不会看到的左侧的一些视频。在没有视差效果的情况下,视频将占据全屏区域(例如,视差区域604)。
在一个示例中,媒体内容圆的大小由计算装置的屏幕的横截面确定(例如,媒体内容大小相对于计算装置屏幕大小)。在另一示例中,视频圈的直径比计算装置的屏幕的横截面距离大7%(例如,半径3.5%),如所示出的视差608的半径增加。该值旨在给出精细的体验。
在一个示例中,以弧度每秒的单位来报告针对视差效果的装置的转动。例如,计算装置屏幕602中的媒体内容可以在屏幕上以1弧度=2点(2倍乘数)的速率移动。
在另一示例中,当从中心移出时,媒体内容的平移遵循二次曲线,而当朝向中心移动时,媒体内容的平移遵循线性曲线。这给出动作更加流畅的感觉。例如,远离中心的移动将缓慢开始并且更快地进行,并且朝向中心的移动将在整个时间以相同的速度移动。
在另一示例中,视差效果中的转动不是基于某些组真值或重力的,屏幕平移对任何转动的变化作出反应。例如,如果用户将装置向右倾斜90度,然后稍微向左倾斜,则屏幕将不在视差区域604的右边缘上。
在另一示例中,如果由于视差产生的平移的急剧变化是必要的,诸如当用户快速倾斜计算装置时,则计算装置应当如上关于转动的急剧变化所解释的来更新平移。在一个示例中,平移的急剧变化是在至少一个轴中大于平移范围的1/3的任何变化。如果这与动作的急剧变化同时发生,则可以使用转动动画。
图7是示出根据一些示例实施例的用于检测视差运动并使显示器相应地滑动的方法700的各方面的流程图。出于说明性目的,相对于图1的联网系统100描述方法700。可以理解,在其它实施例中,方法700可以与其它系统配置一起实施。
在操作702中,计算装置(例如,客户端装置110)从一个或多个传感器接收移动数据。在一个示例中,通过监测陀螺仪传感器来检测视差运动,陀螺仪传感器测量计算装置相对其轴的转动速率。例如,围绕y轴的转动控制水平(侧到侧(side-to-side))视差运动,并且围绕x轴的转动控制垂直(上下视差运动)。在一个示例中,当其渐出圆形视频格式的边缘时视差运动减速,并且当其重新居中时视差运动以恒定速率移动。
在操作704中,计算装置从移动数据中检测视差运动,并且在操作706中,计算装置分析移动数据以确定计算装置的移动的方向。在操作708中,计算装置使媒体内容的显示在与移动的方向相反的方向中滑动。
一些示例实施例允许用户使用手势作为计算装置上的输入,诸如在以圆形视频格式查看媒体内容时在计算装置(例如,客户端装置110)的显示器上的“捏合(pinch)”,从而在以全屏模式查看媒体内容和查看作为圆的媒体内容之间进行切换。图8示出了基于用户在显示器上捏缩或捏放的媒体内容的示例显示802、804和806。例如,如示例显示802中所示,用户可以在计算装置的显示器上以全屏模式查看媒体内容(例如,视频)。计算装置的显示器可以是触摸屏显示器并且用户可以使用他的手指在显示屏上捏合。当用户在802的全屏模式上捏缩并松手时,计算装置的显示将变为如示例显示804中所示的圆形显示模式。当用户在804中所示的圆形显示模式上捏放并松手时,计算装置的显示将改变为如全屏模式中的示例显示806中所示。在一个示例中,用户可以捏合并保持,并且媒体内容将继续以用户保持的大小显示。例如,用户可以捏合并保持视频显示处于较小的圆形大小,并且视频将继续以该大小显示,直到用户松开捏合。
在一个示例中,圆形视频格式的媒体内容可以默认为全屏模式显示。当用户在圆形视频格式的媒体内容的任何全屏模式显示上向内捏缩时,媒体内容缩小为小圆形,在此称为捏合模式。当用户在任何捏合模式媒体内容上向外捏放时,媒体内容扩展到全屏模式。媒体内容可以保持在捏合模式,直到显示不是圆形视频格式的媒体内容或者用户结束全屏查看会话。在一个示例中,当媒体内容处于捏合模式时,显示圆形视频格式的整个视图。在另一示例中,当媒体内容处于全屏模式时,仅显示圆形视频格式的中心部分。
在一个示例中,当用户捏下到捏合模式大小时,视差效果被线性地忽略。例如,如果使用捏合使得圆形大小是捏合模式默认大小的80%,则视差效果将对视频平移产生20%的正常影响。在一个示例中,视差效果可以被限制为100%和0%,使得用户不能通过捏放超出默认全屏模式大小而获得更强的效果。
图9是示出根据一些示例实施例的用于经由捏合手势操纵媒体内容的视图的方法900的各方面的流程图。出于说明性目的,相对于图1的联网系统100描述方法900。可理解,在其它实施例中,方法900可以采用其它系统配置来实践。
在操作902中,计算装置(例如,客户端装置110)接收捏合手势数据。例如,可以存在包括在计算装置的操作系统中的可以识别捏合手势以及发送关于捏合手势的数据的工具。计算装置(例如,经由客户端应用114)可以请求捏合手势数据并在捏合手势数据可用时接收捏合手势数据。
在操作904中,计算装置分析捏合手势数据以确定捏合比例和捏合速度。例如,捏合手势数据可以包括捏合比例(例如,用户的手指从开始位置移动到保持或释放位置的距离)和捏合速度(例如,用户扩展、收缩或者释放他的手指有多快)。在操作906中,计算装置基于捏合比例和捏合速度来计算媒体内容(例如,视频)显示大小。例如,如果用户从全屏模式启动并开始在屏幕上捏小,则媒体内容的显示将以用户捏合的大小和速率从全屏模式转换为圆形格式。并且当用户处于捏合模式并且在显示器上开始捏大时,较小圆形中的媒体内容的显示将以用户捏合的大小和速率增长到更大的圆形。在用户释放他的手指后,媒体内容显示大小转换到全屏模式或捏合模式,这取决于用户释放他的手指的位置以及他释放手指有多快。
例如,如果在用户开始捏合之前处于全屏模式并且用户在全屏模式比例大小的60%内释放他的手指并且比例速度大于预定速度(例如,>-1/s),则将显示动画化(例如,转换)到全屏模式。如果用户以比例速度小于预定速度(例如,<-1/s)来释放他的手指,则显示被动画化为捏合模式。如果用户在捏合模式比例大小的40%范围内释放他的手指,则显示被动画化为捏合模式。
在另一示例中,如果在用户开始捏合之前处于捏合模式并且用户在捏合模式比例大小的40%内释放他的手指并且比例速度小于预定速度(例如,<1/s),则将显示动画化到捏合模式。如果用户以比例速度大于预定速度(例如,>1/s)来释放他的手指,则显示被动画化为全屏模式。如果用户在全屏模式比例的60%范围内释放他的手指,则显示被动画化为全屏模式。
在一个示例中,在用户释放他的手指之后的模式之间使用弹簧动画对显示进行动画化。这可以包括处于0.75的阻尼,以及来自捏合手势的速度的初始弹簧速度(其可以被转换为iOS的像素)。在一个示例中,在abs(捏合速度)>1的情况下持续时间可以是0.3秒。在另一示例中,在abs(捏合速度)<1的情况下持续时间可以是0.4秒(例如,稍长以允许动画加速)。
在操作908中,计算装置使媒体内容基于媒体内容显示大小来显示。
在一个示例中,如果用户捏合超过最小和最大圆形大小,则用户可能看到橡皮筋效果。计算装置可针对过度捏合使用对数曲线。在一个示例中,对数基数15值可用于捏合模式上的过度捏合,并且对数基数40可用于全屏模式上的过度捏合。
例如:
//捏合模式
...
CGFloat naturalOverScroll=fabs([self pinchingModeScale]-pinchScale);
CGFloat adjustedOverscroll=logx(1+naturalOverScroll,15);
CGFloat adjustedScale=[self pinchingModeScale]–adjustedOverscroll;
...
//全屏模式
...
CGFloat naturalOverScroll=pinchScale-1.f;
CGFloat adjustedOverscroll=logx(1+naturalOverScroll,40);
CGFloat adjustedScale=adjustedOverscroll+1.f;
...
//样本对数函数
float logx(float value,float base)
{
return log10f(value)/log10f(base);
}//样本代码
//捏合模式
...
CGFloat naturalOverScroll=fabs([self pinchingModeScale]-pinchScale);
CGFloat adjustedOverscroll=logx(1+naturalOverScroll,15);
CGFloat adjustedScale=[self pinchingModeScale]–adjustedOverscroll;
...
//全屏模式
...
CGFloat naturalOverScroll=pinchScale-1.f;
CGFloat adjustedOverscroll=logx(1+naturalOverScroll,40);
CGFloat adjustedScale=adjustedOverscroll+1.f;
...
//样本对数函数
float logx(float value,float base)
{
return log10f(value)/log10f(base);
}
图10示出了用于确定如何在计算装置的显示器上显示圆形视频内容中的媒体内容的红线显示的示例。
如上解释的,被显示的媒体内容可以是多个媒体内容项中的一个(例如,作为图库的一部分)。媒体内容可以包括视频、图像(例如,照片或其它图像)等。视频可以包括传统视频格式和圆形视频格式。图库可以包括不同类型和格式的多个媒体内容项。图库中的媒体内容项的显示可以自动转换到图库中的下一个媒体内容项,或者用户可以经由手势、控件或用于指示他希望查看图库中的下一个媒体内容项的其它手段跳到下一个媒体内容项。
在一个示例中,如果用户查看以圆形视频格式采集的媒体内容项并且媒体内容项结束或者用户敲击或以其它方式指示继续前进到图库中的下一个媒体内容项,如果下一个媒体内容项也是以圆形视频格式采集的,则下一个媒体内容项将以与先前媒体内容项相同的模式显示给用户。例如,如果用户捏合先前的媒体内容项,则下一媒体内容项将继续以与用户持续捏合的先前媒体内容项完全相同的大小、转动、视差等进行相同显示。换句话说,捏合手势不会被中断。
在另一示例中,媒体内容项保持在捏合模式中,直到用户结束全屏查看媒体内容项或者直到出现非圆形视频格式媒体内容项或者用户选择另一个故事或图库。图11示出了图库中的媒体内容项的示例流。例如,用户可能查看图库中的多个媒体内容项中的第一媒体内容项1102。第一媒体内容项1102可以是传统的视频格式(例如,不是圆形视频格式)。用户可以敲击以移动到第二媒体内容项1104。第二媒体内容项1104可以是以全屏模式显示的圆形视频格式的视频。用户可以捏缩以在捏合模式1106中查看第二媒体内容项。用户可以敲击以移动到第三媒体内容项1108,第三媒体内容项1108也可以是圆形视频格式的视频。第三媒体内容项1108也将以捏合模式显示。用户可以敲击以移动到第四媒体内容项1110。第四媒体内容项1110可以是传统的视频格式,并且因此以常规全屏模式显示。用户可以敲击以移动到第五媒体内容项1112,第五媒体内容项1112可以是圆形视频格式的视频。第五媒体内容项1112以全屏模式显示。
在另一示例中,媒体内容项针对整个查看会话保持其查看模式。例如,如果用户敲击以查看先前的媒体内容项,则先前的媒体内容项以用户在上次查看会话期间查看时可见的任何模式(例如,捏合模式或全屏模式)显现。在另一示例中,如果用户查看第一图库中捏合模式的媒体内容项,并且然后转到第二图库,并且然后返回到第一图库,则媒体内容项仍将以捏合模式显示。
在另一示例中,如果用户决定退出查看媒体内容,则媒体内容项可缩小,并且随着媒体内容项缩小,黑色背景线性变淡。在另一示例中,用户在直到媒体内容项被加载前不可捏缩或捏放媒体内容项。
图12是示出可以安装在上述任何一个或多个装置上的软件架构1202的框图1200。例如,在各种实施例中,客户端装置110和服务器系统102、120、122和124可以使用软件架构1202的一些或所有元件来实现。图12仅仅是非限制性的软件架构的示例,并且将理解可以实现许多其它架构来促进在此所描述的功能。在各种实施例中,软件架构1202由诸如图13的机器1300的硬件来实现,机器1300包括处理器1310、存储器1330和I/O组件1350。在该示例中,软件架构1202可以被概念化为层的堆栈,其中每一个层可以提供特定的功能。例如,软件架构1202包括诸如操作系统1204、库1206、框架1208和应用1210的层。操作上,与一些实施例一致,应用1210通过软件堆栈调用应用编程接口(API)调用1212,并响应于API调用1212接收消息1214。
在各种实施方式中,操作系统1204管理硬件资源并提供公共服务。操作系统1204包括例如内核1220、服务1222和驱动器1224。与一些实施例一致,内核1220作为硬件与其它软件层之间的抽象层。例如,内核1220提供了存储器管理、处理器管理(例如调度)、组件管理、网络连接和安全设置等功能。服务1222可以为其它软件层提供其它公共服务。根据一些实施例,驱动器1224负责控制底层硬件或与底层硬件接口连接。例如,驱动器1224可以包括显示器驱动器、相机驱动器、低功耗驱动器、闪存驱动器、串行通信驱动器(例如通用串行总线(USB)驱动器)、驱动器、音频驱动器、电源管理驱动器等。
在一些实施例中,库1206提供由应用1210利用的低级通用基础设施。库1206可以包括系统库1230(例如,C标准库),其可以提供诸如存储器分配函数、字符串操作函数、数学函数等的函数。此外,库1206可以包括API库1232,诸如媒体库(例如,支持各种媒体格式(诸如运动图像专家组-4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))的呈现和操纵的库)、图形库(例如,用于在显示器上的图形内容中以二维(2D)和三维(3D)渲染的OpenGL框架)、数据库库(例如,提供各种关系数据库功能的SQLite)、web库(例如,提供网页浏览功能的WebKit)等。库1206同样可以包括各种其它库1234,以向应用1210提供许多其它API。
根据一些实施例,框架1208提供可由应用1210利用的高级公共架构。例如,框架1208提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架1208可以提供可由应用1210利用的其它广泛范围的API,其中的一些可以针对特定操作系统1204或平台。
在示例实施例中,应用1210包括主页应用1250、联系人应用1252、浏览器应用1254、书籍阅读器应用1256、位置应用1258、媒体应用1260、消息传递应用1262、游戏应用1264以及诸如第三方应用1266和媒体内容应用1267的其它广泛分类的应用。根据一些实施例,应用1210是执行程序中定义的功能的程序。可以利用各种编程语言来创建以各种方式构造的一个或多个应用1210,诸如面向对象的编程语言(例如,Objective-C、Java或C++)或过程编程语言(例如,C或汇编语言)。在具体示例中,第三方应用1266(例如,由特定平台的供应商之外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在移动操作系统(诸如IOSTM、ANDROIDTMPhone或其它移动操作系统)上运行的移动软件。在该示例中,第三方应用1266可以调用由操作系统1204提供的API调用1212以便于执行在此描述的功能。
如上所述,一些实施例可以具体包括消息传递应用1262。在某些实施例中,这可以是独立的应用,其用于管理与诸如服务器系统102的服务器系统的通信。在其它实施例中,该功能可以与诸如媒体内容应用1267的另一应用集成。消息传递应用1262可以请求和显示各种媒体内容项,并且可以为用户提供经由触摸界面、键盘或使用机器1300的相机装置输入与媒体内容项有关的数据的能力、经由I/O组件1350与服务器系统的通信,以及存储器1330中媒体内容项的接收和存储。可以使用在机器1300上操作的不同框架1208、库1206元素或操作系统1204元素来由消息传递应用1262管理媒体内容项和与媒体内容项相关联的用户输入的呈现。
图13是示出根据一些实施例能够从机器可读介质(例如,机器可读存储介质)读取指令并执行在此讨论的任何一种或多种方法的机器1300的组件的框图。具体地,图13示出了以示例的计算机系统的形式的机器1300的示意图,在计算机系统内可以执行用于使机器1300执行在此讨论的任何一种或多种方法的指令1316(例如,软件、程序、应用1210、小程序、应用程序或其它可执行代码)。在替代实施例中,机器1300作为独立装置操作或者可以耦接(例如,网络连接)到其它机器。在联网部署中,机器1300可以以服务器-客户端网络环境中的服务器机器102、120、122、124等或客户端装置110的能力操作,或者作为对等(或分布式)网络环境中的对等机器。机器1300可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动装置、可穿戴装置(例如,智能手表)、智能家居装置(例如,智能家电)、其它智能装置、网络装置、网络路由器、网络交换机、网络桥接器、或者连续或以其它方式指定机器1300将采取的动作的能够执行指令1316的任何机器。此外,虽然只示出单个机器1300,但是术语“机器”同样可被认为包括单独或联合执行指令1316以执行在此所讨论的任何一种或多种方法的机器1300的集合。
在各种实施例中,机器1300包括处理器1310、存储器1330以及I/O组件1350,其可被配置成经由总线1302彼此通信。在示例实施例中,处理器1310(例如,中央处理单元(CPU)、简化指令集计算(RISC)处理器、复合指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一个处理器或其任何合适的组合)包括例如可以执行指令1316的处理器1312和处理器1314。术语“处理器”旨在包括多核处理器1310,多核处理器1310可以包括可以同时执行指令1316的两个以上独立处理器1312、1314(同样称为“核”)。尽管图13示出了多个处理器1310,但是机器1300可以包括单个具有单核的处理器1310、单个具有多核的处理器1310(例如,多核处理器1310)、多个具有单核的处理器1312、1314、多个具有多核的处理器1310、1312或其任何组合。
根据一些实施例,存储器1330包括经由总线1302可被处理器1310访问的主存储器1332、静态存储器1334和存储单元1336。存储单元1336可以包括机器可读存储介质1338,在机器可读存储介质1338上存储了体现在此所述的任何一种或多种方法或功能的指令1316。指令1316同样可以通过机器1300在其执行期间完全或至少部分地驻留在主存储器1332内、静态存储器1334内、处理器1310中的至少一个内(例如,在处理器的高速缓冲存储器内)或任何合适的组合。因此,在各种实施例中,主存储器1332、静态存储器1334和处理器1310被认为是机器可读介质1338。
如在此所使用的,术语“存储器”是指能够临时或永久地存储数据的机器可读介质1338,并且可被认为包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓存、闪存和高速缓存。虽然在示例实施例中机器可读介质1338被示出为单个介质,但术语“机器可读介质”应当被认为包括能够存储指令1316的单个介质或多个介质(例如,集中式或分布式数据库,或相关联的高速缓存和服务器)。术语“机器可读介质”同样可被视为包括能够存储用于由机器(例如,机器1300)执行的指令(例如,指令1316)的任何介质或多个介质的组合,使得指令1316在由机器1300的一个或多个处理器(例如,处理器1310)执行时使机器1300执行在此描述的任何一种或多种方法。因此,“机器可读介质”是指单个存储设备或装置,以及包括多个存储设备或装置的“基于云”的存储系统或存储网络。因此,术语“机器可读介质”可被视为包括但不限于以固态存储器(例如,闪存)、光学介质、磁性介质、其它非易失性存储器(例如,可擦除可编程只读存储器(EPROM))或其任何合适的组合的形式的一种或多种数据存储库。术语“机器可读介质”具体排除非暂态信号本身。
I/O组件1350包括用于接收输入、提供输出、产生输出、发送信息、交换信息、采集测量等的各种组件。通常,可理解的是I/O组件1350可以包括图13中未示出的许多其它组件。I/O组件1350根据功能被分组,仅用于简化以下讨论,并且分组决不是限制性的。在各种示例实施例中,I/O组件1350包括输出组件1352和输入组件1354。输出组件1352包括视觉组件(例如,显示器,诸如等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、听觉组件(例如扬声器)、触觉组件(例如振动电动机)、其它信号发生器等。输入组件1354包括字母数字输入组件(例如,键盘、配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如,鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指示仪器)、触知输入组件(例如,物理按钮、提供触摸手势或触摸的位置和力的触摸屏、或其它触知输入组件)、音频输入组件(例如,麦克风)等。
在一些另外的示例实施例中,I/O组件1350包括各种其它组件中的生物度量组件1356、运动组件1358、环境组件1360或位置组件1362。例如,生物度量组件1356包括检测表示(例如手部表示、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如,血压、心率、体温、汗水或脑波)、识别人(例如,语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件1358包括加速度传感器组件(例如,加速度计)、重力传感器组件、转动传感器组件(例如陀螺仪)等。环境组件1360包括例如照明传感器组件(例如,光度计)、温度传感器组件(例如,检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如,检测背景噪声的一个或多个麦克风)、接近度传感器组件(例如,检测附近物体的红外传感器)、气体传感器组件(例如,机器嗅觉检测传感器、用于为了安全而检测危险气体浓度或测量大气中的污染物的气体检测传感器)或可能提供与周围物理环境相对应的指示、测量或信号的其它组件。定位组件1362包括定位传感器组件(例如,全球定位系统(GPS)接收器组件)、高度传感器组件(例如,高度计或气压计,其可以检测可以从哪个高度导出的空气压力)、取向传感器组件(例如,磁力计)等。
通信可以使用各种技术来实现。I/O组件1350可以包括通信组件1364,其可操作以分别经由耦接器1382和耦接器1372将机器1300耦接到网络1380或装置1370。例如,通信组件1364包括网络接口组件或与网络1380接口连接的另一合适装置。在另外的示例中,通信组件1364包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、组件(例如,低功耗)、组件和经由其它模式提供通信的其它通信组件。装置1370可以是另一机器1300或各种各样的外围装置(例如,经由通用串行总线(USB)耦接的外围装置)中的任何一个。
此外,在一些实施例中,通信组件1364检测标识符或包括可操作以检测标识符的组件。例如,通信组件1364包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如,光学传感器,其用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速响应(QR)码、Aztec码、数据矩阵、数字图形、最大码、PDF417、超码、统一商业代码缩减空格符号(UCC RSS)-2D条形码的多维条形码、和其它光学代码)、声学检测组件(例如,用于识别标记的音频信号的麦克风)或其任何合适的组合。此外,可以经由可以指示特定位置的通信组件1364来得出各种信息,诸如经由因特网协议(IP)地理位置的位置、经由信号三角测量的位置、经由检测或NFC信标信号的位置等。
在各种示例实施例中,网络1380的一个或多个部分可以是自组织网络、内联网、外部网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另一种类型的网络,或两个以上此类网络的组合。例如,网络1380或网络1380的一部分可以包括无线或蜂窝网络,并且耦接1382可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一种类型的蜂窝或无线耦接。在该示例中,耦接1382可以实现各种类型的数据传输技术中的任何一种,诸如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线业务(GPRS)技术、GSM演进增强型数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其它标准、其它远程协议或其它数据传输技术。
在示例实施例中,经由网络接口装置(例如,在通信组件1364中包括的网络接口组件)使用传输介质通过网络1380发送或接收指令1316,并且利用多个公知的传输协议(例如,超文本传输协议(HTTP))中的任何一个。类似地,在其它示例实施例中,使用传输介质经由耦接1372(例如,对等耦接)向装置1370发送或接收指令1316。术语“传输介质”可被视为包括能够存储、编码或携带由机器1300执行的指令1316的任何无形介质,并且包括数字或模拟通信信号或其它无形介质以便于这种软件的通信实现。
此外,因为机器可读介质1338不体现传播信号,所以机器可读介质1338是非暂态的(换句话说,不具有任何短时信号)。然而,将机器可读介质1338标记为“非暂态”不应被解释为意味着介质不能移动。介质1338应该被认为是可从一个物理位置传送到另一物理位置。另外,由于机器可读存储介质1338是有形的,因此介质1338可以被认为是机器可读装置。
在整个说明书中,多个实例可以实现被描述为单个实例的组件、操作或结构。虽然将一种或多种方法的单独操作示出和描述为单独的操作,但可以并行地执行一个或多个单独的操作,并且不需要以所示顺序执行操作。作为示例配置中的单独组件呈现的结构和功能可以被实现为组合的结构或组件。类似地,作为单个组件呈现的结构和功能可以被实现为分离的多个组件。这些和其它变化、修改、添加和改进落入本文主题的范围内。
虽然已经参考具体示例实施例描述了本发明主题的概述,但是在不脱离本公开的实施例的更广泛范围的情况下,可以对这些实施例进行各种修改和改变。
在此示出的实施例足够详细地描述,以使本领域技术人员能够实践所公开的教导。可以使用其它实施例以及从中导出其它实施例,使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此,具体实施方式不应被认为是限制性的,并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。
如在此所使用的,术语“或”可以以包含或排除的方式来解释。此外,多个实例可以针对在此所述的资源、操作或结构而提供作为单个实例。此外,各种资源、操作、模块、引擎和数据存储之间的边界是一定程度上任意的,并且在特定说明性配置的上下文中示出了特定的操作。可以设想功能的其它分配,并且这些其它分配可以落入本公开的各种实施例的范围内。通常,作为示例配置中的分离的资源呈现的结构和功能可以被实现为组合的结构或资源。类似地,作为单个资源呈现的结构和功能可以被实现为分离的资源。这些和其它变化、修改、添加和改进落入由所附权利要求所表示的本公开的实施例的范围内。因此,说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种方法,包括:
由计算装置检测在所述计算装置的显示器上的媒体内容的播放期间所述计算装置的移动;
由计算装置接收来自所述计算装置的一个或多个传感器的移动数据;
由所述计算装置分析所述移动数据以确定移动的方向;
基于所述移动的方向计算所述媒体内容的所述显示的转动;以及
使所述媒体内容的所述显示相对于所述移动的方向而转动,以显示与所述移动的方向相关联的所述媒体内容的部分。
2.根据权利要求1所述的方法,其中,所述一个或多个传感器包括加速度计传感器、陀螺仪传感器和重力传感器中的至少一个。
3.根据权利要求1所述的方法,其中,从加速度计传感器接收所述移动数据,并且其中,所述移动数据包括所述计算装置的取向,所述计算装置的取向包括所述计算装置的轴相对于向下的重力的转动。
4.根据权利要求3所述的方法,其中,所述计算装置的取向进一步包括所述计算装置围绕其z轴的转动,所述z轴远离所述计算装置的所述显示器。
5.根据权利要求1所述的方法,其中,从加速度计传感器和陀螺仪传感器接收所述移动数据,并且所述方法进一步包括:
确定所述计算装置保持在平面取向;以及
基于来自所述陀螺仪传感器的所述移动数据计算所述媒体内容的所述显示的所述转动。
6.根据权利要求1所述的方法,其中,从加速度计传感器和陀螺仪传感器接收所述移动数据,并且所述方法进一步包括:
确定所述计算装置保持在近似平面取向;以及
基于来自所述加速度计传感器和所述陀螺仪传感器二者的所述移动数据计算所述媒体内容的所述显示的所述转动。
7.根据权利要求1所述的方法,其中,从加速度计接收所述移动数据,并且所述方法进一步包括:
确定所述计算装置保持在近似平面取向;以及
基于来自所述陀螺仪传感器的所述移动数据计算所述媒体内容的所述显示的所述转动。
8.根据权利要求1所述的方法,其中,最初使用圆形广角镜头采集所述媒体内容。
9.根据权利要求1所述的方法,其中,显示与所述移动的方向相关联的所述媒体内容的部分包括:在所述计算装置的显示器上显示先前不能看到的所述媒体内容的部分。
10.根据权利要求1所述的方法,进一步包括:
从来自所述一个或多个传感器的所述移动数据检测视差运动;
分析所述移动数据以确定移动的方向;以及
使所述媒体内容的所述显示以所述移动的相反方向滑动。
11.根据权利要求1所述的方法,进一步包括:
从所述计算装置操作系统接收捏合手势数据;
分析所述捏合手势数据以确定捏合比例和捏合速度;
基于所述捏合比例和捏合速度计算所述媒体内容的显示大小;以及
使所述媒体内容基于所述显示大小进行显示。
12.一种计算装置,包括:
处理器;以及
计算机可读介质,其与所述处理器耦接,所述计算机可读介质包括存储在其上的指令,所述指令能够由所述处理器执行以使计算装置执行包括以下操作的操作:
在所述计算装置的显示器上的媒体内容的播放期间检测所述计算装置的移动;
从所述计算装置的一个或多个传感器接收移动数据;
分析所述移动数据以确定移动的方向;
基于所述移动的方向计算所述媒体内容的所述显示的转动;以及
使所述媒体内容的所述显示相对于所述移动的方向转动,以显示与所述移动的方向相关联的所述媒体内容的部分。
13.根据权利要求12所述的计算装置,其中,从加速度计传感器接收所述移动数据,并且其中,所述移动数据包括所述计算装置的取向,所述计算装置的取向包括所述计算装置的轴相对于向下的重力的转动,并且其中,所述计算装置的取向进一步包括所述计算装置围绕其z轴的转动,所述z轴远离所述计算装置的所述显示器。
14.根据权利要求12所述的计算装置,其中,从加速度计传感器和陀螺仪传感器接收所述移动数据,并且所述操作进一步包括:
确定所述计算装置保持在平面取向;以及
基于来自所述陀螺仪传感器的所述移动数据计算所述媒体内容的所述显示的所述转动。
15.根据权利要求12所述的计算装置,其中,从加速度计传感器和陀螺仪传感器接收所述移动数据,并且所述操作进一步包括:
确定所述计算装置保持在近似平面取向;以及
基于来自所述加速度计传感器和所述陀螺仪传感器二者的所述移动数据计算所述媒体内容的所述显示的所述转动。
16.根据权利要求12所述的计算装置,其中,从加速度计接收所述移动数据,并且所述操作进一步包括:
确定所述计算装置保持在近似平面取向;以及
基于来自所述陀螺仪传感器的所述移动数据计算所述媒体内容的所述显示的所述转动。
17.根据权利要求12所述的计算装置,其中,最初使用圆形广角镜头采集所述媒体内容。
18.根据权利要求12所述的计算装置,其中,显示与所述移动的方向相关联的所述媒体内容的部分包括:在所述计算装置的显示器上显示先前不能看到的所述媒体内容的部分。
19.根据权利要求12所述的计算装置,所述操作进一步包括:
从所述计算装置操作系统接收捏合手势数据;
分析所述捏合手势数据以确定捏合比例和捏合速度;
基于所述捏合比例和捏合速度计算所述媒体内容的显示大小;以及
使所述媒体内容基于所述显示大小进行显示。
20.一种非暂态计算机可读介质,包括存储在其上的指令,所述指令能够由至少一个处理器执行以使计算装置执行包括以下操作的操作:
在所述计算装置的显示器上的媒体内容的播放期间检测所述计算装置的移动;
从所述计算装置的一个或多个传感器接收移动数据;
分析所述移动数据以确定移动的方向;
基于所述移动的方向计算所述媒体内容的所述显示的转动;以及
使所述媒体内容的所述显示相对于所述移动的方向而转动,以显示与所述移动的方向相关联的所述媒体内容的部分。
CN201880027691.0A 2017-02-27 2018-02-26 基于装置移动处理媒体内容 Active CN110546946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110472034.0A CN113132665A (zh) 2017-02-27 2018-02-26 基于装置移动处理媒体内容

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762464183P 2017-02-27 2017-02-27
US62/464,183 2017-02-27
US15/673,215 US10564425B2 (en) 2017-02-27 2017-08-09 Processing a media content based on device movement
US15/673,215 2017-08-09
PCT/US2018/019732 WO2018157062A1 (en) 2017-02-27 2018-02-26 Processing media content based on device movement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110472034.0A Division CN113132665A (zh) 2017-02-27 2018-02-26 基于装置移动处理媒体内容

Publications (2)

Publication Number Publication Date
CN110546946A true CN110546946A (zh) 2019-12-06
CN110546946B CN110546946B (zh) 2021-05-25

Family

ID=63246275

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880027691.0A Active CN110546946B (zh) 2017-02-27 2018-02-26 基于装置移动处理媒体内容
CN202110472034.0A Pending CN113132665A (zh) 2017-02-27 2018-02-26 基于装置移动处理媒体内容

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110472034.0A Pending CN113132665A (zh) 2017-02-27 2018-02-26 基于装置移动处理媒体内容

Country Status (5)

Country Link
US (3) US10564425B2 (zh)
EP (1) EP3586505A1 (zh)
KR (3) KR102381774B1 (zh)
CN (2) CN110546946B (zh)
WO (1) WO2018157062A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106037B2 (en) 2017-02-27 2021-08-31 Snap Inc. Processing a media content based on device movement

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11202004992QA (en) * 2017-12-13 2020-06-29 Guangzhou Huya Information Technology Co Ltd Display Method for Live Broadcast Screen of Live Broadcast Room, Storage Device and Computer Device
US11144099B1 (en) * 2018-12-28 2021-10-12 Facebook, Inc. Systems and methods for providing content
EP3716037A1 (en) * 2019-03-28 2020-09-30 ABB Schweiz AG Responsive auto-layouting of industrial process graphics
CN210093262U (zh) * 2019-06-12 2020-02-18 Oppo广东移动通信有限公司 移动终端
JP2023020472A (ja) * 2021-07-30 2023-02-09 セイコーエプソン株式会社 表示装置の制御方法、表示装置、及び制御チップ

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1283285A (zh) * 1997-12-23 2001-02-07 艾利森电话股份有限公司 手持显示设备和显示屏幕图像的方法
CN1926496A (zh) * 2004-03-01 2007-03-07 苹果电脑有限公司 基于加速度计操作便携式设备的方法及装置
CN102272690A (zh) * 2009-01-06 2011-12-07 高通股份有限公司 用于移动装置的用户接口
US20130329113A1 (en) * 2012-06-08 2013-12-12 Sony Mobile Communications, Inc. Terminal device and image capturing method
CN103858084A (zh) * 2011-08-03 2014-06-11 电子湾有限公司 搜索结果的多点捏合手势控制
CN104838643A (zh) * 2012-11-27 2015-08-12 高通股份有限公司 用于调整所俘获视频的定向的系统和方法
CN105388686A (zh) * 2014-09-01 2016-03-09 三星电子株式会社 移动装置和使用移动装置投射图像的方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
DE59708043D1 (de) 1996-06-17 2002-10-02 Siemens Ag Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
US7224326B2 (en) 2004-03-03 2007-05-29 Volo, Llc Virtual reality system
JP4832429B2 (ja) 2004-06-15 2011-12-07 クォンタム セミコンダクター リミテッド ライアビリティ カンパニー 多種類のアスペクト比で機能する画像センサーおよび表示装置
US8332475B2 (en) 2005-08-22 2012-12-11 Triplay Communications Ltd. Messaging system and method
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
US9240056B2 (en) 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
EP2354893B1 (en) * 2009-12-31 2018-10-24 Sony Interactive Entertainment Europe Limited Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
EP2348383B1 (en) 2009-12-31 2017-07-12 Sony Computer Entertainment Europe Limited System and method of virtual interaction
WO2011101784A1 (en) 2010-02-16 2011-08-25 Tigertext Inc. A messaging system apparatuses circuits and methods of operation thereof
US9977472B2 (en) * 2010-03-19 2018-05-22 Nokia Technologies Oy Method and apparatus for displaying relative motion of objects on graphical user interface
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US9413477B2 (en) 2010-05-10 2016-08-09 Microsoft Technology Licensing, Llc Screen detector
US9477642B2 (en) * 2012-02-05 2016-10-25 Apple Inc. Gesture-based navigation among content items
US9986084B2 (en) * 2012-06-21 2018-05-29 Cellepathy Inc. Context-based mobility stoppage characterization
US20140002582A1 (en) 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9264765B2 (en) 2012-08-10 2016-02-16 Panasonic Intellectual Property Corporation Of America Method for providing a video, transmitting device, and receiving device
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
KR102109407B1 (ko) * 2013-09-25 2020-05-12 엘지전자 주식회사 스마트 와치 및 제어 방법
US9437038B1 (en) * 2013-09-26 2016-09-06 Amazon Technologies, Inc. Simulating three-dimensional views using depth relationships among planes of content
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10228766B2 (en) * 2014-09-12 2019-03-12 Microsoft Technology Licensing, Llc Enhanced Display Rotation
US20160191796A1 (en) * 2014-12-30 2016-06-30 Nokia Corporation Methods And Apparatuses For Directional View In Panoramic Content
WO2016129549A1 (ja) 2015-02-12 2016-08-18 株式会社コロプラ ヘッドマウント・ディスプレイを用いたコンテンツ視聴のための装置およびシステム
US10460765B2 (en) * 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US10564425B2 (en) 2017-02-27 2020-02-18 Snap Inc. Processing a media content based on device movement

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1283285A (zh) * 1997-12-23 2001-02-07 艾利森电话股份有限公司 手持显示设备和显示屏幕图像的方法
CN1926496A (zh) * 2004-03-01 2007-03-07 苹果电脑有限公司 基于加速度计操作便携式设备的方法及装置
CN102272690A (zh) * 2009-01-06 2011-12-07 高通股份有限公司 用于移动装置的用户接口
CN103858084A (zh) * 2011-08-03 2014-06-11 电子湾有限公司 搜索结果的多点捏合手势控制
US20130329113A1 (en) * 2012-06-08 2013-12-12 Sony Mobile Communications, Inc. Terminal device and image capturing method
CN104838643A (zh) * 2012-11-27 2015-08-12 高通股份有限公司 用于调整所俘获视频的定向的系统和方法
CN105388686A (zh) * 2014-09-01 2016-03-09 三星电子株式会社 移动装置和使用移动装置投射图像的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106037B2 (en) 2017-02-27 2021-08-31 Snap Inc. Processing a media content based on device movement
US11668937B2 (en) 2017-02-27 2023-06-06 Snap Inc. Processing a media content based on device movement

Also Published As

Publication number Publication date
KR102267790B1 (ko) 2021-06-24
KR20190119115A (ko) 2019-10-21
KR20220045994A (ko) 2022-04-13
CN110546946B (zh) 2021-05-25
KR102381774B1 (ko) 2022-04-04
KR102490918B1 (ko) 2023-01-26
WO2018157062A1 (en) 2018-08-30
US11106037B2 (en) 2021-08-31
EP3586505A1 (en) 2020-01-01
KR20210076192A (ko) 2021-06-23
US11668937B2 (en) 2023-06-06
US20180246329A1 (en) 2018-08-30
US20190243144A1 (en) 2019-08-08
CN113132665A (zh) 2021-07-16
US10564425B2 (en) 2020-02-18
US20210349321A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
KR102466890B1 (ko) 고속 비디오 캡처 및 센서 조절
CN110546946B (zh) 基于装置移动处理媒体内容
KR20210006003A (ko) 엔티티 자산들을 갖는 대화형 메시지들의 생성
US20210304450A1 (en) Augmented reality based communication between multiple users
US20210306386A1 (en) Virtual interaction session to facilitate augmented reality based communication between multiple users
CN110089117B (zh) 处理和格式化视频用于交互式呈现
US20220198603A1 (en) Recentering ar/vr content on an eyewear device
EP4268060A1 (en) Recentering ar/vr content on an eyewear device
EP4268056A1 (en) Conversation interface on an eyewear device
WO2024020389A1 (en) Secure peer-to-peer connections between mobile devices
US11531400B2 (en) Electronic communication interface with haptic feedback response
KR20240025668A (ko) 증강 현실 경험들을 위한 마커 기반 가상 메일박스
US11567335B1 (en) Selector input device to target recipients of media content items
US20220375103A1 (en) Automatic media capture based on motion sensor data
US20230215107A1 (en) Enhanced reading with ar glasses
US20220317774A1 (en) Real-time communication interface with haptic and audio feedback response
WO2023107846A1 (en) Shared augmented reality session creation
EP4341785A1 (en) Automatic media capture based on motion sensor data
WO2023200650A1 (en) Intelligent actuated and adjustable glasses nose pad arms
WO2024081184A1 (en) Remote annotation and navigation in augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant