CN108139811B - 记录执行屏幕的方法和处理该方法的电子设备 - Google Patents

记录执行屏幕的方法和处理该方法的电子设备 Download PDF

Info

Publication number
CN108139811B
CN108139811B CN201680060474.2A CN201680060474A CN108139811B CN 108139811 B CN108139811 B CN 108139811B CN 201680060474 A CN201680060474 A CN 201680060474A CN 108139811 B CN108139811 B CN 108139811B
Authority
CN
China
Prior art keywords
information
electronic device
present disclosure
recording
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680060474.2A
Other languages
English (en)
Other versions
CN108139811A (zh
Inventor
金中燮
金东京
朴泰建
吴亮均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108139811A publication Critical patent/CN108139811A/zh
Application granted granted Critical
Publication of CN108139811B publication Critical patent/CN108139811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/9305—Regeneration of the television signal or of selected parts thereof involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/95—Storage media specially adapted for storing game information, e.g. video game cartridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)

Abstract

公开了一种用于记录内容执行屏幕的电子设备和方法。电子设备包括存储器和电连接到存储器的处理器。处理器被配置为控制用于执行内容、确认内容的至少一部分以及与触觉效果相关联地记录内容的至少一部分。

Description

记录执行屏幕的方法和处理该方法的电子设备
技术领域
本公开涉及用于记录内容执行屏幕(content execution screen)的装置和方法。更具体地，本公开涉及用于在记录内容执行屏幕时存储关于所执行的内容的控制信息和响应信息的装置和方法。
背景技术
近来，整体地执行一个或多个功能的电子设备逐渐地增多。此外，被广泛地分类为所谓的“智能电话”的移动终端在这种电子设备中占重要地位。移动终端通常包括大屏幕触摸型显示模块，并且除了与对方通信的基本功能之外，还包括高像素相机模块，并且能够拍摄静止图像和运动图像。此外，移动终端可以再现诸如音乐、运动图像等的多媒体内容，并且可以连接到网络并且可以被配置为执行网上冲浪。移动终端逐渐配备了一个或多个高性能处理器，因此可以执行各种功能。
最近，电子设备可以生成并存储各种类型的数据。例如，电子设备可以生成通过记录信息而获得的记录数据，该记录数据以图像或运动图像的形式显示在屏幕上。
上述信息作为背景信息提供，仅用于帮助理解本公开。针对任何上述信息是否可被适用为本公开的现有技术，没有做出确定也不进行断言。
发明内容
问题的解决方案
本公开的方面解决至少上述问题和/或缺点，并且提供至少下述优点。因此，本公开的一方面在于提供用于在记录数据被生成时存储与内容控制相关联的信息的装置和方法。典型地，当电子设备产生记录数据时，电子设备仅生成记录数据，包括根据内容的执行输出的图像信息和音频信息中的至少一个信息，并且不记录关于内容的控制信息。因此，当再现存储的记录数据时，用户不能确认在记录时控制内容的情况。
本公开的另一方面在于提供一种用于在生成记录数据时从控制信息中分离记录信息并存储从控制信息中分离的记录信息的装置和方法。
本公开的另一方面在于提供一种用于在再现记录数据时选择性地输出控制信息的装置和方法。
根据本公开的一个方面，提供一种电子设备。电子设备可以包括存储器和电连接到存储器的处理器，其中，处理器被配置为控制用于执行内容，确认内容的至少一部分，并且与触觉效果相关联地记录内容的至少一部分。
根据本公开的另一方面，提供了一种电子设备的操作方法。操作方法包括执行内容，确认内容的至少一部分，记录内容的至少一部分，在记录内容的至少一部分的同时获取由至少一个传感器收集的附加信息，并且与记录数据相关联地存储收集的信息。
根据本公开的另一方面，提供了一种非暂时性计算机可读记录介质。非暂时性计算机可读记录介质可以存储用于执行如下操作的程序，包括执行内容，确认内容的至少一部分，记录内容的至少一部分，在记录内容的至少一部分的同时获取由至少一个传感器收集的附加信息，并且与记录数据相关联地存储收集的信息。
从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其它方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
从以下结合附图的描述中，本公开的各种实施例的上述和其它方面、特征和优点将更加明显，其中：
图1是示出根据本公开的各种实施例的在网络环境中的电子设备的框图；
图2是示出根据本公开的各种实施例的电子设备的配置的框图；
图3是示出根据本公开的各种实施例的程序模块的配置的框图；
图4A是示出根据本公开的各种实施例的处理器的配置的框图；
图4B是示出根据本公开的各种实施例的记录数据的配置的视图；
图5是示出根据本公开的各种实施例的电子设备的记录操作的流程图；
图6是示出根据本公开的各种实施例的用于由电子设备获取控制信息的方法的执行过程的流程图；
图7是示出根据本公开的各种实施例的用于由电子设备获取响应信息的方法的执行过程的流程图；
图8是示出根据本公开的各种实施例的用于由电子设备获取控制信息和响应信息的方法的执行过程的流程图；
图9是示出根据本公开的各种实施例的用于由电子设备再现记录数据的方法的执行过程的流程图；
图10是示出根据本公开的各种实施例的用于由电子设备再现记录数据的方法的执行过程的流程图；
图11是示出根据本公开的各种实施例的用于由电子设备再现记录数据的方法的执行过程的流程图；
图12是示出根据本公开的各种实施例的用于处理记录数据的电子设备的屏幕的配置的视图；以及
图13是示出根据本公开的各种实施例的用于再现记录数据的电子设备的屏幕的配置的视图。
在整个附图中，应当注意，相同的附图标记用于描绘相同或相似的元件、特征和结构。
具体实施方式
以下参考附图的描述被提供用来帮助全面了解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体的细节来帮助理解，但这些细节只能被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。此外，为了清楚和简明，省略了对公知功能和构造的描述。
以下描述和权利要求中使用的术语和词语不限于书面意义，而是仅由发明人使用以使得能够清楚和一致地理解本公开内容。因此，本领域技术人员应当明白，本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
可以理解，除非另有明确规定，单数形式“一”和“该”包括复数指示物。因此，例如，提到“组件表面”包括对这些表面中的一个或多个的引用。
在本公开的各种实施例中使用的术语“具有”、“可具有”、“包括”或“可包括”指示公开的对应功能、操作、元件等的存在，并且不限制额外一个或多个功能、操作、元件等。另外，应该理解的是，在本公开的各种实施例中使用的术语“包括”或“具有”表示存在说明书中描述的特征、数字、步骤、操作、元件、部分或其组合，并且不排除存在或添加一个或多个其他特征、数字、步骤、操作、元件、部分或其组合。
在本公开的各种实施例中使用的术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”包括与其列举的单词的任何和所有组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”是指(1)包括至少一个A，(2)包括至少一个B或(3)包括全部至少一个A和至少一个B两者。
尽管在本公开的各种实施例中使用的诸如“第一”和“第二”的术语可以修饰各种实施例的各种元件，但是这些术语不限制相应的元件。例如，这些术语不限制相应元件的顺序和/或重要性。这些术语可以用于区分一个元件与另一个元件。例如，第一用户设备和第二用户设备都是用户设备并且表示不同的用户设备。例如，第一元件可以被命名为第二元件，而不脱离本发明的各种实施例的权利范围，并且类似地第二元件可以被命名为第一元件。
应该理解，当元件(例如，第一元件)“连接到”或“(可操作地或通信地)耦合到另一元件”(例如，第二元件)时，该元件可以直接连接或耦合到另一个元件，并且该元件和另一个元件之间可能存在中间元件(例如，第三元件)。相反，将理解的是，当元件(例如，第一元件)“直接连接”或“直接耦合”到另一元件(例如第二元件)时，该元件和另一个元件之间不存在中间元件(例如，第三元件)。
在本公开的各种实施例中使用的表述“被配置为(或设置为)”可以根据情况被替换为“适合”、“具有......的能力”、“设计为”、“适于”、“被制造用于”或“有能力”。术语“配置为(设置为)”并不一定意味着在硬件层面“专门设计为”。相反，表述“被配置为...的装置”可以表示该装置在某种情况下与其他设备或部件一起“能够......”。例如，“配置成(设置为)执行A、B和C的处理器”可以是用于执行相应操作的专用处理器，例如嵌入式处理器，或通用处理器，例如中央处理器单元(CPU)或应用处理器(AP)，其能够通过执行存储在存储设备中的一个或多个软件程序执行相应的操作。
这里使用的术语仅用于描述某些实施例，并不意图限制本公开。如本文所使用的，单数形式可包括复数形式，除非上下文另有明确指示。此外，本文所用的所有术语(包括技术和科学术语)应被解释为具有与本公开所属领域的技术人员通常理解的相同的含义，并且不应被解释为具有理想的或过于正式的含义，除非在本公开的各种实施例中明确定义。
根据本公开的各种实施例的电子设备可以是设备。例如，根据本公开的各种实施例的电子设备可以包括以下中的至少一个：智能手机；平板电脑(PC)；移动电话；视频电话；电子书阅读器；台式电脑；膝上电脑；上网本电脑；工作站、服务器、个人数字助理(PDA)；便携式多媒体播放器(PMP)；MP3播放器；移动医疗设备；相机；或可穿戴设备(例如，头戴式设备(HMD)、电子眼镜、电子衣服、电子手镯、电子项链、电子应用配件(appcessory)、电子纹身、智能镜子或智能手表)。
在其他实施例中，电子设备可以是智能家用电器。例如，这样的电器中可以包括以下中的至少一个：电视机(TV)；数字多功能光盘(DVD)播放器；音频组件；冰箱；空调；吸尘机；烤箱；微波炉；洗衣机；空气净化器；机顶盒；家庭自动化控制面板；安全控制面板；电视盒(例如，Samsung HomeSyncTM，Apple TVTM或Google TVTM)；游戏控制台(例如，XboxTM，PlayStationTM)；电子词典；电子钥匙；摄像机；或电子相框。
在其他实施例中，电子设备可以包括以下中的至少一个：医疗设备(例如，移动医疗设备(例如，血糖监测设备、心率监测器、血压监测设备或温度计)、磁共振血管造影(MRA)机器、磁共振成像(MRI)机器、计算机断层摄影(CT)扫描器或超声波机器)；导航设备；全球定位系统(GPS)接收器；事件数据记录器(EDR)；飞行数据记录器(FDR)；车载信息娱乐设备；船舶的电子设备(例如，船舶导航设备和/或电罗经)；航空电子设备；安全设备；车辆头部单元；工业或家庭机器人；金融机构的自动提款机(ATM)，零售商店的销售点(POS)设备或物联网设备(例如，灯泡、各种传感器、电子计量器、燃气表、喷洒器、火警器、恒温器、街灯、烤面包机、运动器材、热水箱、加热器或锅炉等)。
在某些实施例中，电子设备可以包括以下中的至少一个：家具或建筑物/结构；电子板；电子签名接收设备；投影仪；和各种测量仪器(例如，水表、电表、煤气表或波表)。
根据本公开的各种实施例的电子设备还可以包括一个或多个上述设备的组合。此外，对于本领域技术人员来说显而易见的是，根据本公开的各种实施例的电子设备不限于上述设备。
图1是示出包括根据本公开的各种实施例的电子设备101的网络环境100的视图。
参考图1，电子设备101可以包括总线110、处理器120、存储器130、输入/输出(I/O)接口150、显示器160和通信接口170。
总线110可以是用于将上述元件(例如，处理器120、存储器130、I/O接口150、显示器160或通信接口170等)彼此连接并在上述元件之间传递信息(例如，控制消息)的电路。
处理器120可以包括中央处理单元(CPU)、通信处理器(CP)、图形处理单元(GPU)等。
处理器120可以经由总线110接收例如来自上述其他元件(例如，存储器130、I/O接口150、显示器160或通信接口170等)的指令、解密接收到的指令并且执行与解密的指令对应的操作或数据过程。
存储器130可以包括任何合适类型的易失性或非易失性存储器。存储器130可以存储从处理器120或其他元件(例如，I/O接口150、显示器160或通信接口170等)接收的或由处理器120或其他元件生成的指令或数据。存储器130可以包括，例如，编程模块140，诸如内核141、中间件143、应用编程接口(API)145和应用147。每个编程模块可以使用软件、固件、硬件或其中两种或更多种的组合来配置。
参考图1，内核141可以控制或管理用于执行在其余编程模块(例如，中间件143、API 145或应用147)中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130等)。而且，内核141可以提供用于允许中间件143、API 145或应用147访问电子设备101的单个元件的接口，并且控制或管理该接口。
中间件143可以执行中介角色，使得API 145或应用147可以与内核141进行通信以发送和接收数据。此外，结合从应用147接收到的任务请求，中间件143可以使用例如为至少一个应用134分配使用电子设备101的系统资源(例如，总线110、处理器120或存储器130等)的优先级的方法对任务请求进行控制(例如，调度或负载平衡)。
API 145是用于允许应用147控制由内核141或中间件143提供的功能的接口，并且可以包括用于文件控制、窗口控制、图像处理或字符控制等的至少一个接口或功能(例如，指令)。
I/O接口150可以将用户经由I/O单元(例如，传感器，键盘或触摸屏)输入的指令或数据经由例如总线110传递至处理器120、存储器130或通信接口170。例如，I/O接口150可以将关于经由触摸屏的用户的触摸输入的数据提供给处理器120。而且，I/O接口150例如可以经由I/O单元(例如，扬声器或者显示器)输出从处理器120、存储器130或通信接口170经由总线110接收的指令或数据。例如，I/O接口150可以经由扬声器将由处理器120处理的语音数据输出给用户。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、塑料OLED、微机电系统(MEMS)显示器或电子纸显示器。显示器160可以向用户显示各种类型的内容(例如，文本、图像、视频、图标、符号等)。显示器160可以包括触摸屏，例如，可以接收例如使用电子笔或用户身体的一部分输入的触摸、手势、接近或悬停。
通信接口170可以连接电子设备101和外部设备(例如，电子设备104或服务器106)之间的通信。例如，通信接口170可以通过无线通信或有线通信连接到网络162，并且可以与外部设备通信。
无线通信可以使用例如长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)和全球移动通信系统(GSM)中的至少一个，作为蜂窝通信协议。
有线通信可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)和普通老式电话服务(POTS)中的至少一个。
网络162可以包括诸如计算机网络(例如，局域网(LAN)或广域网(WAN))、因特网和电话网络的通信网络中的至少一个。
电子设备102和104可以是与电子设备101相同类型的设备或与电子设备101不同类型的设备。根据实施例，服务器106可以包括一组一个或多个服务器。根据各种实施例，在电子设备101中执行的全部或一些操作可以在另一电子设备或多个电子设备(例如，电子设备102或104和服务器106)中执行。根据实施例，当电子设备101应该自动地或通过请求执行一些功能或服务时，电子设备101可以向另一设备(例如，电子设备102或104、或者服务器106)发出执行与该功能或服务有关的至少一些功能的请求，而不是自己或另外执行该功能或服务。电子设备(例如，电子设备102或104或服务器106)可以执行电子设备101所请求的功能或附加功能，并将其结果提供给电子设备101。电子设备101可以基于接收到的结果或者在另外处理接收到的结果之后将所请求的功能或服务提供给另一个电子设备。为此，可以使用例如云计算、分布式计算或客户端-服务器计算技术。
图2是示出根据本公开的各种实施例的电子设备201的框图200。电子设备201可以配置例如图1所示的电子设备101的全部或部分。
参考图2，电子设备201可以包括一个或多个应用处理器(AP)210、通信模块220、订户识别模块(SIM)卡224、存储器230、传感器模块240、输入单元250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电动机298。
AP 210可以驱动O/S或应用控制连接到AP 210的多个硬件或软件元件，并执行各种数据过程和操作，包括多媒体数据和操作。例如，AP 210可以被实现为例如片上系统(SoC)。根据实施例，AP 210可以进一步包括图形处理单元(GPU)或图像信号处理器(ISP)中的至少一个。根据实施例，AP 210可以被实现为包括上述元件的至少一部分(例如，蜂窝模块221)。而且，AP 210可以在非易失性存储器中存储从其他元件中的至少一个接收的或者由其他元件中的至少一个生成的数据。
通信模块220(例如，通信接口160)可以在电子设备201(例如，图1中所示的电子设备101)与通过网络连接的其他电子设备(例如，图1所示的电子设备104或服务器106)之间的通信中执行数据发送/接收。根据实施例，通信模块220可以包括蜂窝模块221、无线保真(Wi-Fi)模块223、蓝牙(BT)模块225、GPS模块227、近场通信(NFC)模块228和射频(RF)模块229。
蜂窝模块221可以经由通信网络(例如，LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro或GSM等)提供语音通信、图像通信、短消息服务或者因特网服务。而且，蜂窝模块221可以使用例如订户识别模块(例如，SIM卡224)来执行通信网络内的电子设备的识别和认证。根据实施例，蜂窝模块221可以执行可以由AP 210提供的至少一些功能。根据实施例，蜂窝模块221可以包括通信处理器(CP)。而且，蜂窝模块221可以例如被实现为SoC。虽然诸如蜂窝模块221(例如，通信处理器(CP))、存储器230或电源管理模块295等的元件在图2中被图示为与AP210分开的元件，根据实施例，AP 210可以被实现为包括上述元件的至少一部分(例如，蜂窝模块221)。
WiFi模块223、BT模块225、GPS模块227和NFC模块228中的每一个可以包括例如用于处理经由相关模块发送或接收的数据的处理器。尽管蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227或NFC模块228在图2中被示为单独的块，根据实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227或NFC模块228的至少一部分(例如两个或多个元件)可被包括在一个集成电路(IC)或IC封装中。例如，对应于蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227或NFC模块228中的每一个的处理器的至少一部分(例如，对应于蜂窝模块221的CP和对应于Wi-Fi模块223的Wi-Fi处理器)可以被实现为一个SoC。
参考图2，RF模块229可以执行数据的发送/接收，例如RF信号的发送/接收。RF模块229可以包括例如收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等，虽然未图示。此外，RF模块229还可以包括用于在无线通信中的自由空间上发送/接收电磁波的部分，例如，导体或导线等。尽管图2示出蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227和NFC模块228共享一个RF模块229，但是根据实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227或NFC模块228中的至少一个可经由分开的RF模块进行RF信号的发送/接收。
SIM卡224可以是包括订户识别模块的卡，并且可以插入形成在电子设备的某个位置的槽中。SIM卡224可以包括唯一身份信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户身份(IMSI))。
存储器230(例如，存储器20)可以包括内置存储器232或外部存储器234。内置存储器232可以包括例如易失性存储器(例如动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM))或非易失性存储器(例如一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、NAND闪存和NOR闪存等)中的至少一个。
根据实施例，内置存储器232可以是固态驱动(SSD)。外部存储器234还可以包括闪存驱动，例如紧凑式闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)或记忆棒。外部存储器234可以经由各种接口在功能上与电子设备201连接。根据实施例，电子设备201还可以包括诸如硬盘驱动的存储设备(或存储介质)。
参考图2，传感器模块240可以测量电子设备201的物理量或感测电子设备201的操作状态，然后将测量或感测的信息转换为电信号。传感器模块240可以包括例如手势传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁性传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器或RGB(红绿蓝)传感器240H、活体传感器或生物测定传感器240I、温度湿度传感器240J、亮度传感器240K和紫外线(UV)传感器240M中的至少一个。附加地或可选地，传感器模块240可以包括例如电子鼻(E鼻)传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、红外(IR)传感器(未示出)、虹膜传感器(未示出)或指纹传感器(未示出)等。传感器模块240还可以包括控制电路，用于控制属于其的至少一个传感器。
输入单元250可以包括触摸面板252、数字笔或(数字)笔传感器254、键256或超声波输入设备258。触摸面板252可以使用电容、电阻、红外或超声方法中的至少一个识别触摸输入。此外，触摸面板252还可以包括控制电路。电容式触摸面板可以通过物理接触或接近度识别来执行检测。触摸面板252还可以包括触觉层。在这种情况下，触摸面板252可以向用户提供触觉反应。
数字笔或(数字)笔传感器254可以使用例如与接收用户的触摸输入相同或相似的方法或使用单独的用于检测的片材(sheet)来实现。键256可以包括例如物理按钮、光学键或小键盘(keypad)。超声波输入设备258是经由生成超声信号的输入工具，通过使用电子设备201中的麦克风(例如，麦克风288)检测声波来识别数据的单元，并且允许无线识别。根据实施例，电子设备201可以使用通信模块220，从与通信模块220相连的任何外部设备(例如，计算机或服务器)接收用户输入。
参考图2，显示器260(例如，图1所示的显示器150)可以包括面板262、全息图设备264或投影仪266。面板262可以是例如液晶显示器(LCD)或有源矩阵有机发光二极管(AM-OLED)等。面板262可以例如被实现为使得其是柔性、透明或可穿戴的。面板262可以与触摸面板252一起被配置为一个模块。全息图设备264可以利用光的干涉在空气中展示三维图像。投影仪266可以将光投影到屏幕上以显示图像。屏幕可以位于电子设备201的例如内部或外部。根据实施例，显示器260还可以包括用于控制面板262、全息图设备264或投影仪266的控制电路。
接口270可以包括例如高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276和D超小型(D-sub)278。接口270可以包括在例如图1所示的通信接口160中。附加地或替代地，接口270可以包括例如移动高清链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或IR数据协会(IrDA)标准接口。
音频模块280可以双向转换声音和电信号。音频模块280的至少一部分元件可以被包含在例如图1所示的I/O接口140中。音频模块280可以处理通过扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息。
相机模块291可以是能够拍摄静止图像和运动图像的设备。根据实施例，相机模块291可以包括一个或多个图像传感器(例如前传感器或后传感器)、镜头(未图示)、图像信号处理器(ISP)(未图示)或闪光灯(未图示)(例如，LED或氙灯)。
电源管理模块295可以管理电子设备201的电源(power)。虽然未图示，但是电源管理模块295可以包括例如电源管理集成电路(PMIC)、充电器集成电路(IC)、或电池、或电池计或燃料计。
例如，PMIC可以安装在例如集成电路或SoC半导体内部。充电方法可以分为有线充电方法和无线充电方法。充电IC可以对电池充电并且防止从充电器引入过电压或过电流。根据实施例，充电IC可以包括用于有线充电和无线充电方法中的至少一种的充电IC。无线充电方法可以是例如磁共振方法，磁感应方法或电磁波方法等，并且可以附加地包括用于无线充电的附加电路，例如，诸如线圈环路、谐振电路或整流器等的电路。
电池计可以在充电时测量例如电池296的剩余量、电压、电流或温度。电池296可以存储或生成电，并且使用所存储的或生成的电向电子设备201供电。电池296可以包括例如可充电电池或太阳能电池。
参考图2，指示器297可以显示电子设备201或其一部分(例如，AP 210)的特定状态，例如，开机状态、消息状态或充电状态等。电机298可以将电信号转变为机械振动。虽然未图示，但是电子设备201可以包括用于支持移动电视的处理器(例如，GPU)。用于支持移动电视的处理器可以处理符合诸如数字多媒体广播(DMB)、数字视频广播(DVB)或媒体流等的标准的媒体数据。
根据本公开的各种实施例的电子设备的前述元件可以由一个或多个组件构成，并且对应元件的名称可以随着电子设备的类型而变化。根据本公开的各种实施例的电子设备可以包括前述元件中的至少一个。一些元件可以被省略或者其他附加元件可以被进一步包括在电子设备中。此外，根据本公开的各种实施例的电子设备的一些组件可以被组合以形成单个实体，并且因此可以等效地执行在组合之前相应元件的功能。
图3是示出根据本公开的实施例的程序模块310的框图。
参考图3，程序模块310(例如，图1所示的程序140)可以包括用于控制与电子设备(例如，图1所示的电子设备101)有关的资源的操作系统(OS)和/或在操作系统中执行的各种应用(例如，图1所示的应用程序147)。操作系统可以是例如Android、iOS、Windows、Symbian、Tizen、Bada等。
编程模块310可以包括内核320、中间件330、API 360和/或应用370。程序模块310中的至少一些可以被预加载在电子设备中或者从服务器下载。
内核320(例如，图1中所示的内核141)可以包括例如系统资源管理器321或设备驱动器323。系统资源管理器321可以控制、分配或收集系统资源。根据实施例，系统资源管理器321可以包括进程管理单元、存储器管理单元或文件系统管理单元。设备驱动器323可以包括例如显示器驱动器、相机驱动器、蓝牙(BT)驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
参考图3，中间件330可提供应用370共同需要的功能或通过API 360向应用370提供各种功能，使得应用370能有效使用电子设备中的有限的系统资源。根据实施例，中间件330(例如，图1所示的中间件143)可以包括例如运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352中的至少一个。
运行时库335可以包括例如在执行应用370时编译器用来通过编程语言添加新功能的库模块。运行时库335可以执行输入/输出管理、存储器管理或用于算术函数的功能。
应用管理器341可以管理例如应用370中的至少一个的生命周期。窗口管理器342可以管理屏幕使用的图形用户界面(GUI)资源。多媒体管理器343可以检测用于再现各种媒体文件的格式，并且可以通过使用适合于相关格式的编解码器对媒体文件进行编码或解码。资源管理器344可以管理应用370中的至少一个的资源，例如源代码、存储器或存储空间。
电源管理器345可以与基本输入/输出系统(BIOS)一起运作，以管理电池或电源，并且可以提供电子设备的操作所需的电源信息。数据库管理器346可以生成、搜索或改变将由应用370中的至少一个使用的数据库。包管理器347可以管理以包文件的形式发布的应用的安装和/或更新。
连接管理器348可以管理诸如Wi-Fi和BT的无线连接。通知管理器349可以以不干扰用户的方式来显示或通知诸如到达消息、预示(promise)、接近通知等的事件。位置管理器350可以管理电子设备的位置信息。图形管理器351可以管理要提供给用户的图形效果和与图形效果相关的用户界面。安全管理器352可以提供用于系统安全性和用户认证的各种安全功能。根据实施例，当电子设备(例如，图1所示的电子设备101)具有电话功能时，中间件330还可以包括用于管理电子设备的语音电话功能和/或视频电话功能的电话管理器。
参考图3，中间件330可以包括用于形成前述组件的各种功能的组合的中间件模块。中间件330可以提供根据操作系统的类型而专门化的模块，以便提供差异化的功能。此外，中间件330可以动态地移除一些现有组件或添加新组件。
API 360(例如，图1中所示的API 145)例如是API编程功能集，并且可以根据操作系统提供其不同的配置。例如，
Figure GDA0002855439420000131
或
Figure GDA0002855439420000132
可以为每个平台提供一个API集，并且
Figure GDA0002855439420000133
可以为每个平台提供两个或更多个API集。
应用370(例如，图1所示的应用程序147)可以包括例如一个或多个可以提供诸如以下功能的应用：家庭371、拨号器372、短消息服务(SMS)/多媒体消息服务(MMS)373、即时消息(IM)374、浏览器375、相机376、警报377、联系人378、语音拨号器379、电子邮件380、日历381、媒体播放器382、相册383、时钟或手表384、健康护理(例如，测量运动量或血糖)或环境信息(例如，大气压、湿度或温度信息)。
根据实施例，应用370可以包括支持在电子设备(例如，图1所示的电子设备101)和外部电子设备之间的信息交换的应用(以下称为“信息交换应用”，以便于描述)。信息交换应用可以包括例如用于将预定信息传送到外部电子设备的通知中继应用或用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括将从图1所示的电子设备101的其他应用产生的通知信息传送到外部电子设备的功能(例如，SMS/MMS应用，电子邮件应用，健康管理应用或环境信息应用)。此外，通知中继应用可以从例如控制设备接收通知信息并将接收到的通知信息提供给用户。设备管理应用可以管理(例如，安装、删除或更新)例如用于与电子设备通信的外部电子设备的至少一部分的功能(例如，打开/关闭外部电子设备本身(或其某些元件)或调整显示器的亮度(或分辨率))，在外部电子设备中执行的应用或从外部电子设备提供的服务(例如，电话呼叫服务或消息服务)。
根据实施例，应用370可以包括根据外部电子设备的属性(例如，电子设备的属性，例如与移动医疗设备相对应的电子设备的类型)指定的应用(例如健康管理应用)。根据实施例，应用370可以包括从外部电子设备(例如，服务器或电子设备)接收的应用。根据实施例，应用370可以包括预先加载的应用程序或可以从服务器下载的第三方应用。根据图3所示的实施例的程序模块310的组件的名称可能根据操作系统的类型而有所不同。
根据各种实施例，编程模块310的至少一部分可以以软件、固件、硬件或其中的两个或更多个的组合来实现。编程模块310中的至少一些可以由例如处理器实现(例如，执行)(例如，应用程序)。编程模块310中的至少一些可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集或过程。
图4A是示出根据本公开的各种实施例的处理器400的配置的框图。根据本公开的各种实施例，处理器400可以是电子设备(例如，电子设备101)的处理器(例如，处理器120)。
参考图4A，处理器400可以包括收集模块402、记录模块404、生成模块406、分析模块412和输出模块414。
根据本公开的各种实施例，收集模块402可收集关于内容的控制信息和响应信息。根据本公开的实施例，收集模块402可以在记录所执行的内容的情况下收集控制信息和响应信息。根据本公开的各种实施例，收集模块402可以基于至少一个传感器来收集控制信息。根据本公开的实施例，收集模块402可以基于麦克风、触摸传感器、触摸屏、陀螺仪传感器和手势传感器中的至少一个来收集与输入相关联的信息，该输入控制所执行的内容的功能或操作。例如，关于触摸输入，收集模块402可以收集触摸输入的发生位置、触摸输入的次数、保持触摸输入的时间段等。作为另一示例，关于语音输入，收集模块402可以收集检测到语音输入的时间点、与语音输入对应的指定控制命令等。根据本公开的各种实施例，收集模块402可以基于至少一个传感器来收集响应信息。响应信息可以与由于在记录期间执行内容而在电子设备中发生的效果以及用户在记录期间对内容的执行的响应相关联。根据本公开的实施例，收集模块402可以基于生物计量传感器、磁传感器、加速度传感器、惯性传感器、麦克风和振动传感器中的至少一个在记录期间收集关于内容的响应信息。例如，关于触觉效果(例如，振动效果)的发生，收集模块402可以收集发生触觉效果的时间段、触觉模式等。作为另一示例，收集模块402可以收集在记录期间测量的用户的多条生物计量信息当中满足预先指定条件的生物计量信息、获取生物计量信息的时间点等。
根据本公开的各种实施例，参照图4A，记录模块404可以记录并存储根据内容的执行在电子设备的屏幕上输出的图像信息以及通过电子设备的扬声器输出的音频信息。
根据本公开的各种实施例，生成模块406可以将由收集模块402收集的控制信息和响应信息存储为单独的数据。根据本公开的各种实施例，生成模块406可以将收集的控制信息和响应信息与记录数据相关联地存储。根据本公开的实施例，生成模块406可以将单独存储的用于控制信息和响应信息的标识符(例如，存储位置)添加到记录数据的头部。在本公开的另一实施例中，生成模块406可以将控制信息和响应信息作为附加信息插入到记录数据中。根据本公开的各种实施例，控制信息和响应信息可被存储为记录数据的元信息。
根据本公开的各种实施例，分析模块412可以确定是否存在与被再现的记录数据相关联的控制信息和响应信息。根据本公开的实施例，分析模块412可以分析包括在记录数据中的头部并且可以确定控制信息和响应信息是否存在。
根据本公开的各种实施例，输出模块414可以输出记录数据的再现屏幕。根据本公开的各种实施例，输出模块414可以输出控制信息和响应信息，同时输出记录数据的再现屏幕。
根据本公开的各种实施例，收集模块402、记录模块404、生成模块406、分析模块412和输出模块414中的至少一个可以从处理器400的配置中省略，并且处理器400可以另外包括另一个元件。根据本公开的各种实施例，处理器400的收集模块402、记录模块404、生成模块406、分析模块412和输出模块414可以是由处理器400执行的至少一个软件元件。
图4B是示出根据本公开的各种实施例的记录数据420的配置的视图。
参考图4B，记录数据420可以包括记录信息。根据本公开的实施例，记录信息可以包括关于所执行的内容记录的图像信息和音频信息。根据本公开的各种实施例，记录数据420可以是包括响应信息和控制信息的一个数据。根据本公开的实施例，响应信息和控制信息可以是关于记录数据420的附加信息。例如，记录数据420可以包括记录信息、响应信息和控制信息的对应头部。因此，当记录数据420被再现时，记录信息、响应信息和控制信息中的至少一条信息可以被选择性地再现或者可以不被再现。
尽管未示出，但是根据本公开的各种实施例，记录数据420可以以与响应信息和控制信息中的至少一条信息分离的形式来生成。
根据本公开的各种实施例的电子设备可以包括存储器和电连接到存储器的处理器。根据本公开的实施例，处理器可以执行控制操作，用于执行内容、确认内容的至少一部分以及与触觉效果相关联地记录内容的至少一部分。
根据本公开的各种实施例，处理器可以执行用于从内容获取触觉信息的过程，该信息对应于触觉效果。
根据本公开的各种实施例，处理器可以执行用于从电子设备或连接到电子设备的外部设备获取触觉信息的过程，该信息对应于触觉效果。
根据本公开的各种实施例，内容可以包括图像信息。
根据本公开的各种实施例，内容可以包括文本信息。
根据本公开的各种实施例，处理器可以执行用于基于与电子设备或电子设备的用户相关的情况信息(situation information)来关联触觉效果的过程。
根据本公开的各种实施例，处理器可以执行用于基于与通过通信模块连接到电子设备的外部设备有关的情况信息来关联触觉效果的过程。
根据本公开的各种实施例，处理器可以执行用于响应于内容的至少一部分上的记录命令而关联触觉效果的过程。
根据本公开的各种实施例，处理器可以执行控制操作，用于将触觉信息作为元数据存储在与内容的至少一部分相关的文件中，该信息对应于触觉效果。
根据本公开的各种实施例，处理器可以执行控制操作，用于将触觉信息存储为内容的至少一部分，该信息对应于触觉效果。
根据本公开的各种实施例，处理器可以执行控制操作，用于确认与内容的至少一部分有关的属性。当属性是第一指定值时，处理器可以执行用于将第一触觉信息存储为触觉信息的至少一部分的控制操作，第一触觉信息使得触觉效果能够(enables)被执行为第一值，并且当属性是第二指定值时，处理器可以执行用于将第二触觉信息存储为触觉信息的至少一部分的控制操作，第二触觉信息使得触觉效果能够被执行为第二值。
根据本公开的各种实施例，处理器可以执行用于确认与内容的至少一部分有关的属性的控制操作，当属性是第一指定属性时，处理器可以执行用于将第一触觉信息存储为触觉信息的至少一部分的控制操作，第一触觉信息使得触觉效果能够被执行为第一触觉效果，并且当属性是第二指定属性时，处理器可以执行用于将第二触觉信息存储为触觉信息的至少一部分的控制操作，第二触觉信息使得触觉效果能够被执行为第二触觉效果。
图5是示出根据本公开的实施例的电子设备101的记录操作的流程图。
根据本公开的实施例，电子设备101可以是电子设备201、处理器120和处理器400。
参考图5，在操作501中，电子设备101(图1中示出)可以执行内容。根据本公开的实施例，电子设备101可以基于用户的输入(例如，用于执行内容的键输入、触摸输入、手势输入、语音输入等)执行至少一条内容。例如，内容可以包括网页、数字文档数据、音频数据、视频数据、图像数据以及电子设备101可执行的应用程序中的一个或多个。根据本公开的各种实施例，内容的执行可以包括到另一电子设备的移动。
在操作503中，电子设备101可以根据内容的执行在屏幕上显示执行信息。根据本公开的实施例，执行信息是根据内容的执行的执行屏幕，并且可以包括至少一个对象。所述对象可以包括执行屏幕中所包括的至少一个图标和控制菜单中的至少一个。例如，执行信息可以是游戏内容的执行屏幕、网络浏览器的执行屏幕、视频数据的再现屏幕等。另外，执行信息可以包括根据内容的执行通过电子设备101的扬声器输出的音频信息(例如，效果声音)。
在操作505中，电子设备101可以确定是否已经检测到记录输入。根据本公开的各种实施例，记录输入可以是指示所显示的执行信息被记录的预先指定的输入。根据本公开的实施例，可以基于手势输入、键输入、触摸输入和语音输入中的至少一个来生成记录输入。
当在操作505中没有检测到记录输入时，电子设备101可以执行显示内容的执行屏幕的操作。
当在操作505中已经检测到记录输入时，电子设备101(图1中示出)可以在操作507中记录执行信息。根据本公开的实施例，电子设备101可以记录并存储通过屏幕输出的执行信息和通过扬声器输出的执行信息中的至少一个信息。根据本公开的各种实施例，电子设备101可以基于检测记录输入的时间点来确定记录执行信息的时间点。例如，电子设备101可以记录从检测记录输入的时间点开始显示的执行信息。作为另一示例，电子设备101可以记录从比检测记录输入的时间点快指定时间段(例如，5秒)的时间点显示的执行信息，或者可以记录从比检测记录输入的时间点晚指定时间段(例如，5秒)的时间点显示的执行信息。
在操作509中，电子设备101可以通过至少一个传感器获取关于所执行的内容的控制信息和响应信息。根据本公开的各种实施例，控制信息可以与控制所执行的内容的功能或操作的输入相关联。例如，控制信息可以包括停止执行内容的输入、恢复停止的执行内容的输入和改变执行内容的执行信息(例如，执行屏幕)的输入中的至少一个。根据本公开的实施例，控制信息可以与选择屏幕上显示的执行信息的至少一个对象的输入相关联。例如，电子设备101可以获取在执行记录操作的同时发生触摸输入的位置、触摸输入的次数、维持触摸输入的时间段等等作为控制信息。根据本公开的实施例，除了触摸输入之外，还可以通过键输入、语音输入、手势输入等来获取选择对象的控制信息。例如，当检测到控制内容的功能或操作的键输入、语音输入、手势输入等时，电子设备101(图1中示出)可以获取关于输入的类型和关于检测输入的时间点的信息等作为控制信息。输入的类型可以是对应于语音输入的控制命令、对应于手势输入的电子设备的倾斜等。
根据本公开的各种实施例，响应信息可以与由于记录期间内容的执行而在电子设备101中可能发生的效果(例如，触觉效果、发光效果、嗅觉效果等)相关联。根据本公开的实施例，当执行提供触觉功能的内容时，电子设备101可以获取与触觉效果(例如，振动效果)的发生时间点、触觉模式等相关联的信息作为响应信息。根据本公开的另一实施例，当执行提供嗅觉效果的内容时，电子装置101可以获取与嗅觉效果的发生时间点、发生模式、效果的类型(例如气味的类型)等相关联的信息作为响应信息。根据本公开的又一个实施例，当执行提供发光功能的内容时，电子设备101可以获取与发光效果的发生时间点、光发射图案等相关联的信息作为响应信息。根据本公开的各种实施例，响应信息可以与记录期间用户对内容的执行的响应相关联。根据本公开的实施例，用户的响应可以是通过电子设备的麦克风输入的语音(或喊声)。根据本公开的另一实施例，用户的响应可以是通过电子设备101(例如，图2中的电子设备201)的生物计量传感器(例如，图2中所示的生物计量传感器240I)测量的生物计量信息(例如，血压、心率等)。根据本公开的各种实施例，电子设备101可以通过根据短距离通信方案连接到电子设备101的外部电子设备(例如，由用户身体佩戴的设备)101来获取控制信息和响应信息。
参考图5，在操作511中，电子设备101可以存储所获取的控制信息和响应信息。
在操作513中，电子设备101可以确定是否已经检测到记录停止输入。根据本公开的各种实施例，记录停止输入可以是指示所显示的执行信息的记录停止的预先指定的输入。根据本公开的实施例，记录停止输入可以基于手势输入、键输入、触摸输入和语音输入中的至少一个来生成。
当在操作513中没有检测到记录停止输入时，电子设备101可以执行记录执行信息的操作。根据本公开的实施例，电子设备101可以执行与操作507相关联的操作。
当在操作513中检测到记录停止输入时，在操作515中，电子设备101可以将存储的控制信息和响应信息与记录数据相关联地存储。根据本公开的实施例，电子设备101可以以这样的方式存储控制信息和响应信息，使得当记录数据被再现时可以选择性地再现控制信息和响应信息。在本公开的实施例中，电子设备101可以将控制信息和响应信息作为特定数据与有关执行信息的记录数据分开存储。例如，电子设备101可以将控制信息和响应信息的标识符(例如，存储位置)添加到记录数据的头部。在本公开的另一实施例中，电子设备101可以将控制信息和响应信息作为附加信息插入到记录数据中。例如，记录数据可以包括作为附加信息插入的控制信息和响应信息的头部。
根据本公开的各种实施例，可以省略操作501至515中的至少一个。例如，操作505可以被省略。
图6是示出根据本公开的各种实施例的用于由电子设备101(在图1中示出)获取控制信息的方法的执行过程的流程图。根据本公开的实施例，电子设备101可以是电子设备201(在图1中示出)、处理器120(在图2中示出)以及处理器400(图4A中所示)。
根据本公开的各种实施例，用于获取控制信息的方法的执行过程可以是图5所示的操作511的详细操作。
参考图6，在操作601中，电子设备101可以确定是否已经通过用于获取控制信息的至少一个传感器来获取控制信息。根据本公开的实施例，用于获取控制信息的至少一个传感器可以包括触摸传感器、触摸屏、麦克风、陀螺仪传感器和手势传感器中的至少一个。
当在操作601中确定没有获取控制信息时，电子设备101可以重新确定是否已经获取控制信息。作为示例，电子设备101可以执行控制信息获取操作。
当在操作601中确定已经获取控制信息时，电子设备101可以在操作603中获取关于内容的时间信息。根据本公开的各种实施例，时间信息可以与内容的执行时间段相关联,该时间段与获取控制信息的时间点有关。例如，电子设备101可以获取帧号作为关于包括多个帧的内容的时间信息。电子设备101可以基于时间信息来确定获取控制信息的时间点。因此，当记录记录数据时，电子设备101可以基于时间信息来确定输出控制信息的时间点。
在操作605中，电子设备101可以确定所获取的控制信息是否是触摸输入。
当在操作605中确定所获取的控制信息是触摸输入时，在操作609中，电子装置101可另外获取触摸位置和触摸类型。根据本公开的实施例，触摸类型的示例可以包括触摸(或按压)、移动、释放等。
在操作607中，电子设备101可以将控制信息与额外获取的触摸位置和触摸类型一起与时间信息相关联地存储。
当在操作605中确定所获取的控制信息不是触摸输入时，在操作607中，电子设备101可以将所获取的控制信息与时间信息相关联地进行存储。例如，电子设备101可以与时间信息相关联地存储已经作为电子设备101的控制信息获取的倾斜信息。
根据本公开的各种实施例，可以省略操作601至609中的至少一个。例如，操作605和609可以被省略。
图7是示出根据本公开的实施例的用于由电子设备101获取响应信息的方法的执行过程的流程图。根据本公开的实施例，电子设备101可以是电子设备201(在图2中示出)、处理器120(在图1中示出)以及处理器400(图4A中所示)。
根据本公开的各种实施例，用于获取响应信息的方法的执行过程可以是图5所示的操作511的详细操作。
参考图7，在操作701中，电子设备101可以确定是否已经通过用于获取响应信息的至少一个传感器来获取响应信息。根据本公开的实施例，用于获取响应信息的至少一个传感器可以包括生物测定传感器、磁传感器、加速度传感器、惯性传感器、麦克风和振动传感器中的至少一个。
当在操作701中确定尚未获取响应信息时，电子设备101可以重新确定是否已经获取响应信息。作为示例，电子设备101可以执行响应信息获取操作。
当在操作701中确定已经获取响应信息时，电子设备101可以在操作703中获取关于内容的时间信息。根据本公开的各种实施例，时间信息可以与内容的执行时间段相关联，该时间段与获取响应信息的时间点有关。
在操作705中，电子设备101可以将获取的响应信息与时间信息相关联地存储。
根据本公开的各种实施例，可以执行操作701至705(图7中所示)中的至少一个可以省略。
图8是示出根据本公开的实施例的用于由电子设备101获取控制信息和响应信息的方法的执行过程的流程图。根据本公开的实施例，电子设备101可以是电子设备201、处理器120和处理器400。根据本公开的各种实施例，电子设备101可以在存储控制信息和响应信息中的至少一条信息的状态下获取与内容的执行时间段对应的控制信息和响应信息，控制信息和响应信息与预先指定的内容的执行时间段相关联地存储。
参考图8，在操作801中，电子设备101可以获取关于内容的时间信息。例如，电子设备101可以对于包括多个帧的内容、获取关于当前显示在屏幕上的帧的信息。
在操作803中，电子设备101可以确定对应于时间信息的控制信息和响应信息是否被存储在电子设备101中。根据本公开的另一实施例，电子设备101可以确定与时间信息相对应的控制信息和响应信息是否被存储在电子设备101能够与之通信的另一电子设备中。
当在操作803中确定没有存储与时间信息相对应的控制信息和响应信息时，在操作807中，电子设备101可以根据预先指定的方案来获取控制信息和响应信息。根据本公开的实施例，电子设备101可以通过使用至少一个传感器来获取控制信息和响应信息。
当在操作803中确定存储了与时间信息相对应的控制信息和响应信息时，电子设备101可以在操作805中获取所存储的控制信息和响应信息。例如，电子设备101可以获取与预先存储的控制信息和响应信息之中的执行时间段相对应的控制信息和响应信息，并且可以将所获取的控制信息和响应信息与执行信息一起记录和存储。
图9是示出根据本公开的各种实施例的用于由电子设备101再现记录数据的方法的执行过程的流程图。根据本公开的实施例，电子设备101可以是电子设备201(在图2中示出)、处理器120(在图1中示出)以及处理器400(图4A中所示)。
参考图9，在操作901中，电子设备101可以确定是否检测到用于再现记录数据的再现请求。
当在操作901中确定还没有检测到再现请求时，电子装置101可以重新确定是否检测到用于再现记录数据的再现请求。
当在操作901中确定已经检测到再现请求时，在操作903中，电子设备101可以确定是否存在与所请求的记录数据相关联的控制信息和响应信息。
当在操作903中确定控制信息和响应信息不存在时，电子设备101可以在操作909中再现记录数据。根据本公开的实施例，电子设备101可以在屏幕上显示包括在记录数据中的图像信息和音频信息中的至少一条信息。
当在操作903中确定存在控制信息和响应信息时，电子设备101可以在操作905中获取与所请求的记录数据相关联的控制信息和响应信息。根据本公开的实施例，电子设备101可以分析记录数据的头部并且可以获取分开存储的控制信息和响应信息。根据本公开的另一实施例，电子设备101可以分析包括在记录数据中的头部，并且可以获取存在于记录数据中的控制信息和响应信息。
在操作907中，电子设备101可以与记录数据的再现一起输出控制信息和响应信息。
根据本公开的各种实施例，电子设备101可以将记录数据的再现屏幕与控制信息和响应信息分离，并且可以输出与控制信息和响应信息分离的记录数据的再现屏幕。根据本公开的实施例，电子设备101可以将单独的层添加到记录数据的再现屏幕，或者可以在记录数据的再现屏幕上生成单独的弹出屏幕，并且可以通过使用单独的层或在单独的弹出屏幕上输出控制信息和响应信息。根据本公开的另一实施例，电子设备101可以将活动区域划分成多个区域，可以在划分的画面之中的一个画面上输出记录数据，并且可以将控制信息和响应信息输出到划分的画面之中的另一个画面上。根据本公开的各种实施例，可以通过输入来控制其上输出控制信息和响应信息的屏幕。例如，控制可以是屏幕位置的改变和屏幕尺寸的改变。作为另一个例子，控制可以是激活的屏幕的去激活和去激活的屏幕的激活。
图10是示出根据本公开的各种实施例的用于由电子设备101再现记录数据的方法的执行过程的流程图。根据本公开的实施例，电子设备101可以是电子设备201(在图2中示出)、处理器120(在图1中示出)以及处理器400(图4A中所示)。
根据本公开的各种实施例，用于再现记录数据的方法的执行过程可以是图9中所示的操作907的详细操作。
参考图10，在操作1001中，电子设备101可以确定电子设备101是否处于连接到外部设备的状态。根据本公开的实施例，电子设备101可确定是否存在电子装置101基于短程通信方案连接到的另一电子设备。外部设备的示例可以包括能够接触身体的至少一部分的电子设备和存在于电子设备101周围的电子设备。
当在操作1001中确定电子设备101未处于连接到外部设备的状态时，在操作1007中，电子设备101可以在电子设备101的屏幕上输出控制信息和响应信息。例如，电子设备101可以在电子设备101的屏幕上再现记录数据的同时输出控制信息和响应信息。
当在操作1001中确定电子设备101处于连接到外部设备的状态时，在操作1003中，电子设备101可以在电子设备101的屏幕上再现记录数据。另外，在操作1005中，电子设备101可以通过外部设备输出控制信息和响应信息。在本公开的一个实施例中，用于输出控制信息和响应信息的方法不受限制，并且可以通过使用各种方法来输出控制信息和响应信息。例如，电子设备101可以在电子设备101的屏幕上输出控制信息和响应信息，并且可以通过外部设备再现记录数据。另外，电子设备101可以在电子设备101的屏幕上输出记录数据和控制信息，并且可以通过外部设备输出响应信息。根据本公开的各种实施例，电子设备101可以基于控制信息和响应信息的属性来指定要输出的对象。例如，电子设备101可以通过外部设备输出具有文本形式的控制信息和响应信息，并且可以通过电子设备101输出具有振动形式的控制信息和响应信息。
图11是示出根据本公开的各种实施例的用于由电子设备101再现记录数据的方法的执行过程的流程图。根据本公开的实施例，电子设备101(在图1中示出)可以是电子设备201(在图2中示出)、处理器120(在图1中示出)以及处理器400(图4A中所示)。
根据本公开的各种实施例，用于再现记录数据的方法的执行过程可以是图9中所示的操作907的详细操作。
参考图11，在操作1101中，当电子设备101再现记录数据时，电子设备101可以确定是否检测到用于改变输出方案的输出方案改变请求。
当在操作1101中确定没有检测到输出方案改变请求时，在操作1105中，电子设备101可以在再现记录数据的同时输出控制信息和响应信息。
当在操作1101中确定已经检测到输出方案改变请求时，在操作1103中，电子设备101可以停止输出控制信息和响应信息。根据本公开的实施例，电子设备101可以停止输出控制信息和响应信息中的至少一条信息。
图12是示出根据本公开的实施例的用于处理记录数据的电子设备101的屏幕的配置的视图。
根据本公开的各种实施例，电子设备101可以执行至少一条内容，并且可以输出(如附图标记1200所示)关于所执行的内容的执行信息。根据本公开的实施例，根据内容的执行，电子设备101可以在其屏幕上输出执行屏幕，并且可以通过扬声器输出效果声音。例如，当游戏内容被执行时，电子设备101可以显示包括游戏执行画面1202和虚拟控制板1204的执行信息。虚拟控制板1204可以包括控制显示在游戏执行屏幕1202上的至少一个对象的移动的方向键、选择至少一个对象的选择键等。
根据本公开的各种实施例，电子设备101可记录并存储输出的执行信息。根据本公开的各种实施例，电子设备101可以存储在执行记录操作时获取的控制信息和响应信息。根据本公开的实施例，电子设备101可以记录在执行记录操作时获取的信息，其中该信息例如是与触摸虚拟控制板1204的用户的输入、通过麦克风作为输入接收到的用户的语音、基于至少一个传感器测量的电子设备101的移动以及用户的生物计量信息中的至少一个相关联的信息。
根据本公开的各种实施例，参照图12，当电子设备101再现记录数据时，电子设备101可以随同再现屏幕，输出(如附图标记1210所示)控制信息和响应信息。根据本公开的实施例，当电子设备101再现关于游戏内容的记录数据时，电子设备101可以根据存储的信息在屏幕上再现进行记录操作时发生的用户的内容控制状况和响应状态。例如，电子设备101可以在再现记录数据的同时输出与再现时间点相关联的控制信息和响应信息。
根据本公开的各种实施例，当电子设备101再现记录数据时，电子设备101可以在与输出记录数据的第一屏幕大小相同的单独的第二屏幕上输出(如附图标记1212所示)控制信息和响应信息。根据本公开的实施例，第二屏幕可以是透明层。电子设备101可以在第二屏幕上输出控制信息，从而可以表示(如附图标记1214所示)当电子设备101执行记录操作时用户控制虚拟控制板的方案。另外，电子设备101可以在第二屏幕上输出控制信息，从而可以表示(如附图标记1216所示)当电子设备101执行记录操作时用户旋转电子设备101的方案。另外，电子设备101可以输出关于第二屏幕的生物计量信息，从而可以表示(如附图标记1218所示)在电子设备101执行记录操作时发生的用户的物理变化。
根据本公开的各种实施例，参照图12，当电子设备101再现记录数据时，电子设备101可以将输出屏幕划分为第一屏幕和第二屏幕，并且可以在第一屏幕和第二屏幕上输出(如附图标记1220所示)记录数据。根据本公开的实施例，电子设备101可以在第一屏幕上输出(如附图标记1222所示)记录数据的再现屏幕，并且可以在第二屏幕上输出(如附图标记1224所示)控制信息和响应信息。
根据本公开的各种实施例，当电子设备101再现记录数据时，电子设备101可以以弹出窗口的形式输出(如附图标记1230所示)单独的屏幕。根据本公开的实施例，电子设备101可以在再现记录数据的屏幕1232上显示的弹出屏幕1234上输出控制信息和响应信息。
图13是示出根据本公开的各种实施例的用于再现记录数据的电子设备的屏幕的配置的视图。
参考图13，电子设备1300可以在与至少一个外部设备1310形成通信的状态下再现记录数据。根据本公开的实施例，电子设备1300可以基于有线通信方案和无线通信方案中的至少一个来形成通信。
根据本公开的各种实施例，参照图13，电子设备1300可以执行用于在电子设备1300的屏幕1302上输出记录数据的再现屏幕的过程，并且可以执行用于在电子设备1300与之形成通信的外部设备1310的屏幕1312上输出控制信息和响应信息的过程。不限于此，电子设备1300可以执行用于在电子设备1300的屏幕1302上输出控制信息和响应信息的过程，并且可以执行用于在外部设备1310的屏幕1312上输出记录数据的再现屏幕的过程。根据本公开的各种实施例，电子设备1300可以执行用于在电子设备1300的屏幕1302上输出记录数据和控制信息的过程，并且可以执行用于通过外部设备1310输出响应信息的过程。根据本公开的各种实施例，电子设备1300可以执行用于通过外部设备1310仅输出多条响应信息中的至少一条响应信息的过程。例如，在将振动信息和生物计量信息存储为响应信息的状态下，电子设备1300可以执行用于通过外部设备1310仅输出振动信息的过程。另外，当外部设备1310不能处理具有振动形式的响应信息时，外部设备1310可通过输出替代信息来输出响应信息。例如，外部设备1310可以将具有振动形式的响应信息转换为具有文本、图像等的形式的响应信息，并且可以输出转换后的响应信息。
根据本公开的各种实施例的电子设备的操作方法可以包括：执行内容；确认内容的至少一部分；记录内容的至少一部分；当内容的至少一部分被记录时获取由至少一个传感器收集的附加信息；并将所收集的附加信息与记录数据相关联地存储。
根据本公开的各种实施例，由至少一个传感器收集的附加信息可以与用户的情绪信息、生物计量信息、触摸输入信息、语音命令信息和电子设备的倾斜信息之中的至少一条信息相关联。
根据本公开的各种实施例，由至少一个传感器收集的附加信息可以包括由与电子设备形成通信的外部设备获取的信息。
根据本公开的各种实施例，与记录数据相关联地存储所收集的附加信息可以包括：获取与收集附加信息的时间点相关联的时间信息；以及将该时间信息与记录数据相关联地存储。
根据本公开的各种实施例，时间信息可以与内容的再现相关联。
根据本公开的各种实施例，电子设备的操作方法可以包括当记录数据被再现时输出与再现的记录数据相关联的附加信息的至少一部分。根据本公开的实施例，电子设备的操作方法可以包括通过外部设备输出与记录数据相关联的附加信息的至少一部分。根据本公开的实施例，电子设备的操作方法可以包括当记录数据被再现时控制附加信息的输出。
根据本公开的各种实施例，电子设备的操作方法可以包括记录由至少一个传感器收集的附加信息。根据本公开的实施例，记录的附加信息与用户的输入、用户的语音、电子设备的测量的移动以及用户的生物计量信息中的至少一个相关联。
这里使用的术语“模块”可以例如是指包括硬件、软件和固件中的一个或者其中两个或更多个的组合的单元。“模块”可以与诸如“单元”、“逻辑”、“逻辑块”、“组件”或“电路”的术语互换。“模块”可以是集成组件元件的最小单元或其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。“模块”可以机械或电子方式实施。例如，根据本公开的“模块”可以包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行已知或未来将要开发的操作的可编程逻辑器件中的至少一个。
根据各种实施例，根据本公开的至少一些设备(例如，其模块或其功能)或方法(例如，操作)可以通过以编程模块形式存储在计算机可读存储介质中的命令实现。该指令当由处理器(例如，图1中所示的处理器120)执行时，可以使一个或多个处理器执行与该指令对应的功能。计算机可读存储介质可以是例如存储器130(在图1中示出)。
计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光介质(例如，光盘ROM(CD-ROM)和数字多功能盘(DVD))、磁-光介质(例如，软光盘)、硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存)等。另外，程序指令可以包括可以通过使用解释器在计算机中执行的高级语言代码以及由编译器生成的机器代码。所描述的硬件设备可以被配置为作为一个或多个软件模块运作，以便执行上述操作和方法，反之亦然。
根据本公开的编程模块可以包括一个或多个上述组件，或者可以进一步包括其他附加组件，或者可以省略上述组件中的一些。根据本公开的各种实施例的模块、编程模块或其他组件元件执行的操作可以顺序地、并行地、重复地或以试探方式执行。此外，一些操作可以根据另一顺序执行或者可以被省略，或者可以添加其他操作。
根据本公开的各种实施例的用于记录执行屏幕的方法和用于处理执行屏幕的电子设备在生成记录数据时，除了执行信息，可以附加地存储控制信息和响应信息，并且在生成记录数据的情况下可以确认内容控制情况以及用户对内容的响应。
虽然已经参考本发明的各种实施例显示和描述了本公开，但是本领域技术人员将会理解，在不脱离由所附权利要求及其等同物定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (16)

1.一种电子设备，包括：
存储器；以及
处理器，其被配置为电连接到所述存储器，
其中，所述处理器被配置为控制用于：
执行应用，
记录并存储所述应用的执行屏幕作为记录内容，
在记录应用的执行屏幕的同时，获取控制信息和响应信息，所述控制信息与控制所执行的应用的功能或操作的输入相关联，所述响应信息包括在执行应用时发生的触觉效果，
响应于获取控制信息和响应信息，与执行屏幕相关联地存储所述控制信息和响应信息作为记录内容，以及
当再现记录内容时，选择性地输出所述控制信息和响应信息中的至少一个。
2.根据权利要求1所述的电子设备，其中，所述处理器还被配置为控制用于从所述应用获取包括触觉效果的响应信息。
3.根据权利要求1所述的电子设备，其中，所述处理器还被配置为控制用于从所述电子设备或连接到所述电子设备的外部设备获取包括触觉效果的响应信息。
4.根据权利要求1所述的电子设备，其中，所述处理器还被配置为控制用于基于与所述电子设备或所述电子设备的用户有关的情况信息来关联所述触觉效果。
5.根据权利要求1所述的电子设备，其中，所述处理器还被配置为控制用于基于与通过通信模块连接到所述电子设备的外部设备有关的情况信息来关联所述触觉效果。
6.根据权利要求1所述的电子设备，其中，所述处理器还被配置为控制用于响应于对所述应用的记录命令而关联所述触觉效果。
7.根据权利要求1所述的电子设备，其中，所述处理器还被配置为控制用于：
确认与所述应用有关的属性；
当所述属性是第一指定值时，存储第一触觉信息作为触觉信息的至少一部分，所述第一触觉信息使得所述触觉效果能够按照第一值执行；以及
当所述属性是第二指定值时，存储第二触觉信息作为触觉信息的至少一部分，所述第二触觉信息使得所述触觉效果能够按照第二值执行。
8.根据权利要求1所述的电子设备，其中，所述处理器还被配置为控制用于：
在记录应用的执行屏幕的同时，使用至少一个传感器获取附加信息，并且与记录内容相关联地存储所述附加信息，
其中，所述附加信息包括用户的情绪信息、生物计量信息、触摸输入信息、语音命令信息和所述电子设备的倾斜信息中的至少一个。
9.一种用于由电子设备记录的方法，所述方法包括：
执行应用；
记录并存储所述应用的执行屏幕作为记录内容；
在记录应用的执行屏幕的同时，获取控制信息和响应信息，所述控制信息与控制所执行的应用的功能或操作的输入相关联，所述响应信息包括在执行应用时发生的触觉效果；
响应于获取控制信息和响应信息，与执行屏幕相关联地存储所述控制信息和响应信息作为记录内容；以及
当再现记录内容时，选择性地输出所述控制信息和响应信息中的至少一个。
10.根据权利要求9所述的方法，还包括：
使用至少一个传感器获取附加信息；以及
与记录内容相关联地存储所述附加信息，
其中，所述附加信息包括用户的情绪信息、生物计量信息、触摸输入信息、语音命令信息和所述电子设备的倾斜信息中的至少一个。
11.根据权利要求10所述的方法，其中，所述附加信息包括由与所述电子设备通信的外部设备获取的信息。
12.根据权利要求10所述的方法，其中，与记录内容相关联地存储附加信息包括：
获取与收集所述附加信息的时间点相关联的时间信息；以及
将所述时间信息与所述记录内容相关联地存储。
13.根据权利要求12所述的方法，其中，所述时间信息与所述内容的再现相关联。
14.根据权利要求10所述的方法，还包括：
当所述记录内容被再现时，输出与所述记录内容相关联的附加信息的至少一部分。
15.根据权利要求14所述的方法，其中，通过外部设备输出与所述记录内容相关联的附加信息的至少一部分。
16.根据权利要求14所述的方法，还包括：
当所述记录内容被再现时，控制所述附加信息的输出。
CN201680060474.2A 2015-10-15 2016-10-11 记录执行屏幕的方法和处理该方法的电子设备 Active CN108139811B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0144222 2015-10-15
KR1020150144222A KR102512840B1 (ko) 2015-10-15 2015-10-15 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
PCT/KR2016/011364 WO2017065477A1 (en) 2015-10-15 2016-10-11 Method for recording execution screen and electronic device for processing the same

Publications (2)

Publication Number Publication Date
CN108139811A CN108139811A (zh) 2018-06-08
CN108139811B true CN108139811B (zh) 2021-07-13

Family

ID=58517372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680060474.2A Active CN108139811B (zh) 2015-10-15 2016-10-11 记录执行屏幕的方法和处理该方法的电子设备

Country Status (5)

Country Link
US (1) US10122958B2 (zh)
EP (1) EP3362877A4 (zh)
KR (1) KR102512840B1 (zh)
CN (1) CN108139811B (zh)
WO (1) WO2017065477A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010116028A3 (en) * 2009-04-06 2010-12-16 Aalto-Korkeakoulusäätiö Method for controlling an electronic device using audio feedback
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
CN102682135A (zh) * 2011-03-07 2012-09-19 联想(北京)有限公司 记录信息的方法和电子设备
CN103339586A (zh) * 2011-01-24 2013-10-02 三星电子株式会社 具有触摸屏的终端及其中识别触摸事件的方法
CN103970267A (zh) * 2013-01-24 2014-08-06 英默森公司 用于触觉装置中的三维浮凸的摩擦调制
CN104375693A (zh) * 2013-08-12 2015-02-25 Lg电子株式会社 终端及其控制方法
CN104793737A (zh) * 2014-01-16 2015-07-22 意美森公司 用于内容编创的系统和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934481A (ja) 1995-07-21 1997-02-07 Sony Corp 録画再生装置
US20050062841A1 (en) 2003-09-18 2005-03-24 Rivera-Cintron Carlos A. System and method for multi-media record, distribution and playback using wireless communication
KR101670109B1 (ko) * 2009-03-12 2016-10-27 임머숀 코퍼레이션 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법
US8842969B2 (en) 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video
US9005036B2 (en) 2012-11-30 2015-04-14 Applifier Oy System and method for sharing gameplay experiences
KR102196671B1 (ko) 2013-01-11 2020-12-30 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
EP2962479B1 (en) 2013-02-28 2016-11-30 Robert Bosch GmbH Mobile electronic device integration with in-vehicle information systems
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US20150111649A1 (en) 2013-10-23 2015-04-23 Nvidia Corporation Framework to enable consumption of captured gameplay data over multiple mediums concurrently
KR102107404B1 (ko) 2013-10-30 2020-05-07 삼성전자주식회사 어플리케이션을 공유하는 전자 장치 및 그 제어 방법
JP6664069B2 (ja) 2013-12-31 2020-03-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
JP2015150172A (ja) 2014-02-13 2015-08-24 任天堂株式会社 情報共有システム、情報処理装置、プログラム及び情報共有方法
KR20150110356A (ko) * 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US9667907B2 (en) * 2014-09-13 2017-05-30 Vicente Diaz System and method for haptic integration and generation in multimedia devices
US9919208B2 (en) * 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US9734866B2 (en) * 2015-09-25 2017-08-15 Intel Corporation Perceptual computing input to determine post-production effects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
WO2010116028A3 (en) * 2009-04-06 2010-12-16 Aalto-Korkeakoulusäätiö Method for controlling an electronic device using audio feedback
CN103339586A (zh) * 2011-01-24 2013-10-02 三星电子株式会社 具有触摸屏的终端及其中识别触摸事件的方法
CN102682135A (zh) * 2011-03-07 2012-09-19 联想(北京)有限公司 记录信息的方法和电子设备
CN103970267A (zh) * 2013-01-24 2014-08-06 英默森公司 用于触觉装置中的三维浮凸的摩擦调制
CN104375693A (zh) * 2013-08-12 2015-02-25 Lg电子株式会社 终端及其控制方法
CN104793737A (zh) * 2014-01-16 2015-07-22 意美森公司 用于内容编创的系统和方法

Also Published As

Publication number Publication date
US10122958B2 (en) 2018-11-06
EP3362877A4 (en) 2018-09-12
EP3362877A1 (en) 2018-08-22
US20170111608A1 (en) 2017-04-20
KR102512840B1 (ko) 2023-03-22
WO2017065477A1 (en) 2017-04-20
CN108139811A (zh) 2018-06-08
KR20170044469A (ko) 2017-04-25

Similar Documents

Publication Publication Date Title
CN107666581B (zh) 提供视频内容的方法和支持该方法的电子装置
US10403241B2 (en) Electronic device and method for running function according to transformation of display of electronic device
CN107101665B (zh) 运动信息提供方法及支持所述方法的电子装置
CN106209964B (zh) 电子装置和用于在电子装置中控制应用的执行的方法
KR102345610B1 (ko) 스크린 미러링 서비스 제공장치 및 방법
US10996847B2 (en) Method for providing content search interface and electronic device for supporting the same
KR102360453B1 (ko) 카메라 설정 방법 및 장치
CN108028891B (zh) 电子设备和照相方法
KR20160026329A (ko) 내부 온도의 변화에 기초하여 성능을 제어하는 전자 장치 및 방법
KR102398027B1 (ko) 전자 장치의 동적 프리뷰 디스플레이 방법 및 그 전자 장치
CN109196546B (zh) 电子设备和包括该电子设备的信息处理系统
KR20160070571A (ko) 제어 방법 및 그 방법을 처리하는 전자장치
KR102252448B1 (ko) 제어 방법 및 그 방법을 처리하는 전자장치
KR20160143094A (ko) 개인 인증 전자 장치 및 방법
US10042600B2 (en) Method for controlling display and electronic device thereof
KR20160026341A (ko) 제어 방법 및 그 방법을 처리하는 전자장치
JP2020502696A (ja) 電子装置及びこれを用いたウェブページ表示方法
EP2993901A1 (en) Method for displaying images and electronic device thereof
KR20170081903A (ko) 전자 장치 및 그 동작 방법
CN106354744B (zh) 用于共享内容信息的方法及其电子设备
KR20160114434A (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법
US20170094219A1 (en) Method and electronic device for providing video of a specified playback time
KR102340251B1 (ko) 데이터 관리 방법 및 그 방법을 처리하는 전자 장치
CN108139811B (zh) 记录执行屏幕的方法和处理该方法的电子设备
CN107924546B (zh) 用于提供内容信息的方法及用于该方法的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant