CN117795940A - 电子装置以及提供电子装置的用户界面的方法 - Google Patents

电子装置以及提供电子装置的用户界面的方法 Download PDF

Info

Publication number
CN117795940A
CN117795940A CN202280054263.3A CN202280054263A CN117795940A CN 117795940 A CN117795940 A CN 117795940A CN 202280054263 A CN202280054263 A CN 202280054263A CN 117795940 A CN117795940 A CN 117795940A
Authority
CN
China
Prior art keywords
output
sound
electronic device
mode
vibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280054263.3A
Other languages
English (en)
Inventor
权正旭
金美善
朴泰旭
严贤真
金相掀
徐美罗
吴晓珉
林然旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117795940A publication Critical patent/CN117795940A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1624—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with sliding enclosures, e.g. sliding keyboard or display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268—Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/03—Constructional features of telephone transmitters or receivers, e.g. telephone hand-sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H04M19/047—Vibrating means for incoming calls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0214—Foldable telephones, i.e. with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0235—Slidable or telescopic telephones, i.e. with a relative translation movement of the body parts; Telephones using a combination of translation and other relative motions of the body parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0241—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

一种电子装置可以包括存储器、显示器、触觉模块、声音模块和处理器。该处理器可以：检测振动和声音的输出的事件；使振动的输出延迟；以及在振动的输出被延迟时，将声音输出模式从第一模式改变为用于高速输出的第二模式。该处理器可以通过在第二模式下通过使用声音模块来输出声音并且经由触觉模块输出延迟后的振动来使得声音和延迟后的振动的输出能够彼此同步。随着声音输出模式被改变为第二模式，声音输出路径可以被打开。或者，声音输出路径可以被从用于正常输出的第一路径改变为用于高速输出的第二路径。另外，其他各种实施例是可能的。

Description

电子装置以及提供电子装置的用户界面的方法
技术领域
本公开涉及电子装置以及提供电子装置的用户界面的方法。
背景技术
电子装置(例如，智能电话、移动终端、膝上型电脑、平板或可穿戴装置)可以具有诸如语音通信功能、短距离无线通信功能、移动通信功能、成像功能、内容回放功能和导航功能的各种功能。
另外，已经广泛使用具有其物理形式或尺寸可变的显示器的柔性型电子装置(例如，智能电话)。可滑动型或可折叠型电子装置可以采用能够被扩展或缩小使得能够满足对大屏幕和便携性二者的需求的显示器。例如，当电子装置处于滑入状态或折叠状态时，显示器可以被缩小，从而维持便携性。当电子装置处于滑出状态或展开状态时，显示器可以被扩展，从而提供宽屏幕。
随着电子装置具有改进的性能、增加的可用性和多样化的功能或结构，用户界面的重要性也与日俱增。
发明内容
技术问题
当电子装置使用不同类型的界面(例如，振动和声音)时，可能难以实现它们之间的协调交互。
例如，不同的硬件用于输出振动和声音，并且不同的软件逻辑用于处理、应对或输出不同类型的数据(振动数据和声音数据)，因此同步可能是困难的。如果同步失败，则振动和声音可能在没有被协调的情况下被分开地输出。
如果同步失败，则电子装置可能无法以高效方式在精确定时向用户传递有用的信息。
此外，彼此不协调进而不自然的用户界面可能使用户的兴趣、沉浸感或注意力降级，因为它们与用户在现实世界中的感觉或动作或电子装置的实际情形无关。
本公开的各种实施例可以实现不同类型的用户界面之间的协调交互，从而传递自然、高度沉浸式和愉悦的体验，或者改进操纵可用性。
本公开的各种实施例可以改进不同类型的用户界面之间的同步性能，从而以专注且直观的方式向用户传递有用的信息。
本公开的各种实施例可以实时地将柔性型电子装置或对应电子装置的机械状态的变化反映在使用柔性型电子装置或对应电子装置的用户的动作中，使得生动、逼真和愉悦的体验被传递给用户。
技术方案
一种根据各种实施例的电子装置可以包括：存储器；显示器；触觉模块，该触觉模块包括触觉电路；声音模块，该声音模块包括音频电路；以及至少一个处理器。该至少一个处理器可以可操作地连接到存储器、显示器、触觉模块和声音模块。存储器可以存储有指令，这些指令在被运行时，使至少一个处理器：检测振动和声音的输出的事件；使振动的输出延迟；在振动的输出被延迟时，将声音输出模式从第一模式改变为用于快速输出的第二模式；在第二模式下使用声音模块来输出声音；以及通过触觉模块来输出延迟后的振动，以使声音和延迟后的振动的输出同步。
一种根据各种实施例的提供电子装置的用户界面的方法可以包括：检测振动和声音的输出的事件；使振动的输出延迟；在振动的输出被延迟时，将声音输出模式从第一模式改变为用于快速输出的第二模式；在第二模式下使用声音模块来输出声音；以及输出延迟后的振动，以使声音和延迟后的振动的输出同步。
有益效果
根据各种实施例，可以实现不同类型的用户界面之间的协调交互，从而传递自然、高度沉浸式和愉悦的体验，或者改进操纵可用性。
根据各种实施例，可以改进不同类型的用户界面之间的同步性能，从而以专注且直观的方式向用户传递有用的信息。
根据各种实施例，可以实时地将柔性型电子装置或对应电子装置的机械状态的变化反映在使用柔性型电子装置或对应电子装置的用户的动作中，使得生动、逼真和愉悦的体验被传递给用户。
可以提供通过本公开显式地或隐式地识别的各种其他有益效果。
附图说明
图1是示出了根据各种实施例的网络环境100中的电子装置101的框图。
图2是示出了根据实施例的电子装置的框图。
图3是示出了根据实施例的电子装置的层次结构的框图。
图4是示出了根据实施例的提供电子装置的用户界面的方法的流程图。
图5是示出了根据另一实施例的提供电子装置的用户界面的方法的流程图。
图6是示出了根据实施例的电子装置中的振动和声音的输出结果的定时图。
图7是示出了根据实施例的电子装置中的振动、声音和视觉元素的输出结果的定时图。
图8是示出了根据实施例的在电子装置中切换声音输出模式的操作的流程图。
图9是示出了根据实施例的在电子装置中打开声音输出路径的操作的流程图。
图10是示出了根据实施例的在电子装置中使振动延迟的操作的流程图。
图11a、图11b、图11c、图11d和图11e是示出了根据实施例的提供电子装置的用户界面的方法的图。
图12a和图12b是示出了根据另一实施例的提供电子装置的用户界面的方法的图。
图13a、图13b和图13c是示出了根据另一实施例的提供电子装置的用户界面的方法的图。
关于附图的描述，相同或类似的附图标记可以用于相同或类似的部件。
具体实施方式
在下文中，将参照附图描述各种实施例。
图1是示出了根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可以经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可以经由服务器108与电子装置104进行通信。根据实施例，电子装置101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可以从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可以将一个或更多个其他部件添加到电子装置101中。在一些实施例中，可以将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个部件(例如，显示模块160)。
处理器120可以运行例如软件(例如，程序140)来控制电子装置101的与处理器120耦接的至少一个其他部件(例如，硬件部件或软件部件)，并且可以执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可以将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储在易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并且将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可以被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可以将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可以控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可以与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可以将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可以包括专用于人工智能模型处理的硬件结构。可以通过机器学习来生成人工智能模型。例如，可以通过人工智能模型被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可以包括除了硬件结构以外的软件结构。
存储器130可以存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可以包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
可以将程序140作为软件存储在存储器130中，并且程序140可以包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可以从电子装置101的外部(例如，用户)接收将由电子装置101的另一部件(例如，处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可以将声音信号输出到电子装置101的外部。声音输出模块155可以包括例如扬声器或接收器。扬声器可以用于诸如播放多媒体或播放唱片的通用目的。接收器可以用于接收呼入呼叫。根据实施例，可以将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可以向电子装置101的外部(例如，用户)视觉地提供信息。显示模块160可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可以包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可以将声音转换为电信号，反之亦可。根据实施例，音频模块170可以经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)耦接或无线耦接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可以检测电子装置101的工作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持将用来使电子装置101与外部电子装置(例如，电子装置102)耦接(例如，有线地)或无线耦接的一个或更多个特定协议。根据实施例，接口177可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可以包括连接器，其中，电子装置101可以经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可以将电信号转换为可以被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可以包括例如电机、压电元件或电刺激器。
相机模块180可以捕获静止图像或运动图像。根据实施例，相机模块180可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可以管理对电子装置101的供电。根据实施例，可以将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可以对电子装置101的至少一个部件供电。根据实施例，电池189可以包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可以支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并且经由建立的通信信道执行通信。通信模块190可以包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并且支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可以经由第一网络198(例如，短距离通信网络，诸如蓝牙TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可以将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或者可以将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可以使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可以支持在4G网络之后的5G网络以及下一代通信技术(例如新无线(NR)接入技术)。NR接入技术可以支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低时延通信(URLLC)。无线通信模块192可以支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可以支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可以支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面时延(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可以将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可以包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可以包括多个天线(例如，阵列天线)。在这种情况下，可以由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可以经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另一部件(例如，射频集成电路(RFIC))可以附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可以形成毫米波天线模块。根据实施例，毫米波天线模块可以包括印刷电路板、RFIC和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可以经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互耦接并且在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可以经由与第二网络199耦接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可以在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应当自动执行功能或服务或者应当响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可以执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可以在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可以使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可以使用例如分布式计算或移动边缘计算来提供超低时延服务。在另一实施例中，外部电子装置104可以包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可以被包括在第二网络199中。电子装置101可以应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应当理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，类似的参照标号可以用来指代类似或相关的元件。将理解的是，与项相应的单数形式的名词可以包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可以用于将相应部件与另一部件进行简单区分，并且不在其他方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)耦接”、“耦接到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可以与所述另一元件直接(例如，有线地)耦接、与所述另一元件无线连接、或经由第三元件与所述另一元件耦接。
如与本公开的各种实施例关联使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并且可以与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可以将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在机器(例如，电子装置101)的处理器(例如，处理器120)的控制下，该处理器可以在使用或无需使用一个或更多个其他部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来分发计算机程序产品，或者可以经由应用商店(例如，PlayStoreTM)在线分发(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线分发的，则计算机程序产品中的至少部分可以是临时产生的，或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可以包括单个实体或多个实体，并且多个实体中的一些实体可以分离地设置在不同的部件中。根据各种实施例，可以省略上述部件中的一个或更多个部件，或者可以添加一个或更多个其他部件。可选地或者另外地，可以将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可以仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或类似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可以顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可以按照不同的顺序来运行或被省略，或者可以添加一个或更多个其他操作。
图2是示出了根据实施例的电子装置的框图。
在实施例中，电子装置200可以包括图1中示出的电子装置101的至少一部分。
参照图2，电子装置200可以包括处理器(例如，包括处理电路)210、存储器220、显示器230、触觉模块(例如，包括触觉电路)240和声音模块(例如，包括音频电路)250。例如，图2的处理器210、存储器220、显示器230和触觉模块240可以分别对应于图1的处理器120、存储器130、显示模块160和触觉模块179。图2的声音模块250可以包括图1的音频模块170和声音输出模块155的至少一部分。
除了图2中示出的部件之外，电子装置200还可以包括附加部件。图2中示出的部件中的至少一个部件可以被省略。
电子装置200中包括的处理器210、存储器220、显示器230、触觉模块240和声音模块250可以彼此电连接和/或可操作地连接以交换信号(例如，命令或数据)。
在实施例中，处理器210可以包括至少一个处理器。例如，处理器210可以包括应用处理器(AP)(例如，图1的主处理器121)和通信处理器(CP)(例如，辅助处理器123)中的至少一者。
处理器210可以运行和/或控制由电子装置200支持的各种功能。处理器210可以控制存储器220、显示器230、触觉模块240和声音模块250中的至少一些。可以执行通过控制指定的功能(或逻辑)。
处理器210可以通过运行存储在电子装置200的存储器220中的用编程语言编写的代码来运行应用，并且可以控制各种类型的硬件。
在实施例中，随着存储在存储器220中的指令被运行，可以执行处理器210的操作。处理器210可以运行存储在存储器220中的指令，以执行指定的功能(或逻辑)。
在实施例中，显示器230、触觉模块240和/或声音模块250中的每一者可以是用于提供指定类型的用户界面(UI)的输出模块。不同类型的用户界面可以通过显示器230、触觉模块240和/或声音模块250被输出。
在实施例中，作为听觉用户界面的声音可以通过声音模块250被输出(或再现)。对应于触觉用户界面的振动可以通过触觉模块240被输出(或再现)。
在实施例中，可以通过声音模块250与触觉模块240之间的组合来输出混合用户界面。
在一些实施例中，作为视觉用户界面的视觉元素可以通过显示器230被另外地输出(例如，显示)。视觉元素可以包括通过显示器230显示的图形元素(例如，动画)和由显示器230的点亮表达的调光元素中的至少一者。例如，图形元素可以包括能够通过显示器230输出(或显示)的所有种类的元素，诸如动画、图标、菜单、消息窗口、图像或画面。调光元素可以是能够通过针对显示器230的点亮的调光控制来表达的元素。例如，调光元素可以是实现显示器230的屏幕接通、屏幕亮度增加和屏幕闪烁中的任何一者的元素。
在一些实施例中，混合用户界面可以通过显示器230、声音模块250与触觉模块240之间的组合被输出。
在实施例中，处理器210可以通过消除不同类型的用户界面之间(例如，振动与声音之间或振动、声音与视觉元素之间)的输出偏差来使输出定时同步。
例如，处理器210可以使诸如振动和声音的两种类型的用户界面的输出同步。作为另一示例，处理器210可以使诸如振动、声音和视觉元素的三种类型的用户界面的输出同步。
在实施例中，处理器210可以检测用于输出振动和声音的事件。处理器210可以使振动的输出延迟。例如，处理器210可以使振动输出定时(或振动开始定时)延迟指定的偏移(例如，70ms至80ms)，使得振动在声音输出定时(或声音开始定时)开始。
处理器210可以在振动的输出被延迟时，将声音输出模式从第一模式改变为用于快速输出的第二模式。
例如，随着声音输出模式被改变为第二模式，声音输出路径可以被打开，使得声音模块250可以被激活。又如，随着声音输出模式被改变为第二模式，声音输出路径可以被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
取决于实施例，声音输出模式被从第一模式改变为第二模式的定时可以是不同的。例如，根据电子装置200的操作场景，对应定时可以是不同的。
例如，处理器210可以响应于事件(或者紧接在事件发生之后)将声音输出模式改变为用于快速输出的第二模式。在这种情况下，改变为第二高速模式的定时可以对应于事件发生的定时(例如，在预定偏移{例如，±30ms}内)。随着声音输出模式响应于事件被改变为第二模式，声音输出路径可以被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
又如，处理器210可以响应于事件的前期事件(pre-event)将声音输出模式改变为用于快速输出的第二模式。在这种情况下，改变为第二高速模式的定时可以对应于前期事件发生的定时(例如，在预定偏移{例如，±30ms}内)，并且声音输出的定时可以对应于事件发生的定时(例如，在预定偏移{例如，±30ms}内)。随着声音输出模式响应于前期事件被改变为第二模式，可以打开声音输出路径，并且可以首先激活声音模块250，然后可以响应于事件通过已激活的声音模块250发送声音。
当声音输出路径被打开和/或作为用于声音输出的硬件元件的声音模块250被提前激活时，可以通过将声音输出所需要的时间减少预定值(例如，100ms)或更多来改进同步性能。
在实施例中，电子装置200的声音输出进展状态可以根据声音输出的进展程度被从待机状态顺序地切换到就绪状态、空闲状态和播放状态。在这种情况下，随着声音输出进展状态紧接在播放声音之前被切换到空闲状态，用于请求输出延迟后的振动的信号可以被从声音输出路径发送到振动输出路径。
声音输出路径可以在发送信号之后继续声音输出的过程。振动输出路径可以使振动延迟，并且可以响应于信号来输出延迟后的振动。因此，可以改进振动与声音之间的同步性能。
在实施例中，当声音输出模式是作为非快速输出模式的第一模式时，可以使用第一缓冲器(用于非快速输出的缓冲器)。当声音输出模式是第二模式时，第二缓冲器(用于快速输出的缓冲器)可以用于快速输出。第二缓冲器与第一缓冲器比可以具有更小的尺寸或时延。
在实施例中，处理器210可以在第二模式下使用声音模块250来输出声音，并且可以通过触觉模块240来输出延迟后的振动，使得声音的输出和延迟后的振动的输出能够被同步。
在一些实施例中，电子装置200可以检测用于输出振动、声音和视觉元素的事件。在这种情况下，电子装置200可以另外地执行用于使视觉元素的输出与振动和声音的输出同步的操作。例如，电子装置200可以使视觉元素(例如，动画)的输出定时移位。另外，电子装置200可以使振动的输出延迟，并且可以在振动的输出被延迟时打开声音输出路径的至少一部分，或者可以将声音输出模式从非快速输出模式(例如，第一模式)改变为快速输出模式(例如，第二模式)。电子装置200可以使用已打开的声音输出路径和快速输出模式中的至少一者通过声音模块250来输出声音，可以通过触觉模块240来输出延迟后的振动，并且可以通过显示器230来输出视觉元素以对应于移位后的输出定时，使得延迟后的振动的输出和视觉元素的输出能够被同步。
根据实施例，电子装置200可以在需要物理反馈(例如，作为触觉反馈的振动、作为听觉反馈的声音和/或作为视觉反馈的视觉元素的至少一些组合)的各种情形下通过同步来实现协调交互。
图3是示出了根据实施例的电子装置的层次结构的框图。
参照图3，电子装置200可以包括硬件层310、内核层320、抽象层330(硬件抽象层，HAL)、框架层340和应用层350。
在实施例中，硬件层310可以包括扬声器251、电机241和显示器230。硬件层310的每个部件可以被实现为物理上分离的硬件。例如，扬声器251可以被包括在图2的声音模块250中。电机241可以被包括在图2的触觉模块240中。显示器230可以对应于图2的显示器230。
内核层320、抽象层330、框架层340和/或应用层350的每个部件可以被实现为将被存储在电子装置200的存储器220中的固件和/或软件。例如，电子装置200的处理器210可以运行存储在存储器220中的指令以操作每个部件。或者，每个部件可以随着存储在存储器220中的指令被运行而工作。
内核层320、抽象层330、框架层340和/或应用层350的部件可以控制硬件层310的部件中的至少一者(例如，扬声器251、电机241和显示器230中的至少一者)，或者可以通过对应部件执行指定的功能(或逻辑)。
内核层320可以包括音频驱动器321、振动驱动器323和显示驱动器325。
HAL 330可以包括音频HAL 331、振动HAL 333和显示HAL 335。
框架层340可以包括音频服务341、音频管理器342、振动服务343、系统振动器344、图形框架345和图形表面346。
交互模块300可以配置在HAL 330与框架层340之间。例如，构成交互模块300的指令可以被存储在存储器220中，并且可以由处理器210运行。交互模块300可以用于不同类型的用户界面(例如振动、声音和图形)之间的同步。交互模块300可以与HAL 330和框架层340互通以进行同步操作。例如，交互模块300的一部分可以在HAL 330中实现，以与HAL 330内的音频HAL 331、振动HAL 333和显示HAL 335互通。交互模块300的另一部分可以在框架层340中实现，以与框架层340内的音频服务341、振动服务343和图形框架345互通。
应用层350可以包括一个或更多个应用或一个或更多个应用部件。例如，应用层350可以包括具有电力UI模块352和键盘模块353的应用351以及包括时间选择器(picker)模块356和滚动UI模块357的应用355。
附图标记365可以指示原始数据(例如，命令、信号和/或数据)的流。原始数据可以是非同步数据。例如，原始数据可能未经过交互模块300。例如，当振动、声音和图形的输出未被同步时，可以省略音频服务341、振动服务343和/或图形框架345之间的输出的同步操作。在这种情况下，可以分开地处理从音频服务341输出的第一数据、从振动服务343输出的第二数据和从图形框架345输出的第三数据。第一数据、第二数据和第三数据可以在没有同步过程的情况下分别被发送到音频HAL 331、振动HAL 333和显示HAL 335。
附图标记361可以指示同步数据(例如，命令、信号和/或数据)的流。例如，同步数据可以通过交互模块300。例如，当振动、声音和图形的输出被同步时，可以运行音频服务341、振动服务343和/或图形框架345之间的输出的同步操作。在这种情况下，从音频服务341输出的第一数据、从振动服务343输出的第二数据和从图形框架345输出的第三数据可以经历交互。第一数据、第二数据和第三数据可以被同步，并且在基本上相同的定时被发送到音频HAL 331、振动HAL 333和显示HAL 335。
由此，可以能够使通过扬声器251的声音输出定时、通过电机241的振动输出定时和/或通过显示器230的视觉元素输出定时同步。
图4是示出了根据实施例的提供电子装置的用户界面的方法的流程图。图4的实施例可以对应于用于振动与声音之间同步的方法。
参照图4，根据实施例的提供电子装置的用户界面的方法可以包括操作410、420、430和440。该方法可以由电子装置(例如，图1的电子装置101、图2的电子装置200或图2的处理器210)执行。为了方便，假定该方法的每个操作由图2的电子装置200执行。然而，本公开不限于此。在各种实施例中，可以省略所示出的操作中的至少一个操作，可以改变一些操作的次序，或者可以添加其他操作。
在操作410中，电子装置300可以检测事件。
在实施例中，事件可以是针对其需要不同类型的用户界面的事件。事件可以是针对其实时地需要物理反馈(触觉反馈和听觉反馈)的事件。事件可以是用于输出振动和声音的事件。
例如，事件可以是用户输入事件。用户输入事件可以是根据用户的物理操纵动作而发生的事件。例如，用户输入事件可以是手势交互事件。例如，用户输入事件可以是图11d的滚动事件、图11e的触摸事件、图12a和图12b的触摸事件、图13a的手写事件、图13b的铰链事件、图13a和图13b的折叠事件或展开事件、图13c的滑动事件、控制事件、键盘事件和切换(开启、关闭)事件中的任何一者。
又如，事件可以是线索事件。队列事件可以是用于信息传送的信令事件。例如，队列事件可以是状态转变事件(例如，图11a的充电器连接事件)、通知警告、错误、失败和成功中的任何一者的事件(例如，图11b的认证错误事件)、通知事件、引导事件(例如，图11c中的引导事件)、情感事件(例如，庆祝)、警报事件或来电事件中的任何一者。
在实施例中，电子装置200可以调节振动和声音的输出定时，以使具有不同输出持续时间的声音和振动同步。电子装置200可以调节诸如声音输出定时和振动输出定时的两个因素中的一者或更多者。
操作420和430可以用于使振动和声音的输出同步。
在电子装置200中，输出声音所需要的时间(例如，200ms至300ms)可以比输出振动所需要的时间(例如，50ms)长。与声音输出过程相比，振动输出过程可以在更短的时间(例如，50ms)内完成。因此，电子装置200可以通过使振动延迟并且响应于声音输出定时输出振动来使振动和声音的输出同步。
操作420中，电子装置200可以使振动的输出延迟。输出振动的定时可以由于延迟而移位。例如，电子装置200可以应用指定的偏移(例如，70ms至80ms)以使振动输出定时(或振动开始定时)延迟(或移位)了偏移，由此控制振动在声音输出定时(或声音开始定时)被一起输出。因此，振动输出定时可以被延迟，使得可以改进振动与声音之间的同步性能。
在操作430中，电子装置200可以在振动的输出被延迟时，将声音输出模式从用于非快速输出的第一模式改变为用于快速输出的第二模式。因此，可以使声音输出定时提前，使得可以改进振动与声音之间的同步性能。
在第一模式下，声音可以通过非快速输出路径(例如，图8的第一路径810)被输出。非快速输出路径可以是针对声音输出指定的默认路径。非快速输出路径可以包括用于声音输出的硬件部件(例如，图2的声音模块250和图3的扬声器251)。
在第二模式下，声音输出路径可以在事件发生之前被提前打开，或者可以被从非快速输出路径改变为快速输出路径(例如，图8的第二路径820)。
例如，随着声音输出模式被改变为第二模式，电子装置200可以打开声音输出路径以激活声音模块250。声音输出路径的打开定时可以对应于事件发生(例如，前期事件发生)之前的定时。
又如，随着声音输出模式被改变为第二模式，电子装置200可以将声音输出路径从用于非快速输出的第一路径(例如，图8中的第一路径810)改变为用于快速输出的第二路径(例如，图8的第二路径820)。第二路径可以是通过跳过第一路径的至少一部分或缩短第一路径而获得的路径。或者，出于快速输出的目的，第二路径可以包括与第一路径不同的部件(例如，图8的第二缓冲器825)。
在实施例中，将如下更详细地描述通过打开声音输出路径以激活声音模块250来使振动和声音同步的方法。
电子装置200上的声音输出过程可以包括多个步骤。随着声音输出过程以逐步方式进展，电子装置200的声音输出进展状态可以被顺序地切换。随着声音输出过程以逐步方式进展，声音数据可以被从声音输出路径的开始(例如，图3的应用351或355)顺序地发送到其结束(例如，图2的声音模块250或图3的扬声器251)。例如，电子装置200的声音输出进展状态可以被顺序地切换到四种状态，即，待机状态、就绪状态、空闲状态和播放状态。
待机状态可以是其中提供声音数据(或声音流)并且用于声音输出的硬件元件(例如，声音模块250和扬声器251)被停用的状态。
就绪状态可以是其中提供声音数据并且用于声音输出的硬件元件被停用、但是在电子装置200中开始任意操作(例如，事件发生或者省电模式被释放)的状态。
空闲状态可以是其中提供声音数据并且用于声音输出的硬件元件被激活的状态。
播放状态可以是其中提供声音数据、用于声音输出的硬件元件被激活、并且电子装置200正在工作的状态(例如，其中声音正被再现的状态)。
如上所述，当以逐步方式执行电子装置200的声音输出过程时，在用于声音输出的硬件元件(例如，声音模块250和扬声器251)被激活之前可能花费大量时间。由此，与振动输出所需要的时间(例如，50ms)相比，声音输出所需要的时间(例如，200ms至300ms)可以是相对长的。与振动输出定时相比，声音输出定时可以被相对地延迟。
电子装置200可以在比声音输出定时更早的定时激活用于声音输出的硬件元件(例如，声音模块250和扬声器251)，使得在必要时，可以在没有硬件元件的激活过程的情况下立即输出声音。
在操作440中，电子装置200可以在第二模式下使用声音模块250来输出声音，并且可以通过触觉模块240来输出延迟后的振动，使得声音的输出和延迟后的振动的输出可以被同步。
随着电子装置200的声音输出模式被从用于非快速输出的第一模式改变为用于快速输出的第二模式，声音输出路径可以被打开或者声音输出路径可以被从用于非快速输出的第一路径(例如，图8的第一路径810)改变(例如，跳过或缩短)为用于快速输出的第二路径(例如，图8的第二路径820)。例如，当声音输出路径被打开时，声音输出所需要的时间可以减少大约100ms，使得振动和声音可以被同步。作为另一示例，当声音输出路径被改变(例如，跳过或缩短)时，声音输出所需要的时间可以减少大约90ms，使得振动和声音可以被同步。
在实施例中，电子装置200可以响应于对应事件(或者紧接在事件发生之后)将声音输出模式改变为用于快速输出的第二模式。随着声音输出模式被改变为第二模式，声音输出路径可以被打开以激活声音模块250，并且声音可以通过已激活的声音模块250被输出。例如，电子装置200可以响应于事件发生的定时执行打开声音输出路径的操作和通过已打开的声音输出路径来输出声音的操作。
在另一实施例中，电子装置200可以响应于事件的前期事件将声音输出模式改变为用于快速输出的第二模式。随着声音输出模式响应于前期事件被改变为第二模式，声音输出路径可以被打开并且声音模块250可以被激活。此后，电子装置200可以通过响应于事件而激活的声音模块250来输出声音。例如，电子装置200可以响应于前期事件发生的第一定时打开声音输出路径，然后可以响应于事件发生的第二定时通过已打开的声音输出路径来输出声音。
在实施例中，电子装置200中的声音输出进展状态可以被从待机状态顺序地切换到就绪状态、空闲状态和播放状态。随着声音输出进展状态被切换到空闲状态，请求输出延迟后的振动的信号可以被从声音输出路径发送到振动输出路径。
声音输出路径可以将请求输出延迟后的振动的信号发送到振动输出路径，并且可以立即切换到播放状态来输出声音，并且振动输出路径可以在接收到信号时输出延迟后的振动。
以这种方式，电子装置200可以执行花费相对长时间的声音输出过程的至少一部分(例如，直至空闲状态)，然后可以执行花费相对短时间的振动输出过程，从而实现振动与声音之间的同步。
在实施例中，当声音输出模式是用于快速输出的第一模式时，可以使用第一缓冲器(例如，图8的第一缓冲器815)。当声音输出模式是用于快速输出的第二模式时，可以使用第二缓冲器(例如，图8的第二缓冲器825)。第二缓冲器与第一缓冲器比可以具有更小的尺寸或时延。
图5是示出了根据另一实施例的提供电子装置的用户界面的方法的流程图。图5可以对应于用于振动、声音和视觉元素之间同步的方法。
参照图5，根据实施例的提供电子装置的用户界面的方法可以包括操作510、520和530。该方法可以由电子装置(例如，图1的电子装置101、图2的电子装置200或图2的处理器210)执行。为了方便，假定该方法的每个操作由图2的电子装置200执行，但是本公开不限于此。在各种实施例中，可以省略所示出的操作中的至少一个操作，可以改变一些操作的次序，或者可以添加其他操作。
图5的操作中的一些可以对应于图4的操作。例如，操作510可以对应于图4的操作410。操作521可以对应于操作420。操作522和/或操作523可以对应于操作430。操作530可以对应于操作440。
在操作510中，电子装置200可以检测事件。例如，事件可以是用于输出振动、声音和视觉元素的事件。
操作520可以用于使振动、声音和视觉元素的输出同步。操作520可以包括操作521、522、523和524中的至少一者。
电子装置200可以执行操作521、522、523和524中的至少一者，以使振动、声音和视觉元素的输出同步。
在操作521中，电子装置200可以使振动的输出延迟。振动输出的定时可以由于延迟而移位。
操作522和523可以用于将声音输出模式从用于非快速输出的第一模式改变为用于快速输出的第二模式。例如，随着声音输出模式被改变为第二模式，声音输出路径可以被打开。作为另一示例，随着声音输出模式被改变为第二模式，声音输出路径可以被从用于非快速输出的第一路径改变为用于快速输出的第二路径。第二路径可以是通过跳过第一路径的至少一部分或缩短第一路径而获得的路径。或者，第二路径可以包括与第一路径不同的部件。
随着声音输出模式被从第一模式改变为第二模式，可以使声音输出定时提前，使得与振动输出定时和/或视觉元素的输出定时的同步可以是可能的。
在操作522中，电子装置200可以打开用于声音快速输出的声音输出路径，以激活用于声音输出的硬件元件(例如，图2的声音模块250或图3的扬声器251)。
在操作523中，电子装置200可以被配置为出于声音的快速输出的目的，将声音输出路径从用于非快速输出的第一路径改变为用于快速输出的第二路径。例如，第二路径可以是通过跳过第一路径的至少一部分或缩短第一路径而获得的路径。作为另一示例，第二路径可以包括与第一路径不同的部件。
在操作524中，电子装置200可以使视觉元素的输出定时移位，以便与振动和声音同步。
在实施例中，视觉元素可以包括图形元素(例如，动画)和调光元素中的一者或更多者。例如，图形元素可以包括能够通过显示器230输出(或显示)的所有种类的元素，诸如动画、图标、菜单、消息窗口、图像和画面。调光元素可以是能够通过针对显示器230的点亮的调光控制来表达的元素。例如，调光元素可以是实现显示器230的屏幕接通、屏幕亮度增加和屏幕闪烁中的任何一者的元素。
例如，电子装置200可以使视觉元素的输出定时移位(例如，延迟或提前)，以对应于振动输出定时和/或声音输出定时。
在实施例中，视觉元素的输出定时可以对应于生成用于输出视觉元素的触发信号的定时。电子装置200可以根据振动输出定时和/或声音输出定时来生成用于输出视觉元素的触发信号。例如，可以响应于触发信号通过显示器230来显示视觉元素(例如，动画)。
在实施例中，电子装置200可以在通过显示器230来显示视觉元素时，通过控制显示器230的调光来调节亮度(或屏幕亮度)。例如，响应于触发信号，可以同时执行通过显示器230对视觉元素的显示和对显示器230的亮度调节。
在实施例中，电子装置200可以在操作521中使振动的输出延迟，并且可以执行操作522、523和524中的至少一者，以在振动的输出被延迟时使声音输出定时和视觉元素的输出定时与振动输出定时同步。
在操作530中，电子装置200可以在用于快速输出的第二模式下使用声音模块250来输出声音，可以通过触觉模块240来输出延迟后的振动，并且可以通过显示器230来输出视觉元素以对应于移位后的输出定时，使得声音、延迟后的振动和视觉元素的输出可以被同步。
图6是示出了根据实施例的电子装置中的振动和声音的输出结果的定时图。
附图标记610是示出了根据比较例的电子装置中的振动和声音的输出结果的定时图。附图标记611表示振动的输出波形。附图标记612表示声音的输出波形。
在610的定时图中，TA1是事件发生的第一定时。TA2是作为振动开始定时的第二定时。TA3或TA3'是作为声音开始定时的第三定时。
根据比较例，由于振动开始定时TA2和声音开始定时TA3或TA3'是不同的，所以在两个定时之间可能出现偏差，因此可以异步地输出振动和声音。声音输出所需要的时间(例如，200ms至300ms)可以对应于从作为事件发生定时的第一定时TA1到作为声音开始定时的第三定时TA3或TA3'的时间间隔。振动输出所需要的时间(例如，50ms)可以对应于从作为事件发生定时的第一定时TA1到作为振动开始定时的第二定时TA2的时间间隔。输出振动所需要的时间可以比输出声音所需要的时间短。
在声音输出定时TA3和TA3'之间也可能存在偏差(例如，100ms)。例如，当电子装置处于未在播放音乐的第一状态时，声音输出定时可以是TA3。当电子装置处于正在播放音乐的第二状态时，声音输出定时可以是可以比在第一状态下更早的TA3'。
电子装置的声音输出进展状态可以被划分成待机状态621、就绪状态622、空闲状态623和播放状态624。如示出的，当事件发生时，可以顺序地控制振动的输出和声音的输出。在这种情况下，在声音输出之前处于就绪状态622和空闲状态623的段可以被延长，使得在振动与声音之间可能出现输出偏差。
根据比较例，当事件发生时，振动和声音可以被分开地输出，或者可以在没有相互交互的情况下被单独地控制。由于振动输出所需要的时间(例如，50ms)比声音输出所需要的时间(例如，200至300ms)短预定值，所以可能出现大的输出偏差。在振动输出定时TA2与声音输出定时TA3或TA3'之间可能出现偏差。
如示出的，当在第一定时TA1发生事件时，可以在第二定时TA2(例如，在TA1+50ms内)输出振动，然后声音可以在第三定时TA3或TA3′开始。在振动结束定时与声音开始定时TA3之间可能存在一定偏差，或者振动和声音可以被异步地输出。
附图标记650是示出了根据实施例的电子装置200中的振动和声音的输出结果的定时图。附图标记661表示振动的输出波形。附图标记662表示声音的输出波形。
在附图标记650的定时图中，TB1是作为事件发生定时的第一定时。TB2是作为振动输出定时(或振动开始定时)的第二定时。TB3是作为声音输出定时(或声音开始定时)的第三定时。
当在第一定时TB1发生事件时，可以从被从附图标记610的第二定时TA2延迟了指定偏移(例如，70ms至80ms)之后的第二定时TB2输出振动。声音可以被与振动同时输出。声音的输出可以在与第二定时TB2同步的第三定时TB3开始。第三定时TB3可以是与第二定时TB2基本上相同的定时(例如，在TB2±30ms内)。
根据实施例，当事件发生时，可以将振动和声音控制为彼此交互。电子装置200可以进行控制，使得在振动输出定时TB2与声音输出定时TB3之间没有显著偏差。
电子装置200的声音输出进展状态可以被划分成待机状态671、就绪状态672、空闲状态673和播放状态674。
例如，待机状态671可以是事件发生之前的状态。就绪状态672和空闲状态673可以是其中声音的输出被保留的状态。空闲状态673可以在预定时间(例如，10ms)内存在，或者可以基本上不存在。播放状态674可以是其中声音被输出的状态。
例如，待机状态671可以是其中提供声音数据(或声音流)并且用于声音输出的硬件元件(例如，声音模块250和扬声器251)被停用的状态。就绪状态672可以是其中提供声音数据并且用于声音输出的硬件元件被停用、但是在电子装置200中开始任意操作(例如，事件发生或者省电模式被释放)的状态。空闲状态673可以是其中提供声音数据并且用于声音输出的硬件元件被激活的状态。播放状态674可以是其中提供声音数据、用于声音输出的硬件元件被激活、并且电子装置200正在工作(例如，正在播放声音)的状态。
根据实施例，当事件发生时，可以并行地控制振动和声音的输出。与就绪状态672和/或空闲状态673相对应的段可以被缩短，使得可以解决振动与声音之间的输出偏差。
根据实施例，电子装置200可以通过向振动输出分配延迟时间(例如，70ms至80ms)来使振动输出定时延迟以进行同步。例如，振动输出定时可以被从附图标记610的第二定时TA2移位(延迟)到附图标记650的第二定时TB2。
或者，电子装置200可以使声音输出定时TB3提前，以减少声音输出所需要的时间。例如，声音输出定时可以被从附图标记610的第三定时TA3或TA3'移位(提前)到附图标记650的第三定时TB3。
根据实施例，当在第一定时TB1发生事件时，可以在提前了指定偏移的定时输出声音。例如，可以通过使对应定时从附图标记610的第三定时TA3或TA3'提前指定偏移(例如，90ms至100ms)来从附图标记650的第三定时TB3开始输出声音。例如，电子装置200可以打开声音输出路径(例如，图4的操作430或图5的操作522)以便使声音输出定时TB3提前，或者可以将声音输出路径从用于声音非快速输出的第一路径改变为用于声音快速输出的第二路径(例如，图4的操作430或图5的操作523)。例如，通过打开声音输出路径的图5的操作522，声音输出定时可以被缩短了大约100ms，或者通过改变声音输出路径的图5的操作523，声音输出定时可以被缩短了大约90ms。例如，用于快速输出的第二路径可以是通过跳过用于非快速输出的第一路径的至少一部分或者缩短第一路径而获得的路径。又如，第二路径可以包括与第一路径不同的部件。
因此，当事件发生时，作为不同类型的界面的振动和声音可以被同步。
图7是示出了根据实施例的电子装置中的振动、声音和视觉元素的输出结果的定时图。
附图标记710是示出了根据比较例的电子装置中的振动、声音和视觉元素的输出结果的定时图。附图标记711表示振动的输出波形。附图标记712表示声音的输出波形。附图标记713表示视觉元素的信号的输出波形。
在附图标记710的定时图中，TA1是事件发生的第一定时。TA2是作为振动输出定时(或振动开始定时)的第二定时。TA3或TA3'是作为声音输出定时(或声音开始定时)的第三定时。TA4是视觉元素的输出定时。
根据比较例，由于振动输出定时TA2、声音输出定时TA3或TA3'和视觉元素输出定时TA4彼此不同，所以在对应定时之间可能出现偏差，因此振动、声音和视觉元素可能被异步地输出。
与振动相比，电子装置可能需要长时间来处理和/或输出声音数据。声音输出所需要的时间(例如，200ms至300ms)可以比振动输出所需要的时间(例如，50ms)长。在710的定时图中，声音输出所需要的时间(例如，200ms至300ms)可以对应于从第一定时TA1到第三定时TA3或TA3'的时间间隔。
根据电子装置的工作状态(例如，音乐播放状态或非播放状态)，在声音输出定时TA3和TA3'之间也可能存在偏差。
当事件发生时，电子装置可以顺序地控制声音和视觉元素的输出。电子装置可以在与作为声音输出定时的第三定时TA3具有预定偏差的第四定时TA4输出视觉元素。
根据比较例，如示出的，在振动输出定时TA2、声音输出定时TA3和视觉元素输出定时TA4之间可能存在大的偏差。
如示出的，当在第一定时TA1发生事件时，振动可以在第二定时TA2(在TA1+50ms内)开始，然后声音可以在第三定时TA3或TA3′开始。另外，可以在声音开始之后的第四定时TA4(在TA3+100ms内)输出视觉元素。在振动输出定时TA2、声音输出定时TA3或TA3'和视觉元素输出定时TA4之间可能存在偏差。
附图标记750是示出了根据实施例的电子装置200中的振动、声音和视觉元素的输出结果的定时图。附图标记761表示振动的输出波形。附图标记762表示声音的输出波形。附图标记763表示视觉元素(或视觉信号)的输出波形。
电子装置200的声音输出进展状态可以被划分成待机状态771、就绪状态772、空闲状态773和播放状态774。例如，图7的待机状态771、就绪状态772、空闲状态773和播放状态774可以分别对应于图6的待机状态671、就绪状态672、空闲状态673和播放状态674。
根据实施例，当在第一定时TB1发生事件时，振动可以被从附图标记710的第二定时TA2延迟了指定偏移(例如，70ms至80ms)，并且可以被从第二定时TB2开始输出。声音和视觉元素可以被与振动同时输出。与第二定时TB2同步地，声音的输出可以在第三定时TB3开始并且视觉元素的输出可以在第四定时TB4开始。第三定时TB3和第四定时TB4可以与第二定时TB2基本上相同(例如，在TB2±30ms内)。
输出振动所需要的时间可以对应于从第一定时TB1到第二定时TB2的时间间隔。输出声音所需要的时间可以对应于从第一定时TB1到第三定时TB3的时间间隔。输出视觉元素所需要的时间可以对应于从第一定时TB1到第四定时TB4的时间间隔。
电子装置200可以将输出振动、声音和视觉元素所需要的时间TB1至TB2、TB1至TB3和TB1至TB4控制为基本上相同。
根据实施例，当事件发生时，可以并行地控制振动、声音和和视觉元素的输出。电子装置200处于就绪状态772和/或空闲状态773的段可以被缩短，使得可以解决振动、声音和视觉元素之间的输出偏差。
根据实施例，电子装置200可以通过向振动输出分配延迟时间(例如，70ms至80ms)来使振动输出定时延迟。例如，电子装置200可以使振动输出定时TB2从附图标记710的第二定时TA2移位(例如，延迟)到附图标记750的第二定时TB2，因此振动输出定时TB2可以与声音输出定时TB3和视觉元素输出定时TB4同步。
另外，电子装置200可以使声音输出定时TB3提前，以对应于振动输出定时TB2。电子装置200可以打开声音输出路径以使声音输出定时TB3提前，或者可以将声音输出路径从用于声音的非快速输出的第一路径改变为用于声音的快速输出的第二路径。例如，电子装置200可以使声音输出定时TB3从附图标记710的第三定时TA3移位(例如，提前)到附图标记750的第三定时TB3，因此声音输出定时TB3可以与振动输出定时TB2和视觉元素输出定时TB4同步。
另外，电子装置200可以使视觉元素的输出定时TB4移位，以对应于声音输出定时TB3。声音输出定时TB3和视觉元素输出定时TB4可以是基本上相同的或者可以在一定偏移(例如，±30ms)内。例如，视觉元素的输出定时TB4可以对应于生成用于输出视觉元素的触发信号的定时。电子装置200可以使生成用于输出视觉元素的触发信号的定时从710的第四定时TA4移位(例如，提前)到750的第四定时TB4。
因此，如示出的，可以改进振动输出定时、声音输出定时和视觉元素输出定时之间的偏差。当事件发生时，可以实现不同类型的界面(振动、声音和视觉元素)之间的同步。
作为电子装置中的不同类型的界面的振动、声音和视觉元素当中的同步操作不限于所示出的振动输出定时、声音输出定时和视觉元素输出定时。根据另一实施例，当振动输出定时晚于声音输出定时发生时，声音输出定时可以被偏移(例如，延迟)以与振动输出定时匹配。例如，当振动输出定时由于触觉模块240的准备操作而被延迟时，可以增加处于空闲状态773的段，以实现振动输出定时和声音输出定时的同步。在实施例中，触觉模块240的准备操作可以包括使从图3的系统振动器344或振动服务343的至少一部分到交互模块300的信号处理延迟。
图8是示出了根据实施例的电子装置中的声音输出模式的切换操作的流程图。例如，图8的操作可以对应于图4的操作430或图5的操作523。
在实施例中，电子装置200可以使用第一路径810和第二路径820中的一者来输出声音。
第一路径810可以是非快速输出路径。第二路径820可以是声音的快速输出路径。例如，第二路径820可以是通过跳过第一路径810的至少一部分(例如，图8的音频投掷器(flinger)802)或缩短非快速输出路径而获得的路径。作为另一示例，第二路径820可以包括与用于声音的快速输出的第一路径810不同的部件(例如，图8的作为用于快速输出的缓冲器的第二缓冲器825)。
电子装置200可以通过将第一路径810改变为第二路径820来减少声音输出所需要的时间，以便使声音与振动和/或视觉元素同步。
在图8的示例中，第一路径810可以包括媒体解码器801、音频投掷器802、音频HAL803和音频对象804。例如，音频对象804可以对应于用于声音输出的硬件元件(例如，图2的声音模块250或图3的扬声器251)。媒体解码器801、音频投掷器802和音频HAL 803是软件元件和/或固件元件，并且可以处理声音以及可以通过音频对象804来输出处理后的声音。第一路径810可以包括第一缓冲器815。第一缓冲器815可以是非快速输出缓冲器。
第二路径820可以是通过跳过第一路径810(例如，音频投掷器802)的至少一部分而获得的路径或通过缩短第一路径810而获得的路径。
第二路径820可以包括第二缓冲器825。第二缓冲器825可以是用于快速输出的缓冲器。
在第一路径810的情况下，可以在音频投掷器802级运行重采样器811和效应器812的逻辑，并且运行逻辑可能花费时间。另外，第一路径810中存储声音数据的第一缓冲器815的大小(例如，3840帧{48kHz×20ms×4})可以大于第二路径820中使用的第二缓冲器825的大小(例如，384帧{48kHz×4ms×2})。由于此原因，在使用第一路径810的非快速输出的情况下，与使用第二路径820的快速输出相比，处理声音数据和/或输出声音数据可能需要长时间。
当声音输出路径被从第一路径810改变为第二路径820时，可以缩短重采样器811和效应器812的逻辑运行时间和/或根据缓冲器大小的逻辑运行时间。
音频投掷器802可以包括重采样器811和效应器812。音频HAL 803可以对应于图2的音频HAL 331。音频对象804可以对应于图2的声音模块250或图3的扬声器251。
在实施例中，音频对象804可以包括第一缓冲器815和第二缓冲器825。第二缓冲器825的大小和/或时延可以小于第一缓冲器815的大小和/或时延。例如，与第二缓冲器825的大小和/或时延相比，第一缓冲器815的大小和/或时延可以是两倍或更多倍和10倍或更少倍。当第二缓冲器825的大小小于第一缓冲器815的大小的两倍时，可以降低时间减少效果。当第二缓冲器825的大小超过第一缓冲器815的大小的10倍时，资源消耗可能过度。
在图8的示例中，第一缓冲器815的大小可以是3840帧(48kHz×20ms×4)。当第一缓冲器815为空时，必须填充一个单元(20ms×1)，使得可以执行对应输出。在这种情况下，第一路径810中用于非快速输出的第一缓冲器815的时延可以是20ms。第二缓冲器825的大小可以是384帧(48kHz×4ms×2)。当第二缓冲器825为空时，必须填充一个或两个单元(4ms×2)，使得可以执行对应输出。在这种情况下，第二路径820中用于快速输出的第二缓冲器825的时延可以是4ms或8ms。
在非快速输出期间，可以通过第一路径810来输出声音。例如，第一路径可以是包括音频投掷器802的路径。音频投掷器802可以用于声音数据的重采样和/或用于效果处理。声音数据可以被从媒体解码器801发送到重采样器811。重采样器811可以将从媒体解码器801发送的第一频率(例如，44.1kHz)的声音数据重采样为第二频率(例如，48kHz)，并且可以将重采样后的声音数据发送到效应器812。效应器812可以对所接收到的声音数据进行效果处理(例如，音效或声音增强)，并且可以将处理后的声音数据存储在第一缓冲器815中。例如，当第一缓冲器815为空时，可以在第一缓冲器815的一个单元被填充时输出声音数据。因此，声音输出可能花费20ms或更长。
在快速输出期间，可以通过第二路径820来输出声音。例如，快速声音输出路径可以是跳过音频投掷器802的路径。声音数据可以在不通过音频投掷器802的情况下被直接从媒体解码器801发送到第二缓冲器825。例如，当第二缓冲器825为空时，可以在第二缓冲器825的一个或两个单元被填充时输出声音数据。因此，声音输出可能花费4ms或8ms或更长。
当使用第二路径820时，与第一路径810相比可以缩短声音输出所需要的时间，因此可以使声音输出定时提前。
例如，当声音输出路径被从用于非快速输出的第一路径810改变为用于快速输出的第二路径820时，声音输出所需要的时间可以减少某个值(例如，90ms)或更多。
在实施例中，电子装置200可以响应于事件将声音输出模式从第一模式改变为第二模式。例如，第二模式可以用于将声音输出路径从用于非快速输出的第一路径改变为用于快速输出的第二路径。随着声音输出模式被改变为第二模式，声音输出路径可以被从用于非快速输出的第一路径810改变为用于快速输出的第二路径820。
图9是示出了根据实施例的在电子装置中打开声音输出路径的操作的流程图。例如，图8的操作可以对应于图4的操作430或图5的操作522。
在实施例中，电子装置200(或电子装置200的声音输出路径)可以包括应用806、音频服务807、媒体解码器801、音频投掷器802和音频HAL 803、音频驱动器808和音频对象804。
例如，应用806可以被包括在图3的应用层350中。应用806可以对应于图3的应用351和355。音频服务807可以对应于图3的音频服务341。媒体解码器801和音频投掷器802可以被包括在图3的交互模块300中。音频HAL 803、音频驱动器808和音频对象804可以分别对应于图3的音频HAL 331、音频驱动器321和扬声器251。
电子装置200可以执行操作901和905。
操作901可以是用于播放声音的初步操作。例如，电子装置200可以在播放声音之前的状态(例如，图6的就绪状态672和/或空闲状态673)下执行操作901。
操作905可以是声音播放操作。例如，电子装置200可以在播放状态(例如，图6的播放状态674)下执行操作905。
当提前执行声音播放初步操作901时，可以立即执行声音播放操作905。因此，用于声音播放初步操作901的时间(例如，100ms)可能是不必要的，并且声音输出所需要的时间可以被缩短，使得可以改进声音与其他界面(振动和/或视觉元素)之间的同步性能。
操作901可以包括操作910和930。操作910可以是打开用于声音输出的声音输出路径的操作。操作930可以是激活用于声音输出的作为硬件元件的音频对象804的操作。随着操作930被执行，音频对象804可以被从非激活状态切换到激活状态。
根据实施例，通过并行地执行操作910和930，两个对应操作可以在预定时间内(例如，在50ms内)完成。
参照图9，在操作911中，应用806可以向音频服务807发送用于将声音输出模式从用于非快速输出的第一模式改变为用于快速输出的第二模式的命令(setFastAudioOpenMode)。该命令(setFastAudioOpenMode)可以是针对声音输出路径的打开命令。
在操作912中，音频服务807可以向媒体解码器801发送播放命令。
在操作913中，媒体解码器801可以向音频投掷器802发送分派命令。
可以响应于分派命令执行操作910。
操作910可以包括操作914至923。
在操作914中，音频投掷器802可以向音频HAL 803发送写入命令。在操作915中，音频HAL 803可以向音频驱动器808发送路径打开命令(pcm_open)。在操作916中，音频驱动器808可以向音频对象804发送加载命令(load_dsp)。在操作920中，音频对象804可以响应于加载命令(load_dsp)配置将被用作快速输出缓冲器的缓冲器(例如，图8的第二缓冲器825)，然后可以向音频驱动器808发送返回响应。在操作921和操作922中，音频驱动器808可以根据返回响应来执行加载声音输出所必需的固件功能(或功能)的加载操作，然后可以向音频HAL 803发送返回响应。在操作923中，音频HAL 803可以向音频投掷器802发送返回响应。
电子装置200可以执行操作930。
操作930可以包括操作931至945。
在操作931中，音频投掷器802可以向音频HAL 803发送装置输出初始化命令(init_output_device)。在操作932中，音频HAL 803可以向音频对象804发送输出初始化命令(init_device)。在操作941中，音频对象804可以在从非激活状态转变为激活状态之后向音频HAL 803发送返回响应。在操作942中，音频HAL 803可以执行分派操作，并且在操作943中，音频HAL 803可以向音频驱动器808发送编解码器配置命令(config_codec)。在操作944中，音频驱动器808可以向音频HAL 803发送返回响应。在操作945中，音频HAL 803可以向音频投掷器802发送返回响应。
当事件发生时，电子装置200可以执行操作905。操作905可以是声音播放操作。
在操作951和952中，可以从应用806向音频服务807和媒体解码器801顺序地发送播放命令。在操作953中，媒体解码器801可以向音频投掷器802发送分派命令。在操作954中，音频投掷器802可以向音频HAL 803发送用于读取存储在缓冲器中的声音数据的输出写入命令(out_write)。在操作955中，音频HAL 803可以向音频驱动器808发送写入命令(pcm_write)。在操作956中，音频驱动器808可以向音频对象804发送输出命令。音频对象804可以响应于输出命令输出(或播放)声音。
例如，为了同步，电子装置200可以在事件发生之前的前期事件步骤中提前执行声音播放初步操作901，从而减少当事件发生时对应操作所需要的时间(例如，100ms)。电子装置200可以在声音输出时间之前的段中提前执行打开声音输出路径的操作910和/或激活音频对象804的操作930。通过打开声音输出路径(这是用于播放声音的必要过程)和/或提前执行硬件激活逻辑，可以在实际上播放声音时省略对应操作。
图10是示出了根据实施例的电子装置中的振动延迟操作的流程图。例如，图10的操作可以对应于图4的操作420或图5的操作521。
在图10的示例中，可以通过电子装置200的应用(例如，图3的355的应用351)来执行操作1010。可以通过声音输出路径来执行操作1020。例如，声音输出路径可以对应于包括图3的音频管理器342、音频服务341、交互模块300、音频HAL 331以及音频驱动器321和扬声器251中的至少一些的路径或图8的第二路径820。可以通过振动输出路径来执行操作1030。例如，振动输出路径可以是包括图3的系统振动器344、振动服务343、交互模块300、振动HAL333、振动驱动器323中的至少一些以及图3的电机241的路径。
第一定时TB1可以是事件发生的定时。
在操作1011中，电子装置200可以识别事件是否通过应用发生。例如，事件可以是用于输出振动和声音的事件。例如，事件可以是根据用户输入的事件(例如，触摸事件、手势事件或滚动事件)、根据电子装置200的状态变化的事件(例如，充电器连接事件)或线索事件(例如，错误事件或通知事件)中的一者。在操作1011中，当电子装置200的应用检测到事件时，可以执行操作1013。在实施例中，当电子装置200的应用在操作1011中未检测到事件时，可以重复地执行操作1011或者可以等待事件发生。
在操作1013中，电子装置200的应用可以向声音输出路径发送播放命令。
操作1020可以包括操作1021、1023、1025和1027。
在操作1021中，电子装置200的声音输出路径可以响应于应用的播放命令来执行声音输出过程。例如，根据声音输出过程的进展，声音输出进展状态可以被顺序地切换到待机状态、就绪状态、空闲状态和播放状态。
在操作1023中，电子装置200可以识别声音输出进展状态是否通过声音输出路径被切换到空闲状态(例如，图6的空闲状态673或图7的空闲状态773)。
例如，空闲状态是紧接在播放状态之前的状态，并且可以对应于其中声音输出初步操作(例如，图9的操作901{声音播放初步操作})完成的状态。又如，在空闲状态下，可以提供声音数据(例如，存储在图8的第二缓冲器825中)，并且可以激活用于声音输出的硬件元件(例如，声音模块250或扬声器251)。
当声音输出进展状态被切换到空闲状态时，在操作1025中，声音输出路径可以向振动输出路径发送回调(callback)，从而指示声音输出初步操作已经完成。
在实施例中，当切换到空闲状态时，可以执行操作1027。在实施例中，当声音输出进展状态未被切换到空闲状态时，电子装置200可以重复地执行操作1023或者等待转变为空闲状态。例如，电子装置200可以识别声音输出进展状态(检查流状态)，并且可以识别出声音输出进展状态是否被切换到空闲状态。例如，当声音输出进展状态被切换到空闲状态时，可以从负责声音输出(或播放)的声音输出路径(例如，音频管理器342)向负责振动输出的振动输出路径(例如，振动服务343)发送回调。当声音输出进展状态响应于回调被切换到空闲状态时，振动输出路径(例如，振动服务343)可以通过播放振动来使声音的输出定时和振动的输出定时同步。
在操作1027中，声音输出路径可以播放(或输出)与事件相对应的声音。
在操作1031中，随着从声音输出路径发送回调，电子装置200的振动输出路径可以播放(或输出)与事件相对应的振动。
第二定时TB2可以对应于声音输出定时。第三定时TB3可以对应于振动输出定时。
电子装置200可以以根据声音输出进展状态的回调被从声音输出路径发送到振动输出路径的方式将第二定时TB2和第三定时TB3控制为基本上相同的定时(例如，指定偏移{例如，在±30ms内})。由于此原因，可以改进声音与振动之间的同步性能。
图11a、图11b、图11c、图11d和图11e是示出了根据实施例的提供电子装置的用户界面的方法的图。
图11a、图11b、图11c、图11d和图11e可以对应于提供智能电话型电子装置的用户界面的方法。图11a至图11e中示出的事件可以对应于用户输入事件或线索事件。
图11a示出了根据线索事件(例如，充电器连接事件)的发生来提供用户界面的方法。
根据实施例的电子装置200可以是智能电话型电子装置201。
在图11a中，随着充电器电缆1112连接到充电端口1110，智能电话型电子装置201可以检测充电器连接事件的发生。充电器连接事件可以是用于输出振动、声音和视觉元素的事件。充电器连接事件可以是无线连接方法以及所示出的有线连接方法。
当充电器连接事件发生时，电子装置201可以使指示充电器连接事件的发生的振动1116、声音1115和视觉元素1117同步和输出。
电子装置201可以响应于充电器连接事件将声音输出模式从第一模式改变为用于快速输出的第二模式。
例如，电子装置201可以通过在充电器连接事件发生的第一定时打开声音输出路径来激活声音模块(例如，图2的声音模块250或图3的扬声器251)，然后可以通过已激活的声音模块来输出声音1115。电子装置201可以响应于声音输出定时一起输出振动1116和视觉元素1117。
图11b示出了根据线索事件(例如，认证错误事件)来提供用户界面的方法。
在图11b中，智能电话型电子装置201可以显示锁定画面1120。锁定画面1120可以包括生物特征认证窗口1121。
当用户执行认证用动作(例如，指纹输入)时，指示认证失败的窗口1126可以被显示在锁定画面1120上。
电子装置201可以提供机智用户界面，使得用户不会不便地接受此情形。响应于认证错误事件，电子装置201可以使各自响应于认证错误事件指示认证失败的振动(例如，与声音效果图案同时输出的振动图案)、声音(例如，有趣的声音效果图案)和视觉元素(例如，针对声音效果图案定制的动画或锁定画面1120上的窗口1126)，并且可以整体地输出它们，从而实现协调交互。
图11c示出了根据线索事件(例如，引导事件)来提供用户界面的方法。
在图11c中，智能电话型电子装置201可以显示锁定画面1130。锁定画面1130可以包括生物特征认证窗口1131(例如，指纹认证菜单和面部认证菜单)。
当用户执行认证用动作(例如，指纹输入)时，指示认证失败和引发另一认证方法(例如，面部认证)的窗口1136可以被显示在锁定画面1130上。
当认证失败时，电子装置201可以提供通过锁定画面1130上的窗口1136以机智且准确的方式递送消息使得用户可以采取适当的态度而未不便地接受该情形的用户界面。电子装置201可以通过整体地输出同步的振动、声音和视觉元素(例如，锁定画面1130上的窗口1136)来实现协调交互。
图11d示出了根据用户输入事件(例如，滚动事件)来提供用户界面的方法。
根据实施例的电子装置200可以是智能电话型电子装置201或智能手表型电子装置202。
在图11d中，智能电话型电子装置201可以显示第一画面1140。第一画面1140可以包括时间选择器区域1141。电子装置201可以根据用户对时间选择器区域1141的滚动输入来检测滚动事件的发生。
或者，智能手表型电子装置202可以显示包括时间选择器区域1146的第二画面1145。
可以根据用户对时间选择器区域1141或1146的滚动输入来检测滚动事件的发生。滚动事件可以是用于输出振动、声音和视觉元素的事件。
例如，电子装置201和202可以出于在滚动事件发生之前快速输出声音的目的提前打开声音输出路径。电子装置201和202可以响应于滚动事件的前期事件提前打开声音输出路径。例如，前期事件可以是用于显示包括时间选择器区域1141和1146的画面1140和1145(例如，警报应用运行画面)的事件(例如，警报应用运行事件)。
随着在滚动事件发生之前提前打开声音输出路径，根据用户的滚动输入(例如，滚动方向、滚动速度、滚动距离和/或滚动压力中的至少一些)的变化可以被实时地反映在输出声音中。
另外，可以在用户的滚动动作期间通过振动、声音和视觉元素之间的同步来表达逼真的物理属性(加速度、摩擦、声音或动态触觉)或者可以递送有趣的情感体验。
图11e示出了根据用户输入事件(例如，触摸事件)来提供用户界面的方法。
在图11e中，智能电话型电子装置201可以显示包括刷新菜单1151的画面1150。
当存在对刷新菜单1151的用户输入(例如，触摸或轻敲)时，电子装置201可以响应于用户输入执行加载准备，然后可以提供引导加载准备完成的清晰用户界面。电子装置201可以通过整体输出同步的振动、声音和视觉元素来实现协调交互。
图12a和图12b是示出了根据另一实施例的提供电子装置的用户界面的方法的图。图12a和图12b可以对应于提供可折叠电子装置的用户界面的方法。图12a和图12b中示出的事件可以对应于用户输入事件。
根据实施例的电子装置200可以是可折叠电子装置205。
在图12a中，可折叠电子装置205可以显示包括图标和/或微件的主画面1210。
可折叠电子装置205可以检测针对图标的用户输入1211(例如，轻敲和长按)或针对微件的用户输入1215(例如，轻敲和长按)。
可折叠电子装置205可以响应于用户输入1211和1215实时地输出同步的振动、声音和视觉元素，以便实现好像图标或微件实际上(物理上)与主画面1210分离的效果。因此，可以向用户递送清晰且逼真的情感体验。
在图12b中，可折叠电子装置205可以显示包括拆分视图的主画面1220。
可折叠电子装置205可以检测针对拆分视图的用户输入1221和1225(例如，拖曳)。
可折叠电子装置205可以响应于用户输入1221和1225实时地输出同步的振动、声音和视觉元素，以便实现好像拆分视图实际上正在主画面1220上移动的效果。
图13a、图13b和图13c是示出了根据另一实施例的提供电子装置的用户界面的方法的图。图13a、图13b和图13c可以对应于提供具有可变形状因数的柔性智能电话型电子装置(例如，可折叠电子装置206或207或可滑动电子装置208)的用户界面的方法。图13a、图13b和图13c中示出的事件可以是用户输入事件。例如，事件可以是用于改变可折叠电子装置206或207或可滑动电子装置208的机械状态(或使用状态)的事件。
根据实施例的电子装置200可以是可折叠电子装置206或207或可滑动电子装置208。
在图13a中，至于可折叠电子装置206，可以根据用户的折叠操作来改变机械状态。例如，随着折叠角度发生改变，可折叠电子装置206可以具有折叠状态、部分展开状态和展开状态中的任何一种。
可折叠电子装置206可以包括柔性显示器1310。柔性显示器1310可以包括第一区域1311和第二区域1312。
可折叠电子装置206可以处于有必要响应于手写笔1320的交互提供不同类型的用户界面的情形。
当用户在如图13a中示出的可折叠电子装置206的部分展开状态下使用手写笔1320来执行手写操作时，可以检测到用户输入事件(例如，书写事件)。
可折叠电子装置206可以通过柔性显示器1310来显示与用户输入事件(例如，书写事件)相对应的视觉元素1325。可折叠电子装置206可以响应于用户输入事件实时地输出同步的振动、声音和视觉元素1325。
例如，可折叠电子装置206可以出于在书写事件发生之前快速输出声音的目的提前打开声音输出路径。可折叠电子装置206可以响应于书写事件的前期事件(或者响应于前期事件发生的第一定时)提前打开声音输出路径。
例如，手写笔1320可以包括用于接通和关闭的推拉按钮。例如，当推拉按钮被按压以进入推状态时，手写笔1320可以被接通。当推拉按钮被再次按压以进入拉状态时，手写笔1320可以被关闭。
例如，前期事件可以是使手写笔1320接通的事件。当用户将手写笔1320从关闭状态切换到接通状态时，这可以是使用书写功能的意图。因此，可折叠电子装置206可以响应于手写笔1320的接通事件(或者响应于接通事件发生的第一定时)提前打开声音输出路径，以将用于声音输出的硬件元件(例如，图3的扬声器251)切换到被激活状态。因此，声音输出所需要的时间可以被缩短，从而使得能实现快速声音输出。此后，可折叠电子装置206可以响应于书写事件(或者响应于书写事件发生的第二定时)根据用户的书写输入来使振动、声音和视觉元素同步和输出。由于在书写事件实际上发生之前提前打开声音输出路径，因此根据用户的手写输入(例如，手势)的变化可以被实时地反映在输出振动、声音和视觉元素中，从而使得能实现逼真的表达。
图13b可以对应于提供能够多重折叠(或Z形折叠)的可折叠电子装置207的用户界面的方法。可折叠电子装置207可以包括柔性显示器1340。柔性显示器1340可以包括第一区域1341、第二区域1342和第三区域1343。
在图13b中，可折叠电子装置207可以根据用户的折叠操作来改变其机械状态。例如，随着折叠角度变化，可折叠电子装置207可以具有完全折叠状态、部分展开状态和完全展开状态中的任何一种。
在根据向外折叠操作的折叠状态下，柔性显示器1340的第一区域1341和第二区域1342可以被折叠以面向相反方向。在根据向内折叠操作的折叠状态下，柔性显示器1340的第二区域1342和第三区域1343可以被折叠以面向彼此。
可折叠电子装置207的机械状态可以被改变以对应于第一折叠单元1331和第二折叠单元1332的折叠状态。例如，可折叠电子装置207的机械状态可以是相对于作为中心的第一折叠单元1331和第二折叠单元1332的折叠状态，即，具有最窄宽度的完全折叠状态。又如，可折叠电子装置207的机械状态可以是如图13b中示出的根据第一折叠单元1331和第二折叠单元1332的中间折叠状态的部分折叠状态。又如，可折叠电子装置207的机械状态可以是第一折叠单元1331和第二折叠单元1332被展开的展开状态，即，具有最宽宽度的完全展开状态。
可折叠电子装置207可以响应于改变可折叠电子装置207的机械状态的用户动作来提供不同类型的用户界面。
可折叠电子装置207可以检测改变机械状态的第一事件(例如，用于折叠和/或展开的铰链事件)，并且可以响应于第一事件实时地输出同步的振动、声音和视觉元素。
例如，可折叠电子装置207可以响应于第一事件(例如，铰链事件)打开声音输出路径，并且可以调节振动输出定时和/或视觉元素的输出定时以对应于声音输出定时。因此，振动、声音和/或视觉元素的输出可以被同步。
又如，可折叠电子装置207可以响应于作为第一事件(例如，铰链事件)的前期事件的第二事件打开声音输出路径，并且可以响应于第二命令输出同步的振动、声音和/或视觉元素。例如，第一事件的前期事件(例如，第二事件)可以是用户握持可折叠电子装置207的两侧的握持事件。例如，用户握持可折叠电子装置207的两侧的动作可以是使可折叠电子装置207折叠和/或展开的意图。因此，可折叠电子装置207可以响应于握持事件(或者响应于握持事件发生的第一定时)提前打开声音输出路径，以将用于声音输出的硬件元件(例如，扬声器251)切换到激活状态。因此，声音输出所需要的时间可以被缩短，从而使得能实现快速声音输出。此后，可折叠电子装置207可以响应于铰链事件(或者响应于铰链事件发生的第二定时)根据用户的折叠动作和/或展开动作来使振动、声音和/或视觉元素同步和输出。由于在铰链事件实际上发生之前提前打开声音输出路径，因此根据用户针对铰链事件的折叠动作和/或展开动作的变化可以被实时地反映到所输出的振动、声音和/或视觉元素，使得逼真的表达可以是可能的。
图13c可以对应于提供可滑动电子装置208的用户界面的方法。
在图13c中，可滑动电子装置208可以根据用户的滑动动作来改变其机械状态。附图标记1350表示可滑动电子装置208的基本状态(或缩小状态或滑入状态)。附图标记1360表示可滑动电子装置208的延伸状态(或滑出状态)。
可滑动电子装置208可以包括柔性显示器1370。柔性显示器1370可以包括第一区域1371和第二区域1372。第一区域1371可以总是暴露于可滑动电子装置208的外部。第二区域1372可以是从第一区域1371延伸的区域，通过滑入操作至少部分地可缩回到可滑动电子装置208中，并且通过滑出操作至少部分地可抽出到可滑动电子装置208的外部。
可滑动电子装置208可以实时地根据用户的滑动动作整体地输出同步的振动、声音和视觉元素以实现协调交互。
根据各种实施例的电子装置(例如，图2的电子装置200)可以包括：存储器(例如，图2的存储器220)；显示器(例如，图2的显示器230)；触觉模块(例如，图2的触觉模块240)，该触觉模块包括触觉电路；声音模块(例如，图2的声音模块250)，该声音模块包括音频电路；以及至少一个处理器(例如，图2的处理器210)。该至少一个处理器可以可操作地连接到存储器、显示器、触觉模块和声音模块。存储器可以存储有指令，这些指令在被运行时，使至少一个处理器：检测振动和声音的输出的事件；使振动的输出延迟；在振动的输出被延迟时，将声音输出模式从第一模式改变为用于快速输出的第二模式；在第二模式下使用声音模块来输出声音；以及通过触觉模块来输出延迟后的振动，以使声音和延迟后的振动的输出同步。
根据各种实施例，随着声音输出模式被改变为第二模式，声音输出路径可以被打开以激活声音模块。
根据各种实施例，随着声音输出模式被改变为第二模式，声音输出路径可以被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
根据各种实施例，存储器可以存储有指令，这些指令在被运行时，使至少一个处理器：在通过显示器来输出视觉元素时，通过使视觉元素的输出定时移位来使声音、延迟后的振动和视觉元素的输出同步。
根据各种实施例，可以响应于事件将声音输出模式改变为第二模式。
根据各种实施例，随着声音输出模式被改变为第二模式，声音输出路径可以被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
根据各种实施例，可以响应于事件的前期事件将声音输出模式改变为第二模式。
根据各种实施例，随着声音输出模式响应于前期事件被改变为第二模式，声音输出路径可以被打开以激活声音模块。声音可以响应于事件通过已激活的声音模块被输出。
根据各种实施例，声音输出进展状态可以被从待机状态顺序地切换到就绪状态、空闲状态和播放状态。随着声音输出进展状态被切换到空闲状态，请求输出延迟后的振动的信号可以被从声音输出路径发送到振动输出路径。
根据各种实施例，当声音输出模式是第一模式时，可以使用第一缓冲器，而当声音输出模式是第二模式时，可以使用第二缓冲器以进行快速输出。第二缓冲器与第一缓冲器比可以具有更小的尺寸或时延。
一种根据本公开的各种实施例的提供电子装置的用户界面的方法可以包括：检测振动和声音的输出的事件；使振动的输出延迟；在振动的输出被延迟时，将声音输出模式从第一模式改变为用于快速输出的第二模式；在第二模式下使用声音模块来输出声音；以及输出延迟后的振动，以使声音和延迟后的振动的输出同步。
根据各种实施例，随着声音输出模式被改变为第二模式，声音输出路径可以被打开以激活声音模块。
根据各种实施例，随着声音输出模式被改变为第二模式，声音输出路径可以被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
根据各种实施例，该方法还可以包括：输出视觉元素。该方法可以包括：通过使视觉元素的输出定时移位来使声音、延迟后的振动和视觉元素的输出同步。
根据各种实施例，可以响应于事件将声音输出模式改变为第二模式。
根据各种实施例，随着声音输出模式被改变为第二模式，声音输出路径可以被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
根据各种实施例，可以响应于事件的前期事件将声音输出模式改变为第二模式。
根据各种实施例，随着声音输出模式响应于前期事件被改变为第二模式，声音输出路径可以被打开以激活声音模块。声音可以响应于事件通过已激活的声音模块被输出。
根据各种实施例，声音输出进展状态可以被从待机状态顺序地切换到就绪状态、空闲状态和播放状态。随着声音输出进展状态被切换到空闲状态，请求输出延迟后的振动的信号可以被从声音输出路径发送到振动输出路径。
根据各种实施例，当声音输出模式是第一模式时，可以使用第一缓冲器，而当声音输出模式是第二模式时，可以使用第二缓冲器以进行快速输出。第二缓冲器与第一缓冲器比可以具有更小的尺寸或时延。
虽然已经参照各种示例实施例示出和描述了本公开，但是将理解，各种示例实施例旨在为说明性的，而非限制性的。本领域的普通技术人员将进一步理解，在不脱离包括所附权利要求书及其等同形式的本公开的真实精神和完全范围的情况下，可以做出形式和细节上的各种改变。还将理解，本文描述的任何(一个或更多个)实施例可以与本文描述的任何其他(一个或更多个)实施例结合使用。

Claims (15)

1.一种电子装置，所述电子装置包括：
存储器；
显示器；
触觉模块，所述触觉模块包括触觉电路；
声音模块，所述声音模块包括音频电路；以及
至少一个处理器，所述至少一个处理器被配置为可操作地连接到所述存储器、所述显示器、所述触觉模块和所述声音模块，
其中，所述存储器存储有指令，所述指令在被运行时，使所述至少一个处理器：
检测振动和声音的输出的事件；
使所述振动的输出延迟；
在所述振动的输出被延迟时，将声音输出模式从第一模式改变为用于快速输出的第二模式；以及
在所述第二模式下使用所述声音模块来输出所述声音，并且通过所述触觉模块来输出延迟后的振动，以使所述声音和所述延迟后的振动的输出同步。
2.根据权利要求1所述的电子装置，其中，随着所述声音输出模式被改变为所述第二模式，声音输出路径被打开以激活所述声音模块。
3.根据权利要求1所述的电子装置，其中，随着所述声音输出模式被改变为所述第二模式，声音输出路径被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
4.根据权利要求1所述的电子装置，其中，所述存储器存储有指令，所述指令在被运行时，使所述至少一个处理器：
在通过所述显示器来输出视觉元素时，通过使所述视觉元素的输出定时移位来使所述声音、所述延迟后的振动和所述视觉元素的输出同步。
5.根据权利要求1所述的电子装置，其中，所述声音输出模式响应于所述事件被改变为所述第二模式，并且
其中，随着所述声音输出模式被改变为所述第二模式，声音输出路径被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
6.根据权利要求1所述的电子装置，其中，所述声音输出模式响应于所述事件的前期事件被改变为所述第二模式，并且
其中，
随着所述声音输出模式响应于所述前期事件被改变为所述第二模式，声音输出路径被打开以激活所述声音模块，并且
所述声音响应于所述事件通过已激活的声音模块被输出。
7.根据权利要求1所述的电子装置，其中，
声音输出进展状态被从待机状态顺序地切换到就绪状态、空闲状态和播放状态，并且
随着所述声音输出进展状态被切换到所述空闲状态，请求输出所述延迟后的振动的信号被从所述声音输出路径发送到振动输出路径。
8.根据权利要求1所述的电子装置，其中，当所述声音输出模式是所述第一模式时使用第一缓冲器，而当所述声音输出模式是所述第二模式时使用第二缓冲器以进行快速输出，并且所述第二缓冲器与所述第一缓冲器比具有更小的尺寸或时延。
9.一种提供电子装置的用户界面的方法，所述方法包括：
检测振动和声音的输出的事件；
使所述振动的输出延迟；
在所述振动的输出被延迟时，将声音输出模式从第一模式改变为用于快速输出的第二模式；以及
在所述第二模式下输出所述声音并且输出延迟后的振动，以使所述声音和所述延迟后的振动的输出同步。
10.根据权利要求9所述的方法，其中，随着所述声音输出模式被改变为所述第二模式，声音输出路径被打开以激活所述声音模块。
11.根据权利要求9所述的方法，其中，随着所述声音输出模式被改变为所述第二模式，声音输出路径被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
12.根据权利要求9所述的方法，所述方法还包括：
输出视觉元素，
其中，所述声音、所述延迟后的振动和所述视觉元素的输出通过使所述视觉元素的输出定时移位而被同步。
13.根据权利要求9所述的方法，其中，所述声音输出模式响应于所述事件被改变为所述第二模式，并且
其中，随着所述声音输出模式被改变为所述第二模式，声音输出路径被从用于非快速输出的第一路径改变为用于快速输出的第二路径。
14.根据权利要求9所述的方法，其中，所述声音输出模式响应于所述事件的前期事件被改变为所述第二模式，并且
其中，
随着所述声音输出模式响应于所述前期事件被改变为所述第二模式，声音输出路径被打开以激活所述声音模块，并且
所述声音响应于所述事件通过已激活的声音模块被输出。
15.根据权利要求9所述的方法，其中，
声音输出进展状态被从待机状态顺序地切换到就绪状态、空闲状态和播放状态，并且
随着所述声音输出进展状态被切换到所述空闲状态，请求输出所述延迟后的振动的信号被从声音输出路径发送到振动输出路径。
CN202280054263.3A 2021-08-09 2022-08-05 电子装置以及提供电子装置的用户界面的方法 Pending CN117795940A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0104696 2021-08-09
KR1020210104696A KR20230022666A (ko) 2021-08-09 2021-08-09 전자 장치 및 그의 사용자 인터페이스 제공 방법
PCT/KR2022/011697 WO2023018123A1 (ko) 2021-08-09 2022-08-05 전자 장치 및 그의 사용자 인터페이스 제공 방법

Publications (1)

Publication Number Publication Date
CN117795940A true CN117795940A (zh) 2024-03-29

Family

ID=85200847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280054263.3A Pending CN117795940A (zh) 2021-08-09 2022-08-05 电子装置以及提供电子装置的用户界面的方法

Country Status (5)

Country Link
US (1) US20230199387A1 (zh)
EP (1) EP4195636A4 (zh)
KR (1) KR20230022666A (zh)
CN (1) CN117795940A (zh)
WO (1) WO2023018123A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080065879A (ko) * 2007-01-10 2008-07-15 삼성전자주식회사 오디오신호의 에프엠 전송 장치 및 방법
KR20110076283A (ko) * 2009-12-29 2011-07-06 삼성전자주식회사 사용자 입력 패턴에 따른 피드백 제공 방법 및 장치
KR101869562B1 (ko) * 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
EP3444711A1 (en) * 2012-04-19 2019-02-20 Nokia Technologies Oy A display apparatus
KR102011771B1 (ko) * 2013-01-03 2019-10-21 삼성전자주식회사 사용자 인터페이스 제공 방법 및 그 장치
KR102212409B1 (ko) * 2014-01-02 2021-02-04 한국전자통신연구원 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치
JP2015185137A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10620704B2 (en) * 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems

Also Published As

Publication number Publication date
EP4195636A4 (en) 2024-04-03
EP4195636A1 (en) 2023-06-14
US20230199387A1 (en) 2023-06-22
KR20230022666A (ko) 2023-02-16
WO2023018123A1 (ko) 2023-02-16

Similar Documents

Publication Publication Date Title
CN110543289B (zh) 控制音量的方法和电子设备
CN111176506A (zh) 一种屏幕显示方法及电子设备
CN114092595B (zh) 一种图像处理方法及电子设备
US11380286B2 (en) Electronic device and method for controlling timing signal
US20220286503A1 (en) Synchronization method and electronic device
US20230035709A1 (en) Electronic device with expandable display and method of displaying screen of electronic device
CN115885246A (zh) 包括柔性显示器的电子装置
US20230350533A1 (en) Electronic device and screen control method thereof
KR20220039085A (ko) 콘텐트를 생성하기 위한 폴더블 전자 장치 및 그의 동작 방법
US20230247129A1 (en) Electronic device providing user interface
US11893303B2 (en) Device and method for performing mirroring
EP4195636A1 (en) Electronic device and method for providing user interface therefor
CN110868642A (zh) 视频播放方法、装置及存储介质
US10825228B2 (en) Electronic apparatus for generating animated message by drawing input
CN109101166B (zh) 音频控制方法、装置及存储介质
KR20220014968A (ko) 전자 펜과 연동된 화면 분할 제공 방법 및 이를 이용한 폴더블 전자 장치
KR20220053354A (ko) 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
US20230114950A1 (en) Electronic device including flexible display and operation method thereof
CN110399086A (zh) 游戏画面的显示控制方法、装置、存储介质和电子设备
US11997460B2 (en) Electronic device for audio input and method for operating the same
CN115562535B (zh) 应用控制方法和电子设备
WO2024082989A1 (zh) 全屏显示方法、电子设备及计算机可读存储介质
US20230324955A1 (en) Flexible electronic device and method for controlling display of application execution screen
US20230236638A1 (en) Electronic device including flexible display, and screen control method
US20230088965A1 (en) Electronic device for synthesizing two-dimensional object with three-dimensional object, operation method of electronic device, and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination