WO2023063730A1 - Electronic device, method, and computer readable storage medium for identifying location of external electronic device within wireless environment - Google Patents

Electronic device, method, and computer readable storage medium for identifying location of external electronic device within wireless environment Download PDF

Info

Publication number
WO2023063730A1
WO2023063730A1 PCT/KR2022/015441 KR2022015441W WO2023063730A1 WO 2023063730 A1 WO2023063730 A1 WO 2023063730A1 KR 2022015441 W KR2022015441 W KR 2022015441W WO 2023063730 A1 WO2023063730 A1 WO 2023063730A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
external electronic
signal
speaker
display
Prior art date
Application number
PCT/KR2022/015441
Other languages
French (fr)
Korean (ko)
Inventor
김치환
강두석
최종무
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220007359A external-priority patent/KR20230052787A/en
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023063730A1 publication Critical patent/WO2023063730A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/76—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Definitions

  • Various embodiments provide an electronic device, method, and non-transitory computer readable storage medium for determining the relative position of an electronic device and an external electronic device within a wireless environment. about medium).
  • Small electronic devices may include devices such as smart phones, tablet PCs (tablet PCs), portable multimedia players (PMPs), laptop personal computers (laptop PCs), and wearable devices.
  • PMPs portable multimedia players
  • laptop PCs laptop personal computers
  • wearable devices As the use of small electronic devices increases, a situation in which a plurality of small electronic devices are used in the same space is occurring, and a continuous and unified user experience through a plurality of small electronic devices in the same space is required. Demands are also increasing.
  • an electronic device includes at least one memory configured to store instructions, at least one processor, at least one input device, a display, at least one speaker and communication circuitry; , When executing the instructions, the at least one processor broadcasts a first signal including identification information of the electronic device through the communication circuit, and receives a response signal to the first signal from an external electronic device. Based on the reception, it is identified that the external electronic device is located within a reference distance from the electronic device, and in response to the identification, audio signals in a specified frequency range are output through the at least one speaker, and the audio signals are output.
  • a second signal from the external electronic device through the communication circuit for indicating a relative positional relationship between the display and the display of the external electronic device, which is identified based on at least a part of the screen, and is displayed through the display.
  • a third signal for displaying the pointer on the display of the external electronic device may be configured to transmit to the external electronic device through the communication circuit.
  • an electronic device includes at least one memory configured to store instructions, at least one processor, a display, and a first direction for receiving audio signals on a designated frequency band output from an external electronic device, respectively.
  • a plurality of microphones including a first microphone and a second microphone facing a second direction different from the first direction and communication circuitry, wherein the at least one processor, when executing the instructions, through the communication circuitry, Receiving a first signal including identification information of the external electronic device, based on the first signal, identifying that the external electronic device is located within a reference distance from the electronic device, and based on the identification, the electronic device Transmits a response signal for indicating that the device is located within the reference distance from the external electronic device to the electronic device through the communication circuit, and transmits the response signal from the external electronic device through at least one of the plurality of microphones.
  • the pointer may be configured to receive a third signal for display on the display of the electronic device from the external electronic device through the communication circuit.
  • a method for broadcasting a first signal including identification information of the electronic device through the communication circuit and receiving a response signal to the first signal from an external electronic device, identifying that the external electronic device is located within a reference distance from the device; and, in response to the identification, outputting audio signals in a specified frequency range through the at least one speaker, based on at least some of the audio signals.
  • At least one memory configured to store instructions, at least one processor, a display, and a first direction directed in a first direction for receiving audio signals on a designated frequency band output from an external electronic device, respectively.
  • a method for operating an electronic device having a plurality of microphones including a microphone and a second microphone facing a second direction different from the first direction, and a communication circuit, the external electronic device via the communication circuit Receiving a first signal including device identification information; identifying, based on the first signal, that the external electronic device is located within a reference distance from the electronic device; and based on the identification, An operation of transmitting a response signal for indicating that the electronic device is located within the reference distance from the external electronic device to the electronic device through the communication circuit; and through at least one of the plurality of microphones, the external electronic device.
  • a non-transitory computer-readable storage medium includes at least one memory configured to store instructions, at least one processor, at least one input device, a display, at least one speaker, and communication circuitry.
  • a first signal including identification information of the electronic device is broadcast through the communication circuit, and a response to the first signal is received from an external electronic device.
  • Based on receiving the signal it is identified that the external electronic device is located within a reference distance from the electronic device, and in response to the identification, audio signals in a specified frequency range are output through the at least one speaker, and the audio signal is output through the at least one speaker.
  • a second signal identified based on at least some of the signals and indicating a relative positional relationship between the display and the display of the external electronic device is received from the external electronic device through the communication circuit, and displayed through the display.
  • a third signal for displaying the pointer on the display of the external electronic device may be configured to transmit to the external electronic device through the communication circuit.
  • a non-transitory computer-readable storage medium includes at least one memory configured to store instructions, at least one processor, a display, and audio signals on a designated frequency band output from an external electronic device, respectively.
  • at least one processor of an electronic device having a plurality of microphones including a first microphone facing a first direction and a second microphone facing a second direction different from the first direction, and a communication circuit for When executed, a first signal including identification information of the external electronic device is received, based on the first signal, it is identified that the external electronic device is located within a reference distance from the electronic device, and based on the identification , Transmitting a response signal for indicating that the electronic device is located within the reference distance from the external electronic device to the electronic device through the communication circuit, and through at least one of the plurality of microphones, the external electronic device measuring reception strengths of audio signals on the designated frequency band output in response to the response signal from, based on the measured reception strengths, identifying a relative positional relationship between the electronic device and the external electronic device; ,
  • It may be configured to receive a third signal for displaying the pointer on the display of the electronic device from the external electronic device through the communication circuit.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 2 illustrates an example of a wireless environment including an electronic device according to various embodiments.
  • FIG. 3 is a block diagram of an electronic device according to various embodiments.
  • FIG. 4 is a block diagram of an external electronic device according to various embodiments.
  • FIG. 5 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • 6A illustrates an example of determining a relative positional relationship between an electronic device and an external electronic device according to an embodiment.
  • 6B illustrates another example of determining a relative positional relationship between an electronic device and an external electronic device according to an embodiment.
  • FIG. 7A illustrates an example of determining a relative positional relationship between an electronic device and an external electronic device according to another embodiment.
  • 7B illustrates an example of determining a relative positional relationship between an electronic device and an external electronic device according to another embodiment.
  • FIG. 8 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
  • FIG. 9 illustrates an example of detecting a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
  • FIG. 10 is a flowchart illustrating a method of operating an external electronic device according to an exemplary embodiment.
  • 11A illustrates an example of an event accompanied by a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
  • 11B illustrates another example of an event accompanying a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
  • 11C illustrates another example of an event accompanying a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
  • 12 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
  • 13 is a diagram illustrating signal exchange between an electronic device and an external electronic device according to various embodiments.
  • FIG. 14 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
  • 15 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
  • 16A illustrates an example of a wireless environment including an electronic device, a first external electronic device, and a second external electronic device according to various embodiments.
  • 16B illustrates a signal exchange diagram between an electronic device, a first external electronic device, and a second external electronic device according to various embodiments.
  • 17A illustrates an example of a wireless environment including an electronic device, a first external electronic device, and a second external electronic device according to various embodiments of the present disclosure.
  • 17B illustrates a signal exchange diagram between an electronic device, a first external electronic device, and a second external electronic device according to various embodiments.
  • FIG. 18 illustrates an example of displaying a pop-up window through a display of an electronic device according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of functions or states related to.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (full dimensional MIMO (FD-MIMO)), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 illustrates an example of a wireless environment 200 including an electronic device 101 according to various embodiments.
  • a wireless environment 200 may include an electronic device 101 and an external electronic device 201 .
  • Each of the electronic device 101 and the external electronic device 201 in the wireless environment 200 may be a device such as a smart phone, a laptop computer, or a tablet PC.
  • the electronic device 101 may transmit data related to a user input received through at least one input device of the electronic device 101 to the external electronic device 201 .
  • the at least one input device may correspond to a device for inputting an object that visually displays a user input on the display of the electronic device 101 .
  • the object may be a pointer for visually indicating a location of a user input on the display of the electronic device 101 or the display of the external electronic device 201 .
  • the at least one input device may include at least a mouse, a trackpad, a remote joystick, a gamepad, or a remote controller, but is not limited thereto.
  • the data may correspond to information for displaying the pointer corresponding to the user input from the display of the electronic device 101 to the display of the external electronic device 201 .
  • the electronic device 201 may include elements such as those of the electronic device 101 shown in FIG. 1 .
  • the electronic device 201 may receive data from the electronic device 101 through a communication link between the electronic device 101 and the electronic device 201 .
  • the communication link may correspond to a Bluetooth connection.
  • FIG. 3 is a block diagram of an electronic device according to various embodiments. Components indicated by the block diagram may be included in the electronic device 101 shown in FIG. 2 .
  • the electronic device 101 includes a processor 310 (eg, the processor 120 of FIG. 1 ), a memory 320 (eg, the memory 130 of FIG. 1 ), and a display 330 (eg, the processor 120 of FIG. 1 ).
  • Display module 160 of FIG. 1) Display module 160 of FIG. 1), communication circuit 340 (eg, communication module 190 of FIG. 1), input device 350 (eg, input module 150 of FIG. 1), and speaker ( 360) (eg, the sound output module 155 of FIG. 1).
  • the processor 310 in the electronic device 101 may be operatively coupled with a memory 320 configured to store instructions.
  • the processor 310 in the electronic device 101 may be operatively connected to a communication circuit 340 used for communication with the external electronic device 201 .
  • the processor 310 may correspond to a multi-device continuity framework (MCF).
  • MCF may be a framework for providing a continuous user experience between a plurality of devices registered with the same account.
  • the MCF may be used for location determination between devices for service interworking that provides the continuity of user experience.
  • the MCF is a command for controlling to search for devices registered with the same account in the vicinity, a command for instructing to exchange state information of devices registered with the same account, or a command for instructing to exchange status information of devices registered with the same account and You can create a command that directs the connection of
  • the processor 310 corresponding to the MCF may identify that at least one device among a plurality of devices supporting the same service of the same account is neighboring.
  • the processor 310 corresponding to the MCF can provide the same continuous service through a plurality of devices by sharing state information and data with the neighboring devices. If the processor 310 corresponding to the MCF can identify the location of devices, it can provide the same service in continuity without user involvement or manipulation.
  • the processor 310 may broadcast a first signal for instructing the identification information of the electronic device 101 to the external electronic device 201 disposed around the electronic device 101 .
  • the identification information may include information for indicating a specification of the speaker 360 of the electronic device 101 .
  • the identification information may determine whether the speaker 360 of the electronic device 101 is a single speaker (eg, the speaker 370 of FIG. 6A) or a dual speaker (eg, the dual speakers 381 and 383 of FIG. 7A). )) may correspond to information for indicating whether indicating whether a single speaker (eg, the speaker 370 of FIG. 6A) or a dual speaker (eg, the dual speakers 381 and 383 of FIG. 7A). )) may correspond to information for indicating whether
  • the first signal may correspond to at least one of a magnetic field signal, a Bluetooth low energy (BLE) advertising signal, or a signal including an identifier of a wireless access point.
  • BLE Bluetooth low energy
  • the external electronic device 201 can identify that the electronic device 101 and the external electronic device are located within a reference distance or within the same space. That is, by broadcasting the first signal, the electronic device 101 is adjacent to the electronic device 101 within the reference distance, and the specifications for the speaker 360 of the electronic device 101 are transmitted to the external electronic device 201. can inform
  • the processor 310 may broadcast an advertising signal to establish a communication link between the electronic device 101 and the external electronic device 201 .
  • the advertising signal may be used by the external electronic device to scan the electronic device 101 .
  • the processor 310 sends a connection request signal including information indicating time resources to be used for receiving a packet to be transmitted from the external electronic device 201 that has received the advertising signal. It can be received from the external electronic device.
  • the external electronic device may transmit the connection request signal to establish a communication link between the electronic device 101 and the external electronic device based on receiving the advertising signal.
  • the information in the connection request signal may include data for indicating the length of a time interval in which the first packet is to be transmitted and data for indicating start timing of the time interval to indicate the time resources.
  • the processor 310 may display an object corresponding to the input device 350 on the display 330 .
  • the input device 350 may correspond to a device for inputting an object that visually displays a user input on the display of the electronic device 101 .
  • the object may be a pointer for indicating a position of a mouse input on the display of the electronic device 101 or the display of the external electronic device 201 .
  • the input device 350 may include at least a mouse, a trackpad, a remote joystick, a gamepad, and a remote controller, but is not limited thereto.
  • the speaker 360 may correspond to either a single speaker (eg, the speaker 370 of FIG. 6A) or a dual speaker (eg, the dual speakers 381 and 383 of FIG. 7A).
  • the speaker 360 may be configured to output audio signals over a specified range.
  • the designated range may correspond to an inaudible frequency band of a frequency band inaudible to humans.
  • the speaker 360 when the speaker 360 corresponds to a single speaker 370, the speaker 360 may output audio signals of a first frequency band among the specified range.
  • the speaker 360 when the speaker 360 corresponds to the dual speakers 381 and 383, the speaker 360 may include speakers 381 and 383 disposed on the left and right sides of the electronic device 101.
  • the dual speakers 381 and 383 include a first speaker 381 disposed toward the left side of the electronic device 101 and a second speaker 383 disposed toward the right side of the electronic device 101. can do.
  • the first speaker 381 may be configured in advance to output audio signals of a second frequency band in the designated range.
  • the second speaker 383 may be configured in advance to output audio signals of a third frequency band among the designated range.
  • the second frequency band may be a different frequency band from the third frequency band.
  • FIG. 4 is a block diagram of an external electronic device according to various embodiments.
  • a processor 410 (eg, the processor 120 of FIG. 1 ) in the external electronic device 201 includes a memory 420 (eg, the memory (eg, the memory of FIG. 1 ) configured to store instructions). 130)) can be operatively linked.
  • the processor 410 in the external electronic device 201 may be operatively connected to a communication circuit 440 used for communication with the electronic device 101 .
  • the processor 410 may correspond to the processor 310 of the electronic device 101 shown in FIG. 3 .
  • the memory 420 may correspond to the memory 320 of the electronic device 101 shown in FIG. 3 .
  • the communication circuit 440 (eg, the communication module 190 of FIG. 1 ) may correspond to the communication circuit 340 of the electronic device 101 shown in FIG. 3 .
  • the processor 410 may correspond to a multi-device continuity framework (MCF).
  • MCF may be a framework for providing a continuous user experience between a plurality of devices registered with the same account.
  • the MCF may be used for location determination between devices for service interworking that provides the continuity of user experience.
  • the MCF is a command for controlling to search for devices registered with the same account in the vicinity, a command for instructing to exchange state information of devices registered with the same account, or a command for instructing to exchange status information of devices registered with the same account and You can create a command that directs the connection of
  • the processor 410 corresponding to the MCF may identify that at least one device among a plurality of devices supporting the same service of the same account is neighboring.
  • the processor 410 corresponding to the MCF can provide the same continuous service through a plurality of devices by sharing state information and data with the neighboring devices. If the processor 410 corresponding to the MCF can identify the locations of devices, it can provide the same service in continuity without user involvement or manipulation.
  • the external electronic device 201 may include a first microphone 451 and a second microphone 453 .
  • the first microphone 451 may be a microphone disposed to face a first direction
  • the second microphone 453 may be a microphone disposed to face a second direction. That is, the first microphone 451 and the second microphone 453 may each correspond to a directional microphone.
  • the first direction may be a direction different from the second direction.
  • the first direction may form a vertical relationship with the second direction.
  • the first direction may correspond to a direction crossing left and right (eg, a horizontal direction).
  • the second direction may correspond to a direction crossing up and down (eg, a vertical direction).
  • the processor 410 of the external electronic device 201 determines the external electronic device 201 based on a difference in reception strength of audios received through the first microphone 451 and the second microphone 453.
  • a relative positional relationship between the and the electronic device 101 may be identified.
  • the relative positional relationship may be a positional relationship based on the external electronic device 201 or a positional relationship based on the electronic device 101 .
  • the external electronic device 201 may determine that the electronic device 101 is located on the left side of the external electronic device 201 . In this case, the relative positional relationship may indicate left with respect to the external electronic device 201 .
  • the external electronic device 201 may determine that the electronic device 101 is located on the right side of the external electronic device 201 . In this case, the relative positional relationship may indicate left with respect to the external electronic device (eg, the electronic device 101).
  • FIG. 5 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • the processor 310 may broadcast a first signal including identification information.
  • the processor 310 corresponding to the MCF may identify to broadcast the first signal including the identification information.
  • the identification information may be information about the speaker 360 operatively connected to the processor 310 .
  • the identification information may correspond to 1 bit.
  • the speaker 360 corresponds to a single speaker (eg, the speaker 370 of FIG. 6A )
  • the electronic device 101 includes identification information corresponding to “logic low” or “0”.
  • a first signal may be broadcast.
  • the speaker 360 corresponds to a dual speaker (eg, the dual speaker speakers 381 and 383 of FIG. 7A )
  • the electronic device 101 identifies "logic high” or "1".
  • the first signal containing information may be broadcast.
  • the processor 310 may determine whether a response signal to the first signal is received.
  • the response signal may be a signal generated by the external electronic device 201 .
  • the processor 310 returns to operation 510 to broadcast the first signal again.
  • the processor 310 may identify that the external electronic device 201 is located within a reference distance. Since the first signal is a signal for short-range communication, such as a Bluetooth low energy advertising signal or a magnetic field signal, the fact that the external electronic device 201 has generated a response signal to the first signal means that the electronic device This may mean that 101 and an external electronic device are close to each other at a short distance. Accordingly, the electronic device 101 may receive a response signal to the first signal and identify that the external electronic device 201 is located within the reference distance. Alternatively, the processor 310 of the electronic device 101 may identify whether the external electronic device 201 is located within the reference distance from the electronic device 101 based on a received signal strength indicator (RSSI) of the response signal.
  • RSSI received signal strength indicator
  • the processor 310 of the electronic device 101 when the RSSI value of the response signal is less than a threshold value, even if the response signal is received, the external electronic device 201 is sufficiently transmitted from the electronic device 101. It can also be identified as being far away.
  • the processor 310 may output audio signals in a designated frequency range based on the identification information.
  • the processor 310 corresponding to the MCF may change output audio signals according to identification information.
  • the speaker 360 of the electronic device 101 may correspond to a single speaker 370 (eg, the speaker 360 of FIG. 3 ).
  • the processor 310 may output audio signals of a first frequency band among designated frequency ranges through a single speaker 370 .
  • the designated frequency range may be included in an inaudible frequency range and/or an audible frequency range.
  • the speaker 360 of the electronic device 101 may correspond to the dual speakers 381 and 383 (eg, the speaker 360 of FIG. 3 ).
  • the dual speakers 381 and 383 are directed toward the first speaker 381 disposed toward the left side of the electronic device 101 and toward the right side of the electronic device 101.
  • a second speaker 383 may be disposed.
  • the first speaker 381 may be configured in advance to output audio signals of a second frequency band in the designated range.
  • the second speaker 383 may be configured in advance to output audio signals of a third frequency band among the designated range.
  • the second frequency band may be a different frequency band from the third frequency band.
  • the electronic device 101 and the external electronic device 201 may predefine frequency bands of audio signals output from the first speaker 381 and the second speaker 383, respectively.
  • the electronic device 101 may broadcast the first signal by further including band information indicating the predefined frequency band in the identification information.
  • the electronic device 101 transmits control information about at least one microphone that the external electronic device 201 activates to receive audio signals in the predetermined frequency range to the external electronic device 201.
  • the control information may include interval information for instructing a time when the at least one microphone of the external electronic device 201 is activated.
  • the interval information may include information indicating start and end times of activation of the at least one microphone of the external electronic device 201, respectively.
  • the interval information may include information indicating a start time of the activation time of the at least one microphone of the external electronic device 201 and the length of the activation interval.
  • the processor 310 may receive a second signal for indicating a relative positional relationship from the external electronic device 201.
  • the relative positional relationship relates to the displacement of the electronic device 101 and the external electronic device 201, and may be described based on the electronic device 101 or the external electronic device. Hereinafter, for convenience of explanation, the relative positional relationship will be described based on the electronic device 101 .
  • the external electronic device may receive the audio signals output in operation 540 and transmit a second signal including a relative positional relationship identified based on a difference in reception intensities of the audio signals.
  • the processor 310 may identify whether the external electronic device is located on the left or right side of the electronic device 101 by receiving and decoding the second signal. For example, the relative positional relationship may be indicated by 1 bit.
  • the external electronic device may assign a value of “logic high” or “1” to indicate that the external electronic device is located on the left side of the electronic device 101, and based on the electronic device 101 A value of “logic low” or “0” may be assigned to indicate that the external electronic device is located on the right side.
  • the processor 310 may deactivate the speaker 360 in response to receiving the second signal for the relative positional relationship. Since the audio signals output through the speaker 360 are for identifying the relative positional relationship between the electronic device 101 and the external electronic device 201, the speaker 360 may be deactivated in response to receiving the second signal.
  • the processor 310 may transmit a third signal to the external electronic device 201 in response to detecting a user input for moving toward the display of the external electronic device 201.
  • the third signal may include information for displaying a pointer displayed on the display 330 of the electronic device 101 on the display of the external electronic device 201 (eg, the display 430 of FIG. 4 ).
  • the user input passes a pointer displayed on the screen displayed through the display 330 of the electronic device 101 through one edge of the display 330 identified based on the relative positional relationship to the external electronic device 201. may correspond to an input to move towards the display of
  • the electronic device 101 can identify that the external electronic device is located on the right side of the electronic device 101 based on the second signal.
  • the one edge may correspond to the right edge of the display 330 of the electronic device 101 .
  • the processor 310 transmits information on a time resource for transmitting the third resource to the external electronic device 201 using the speaker 360.
  • a pop-up window ( 1800) may be displayed on the display 330.
  • 6A and 6B illustrate an example of determining a relative positional relationship between an electronic device and an external electronic device according to an embodiment.
  • the external electronic device 201 may receive audio signals output from the electronic device 101 through a first microphone 451 and a second microphone 453 .
  • the processor 410 of the external electronic device 201 receives a first signal from the external electronic device so that the speaker of the electronic device 101 (eg, the speaker 360 of FIG. 3)
  • a single speaker 370 can be identified.
  • the single speaker 370 of FIG. 6A is shown as a built-in speaker, but is not limited thereto.
  • the single speaker 370 is illustrated as being disposed on the right side of the electronic device 101, but is not limited thereto, and may be disposed at the bottom or top of the electronic device 101.
  • the processor 410 of the external electronic device 201 uses a first microphone to identify a position based on a difference in reception strength. 451 and the second microphone 453 can both be activated.
  • the external electronic device 201 may further include a gyro sensor (not shown), and the processor 410 of the external electronic device 201 operates a first microphone 451 and a second microphone 453 based on the gyro sensor. ) can be identified. For example, referring to FIG. 6A , the processor 410 of the external electronic device 201 currently directs the first microphone 451 to the left and the second microphone 453 based on the sensing value of the gyro sensor.
  • the electronic device 101 may bypass outputting audio signals.
  • the electronic device 101 may receive an ultra wide band (UWB) signal from the external electronic device 201 .
  • the electronic device 101 may identify the direction of the external electronic device 201 based on round trip delay (RTD) and time difference of arrival (TDOA) of at least one UWB signal received from the external electronic device 201. there is.
  • the electronic device 101 may bypass outputting audio signals of the pre-specified frequency band.
  • the intensity of audio signals received through the first microphone 451 may be the first intensity
  • the intensity of audio signals received through the second microphone 453 may be the second intensity.
  • a magnitude of the first intensity may be greater than that of the second intensity.
  • the processor 410 determines the direction of the first microphone 451 when the first intensity of the audio signals received through the first microphone 451 is greater than the second intensity of the audio signals received through the second microphone 453. With this, it is possible to identify that the external electronic device is located. Since the external electronic device 201 is located on the right side of the external electronic device, the processor 410 may generate relative positional information indicating the right side and transmit the second signal to the external electronic device. .
  • the magnitude of the first intensity may be smaller than that of the second intensity.
  • Processor 410 when the first intensity of the audio signals received through the first microphone 451 is smaller than the second intensity of the audio signals received through the second microphone 453, the first microphone 451 is the opposite It may be identified that the external electronic device is located in the direction. Since the external electronic device 201 is located on the left with respect to the external electronic device, the processor 410 may generate relative positional information indicating the left side and transmit the second signal to the external electronic device. .
  • the single speaker 370 in FIG. 6B is shown as an external speaker, but is not limited thereto.
  • the processor 410 may determine whether a difference value between the first intensity and the second intensity exceeds a predefined threshold value. If the difference value is less than or equal to the predefined threshold value, the processor 410 identifies that the external electronic device is not located on the horizontal arrangement in the left and right directions, but is located in the corner direction (eg, upper left corner). can do. Accordingly, the processor 410 outputs a visual notification or an audible notification requesting rearrangement of the external electronic device 201 to be positioned in a horizontal arrangement when the difference value is less than or equal to a predefined threshold value. can Alternatively, the processor 410 may transmit a signal requesting output of the visual notification or the auditory notification to the external electronic device.
  • 7A and 7B illustrate an example of determining a relative positional relationship between an electronic device and an external electronic device according to another embodiment.
  • the external electronic device 201 receives audio signals output from the electronic device 101 through at least one microphone (eg, a first microphone 451 and/or a second microphone 453). can do.
  • the processor 410 of the external electronic device 201 receives the first signal from the electronic device 101 and uses the speaker of the electronic device 101 (eg, the speaker 360 of FIG. 3 ).
  • the speaker of the electronic device 101 eg, the speaker 360 of FIG. 3 .
  • the processor 410 of the external electronic device 201 can identify the location of the electronic device 101 even when using at least one microphone.
  • the processor 410 of the external electronic device 201 will be described based on activating only the first microphone 451.
  • the dual speakers 381 and 383 of FIG. 7A are shown as built-in speakers.
  • the dual speakers 381 and 383 are illustrated as being respectively disposed on the left and right sides of the electronic device 101, but are not limited thereto. 383 may be disposed at the top and bottom of the electronic device 101, respectively.
  • the intensity of the audio signals of the second frequency band among the audio signals received through the first microphone 451 is the third intensity
  • the intensity of the audio signals of the third frequency band is the fourth intensity
  • the second frequency band may be a frequency band lower than the third frequency band.
  • the processor 410 of the external electronic device 201 the first speaker 381 of the electronic device 101 outputs audio signals of the second frequency band, and the second speaker 383 outputs audio signals of the third frequency band. You can pre-store the output of the .
  • the magnitude of the third intensity may be greater than that of the fourth intensity.
  • the processor 410 of the external electronic device 201 determines that the third intensity of the audio signals of the second frequency band output from the first speaker 381 of the electronic device 101 is The direction in which the first speaker 381 of the electronic device 101 is directed relative to the electronic device 101 because it is greater than the fourth intensity of audio signals of the third frequency band output from the speaker 383. It may be identified that the external electronic device 201 is located (eg, on the right side). Since the external electronic device 201 is located on the right side with respect to the electronic device 101, the processor 410 of the external electronic device 201 transmits a second signal including information of a relative positional relationship pointing to the right side of the electronic device. (101).
  • the magnitude of the third intensity may be smaller than that of the fourth intensity.
  • the dual speakers 381 and 383 of FIG. 7B are illustrated as external speakers respectively disposed on the left and right sides of the electronic device 101, but are not limited thereto.
  • the external speaker may be a directional speaker or an omnidirectional speaker.
  • the processor 410 of the external electronic device 201 determines that the fourth intensity of the audio signals of the third frequency band output from the second speaker 383 of the electronic device 101 is Since it is greater than the third intensity of the audio signals of the second frequency band output from the speaker 381, the direction the second speaker 383 of the electronic device 101 faces with respect to the electronic device 101 ( For example, it may be identified that the external electronic device 201 is located on the left). Since the external electronic device 201 is located on the left with respect to the electronic device 101, the processor 410 of the external electronic device 201 transmits a second signal including information of a relative positional relationship indicating the left side of the electronic device. (101).
  • the processor 410 of the external electronic device 201 may determine whether a difference value between the third intensity and the fourth intensity exceeds a predefined threshold value. If the difference value is less than or equal to a predefined threshold value, the processor 410 of the external electronic device 201 determines that the electronic device 101 is not located on the horizontal arrangement in the left and right direction, and the corner direction (eg : located in the upper left) can be identified. Accordingly, the processor 410 of the external electronic device 201, when the difference value is less than or equal to a predefined threshold value, visual notification requesting rearrangement of the external electronic device 201 to be positioned on a horizontal arrangement. Alternatively, an audible notification may be output. Alternatively, the processor 410 of the external electronic device 201 may transmit a signal requesting the electronic device 101 to output the visual notification or the auditory notification.
  • the processor 410 of the external electronic device 201 configures the speaker (eg, the speaker 360 of FIG. 3 ) of the electronic device 101 to use the first speaker 381 and the second speaker 383
  • the processor 410 of the external electronic device 201 may activate both the first microphone 451 and the second microphone 453 .
  • the processor 410 of the external electronic device 201 activates only the first microphone 451 in response to identifying the existence of the first speaker 381 and the second speaker 383 of the electronic device 101. can do.
  • the processor 410 of the external electronic device 201 uses the second microphone 453 You can decide to activate additionally.
  • the processor 410 of the external electronic device 201 determines the second frequency measured through the first microphone 451, the third intensity, the fourth The location of the electronic device 101 may be identified by calculating an average of the intensity and the third and fourth intensities measured through the second microphone 453 .
  • the external electronic device 201 identifies a relative position result based on a difference in reception strength of audio signals, and the identified relative position result is transmitted to the electronic device Although described based on transmission to (101), it is not limited thereto.
  • the external electronic device 201 may transmit intensity information to the electronic device 101 .
  • the second signal may include arbitrary information for indicating the relative positional relationship, it may include information explicitly indicating the identified relative positional relationship, and may also include information indicating the relative positional relationship. It may also include intensity information that can be implicitly indicated.
  • the intensity information may be information representing measurement values of the first to fourth intensities.
  • the processor 310 of the electronic device 101 may receive the second signal for indicating the relative positional relationship and decode the second signal.
  • the processor 310 of the electronic device 101 may identify that the information included in the second signal is the strength information.
  • the processor 310 of the electronic device 101 may identify a relative positional relationship in response to receiving the intensity information. Referring to FIG.
  • the processor 310 of the electronic device 101 compares received intensity information and receives the received intensity information through the first microphone 451 of the external electronic device 201. It may be identified that the magnitude of the first intensity of the received audio signals is greater than the second intensity of the audio signals received through the second microphone 453 of the external electronic device 201 .
  • the processor 310 of the electronic device 101 may identify that the electronic device 101 is located in the direction of the first microphone 451 with respect to the external electronic device 201 based on the result of the size comparison. . Since the external electronic device 201 is located on the right side of the electronic device 101, the processor 310 may generate relative positional information indicating the right side and transmit the second signal to the external electronic device. there is.
  • FIG. 8 is a flowchart illustrating a method of operating an external electronic device according to various embodiments.
  • the processor 410 may receive a first signal including identification information.
  • the identification information determines whether the speaker (eg, speaker 360 of FIG. 3 ) of the electronic device 101 corresponds to a single speaker (eg, speaker 370 of FIG. 6A ) or a dual speaker (eg, dual speaker 360 of FIG. 7A ). It may be information for indicating whether it corresponds to the speakers 381 and 383.
  • the processor 410 may determine whether displacement is detected within a predefined time after receiving the first signal.
  • the external electronic device 201 may further include a gyro sensor (not shown) and an acceleration sensor (not shown).
  • the processor 410 may determine whether displacement of the external electronic device 201 has occurred based on sensing values of the gyro sensor (not shown) and the acceleration sensor (not shown).
  • a predefined time Determining whether displacement is detected in the external electronic device 201 may be repeated.
  • the processor 410 may transmit a response signal to the first signal.
  • the processor 410 determines that the device fixing of the external electronic device 201 is completed, and transmits the response signal to the electronic device ( 101) can be sent.
  • the processor 410 may activate at least one microphone based on identification information included in the first signal.
  • the processor 410 of the external electronic device 201 selects the first microphone 451 and the second microphone 453. All can be activated. Since only the audio signals of the first frequency band of a single frequency are output from the single speaker 370 (eg, the speaker 360 of FIG. 3) of the electronic device 101, the first microphone 451 and the second microphone 453 ) is to use the intensity difference of audio signals generated based on the position difference.
  • the processor 410 of the external electronic device 201 uses the first microphone 451 and at least one of the second microphone 453 may be activated. Since audio signals of two frequency bands (eg, a second frequency band and a third frequency band) are output from the electronic device 101, the first microphone 451 and the second microphone 453 may be based on the position difference. because there is no need
  • the processor 410 of the external electronic device 201 may receive audio signals within a specified range to identify a relative positional relationship between the electronic device 101 and the external electronic device 201.
  • the processor 410 may transmit a second signal for indicating a relative positional relationship.
  • operations 850 and 860 may correspond to those described in FIGS. 6A, 6B, and 7 .
  • the processor 410 of the external electronic device 201 may receive a third signal for displaying a pointer on the display 430 of the external electronic device 201.
  • the third signal is generated in response to detecting a user input for moving the pointer from the display of the electronic device 101 (the display 330 of FIG. 3 ) to the display 430 of the external electronic device 201. It can be.
  • the third signal may include a coordinate value (eg, an x-axis pixel position and a y-axis pixel position) to display the pointer.
  • the processor 410 of the external electronic device 201 may display a pointer on the display 430 of the external electronic device 201 based on the third signal.
  • the processor 410 may display a pointer on the display 430 according to the coordinate value included in the third signal. Accordingly, even if the user of the electronic device 101 manipulates the input device to move the pointer outside the display (display 330 of FIG. 3 ) of the electronic device 101, the pointer is displayed on the display ( 430), a continuous user experience can be provided.
  • FIG. 9 is a diagram illustrating signal exchange between an electronic device and an external electronic device according to an exemplary embodiment.
  • the processor 310 of the electronic device 101 may transmit a first signal including identification information to the external electronic device 201 using the communication circuit 340.
  • the processor 310 may transmit the first signal to the external electronic device 201 in response to executing an application for sharing an input device among a plurality of electronic devices.
  • the application for sharing an input device among a plurality of electronic devices is termed variously, such as, for example, a multi-control application, an integration control, an across control application, or an all round control application. That is, the processor 310 may transmit the first signal to the external electronic device 201 in response to the execution of the application. It has been described based on broadcasting the first signal including information, but is not limited thereto.
  • the first signal including the identification information may be broadcast first by the external electronic device 201.
  • the electronic device 201 may broadcast the first signal including the identification information.
  • the device 101 and/or the external electronic device 201 broadcasts a first signal including the identification information according to a predefined period in response to identifying that the MCF is logged into an account related to the MCF based on the MCF.
  • the processor 410 of the external electronic device 201 identifies that the external electronic device 201 is located within a reference distance from the electronic device 101 based on the first signal, and activates at least one microphone. can do.
  • the processor 410 may identify that the electronic device 101 is located within a reference distance in response to receiving the first signal, and may activate a microphone in advance to receive an audio signal for determining a relative positional relationship. . In this case, the processor 410 may determine to activate at least one of the first microphone 451 and the second microphone 453 by referring to the identification information.
  • the processor 410 operates a first microphone ( 451) can only be activated.
  • the processor 410 corresponding to the MCF performs filtering based on a field indicating the same account and/or a field value indicating the same service based on an application (eg, the application 146 of FIG. 1). can do. Therefore, even if there are other devices broadcasting advertising packets at predefined time intervals around the external electronic device 201, the external electronic device 201 may use a field indicating the same account and/or the same account.
  • An advertising packet filtered by a field indicating a service (eg, a first signal including identification information) may be received.
  • the processor 410 of the external electronic device 201 may transmit a response signal to the first signal to the electronic device 101 using the communication circuit 440.
  • the response signal may be a signal indicating that the first signal has been successfully received by the external electronic device 201 .
  • the processor 410 may generate the response signal only when displacement based on sensing values of the gyro sensor and the acceleration sensor of the external electronic device 201 is not detected for a predefined period of time.
  • the processor 310 of the electronic device 101 may output audio signals in a designated frequency range.
  • the output audio signals may be determined based on the speaker 360 of the electronic device 101 .
  • the audio signals may be signals of a first frequency band among the specified frequency range.
  • the electronic device 101 is a dual speaker including a first speaker 381 and a second speaker 383 (eg, the dual speakers 381 and 383 of FIG. 7A )
  • the audio signals are received as specified above. Audio signals in a second frequency band among the frequency range and audio signals in a third frequency band different from the second frequency band in the designated frequency range.
  • the processor 410 of the external electronic device 201 may identify a relative location relationship. For example, information about the relative positions of the electronic device 101 and the external electronic device 201 may be generated.
  • the external electronic device 201 may transmit a second signal indicating the relative positional relationship.
  • operations 950 and 960 may correspond to those described in FIGS. 6A, 6B, and 7 .
  • the external electronic device 201 may change an advertising packet reception policy in response to identifying the relative location relationship.
  • the processor 410 may be configured to drop all advertising packets different from the MAC address of the electronic device 101 in response to identifying the relative location relationship.
  • the external electronic device 201 may ignore advertising packets broadcast by other electronic devices other than the electronic device 101 among a plurality of electronic devices located in a short distance.
  • the processor 410 corresponding to the MCF may be configured to drop another advertising packet related to the same service as the identified electronic device 101 and connection service.
  • the processor 310 of the electronic device 101 may establish a communication link with an external electronic device (eg, the electronic device 201) through the communication circuit 340.
  • the processor 310 may transmit a connection request signal to establish a communication link with the external electronic device.
  • the connection request signal may be, for example, 'CONNECT_REQ' of the Bluetooth specification.
  • an operation 970 of establishing a communication link is illustrated as being performed in response to receiving a second signal indicating a relative positional relationship from an external electronic device (eg, the electronic device 201), but is not limited thereto. no.
  • the communication link may be established prior to transmitting the third signal in response to detecting a user input triggering transmission of the third signal.
  • data may be transmitted/received based on an advertising packet instead of the connection request signal.
  • the processor 310 corresponding to the MCF may identify the same service as that of the external electronic device 201 .
  • the processor 310 may identify a service that limits the size of data transmitted/received with the external electronic device 201 .
  • the processor 310 may omit transmitting the connection request signal based on the identified service type and transmit/receive data using only an advertising packet.
  • the electronic device 101 may identify the same service as the external electronic device 201 through the MCF.
  • the service may correspond to a service for transmitting and receiving small-sized data in real time.
  • the processor 310 may establish a BLE connection oriented channels (CoC) connection in response to the service.
  • the service may correspond to a service for sharing an input device including a mouse pointer or a keyboard or sharing a file.
  • the processor 310 may establish a Wi-Fi access point (AP) or Wi-Fi Direct connection with the external electronic device 201 .
  • AP Wi-Fi access point
  • Wi-Fi Direct connection with the external electronic device 201 .
  • the processor 310 of the electronic device 101 may detect a user input for moving the pointer toward the display 430 of the external electronic device 201. In operation 990, the processor 310 of the electronic device 101 may transmit a third signal for displaying a pointer on the display of the external electronic device 201 to the external electronic device 201. A specific embodiment of detecting a user input will be described later with reference to FIG. 10 .
  • FIG. 10 illustrates an example of detecting a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
  • a pointer 1010 may be displayed on the display 330 of the electronic device 101.
  • the processor 310 may have already received the second signal indicating the right from the external electronic device 201 . That is, the processor 310 may be in a state of pre-identifying that the external electronic device is located on the right side of the electronic device 101 .
  • the processor 310 may specify one edge indicated by the second signal among four edges of the display 330 included in the electronic device 101 .
  • the processor 310 may specify the edge in the right direction.
  • the processor 310 may set a partial area including the specified edge.
  • the partial area may be referred to as an event area 1020 for detecting user input.
  • the processor 310 may identify that the pointer 1010 enters the event area 1020 . In response to identifying the entry, processor 310 may calculate the amount of horizontal movement of the pointer. The processor 310 determines that when the calculated magnitude of horizontal movement exceeds a predefined value 1030, the current user moves a pointer on the display 330 of the electronic device 101 on the display of the external electronic device 201. 430 may be deemed desired to move. The processor 310 displays a pointer on the display 430 of the external electronic device 201 when the pointer enters the event area 1020 and moves horizontally beyond the predefined value 1030. A third signal for displaying may be generated.
  • 11A, 11B, and 11C illustrate examples of events accompanied by a user input for moving a pointer from an electronic device to an external electronic device according to an exemplary embodiment.
  • a user input for moving toward the display 430 of the external electronic device 201 may correspond to a drag input.
  • the pointer 1010 may move accompanying the visual object 1110 that is the target of the drag input.
  • the visual object 1110 may be a shortcut icon corresponding to a gallery application.
  • the gallery application may be any one of applications executable in the first operating system of the electronic device 101 .
  • the third signal adds execution information in addition to coordinate values for displaying the pointer 1010 on the display 430 of the external electronic device 201.
  • the execution information may be information for indicating an application used to execute a function provided through the visual object 1110 accompanying the pointer 1010 .
  • the visual object 1110 is a shortcut icon corresponding to a gallery application
  • the execution information may be information indicating an application capable of performing functions provided through the gallery application.
  • An application indicated by the execution information may correspond to any one of a plurality of applications executable in the second operating system of the external electronic device 201 .
  • the second operating system of the electronic device 201 may be different from the first operating system of the electronic device 101 .
  • a visual object 1120 moved together with a pointer 1010 may be a character string.
  • the character string may correspond to a specific web page address.
  • the processor 310 may generate execution information indicating an application capable of executing the specific webpage address.
  • the pointer 1130 may be an object indicating that a character string can be input. For example, when the pointer 1010 is located on an address input window for inputting the address of a web page, the shape of the object of the pointer 1130 may be changed. Also, the pointer 1130 may blink at predefined intervals to indicate that a character string input is possible.
  • the processor 310 may receive an input of a character string through the input device 350 . For example, the processor 310 may receive a string input through a keyboard. The processor 310 may transmit the received string input to the external electronic device 201 based on the state of the pointer 1130 displayed on the display 430 of the external electronic device 201 .
  • the processor 310 determines that when the pointer of the display 430 of the external electronic device 201 is the pointer 1130 indicating that a character string input is possible, the character string input by the user corresponds to the external electronic device 201 ) for string input, and the received string input may be transmitted to the external electronic device 201 . Accordingly, the user may be provided with a user experience of sharing not only mouse input but also keyboard input.
  • 12 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
  • the processor 310 of the electronic device 101 may identify the external electronic device 201 and its relative position. Operation 1210 may include performing operations 910 to 990 shown in FIG. 9 .
  • the electronic device 101 may detect a user input for moving a pointer toward the display 430 of the external electronic device 201 based on the identified relative position, and move the pointer to the external electronic device 201.
  • a third signal for display on the display 430 of 201 may be transmitted to the external electronic device 201 .
  • the processor 410 of the external electronic device 201 may detect a displacement exceeding a threshold value.
  • the external electronic device 201 may further include a gyro sensor (not shown) and an acceleration sensor (not shown).
  • the processor 410 receives sensing values of the gyro sensor (not shown) and the acceleration sensor (not shown) to identify the displacement of the external electronic device 201, that is, whether the external electronic device 201 moves. there is.
  • the relative positional relationship between the external electronic device 201 and the electronic device 101 may have changed, so the relative positional relationship is identified. The steps can be performed again.
  • the processor 410 of the external electronic device 201 may activate at least one microphone.
  • the processor 410 since the processor 410 has already received identification information to identify the relative positional relationship, it can activate at least one microphone based on the identification information. For example, when only the first microphone 451 is activated in operation 1040 of FIG. 8 , the processor 410 may activate only the first microphone 451 in the same way. For example, when both the first microphone 451 and the second microphone 453 are activated in operation 1040 of FIG. 8 , the processor 410 equally activates the first microphone 451 and the second microphone 453. All can be activated.
  • the processor 410 of the external electronic device 201 may transmit a fourth signal for instructing displacement detection to the electronic device 101.
  • the fourth signal since the external electronic device 201 has moved at least partially, there is a need to identify the relative positional relationship again, and accordingly, a request is made to output audio signals through the speaker 360 of the electronic device 101. It may be a signal that
  • the processor 310 of the electronic device 101 may output audio signals on a designated frequency range.
  • the audio signals may be output in response to the fourth signal for instructing displacement detection.
  • operation 1250 may correspond to operation 540 of FIG. 5 .
  • the processor 410 of the external electronic device 201 may identify a relative positional relationship between the electronic device 101 and the external electronic device 201 based on the movement of the external electronic device 201.
  • the processor 410 may receive the audio signals output in operation 1250 and identify a relative positional relationship based on differences in reception intensities.
  • operation 1260 may correspond to the descriptions of FIGS. 6A, 6B, and 7 .
  • the processor 410 of the external electronic device 201 may transmit a second signal indicating a relative positional relationship to the electronic device 101.
  • operation 1270 may correspond to operation 1060 of FIG. 8 .
  • the processor 310 of the electronic device 101 may reset the event area 1020 based on the changed relative positional relationship. For example, when the second signal indicating the relative positional relationship is changed from right to left, the event area (eg, the event area 1020) has four edges forming the display 330 of the electronic device 101. may be changed to a partial area including an edge corresponding to the left direction.
  • 13 is a diagram illustrating signal exchange between an electronic device and an external electronic device according to various embodiments.
  • the processor 310 of the electronic device 101 may identify the external electronic device 201 and its relative position. Operation 1310 may include performing operations 910 to 990 shown in FIG. 9 .
  • the processor 310 of the electronic device 101 may detect a displacement exceeding a threshold value.
  • the electronic device 101 may further include a gyro sensor (not shown) and an acceleration sensor (not shown).
  • the processor 310 may receive sensing values of the gyro sensor (not shown) and the acceleration sensor (not shown) to identify the displacement of the electronic device 101, that is, whether the electronic device 101 is moved.
  • the magnitude of the displacement detected based on the sensing value exceeds the threshold value, the relative positional relationship between the electronic device 101 and the external electronic device 201 may have changed, and thus the relative positional relationship is identified. The steps can be performed again.
  • the processor 310 of the electronic device 101 may transmit a fifth signal for instructing the external electronic device 201 to activate the microphone.
  • the processor 310 may output audio signals through the speaker 360.
  • the processor 410 of the external electronic device 201 cannot measure the strength of the audio signals even though the audio signals are output. Accordingly, the processor 310 of the electronic device 101 may transmit the fifth signal instructing the external electronic device 201 to activate at least one microphone.
  • the fifth signal may further include interval information for indicating an activation time of the at least one microphone.
  • the interval information may include information indicating start and end times of the time at which the at least one microphone is activated, respectively.
  • the section information may include information indicating a start point of the time at which the at least one microphone is activated and a length of the section in which the at least one microphone is activated.
  • the external electronic device 201 may activate at least one microphone.
  • the processor 410 may activate the at least one microphone in response to receiving the fifth signal.
  • the fifth signal may further include the interval information for indicating an activation time of the at least one microphone.
  • the processor 410 may activate the at least one microphone only for a time indicated by the section information.
  • the processor 310 of the electronic device 101 may output audio signals in a designated frequency range.
  • the audio signals may be output based on the fifth signal for instructing displacement detection.
  • operation 1350 may correspond to operation 540 of FIG. 5 .
  • the processor 410 of the external electronic device 201 may identify a relative location relationship.
  • the processor 410 may receive the audio signals output from the electronic device 101 in operation 1350 and identify a relative positional relationship based on differences in reception intensities.
  • operation 1360 may correspond to the descriptions of FIGS. 6A, 6B, and 7 .
  • the processor 410 of the external electronic device 201 may transmit a second signal indicating a relative positional relationship between the electronic device 101 and the external electronic device 201 to the electronic device 101.
  • operation 1370 may correspond to operation 1060 of FIG. 8 .
  • FIG. 14 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
  • the electronic device 101 outputs audio signals and the electronic device 201 determines a relative positional relationship based on a difference in received strengths measured through a microphone. , but is not limited thereto.
  • the electronic device 201 may output audio signals, and the electronic device 101 may receive the audio signals to identify a relative positional relationship.
  • the processor 310 of the electronic device 101 may identify the external electronic device 201 and its relative position. Operation 1410 may include performing operations 910 to 990 shown in FIG. 9 .
  • the processor 410 of the external electronic device 201 may detect a displacement exceeding a threshold value.
  • operation 1420 may correspond to operation 1220 of FIG. 12 .
  • the processor 410 of the external electronic device 201 may transmit a fifth signal for instructing the electronic device 101 to activate the microphone.
  • the processor 410 transmits the fifth signal to the electronic device ( 101) can be sent.
  • the processor 310 of the electronic device 101 may activate at least one microphone.
  • the electronic device 101 may further include a third microphone (not shown) and a fourth microphone (not shown).
  • the processor 310 may activate at least one microphone in response to a fifth signal received from the external electronic device 201 .
  • the processor 310 uses a third microphone (not shown). can only be activated.
  • the processor 310 of the electronic device 101 may receive audio signals in a specified frequency range through at least one microphone activated in operation 1450 .
  • the processor 310 of the electronic device 101 may identify a relative positional relationship based on a difference between reception intensities of the audio signals.
  • the processor 310 of the electronic device 101 may transmit a second signal indicating the identified relative positional relationship to an external electronic device (eg, the electronic device 201).
  • 15 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
  • the electronic device 101 outputs audio signals
  • the external electronic device 201 outputs audio signals based on differences in reception intensities of the audio signals measured through a microphone.
  • the external electronic device 201 may output audio signals
  • the electronic device 101 may receive the audio signals to identify a relative positional relationship.
  • the processor 310 of the electronic device 101 may identify the external electronic device 201 and its relative position.
  • Operation 1410 may include performing operations 910 to 990 shown in FIG. 9 .
  • the processor 310 of the electronic device 101 may detect a displacement exceeding a threshold value.
  • the electronic device 101 may further include a gyro sensor (not shown) and an acceleration sensor (not shown).
  • the processor 310 may receive sensing values of the gyro sensor (not shown) and the acceleration sensor (not shown) to identify the displacement of the electronic device 101, that is, whether the electronic device 101 is moved.
  • the magnitude of the displacement detected based on the sensing value exceeds the threshold value, identifying the relative positional relationship between the electronic device 101 and the external electronic device 201 may have changed. can be done again.
  • the processor 310 of the electronic device 101 may activate at least one microphone.
  • the at least one microphone may be activated in advance in order to receive audio signals output from the external electronic device 201 .
  • the processor 310 of the electronic device 101 may transmit a fourth signal for instructing displacement detection to the external electronic device 201 in response to completing activation of the at least one microphone.
  • the processor 410 of the external electronic device 201 may output audio signals in a designated frequency range in response to receiving the fourth signal.
  • the processor 310 of the electronic device 101 receives the audio signals through the at least one microphone, measures reception strengths of each, and identifies a relative positional relationship based on a difference between the reception strengths. can Then, in operation 1570, the processor 310 of the electronic device 101 may transmit a second signal to the external electronic device 201 to inform the external electronic device 201 of the identified relative positional relationship.
  • FIG. 16A illustrates an example of a wireless environment including an electronic device, a first external electronic device, and a second external electronic device according to various embodiments
  • FIG. 16B illustrates an electronic device, a first external electronic device, and a second external electronic device. shows the signal exchange diagram of
  • a wireless environment 200 may include an electronic device 101 , a first external electronic device 201 and a second external electronic device 202 .
  • the first external electronic device 201 and the second external electronic device 202 may be disposed in the left and right directions of the electronic device 101, respectively.
  • the first external electronic device 201 may be a user's smart phone
  • the second external electronic device 202 may be a user's tablet.
  • the processor 310 of the electronic device 101 may broadcast a first signal including identification information.
  • the identification information may include information for indicating a specification of the speaker 360 of the electronic device 101 .
  • the identification information may determine whether the speaker 360 of the electronic device 101 is a single speaker 370 (eg, the speaker 360 of FIG. 3) or dual speakers 381 and 383 (eg, the speaker 360 of FIG. 3). It may include 1 bit for indicating whether the speaker 360 of the
  • the first signal may correspond to at least one of a magnetic field signal, a BLE advertising signal, or a signal including an identifier of a wireless access point.
  • each of the first external electronic device 201 and the second external electronic device 202 may identify that the electronic device 101 is located within a reference distance and activate at least one microphone. there is.
  • the external electronic devices 201 and 202 determine whether the electronic device 101 is included within the reference distance (eg, an enclosed space such as a conference room) based on receiving the first signal including the identification information. that can be identified. Based on the identification, the external electronic devices 201 and 202 may activate at least one microphone for receiving audio signals to be broadcast from the electronic device 101 .
  • each of the first external electronic device 201 and the second external electronic device 202 may transmit a response signal to the first signal to the electronic device 101.
  • the response signal may be a signal for notifying that the first external electronic device 201 and the second external electronic device 202 have successfully received the first signal broadcasted from the electronic device 101 .
  • the electronic device 101 may output audio signals in a designated frequency range based on the identification information. For example, the electronic device 101 may output audio signals in a frequency range previously designated to match the specifications of the speaker 360 of the electronic device 101 included in the identification information.
  • each of the first external electronic device 201 and the second external electronic device 202 may identify a relative positional relationship based on audio signals in the predetermined frequency range.
  • the electronic device 101 may output audio signals in the predetermined frequency range through a single speaker 370 (eg, the speaker 360 of FIG. 3 ).
  • the first external electronic device 201 may activate a plurality of microphones to identify reception intensities of audio signals in the predetermined frequency range, respectively.
  • the first external electronic device 201 may identify that the electronic device 101 is located on the right side of the first external electronic device 201 based on the difference in reception intensities identified through each of the plurality of microphones.
  • the second external electronic device 202 determines that the electronic device 101 is positioned to the left of the second external electronic device 202 based on differences in reception strengths identified through each of the plurality of microphones. can be identified.
  • the first external electronic device 201 and the second external electronic device 202 may transmit a second signal indicating the identified positional relationship to the electronic device 101. For example, a direction indicated by the second signal received from the first external electronic device 201 and a direction indicated by the second signal received from the second external electronic device 202 may be opposite to each other.
  • the processor 310 of the electronic device 101 notifies the user that the first external electronic device 201 and the second external electronic device 202 can be controlled in response to receiving the second signal.
  • a pop-up window 1800 for display may be displayed on the display 330 .
  • the electronic device 101 may establish a communication link with external electronic devices (eg, the first external electronic device 201 and the second external electronic device 202).
  • the electronic device 101 may detect a user input for moving the pointer toward the display of the first external electronic device 201.
  • the electronic device 101 may set at least a partial area of an edge corresponding to a direction toward the first external electronic device 201 among edges of the display 330 as an event area.
  • the electronic device 101 is a user for moving toward the display of the first external electronic device 201 when a pointer corresponding to a user input enters the event area and moves in a horizontal direction exceeding a predefined value. It can identify that an input has been detected.
  • the electronic device 101 may transmit a third signal for displaying the pointer on the display of the first external electronic device 201 to the first external electronic device 201 based on the detected user input. .
  • the electronic device 101 may detect a user input for moving the pointer toward the display of the second external electronic device 202. For example, the electronic device 101 may set at least a partial area of an edge corresponding to a direction toward the second external electronic device 202 among edges of the display 330 as an event area. The electronic device 101 is a user for moving toward the display of the second external electronic device 202 when the pointer corresponding to the user input enters the event area and moves horizontally beyond a predefined value. It can identify that an input has been detected. The electronic device 101 may transmit a third signal for displaying the pointer on the display of the second external electronic device 102 to the second external electronic device 202 based on the detected user input. .
  • At least one device may be mobile.
  • the electronic device 101 may detect a displacement exceeding a threshold value after identifying relative positional relationships with the first external electronic device 201 and the second external electronic device 202, respectively. there is. When a displacement exceeding the threshold value is detected, the electronic device 101 may determine that the relative positional relationship obtained in operations 1650 and 1655 is not valid. Accordingly, the electronic device 101 may perform an operation for identifying the relative positional relationship with the first external electronic device 201 and the second external electronic device 202 again. For example, the electronic device 101 may return to operation 1640 and broadcast audio signals on a designated frequency range again. According to an embodiment, the electronic device 101 may transmit a request to activate at least one microphone to the first external electronic device 201 and the second external electronic device 202 .
  • the electronic device 101 when the magnitude of the displacement detected through the electronic device 101 is very large, the electronic device 101 is no longer identical to the first external electronic device 201 and the second external electronic device 202. It may not be located in space. Accordingly, when the magnitude of the detected displacement is very large, the electronic device 101 may perform operation 1610 of broadcasting the first signal including the identification information again.
  • the first external electronic device 201 or the second external electronic device 202 may detect a displacement exceeding a threshold value after identifying a relative positional relationship with the electronic device 101. .
  • the first external electronic device 201 identifies the relative positional relationship between the electronic device 101 and the first external electronic device 201 in operation 1650, and the relative position to the electronic device 101 through operation 1660. After transmitting the second signal indicating the relationship, a displacement exceeding a threshold value may be detected.
  • the first external electronic device 201 may determine that the relative positional relationship obtained in operation 1650 is not valid. Accordingly, the first external electronic device 201 may perform an operation for identifying the relative positional relationship with the electronic device 101 again.
  • the first external electronic device 201 may transmit a signal requesting the electronic device 101 to output audio signals in a designated frequency range in operation 1640 to the electronic device 101 .
  • the signal for requesting output of audio signals in the specified frequency range may be a fourth signal for instructing displacement detection transmitted to the electronic device 101 through operation 1240 of FIG. 12 .
  • the electronic device 101 may output audio signals over the specified frequency range again.
  • the second external electronic device 202 may be in a state of inactivating at least one microphone.
  • the first external electronic device 201 may re-identify the relative positional relationship based on the audio signals in the specified frequency range output from the electronic device 101 .
  • the electronic device 101 sets at least a partial area of an edge corresponding to a direction toward the first external electronic device 201 among edges of the display 330 as an event area, and the user
  • the pointer corresponding to the input enters the event area and moves horizontally beyond a predefined value
  • the electronic device 101 moves toward the display of the first external electronic device 201 in response to detecting an input that passes a right edge on the display of the second external electronic device 202.
  • the electronic device 101 may display a pointer on the left edge of the first external electronic device 201 in response to an input passing through the right edge on the display of the second external electronic device 202 .
  • the electronic device 101 sets at least a partial area of an edge corresponding to a direction toward the second external electronic device 202 among edges of the display 330 as an event area, and the user
  • the pointer corresponding to the input enters the event area and moves horizontally beyond a predefined value
  • the electronic device 101 moves toward the display of the second external electronic device 202 in response to detecting an input that passes a left edge on the display of the first external electronic device 201.
  • the electronic device 101 may display a pointer on the right edge of the second external electronic device 202 in response to an input passing through the left edge on the display of the first external electronic device 201 .
  • FIG. 17A illustrates an example of a wireless environment including an electronic device, a first external electronic device, and a second external electronic device according to various embodiments
  • FIG. 17B illustrates an electronic device, a first external electronic device, and a second external electronic device. shows the signal exchange diagram of
  • a wireless environment 200 may include an electronic device 101 , a first external electronic device 201 and a second external electronic device 202 .
  • the first external electronic device 201 and the second external electronic device 202 may be disposed in one direction of the electronic device 101 .
  • both the first external electronic device 201 and the second external electronic device 202 may be located on the left side of the electronic device 101 .
  • the second external electronic device 202 may be positioned to the left of the first external electronic device 201 .
  • the electronic device 101 may output audio signals in a designated frequency range based on identification information. Operation 1710 may correspond to operation 1640 of FIG. 16B.
  • each of the first external electronic device 201 and the second external electronic device 202 may identify a relative positional relationship based on audio signals in the predetermined frequency range.
  • Operations 1720 and 1725 may correspond to operations 1650 and 1655 shown in FIG. 16B , respectively.
  • a direction indicated by the second signal received from the first external electronic device 201 and a direction indicated by the second signal received from the second external electronic device 202 may be the same.
  • all of the second signals transmitted by the external electronic devices 201 and 202 may indicate the left side.
  • the electronic device 101 may identify relative positions between the external electronic devices 201 and 202.
  • the first external electronic device 101 since the direction indicated by the second signal received from the first external electronic device 201 coincides with the direction indicated by the second signal received from the second external electronic device 202, the first external electronic device 101 It may be identified that the electronic device 201 and the second external electronic device 202 are located in the same direction.
  • the electronic device 101 calculates reception strengths of the second signals, and the first external electronic device 201 and the second external electronic device 202 are configured based on the calculated strengths of the second signals.
  • the electronic device 101 can determine the relative position of For example, when the reception strength of the second signal received from the first external electronic device 201 is greater than the reception strength of the second signal received from the second external electronic device 202, the electronic device 101 It may be identified that the first external electronic device 201 is located closer to the electronic device 101 than the second external electronic device 202 . Referring to FIG. 18 together, the processor 310 of the electronic device 101 notifies the user that the first external electronic device 201 and the second external electronic device 202 can be controlled in response to receiving the second signal. A pop-up window 1800 for display may be displayed on the display 330 . In operation 1750, the electronic device 101 may establish a communication link with external electronic devices (eg, the first external electronic device 201 and the second external electronic device 202).
  • external electronic devices eg, the first external electronic device 201 and the second external electronic device 202
  • the electronic device 101 may detect a user input for moving the pointer toward the display of the first external electronic device 201. For example, the electronic device 101 may set at least a partial area of a left edge corresponding to a direction toward the first external electronic device 201 among edges of the display 330 as an event area. The electronic device 101 is a user for moving toward the display of the first external electronic device 201 when the pointer corresponding to the user input enters the event area and moves leftward beyond a predefined value. It can identify that an input has been detected. In operation 1765, the electronic device 101 transmits a third signal for displaying the pointer on the display of the first external electronic device 201 to the first external electronic device 201 based on the detected user input. can be sent
  • the electronic device 101 may detect a user input for moving the pointer from the display of the first external electronic device 201 toward the display of the second external electronic device 202. For example, the electronic device 101 receives a user input for moving a pointer on the display of the first external electronic device 201, and continuously transmits a third signal including the received user input to the first external electronic device 201. (201). In consideration of the display size of the first external electronic device 201 , it may be identified whether the user input enters at least a partial area including the left edge of the first external electronic device 201 .
  • the electronic device 101 identifies that the pointer corresponding to the user input enters the at least partial area set on the display of the first external electronic device 201, and the left direction corresponding to the second external electronic device 202. When the movement exceeds a predefined value as , it may be identified that a user input for moving from the display of the first external electronic device 201 toward the display of the second external electronic device 202 is detected. For another example, the electronic device 101 identifies that the pointer corresponding to the user input enters the at least partial area set on the display of the first external electronic device 201, and the pointer moves from the entry position.
  • the electronic device 101 In response to identifying the movement beyond a predetermined angle (eg, lower left edge or upper left edge), from the display of the first external electronic device 201 toward the display of the second external electronic device 202 It may be identified that a user input for moving is detected. In operation 1775, the electronic device 101 sends a third signal for displaying the pointer on the display of the second external electronic device 202 to the second external electronic device 202 based on the detected user input. can be sent
  • the technical problem to be achieved in this document is that when an event of sharing an input device between a plurality of electronic devices occurs, even if a user input for a positional relationship between the plurality of electronic devices is not received, the plurality of electronic devices are automatically connected to each other. It is in reflecting the positional relationship.
  • An electronic device (eg, the electronic device 101 of FIG. 3) according to an embodiment as described above includes at least one memory configured to store instructions (eg, the memory 320 of FIG. 3), At least one processor (eg, processor 310 of FIG. 3 ), at least one input device (eg, input device 350 of FIG. 3 ), a display (eg, display 330 of FIG. 3 ), at least one A speaker (eg, the speaker 360 of FIG. 3) and a communication circuit (eg, the communication circuit 340 of FIG.
  • At least one memory configured to store instructions
  • At least one processor eg, processor 310 of FIG. 3
  • at least one input device eg, input device 350 of FIG. 3
  • a display eg, display 330 of FIG. 3
  • at least one A speaker eg, the speaker 360 of FIG. 3
  • a communication circuit eg, the communication circuit 340 of FIG.
  • the at least one processor when executing the instructions, through the communication circuit, Based on broadcasting a first signal including identification information of the electronic device and receiving a response signal to the first signal from the external electronic device, it is determined that the external electronic device is located within a reference distance from the electronic device. and, in response to the identification, outputting audio signals over a specified frequency range through the at least one speaker, identified based on at least a portion of the audio signals and a relative position between the display and the display of the external electronic device.
  • a second signal for indicating a relationship is received from the external electronic device through the communication circuit, and a pointer displayed on a screen displayed through the display is identified based on the relative positional relationship.
  • a third signal for displaying the pointer on the display of the external electronic device based on detecting a user input for moving toward the display of the external electronic device across a periphery of It may be configured to transmit to the external electronic device through a communication circuit.
  • an electronic device, method, and computer readable storage medium automatically complete location setting without a user directly performing a positional relationship (eg, up, down, left, right) of electronic devices, thereby allowing the user to can alleviate the discomfort of
  • an electronic device, method, and computer readable storage medium when the positional relationship of electronic devices is changed again after position setting is completed, automatically changes the position even if the user does not directly input the changed positional relationship. By reflecting the relationship, a user experience with continuity can be provided.
  • the identification information may indicate that the at least one speaker is a single speaker (eg, the single speaker 370 of FIG. 6A) or a dual speaker (eg, the first speaker 381 of FIG. 7A or the second speaker). (383)), and the at least one processor, when executing the instructions, if the at least one speaker corresponds to the single speaker, the at least one processor, through the single speaker configured to output audio signals on a first frequency band within a designated frequency range, and when the at least one speaker corresponds to the dual speaker, audio signals on a second frequency band through a first speaker of the at least one speaker and output an audio signal on a third frequency band within the specified frequency range through a second speaker of the at least one speaker, wherein the second frequency band is different from the third frequency band, and wherein the The designated frequency range includes inaudible frequency bands, audio signals on the first frequency band are acquired through multiple microphones of the external electronic device, audio signals on the second frequency band and the third frequency band Audio signals of the above are obtained through any one of the multiple microphone
  • the at least one processor when executing the instructions, determines that the pointer within a designated area including the one edge identified based on the relative positional relationship is based on the relative positional relationship.
  • a user input for moving toward the display of the external electronic device may be detected in response to identifying that the electronic device moves in the identified direction by exceeding a predefined size.
  • the first signal corresponds to a signal including at least one of a Bluetooth low energy advertising packet or an identifier of a wireless access point or a magnetic field signal. can do.
  • the relative positional relationship may indicate a direction from the electronic device to the external electronic device or a direction from the external electronic device to the electronic device.
  • the at least one processor determines a time resource to transmit a third signal for displaying the pointer on the display of the external electronic device using the at least one speaker.
  • information about the electronic device may be transmitted to the external electronic device.
  • the at least one processor when executing the instructions, establishes a Bluetooth connection with the external electronic device in response to receiving the second signal, and in response to detecting the user input, A third signal for displaying the pointer on the display of the external electronic device based on the time resource information may be transmitted to the external electronic device using the communication circuit.
  • the at least one processor when executing the instructions, establishes a Bluetooth connection with the external electronic device in response to detecting the user input, and in response to identifying that the Bluetooth connection is established , A third signal for displaying the pointer on the display of the external electronic device based on the information on the time resource may be transmitted to the external electronic device using the communication circuit.
  • the at least one processor when the at least one processor executes the instructions, in response to receiving the second signal for indicating the relative positional relationship, the at least one processor deactivates the at least one speaker so that audio over the specified frequency range is received. It is possible to bypass outputting signals.
  • the at least one processor when the instructions are executed, is configured to indicate a displacement of the external electronic device identified through a gyro sensor and an acceleration sensor of the external electronic device. 4 signals may be received from the external electronic device through the communication circuit, and in response to receiving the fourth signal, audio signals in the designated frequency range may be output through the at least one speaker.
  • the at least one processor when executing the instructions, activates multiple microphones of the external electronic device through the communication circuit in response to identifying that the external electronic device is located within the reference distance. Transmitting a fifth signal for instructing what to do to the external electronic device, and outputting audio signals in the specified frequency range through the at least one speaker in response to transmitting the fifth signal to the external electronic device;
  • the fifth signal includes section information for indicating a time section in which the external electronic device activates the multiple microphones, and the section information includes information on a start time, information on an end time, or the time It can be determined by any one of information about the length of the section.
  • the electronic device further includes a gyro sensor and an acceleration sensor, and when the at least one processor executes the instructions, the electronic device moves through the gyro sensor and the acceleration sensor. ), and in response to detecting that the magnitude of the identified displacement exceeds a predefined threshold, the fifth for instructing to activate multiple microphones of the external electronic device using the communication circuit.
  • audio signals in the designated frequency range may be output through the at least one speaker.
  • the second signal may include first strength information of audio signals on the first frequency band measured through a first microphone included in the external electronic device and facing a first direction and the external electronic device. and second intensity information of audio signals on the first frequency band measured through a second microphone included in an apparatus and facing a second direction, wherein the at least one processor, when executing the instructions, The relative positional relationship may be determined based on a difference between the first intensity information and the second intensity information.
  • the at least one processor when the at least one processor executes the instructions, when a difference between the first intensity information and the second intensity information is less than or equal to a preset threshold value, the at least one processor through the at least one speaker , configured to output an audible notification for indicating that the relative positional relationship cannot be determined, and the audible notification may be output through an audio signal on an audible frequency band different from the frequency band of the specified range.
  • the second signal includes third strength information and the third frequency of audio signals on the second frequency band measured through one of the multiple microphones included in the external electronic device. Includes fourth intensity information for audio signals on the band;
  • the at least one processor may be configured to determine the relative positional relationship based on a difference between the third intensity information and the fourth intensity information when executing the instructions.
  • the at least one processor when executing the instructions, if a difference between the third intensity information and the fourth intensity information is less than or equal to a preset threshold, through the at least one speaker. , configured to output an audible notification for indicating that the relative positional relationship cannot be determined, and the audible notification may be output through an audio signal on an audible frequency band different from the frequency band of the specified range.
  • the screen displayed through the display is displayed while a first operating system is being executed, and the display of the external electronic device
  • a type of visual object that is accompanied by the pointer moved according to the drag input is identified, and a second operating system different from the first operating system is identified.
  • the third signal further including information for indicating an application used to execute a function provided through the visual object according to the identified type among a plurality of applications executable in the operating system. It can be transmitted to the external electronic device.
  • the electronic device further includes multiple microphones, and the at least one processor, when executing the instructions, through the multiple microphones of the electronic device, the specified output from the external electronic device.
  • Measuring reception strengths of audio signals over a frequency range, identifying the relative positional relationship based on the measured reception strengths, and transmitting the third signal to the external electronic device based on the identified relative positional relationship can do.
  • the electronic device includes at least one memory (eg, the memory 420 of FIG. 4 ) configured to store instructions, and at least one processor. (eg, the processor 410 of FIG. 4), a display (eg, the display 430 of FIG. 4), and an external electronic device (eg, the electronic device 101 of FIG. 3) audio signals on a designated frequency band
  • a first microphone eg, the first microphone 450 in FIG. 4
  • a second microphone eg, the second microphone in FIG. 4
  • a communication circuit e.g., the communication circuit 440 of FIG.
  • the at least one processor when executing the instructions, via the communication circuit, the external Receiving a first signal including identification information of an electronic device, identifying that the external electronic device is located within a reference distance from the electronic device based on the first signal, and based on the identification, the electronic device
  • a response signal for indicating that the external electronic device is located within the reference distance is transmitted to the electronic device through the communication circuit, and the response signal is transmitted from the external electronic device through at least one of the plurality of microphones.
  • a second signal for indicating the identified relative positional relationship is transmitted to the external electronic device, and the external electronic device transmits a pointer displayed on a screen displayed through a display of the external electronic device to the external electronic device.
  • the pointer is moved to the electronic device. It may be configured to receive a third signal for display on the display of the device from the external electronic device through the communication circuit.
  • the identification information may include a single speaker from which at least one speaker included in the external electronic device outputs audio signals on a first frequency band or audio signals on a second frequency band and audio signals on a third frequency band. It further includes information for indicating any one of dual speakers outputting audio signals, and the at least one processor, when executing the instructions, when the identification information indicates the single speaker, the first microphone and When both the second microphones are activated and the identification information indicates the dual speaker, one of the first microphone and the second microphone is activated, and the second frequency band is the third frequency band. different from each other, the first frequency band, the second frequency band, and the third frequency band are included in inaudible frequency bands, and the relative positional relationship is based on the first microphone and the second microphone.
  • the audio signals on the second frequency band and the third frequency band are identified based on the reception strength of the audio signals on the first frequency band obtained through at least one of the plurality of microphones, respectively. It can be identified based on the received strengths of the audio signals of the above.
  • the first signal corresponds to a signal including at least one of a Bluetooth low energy advertising packet or an identifier of a wireless access point or a magnetic field signal. can do.
  • the relative positional relationship may indicate a direction from the electronic device to the external electronic device or a direction from the external electronic device to the electronic device.
  • the third signal for displaying the pointer on the display of the electronic device is transmitted through at least one of the plurality of microphones.
  • Information on time resources may be received from the external electronic device.
  • the at least one processor when executing the instructions, establishes a Bluetooth connection with the external electronic device in response to transmitting the second signal, and based on the information on the time resource, the at least one processor
  • the third signal for displaying a pointer on the display of the electronic device may be received from the external electronic device using the communication circuit.
  • the at least one processor may deactivate the plurality of microphones in response to transmitting the second signal for indicating the relative positional relationship to the external electronic device.
  • the electronic device further includes a gyro sensor and an acceleration sensor, and when the at least one processor executes the instructions, the gyro sensor and the acceleration sensor transmit the information through the gyro sensor and the acceleration sensor. Displacement of the electronic device is identified, and in response to identifying that the magnitude of the displacement exceeds a predefined threshold, a fourth signal for indicating the displacement of the electronic device is transmitted through the communication circuit. In response to transmitting the fourth signal to the external electronic device and transmitting the fourth signal to the external electronic device, at least one of the plurality of microphones may be activated.
  • the at least one processor when the instructions are executed, is configured to instruct, through the communication circuit, to activate at least one of the plurality of microphones of the electronic device from the external electronic device.
  • 5 A signal is received from the external electronic device, and in response to receiving the fifth signal, at least one microphone corresponding to the identification information among the plurality of microphones is activated, and the fifth signal is the electronic device A, includes interval information for indicating a time interval for activating at least one of the plurality of microphones, and the interval information includes information about a start time, information about an end time, or information about the length of the time interval It can be determined by any one of the information.
  • the at least one processor when the instructions are executed, is configured to instruct displacement of the external electronic device identified through a gyro sensor of the external electronic device and an acceleration sensor of the external electronic device.
  • a fourth signal for communication may be received from the external electronic device through the communication circuit, and in response to receiving the fourth signal, at least one of the plurality of microphones may be activated based on the identification information.
  • the second signal when executing the instructions, the first strength information of the audio signals on the first frequency band and the first strength information measured through the second microphone It may include second intensity information for audio signals on the first frequency band.
  • the electronic device further includes at least one speaker, and when the at least one processor executes the instructions, the difference between the first intensity information and the second intensity information is a preset threshold. If it is less than or equal to the value, configured to output an audible notification through the at least one speaker of the electronic device to indicate that the relative positional relationship cannot be determined, and the audible notification is It can be output through an audio signal.
  • the second signal may include third intensity information of audio signals on the second frequency band measured through any one of the first microphone and the second microphone and third intensity information on the third frequency band. It may include fourth intensity information for audio signals.
  • the electronic device further includes at least one speaker, and when the at least one processor executes the instructions, the difference between the third intensity information and the fourth intensity information is a preset threshold. If less than or equal to the value, configured to output an audible notification through the at least one speaker to indicate that the relative positional relationship cannot be determined, and the audible notification is via an audio signal on an audible frequency band can be output.
  • the pointer is displayed on a display of the external electronic device while the external electronic device is executing a first operating system
  • the third signal is configured to display the external electronic device running on the electronic device.
  • the electronic device further includes at least one speaker, and the at least one processor, when executing the instructions, through the at least one speaker of the electronic device, in the specified frequency range. Audio signals can be output.
  • At least one memory configured to store instructions according to an embodiment as described above (eg, the memory 320 of FIG. 3 ), at least one processor (eg, the processor 310 of FIG. 3 ), and at least One input device (eg, input device 350 of FIG. 3 ), a display (eg, display 330 of FIG. 3 ), and at least one speaker (eg, speaker 360 of FIG. 3 ) and a communication circuit
  • a method for operating an electronic device eg, the electronic device 101 of FIG. 3) having (eg, the communication circuit 340 of FIG.
  • identification information of the electronic device An operation of broadcasting a first signal including, and an operation of identifying that the external electronic device is located within a reference distance from the electronic device based on receiving a response signal to the first signal from the external electronic device; , in response to the identification, an operation of outputting audio signals in a specified frequency range through the at least one speaker, and a relative position between the display and the display of the external electronic device identified based on at least a part of the audio signals
  • a third signal for displaying the pointer on the display of the external electronic device based on detecting a user input for moving across a periphery of the displayed display toward the display of the external electronic device. to the external electronic device through the communication circuit.
  • At least one memory eg, the memory 420 of FIG. 4 ) configured to store instructions according to an embodiment as described above, and at least one processor (eg, the operating system) configured to drive the first operating system. Audio signals on a designated frequency band output from the processor 410 of FIG. 4), the display (eg, the display 430 of FIG. 4), and the external electronic device (eg, the electronic device 101 of FIG. 3), respectively.
  • a first microphone facing a first direction for reception eg, the first microphone 450 of FIG. 4
  • a second microphone facing a second direction different from the first direction eg, the second microphone 460 of FIG. 4
  • a method for operating an electronic device eg, the electronic device 201 of FIG.
  • the external electronic device may be configured to drive a second operating system different from the first operating system.
  • a non-transitory computer-readable storage medium includes at least one memory configured to store instructions (eg, the memory 320 of FIG. 3 ), and at least one processor (eg, the memory 320 of FIG. 3 ).
  • processor 310 includes at least one input device (eg, the input device 340 of FIG. 3), a display (eg, the display 330 of FIG. 3), and at least one speaker (eg, the input device 340 of FIG. 3).
  • processor 310 When executed by at least one processor of an electronic device (eg, the electronic device 101 of FIG. 3) having a speaker 360 and a communication circuit (eg, the communication circuit 340 of FIG.
  • the communication Based on broadcasting a first signal including identification information of the electronic device through a circuit and receiving a response signal to the first signal from an external electronic device (eg, the electronic device 201 of FIG. 4 ) to identify that the external electronic device is located within a reference distance from the electronic device, and in response to the identification, to output audio signals in a specified frequency range through the at least one speaker, based on at least some of the audio signals and receives a second signal for indicating a relative positional relationship between the display and the display of the external electronic device from the external electronic device through the communication circuit, and is displayed on a screen displayed through the display Based on detecting a user input for moving a pointer toward the display of the external electronic device across a periphery of the display identified based on the relative positional relationship, the pointer A third signal for display on a display of the external electronic device may be transmitted to the external electronic device through the communication circuit.
  • an external electronic device eg, the electronic device 201 of FIG. 4
  • the non-transitory computer readable storage medium includes at least one memory configured to store instructions (eg, the memory 420 of FIG. 4 ) and a first operating system. From at least one processor configured to drive (eg, the processor 410 of FIG. 4 ), a display (eg, the display 430 of FIG. 4 ), and an external electronic device (eg, the electronic device 101 of FIG. 3 ).
  • a first microphone facing a first direction eg, the first microphone 450 in FIG. 4
  • a second microphone facing a second direction different from the first direction for example, the first microphone 450 in FIG. 4
  • receiving output audio signals on a designated frequency band respectively.
  • a communication circuit eg, the communication circuit 440 of FIG. 4
  • the external electronic device When executed by at least one processor of (201)), a first signal including identification information of the external electronic device is received, and based on the first signal, the external electronic device is at a reference distance from the electronic device.
  • identifying that the electronic device is located within the range and based on the identification, transmitting a response signal for indicating that the electronic device is located within the reference distance from the external electronic device to the electronic device through the communication circuit;
  • reception strengths of audio signals on the designated frequency band output in response to the response signal from the external electronic device are measured, and based on the measured reception strengths, the electronic device and A relative positional relationship between the external electronic devices is identified, and a second signal for indicating the identified relative positional relationship is transmitted to the external electronic device through the communication circuit, and the external electronic device controls the positional relationship of the external electronic device.
  • a third signal for displaying the pointer on the display of the electronic device may be configured to receive a third signal from the external electronic device through the communication circuit.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish that component from other corresponding components, and may refer to that component in other respects (eg, importance or order) is not limited.
  • a (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeably interchangeable with terms such as, for example, logic, logical blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, internal memory 136 or external memory 138
  • a machine eg, electronic device 101
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • Computer program products are distributed in the form of machine-readable storage media (e.g. CD-ROM (compact disc read only memory)) or through application stores (e.g. Play Store). ) or directly between two user devices (eg smart phones), online distribution (eg download or upload).
  • online distribution at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component among the plurality of components prior to the integration. .
  • the operations performed by a module, program or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations are executed in a different order. may be added, omitted, or one or more other actions may be added.

Abstract

A processor of an electronic device, according to an embodiment, is able to: broadcast a first signal including identification information of the electronic device; identify, from an external electronic device, that the external electronic device is located within a reference distance on the basis of receiving a response signal to the first signal; output audio signals through a speaker in response to the identification; receive, from the external electronic device, a second signal which is based on the audio signals and is for indicating a relative positional relationship between a display and a display of the external electronic device; and, on the basis of detecting a user input for moving a pointer displayed on a screen within the display toward the display of the external electronic device across a periphery of the display identified on the basis of the relative positional relationship, transmit a third signal for displaying the pointer on the display of the external electronic device, to the external electronic device.

Description

무선 환경 내에서 외부 전자 장치의 위치를 식별하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체Electronic device, method, and computer readable storage medium for identifying the location of an external electronic device within a wireless environment
다양한 실시예들은 무선 환경(wireless environment) 내에서 전자 장치 및 외부 전자 장치(external electronic device)의 상대적 위치를 결정하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체(non-transitory computer readable storage medium)에 관한 것이다.Various embodiments provide an electronic device, method, and non-transitory computer readable storage medium for determining the relative position of an electronic device and an external electronic device within a wireless environment. about medium).
IT 기술이 발전함에 따라, 소형 전자 장치의 사용이 증가하고 있다. 소형 전자 장치는 스마트 폰, 태블릿 PC(tablet PC), PMP(portable multimedia player), 랩톱 PC(laptop personal computer), 및 웨어러블 기기(wearable device)와 같은 장치들을 포함할 수 있다. 소형 전자 장치의 사용이 증가함에 따라, 복수의 소형 전자 장치들을 동일한 공간 내에서 사용하는 상황이 발생하고 있으며, 동일한 공간 내의 복수의 소형 전자 장치들을 통한 연속적이고 통일성 있는 사용자 경험(user experience)에 대한 요구도 늘어나고 있다.As IT technology develops, the use of small electronic devices is increasing. Small electronic devices may include devices such as smart phones, tablet PCs (tablet PCs), portable multimedia players (PMPs), laptop personal computers (laptop PCs), and wearable devices. As the use of small electronic devices increases, a situation in which a plurality of small electronic devices are used in the same space is occurring, and a continuous and unified user experience through a plurality of small electronic devices in the same space is required. Demands are also increasing.
일(an) 실시예에 따른, 전자 장치(electronic device)는, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리, 적어도 하나의 프로세서, 적어도 하나의 입력 장치, 디스플레이, 적어도 하나의 스피커 및 통신 회로를 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 통신 회로를 통해, 상기 전자 장치의 식별 정보를 포함하는 제1 신호를 방송하고, 외부 전자 장치로부터, 상기 제1 신호에 대한 응답 신호를 수신하는 것에 기반하여, 상기 전자 장치로부터 기준 거리 이내에 상기 외부 전자 장치가 위치됨을 식별하고, 상기 식별에 응답하여, 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하고, 상기 오디오 신호들의 적어도 일부에 기반하여 식별되고 상기 디스플레이와 상기 외부 전자 장치의 디스플레이 사이의 상대적 위치 관계를 지시하기 위한 제2 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고, 상기 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해, 상기 외부 전자 장치에게 송신하도록 구성될 수 있다. According to one embodiment, an electronic device includes at least one memory configured to store instructions, at least one processor, at least one input device, a display, at least one speaker and communication circuitry; , When executing the instructions, the at least one processor broadcasts a first signal including identification information of the electronic device through the communication circuit, and receives a response signal to the first signal from an external electronic device. Based on the reception, it is identified that the external electronic device is located within a reference distance from the electronic device, and in response to the identification, audio signals in a specified frequency range are output through the at least one speaker, and the audio signals are output. Receives a second signal from the external electronic device through the communication circuit for indicating a relative positional relationship between the display and the display of the external electronic device, which is identified based on at least a part of the screen, and is displayed through the display. Based on detecting a user input for moving a pointer displayed on the screen toward the display of the external electronic device across a periphery of the display identified based on the relative positional relationship , A third signal for displaying the pointer on the display of the external electronic device may be configured to transmit to the external electronic device through the communication circuit.
일 실시예에 따른, 전자 장치는, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리, 적어도 하나의 프로세서, 디스플레이, 외부 전자 장치로부터 출력되는 지정된 주파수 대역 상의 오디오 신호들을 각각 수신하기 위한 제1 방향을 향하는 제1 마이크 및 상기 제1 방향과 상이한 제2 방향을 향하는 제2 마이크를 포함하는 복수의 마이크들 및 통신 회로를 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 통신 회로를 통해, 상기 외부 전자 장치의 식별 정보를 포함하는 제1 신호를 수신하고, 상기 제1 신호에 기반하여, 상기 외부 전자 장치가 상기 전자 장치로부터 기준 거리 이내에 위치됨을 식별하고, 상기 식별에 기반하여, 상기 전자 장치가 상기 외부 전자 장치로부터 상기 기준 거리 이내에 위치됨을 지시하기 위한 응답 신호를, 상기 통신 회로를 통해 상기 전자 장치에게 송신하고, 상기 복수의 마이크들 중 적어도 하나를 통해, 상기 외부 전자 장치로부터 상기 응답 신호에 대응하여 출력되는 상기 지정된 주파수 대역 상의 오디오 신호들에 대한 수신 세기들을 측정하고, 상기 측정된 수신 세기들에 기반하여, 상기 전자 장치와 상기 외부 전자 장치 간의 상대적 위치 관계를 식별하고, 상기 통신 회로를 통해, 상기 식별된 상대적 위치 관계를 지시하기 위한 제2 신호를 상기 외부 전자 장치에게 송신하고, 상기 외부 전자 장치가 상기 외부 전자 장치의 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 외부 전자 장치의 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 전자 장치의 상기 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하도록 구성될 수 있다.According to an embodiment, an electronic device includes at least one memory configured to store instructions, at least one processor, a display, and a first direction for receiving audio signals on a designated frequency band output from an external electronic device, respectively. a plurality of microphones including a first microphone and a second microphone facing a second direction different from the first direction and communication circuitry, wherein the at least one processor, when executing the instructions, through the communication circuitry, Receiving a first signal including identification information of the external electronic device, based on the first signal, identifying that the external electronic device is located within a reference distance from the electronic device, and based on the identification, the electronic device Transmits a response signal for indicating that the device is located within the reference distance from the external electronic device to the electronic device through the communication circuit, and transmits the response signal from the external electronic device through at least one of the plurality of microphones. Measuring reception intensities of audio signals on the designated frequency band output in response to a signal, identifying a relative positional relationship between the electronic device and the external electronic device based on the measured reception intensities, and A pointer that transmits a second signal for indicating the identified relative positional relationship to the external electronic device through a circuit, and the external electronic device is displayed on a screen displayed through a display of the external electronic device Based on detecting a user input for moving A across a periphery of the display of the external electronic device identified based on the relative positional relationship toward the display of the electronic device, the pointer It may be configured to receive a third signal for display on the display of the electronic device from the external electronic device through the communication circuit.
일 실시예에 따른, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리와, 적어도 하나의 프로세서와, 적어도 하나의 입력 장치와, 디스플레이와, 적어도 하나의 스피커와 통신 회로를 가지는(with) 전자 장치를 동작하기 위한 방법은, 상기 통신 회로를 통해, 상기 전자 장치의 식별 정보를 포함하는 제1 신호를 방송하는 동작과, 외부 전자 장치로부터, 상기 제1 신호에 대한 응답 신호를 수신하는 것에 기반하여, 상기 전자 장치로부터 기준 거리 이내에 상기 외부 전자 장치가 위치됨을 식별하는 동작과, 상기 식별에 응답하여, 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하는 동작과, 상기 오디오 신호들의 적어도 일부에 기반하여 식별되고 상기 디스플레이와 상기 외부 전자 장치의 디스플레이 사이의 상대적 위치 관계를 지시하기 위한 제2 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하 는 동작과, 상기 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해, 상기 외부 전자 장치에게 송신하 는 동작을 포함할 수 있다.Operating an electronic device with at least one memory configured to store instructions, at least one processor, at least one input device, a display, at least one speaker and communication circuitry, according to an embodiment. A method for broadcasting a first signal including identification information of the electronic device through the communication circuit and receiving a response signal to the first signal from an external electronic device, identifying that the external electronic device is located within a reference distance from the device; and, in response to the identification, outputting audio signals in a specified frequency range through the at least one speaker, based on at least some of the audio signals. and receiving a second signal for indicating a relative positional relationship between the display and the display of the external electronic device from the external electronic device through the communication circuit, and the screen displayed through the display Based on detecting a user input for moving a pointer displayed on the screen toward the display of the external electronic device across a periphery of the display identified based on the relative positional relationship, and transmitting a third signal for displaying the pointer on the display of the external electronic device to the external electronic device through the communication circuit.
일 실시예에 따른, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리와, 적어도 하나의 프로세서와, 디스플레이와, 외부 전자 장치로부터 출력되는 지정된 주파수 대역 상의 오디오 신호들을 각각 수신하기 위한 제1 방향을 향하는 제1 마이크 및 상기 제1 방향과 상이한 제2 방향을 향하는 제2 마이크를 포함하는 복수의 마이크들과, 통신 회로를 가지는(with) 전자 장치를 동작하기 위한 방법은, 상기 통신 회로를 통해, 상기 외부 전자 장치의 식별 정보를 포함하는 제1 신호를 수신하는 동작과, 상기 제1 신호에 기반하여, 상기 외부 전자 장치가 상기 전자 장치로부터 기준 거리 이내에 위치됨을 식별하는 동작과, 상기 식별에 기반하여, 상기 전자 장치가 상기 외부 전자 장치로부터 상기 기준 거리 이내에 위치됨을 지시하기 위한 응답 신호를, 상기 통신 회로를 통해 상기 전자 장치에게 송신하는 동작과, 상기 복수의 마이크들 중 적어도 하나를 통해, 상기 외부 전자 장치로부터 상기 응답 신호에 대응하여 출력되는 상기 지정된 주파수 대역 상의 오디오 신호들에 대한 수신 세기들을 측정하는 동작과, 상기 측정된 수신 세기들에 기반하여, 상기 전자 장치와 상기 외부 전자 장치 간의 상대적 위치 관계를 식별하는 동작과, 상기 통신 회로를 통해, 상기 식별된 상대적 위치 관계를 지시하기 위한 제2 신호를 상기 외부 전자 장치에게 송신하는 동작과, 상기 외부 전자 장치가 상기 외부 전자 장치의 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 외부 전자 장치의 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 전자 장치의 상기 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하는 동작을 포함할 수 있다.According to an embodiment, at least one memory configured to store instructions, at least one processor, a display, and a first direction directed in a first direction for receiving audio signals on a designated frequency band output from an external electronic device, respectively. A method for operating an electronic device having a plurality of microphones including a microphone and a second microphone facing a second direction different from the first direction, and a communication circuit, the external electronic device via the communication circuit Receiving a first signal including device identification information; identifying, based on the first signal, that the external electronic device is located within a reference distance from the electronic device; and based on the identification, An operation of transmitting a response signal for indicating that the electronic device is located within the reference distance from the external electronic device to the electronic device through the communication circuit; and through at least one of the plurality of microphones, the external electronic device. measuring reception strengths of audio signals on the designated frequency band output in response to the response signal from An operation of identifying and transmitting, through the communication circuit, a second signal for indicating the identified relative positional relationship to the external electronic device, the external electronic device being displayed through a display of the external electronic device A user input for moving a pointer displayed on the screen toward the display of the electronic device across a periphery of the display of the external electronic device identified based on the relative positional relationship Based on the detection, receiving a third signal for displaying the pointer on the display of the electronic device from the external electronic device through the communication circuit.
일 실시예에 따른, 비일시적 컴퓨터 판독가능 저장 매체는, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리와, 적어도 하나의 프로세서와, 적어도 하나의 입력 장치와, 디스플레이와, 적어도 하나의 스피커와 통신 회로를 가지는(with) 전자 장치의 적어도 하나의 프로세서에 의해 실행될 시, 상기 통신 회로를 통해, 상기 전자 장치의 식별 정보를 포함하는 제1 신호를 방송하고, 외부 전자 장치로부터, 상기 제1 신호에 대한 응답 신호를 수신하는 것에 기반하여, 상기 전자 장치로부터 기준 거리 이내에 상기 외부 전자 장치가 위치됨을 식별하고, 상기 식별에 응답하여, 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하고, 상기 오디오 신호들의 적어도 일부에 기반하여 식별되고 상기 디스플레이와 상기 외부 전자 장치의 디스플레이 사이의 상대적 위치 관계를 지시하기 위한 제2 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고, 상기 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해, 상기 외부 전자 장치에게 송신하도록 구성될 수 있다. According to one embodiment, a non-transitory computer-readable storage medium includes at least one memory configured to store instructions, at least one processor, at least one input device, a display, at least one speaker, and communication circuitry. When executed by at least one processor of an electronic device having (with), a first signal including identification information of the electronic device is broadcast through the communication circuit, and a response to the first signal is received from an external electronic device. Based on receiving the signal, it is identified that the external electronic device is located within a reference distance from the electronic device, and in response to the identification, audio signals in a specified frequency range are output through the at least one speaker, and the audio signal is output through the at least one speaker. A second signal identified based on at least some of the signals and indicating a relative positional relationship between the display and the display of the external electronic device is received from the external electronic device through the communication circuit, and displayed through the display. To detect a user input for moving a pointer displayed on a screen to a display of the external electronic device across a periphery of the display identified based on the relative positional relationship. Based on the electronic device, a third signal for displaying the pointer on the display of the external electronic device may be configured to transmit to the external electronic device through the communication circuit.
일 실시예에 따른, 비일시적 컴퓨터 판독가능 저장 매체는, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리와, 적어도 하나의 프로세서와, 디스플레이와, 외부 전자 장치로부터 출력되는 지정된 주파수 대역 상의 오디오 신호들을 각각 수신하기 위한 제1 방향을 향하는 제1 마이크 및 상기 제1 방향과 상이한 제2 방향을 향하는 제2 마이크를 포함하는 복수의 마이크들과, 통신 회로를 가지는(with) 전자 장치의 적어도 하나의 프로세서에 의해 실행될 시, 상기 외부 전자 장치의 식별 정보를 포함하는 제1 신호를 수신하고, 상기 제1 신호에 기반하여, 상기 외부 전자 장치가 상기 전자 장치로부터 기준 거리 이내에 위치됨을 식별하고, 상기 식별에 기반하여, 상기 전자 장치가 상기 외부 전자 장치로부터 상기 기준 거리 이내에 위치됨을 지시하기 위한 응답 신호를, 상기 통신 회로를 통해 상기 전자 장치에게 송신하고, 상기 복수의 마이크들 중 적어도 하나를 통해, 상기 외부 전자 장치로부터 상기 응답 신호에 대응하여 출력되는 상기 지정된 주파수 대역 상의 오디오 신호들에 대한 수신 세기들을 측정하고, 상기 측정된 수신 세기들에 기반하여, 상기 전자 장치와 상기 외부 전자 장치 간의 상대적 위치 관계를 식별하고, 상기 통신 회로를 통해, 상기 식별된 상대적 위치 관계를 지시하기 위한 제2 신호를 상기 외부 전자 장치에게 송신하고, 상기 외부 전자 장치가 상기 외부 전자 장치의 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 외부 전자 장치의 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 전자 장치의 상기 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하도록 구성될 수 있다.According to an embodiment, a non-transitory computer-readable storage medium includes at least one memory configured to store instructions, at least one processor, a display, and audio signals on a designated frequency band output from an external electronic device, respectively. By at least one processor of an electronic device having a plurality of microphones including a first microphone facing a first direction and a second microphone facing a second direction different from the first direction, and a communication circuit for When executed, a first signal including identification information of the external electronic device is received, based on the first signal, it is identified that the external electronic device is located within a reference distance from the electronic device, and based on the identification , Transmitting a response signal for indicating that the electronic device is located within the reference distance from the external electronic device to the electronic device through the communication circuit, and through at least one of the plurality of microphones, the external electronic device measuring reception strengths of audio signals on the designated frequency band output in response to the response signal from, based on the measured reception strengths, identifying a relative positional relationship between the electronic device and the external electronic device; , Through the communication circuit, a second signal for indicating the identified relative positional relationship is transmitted to the external electronic device, and the external electronic device displays a pointer displayed on a screen displayed through a display of the external electronic device. Based on detecting a user input for moving a pointer toward the display of the electronic device across a periphery of the display of the external electronic device identified based on the relative positional relationship, It may be configured to receive a third signal for displaying the pointer on the display of the electronic device from the external electronic device through the communication circuit.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
도 2는 다양한 실시예들에 따른 전자 장치를 포함하는 무선 환경의 예를 도시한다. 2 illustrates an example of a wireless environment including an electronic device according to various embodiments.
도 3은 다양한 실시예들에 따른 전자 장치의 블록도이다. 3 is a block diagram of an electronic device according to various embodiments.
도 4는 다양한 실시예들에 따른 외부 전자 장치의 블록도이다. 4 is a block diagram of an external electronic device according to various embodiments.
도 5는 일 실시예에 따른 전자 장치의 동작 방법을 나타내는 흐름도이다. 5 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
도 6a는 일 실시예에 따른 전자 장치와 외부 전자 장치 간에 상대적 위치 관계를 결정하는 예를 도시한다. 6A illustrates an example of determining a relative positional relationship between an electronic device and an external electronic device according to an embodiment.
도 6b는 일 실시예에 따른 전자 장치와 외부 전자 장치 간에 상대적 위치 관계를 결정하는 다른 예를 도시한다. 6B illustrates another example of determining a relative positional relationship between an electronic device and an external electronic device according to an embodiment.
도 7a는 다른 실시예에 따른 전자 장치와 외부 전자 장치 간에 상대적 위치 관계를 결정하는 예를 도시한다. 7A illustrates an example of determining a relative positional relationship between an electronic device and an external electronic device according to another embodiment.
도 7b는 다른 실시예에 따른 전자 장치와 외부 전자 장치 간에 상대적 위치 관계를 결정하는 예를 도시한다. 7B illustrates an example of determining a relative positional relationship between an electronic device and an external electronic device according to another embodiment.
도 8은 다양한 실시예들에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다. 8 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
도 9은 일 실시예에 따른 전자 장치로부터 외부 전자 장치에게 포인터를 이동하기 위한 사용자 입력을 검출하는 예를 도시한다. 9 illustrates an example of detecting a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
도 10은 일 실시예에 따른 외부 전자 장치의 동작 방법을 나타내는 흐름도이다. 10 is a flowchart illustrating a method of operating an external electronic device according to an exemplary embodiment.
도 11a는 일 실시예에 따른 전자 장치로부터 외부 전자 장치에게 포인터를 이동하기 위한 사용자 입력에 수반되는(accompanied) 이벤트의 예를 도시한다. 11A illustrates an example of an event accompanied by a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
도 11b는 일 실시예에 따른 전자 장치로부터 외부 전자 장치에게 포인터를 이동하기 위한 사용자 입력에 수반되는 이벤트의 다른 예를 도시한다. 11B illustrates another example of an event accompanying a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
도 11c는 일 실시예에 따른 전자 장치로부터 외부 전자 장치에게 포인터를 이동하기 위한 사용자 입력에 수반되는 이벤트의 또 다른 예를 도시한다.11C illustrates another example of an event accompanying a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
도 12는 다양한 실시예에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다. 12 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
도 13은 다양한 실시예에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다. 13 is a diagram illustrating signal exchange between an electronic device and an external electronic device according to various embodiments.
도 14는 다양한 실시예에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다. 14 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
도 15는 다양한 실시예에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다.15 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
도 16a는 다양한 실시예에 따른 전자 장치와 제1 외부 전자 장치 및 제2 외부 전자 장치를 포함하는 무선 환경의 예를 도시한다.16A illustrates an example of a wireless environment including an electronic device, a first external electronic device, and a second external electronic device according to various embodiments.
도 16b는 다양한 실시예에 따른 전자 장치와 제1 외부 전자 장치 및 제2 외부 전자 장치의 신호 교환도를 도시한다.16B illustrates a signal exchange diagram between an electronic device, a first external electronic device, and a second external electronic device according to various embodiments.
도 17a는 다양한 실시예에 따른 전자 장치와 제1 외부 전자 장치 및 제2 외부 전자 장치를 포함하는 무선 환경의 예를 도시한다. 17A illustrates an example of a wireless environment including an electronic device, a first external electronic device, and a second external electronic device according to various embodiments of the present disclosure.
도 17b는 다양한 실시예에 따른 전자 장치와 제1 외부 전자 장치 및 제2 외부 전자 장치의 신호 교환도를 도시한다.17B illustrates a signal exchange diagram between an electronic device, a first external electronic device, and a second external electronic device according to various embodiments.
도 18은 다양한 실시예들에 따른 전자 장치의 디스플레이를 통해 팝업창을 표시하는 예를 도시한다.18 illustrates an example of displaying a pop-up window through a display of an electronic device according to various embodiments.
도 1은 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. Referring to FIG. 1 , in a network environment 100, an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network).
일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 . According to an embodiment, the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included. In some embodiments, in the electronic device 101, at least one of these components (eg, the connection terminal 178) may be omitted or one or more other components may be added. In some embodiments, some of these components (eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.The processor 120, for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 . According to one embodiment, the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor). For example, when the electronic device 101 includes the main processor 121 and the auxiliary processor 123, the auxiliary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function. can The secondary processor 123 may be implemented separately from or as part of the main processor 121 .
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. The secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of functions or states related to. According to one embodiment, the auxiliary processor 123 (eg, image signal processor or communication processor) may be implemented as part of other functionally related components (eg, camera module 180 or communication module 190). there is. According to an embodiment, the auxiliary processor 123 (eg, a neural network processing device) may include a hardware structure specialized for processing an artificial intelligence model. AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108). The learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited. The artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples. The artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다. The memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 . The data may include, for example, input data or output data for software (eg, program 140) and commands related thereto. The memory 130 may include volatile memory 132 or non-volatile memory 134 .
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다. The program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다. The input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user). The input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.The sound output module 155 may output sound signals to the outside of the electronic device 101 . The sound output module 155 may include, for example, a speaker or a receiver. The speaker can be used for general purposes such as multimedia playback or recording playback. A receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다. The display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user). The display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device. According to one embodiment, the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.The audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. The sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do. According to one embodiment, the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102). According to one embodiment, the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.The connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102). According to one embodiment, the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses. According to one embodiment, the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.The camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The power management module 188 may manage power supplied to the electronic device 101 . According to one embodiment, the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The battery 189 may supply power to at least one component of the electronic device 101 . According to one embodiment, the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다. The communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported. The communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication. According to one embodiment, the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module). Among these communication modules, a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module). It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, a LAN or a WAN). These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips). The wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199. The electronic device 101 may be identified or authenticated.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO(full dimensional MIMO)), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.The wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology). NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)). -latency communications)) can be supported. The wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example. The wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (full dimensional MIMO (FD-MIMO)), array antenna, analog beam-forming, or large scale antenna may be supported. The wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199). According to one embodiment, the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다. The antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device). According to one embodiment, the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB). According to one embodiment, the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna. According to some embodiments, other components (eg, a radio frequency integrated circuit (RFIC)) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.According to various embodiments, the antenna module 197 may form a mmWave antenna module. According to one embodiment, the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components are connected to each other through a communication method between peripheral devices (eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)) and signal ( e.g. commands or data) can be exchanged with each other.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다. According to an embodiment, commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 . Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 . According to an embodiment, all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 . For example, when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself. Alternatively or additionally, one or more external electronic devices may be requested to perform the function or at least part of the service. One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 . The electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed. To this end, for example, cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used. The electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing. In another embodiment, the external electronic device 104 may include an internet of things (IoT) device. Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the external electronic device 104 or server 108 may be included in the second network 199 . The electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
도 2는 다양한 실시예들에 따른 전자 장치(101)를 포함하는 무선 환경(200)의 예를 도시한다. 2 illustrates an example of a wireless environment 200 including an electronic device 101 according to various embodiments.
도 2를 참조하면, 무선 환경(200)은, 전자 장치(101), 외부 전자 장치(201)를 포함할 수 있다.Referring to FIG. 2 , a wireless environment 200 may include an electronic device 101 and an external electronic device 201 .
무선 환경(200) 내의 전자 장치(101) 및 외부 전자 장치(201) 각각은, 스마트폰, 랩톱(laptop) 컴퓨터, 또는 태블릿 PC와 같은 장치일 수 있다. 전자 장치(101)는, 전자 장치(101)의 적어도 하나의 입력 장치를 통해 수신된 사용자 입력과 관련된 데이터를 외부 전자 장치(201)에게 송신할 수 있다. Each of the electronic device 101 and the external electronic device 201 in the wireless environment 200 may be a device such as a smart phone, a laptop computer, or a tablet PC. The electronic device 101 may transmit data related to a user input received through at least one input device of the electronic device 101 to the external electronic device 201 .
상기 적어도 하나의 입력 장치는, 전자 장치(101)의 디스플레이 상에 사용자 입력을 시각적으로 표시하는 객체를 입력하기 위한 장치에 상응할 수 있다. 예를 들어, 상기 객체는 전자 장치(101)의 디스플레이 또는 외부 전자 장치(201)의 디스플레이 상에서 사용자 입력의 위치를 시각적으로 나타내기 위한 포인터(pointer)일 수 있다. 예를 들어, 상기 적어도 하나의 입력 장치는, 마우스, 트랙패드, 원격(remote) 조이스틱, 게임패드, 또는 원격 컨트롤러(remote controller)를 적어도 포함할 수 있으며, 이에 제한되는 것은 아니다. 상기 데이터는, 상기 사용자 입력에 상응하는 상기 포인터를 전자 장치(101)의 디스플레이로부터 외부 전자 장치(201)의 디스플레이 상으로 표시하기 위한 정보에 상응할 수 있다.The at least one input device may correspond to a device for inputting an object that visually displays a user input on the display of the electronic device 101 . For example, the object may be a pointer for visually indicating a location of a user input on the display of the electronic device 101 or the display of the external electronic device 201 . For example, the at least one input device may include at least a mouse, a trackpad, a remote joystick, a gamepad, or a remote controller, but is not limited thereto. The data may correspond to information for displaying the pointer corresponding to the user input from the display of the electronic device 101 to the display of the external electronic device 201 .
다양한 실시예들에서, 전자 장치(201)는, 도 1 내에서 도시된 전자 장치(101)의 구성요소들과 같은 구성요소들을 포함할 수 있다. 일 실시예에서, 전자 장치(201)는, 전자 장치(101)와 전자 장치(201) 사이의 통신 링크를 통해 데이터를 전자 장치(101)로부터 상기 데이터를 수신할 수 있다. 예를 들어, 상기 통신 링크는, 블루투스(Bluetooth) 연결에 상응할 수 있다.In various embodiments, the electronic device 201 may include elements such as those of the electronic device 101 shown in FIG. 1 . In one embodiment, the electronic device 201 may receive data from the electronic device 101 through a communication link between the electronic device 101 and the electronic device 201 . For example, the communication link may correspond to a Bluetooth connection.
도 3은 다양한 실시예들에 따른 전자 장치의 블록도이다. 상기 블록도에 의해 지시되는 구성요소(component)들은 도 2 내에서 도시된 전자 장치(101) 내에 포함될 수 있다.3 is a block diagram of an electronic device according to various embodiments. Components indicated by the block diagram may be included in the electronic device 101 shown in FIG. 2 .
도 3을 참조하면, 전자 장치(101)는 프로세서(310)(예: 도 1의 프로세서(120)), 메모리(320)(예: 도 1의 메모리(130)), 디스플레이(330)(예: 도 1의 디스플레이 모듈(160)), 통신 회로(340)(예: 도 1의 통신 모듈(190)), 입력 장치(350)(예: 도 1의 입력 모듈(150)), 및 스피커(360)(예: 도 1의 음향 출력 모듈(155))를 포함할 수 있다. Referring to FIG. 3 , the electronic device 101 includes a processor 310 (eg, the processor 120 of FIG. 1 ), a memory 320 (eg, the memory 130 of FIG. 1 ), and a display 330 (eg, the processor 120 of FIG. 1 ). : Display module 160 of FIG. 1), communication circuit 340 (eg, communication module 190 of FIG. 1), input device 350 (eg, input module 150 of FIG. 1), and speaker ( 360) (eg, the sound output module 155 of FIG. 1).
전자 장치(101) 내의 프로세서(310)는, 인스트럭션(instruction)들을 저장하도록 구성된 메모리(320)와 작동적으로 연결될 수 있다. 전자 장치(101) 내의 프로세서(310)는, 외부 전자 장치(201)와의 통신을 위해 이용되는 통신 회로(340)와 작동적으로 연결될 수 있다.The processor 310 in the electronic device 101 may be operatively coupled with a memory 320 configured to store instructions. The processor 310 in the electronic device 101 may be operatively connected to a communication circuit 340 used for communication with the external electronic device 201 .
일 실시예에서, 프로세서(310)는, MCF(multi-device continuity framework)에 상응할 수 있다. 상기 MCF는 동일 계정으로 등록한 복수의 장치들 간에 연속성 있는 사용자 경험(user experience)을 제공하기 위한 프레임워크일 수 있다. 예를 들어, 상기 MCF는 상기 연속성 있는 사용자 경험을 제공하는 서비스 연동을 위한 장치들 간에 위치 판단을 위한 것일 수 있다. 일 실시예에서, 상기 MCF는 주변에 상기 동일 계정으로 등록한 기기가 위치하는지 검색하도록 제어하는 커맨드, 상기 동일 계정으로 등록한 기기들의 상태 정보를 교환할 것을 지시하는 커맨드, 또는 상기 동일 계정으로 등록한 기기와의 연결을 지시하는 커맨드를 생성할 수 있다. 상기 MCF에 상응하는 프로세서(310)는 동일 계정의 동일 서비스를 지원하는 복수의 장치들 중 적어도 하나의 장치가 이웃하는 것을 식별할 수 있다. 상기 MCF에 상응하는 프로세서(310)는 상기 이웃하는 장치와 상태 정보 및 데이터를 공유함으로써 복수의 장치들을 통해 연속성 있는 동일 서비스를 제공할 수 있다. 상기 MCF에 상응하는 프로세서(310)는, 기기간의 위치를 식별할 수 있으면, 사용자의 관여 또는 조작(manipulation) 없이도 연속성 있는 동일 서비스의 제공이 가능케 할 수 있다.In one embodiment, the processor 310 may correspond to a multi-device continuity framework (MCF). The MCF may be a framework for providing a continuous user experience between a plurality of devices registered with the same account. For example, the MCF may be used for location determination between devices for service interworking that provides the continuity of user experience. In one embodiment, the MCF is a command for controlling to search for devices registered with the same account in the vicinity, a command for instructing to exchange state information of devices registered with the same account, or a command for instructing to exchange status information of devices registered with the same account and You can create a command that directs the connection of The processor 310 corresponding to the MCF may identify that at least one device among a plurality of devices supporting the same service of the same account is neighboring. The processor 310 corresponding to the MCF can provide the same continuous service through a plurality of devices by sharing state information and data with the neighboring devices. If the processor 310 corresponding to the MCF can identify the location of devices, it can provide the same service in continuity without user involvement or manipulation.
일 실시예에서, 프로세서(310)는, 전자 장치(101)의 식별 정보를 전자 장치(101)의 주변에 배치된 외부 전자 장치(201)에게 지시하기 위한 제1 신호를 방송할 수 있다. 상기 식별 정보는, 전자 장치(101)의 스피커(360)의 사양(spec)을 지시하기 위한 정보를 포함할 수 있다. 예를 들어, 상기 식별 정보는, 전자 장치(101)의 스피커(360)가 단일 스피커(예: 도 6a의 스피커(370))인지, 또는 듀얼 스피커(예: 도 7a의 듀얼 스피커(381, 383))인지 나타내기 위한 정보에 상응할 수 있다. In one embodiment, the processor 310 may broadcast a first signal for instructing the identification information of the electronic device 101 to the external electronic device 201 disposed around the electronic device 101 . The identification information may include information for indicating a specification of the speaker 360 of the electronic device 101 . For example, the identification information may determine whether the speaker 360 of the electronic device 101 is a single speaker (eg, the speaker 370 of FIG. 6A) or a dual speaker (eg, the dual speakers 381 and 383 of FIG. 7A). )) may correspond to information for indicating whether
다양한 실시예들에 따라, 상기 제1 신호는, 자기장 신호, BLE(Bluetooth low energy)의 애드버타이징 신호, 또는 무선 액세스 포인트(access point)의 식별자를 포함하는 신호 중 적어도 하나에 상응할 수 있다. 외부 전자 장치(201)는, 상기 제1 신호를 수신함으로써 전자 장치(101)와 상기 외부 전자 장치가 기준 거리 이내에 위치됨 또는 동일 공간 내에 위치됨을 식별할 수 있다. 즉, 전자 장치(101)는, 상기 제1 신호를 방송함으로써 전자 장치(101)가 상기 기준 거리 이내에 이웃하고 있으며, 전자 장치(101)의 스피커(360)에 대한 사양을 외부 전자 장치(201)에게 알릴 수 있다.According to various embodiments, the first signal may correspond to at least one of a magnetic field signal, a Bluetooth low energy (BLE) advertising signal, or a signal including an identifier of a wireless access point. there is. By receiving the first signal, the external electronic device 201 can identify that the electronic device 101 and the external electronic device are located within a reference distance or within the same space. That is, by broadcasting the first signal, the electronic device 101 is adjacent to the electronic device 101 within the reference distance, and the specifications for the speaker 360 of the electronic device 101 are transmitted to the external electronic device 201. can inform
일 실시예에서, 프로세서(310)는, 전자 장치(101)와 외부 전자 장치(201) 사이의 통신 링크를 수립하기 위해, 애드버타이징(advertising) 신호를 방송할 수 있다. 예를 들면, 상기 애드버타이징 신호는, 전자 장치(101)를 스캔하기 위해, 상기 외부 전자 장치에 의해 이용될 수 있다. In one embodiment, the processor 310 may broadcast an advertising signal to establish a communication link between the electronic device 101 and the external electronic device 201 . For example, the advertising signal may be used by the external electronic device to scan the electronic device 101 .
일 실시예에서, 프로세서(310)는, 상기 애드버타이징 신호를 수신한 상기 외부 전자 장치(201)로부터 송신될 패킷을 수신하기 위해 이용될 시간 자원들을 지시하는 정보를 포함하는 연결 요청 신호를 상기 외부 전자 장치로부터 수신할 수 있다. 예를 들면, 상기 외부 전자 장치는, 상기 애드버타이징 신호를 수신하는 것에 기반하여, 전자 장치(101)와 상기 외부 전자 장치 사이의 통신 링크를 수립하기 위해 상기 연결 요청 신호를 송신할 수 있다. 상기 연결 요청 신호 내의 상기 정보는, 상기 시간 자원들을 지시하기 위해, 상기 최초 패킷이 송신될 시간 구간의 길이를 지시하기 위한 데이터 및 상기 시간 구간의 개시 타이밍을 지시하기 위한 데이터를 포함할 수 있다.In one embodiment, the processor 310 sends a connection request signal including information indicating time resources to be used for receiving a packet to be transmitted from the external electronic device 201 that has received the advertising signal. It can be received from the external electronic device. For example, the external electronic device may transmit the connection request signal to establish a communication link between the electronic device 101 and the external electronic device based on receiving the advertising signal. . The information in the connection request signal may include data for indicating the length of a time interval in which the first packet is to be transmitted and data for indicating start timing of the time interval to indicate the time resources.
일 실시예에서, 프로세서(310)는, 입력 장치(350)에 상응하는 객체를 디스플레이(330) 상에 표시할 수 있다. 입력 장치(350)는 전자 장치(101)의 디스플레이 상에 사용자 입력을 시각적으로 표시하는 객체를 입력하기 위한 장치에 상응할 수 있다. 예를 들어, 상기 객체는 전자 장치(101)의 디스플레이 또는 외부 전자 장치(201)의 디스플레이 상에서 마우스 입력의 위치를 나타내기 위한 포인터(pointer)일 수 있다. 예를 들어, 입력 장치(350)는, 마우스, 트랙패드, 원격(remote) 조이스틱, 게임패드, 원격 컨트롤러(remote controller)를 적어도 포함할 수 있으며, 이에 제한되는 것은 아니다.In one embodiment, the processor 310 may display an object corresponding to the input device 350 on the display 330 . The input device 350 may correspond to a device for inputting an object that visually displays a user input on the display of the electronic device 101 . For example, the object may be a pointer for indicating a position of a mouse input on the display of the electronic device 101 or the display of the external electronic device 201 . For example, the input device 350 may include at least a mouse, a trackpad, a remote joystick, a gamepad, and a remote controller, but is not limited thereto.
다양한 실시예들에 따라, 스피커(360)는 단일 스피커(예: 도 6a의 스피커(370)) 또는 듀얼 스피커(예: 도 7a의 듀얼 스피커(381, 383)) 중 어느 하나에 상응할 수 있다. 스피커(360)는, 지정된 범위 상의 오디오 신호들을 출력하도록 구성될 수 있다. 상기 지정된 범위는, 인간이 들을 수 없는 주파수 대역의 비가청(inaudible) 주파수 대역에 상응할 수 있다. According to various embodiments, the speaker 360 may correspond to either a single speaker (eg, the speaker 370 of FIG. 6A) or a dual speaker (eg, the dual speakers 381 and 383 of FIG. 7A). . The speaker 360 may be configured to output audio signals over a specified range. The designated range may correspond to an inaudible frequency band of a frequency band inaudible to humans.
일 실시예에 따라, 스피커(360)가 단일 스피커(370)에 상응하는 경우, 스피커(360)는, 상기 지정된 범위 중 제1 주파수 대역의 오디오 신호들을 출력할 수 있다. 다른 실시예에 따라, 스피커(360)가 듀얼 스피커(381, 383)에 상응하는 경우, 스피커(360)는 전자 장치(101)의 좌우에 배치된 스피커들(381, 383)을 포함할 수 있다. 예를 들어, 듀얼 스피커(381, 383)은, 전자 장치(101)의 좌측을 향해 배치되는 제1 스피커(381) 및 전자 장치(101)의 우측을 향해 배치되는 제2 스피커(383)를 포함할 수 있다. 상기 제1 스피커(381)는, 상기 지정된 범위 중 제2 주파수 대역의 오디오 신호들을 출력하도록 미리 구성될 수 있다. 상기 제2 스피커(383)는, 상기 지정된 범위 중 제3 주파수 대역의 오디오 신호들을 출력하도록 미리 구성될 수 있다. 여기서, 상기 제2 주파수 대역은, 상기 제3 주파수 대역과 서로 상이한 주파수 대역일 수 있다.According to one embodiment, when the speaker 360 corresponds to a single speaker 370, the speaker 360 may output audio signals of a first frequency band among the specified range. According to another embodiment, when the speaker 360 corresponds to the dual speakers 381 and 383, the speaker 360 may include speakers 381 and 383 disposed on the left and right sides of the electronic device 101. . For example, the dual speakers 381 and 383 include a first speaker 381 disposed toward the left side of the electronic device 101 and a second speaker 383 disposed toward the right side of the electronic device 101. can do. The first speaker 381 may be configured in advance to output audio signals of a second frequency band in the designated range. The second speaker 383 may be configured in advance to output audio signals of a third frequency band among the designated range. Here, the second frequency band may be a different frequency band from the third frequency band.
도 4는 다양한 실시예들에 따른 외부 전자 장치의 블록도이다. 4 is a block diagram of an external electronic device according to various embodiments.
도 4를 참조하면, 외부 전자 장치(201) 내의 프로세서(410)(예: 도 1의 프로세서(120))는, 인스트럭션(instruction)들을 저장하도록 구성된 메모리(420)(예: 도 1의 메모리(130))와 작동적으로 연결될 수 있다. 외부 전자 장치(201) 내의 프로세서(410)는, 전자 장치(101)와의 통신을 위해 이용되는 통신 회로(440)와 작동적으로 연결될 수 있다. 예를 들어, 프로세서(410)는 도 3에 도시된 전자 장치(101)의 프로세서(310)에 상응할 수 있다. 예를 들어, 메모리(420)는 도 3에 도시된 전자 장치(101)의 메모리(320)에 상응할 수 있다. 예를 들어, 통신 회로(440)(예: 도 1의 통신 모듈(190))는 도 3에 도시된 전자 장치(101)의 통신 회로(340)에 상응할 수 있다. Referring to FIG. 4 , a processor 410 (eg, the processor 120 of FIG. 1 ) in the external electronic device 201 includes a memory 420 (eg, the memory (eg, the memory of FIG. 1 ) configured to store instructions). 130)) can be operatively linked. The processor 410 in the external electronic device 201 may be operatively connected to a communication circuit 440 used for communication with the electronic device 101 . For example, the processor 410 may correspond to the processor 310 of the electronic device 101 shown in FIG. 3 . For example, the memory 420 may correspond to the memory 320 of the electronic device 101 shown in FIG. 3 . For example, the communication circuit 440 (eg, the communication module 190 of FIG. 1 ) may correspond to the communication circuit 340 of the electronic device 101 shown in FIG. 3 .
일 실시예에서, 프로세서(410)는, MCF(multi-device continuity framework)에 상응할 수 있다. 상기 MCF는 동일 계정으로 등록한 복수의 장치들 간에 연속성 있는 사용자 경험(user experience)을 제공하기 위한 프레임워크일 수 있다. 예를 들어, 상기 MCF는 상기 연속성 있는 사용자 경험을 제공하는 서비스 연동을 위한 장치들 간에 위치 판단을 위한 것일 수 있다. 일 실시예에서, 상기 MCF는 주변에 상기 동일 계정으로 등록한 기기가 위치하는지 검색하도록 제어하는 커맨드, 상기 동일 계정으로 등록한 기기들의 상태 정보를 교환할 것을 지시하는 커맨드, 또는 상기 동일 계정으로 등록한 기기와의 연결을 지시하는 커맨드를 생성할 수 있다. 상기 MCF에 상응하는 프로세서(410)는 동일 계정의 동일 서비스를 지원하는 복수의 장치들 중 적어도 하나의 장치가 이웃하는 것을 식별할 수 있다. 상기 MCF에 상응하는 프로세서(410)는 상기 이웃하는 장치와 상태 정보 및 데이터를 공유함으로써 복수의 장치들을 통해 연속성 있는 동일 서비스를 제공할 수 있다. 상기 MCF에 상응하는 프로세서(410)는, 기기간의 위치를 식별할 수 있으면, 사용자의 관여 또는 조작(manipulation) 없이도 연속성 있는 동일 서비스의 제공이 가능케 할 수 있다.In one embodiment, the processor 410 may correspond to a multi-device continuity framework (MCF). The MCF may be a framework for providing a continuous user experience between a plurality of devices registered with the same account. For example, the MCF may be used for location determination between devices for service interworking that provides the continuity of user experience. In one embodiment, the MCF is a command for controlling to search for devices registered with the same account in the vicinity, a command for instructing to exchange state information of devices registered with the same account, or a command for instructing to exchange status information of devices registered with the same account and You can create a command that directs the connection of The processor 410 corresponding to the MCF may identify that at least one device among a plurality of devices supporting the same service of the same account is neighboring. The processor 410 corresponding to the MCF can provide the same continuous service through a plurality of devices by sharing state information and data with the neighboring devices. If the processor 410 corresponding to the MCF can identify the locations of devices, it can provide the same service in continuity without user involvement or manipulation.
다양한 실시예들에 따라, 외부 전자 장치(201)는 제1 마이크(451) 및 제2 마이크(453)를 포함할 수 있다. 제1 마이크(451)는 제1 방향을 향하도록 배치된 마이크이고, 제2 마이크(453)는 제2 방향을 향하도록 배치된 마이크일 수 있다. 즉, 제1 마이크(451) 및 제2 마이크(453)는 각각 지향성(directional) 마이크에 상응할 수 있다. 상기 제1 방향은, 상기 제2 방향과 상이한 방향일 수 있다. 일 실시예에 따르면, 상기 제1 방향은 상기 제2 방향과 수직 관계를 형성할 수 있다. 예를 들어, 상기 제1 방향은 좌우를 가로지르는 (예: 수평 방향) 방향에 상응할 수 있다. 상기 제2 방향은 상하를 가로지르는 (예: 수직 방향) 방향에 상응할 수 있다. According to various embodiments, the external electronic device 201 may include a first microphone 451 and a second microphone 453 . The first microphone 451 may be a microphone disposed to face a first direction, and the second microphone 453 may be a microphone disposed to face a second direction. That is, the first microphone 451 and the second microphone 453 may each correspond to a directional microphone. The first direction may be a direction different from the second direction. According to one embodiment, the first direction may form a vertical relationship with the second direction. For example, the first direction may correspond to a direction crossing left and right (eg, a horizontal direction). The second direction may correspond to a direction crossing up and down (eg, a vertical direction).
다양한 실시예들에 따라, 외부 전자 장치(201)의 프로세서(410)는 제1 마이크(451) 및 제2 마이크(453)를 통해 수신된 오디오들의 수신 세기 차이에 기반하여 외부 전자 장치(201)와 전자 장치(101) 사이의 상대적 위치 관계를 식별할 수 있다. 일 실시예에 따라, 상대적 위치 관계는, 외부 전자 장치(201)를 기준으로 하는 위치 관계일 수도 있고, 또는 전자 장치(101)를 기준으로 하는 위치 관계일 수도 있다. 일 예로, 외부 전자 장치(201)는 전자 장치(101)가 외부 전자 장치(201)의 왼쪽에 위치하는 것으로 결정할 수 있다. 이 경우, 상대적 위치 관계는 외부 전자 장치(201)를 기준으로 하여 왼쪽을 지시할 수 있다. 다른 예로, 외부 전자 장치(201)는 전자 장치(101)가 외부 전자 장치(201)의 오른쪽에 위치하는 것으로 결정할 수 있다. 이 경우 상대적 위치 관계는 외부 전자 장치(예: 전자 장치(101))를 기준으로 하여 왼쪽을 지시할 수 있다. According to various embodiments, the processor 410 of the external electronic device 201 determines the external electronic device 201 based on a difference in reception strength of audios received through the first microphone 451 and the second microphone 453. A relative positional relationship between the and the electronic device 101 may be identified. According to an embodiment, the relative positional relationship may be a positional relationship based on the external electronic device 201 or a positional relationship based on the electronic device 101 . For example, the external electronic device 201 may determine that the electronic device 101 is located on the left side of the external electronic device 201 . In this case, the relative positional relationship may indicate left with respect to the external electronic device 201 . As another example, the external electronic device 201 may determine that the electronic device 101 is located on the right side of the external electronic device 201 . In this case, the relative positional relationship may indicate left with respect to the external electronic device (eg, the electronic device 101).
도 5는 일 실시예에 따른 전자 장치의 동작 방법을 나타내는 흐름도이다. 5 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
도 5를 참조하면, 동작 510에서, 프로세서(310)는 식별 정보를 포함하는 제1 신호를 방송할 수 있다. 예를 들어, 상기 MCF에 상응하는 프로세서(310)는 상기 식별 정보를 포함하는 상기 제1 신호를 방송할 것을 식별할 수 있다. 상기 식별 정보는, 프로세서(310)와 작동적으로 연결되는 스피커(360)에 대한 정보일 수 있다. 일 실시예에 따라, 식별 정보는 1 비트에 상응할 수 있다. 예를 들어, 전자 장치(101)는 스피커(360)가 단일 스피커(예: 도 6a의 스피커(370))에 상응하는 경우, "로직 로우" 또는 "0"에 상응하는 식별 정보를 포함하는 상기 제1 신호를 방송할 수 있다. 다른 예를 들어, 전자 장치(101)는 스피커(360)가 듀얼 스피커(예: 도 7a의 듀얼 스피커 스피커(381, 383))에 상응하는 경우, "로직 하이" 또는 "1"에 상응하는 식별 정보를 포함하는 상기 제1 신호를 방송할 수 있다.Referring to FIG. 5 , in operation 510, the processor 310 may broadcast a first signal including identification information. For example, the processor 310 corresponding to the MCF may identify to broadcast the first signal including the identification information. The identification information may be information about the speaker 360 operatively connected to the processor 310 . According to one embodiment, the identification information may correspond to 1 bit. For example, when the speaker 360 corresponds to a single speaker (eg, the speaker 370 of FIG. 6A ), the electronic device 101 includes identification information corresponding to “logic low” or “0”. A first signal may be broadcast. For another example, when the speaker 360 corresponds to a dual speaker (eg, the dual speaker speakers 381 and 383 of FIG. 7A ), the electronic device 101 identifies "logic high" or "1". The first signal containing information may be broadcast.
동작 520에서, 프로세서(310)는 제1 신호에 대한 응답 신호가 수신되는지 판단할 수 있다. 상기 응답 신호는, 외부 전자 장치(201)에 의해 생성되는 신호일 수 있다. 프로세서(310)는 상기 응답 신호가 수신되지 않는 경우, 동작 510으로 돌아가 상기 제1 신호를 다시 방송할 수 있다.In operation 520, the processor 310 may determine whether a response signal to the first signal is received. The response signal may be a signal generated by the external electronic device 201 . When the response signal is not received, the processor 310 returns to operation 510 to broadcast the first signal again.
프로세서(310)는 상기 응답 신호가 수신되는 경우, 동작 530에서, 프로세서(310)는, 외부 전자 장치(201)가 기준 거리 이내에 위치됨을 식별할 수 있다. 상기 제1 신호는, 블루투스 저전력의 애드버타이징 신호, 자기장 신호와 같은 근거리 통신을 위한 신호이기 때문에, 외부 전자 장치(201)가 상기 제1 신호에 대한 응답 신호를 생성하였다는 것은, 전자 장치(101)와 외부 전자 장치가 근거리에서 이웃하는(neighboring) 것을 의미할 수 있다. 따라서, 전자 장치(101)는 상기 제1 신호에 대한 응답 신호를 수신하여 외부 전자 장치(201)가 기준 거리 이내에 위치됨을 식별할 수 있다. 또는 전자 장치(101)의 프로세서(310)는 상기 응답 신호의 RSSI(received signal strength Indicatior)에 기반하여, 외부 전자 장치(201)가 전자 장치(101)로부터 상기 기준 거리 이내에 위치되는지 여부를 식별할 수 있다. 예를 들어, 전자 장치(101)의 프로세서(310)는 상기 응답 신호의 상기 RSSI 값이 임계 값보다 작은 경우, 상기 응답 신호를 수신하였더라도, 외부 전자 장치(201)가 전자 장치(101)로부터 충분히 멀리 떨어져 있는 것으로 식별할 수도 있다.When the response signal is received, in operation 530, the processor 310 may identify that the external electronic device 201 is located within a reference distance. Since the first signal is a signal for short-range communication, such as a Bluetooth low energy advertising signal or a magnetic field signal, the fact that the external electronic device 201 has generated a response signal to the first signal means that the electronic device This may mean that 101 and an external electronic device are close to each other at a short distance. Accordingly, the electronic device 101 may receive a response signal to the first signal and identify that the external electronic device 201 is located within the reference distance. Alternatively, the processor 310 of the electronic device 101 may identify whether the external electronic device 201 is located within the reference distance from the electronic device 101 based on a received signal strength indicator (RSSI) of the response signal. can For example, the processor 310 of the electronic device 101, when the RSSI value of the response signal is less than a threshold value, even if the response signal is received, the external electronic device 201 is sufficiently transmitted from the electronic device 101. It can also be identified as being far away.
동작 540에서, 프로세서(310)는 식별 정보에 기반하여 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다. 상기 MCF에 상응하는 프로세서(310)는 식별 정보에 따라 출력하는 오디오 신호들을 변경할 수 있다. 일 실시예에서, 전자 장치(101)의 스피커(360)는 단일 스피커(370)(예: 도 3의 스피커(360))에 상응할 수 있다. 프로세서(310)는, 단일 스피커(370)를 통해 지정된 주파수 범위 중 제1 주파수 대역의 오디오 신호들을 출력할 수 있다. 예를 들어, 상기 지정된 주파수 범위는, 비가청 주파수 범위 및/또는 가청 주파수 범위에 포함될 수 있다. 다른 실시예에서, 전자 장치(101)의 스피커(360)는 듀얼 스피커(381, 383)(예: 도 3의 스피커(360))에 상응할 수 있다. 예를 들어, 도 7a 및 도 7b를 함께 참조하면, 듀얼 스피커(381, 383)는, 전자 장치(101)의 좌측을 향해 배치되는 제1 스피커(381) 및 전자 장치(101)의 우측을 향해 배치되는 제2 스피커(383)를 포함할 수 있다. 상기 제1 스피커(381)는, 상기 지정된 범위 중 제2 주파수 대역의 오디오 신호들을 출력하도록 미리 구성될 수 있다. 상기 제2 스피커(383)는, 상기 지정된 범위 중 제3 주파수 대역의 오디오 신호들을 출력하도록 미리 구성될 수 있다. 여기서, 상기 제2 주파수 대역은, 상기 제3 주파수 대역과 서로 상이한 주파수 대역일 수 있다. 다양한 실시예들에 따라, 전자 장치(101)와 외부 전자 장치(201)는 제1 스피커(381) 및 제2 스피커(383) 각각에서 출력되는 오디오 신호들의 주파수 대역을 미리 정의할 수 있다. 또는, 전자 장치(101)는 식별 정보에 상기 미리 정의된 주파수 대역을 지시하는 대역 정보를 더 포함하여 제1 신호를 방송할 수도 있다. 다양한 실시예들에 따라, 전자 장치(101)는, 외부 전자 장치(201)가 상기 미리 지정된 주파수 범위의 오디오 신호들을 수신하기 위해 활성화하는 적어도 하나의 마이크에 대한 제어 정보를 외부 전자 장치(201)에게 송신할 수 있다. 예를 들어, 상기 제어 정보는, 외부 전자 장치(201)상기 적어도 하나의 마이크가 활성화되는 시간을 지시하기 위한 구간 정보를 포함할 수 있다. 예를 들어, 상기 구간 정보는, 외부 전자 장치(201)의 상기 적어도 하나의 마이크가 활성화되는 시간의 시작 및 종료 시점을 각각 지시하는 정보들을 포함할 수 있다. 다른 예를 들어, 상기 구간 정보는, 외부 전자 장치(201)의 상기 적어도 하나의 마이크가 활성화되는 시간의 시작 시점과 활성화되는 구간의 길이를 지시하는 정보들을 포함할 수도 있다. In operation 540, the processor 310 may output audio signals in a designated frequency range based on the identification information. The processor 310 corresponding to the MCF may change output audio signals according to identification information. In one embodiment, the speaker 360 of the electronic device 101 may correspond to a single speaker 370 (eg, the speaker 360 of FIG. 3 ). The processor 310 may output audio signals of a first frequency band among designated frequency ranges through a single speaker 370 . For example, the designated frequency range may be included in an inaudible frequency range and/or an audible frequency range. In another embodiment, the speaker 360 of the electronic device 101 may correspond to the dual speakers 381 and 383 (eg, the speaker 360 of FIG. 3 ). For example, referring to FIGS. 7A and 7B together, the dual speakers 381 and 383 are directed toward the first speaker 381 disposed toward the left side of the electronic device 101 and toward the right side of the electronic device 101. A second speaker 383 may be disposed. The first speaker 381 may be configured in advance to output audio signals of a second frequency band in the designated range. The second speaker 383 may be configured in advance to output audio signals of a third frequency band among the designated range. Here, the second frequency band may be a different frequency band from the third frequency band. According to various embodiments, the electronic device 101 and the external electronic device 201 may predefine frequency bands of audio signals output from the first speaker 381 and the second speaker 383, respectively. Alternatively, the electronic device 101 may broadcast the first signal by further including band information indicating the predefined frequency band in the identification information. According to various embodiments, the electronic device 101 transmits control information about at least one microphone that the external electronic device 201 activates to receive audio signals in the predetermined frequency range to the external electronic device 201. can be sent to For example, the control information may include interval information for instructing a time when the at least one microphone of the external electronic device 201 is activated. For example, the interval information may include information indicating start and end times of activation of the at least one microphone of the external electronic device 201, respectively. For another example, the interval information may include information indicating a start time of the activation time of the at least one microphone of the external electronic device 201 and the length of the activation interval.
동작 550에서, 프로세서(310)는 외부 전자 장치(201)로부터 상대적 위치 관계를 지시하기 위한 제2 신호를 수신할 수 있다. 상대적 위치 관계는, 전자 장치(101)와 외부 전자 장치(201)의 배치(displacement)에 관한 것으로, 전자 장치(101)를 기준으로 설명될 수도 있고, 상기 외부 전자 장치를 기준으로 설명될 수도 있다 이하, 설명의 편의를 위하여, 상대적 위치 관계는 전자 장치(101)를 기준으로 설명되는 것으로 한다. 상기 외부 전자 장치는, 동작 540에서 출력된 오디오 신호들을 수신하고, 오디오 신호들의 수신 세기의 차이에 기반하여 식별한 상대적 위치 관계를 포함하는 제2 신호를 송신할 수 있다. 프로세서(310)는, 상기 제2 신호를 수신하여 디코딩함으로써 상기 외부 전자 장치가 전자 장치(101)의 왼쪽에 위치하는지, 또는 오른쪽에 위치하는지 식별할 수 있다. 예를 들어, 상기 상대적 위치 관계는, 1 비트로 지시될 수도 있다. 상기 외부 전자 장치는, 전자 장치(101)를 기준으로 상기 외부 전자 장치가 왼쪽에 위치됨을 나타내기 위하여 "로직 하이" 또는 "1"의 값을 할당할 수 있고, 전자 장치(101)를 기준으로 상기 외부 전자 장치가 오른쪽에 위치됨을 나타내기 위하여 "로직 로우" 또는 "0"의 값을 할당할 수 있다. 일 실시예에 따라, 프로세서(310)는 상기 상대적 위치 관계에 대한 제2 신호를 수신함에 응답하여, 스피커(360)를 비활성화할 수 있다. 스피커(360)를 통해 출력되는 오디오 신호들은, 전자 장치(101)와 외부 전자 장치(201)의 상대적 위치 관계를 식별하기 위한 것이므로, 상기 제2 신호가 수신됨에 응답하여 스피커(360)를 비활성화할 수 있다.In operation 550, the processor 310 may receive a second signal for indicating a relative positional relationship from the external electronic device 201. The relative positional relationship relates to the displacement of the electronic device 101 and the external electronic device 201, and may be described based on the electronic device 101 or the external electronic device. Hereinafter, for convenience of explanation, the relative positional relationship will be described based on the electronic device 101 . The external electronic device may receive the audio signals output in operation 540 and transmit a second signal including a relative positional relationship identified based on a difference in reception intensities of the audio signals. The processor 310 may identify whether the external electronic device is located on the left or right side of the electronic device 101 by receiving and decoding the second signal. For example, the relative positional relationship may be indicated by 1 bit. The external electronic device may assign a value of “logic high” or “1” to indicate that the external electronic device is located on the left side of the electronic device 101, and based on the electronic device 101 A value of “logic low” or “0” may be assigned to indicate that the external electronic device is located on the right side. According to an embodiment, the processor 310 may deactivate the speaker 360 in response to receiving the second signal for the relative positional relationship. Since the audio signals output through the speaker 360 are for identifying the relative positional relationship between the electronic device 101 and the external electronic device 201, the speaker 360 may be deactivated in response to receiving the second signal. can
동작 560에서, 프로세서(310)는, 외부 전자 장치(201)의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 응답하여, 제3 신호를 외부 전자 장치에게 송신할 수 있다. 상기 제3 신호는, 전자 장치(101)의 디스플레이(330) 상에 표시되는 포인터를 외부 전자 장치(201)의 디스플레이(예: 도 4의 디스플레이(430)) 상에 표시하기 위한 정보를 포함할 수 있다. 상기 사용자 입력은, 전자 장치(101)의 디스플레이(330)를 통해 표시되는 화면 상에 표시되는 포인터를 상기 상대적 위치 관계에 기반하여 식별된 디스플레이(330)의 일 가장자리를 지나 외부 전자 장치(201)의 디스플레이를 향해 이동하기 위한 입력에 상응할 수 있다. 예를 들어, 전자 장치(101)는 상기 제2 신호에 기반하여 전자 장치(101)의 오른쪽에 상기 외부 전자 장치가 위치함을 식별할 수 있다. 이 경우, 상기 일 가장자리는, 전자 장치(101)의 디스플레이(330)의 오른쪽 가장자리에 상응할 수 있다. 일 실시예에 따라, 상기 제3 신호의 송신에 앞서, 프로세서(310)는 외부 전자 장치(201)에게 상기 제3 자원이 전송될 시간 자원에 대한 정보를, 스피커(360)를 이용하여 송신할 수 있다. 다양한 실시예들에 따라, 도 18을 함께 참조하면, 전자 장치(101)의 프로세서(310)는 제2 신호의 수신에 응답하여 외부 전자 장치(201)를 제어 가능함을 사용자에게 알리기 위한 팝업 윈도우(1800)를 디스플레이(330)상에 표시할 수 있다.In operation 560, the processor 310 may transmit a third signal to the external electronic device 201 in response to detecting a user input for moving toward the display of the external electronic device 201. The third signal may include information for displaying a pointer displayed on the display 330 of the electronic device 101 on the display of the external electronic device 201 (eg, the display 430 of FIG. 4 ). can The user input passes a pointer displayed on the screen displayed through the display 330 of the electronic device 101 through one edge of the display 330 identified based on the relative positional relationship to the external electronic device 201. may correspond to an input to move towards the display of For example, the electronic device 101 can identify that the external electronic device is located on the right side of the electronic device 101 based on the second signal. In this case, the one edge may correspond to the right edge of the display 330 of the electronic device 101 . According to an embodiment, prior to transmission of the third signal, the processor 310 transmits information on a time resource for transmitting the third resource to the external electronic device 201 using the speaker 360. can According to various embodiments, referring to FIG. 18 together, a pop-up window ( 1800) may be displayed on the display 330.
도 6a, 도 6b는 일 실시예에 따른 전자 장치와 외부 전자 장치 간에 상대적 위치 관계를 결정하는 예를 도시한다. 6A and 6B illustrate an example of determining a relative positional relationship between an electronic device and an external electronic device according to an embodiment.
도 6a를 참조하면, 외부 전자 장치(201)는 전자 장치(101)에서 출력된 오디오 신호들을 제1 마이크(451) 및 제2 마이크(453)를 통해 수신할 수 있다. 상기 오디오 신호들의 수신에 앞서, 외부 전자 장치(201)의 프로세서(410)는 상기 외부 전자 장치로부터 제1 신호를 수신하여 전자 장치(101)의 스피커(예: 도 3의 스피커(360))가 단일 스피커(370)에 상응하는 것을 식별할 수 있다. 일 실시예에 따라, 도 6a의 단일 스피커(370)는 내장 스피커로 도시되었으나, 이에 제한되는 것은 아니다. 또한, 단일 스피커(370)는 전자 장치(101)의 우측에 배치되는 것으로 도시되었으나, 이에 제한되지 않으며, 전자 장치(101)의 하단에 배치될 수도 있고, 상단에 배치될 수도 있다. Referring to FIG. 6A , the external electronic device 201 may receive audio signals output from the electronic device 101 through a first microphone 451 and a second microphone 453 . Prior to receiving the audio signals, the processor 410 of the external electronic device 201 receives a first signal from the external electronic device so that the speaker of the electronic device 101 (eg, the speaker 360 of FIG. 3) A single speaker 370 can be identified. According to one embodiment, the single speaker 370 of FIG. 6A is shown as a built-in speaker, but is not limited thereto. In addition, the single speaker 370 is illustrated as being disposed on the right side of the electronic device 101, but is not limited thereto, and may be disposed at the bottom or top of the electronic device 101.
전자 장치(101)가 단일의(single) 제1 주파수 대역의 오디오 신호들을 출력하기 때문에, 수신 세기의 차이에 기반하여 위치를 식별하기 위해서 외부 전자 장치(201)의 프로세서(410)는 제1 마이크(451) 및 제2 마이크(453)를 모두 활성화할 수 있다. 외부 전자 장치(201)는 자이로 센서(미도시)를 더 포함할 수 있고, 외부 전자 장치(201)의 프로세서(410)는 상기 자이로 센서에 기반하여 제1 마이크(451) 및 제2 마이크(453)가 향하는 방향을 식별할 수 있다. 예를 들어, 도 6a를 참조하면, 외부 전자 장치(201)의 프로세서(410)는 자이로 센서의 센싱 값에 기반하여 현재 제1 마이크(451)는 왼쪽 방향을 향하고, 제2 마이크(453)는 위쪽 방향을 향하고 있음을 식별할 수 있다. 일 실시예에 따라, 전자 장치(101)는 오디오 신호들을 출력하는 것을 바이패스할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(201)로부터 UWB(ultra wide band) 신호를 수신할 수 있다. 전자 장치(101)는 외부 전자 장치(201)로부터 수신된 적어도 하나의 UWB 신호의 RTD(round trip delay) 및 TDOA(time difference of arrival)에 기반하여 외부 전자 장치(201)의 방향을 식별할 수 있다. 전자 장치(101)는 UWB 신호의 수신에 응답하여, 상기 미리 지정된 주파수 대역의 오디오 신호들을 출력하는 것을 바이패스할 수도 있다. Since the electronic device 101 outputs audio signals of a single first frequency band, the processor 410 of the external electronic device 201 uses a first microphone to identify a position based on a difference in reception strength. 451 and the second microphone 453 can both be activated. The external electronic device 201 may further include a gyro sensor (not shown), and the processor 410 of the external electronic device 201 operates a first microphone 451 and a second microphone 453 based on the gyro sensor. ) can be identified. For example, referring to FIG. 6A , the processor 410 of the external electronic device 201 currently directs the first microphone 451 to the left and the second microphone 453 based on the sensing value of the gyro sensor. It can be identified that it is facing upwards. According to an embodiment, the electronic device 101 may bypass outputting audio signals. For example, the electronic device 101 may receive an ultra wide band (UWB) signal from the external electronic device 201 . The electronic device 101 may identify the direction of the external electronic device 201 based on round trip delay (RTD) and time difference of arrival (TDOA) of at least one UWB signal received from the external electronic device 201. there is. In response to receiving the UWB signal, the electronic device 101 may bypass outputting audio signals of the pre-specified frequency band.
다양한 실시예들에 따라, 제1 마이크(451)를 통해 수신된 오디오 신호들의 세기는 제1 세기이고, 제2 마이크(453)를 통해 수신된 오디오 신호들의 세기는 제2 세기일 수 있다. 상기 제1 세기의 크기는, 상기 제2 세기의 크기보다 클 수 있다. 프로세서(410)는 제1 마이크(451)를 통해 수신된 오디오 신호들의 제1 세기가 제2 마이크(453)를 통해 수신된 오디오 신호들의 제2 세기보다 큰 경우, 제1 마이크(451)의 방향으로 외부 전자 장치가 위치됨을 식별할 수 있다. 프로세서(410)는 상기 외부 전자 장치를 기준으로 오른쪽에 외부 전자 장치(201)가 위치하므로, 오른쪽을 지시하는 상대적 위치 관계의 정보를 생성하여 상기 제2 신호를 상기 외부 전자 장치에게 송신할 수 있다. According to various embodiments, the intensity of audio signals received through the first microphone 451 may be the first intensity, and the intensity of audio signals received through the second microphone 453 may be the second intensity. A magnitude of the first intensity may be greater than that of the second intensity. The processor 410 determines the direction of the first microphone 451 when the first intensity of the audio signals received through the first microphone 451 is greater than the second intensity of the audio signals received through the second microphone 453. With this, it is possible to identify that the external electronic device is located. Since the external electronic device 201 is located on the right side of the external electronic device, the processor 410 may generate relative positional information indicating the right side and transmit the second signal to the external electronic device. .
도 6b를 참조하면, 상기 제1 세기의 크기는, 상기 제2 세기의 크기보다 작을 수 있다. 프로세서(410)는 제1 마이크(451)를 통해 수신된 오디오 신호들의 제1 세기가 제2 마이크(453)를 통해 수신된 오디오 신호들의 제2 세기보다 작은 경우, 제1 마이크(451)의 반대 방향으로 외부 전자 장치가 위치됨을 식별할 수 있다. 프로세서(410)는 상기 외부 전자 장치를 기준으로 왼쪽에 외부 전자 장치(201)가 위치하므로, 왼쪽을 지시하는 상대적 위치 관계의 정보를 생성하여 상기 제2 신호를 상기 외부 전자 장치에게 송신할 수 있다. 일 실시예에 따라, 도 6b의 단일 스피커(370)는 외부 스피커로 도시되었으나, 이에 제한되는 것은 아니다. Referring to FIG. 6B , the magnitude of the first intensity may be smaller than that of the second intensity. Processor 410, when the first intensity of the audio signals received through the first microphone 451 is smaller than the second intensity of the audio signals received through the second microphone 453, the first microphone 451 is the opposite It may be identified that the external electronic device is located in the direction. Since the external electronic device 201 is located on the left with respect to the external electronic device, the processor 410 may generate relative positional information indicating the left side and transmit the second signal to the external electronic device. . According to one embodiment, the single speaker 370 in FIG. 6B is shown as an external speaker, but is not limited thereto.
다양한 실시예들에 따라, 프로세서(410)는 상기 제1 세기와 상기 제2 세기의 차이 값이 미리 정의된 임계 값을 초과하는지 판단할 수 있다. 만약, 상기 차이 값이 미리 정의된 임계 값보다 작거나 같은 경우, 프로세서(410)는 외부 전자 장치가 좌우 방향의 수평 배열 상에 위치하지 않고, 코너 방향(예: 왼쪽 상단)에 위치하는 것을 식별할 수 있다. 따라서, 프로세서(410)는 상기 차이 값이 미리 정의된 임계 값보다 작거나 같은 경우, 외부 전자 장치(201)를 수평 배열 상에 위치하도록 다시 정렬해줄 것을 요청하는 시각적 알림 또는 청각적 알림을 출력할 수 있다. 또는, 프로세서(410)는 상기 외부 전자 장치에게 상기 시각적 알림 또는 상기 청각적 알림을 출력할 것을 요청하는 신호를 송신할 수도 있다. According to various embodiments, the processor 410 may determine whether a difference value between the first intensity and the second intensity exceeds a predefined threshold value. If the difference value is less than or equal to the predefined threshold value, the processor 410 identifies that the external electronic device is not located on the horizontal arrangement in the left and right directions, but is located in the corner direction (eg, upper left corner). can do. Accordingly, the processor 410 outputs a visual notification or an audible notification requesting rearrangement of the external electronic device 201 to be positioned in a horizontal arrangement when the difference value is less than or equal to a predefined threshold value. can Alternatively, the processor 410 may transmit a signal requesting output of the visual notification or the auditory notification to the external electronic device.
도 7a, 도 7b는 다른 실시예에 따른 전자 장치와 외부 전자 장치 간에 상대적 위치 관계를 결정하는 예를 도시한다.7A and 7B illustrate an example of determining a relative positional relationship between an electronic device and an external electronic device according to another embodiment.
도 7a를 참조하면, 외부 전자 장치(201)는 전자 장치(101)에서 출력된 오디오 신호들을 적어도 하나의 마이크(예: 제1 마이크(451) 및/또는 제2 마이크(453))를 통해 수신할 수 있다. 상기 오디오 신호들의 수신에 앞서, 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)로부터 제1 신호를 수신하여 전자 장치(101)의 스피커(예: 도 3의 스피커(360))(가 제1 스피커(381) 및 제2 스피커(383)를 포함하는 듀얼 스피커(381, 383)에 상응하는 것을 식별할 수 있다. 상기 듀얼 스피커(381, 383)를 통해 제2 주파수 대역 및 제3 주파수 대역의 오디오 신호들이 송출되므로, 외부 전자 장치(201)의 프로세서(410)는 최소 하나의 마이크를 이용하더라도 전자 장치(101)의 위치를 식별할 수 있다. 이하, 설명의 편의를 위해, 외부 전자 장치(201)의 프로세서(410)는 제1 마이크(451)만 활성화하는 것을 기준으로 설명하기로 한다. 일 실시예에 따라, 도 7a의 듀얼 스피커(381, 383)는 내장 스피커로 도시되었으나, 이에 제한되는 것은 아니다. 또한, 듀얼 스피커(381, 383)는 전자 장치(101)의 좌측 및 우측에 각각 배치되는 것으로 도시되었으나, 이에 제한되는 것은 아니다. 예를 들어, 듀얼 스피커(381, 383)는 전자 장치(101)의 상단 및 하단에 각각 배치될 수도 있다. Referring to FIG. 7A , the external electronic device 201 receives audio signals output from the electronic device 101 through at least one microphone (eg, a first microphone 451 and/or a second microphone 453). can do. Prior to receiving the audio signals, the processor 410 of the external electronic device 201 receives the first signal from the electronic device 101 and uses the speaker of the electronic device 101 (eg, the speaker 360 of FIG. 3 ). (It can be identified that corresponds to the dual speakers 381 and 383 including the first speaker 381 and the second speaker 383. Through the dual speakers 381 and 383, the second frequency band and the Since audio signals of three frequency bands are transmitted, the processor 410 of the external electronic device 201 can identify the location of the electronic device 101 even when using at least one microphone. The processor 410 of the external electronic device 201 will be described based on activating only the first microphone 451. According to one embodiment, the dual speakers 381 and 383 of FIG. 7A are shown as built-in speakers. In addition, the dual speakers 381 and 383 are illustrated as being respectively disposed on the left and right sides of the electronic device 101, but are not limited thereto. 383 may be disposed at the top and bottom of the electronic device 101, respectively.
다양한 실시예들에 따라, 제1 마이크(451)를 통해 수신된 오디오 신호들 중 제2 주파수 대역의 오디오 신호들의 세기는 제3 세기이고, 제3 주파수 대역의 오디오 신호들의 세기는 제4 세기일 수 있다. 여기서, 제2 주파수 대역은, 제3 주파수 대역보다 낮은 주파수 대역일 수 있다. 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)의 제1 스피커(381)가 제2 주파수 대역의 오디오 신호들을 출력하고, 제2 스피커(383)가 제3 주파수 대역의 오디오 신호들을 출력하는 것을 미리 저장할 수 있다.According to various embodiments, the intensity of the audio signals of the second frequency band among the audio signals received through the first microphone 451 is the third intensity, and the intensity of the audio signals of the third frequency band is the fourth intensity. can Here, the second frequency band may be a frequency band lower than the third frequency band. In the processor 410 of the external electronic device 201, the first speaker 381 of the electronic device 101 outputs audio signals of the second frequency band, and the second speaker 383 outputs audio signals of the third frequency band. You can pre-store the output of the .
일 실시예에 따라, 도 7a를 참조하면, 상기 제3 세기의 크기는, 상기 제4 세기의 크기보다 클 수 있다. 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)의 제1 스피커(381)에서 출력된 제2 주파수 대역의 오디오 신호들에 대한 상기 제3 세기가 전자 장치(101)의 제2 스피커(383)에서 출력된 제3 주파수 대역의 오디오 신호들에 대한 상기 제4 세기보다 더 크므로, 전자 장치(101)를 기준으로 전자 장치(101)의 상기 제1 스피커(381)가 향하는 방향(예를 들어, 오른쪽)에 외부 전자 장치(201)가 위치됨을 식별할 수 있다. 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)를 기준으로 오른쪽에 외부 전자 장치(201)가 위치하므로, 오른쪽을 지시하는 상대적 위치 관계의 정보를 포함하는 제2 신호를 전자 장치(101)에게 송신할 수 있다.According to an embodiment, referring to FIG. 7A , the magnitude of the third intensity may be greater than that of the fourth intensity. The processor 410 of the external electronic device 201 determines that the third intensity of the audio signals of the second frequency band output from the first speaker 381 of the electronic device 101 is The direction in which the first speaker 381 of the electronic device 101 is directed relative to the electronic device 101 because it is greater than the fourth intensity of audio signals of the third frequency band output from the speaker 383. It may be identified that the external electronic device 201 is located (eg, on the right side). Since the external electronic device 201 is located on the right side with respect to the electronic device 101, the processor 410 of the external electronic device 201 transmits a second signal including information of a relative positional relationship pointing to the right side of the electronic device. (101).
다른 실시예에 따라, 도 7b를 참조하면, 상기 제3 세기의 크기는, 상기 제4 세기의 크기보다 작을 수 있다. 일 실시예에 따라, 도 7b의 듀얼 스피커(381, 383)는 전자 장치(101)의 좌측 및 우측에 각각 배치되는 외부 스피커로 도시되었으나, 이에 제한되는 것은 아니다. 또한, 상기 외부 스피커는, 지향성 스피커 또는 전방위 스피커일 수 있다. 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)의 제2 스피커(383)에서 출력된 제3 주파수 대역의 오디오 신호들에 대한 상기 제4 세기가 전자 장치(101)의 제1 스피커(381)에서 출력된 제2 주파수 대역의 오디오 신호들에 대한 상기 제3 세기보다 더 크므로, 전자 장치(101)를 기준으로 전자 장치(101)의 제2 스피커(383)가 향하는 방향(예를 들어, 왼쪽)에 외부 전자 장치(201)가 위치됨을 식별할 수 있다. 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)를 기준으로 왼쪽에 외부 전자 장치(201)가 위치하므로, 왼쪽을 지시하는 상대적 위치 관계의 정보를 포함하는 제2 신호를 전자 장치(101)에게 송신할 수 있다.According to another embodiment, referring to FIG. 7B , the magnitude of the third intensity may be smaller than that of the fourth intensity. According to one embodiment, the dual speakers 381 and 383 of FIG. 7B are illustrated as external speakers respectively disposed on the left and right sides of the electronic device 101, but are not limited thereto. Also, the external speaker may be a directional speaker or an omnidirectional speaker. The processor 410 of the external electronic device 201 determines that the fourth intensity of the audio signals of the third frequency band output from the second speaker 383 of the electronic device 101 is Since it is greater than the third intensity of the audio signals of the second frequency band output from the speaker 381, the direction the second speaker 383 of the electronic device 101 faces with respect to the electronic device 101 ( For example, it may be identified that the external electronic device 201 is located on the left). Since the external electronic device 201 is located on the left with respect to the electronic device 101, the processor 410 of the external electronic device 201 transmits a second signal including information of a relative positional relationship indicating the left side of the electronic device. (101).
다양한 실시예들에 따라, 외부 전자 장치(201)의 프로세서(410)는 상기 제3 세기와 상기 제4 세기의 차이 값이 미리 정의된 임계 값을 초과하는지 판단할 수 있다. 만약, 상기 차이 값이 미리 정의된 임계 값보다 작거나 같은 경우, 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)가 좌우 방향의 수평 배열 상에 위치하지 않고, 코너 방향(예: 왼쪽 상단)에 위치하는 것을 식별할 수 있다. 따라서, 외부 전자 장치(201)의 프로세서(410)는 상기 차이 값이 미리 정의된 임계 값보다 작거나 같은 경우, 외부 전자 장치(201)를 수평 배열 상에 위치하도록 다시 정렬해줄 것을 요청하는 시각적 알림 또는 청각적 알림을 출력할 수 있다. 또는, 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)에게 상기 시각적 알림 또는 상기 청각적 알림을 출력할 것을 요청하는 신호를 송신할 수도 있다.According to various embodiments, the processor 410 of the external electronic device 201 may determine whether a difference value between the third intensity and the fourth intensity exceeds a predefined threshold value. If the difference value is less than or equal to a predefined threshold value, the processor 410 of the external electronic device 201 determines that the electronic device 101 is not located on the horizontal arrangement in the left and right direction, and the corner direction (eg : located in the upper left) can be identified. Accordingly, the processor 410 of the external electronic device 201, when the difference value is less than or equal to a predefined threshold value, visual notification requesting rearrangement of the external electronic device 201 to be positioned on a horizontal arrangement. Alternatively, an audible notification may be output. Alternatively, the processor 410 of the external electronic device 201 may transmit a signal requesting the electronic device 101 to output the visual notification or the auditory notification.
전술한 실시예에서, 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)의 스피커(예: 도 3의 스피커(360))가 제1 스피커(381) 및 제2 스피커(383)를 포함하는 듀얼 스피커(381, 383)에 상응하는 경우, 하나의 마이크(예: 제1 마이크(451))만 활성화하는 것을 기준으로 설명하였으나, 이에 제한되는 것은 아니다. 상대적 위치 관계의 신뢰성 향상을 위해, 외부 전자 장치(201)의 프로세서(410)는 제1 마이크(451) 및 제2 마이크(453)를 모두 활성화할 수 있다. 예를 들어, 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)의 제1 스피커(381) 및 제2 스피커(383) 존재를 식별함에 응답하여, 제1 마이크(451)만을 활성화할 수 있다. 제1 마이크(451)를 통해 수신된 오디오 신호들에 잡음(noise) 성분이 많아 SNR(signal to noise ratio)이 낮은 경우, 외부 전자 장치(201)의 프로세서(410)는 제2 마이크(453)를 추가로 활성화할 것을 결정할 수 있다. 제1 마이크(451) 및 제2 마이크(453)가 모두 활성화하는 경우, 외부 전자 장치(201)의 프로세서(410)는 제1 마이크(451)를 통해 측정된 제2 주파수제3 세기, 제4 세기와 제2 마이크(453)를 통해 측정된 제3 세기, 제4 세기를 평균 연산하여 전자 장치(101)의 위치를 식별할 수도 있다.In the above-described embodiment, the processor 410 of the external electronic device 201 configures the speaker (eg, the speaker 360 of FIG. 3 ) of the electronic device 101 to use the first speaker 381 and the second speaker 383 In the case of corresponding to the dual speakers 381 and 383 including , it has been described based on activating only one microphone (eg, the first microphone 451), but is not limited thereto. To improve the reliability of the relative positional relationship, the processor 410 of the external electronic device 201 may activate both the first microphone 451 and the second microphone 453 . For example, the processor 410 of the external electronic device 201 activates only the first microphone 451 in response to identifying the existence of the first speaker 381 and the second speaker 383 of the electronic device 101. can do. When audio signals received through the first microphone 451 have many noise components and have a low signal to noise ratio (SNR), the processor 410 of the external electronic device 201 uses the second microphone 453 You can decide to activate additionally. When both the first microphone 451 and the second microphone 453 are activated, the processor 410 of the external electronic device 201 determines the second frequency measured through the first microphone 451, the third intensity, the fourth The location of the electronic device 101 may be identified by calculating an average of the intensity and the third and fourth intensities measured through the second microphone 453 .
도 6a, 도 6b, 도 7a 및 도 7b의 전술한 실시예들은, 외부 전자 장치(201)가 오디오 신호들의 수신 세기 차이에 기반하여 상대적 위치 결과를 식별하고, 상기 식별된 상대적 위치 결과를 전자 장치(101)에게 전송하는 것을 기준으로 기재되었으나, 이에 제한되는 것은 아니다. 6a, 6b, 7a, and 7b, the external electronic device 201 identifies a relative position result based on a difference in reception strength of audio signals, and the identified relative position result is transmitted to the electronic device Although described based on transmission to (101), it is not limited thereto.
다양한 실시예들에 따라, 외부 전자 장치(201)는 전자 장치(101)에게 세기 정보를 송신할 수도 있다. 상기 제2 신호는, 상대적 위치 관계를 지시하기 위한 임의의 정보를 포함할 수 있으므로, 명시적으로(explicitly) 상기 식별된 상대적 위치 관계를 지시하는 정보를 포함할 수 있을 뿐만 아니라, 상대적 위치 관계를 암시적으로(implicitly) 나타낼 수 있는 세기 정보를 포함할 수도 있다. 상기 세기 정보는, 상기 제1 세기 내지 제4 세기에 대한 측정 값을 나타내는 정보일 수 있다. 전자 장치(101)의 프로세서(310)는, 상대적 위치 관계를 지시하기 위한 상기 제2 신호를 수신하고, 상기 제2 신호를 디코딩할 수 있다. 전자 장치(101)의 프로세서(310)는, 상기 제2 신호에 포함된 정보가 상기 세기 정보인 것을 식별할 수 있다. 전자 장치(101)의 프로세서(310)는 상기 세기 정보를 수신한 것에 응답하여, 상대적 위치 관계를 식별할 수 있다. 도 6a를 함께 참조하면, 예를 들어, 전자 장치(101)의 프로세서(310)는, 수신된 세기 정보들 간에 크기 비교를 수행하여 외부 전자 장치(201)의 제1 마이크(451)를 통해 수신된 오디오 신호들의 제1 세기의 크기가, 외부 전자 장치(201)의 제2 마이크(453)를 통해 수신된 오디오 신호들의 제2 세기보다 크다는 것을 식별할 수 있다. 전자 장치(101)의 프로세서(310)는 상기 크기 비교의 결과에 기반하여, 외부 전자 장치(201)를 기준으로 전자 장치(101)가 제1 마이크(451)의 방향에 위치됨을 식별할 수 있다. 프로세서(310)는 전자 장치(101)를 기준으로 오른쪽에 외부 전자 장치(201)가 위치하므로, 오른쪽을 지시하는 상대적 위치 관계의 정보를 생성하여 상기 제2 신호를 상기 외부 전자 장치에게 송신할 수도 있다.According to various embodiments, the external electronic device 201 may transmit intensity information to the electronic device 101 . Since the second signal may include arbitrary information for indicating the relative positional relationship, it may include information explicitly indicating the identified relative positional relationship, and may also include information indicating the relative positional relationship. It may also include intensity information that can be implicitly indicated. The intensity information may be information representing measurement values of the first to fourth intensities. The processor 310 of the electronic device 101 may receive the second signal for indicating the relative positional relationship and decode the second signal. The processor 310 of the electronic device 101 may identify that the information included in the second signal is the strength information. The processor 310 of the electronic device 101 may identify a relative positional relationship in response to receiving the intensity information. Referring to FIG. 6A together, for example, the processor 310 of the electronic device 101 compares received intensity information and receives the received intensity information through the first microphone 451 of the external electronic device 201. It may be identified that the magnitude of the first intensity of the received audio signals is greater than the second intensity of the audio signals received through the second microphone 453 of the external electronic device 201 . The processor 310 of the electronic device 101 may identify that the electronic device 101 is located in the direction of the first microphone 451 with respect to the external electronic device 201 based on the result of the size comparison. . Since the external electronic device 201 is located on the right side of the electronic device 101, the processor 310 may generate relative positional information indicating the right side and transmit the second signal to the external electronic device. there is.
도 8은 다양한 실시예들에 따른 외부 전자 장치의 동작 방법을 나타내는 흐름도이다.8 is a flowchart illustrating a method of operating an external electronic device according to various embodiments.
도 8을 참조하면, 동작 810에서, 프로세서(410)는, 식별 정보를 포함하는 제1 신호를 수신할 수 있다. 상기 식별 정보는, 전자 장치(101)의 스피커(예: 도 3의 스피커(360))가 단일 스피커(예: 도 6a의 스피커(370))에 상응하는지 또는 듀얼 스피커(예: 도 7a의 듀얼 스피커(381, 383))에 상응하는지 지시하기 위한 정보일 수 있다.Referring to FIG. 8 , in operation 810, the processor 410 may receive a first signal including identification information. The identification information determines whether the speaker (eg, speaker 360 of FIG. 3 ) of the electronic device 101 corresponds to a single speaker (eg, speaker 370 of FIG. 6A ) or a dual speaker (eg, dual speaker 360 of FIG. 7A ). It may be information for indicating whether it corresponds to the speakers 381 and 383.
동작 820에서, 프로세서(410)는, 상기 제1 신호를 수신한 이후, 미리 정의된 시간 내에 변위가 검출되는지 판단할 수 있다. 일 실시예에 따라, 외부 전자 장치(201)는 자이로 센서(미도시) 및 가속도 센서(미도시)를 더 포함할 수 있다. 프로세서(410)는 상기 자이로 센서(미도시) 및 상기 가속도 센서(미도시)의 센싱 값에 기반하여 외부 전자 장치(201)의 변위(displacement)가 발생하였는지 판단할 수 있다. 미리 정의된 시간 내에 외부 전자 장치(201)가 이동하여 변위가 검출되는 경우, 외부 전자 장치(201)와 전자 장치(101) 사이의 상대적 위치 관계에 변동이 발생할 여지가 있으므로, 다시 미리 정의된 시간 내에 외부 전자 장치(201)에 변위가 검출되는지 판단하는 것을 반복할 수 있다.In operation 820, the processor 410 may determine whether displacement is detected within a predefined time after receiving the first signal. According to an embodiment, the external electronic device 201 may further include a gyro sensor (not shown) and an acceleration sensor (not shown). The processor 410 may determine whether displacement of the external electronic device 201 has occurred based on sensing values of the gyro sensor (not shown) and the acceleration sensor (not shown). When the external electronic device 201 moves within a predefined time and the displacement is detected, since there is room for a change in the relative positional relationship between the external electronic device 201 and the electronic device 101, again a predefined time Determining whether displacement is detected in the external electronic device 201 may be repeated.
동작 830에서, 프로세서(410)는 상기 제1 신호에 대한 응답 신호를 송신할 수 있다. 동작 820에서, 미리 정의된 시간 내에 외부 전자 장치(201)의 변위가 검출되지 않은 경우, 프로세서(410)는 외부 전자 장치(201)의 기기 고정이 완료되었음을 결정하고, 상기 응답 신호를 전자 장치(101)에게 송신할 수 있다.In operation 830, the processor 410 may transmit a response signal to the first signal. In operation 820, when the displacement of the external electronic device 201 is not detected within a predefined time, the processor 410 determines that the device fixing of the external electronic device 201 is completed, and transmits the response signal to the electronic device ( 101) can be sent.
동작 840에서, 프로세서(410)는 제1 신호에 포함된 식별 정보에 기반하여 적어도 하나의 마이크를 활성화할 수 있다. 식별 정보가 전자 장치(101)의 스피커(360)가 단일 스피커(370)임을 지시하는 경우, 외부 전자 장치(201)의 프로세서(410)는 제1 마이크(451) 및 제2 마이크(453)를 모두 활성화할 수 있다. 전자 장치(101)의 단일 스피커(370)(예: 도 3의 스피커(360))로부터 단일 주파수의 제1 주파수 대역의 오디오 신호들만 출력되기 때문에, 제1 마이크(451) 및 제2 마이크(453)가 위치 차이에 기반하여 발생하는 오디오 신호들의 세기 차이를 이용하기 위함이다. 제1 신호에 포함된 식별 정보가 전자 장치(101)의 스피커(360)가 듀얼 스피커(381, 383)를 지시하는 경우, 외부 전자 장치(201)의 프로세서(410)는 제1 마이크(451) 및 제2 마이크(453) 중 적어도 하나를 활성화할 수 있다. 전자 장치(101)에서 2개의 주파수 대역(예: 제2 주파수 대역 및 제3 주파수 대역)의 오디오 신호들이 출력되기 때문에, 제1 마이크(451) 및 제2 마이크(453)가 위치 차이에 기반할 필요가 없기 때문이다.In operation 840, the processor 410 may activate at least one microphone based on identification information included in the first signal. When the identification information indicates that the speaker 360 of the electronic device 101 is a single speaker 370, the processor 410 of the external electronic device 201 selects the first microphone 451 and the second microphone 453. All can be activated. Since only the audio signals of the first frequency band of a single frequency are output from the single speaker 370 (eg, the speaker 360 of FIG. 3) of the electronic device 101, the first microphone 451 and the second microphone 453 ) is to use the intensity difference of audio signals generated based on the position difference. When the identification information included in the first signal indicates that the speaker 360 of the electronic device 101 indicates the dual speakers 381 and 383, the processor 410 of the external electronic device 201 uses the first microphone 451 and at least one of the second microphone 453 may be activated. Since audio signals of two frequency bands (eg, a second frequency band and a third frequency band) are output from the electronic device 101, the first microphone 451 and the second microphone 453 may be based on the position difference. because there is no need
동작 850에서, 외부 전자 장치(201)의 프로세서(410)는 지정된 범위 내의 오디오 신호들을 수신하여 전자 장치(101)와 외부 전자 장치(201) 간에 상대적 위치 관계를 식별할 수 있다. 동작 860에서, 프로세서(410)는, 상대적 위치 관계를 지시하기 위한 제2 신호를 송신할 수 있다. 예를 들면, 동작 850 및 동작 860은 도 6a, 도 6b 및 도 7의 기재에 대응할 수 있다.In operation 850, the processor 410 of the external electronic device 201 may receive audio signals within a specified range to identify a relative positional relationship between the electronic device 101 and the external electronic device 201. In operation 860, the processor 410 may transmit a second signal for indicating a relative positional relationship. For example, operations 850 and 860 may correspond to those described in FIGS. 6A, 6B, and 7 .
동작 870에서, 외부 전자 장치(201)의 프로세서(410)는 외부 전자 장치(201)의 디스플레이(430) 상에 포인터를 표시하기 위한 제3 신호를 수신할 수 있다. 상기 제3 신호는, 전자 장치(101)의 디스플레이(도 3의 디스플레이(330))로부터 외부 전자 장치(201)의 디스플레이(430) 상으로 상기 포인터를 이동하기 위한 사용자 입력을 검출함에 응답하여 생성될 수 있다. 다양한 실시예들에 따라, 상기 제3 신호는, 상기 포인터를 표시할 좌표 값(예를 들어, x축의 픽셀 위치, y축의 픽셀 위치)을 포함할 수 있다.In operation 870, the processor 410 of the external electronic device 201 may receive a third signal for displaying a pointer on the display 430 of the external electronic device 201. The third signal is generated in response to detecting a user input for moving the pointer from the display of the electronic device 101 (the display 330 of FIG. 3 ) to the display 430 of the external electronic device 201. It can be. According to various embodiments, the third signal may include a coordinate value (eg, an x-axis pixel position and a y-axis pixel position) to display the pointer.
동작 880에서, 외부 전자 장치(201)의 프로세서(410)는 제3 신호에 기반하여 외부 전자 장치(201)의 디스플레이(430) 상에 포인터를 표시할 수 있다. 프로세서(410)는 상기 제3 신호에 포함된 좌표 값에 따라, 디스플레이(430) 상에 포인터를 표시할 수 있다. 이에 따라, 전자 장치(101)의 사용자는, 전자 장치(101)의 디스플레이(도 3의 디스플레이(330)) 밖으로 포인터를 이동하도록 입력 장치를 조작하더라도, 포인터가 외부 전자 장치(201)의 디스플레이(430) 상에 표시됨으로써 연속성 있는 사용자 경험을 제공받을 수 있다.In operation 880, the processor 410 of the external electronic device 201 may display a pointer on the display 430 of the external electronic device 201 based on the third signal. The processor 410 may display a pointer on the display 430 according to the coordinate value included in the third signal. Accordingly, even if the user of the electronic device 101 manipulates the input device to move the pointer outside the display (display 330 of FIG. 3 ) of the electronic device 101, the pointer is displayed on the display ( 430), a continuous user experience can be provided.
도 9는 일 실시예에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다.9 is a diagram illustrating signal exchange between an electronic device and an external electronic device according to an exemplary embodiment.
도 9을 참조하면, 동작 910에서, 전자 장치(101)의 프로세서(310)는 통신 회로(340)를 이용하여 외부 전자 장치((201)에게 식별 정보를 포함하는 제1 신호를 송신할 수 있다. 다양한 실시예들에 따라, 프로세서(310)는 복수의 전자 장치들 간에 입력 장치를 공유하는 어플리케이션(application)을 실행함에 응답하여 상기 제1 신호를 외부 전자 장치(201)에게 송신할 수 있다. 복수의 전자 장치들 간에 입력 장치를 공유하기 위한 상기 어플리케이션은, 예를 들어, 멀티 컨트롤 어플리케이션, 통합(integration) 컨트롤, 어크로스(across) 컨트롤 어플리케이션, 또는 올라운드(all round) 컨트롤 어플리케이션과 같은 다양한 용어로 지칭될 수 있다. 즉, 프로세서(310)는 상기 어플리케이션이 실행됨에 응답하여 외부 전자 장치(201)에게 상기 제1 신호를 전송할 수 있다. 상술한 실시예에서, 전자 장치(101)가 상기 식별 정보를 포함하는 제1 신호를 방송하는 것을 기준으로 설명되었으나, 이에 제한되는 것은 아니다. 상기 식별 정보를 포함하는 제1 신호는, 외부 전자 장치(201)가 먼저 방송할 수도 있다. 구체적으로, 전자 장치(101) 및/또는 외부 전자 장치(201)는 MCF에 기반하여 상기 MCF와 관련된 계정에 로그인되는 것을 식별함에 응답하여, 미리 정의된 주기에 따라 상기 식별 정보를 포함하는 제1 신호를 방송할 수 있다.Referring to FIG. 9 , in operation 910, the processor 310 of the electronic device 101 may transmit a first signal including identification information to the external electronic device 201 using the communication circuit 340. According to various embodiments, the processor 310 may transmit the first signal to the external electronic device 201 in response to executing an application for sharing an input device among a plurality of electronic devices. The application for sharing an input device among a plurality of electronic devices is termed variously, such as, for example, a multi-control application, an integration control, an across control application, or an all round control application. That is, the processor 310 may transmit the first signal to the external electronic device 201 in response to the execution of the application. It has been described based on broadcasting the first signal including information, but is not limited thereto. The first signal including the identification information may be broadcast first by the external electronic device 201. Specifically, the electronic device 201 may broadcast the first signal including the identification information. The device 101 and/or the external electronic device 201 broadcasts a first signal including the identification information according to a predefined period in response to identifying that the MCF is logged into an account related to the MCF based on the MCF. can
동작 920에서, 외부 전자 장치(201)의 프로세서(410)는 상기 제1 신호에 기반하여 외부 전자 장치(201)가 전자 장치(101)로부터 기준 거리 내에 위치됨을 식별하고, 적어도 하나의 마이크를 활성화할 수 있다. 프로세서(410)는 상기 제1 신호가 수신되는 것에 응답하여 전자 장치(101)가 기준 거리 내에 위치함을 식별하고, 상대적 위치 관계를 결정하기 위한 오디오 신호를 수신하기 위하여 미리 마이크를 활성화할 수 있다. 이 경우, 프로세서(410)는 식별 정보를 참조하여(referring) 제1 마이크(451) 및 제2 마이크(453) 중 적어도 하나를 활성화할 것을 결정할 수 있다. 예를 들어, 전자 장치(101)의 스피커(360)가 제1 스피커(381) 및 제2 스피커(383)를 포함하는 듀얼 스피커(381, 383)인 경우, 프로세서(410)는 제1 마이크(451)만을 활성화할 수 있다. 일 실시예에 따라, MCF에 상응하는 프로세서(410)는 어플리케이션(예: 도 1의 어플리케이션(146))에 기반하여 동일 계정을 지시하는 필드 및/또는 동일 서비스를 지시하는 필드 값에 기반하여 필터링할 수 있다. 따라서, 외부 전자 장치(201)의 주변에 미리 정의된 시간 간격마다 어드버타이징 패킷을 방송하는 다른 장치들이 존재하더라도, 외부 전자 장치(201)는 상기 동일 계정을 지시하는 필드 및/또는 상기 동일 서비스를 지시하는 필드에 의해 필터링된 어드버타이징 패킷(예: 식별 정보를 포함하는 제1 신호)을 수신할 수 있다.In operation 920, the processor 410 of the external electronic device 201 identifies that the external electronic device 201 is located within a reference distance from the electronic device 101 based on the first signal, and activates at least one microphone. can do. The processor 410 may identify that the electronic device 101 is located within a reference distance in response to receiving the first signal, and may activate a microphone in advance to receive an audio signal for determining a relative positional relationship. . In this case, the processor 410 may determine to activate at least one of the first microphone 451 and the second microphone 453 by referring to the identification information. For example, when the speakers 360 of the electronic device 101 are dual speakers 381 and 383 including a first speaker 381 and a second speaker 383, the processor 410 operates a first microphone ( 451) can only be activated. According to an embodiment, the processor 410 corresponding to the MCF performs filtering based on a field indicating the same account and/or a field value indicating the same service based on an application (eg, the application 146 of FIG. 1). can do. Therefore, even if there are other devices broadcasting advertising packets at predefined time intervals around the external electronic device 201, the external electronic device 201 may use a field indicating the same account and/or the same account. An advertising packet filtered by a field indicating a service (eg, a first signal including identification information) may be received.
동작 930에서, 외부 전자 장치(201)의 프로세서(410)는 통신 회로(440)를 이용하여 전자 장치(101)에게 상기 제1 신호에 대한 응답 신호를 송신할 수 있다. 상기 응답 신호는, 상기 제1 신호가 외부 전자 장치(201)에 의해 성공적으로 수신되었음을 지시하는 신호일 수 있다. 일 실시예에 따라, 프로세서(410)는 미리 정의된 시간 동안 외부 전자 장치(201)의 자이로 센서 및 가속도 센서의 센싱 값에 기반한 변위가 검출되지 않은 경우에만 상기 응답 신호를 생성할 수 있다.In operation 930, the processor 410 of the external electronic device 201 may transmit a response signal to the first signal to the electronic device 101 using the communication circuit 440. The response signal may be a signal indicating that the first signal has been successfully received by the external electronic device 201 . According to an embodiment, the processor 410 may generate the response signal only when displacement based on sensing values of the gyro sensor and the acceleration sensor of the external electronic device 201 is not detected for a predefined period of time.
동작 940에서, 전자 장치(101)의 프로세서(310)는 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다. 상기 출력되는 오디오 신호들은 전자 장치(101)의 스피커(360)에 기반하여 결정될 수 있다. 일 예로, 스피커(360)가 단일 스피커(예: 도 6a의 스피커(370))인 경우, 상기 오디오 신호들은 상기 지정된 주파수 범위 중 제1 주파수 대역의 신호들일 수 있다. 다른 예로, 전자 장치(101)가 제1 스피커(381) 및 제2 스피커(383)를 포함하는 듀얼 스피커(예: 도 7a의 듀얼 스피커(381, 383))인 경우, 상기 오디오 신호들은 상기 지정된 주파수 범위 중 제2 주파수 대역의 오디오 신호들 및 상기 지정된 주파수 범위 중 상기 제2 주파수 대역과 상이한 제3 주파수 대역의 오디오 신호들일 수 있다. In operation 940, the processor 310 of the electronic device 101 may output audio signals in a designated frequency range. The output audio signals may be determined based on the speaker 360 of the electronic device 101 . For example, when the speaker 360 is a single speaker (eg, the speaker 370 of FIG. 6A ), the audio signals may be signals of a first frequency band among the specified frequency range. As another example, when the electronic device 101 is a dual speaker including a first speaker 381 and a second speaker 383 (eg, the dual speakers 381 and 383 of FIG. 7A ), the audio signals are received as specified above. Audio signals in a second frequency band among the frequency range and audio signals in a third frequency band different from the second frequency band in the designated frequency range.
동작 950에서, 외부 전자 장치(201)의 프로세서(410)는 상대적 위치 관계를 식별할 수 있다. 예를 들어, 전자 장치(101)와 외부 전자 장치(201)의 상대적 위치에 관한 정보를 생성할 수 있다. 동작 960에서, 외부 전자 장치(201)는 상기 상대적 위치 관계를 지시하는 제2 신호를 송신할 수 있다. 예를 들면, 동작 950 및 동작 960은 도 6a, 도 6b 및 도 7의 기재에 대응할 수 있다. 일 실시예에 따라, 외부 전자 장치(201)는 상대적 위치 관계를 식별함에 응답하여, 어드버타이징 패킷을 수신 정책을 변경할 수 있다. 예를 들어, 프로세서(410)는 상대적 위치 관계를 식별함에 응답하여, 전자 장치(101)의 MAC 주소와 상이한 모든 어드버타이징 패킷을 드롭(drop)하도록 설정될 수도 있다. 상기 패킷 드롭에 기반하여, 외부 전자 장치(201)는 근거리에 위치하는 복수의 전자 장치들 중 전자 장치(101)를 제외한 나머지 전자 장치들이 방송하는 어드버타이징 패킷을 무시할 수 있다. 또는 상기 MCF에 상응하는 프로세서(410)는 식별된 전자 장치(101)와 연결 서비스와 동일한 서비스와 관련된 다른 어드버타이징 패킷을 드롭하도록 구성될 수도 있다.In operation 950, the processor 410 of the external electronic device 201 may identify a relative location relationship. For example, information about the relative positions of the electronic device 101 and the external electronic device 201 may be generated. In operation 960, the external electronic device 201 may transmit a second signal indicating the relative positional relationship. For example, operations 950 and 960 may correspond to those described in FIGS. 6A, 6B, and 7 . According to an embodiment, the external electronic device 201 may change an advertising packet reception policy in response to identifying the relative location relationship. For example, the processor 410 may be configured to drop all advertising packets different from the MAC address of the electronic device 101 in response to identifying the relative location relationship. Based on the packet drop, the external electronic device 201 may ignore advertising packets broadcast by other electronic devices other than the electronic device 101 among a plurality of electronic devices located in a short distance. Alternatively, the processor 410 corresponding to the MCF may be configured to drop another advertising packet related to the same service as the identified electronic device 101 and connection service.
동작 970에서, 전자 장치(101)의 프로세서(310)는 통신 회로(340)를 통하여 외부 전자 장치(예: 전자 장치(201))와 통신 링크를 수립할 수 있다. 예를 들어, 프로세서(310)는, 상기 외부 전자 장치와 통신 링크를 수립하기 위해 연결 요청 신호를 송신할 수 있다. 상기 연결 요청 신호는, 예를 들면, 블루투스 규격(Bluetooth specification)의 'CONNECT_REQ'일 수 있다. 도 9를 참조하면, 통신 링크를 수립하는 동작 970은 외부 전자 장치(예: 전자 장치(201))로부터 상대적 위치 관계를 지시하는 제2 신호를 수신함에 응답하여 수행되는 것으로 도시되었으나 이에 제한되는 것은 아니다. 후술하는 실시예를 참조하면, 상기 통신 링크는 제3 신호의 송신을 트리거(trigger)하는 사용자 입력을 검출함에 응답하여, 제3 신호를 송신하기 이전에 수립될 수도 있다. 일 실시예에 따라, 전자 장치(101)와 외부 전자 장치(201) 간에 송수신하는 데이터 크기가 작은 경우, 상기 연결 요청 신호에 기반하지 않고 어드버타이징 패킷에 기반하여 데이터를 송수신할 수 있다. 예를 들어, 상기 MCF에 상응하는 프로세서(310)는 외부 전자 장치(201)와 동일한 서비스가 무엇인지 식별할 수 있다. 예를 들어, 프로세서(310)는 외부 전자 장치(201)와 송수신하는 데이터 크기가 제한되는 서비스임을 식별할 수 있다. 프로세서(310)는 상기 식별된 서비스의 종류에 기반하여 상기 연결 요청 신호를 송신하는 것을 생략하고, 어드버타이징 패킷만을 이용하여 데이터를 송수신할 수 있다. 다른 예를 들어, 전자 장치(101)는 MCF를 통해 외부 전자 장치(201)와 동일한 서비스가 무엇인지 식별할 수 있다. 상기 서비스는, 작은 크기의 데이터를 실시간으로 송수신하기 위한 서비스에 상응할 수 있다. 프로세서(310)는 상기 서비스에 응답하여 BLE CoC(connection oriented channels) 연결을 수립할 수도 있다. 또 다른 예로, 상기 서비스는, 마우스 포인터나 키보드를 포함하는 입력 장치를 공유하거나, 또는 파일을 공유하기 위한 서비스에 상응할 수 있다. 이 경우, 프로세서(310)는 외부 전자 장치(201)와 Wi-Fi AP(access point) 또는 Wi-Fi Direct 연결을 수립할 수도 있다.In operation 970, the processor 310 of the electronic device 101 may establish a communication link with an external electronic device (eg, the electronic device 201) through the communication circuit 340. For example, the processor 310 may transmit a connection request signal to establish a communication link with the external electronic device. The connection request signal may be, for example, 'CONNECT_REQ' of the Bluetooth specification. Referring to FIG. 9 , an operation 970 of establishing a communication link is illustrated as being performed in response to receiving a second signal indicating a relative positional relationship from an external electronic device (eg, the electronic device 201), but is not limited thereto. no. Referring to an embodiment described later, the communication link may be established prior to transmitting the third signal in response to detecting a user input triggering transmission of the third signal. According to an embodiment, when the size of data transmitted/received between the electronic device 101 and the external electronic device 201 is small, data may be transmitted/received based on an advertising packet instead of the connection request signal. For example, the processor 310 corresponding to the MCF may identify the same service as that of the external electronic device 201 . For example, the processor 310 may identify a service that limits the size of data transmitted/received with the external electronic device 201 . The processor 310 may omit transmitting the connection request signal based on the identified service type and transmit/receive data using only an advertising packet. For another example, the electronic device 101 may identify the same service as the external electronic device 201 through the MCF. The service may correspond to a service for transmitting and receiving small-sized data in real time. The processor 310 may establish a BLE connection oriented channels (CoC) connection in response to the service. As another example, the service may correspond to a service for sharing an input device including a mouse pointer or a keyboard or sharing a file. In this case, the processor 310 may establish a Wi-Fi access point (AP) or Wi-Fi Direct connection with the external electronic device 201 .
동작 980에서, 전자 장치(101)의 프로세서(310)는 포인터를 외부 전자 장치(201)의 디스플레이(430)를 향해 이동하기 위한 사용자 입력을 검출할 수 있다. 동작 990에서, 전자 장치(101)의 프로세서(310)는 포인터를 외부 전자 장치(201)의 디스플레이 상에서 표시하기 위한 제3 신호를 외부 전자 장치(201)에게 송신할 수 있다. 사용자 입력을 검출하는 구체적인 실시예는 도 10에서 후술하기로 한다.In operation 980, the processor 310 of the electronic device 101 may detect a user input for moving the pointer toward the display 430 of the external electronic device 201. In operation 990, the processor 310 of the electronic device 101 may transmit a third signal for displaying a pointer on the display of the external electronic device 201 to the external electronic device 201. A specific embodiment of detecting a user input will be described later with reference to FIG. 10 .
도 10은 일 실시예에 따른 전자 장치로부터 외부 전자 장치에게 포인터를 이동하기 위한 사용자 입력을 검출하는 예를 도시한다.10 illustrates an example of detecting a user input for moving a pointer from an electronic device to an external electronic device according to an embodiment.
도 10을 참조하면, 포인터(1010)는 전자 장치(101)의 디스플레이(330)상에서 표시될 수 있다. 프로세서(310)는 외부 전자 장치(201)로부터 오른쪽을 지시하는 제2 신호를 기 수신하였을 수 있다. 즉, 프로세서(310)는 전자 장치(101)를 기준으로 오른쪽에 상기 외부 전자 장치가 위치하고 있음을 미리 식별한 상태일 수 있다. Referring to FIG. 10 , a pointer 1010 may be displayed on the display 330 of the electronic device 101. The processor 310 may have already received the second signal indicating the right from the external electronic device 201 . That is, the processor 310 may be in a state of pre-identifying that the external electronic device is located on the right side of the electronic device 101 .
다양한 실시예들에 따라, 프로세서(310)는 전자 장치(101)에 포함되는 디스플레이(330)의 4개의 가장자리(periphery)들 중 상기 제2 신호에 의해 지시되는 일 가장자리를 특정할 수 있다. 예를 들어, 오른쪽의 상대적 위치 관계를 지시하는 제2 신호를 수신한 경우, 프로세서(310)는 오른쪽 방향의 가장자리를 특정할 수 있다. 프로세서(310)는 상기 특정된 가장자리를 포함하는 일부 영역을 설정할 수 있다. 상기 일부 영역은 사용자 입력을 검출하기 위한 이벤트 영역(1020)으로 지칭될 수 있다. According to various embodiments, the processor 310 may specify one edge indicated by the second signal among four edges of the display 330 included in the electronic device 101 . For example, when receiving the second signal indicating the relative positional relationship of the right side, the processor 310 may specify the edge in the right direction. The processor 310 may set a partial area including the specified edge. The partial area may be referred to as an event area 1020 for detecting user input.
프로세서(310)는 상기 이벤트 영역(1020)으로 포인터(1010)가 진입하는 것을 식별할 수 있다. 상기 진입을 식별함에 응답하여, 프로세서(310)는 포인터의 수평 방향 움직임의 크기를 계산할 수 있다. 프로세서(310)는 상기 계산된 수평 방향 움직임의 크기가 미리 정의된 값(1030)을 초과하는 경우, 현재 사용자는 포인터를 전자 장치(101)의 디스플레이(330) 상에서 외부 전자 장치(201)의 디스플레이(430)로 이동을 원하는 것으로 간주할 수 있다. 프로세서(310)는 포인터가 상기 이벤트 영역(1020)에 진입하고, 수평 방향으로 상기 미리 정의된 값(1030)을 초과하여 이동되는 경우, 외부 전자 장치(201)의 디스플레이(430) 상에 포인터를 표시하기 위한 제3 신호를 생성할 수 있다.The processor 310 may identify that the pointer 1010 enters the event area 1020 . In response to identifying the entry, processor 310 may calculate the amount of horizontal movement of the pointer. The processor 310 determines that when the calculated magnitude of horizontal movement exceeds a predefined value 1030, the current user moves a pointer on the display 330 of the electronic device 101 on the display of the external electronic device 201. 430 may be deemed desired to move. The processor 310 displays a pointer on the display 430 of the external electronic device 201 when the pointer enters the event area 1020 and moves horizontally beyond the predefined value 1030. A third signal for displaying may be generated.
도 11a, 도 11b 및 도 11c는 일 실시예에 따른 전자 장치로부터 외부 전자 장치에게 포인터를 이동하기 위한 사용자 입력에 수반되는(accompanied) 이벤트의 예를 도시한다. 11A, 11B, and 11C illustrate examples of events accompanied by a user input for moving a pointer from an electronic device to an external electronic device according to an exemplary embodiment.
도 11a를 참조하면, 외부 전자 장치(201)의 디스플레이(430)를 향해 이동하기 위한 사용자 입력은 드래그 입력(drag input)에 상응할 수 있다. 사용자 입력이 상기 드래그 입력에 상응하는 경우, 포인터(1010)는 드래그 입력의 대상이 되는 시각적 객체(1110)를 동반하여(accompanying) 이동될 수 있다. 예를 들어, 도 11a를 참조하면, 시각적 객체(1110)는 갤러리(gallery) 어플리케이션에 상응하는 단축 아이콘(shortcut icon)일 수 있다. 상기 갤러리 어플리케이션은, 전자 장치(101)의 제1 운영 체제(operating system)에서 실행 가능한 어플리케이션들 중 어느 하나일 수 있다. Referring to FIG. 11A , a user input for moving toward the display 430 of the external electronic device 201 may correspond to a drag input. When the user input corresponds to the drag input, the pointer 1010 may move accompanying the visual object 1110 that is the target of the drag input. For example, referring to FIG. 11A , the visual object 1110 may be a shortcut icon corresponding to a gallery application. The gallery application may be any one of applications executable in the first operating system of the electronic device 101 .
다양한 실시예들에 따라, 사용자 입력이 상기 드래그 입력에 상응하는 경우, 제3 신호는 포인터(1010)를 외부 전자 장치(201)의 디스플레이(430) 상에서 표시하기 위한 좌표 값에 더하여 실행 정보를 더 포함할 수 있다. 상기 실행 정보는, 포인터(1010)에 동반되는 시각적 객체(1110)를 통해 제공되는 기능을 실행하기 위해 이용되는 어플리케이션을 지시하기 위한 정보일 수 있다. 예를 들어, 상기 시각적 객체(1110)가 갤러리 어플리케이션에 상응하는 단축 아이콘인 경우, 상기 실행 정보는, 상기 갤러리 어플리케이션을 통해 제공되는 기능을 수행할 수 있는 어플리케이션을 지시하는 정보일 수 있다. 상기 실행 정보에 의해 지시되는 어플리케이션은, 외부 전자 장치(201)의 제2 운영 체제 내에서 실행 가능한 복수의 어플리케이션들 중 어느 하나에 상응할 수 있다. 전자 장치(201)의 상기 제2 운영 체제는, 전자 장치(101)의 상기 제1 운영 체제와 서로 상이할 수 있다.According to various embodiments, when the user input corresponds to the drag input, the third signal adds execution information in addition to coordinate values for displaying the pointer 1010 on the display 430 of the external electronic device 201. can include The execution information may be information for indicating an application used to execute a function provided through the visual object 1110 accompanying the pointer 1010 . For example, when the visual object 1110 is a shortcut icon corresponding to a gallery application, the execution information may be information indicating an application capable of performing functions provided through the gallery application. An application indicated by the execution information may correspond to any one of a plurality of applications executable in the second operating system of the external electronic device 201 . The second operating system of the electronic device 201 may be different from the first operating system of the electronic device 101 .
도 11b를 참조하면, 포인터(1010)와 함께 이동되는 시각적 객체(1120)는 문자열일 수 있다. 구체적으로, 상기 문자열은 특정 웹페이지 주소에 상응할 수 있다. 프로세서(310)는 시각적 객체의 유형이 문자열인 경우, 상기 특정 웹페이지 주소를 실행 가능한 어플리케이션을 지시하는 실행 정보를 생성할 수 있다. Referring to FIG. 11B , a visual object 1120 moved together with a pointer 1010 may be a character string. Specifically, the character string may correspond to a specific web page address. When the type of the visual object is a string, the processor 310 may generate execution information indicating an application capable of executing the specific webpage address.
도 11c를 참조하면, 포인터(1130)는 문자열을 입력 가능한 상태임을 나타내는 객체일 수 있다. 예를 들어, 포인터(1010)가 웹페이지의 주소를 입력하기 위한 주소 입력 창 상에 위치하는 경우, 포인터(1130)의 객체의 형상으로 변경될 수 있다. 또한, 포인터(1130)는 문자열 입력이 가능한 상태임을 나타내기 위하여 미리 정의된 간격마다 깜빡일 수 있다. 프로세서(310)는 입력 장치(350)를 통해 문자열의 입력을 수신할 수 있다. 예를 들어, 프로세서(310)는 키보드를 통해 문자열 입력을 수신할 수 있다. 프로세서(310)는 외부 전자 장치(201)의 디스플레이(430) 상에 표시되는 포인터(1130)의 상태에 기반하여, 상기 수신된 문자열 입력을 외부 전자 장치(201)에게 송신할 수 있다. 예를 들어, 프로세서(310)는 외부 전자 장치(201)의 디스플레이(430)의 포인터가 문자열 입력이 가능한 상태임을 나타내는 포인터(1130)인 경우, 사용자가 입력한 상기 문자열 입력은 외부 전자 장치(201)의 문자열 입력을 위한 것으로 식별하고, 상기 수신된 문자열 입력을 외부 전자 장치(201)에게 송신할 수 있다. 이에 따라, 사용자는 마우스 입력 뿐만 아니라, 키보드 입력까지 공유하는 사용자 경험을 제공받을 수 있다.Referring to FIG. 11C , the pointer 1130 may be an object indicating that a character string can be input. For example, when the pointer 1010 is located on an address input window for inputting the address of a web page, the shape of the object of the pointer 1130 may be changed. Also, the pointer 1130 may blink at predefined intervals to indicate that a character string input is possible. The processor 310 may receive an input of a character string through the input device 350 . For example, the processor 310 may receive a string input through a keyboard. The processor 310 may transmit the received string input to the external electronic device 201 based on the state of the pointer 1130 displayed on the display 430 of the external electronic device 201 . For example, the processor 310 determines that when the pointer of the display 430 of the external electronic device 201 is the pointer 1130 indicating that a character string input is possible, the character string input by the user corresponds to the external electronic device 201 ) for string input, and the received string input may be transmitted to the external electronic device 201 . Accordingly, the user may be provided with a user experience of sharing not only mouse input but also keyboard input.
도 12는 다양한 실시예에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다.12 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
도 12를 참조하면, 동작 1210에서, 전자 장치(101)의 프로세서(310)는 외부 전자 장치(201)과 상대적 위치를 식별할 수 있다. 동작 1210은 도 9에 도시된 동작 910 내지 990을 수행하는 것을 포함할 수 있다. 예를 들어, 전자 장치(101)는 상기 식별된 상대적 위치에 기반하여 포인터를 외부 전자 장치(201)의 디스플레이(430)를 향해 이동하기 위한 사용자 입력을 검출할 수 있고, 상기 포인터를 외부 전자 장치(201)의 디스플레이(430) 상에서 표시하기 위한 제3 신호를 외부 전자 장치(201)에게 송신할 수 있다.Referring to FIG. 12 , in operation 1210, the processor 310 of the electronic device 101 may identify the external electronic device 201 and its relative position. Operation 1210 may include performing operations 910 to 990 shown in FIG. 9 . For example, the electronic device 101 may detect a user input for moving a pointer toward the display 430 of the external electronic device 201 based on the identified relative position, and move the pointer to the external electronic device 201. A third signal for display on the display 430 of 201 may be transmitted to the external electronic device 201 .
동작 1220에서, 외부 전자 장치(201)의 프로세서(410)는 임계 값을 초과하는 변위를 검출할 수 있다. 외부 전자 장치(201)는 자이로 센서(미도시) 및 가속도 센서(미도시)를 더 포함할 수 있다. 프로세서(410)는 상기 자이로 센서(미도시) 및 가속도 센서(미도시)의 센싱 값을 수신하여, 외부 전자 장치(201)의 변위 즉, 외부 전자 장치(201)가 이동하였는지 여부를 식별할 수 있다. 상기 센싱 값에 기반하여 검출된 변위의 크기(magnitude)가 임계 값을 초과하는 경우, 외부 전자 장치(201)와 전자 장치(101) 간에 상대적 위치 관계가 변경되었을 가능성이 있기 때문에 상대적 위치 관계를 식별하는 단계를 재차 수행할 수 있다.In operation 1220, the processor 410 of the external electronic device 201 may detect a displacement exceeding a threshold value. The external electronic device 201 may further include a gyro sensor (not shown) and an acceleration sensor (not shown). The processor 410 receives sensing values of the gyro sensor (not shown) and the acceleration sensor (not shown) to identify the displacement of the external electronic device 201, that is, whether the external electronic device 201 moves. there is. When the magnitude of the displacement detected based on the sensing value exceeds the threshold value, the relative positional relationship between the external electronic device 201 and the electronic device 101 may have changed, so the relative positional relationship is identified. The steps can be performed again.
동작 1230에서, 외부 전자 장치(201)의 프로세서(410)는 적어도 하나의 마이크를 활성화할 수 있다. 이 경우, 프로세서(410)는 상대적 위치 관계를 식별하기 위하여 식별 정보를 기 수신하였기 때문에, 상기 식별 정보에 기반하여 적어도 하나의 마이크를 활성화할 수 있다. 예를 들어, 도 8의 동작 1040에서 제1 마이크(451)만 활성화한 경우, 프로세서(410)는 동일하게 제1 마이크(451)만 활성화할 수 있다. 예를 들어, 도 8의 동작 1040에서 제1 마이크(451) 및 제2 마이크(453)를 모두 활성화한 경우, 프로세서(410)는 동일하게 제1 마이크(451) 및 제2 마이크(453)를 모두 활성화할 수 있다.In operation 1230, the processor 410 of the external electronic device 201 may activate at least one microphone. In this case, since the processor 410 has already received identification information to identify the relative positional relationship, it can activate at least one microphone based on the identification information. For example, when only the first microphone 451 is activated in operation 1040 of FIG. 8 , the processor 410 may activate only the first microphone 451 in the same way. For example, when both the first microphone 451 and the second microphone 453 are activated in operation 1040 of FIG. 8 , the processor 410 equally activates the first microphone 451 and the second microphone 453. All can be activated.
동작 1240에서, 외부 전자 장치(201)의 프로세서(410)는 변위 검출을 지시하기 위한 제4 신호를 전자 장치(101)에게 송신할 수 있다. 상기 제4 신호는, 외부 전자 장치(201)가 적어도 일부 이동되었으므로, 상대적 위치 관계를 다시 식별할 필요성이 있으며, 이에 따라 전자 장치(101)의 스피커(360)를 통해 오디오 신호들을 출력할 것을 요청하는 신호일 수 있다.In operation 1240, the processor 410 of the external electronic device 201 may transmit a fourth signal for instructing displacement detection to the electronic device 101. As for the fourth signal, since the external electronic device 201 has moved at least partially, there is a need to identify the relative positional relationship again, and accordingly, a request is made to output audio signals through the speaker 360 of the electronic device 101. It may be a signal that
동작 1250에서, 전자 장치(101)의 프로세서(310)는 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다. 상기 오디오 신호들은, 변위 검출을 지시하기 위한 상기 제4 신호에 응답하여 출력될 수 있다. 예를 들어, 동작 1250은 도 5의 동작 540의 기재에 대응될 수 있다.In operation 1250, the processor 310 of the electronic device 101 may output audio signals on a designated frequency range. The audio signals may be output in response to the fourth signal for instructing displacement detection. For example, operation 1250 may correspond to operation 540 of FIG. 5 .
동작 1260에서, 외부 전자 장치(201)의 프로세서(410)는 외부 전자 장치(201)의 이동에 기반한 전자 장치(101)와 외부 전자 장치(201)의 상대적 위치 관계를 식별할 수 있다. 프로세서(410)는 동작 1250에서 출력된 오디오 신호들을 수신하고, 수신 세기들의 차이에 기반하여 상대적 위치 관계를 식별할 수 있다. 예를 들어, 동작 1260은 도 6a, 도 6b 및 도 7의 기재에 대응될 수 있다.In operation 1260, the processor 410 of the external electronic device 201 may identify a relative positional relationship between the electronic device 101 and the external electronic device 201 based on the movement of the external electronic device 201. The processor 410 may receive the audio signals output in operation 1250 and identify a relative positional relationship based on differences in reception intensities. For example, operation 1260 may correspond to the descriptions of FIGS. 6A, 6B, and 7 .
동작 1270에서, 외부 전자 장치(201)의 프로세서(410)는 상대적 위치 관계를 지시하는 제2 신호를 전자 장치(101)에게 송신할 수 있다. 예를 들어, 동작 1270은 도 8의 동작 1060의 기재에 대응될 수 있다.In operation 1270, the processor 410 of the external electronic device 201 may transmit a second signal indicating a relative positional relationship to the electronic device 101. For example, operation 1270 may correspond to operation 1060 of FIG. 8 .
다양한 실시예들에 따라, 상대적 위치 관계가 변경된 경우, 전자 장치(101)의 프로세서(310)는 변경된 상대적 위치 관계에 기반하여 이벤트 영역(1020)을 다시 설정할 수 있다. 예를 들어, 상대적 위치 관계를 지시하는 제2 신호가 오른쪽에서 왼쪽으로 변경된 경우, 이벤트 영역(예: 이벤트 영역(1020))은 전자 장치(101)의 디스플레이(330)를 형성하는 4개의 가장자리들 중 왼쪽 방향에 상응하는 가장자리를 포함하는 일부 영역으로 변경될 수 있다. According to various embodiments, when the relative positional relationship is changed, the processor 310 of the electronic device 101 may reset the event area 1020 based on the changed relative positional relationship. For example, when the second signal indicating the relative positional relationship is changed from right to left, the event area (eg, the event area 1020) has four edges forming the display 330 of the electronic device 101. may be changed to a partial area including an edge corresponding to the left direction.
도 13은 다양한 실시예에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다.13 is a diagram illustrating signal exchange between an electronic device and an external electronic device according to various embodiments.
도 13을 참조하면, 동작 1310에서, 전자 장치(101)의 프로세서(310)는 외부 전자 장치(201)과 상대적 위치를 식별할 수 있다. 동작 1310은 도 9에 도시된 동작 910 내지 990을 수행하는 것을 포함할 수 있다.Referring to FIG. 13 , in operation 1310, the processor 310 of the electronic device 101 may identify the external electronic device 201 and its relative position. Operation 1310 may include performing operations 910 to 990 shown in FIG. 9 .
동작 1320에서, 전자 장치(101)의 프로세서(310)는 임계 값을 초과하는 변위를 검출할 수 있다. 일 실시예에 따라, 전자 장치(101)는 자이로 센서(미도시) 및 가속도 센서(미도시)를 더 포함할 수 있다. 프로세서(310)는 상기 자이로 센서(미도시) 및 가속도 센서(미도시)의 센싱 값을 수신하여, 전자 장치(101)의 변위 즉, 전자 장치(101)가 이동되었는지 여부를 식별할 수 있다. 상기 센싱 값에 기반하여 검출된 변위의 크기(magnitude)가 임계 값을 초과하는 경우, 전자 장치(101)와 외부 전자 장치(201) 간에 상대적 위치 관계가 변경되었을 가능성이 있기 때문에 상대적 위치 관계를 식별하는 단계를 재차 수행할 수 있다.In operation 1320, the processor 310 of the electronic device 101 may detect a displacement exceeding a threshold value. According to an embodiment, the electronic device 101 may further include a gyro sensor (not shown) and an acceleration sensor (not shown). The processor 310 may receive sensing values of the gyro sensor (not shown) and the acceleration sensor (not shown) to identify the displacement of the electronic device 101, that is, whether the electronic device 101 is moved. When the magnitude of the displacement detected based on the sensing value exceeds the threshold value, the relative positional relationship between the electronic device 101 and the external electronic device 201 may have changed, and thus the relative positional relationship is identified. The steps can be performed again.
동작 1330에서, 전자 장치(101)의 프로세서(310)는 외부 전자 장치(201)에게 마이크 활성화를 지시하기 위한 제5 신호를 송신할 수 있다. 상기 변위 검출에 응답하여, 상대적 위치 관계를 판단하기 위해서, 프로세서(310)는 스피커(360)를 통해 오디오 신호들을 출력할 수 있다. 다만, 외부 전자 장치(201)의 적어도 하나의 마이크가 비활성화 상태인 경우, 상기 오디오 신호들을 출력하더라도 외부 전자 장치(201)의 프로세서(410)가 오디오 신호들의 세기를 측정할 수 없다. 따라서, 전자 장치(101)의 프로세서(310)는 외부 전자 장치(201)에게 적어도 하나의 마이크를 활성화할 것을 지시하는 상기 제5 신호를 송신할 수 있다. 다양한 실시예들에 따라, 제5 신호는, 상기 적어도 하나의 마이크가 활성화되는 시간을 지시하기 위한 구간 정보를 더 포함할 수 있다. 예를 들어, 상기 구간 정보는, 상기 적어도 하나의 마이크가 활성화되는 시간의 시작 및 종료 시점을 각각 지시하는 정보들을 포함할 수 있다. 다른 예를 들어, 상기 구간 정보는, 상기 적어도 하나의 마이크가 활성화되는 시간의 시작 시점과 활성화되는 구간의 길이를 지시하는 정보들을 포함할 수도 있다. In operation 1330, the processor 310 of the electronic device 101 may transmit a fifth signal for instructing the external electronic device 201 to activate the microphone. In response to the displacement detection, in order to determine the relative positional relationship, the processor 310 may output audio signals through the speaker 360. However, when at least one microphone of the external electronic device 201 is in an inactive state, the processor 410 of the external electronic device 201 cannot measure the strength of the audio signals even though the audio signals are output. Accordingly, the processor 310 of the electronic device 101 may transmit the fifth signal instructing the external electronic device 201 to activate at least one microphone. According to various embodiments, the fifth signal may further include interval information for indicating an activation time of the at least one microphone. For example, the interval information may include information indicating start and end times of the time at which the at least one microphone is activated, respectively. For another example, the section information may include information indicating a start point of the time at which the at least one microphone is activated and a length of the section in which the at least one microphone is activated.
동작 1340에서, 외부 전자 장치(201)는 적어도 하나의 마이크를 활성화할 수 있다. 프로세서(410)는 상기 제5 신호를 수신함에 응답하여 상기 적어도 하나의 마이크를 활성화할 수 있다. 예를 들어, 상기 제5 신호는, 상기 적어도 하나의 마이크가 활성화되는 시간을 지시하기 위한 상기 구간 정보를 더 포함할 수 있다. 프로세서(410)는 상기 제5 신호를 디코딩하여 상기 구간 정보를 획득하는 경우, 상기 구간 정보에 의해 지시되는 시간 동안만 상기 적어도 하나의 마이크를 활성화할 수 있다. In operation 1340, the external electronic device 201 may activate at least one microphone. The processor 410 may activate the at least one microphone in response to receiving the fifth signal. For example, the fifth signal may further include the interval information for indicating an activation time of the at least one microphone. When the section information is obtained by decoding the fifth signal, the processor 410 may activate the at least one microphone only for a time indicated by the section information.
동작 1350에서, 전자 장치(101)의 프로세서(310)는 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다. 상기 오디오 신호들은, 변위 검출을 지시하기 위한 상기 제5 신호에 기반하여 출력될 수 있다. 예를 들어, 동작 1350은 도 5의 동작 540의 기재에 대응될 수 있다.In operation 1350, the processor 310 of the electronic device 101 may output audio signals in a designated frequency range. The audio signals may be output based on the fifth signal for instructing displacement detection. For example, operation 1350 may correspond to operation 540 of FIG. 5 .
동작 1360에서, 외부 전자 장치(201)의 프로세서(410)는 상대적 위치 관계를 식별할 수 있다. 프로세서(410)는 동작 1350에서 전자 장치(101)로부터 출력된 오디오 신호들을 수신하고, 수신 세기들의 차이에 기반하여 상대적 위치 관계를 식별할 수 있다. 예를 들어, 동작 1360은 도 6a, 도 6b 및 도 7의 기재에 대응될 수 있다.In operation 1360, the processor 410 of the external electronic device 201 may identify a relative location relationship. The processor 410 may receive the audio signals output from the electronic device 101 in operation 1350 and identify a relative positional relationship based on differences in reception intensities. For example, operation 1360 may correspond to the descriptions of FIGS. 6A, 6B, and 7 .
동작 1370에서, 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)와 외부 전자 장치(201)의 상대적 위치 관계를 지시하는 제2 신호를 전자 장치(101)에게 송신할 수 있다. 예를 들어, 동작 1370은 도 8의 동작 1060의 기재에 대응될 수 있다.In operation 1370, the processor 410 of the external electronic device 201 may transmit a second signal indicating a relative positional relationship between the electronic device 101 and the external electronic device 201 to the electronic device 101. For example, operation 1370 may correspond to operation 1060 of FIG. 8 .
도 14는 다양한 실시예에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다.14 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
도 1 내지 도 13에서 전술한 실시예들은, 전자 장치(101)가 오디오 신호들을 출력하고, 전자 장치(201)가 마이크를 통해 측정된 수신 세기들의 차이에 기반하여 상대적 위치 관계를 결정하는 것을 기준으로 기재되었으나, 이에 제한되는 것은 아니다. 다양한 실시예들에 따라, 전자 장치(201)가 오디오 신호들을 출력하고, 전자 장치(101)가 상기 오디오 신호들을 수신하여 상대적 위치 관계를 식별할 수도 있다.1 to 13 are based on the fact that the electronic device 101 outputs audio signals and the electronic device 201 determines a relative positional relationship based on a difference in received strengths measured through a microphone. , but is not limited thereto. According to various embodiments, the electronic device 201 may output audio signals, and the electronic device 101 may receive the audio signals to identify a relative positional relationship.
도 14를 참조하면, 동작 1410에서, 전자 장치(101)의 프로세서(310)는 외부 전자 장치(201)과 상대적 위치를 식별할 수 있다. 동작 1410은 도 9에 도시된 동작 910 내지 990을 수행하는 것을 포함할 수 있다.Referring to FIG. 14 , in operation 1410, the processor 310 of the electronic device 101 may identify the external electronic device 201 and its relative position. Operation 1410 may include performing operations 910 to 990 shown in FIG. 9 .
동작 1420에서, 외부 전자 장치(201)의 프로세서(410)는 임계 값을 초과하는 변위를 검출할 수 있다. 예를 들면, 동작 1420은 도 12의 동작 1220의 기재에 대응될 수 있다. In operation 1420, the processor 410 of the external electronic device 201 may detect a displacement exceeding a threshold value. For example, operation 1420 may correspond to operation 1220 of FIG. 12 .
동작 1430에서, 외부 전자 장치(201)의 프로세서(410)는 전자 장치(101)에게 마이크 활성화를 지시하기 위한 제5 신호를 송신할 수 있다. 프로세서(410)는 동작 1420에서 외부 전자 장치(201)의 변위를 검출함에 응답하여 외부 전자 장치(201)와 전자 장치(101) 간에 상대적 위치 관계를 다시 식별하기 위하여 상기 제5 신호를 전자 장치(101)에게 송신할 수 있다. In operation 1430, the processor 410 of the external electronic device 201 may transmit a fifth signal for instructing the electronic device 101 to activate the microphone. In response to detecting the displacement of the external electronic device 201 in operation 1420, the processor 410 transmits the fifth signal to the electronic device ( 101) can be sent.
동작 1440에서, 전자 장치(101)의 프로세서(310)는 적어도 하나의 마이크를 활성화할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제3 마이크(미도시) 및 제4 마이크(미도시)를 더 포함할 수 있다. 프로세서(310)는 외부 전자 장치(201)로부터 수신된 제5 신호에 응답하여 적어도 하나의 마이크를 활성화할 수 있다. 예를 들어, 상기 외부 전자 장치의 스피커(미도시)가 듀얼 스피커(381, 383)(예: 도 3의 스피커(360))에 상응하는 경우, 프로세서(310)는 제3 마이크(미도시)만을 활성화할 수 있다. In operation 1440, the processor 310 of the electronic device 101 may activate at least one microphone. According to an embodiment, the electronic device 101 may further include a third microphone (not shown) and a fourth microphone (not shown). The processor 310 may activate at least one microphone in response to a fifth signal received from the external electronic device 201 . For example, when the speakers (not shown) of the external electronic device correspond to the dual speakers 381 and 383 (eg, the speaker 360 of FIG. 3), the processor 310 uses a third microphone (not shown). can only be activated.
다양한 실시예들에 따라, 전자 장치(101)의 프로세서(310)는, 동작 1450에서 활성화된 적어도 하나의 마이크를 통해 지정된 주파수 범위 상의 오디오 신호들을 수신할 수 있다. 동작 1460에서 전자 장치(101)의 프로세서(310)는 상기 오디오 신호들에 대한 수신 세기들의 차이 값에 기반하여 상대적 위치 관계를 식별할 수 있다. 동작 1470에서, 전자 장치(101)의 프로세서(310)는 식별된 상대적 위치 관계를 지시하는 제2 신호를 외부 전자 장치(예: 전자 장치(201))에게 송신할 수 있다. According to various embodiments, the processor 310 of the electronic device 101 may receive audio signals in a specified frequency range through at least one microphone activated in operation 1450 . In operation 1460, the processor 310 of the electronic device 101 may identify a relative positional relationship based on a difference between reception intensities of the audio signals. In operation 1470, the processor 310 of the electronic device 101 may transmit a second signal indicating the identified relative positional relationship to an external electronic device (eg, the electronic device 201).
도 15는 다양한 실시예에 따른 전자 장치와 외부 전자 장치 간에 신호 교환도이다.15 is a signal exchange diagram between an electronic device and an external electronic device according to various embodiments.
도 1 내지 도 13에서 전술한 실시예들은, 전자 장치(101)가 오디오 신호들을 출력하고, 외부 전자 장치(201)가 마이크를 통해 측정된 상기 오디오 신호들에 대한 수신 세기들의 차이에 기반하여 상대적 위치 관계를 결정하는 것을 기준으로 기재되었으나, 이에 제한되는 것은 아니다. 다양한 실시예들에 따라, 외부 전자 장치(201)가 오디오 신호들을 출력하고, 전자 장치(101)가 상기 오디오 신호들을 수신하여 상대적 위치 관계를 식별할 수도 있다.In the embodiments described above with reference to FIGS. 1 to 13 , the electronic device 101 outputs audio signals, and the external electronic device 201 outputs audio signals based on differences in reception intensities of the audio signals measured through a microphone. Although described based on determining the positional relationship, it is not limited thereto. According to various embodiments, the external electronic device 201 may output audio signals, and the electronic device 101 may receive the audio signals to identify a relative positional relationship.
도 15를 참조하면, 동작 1510에서, 전자 장치(101)의 프로세서(310)는 외부 전자 장치(201)과 상대적 위치를 식별할 수 있다. 동작 1410은 도 9에 도시된 동작 910 내지 990을 수행하는 것을 포함할 수 있다.Referring to FIG. 15 , in operation 1510, the processor 310 of the electronic device 101 may identify the external electronic device 201 and its relative position. Operation 1410 may include performing operations 910 to 990 shown in FIG. 9 .
동작 1520에서, 전자 장치(101)의 프로세서(310)는 임계 값을 초과하는 변위를 검출할 수 있다. 전자 장치(101)는 자이로 센서(미도시) 및 가속도 센서(미도시)를 더 포함할 수 있다. 프로세서(310)는 상기 자이로 센서(미도시) 및 가속도 센서(미도시)의 센싱 값을 수신하여, 전자 장치(101)의 변위 즉, 전자 장치(101)가 이동되었는지 여부를 식별할 수 있다. 상기 센싱 값에 기반하여 검출된 변위의 크기가 임계 값을 초과하는 경우, 전자 장치(101)와 외부 전자 장치(201) 간에 상대적 위치 관계가 변경되었을 가능성이 있기 때문에 상대적 위치 관계를 식별하는 단계를 재차 수행할 수 있다.In operation 1520, the processor 310 of the electronic device 101 may detect a displacement exceeding a threshold value. The electronic device 101 may further include a gyro sensor (not shown) and an acceleration sensor (not shown). The processor 310 may receive sensing values of the gyro sensor (not shown) and the acceleration sensor (not shown) to identify the displacement of the electronic device 101, that is, whether the electronic device 101 is moved. When the magnitude of the displacement detected based on the sensing value exceeds the threshold value, identifying the relative positional relationship between the electronic device 101 and the external electronic device 201 may have changed. can be done again.
동작 1530에서, 전자 장치(101)의 프로세서(310)는 적어도 하나의 마이크를 활성화할 수 있다. 상대적 위치 관계를 다시 식별할 때, 외부 전자 장치(201)로부터 출력되는 오디오 신호들을 수신하기 위하여, 상기 적어도 하나의 마이크를 미리 활성화할 수 있다. In operation 1530, the processor 310 of the electronic device 101 may activate at least one microphone. When the relative positional relationship is identified again, the at least one microphone may be activated in advance in order to receive audio signals output from the external electronic device 201 .
동작 1540에서, 전자 장치(101)의 프로세서(310)는 상기 적어도 하나의 마이크를 활성화 완료함에 응답하여 변위 검출을 지시하기 위한 제4 신호를 외부 전자 장치(201)에게 송신할 수 있다. 동작 1550에서, 외부 전자 장치(201)의 프로세서(410)는 상기 제4 신호의 수신에 응답하여 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다. In operation 1540, the processor 310 of the electronic device 101 may transmit a fourth signal for instructing displacement detection to the external electronic device 201 in response to completing activation of the at least one microphone. In operation 1550, the processor 410 of the external electronic device 201 may output audio signals in a designated frequency range in response to receiving the fourth signal.
동작 1560에서, 전자 장치(101)의 프로세서(310)는 상기 적어도 하나의 마이크를 통해 상기 오디오 신호들을 수신하여, 각각의 수신 세기를 측정하고, 수신 세기들의 차이에 기반하여 상대적 위치 관계를 식별할 수 있다. 이후, 동작 1570에서, 전자 장치(101)의 프로세서(310)는 식별된 상대적 위치 관계를 외부 전자 장치(201)에게 알리기 위하여 외부 전자 장치(201)에게 제2 신호를 송신할 수 있다. In operation 1560, the processor 310 of the electronic device 101 receives the audio signals through the at least one microphone, measures reception strengths of each, and identifies a relative positional relationship based on a difference between the reception strengths. can Then, in operation 1570, the processor 310 of the electronic device 101 may transmit a second signal to the external electronic device 201 to inform the external electronic device 201 of the identified relative positional relationship.
도 16a는 다양한 실시예에 따른 전자 장치와 제1 외부 전자 장치 및 제2 외부 전자 장치를 포함하는 무선 환경의 예를 도시하고, 도 16b는 전자 장치와 제1 외부 전자 장치 및 제2 외부 전자 장치의 신호 교환도를 도시한다.16A illustrates an example of a wireless environment including an electronic device, a first external electronic device, and a second external electronic device according to various embodiments, and FIG. 16B illustrates an electronic device, a first external electronic device, and a second external electronic device. shows the signal exchange diagram of
도 16a를 참조하면, 무선 환경(200)은 전자 장치(101), 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)를 포함할 수 있다. 일 실시예에 따라, 전자 장치(101)의 좌우 방향으로 각각 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)가 배치될 수 있다. 예를 들어, 제1 외부 전자 장치(201)는 사용자의 스마트폰일 수 있고, 제2 외부 전자 장치(202)는 사용자의 태블릿일 수 있다. Referring to FIG. 16A , a wireless environment 200 may include an electronic device 101 , a first external electronic device 201 and a second external electronic device 202 . According to an embodiment, the first external electronic device 201 and the second external electronic device 202 may be disposed in the left and right directions of the electronic device 101, respectively. For example, the first external electronic device 201 may be a user's smart phone, and the second external electronic device 202 may be a user's tablet.
도 16b를 참조하면, 동작 1610에서, 전자 장치(101)의 프로세서(310)는 식별 정보를 포함하는 제1 신호를 방송할 수 있다. 상기 식별 정보는, 전자 장치(101)의 스피커(360)의 사양(spec)을 지시하기 위한 정보를 포함할 수 있다. 예를 들어, 상기 식별 정보는, 전자 장치(101)의 스피커(360)가 단일 스피커(370)(예: 도 3의 스피커(360))인지 또는 듀얼 스피커(381, 383)(예: 도 3의 스피커(360))인지 지시하기 위한 1 비트를 포함할 수 있다. 일 실시예에 따라, 상기 제1 신호는, 자기장 신호, BLE의 애드버타이징 신호, 또는 무선 액세스 포인트(access point)의 식별자를 포함하는 신호 중 적어도 하나에 상응할 수 있다.Referring to FIG. 16B , in operation 1610, the processor 310 of the electronic device 101 may broadcast a first signal including identification information. The identification information may include information for indicating a specification of the speaker 360 of the electronic device 101 . For example, the identification information may determine whether the speaker 360 of the electronic device 101 is a single speaker 370 (eg, the speaker 360 of FIG. 3) or dual speakers 381 and 383 (eg, the speaker 360 of FIG. 3). It may include 1 bit for indicating whether the speaker 360 of the According to an embodiment, the first signal may correspond to at least one of a magnetic field signal, a BLE advertising signal, or a signal including an identifier of a wireless access point.
동작 1620 및 동작 1625에서, 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202) 각각은, 전자 장치(101)가 기준 거리 내에 위치함을 식별하고, 적어도 하나의 마이크를 활성화할 수 있다. 외부 전자 장치들(201, 202)은 상기 식별 정보를 포함하는 상기 제1 신호를 수신함에 기반하여, 전자 장치(101)가 상기 기준 거리(예를 들어, 회의실과 같은 밀폐된 공간) 내에 포함되는 것을 식별할 수 있다. 외부 전자 장치들(201, 202)은 상기 식별에 기반하여, 전자 장치(101)로부터 방송될 오디오 신호들을 수신하기 위한 적어도 하나의 마이크를 활성화할 수 있다.In operations 1620 and 1625, each of the first external electronic device 201 and the second external electronic device 202 may identify that the electronic device 101 is located within a reference distance and activate at least one microphone. there is. The external electronic devices 201 and 202 determine whether the electronic device 101 is included within the reference distance (eg, an enclosed space such as a conference room) based on receiving the first signal including the identification information. that can be identified. Based on the identification, the external electronic devices 201 and 202 may activate at least one microphone for receiving audio signals to be broadcast from the electronic device 101 .
동작 1630 및 동작 1635에서, 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202) 각각은, 상기 제1 신호에 대한 응답 신호를 전자 장치(101)에게 송신할 수 있다. 상기 응답 신호는, 전자 장치(101)로부터 방송된 상기 제1 신호가 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)에 의해 성공적으로 수신되었음을 알리기 위한 신호일 수 있다. In operations 1630 and 1635, each of the first external electronic device 201 and the second external electronic device 202 may transmit a response signal to the first signal to the electronic device 101. The response signal may be a signal for notifying that the first external electronic device 201 and the second external electronic device 202 have successfully received the first signal broadcasted from the electronic device 101 .
동작 1640에서, 전자 장치(101)는 식별 정보에 기반하여 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다. 예를 들어, 전자 장치(101)는 상기 식별 정보에 포함된 전자 장치(101)의 스피커(360)의 사양에 정합하도록 미리 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다.In operation 1640, the electronic device 101 may output audio signals in a designated frequency range based on the identification information. For example, the electronic device 101 may output audio signals in a frequency range previously designated to match the specifications of the speaker 360 of the electronic device 101 included in the identification information.
동작 1650 및 동작 1655에서, 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202) 각각은, 상기 미리 지정된 주파수 범위 상의 오디오 신호들에 기반하여 상대적 위치 관계를 식별할 수 있다. 예를 들어, 전자 장치(101)는 단일 스피커(370)(예: 도 3의 스피커(360))를 통해 상기 미리 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다. 도 16a를 함께 참조하면, 제1 외부 전자 장치(201)는 복수의 마이크들을 활성화하여 상기 미리 지정된 주파수 범위 상의 오디오 신호들의 수신 세기들을 각각 식별할 수 있다. 제1 외부 전자 장치(201)는 복수의 마이크들 각각을 통해 식별된 수신 세기들의 차이에 기반하여 전자 장치(101)가 제1 외부 전자 장치(201)의 오른쪽에 위치함을 식별할 수 있다. 도 16a를 함께 참조하면, 제2 외부 전자 장치(202)는 복수의 마이크들 각각을 통해 식별된 수신 세기들의 차이에 기반하여 전자 장치(101)가 제2 외부 전자 장치(202)의 왼쪽에 위치함을 식별할 수 있다.In operations 1650 and 1655, each of the first external electronic device 201 and the second external electronic device 202 may identify a relative positional relationship based on audio signals in the predetermined frequency range. For example, the electronic device 101 may output audio signals in the predetermined frequency range through a single speaker 370 (eg, the speaker 360 of FIG. 3 ). Referring to FIG. 16A together, the first external electronic device 201 may activate a plurality of microphones to identify reception intensities of audio signals in the predetermined frequency range, respectively. The first external electronic device 201 may identify that the electronic device 101 is located on the right side of the first external electronic device 201 based on the difference in reception intensities identified through each of the plurality of microphones. Referring to FIG. 16A together, the second external electronic device 202 determines that the electronic device 101 is positioned to the left of the second external electronic device 202 based on differences in reception strengths identified through each of the plurality of microphones. can be identified.
동작 1660 및 동작 1665에서, 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)는 상기 식별된 위치 관계를 지시하는 제2 신호를 전자 장치(101)에게 송신할 수 있다. 예를 들어, 제1 외부 전자 장치(201)로부터 수신된 제2 신호가 지시하는 방향과 제2 외부 전자 장치(202)로부터 수신된 제2 신호가 지시하는 방향은 서로 반대 방향일 수 있다. 도 18을 함께 참조하면, 전자 장치(101)의 프로세서(310)는 제2 신호의 수신에 응답하여 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)를 제어 가능함을 사용자에게 알리기 위한 팝업 윈도우(1800)를 디스플레이(330)상에 표시할 수 있다. 동작 1670에서, 전자 장치(101)는 외부 전자 장치(예: 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202))와 통신 링크를 수립할 수 있다. In operations 1660 and 1665, the first external electronic device 201 and the second external electronic device 202 may transmit a second signal indicating the identified positional relationship to the electronic device 101. For example, a direction indicated by the second signal received from the first external electronic device 201 and a direction indicated by the second signal received from the second external electronic device 202 may be opposite to each other. Referring to FIG. 18 together, the processor 310 of the electronic device 101 notifies the user that the first external electronic device 201 and the second external electronic device 202 can be controlled in response to receiving the second signal. A pop-up window 1800 for display may be displayed on the display 330 . In operation 1670, the electronic device 101 may establish a communication link with external electronic devices (eg, the first external electronic device 201 and the second external electronic device 202).
동작 1680에서, 전자 장치(101)는 포인터를 제1 외부 전자 장치(201)의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이(330)의 가장자리들 중 제1 외부 전자 장치(201)를 향하는 방향에 상응하는 가장자리의 적어도 일부 영역을 이벤트 영역으로 설정할 수 있다. 전자 장치(101)는 사용자 입력에 상응하는 포인터가 상기 이벤트 영역에 진입하고, 수평 방향으로 미리 정의된 값을 초과하여 이동되는 경우, 제1 외부 전자 장치(201)의 디스플레이를 향해 이동하기 위한 사용자 입력이 검출되었음을 식별할 수 있다. 전자 장치(101)는 상기 검출된 사용자 입력에 기반하여, 상기 포인터를 제1 외부 전자 장치(201)의 디스플레이 상에 표시하기 위한 제3 신호를 제1 외부 전자 장치(201)에게 송신할 수 있다.In operation 1680, the electronic device 101 may detect a user input for moving the pointer toward the display of the first external electronic device 201. For example, the electronic device 101 may set at least a partial area of an edge corresponding to a direction toward the first external electronic device 201 among edges of the display 330 as an event area. The electronic device 101 is a user for moving toward the display of the first external electronic device 201 when a pointer corresponding to a user input enters the event area and moves in a horizontal direction exceeding a predefined value. It can identify that an input has been detected. The electronic device 101 may transmit a third signal for displaying the pointer on the display of the first external electronic device 201 to the first external electronic device 201 based on the detected user input. .
동작 1690에서, 전자 장치(101)는 포인터를 제2 외부 전자 장치(202)의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이(330)의 가장자리들 중 제2 외부 전자 장치(202)를 향하는 방향에 상응하는 가장자리의 적어도 일부 영역을 이벤트 영역으로 설정할 수 있다. 전자 장치(101)는 사용자 입력에 상응하는 포인터가 상기 이벤트 영역에 진입하고, 수평 방향으로 미리 정의된 값을 초과하여 이동되는 경우, 제2 외부 전자 장치(202)의 디스플레이를 향해 이동하기 위한 사용자 입력이 검출되었음을 식별할 수 있다. 전자 장치(101)는 상기 검출된 사용자 입력에 기반하여, 상기 포인터를 제2 외부 전자 장치(102)의 디스플레이 상에 표시하기 위한 제3 신호를 제2 외부 전자 장치(202)에게 송신할 수 있다.In operation 1690, the electronic device 101 may detect a user input for moving the pointer toward the display of the second external electronic device 202. For example, the electronic device 101 may set at least a partial area of an edge corresponding to a direction toward the second external electronic device 202 among edges of the display 330 as an event area. The electronic device 101 is a user for moving toward the display of the second external electronic device 202 when the pointer corresponding to the user input enters the event area and moves horizontally beyond a predefined value. It can identify that an input has been detected. The electronic device 101 may transmit a third signal for displaying the pointer on the display of the second external electronic device 102 to the second external electronic device 202 based on the detected user input. .
미 도시되었으나, 다양한 실시예들에 따라, 동작 1650, 동작 1655에서 상대적 위치 관계를 식별한 이후에, 전자 장치(101), 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202) 중 적어도 하나의 장치는 이동될 수 있다. Although not shown, according to various embodiments, after identifying a relative positional relationship in operations 1650 and 1655, among the electronic device 101, the first external electronic device 201, and the second external electronic device 202 At least one device may be mobile.
일 실시예에 따라, 전자 장치(101)는 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)와 각각 상대적 위치 관계를 식별한 이후에, 임계 값을 초과하는 변위를 검출할 수 있다. 상기 임계 값을 초과하는 변위가 검출된 경우, 전자 장치(101)는 동작 1650, 동작 1655에서 획득한 상대적 위치 관계가 유효하지 않다고 판단할 수 있다. 따라서, 전자 장치(101)는 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)와의 상대적 위치 관계를 식별하기 위한 동작을 다시 수행할 수 있다. 예를 들어, 전자 장치(101)는 동작 1640으로 회귀하여 지정된 주파수 범위 상의 오디오 신호들을 다시 방송할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 외부 전자 장치(201), 및 제2 외부 전자 장치(202)로 적어도 하나의 마이크를 활성화하는 요청을 송신할 수 있다. 다른 예를 들어, 전자 장치(101)를 통해 검출된 변위의 크기가 매우 큰 경우, 전자 장치(101)는 제1 외부 전자 장치(201), 및 제2 외부 전자 장치(202)와 더 이상 동일한 공간에 위치하지 않을 수도 있다. 따라서, 전자 장치(101)는 검출된 변위의 크기가 매우 큰 경우, 식별 정보를 포함하는 제1 신호를 방송하는 동작 1610을 재차 수행할 수도 있다.According to an embodiment, the electronic device 101 may detect a displacement exceeding a threshold value after identifying relative positional relationships with the first external electronic device 201 and the second external electronic device 202, respectively. there is. When a displacement exceeding the threshold value is detected, the electronic device 101 may determine that the relative positional relationship obtained in operations 1650 and 1655 is not valid. Accordingly, the electronic device 101 may perform an operation for identifying the relative positional relationship with the first external electronic device 201 and the second external electronic device 202 again. For example, the electronic device 101 may return to operation 1640 and broadcast audio signals on a designated frequency range again. According to an embodiment, the electronic device 101 may transmit a request to activate at least one microphone to the first external electronic device 201 and the second external electronic device 202 . For another example, when the magnitude of the displacement detected through the electronic device 101 is very large, the electronic device 101 is no longer identical to the first external electronic device 201 and the second external electronic device 202. It may not be located in space. Accordingly, when the magnitude of the detected displacement is very large, the electronic device 101 may perform operation 1610 of broadcasting the first signal including the identification information again.
일 실시예에 따라, 제1 외부 전자 장치(201) 또는 제2 외부 전자 장치(202)는 전자 장치(101)와 상대적 위치 관계를 식별한 이후에, 임계 값을 초과하는 변위를 검출할 수 있다. 예를 들어, 제1 외부 전자 장치(201)는 동작 1650에서 전자 장치(101)와 제1 외부 전자 장치(201)의 상대적 위치 관계를 식별하고, 동작 1660을 통해 전자 장치(101)에게 상대적 위치 관계를 지시하는 제2 신호를 송신한 이후에, 임계 값을 초과하는 변위를 검출할 수 있다. 상기 임계 값을 초과하는 변위가 검출된 경우, 제1 외부 전자 장치(201)는 동작 1650에서 획득한 상대적 위치 관계가 유효하지 않다고 판단할 수 있다. 따라서, 제1 외부 전자 장치(201)는 전자 장치(101)와 상대적 위치 관계를 식별하기 위한 동작을 다시 수행할 수 있다. 예를 들어, 제1 외부 전자 장치(201)는 전자 장치(101)에게 동작 1640의 지정된 주파수 범위 상의 오디오 신호들을 출력해줄 것을 요청하는 신호를 전자 장치(101)에게 송신할 수 있다. 예를 들어, 상기 지정된 주파수 범위 상의 오디오 신호들을 출력해줄 것을 요청하는 상기 신호는, 도 12의 동작 1240을 통해 전자 장치(101)에게 송신되는 변위 검출을 지시하기 위한 제4 신호일 수 있다. 전자 장치(101)는 제1 외부 전자 장치(201)로부터 상기 신호를 수신함에 응답하여, 상기 지정된 주파수 범위 상의 오디오 신호들을 다시 출력할 수 있다. 이 때, 제2 외부 전자 장치(202)는 적어도 하나의 마이크를 비활성화한 상태일 수 있다. 제1 외부 전자 장치(201)는 전자 장치(101)로부터 출력된 상기 지정된 주파수 범위 상의 오디오 신호들에 기반하여 상대적 위치 관계를 다시 식별할 수 있다.According to an embodiment, the first external electronic device 201 or the second external electronic device 202 may detect a displacement exceeding a threshold value after identifying a relative positional relationship with the electronic device 101. . For example, the first external electronic device 201 identifies the relative positional relationship between the electronic device 101 and the first external electronic device 201 in operation 1650, and the relative position to the electronic device 101 through operation 1660. After transmitting the second signal indicating the relationship, a displacement exceeding a threshold value may be detected. When a displacement exceeding the threshold value is detected, the first external electronic device 201 may determine that the relative positional relationship obtained in operation 1650 is not valid. Accordingly, the first external electronic device 201 may perform an operation for identifying the relative positional relationship with the electronic device 101 again. For example, the first external electronic device 201 may transmit a signal requesting the electronic device 101 to output audio signals in a designated frequency range in operation 1640 to the electronic device 101 . For example, the signal for requesting output of audio signals in the specified frequency range may be a fourth signal for instructing displacement detection transmitted to the electronic device 101 through operation 1240 of FIG. 12 . In response to receiving the signal from the first external electronic device 201, the electronic device 101 may output audio signals over the specified frequency range again. At this time, the second external electronic device 202 may be in a state of inactivating at least one microphone. The first external electronic device 201 may re-identify the relative positional relationship based on the audio signals in the specified frequency range output from the electronic device 101 .
일 실시예에 따라, 동작 1680에서 전자 장치(101)는 디스플레이(330)의 가장자리들 중 제1 외부 전자 장치(201)를 향하는 방향에 상응하는 가장자리의 적어도 일부 영역을 이벤트 영역으로 설정하고, 사용자 입력에 상응하는 포인터가 상기 이벤트 영역에 진입하고, 수평 방향으로 미리 정의된 값을 초과하여 이동되는 경우, 제1 외부 전자 장치(201)의 디스플레이를 향해 이동하기 위한 사용자 입력이 검출되었음을 식별하는 것으로 기재되었으나, 이에 제한되는 것은 아니다. 예를 들어, 전자 장치(101)는 제2 외부 전자 장치(202)의 디스플레이 상에서 우측 가장자리를 지나가는(surpass) 입력을 검출하는 것에 응답하여, 제1 외부 전자 장치(201)의 디스플레이를 향해 이동하기 위한 사용자 입력을 식별할 수도 있다. 예를 들어, 전자 장치(101)는 제2 외부 전자 장치(202)의 디스플레이 상에서 우측 가장자리를 지나가는 입력에 응답하여 제1 외부 전자 장치(201)의 좌측 가장자리에 포인터를 표시할 수 있다.According to an embodiment, in operation 1680, the electronic device 101 sets at least a partial area of an edge corresponding to a direction toward the first external electronic device 201 among edges of the display 330 as an event area, and the user When the pointer corresponding to the input enters the event area and moves horizontally beyond a predefined value, it is identified that a user input for moving toward the display of the first external electronic device 201 has been detected. described, but is not limited thereto. For example, the electronic device 101 moves toward the display of the first external electronic device 201 in response to detecting an input that passes a right edge on the display of the second external electronic device 202. You can also identify user input for For example, the electronic device 101 may display a pointer on the left edge of the first external electronic device 201 in response to an input passing through the right edge on the display of the second external electronic device 202 .
일 실시예에 따라, 동작 1690에서 전자 장치(101)는 디스플레이(330)의 가장자리들 중 제2 외부 전자 장치(202)를 향하는 방향에 상응하는 가장자리의 적어도 일부 영역을 이벤트 영역으로 설정하고, 사용자 입력에 상응하는 포인터가 상기 이벤트 영역에 진입하고, 수평 방향으로 미리 정의된 값을 초과하여 이동되는 경우, 제2 외부 전자 장치(202)의 디스플레이를 향해 이동하기 위한 사용자 입력이 검출되었음을 식별하는 것으로 기재되었으나, 이에 제한되는 것은 아니다. 예를 들어, 전자 장치(101)는 제1 외부 전자 장치(201)의 디스플레이 상에서 좌측 가장자리를 지나가는(surpass) 입력을 검출하는 것에 응답하여, 제2 외부 전자 장치(202)의 디스플레이를 향해 이동하기 위한 사용자 입력을 식별할 수도 있다. 예를 들어, 전자 장치(101)는 제1 외부 전자 장치(201)의 디스플레이 상에서 좌측 가장자리를 지나가는 입력에 응답하여 제2 외부 전자 장치(202)의 우측 가장자리에 포인터를 표시할 수 있다.According to an embodiment, in operation 1690, the electronic device 101 sets at least a partial area of an edge corresponding to a direction toward the second external electronic device 202 among edges of the display 330 as an event area, and the user When the pointer corresponding to the input enters the event area and moves horizontally beyond a predefined value, it is identified that a user input for moving toward the display of the second external electronic device 202 has been detected. described, but is not limited thereto. For example, the electronic device 101 moves toward the display of the second external electronic device 202 in response to detecting an input that passes a left edge on the display of the first external electronic device 201. You can also identify user input for For example, the electronic device 101 may display a pointer on the right edge of the second external electronic device 202 in response to an input passing through the left edge on the display of the first external electronic device 201 .
도 17a는 다양한 실시예에 따른 전자 장치와 제1 외부 전자 장치 및 제2 외부 전자 장치를 포함하는 무선 환경의 예를 도시하고, 도 17b는 전자 장치와 제1 외부 전자 장치 및 제2 외부 전자 장치의 신호 교환도를 도시한다.17A illustrates an example of a wireless environment including an electronic device, a first external electronic device, and a second external electronic device according to various embodiments, and FIG. 17B illustrates an electronic device, a first external electronic device, and a second external electronic device. shows the signal exchange diagram of
도 17a를 참조하면, 무선 환경(200)은 전자 장치(101), 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)를 포함할 수 있다. 일 실시예에 따라, 전자 장치(101)의 일 방향으로 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)가 배치될 수 있다. 예를 들어, 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)는 모두 전자 장치(101)의 왼쪽에 위치할 수 있다. 또한, 제2 외부 전자 장치(202)는 제1 외부 전자 장치(201)의 왼쪽에 위치할 수 있다. Referring to FIG. 17A , a wireless environment 200 may include an electronic device 101 , a first external electronic device 201 and a second external electronic device 202 . According to an embodiment, the first external electronic device 201 and the second external electronic device 202 may be disposed in one direction of the electronic device 101 . For example, both the first external electronic device 201 and the second external electronic device 202 may be located on the left side of the electronic device 101 . Also, the second external electronic device 202 may be positioned to the left of the first external electronic device 201 .
도 17b를 참조하면, 동작 1710에서, 전자 장치(101)는 식별 정보에 기반하여 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다. 동작 1710은 도 16b의 동작 1640에 상응할 수 있다.Referring to FIG. 17B , in operation 1710, the electronic device 101 may output audio signals in a designated frequency range based on identification information. Operation 1710 may correspond to operation 1640 of FIG. 16B.
동작 1720 및 동작 1725에서, 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202) 각각은, 상기 미리 지정된 주파수 범위 상의 오디오 신호들에 기반하여 상대적 위치 관계를 식별할 수 있다. 동작 1720 및 동작 1725은, 도 16b에 도시된 동작 1650 및 동작 1655에 각각 상응할 수 있다. 일 실시예에 따라, 제1 외부 전자 장치(201)로부터 수신된 제2 신호가 지시하는 방향과 제2 외부 전자 장치(202)로부터 수신된 제2 신호가 지시하는 방향은 서로 동일할 수 있다. 예를 들어, 외부 전자 장치들(201, 202)이 각각 송신한 제2 신호들은 모두 왼쪽을 지시할 수 있다.In operations 1720 and 1725, each of the first external electronic device 201 and the second external electronic device 202 may identify a relative positional relationship based on audio signals in the predetermined frequency range. Operations 1720 and 1725 may correspond to operations 1650 and 1655 shown in FIG. 16B , respectively. According to an embodiment, a direction indicated by the second signal received from the first external electronic device 201 and a direction indicated by the second signal received from the second external electronic device 202 may be the same. For example, all of the second signals transmitted by the external electronic devices 201 and 202 may indicate the left side.
동작 1740에서, 전자 장치(101)는 외부 전자 장치들(201, 202) 간에 상대적 위치를 식별할 수 있다. 전자 장치(101)는 제1 외부 전자 장치(201)로부터 수신된 제2 신호가 지시하는 방향과 제2 외부 전자 장치(202)로부터 수신된 제2 신호가 지시하는 방향이 일치하므로, 제1 외부 전자 장치(201)와 제2 외부 전자 장치(202)는 동일한 방향에 위치하는 것을 식별할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제2 신호의 수신 세기를 각각 계산하고, 상기 계산된 제2 신호의 세기에 기반하여 제1 외부 전자 장치(201)와 제2 외부 전자 장치(202)의 상대적 위치를 결정할 수 있다. 예를 들어, 제1 외부 전자 장치(201)로부터 수신된 제2 신호의 수신 세기가 제2 외부 전자 장치(202)로부터 수신된 제2 신호의 수신 세기보다 큰 경우, 전자 장치(101)는 제1 외부 전자 장치(201)가 제2 외부 전자 장치(202)보다 전자 장치(101)에 더 가깝게 위치함을 식별할 수 있다. 도 18을 함께 참조하면, 전자 장치(101)의 프로세서(310)는 제2 신호의 수신에 응답하여 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202)를 제어 가능함을 사용자에게 알리기 위한 팝업 윈도우(1800)를 디스플레이(330)상에 표시할 수 있다. 동작 1750에서, 전자 장치(101)는 외부 전자 장치(예: 제1 외부 전자 장치(201) 및 제2 외부 전자 장치(202))와 통신 링크를 수립할 수 있다. In operation 1740, the electronic device 101 may identify relative positions between the external electronic devices 201 and 202. In the electronic device 101, since the direction indicated by the second signal received from the first external electronic device 201 coincides with the direction indicated by the second signal received from the second external electronic device 202, the first external electronic device 101 It may be identified that the electronic device 201 and the second external electronic device 202 are located in the same direction. According to an embodiment, the electronic device 101 calculates reception strengths of the second signals, and the first external electronic device 201 and the second external electronic device 202 are configured based on the calculated strengths of the second signals. ) can determine the relative position of For example, when the reception strength of the second signal received from the first external electronic device 201 is greater than the reception strength of the second signal received from the second external electronic device 202, the electronic device 101 It may be identified that the first external electronic device 201 is located closer to the electronic device 101 than the second external electronic device 202 . Referring to FIG. 18 together, the processor 310 of the electronic device 101 notifies the user that the first external electronic device 201 and the second external electronic device 202 can be controlled in response to receiving the second signal. A pop-up window 1800 for display may be displayed on the display 330 . In operation 1750, the electronic device 101 may establish a communication link with external electronic devices (eg, the first external electronic device 201 and the second external electronic device 202).
동작 1760에서, 전자 장치(101)는 포인터를 제1 외부 전자 장치(201)의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이(330)의 가장자리들 중 제1 외부 전자 장치(201)를 향하는 방향에 상응하는 왼쪽 가장자리의 적어도 일부 영역을 이벤트 영역으로 설정할 수 있다. 전자 장치(101)는 사용자 입력에 상응하는 포인터가 상기 이벤트 영역에 진입하고, 왼쪽 방향으로 미리 정의된 값을 초과하여 이동되는 경우, 제1 외부 전자 장치(201)의 디스플레이를 향해 이동하기 위한 사용자 입력이 검출되었음을 식별할 수 있다. 동작 1765에서, 전자 장치(101)는 상기 검출된 사용자 입력에 기반하여, 상기 포인터를 제1 외부 전자 장치(201)의 디스플레이 상에 표시하기 위한 제3 신호를 제1 외부 전자 장치(201)에게 송신할 수 있다.In operation 1760, the electronic device 101 may detect a user input for moving the pointer toward the display of the first external electronic device 201. For example, the electronic device 101 may set at least a partial area of a left edge corresponding to a direction toward the first external electronic device 201 among edges of the display 330 as an event area. The electronic device 101 is a user for moving toward the display of the first external electronic device 201 when the pointer corresponding to the user input enters the event area and moves leftward beyond a predefined value. It can identify that an input has been detected. In operation 1765, the electronic device 101 transmits a third signal for displaying the pointer on the display of the first external electronic device 201 to the first external electronic device 201 based on the detected user input. can be sent
동작 1770에서, 전자 장치(101)는 포인터가 제1 외부 전자 장치(201)의 디스플레이로부터 제2 외부 전자 장치(202)의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출할 수 있다. 예를 들어, 전자 장치(101)는 제1 외부 전자 장치(201)의 디스플레이 상에서 포인터를 이동하는 사용자 입력을 수신하여, 상기 수신된 사용자 입력을 포함하는 제3 신호를 지속적으로 제1 외부 전자 장치(201)에게 송신할 수 있다. 제1 외부 전자 장치(201)의 디스플레이 크기를 고려하여, 상기 사용자 입력이 제1 외부 전자 장치(201)의 왼쪽 가장자리를 포함하는 적어도 일부 영역을 진입하는지 식별할 수 있다. 전자 장치(101)는 사용자 입력에 상응하는 포인터가 제1 외부 전자 장치(201)의 디스플레이 상에 설정된 상기 적어도 일부 영역에 진입하는 것을 식별하고, 제2 외부 전자 장치(202)에 상응하는 왼쪽 방향으로 미리 정의된 값을 초과하여 이동되는 경우, 제1 외부 전자 장치(201)의 디스플레이로부터 제2 외부 전자 장치(202)의 디스플레이를 향해 이동하기 위한 사용자 입력이 검출되었음을 식별할 수 있다. 또 다른 예를 들어, 전자 장치(101)는 사용자 입력에 상응하는 포인터가 제1 외부 전자 장치(201)의 디스플레이 상에 설정된 상기 적어도 일부 영역에 진입하는 것을 식별하고, 상기 포인터가 상기 진입 위치로부터 미리 지정된 각도를 초과(예를 들어, 왼쪽 가장자리 하단 또는 왼쪽 가장자리 상단)하여 이동하는 것을 식별함에 응답하여, 제1 외부 전자 장치(201)의 디스플레이로부터 제2 외부 전자 장치(202)의 디스플레이를 향해 이동하기 위한 사용자 입력이 검출되었음을 식별할 수 있다. 동작 1775에서, 전자 장치(101)는 상기 검출된 사용자 입력에 기반하여, 상기 포인터를 제2 외부 전자 장치(202)의 디스플레이 상에 표시하기 위한 제3 신호를 제2 외부 전자 장치(202)에게 송신할 수 있다.In operation 1770, the electronic device 101 may detect a user input for moving the pointer from the display of the first external electronic device 201 toward the display of the second external electronic device 202. For example, the electronic device 101 receives a user input for moving a pointer on the display of the first external electronic device 201, and continuously transmits a third signal including the received user input to the first external electronic device 201. (201). In consideration of the display size of the first external electronic device 201 , it may be identified whether the user input enters at least a partial area including the left edge of the first external electronic device 201 . The electronic device 101 identifies that the pointer corresponding to the user input enters the at least partial area set on the display of the first external electronic device 201, and the left direction corresponding to the second external electronic device 202. When the movement exceeds a predefined value as , it may be identified that a user input for moving from the display of the first external electronic device 201 toward the display of the second external electronic device 202 is detected. For another example, the electronic device 101 identifies that the pointer corresponding to the user input enters the at least partial area set on the display of the first external electronic device 201, and the pointer moves from the entry position. In response to identifying the movement beyond a predetermined angle (eg, lower left edge or upper left edge), from the display of the first external electronic device 201 toward the display of the second external electronic device 202 It may be identified that a user input for moving is detected. In operation 1775, the electronic device 101 sends a third signal for displaying the pointer on the display of the second external electronic device 202 to the second external electronic device 202 based on the detected user input. can be sent
본 문서에서 이루고자 하는 기술적 과제는, 복수의 전자 장치들 간에 입력 장치를 공유하는 이벤트 발생 시, 상기 복수의 전자 장치들 간의 위치 관계에 대한 사용자 입력을 수신하지 않더라도 자동적으로 상기 복수의 전자 장치들 간의 위치 관계를 반영하는 것에 있다.The technical problem to be achieved in this document is that when an event of sharing an input device between a plurality of electronic devices occurs, even if a user input for a positional relationship between the plurality of electronic devices is not received, the plurality of electronic devices are automatically connected to each other. It is in reflecting the positional relationship.
상술한 바와 같은 일 실시예에 따른 전자 장치(electronic device)(예: 도 3의 전자 장치(101))는, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리(예: 도 3의 메모리(320)), 적어도 하나의 프로세서(예: 도 3의 프로세서(310)), 적어도 하나의 입력 장치(예: 도 3의 입력 장치(350)), 디스플레이(예: 도 3의 디스플레이(330)), 적어도 하나의 스피커(예: 도 3의 스피커(360)) 및 통신 회로(예: 도 3의 통신 회로(340))를 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 통신 회로를 통해, 상기 전자 장치의 식별 정보를 포함하는 제1 신호를 방송하고, 외부 전자 장치로부터, 상기 제1 신호에 대한 응답 신호를 수신하는 것에 기반하여, 상기 전자 장치로부터 기준 거리 이내에 상기 외부 전자 장치가 위치됨을 식별하고, 상기 식별에 응답하여, 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하고, 상기 오디오 신호들의 적어도 일부에 기반하여 식별되고 상기 디스플레이와 상기 외부 전자 장치의 디스플레이 사이의 상대적 위치 관계를 지시하기 위한 제2 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고, 상기 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해, 상기 외부 전자 장치에게 송신하도록 구성될 수 있다. 일 실시예에 따른, 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체는, 사용자가 전자 장치들의 위치 관계(예를 들어, 상하좌우)을 직접 수행하지 않아도 자동으로(automatically) 위치 설정을 완료함으로써 사용자의 불편함을 경감시킬 수 있다.An electronic device (eg, the electronic device 101 of FIG. 3) according to an embodiment as described above includes at least one memory configured to store instructions (eg, the memory 320 of FIG. 3), At least one processor (eg, processor 310 of FIG. 3 ), at least one input device (eg, input device 350 of FIG. 3 ), a display (eg, display 330 of FIG. 3 ), at least one A speaker (eg, the speaker 360 of FIG. 3) and a communication circuit (eg, the communication circuit 340 of FIG. 3), wherein the at least one processor, when executing the instructions, through the communication circuit, Based on broadcasting a first signal including identification information of the electronic device and receiving a response signal to the first signal from the external electronic device, it is determined that the external electronic device is located within a reference distance from the electronic device. and, in response to the identification, outputting audio signals over a specified frequency range through the at least one speaker, identified based on at least a portion of the audio signals and a relative position between the display and the display of the external electronic device. A second signal for indicating a relationship is received from the external electronic device through the communication circuit, and a pointer displayed on a screen displayed through the display is identified based on the relative positional relationship. A third signal for displaying the pointer on the display of the external electronic device based on detecting a user input for moving toward the display of the external electronic device across a periphery of It may be configured to transmit to the external electronic device through a communication circuit. According to an embodiment, an electronic device, method, and computer readable storage medium automatically complete location setting without a user directly performing a positional relationship (eg, up, down, left, right) of electronic devices, thereby allowing the user to can alleviate the discomfort of
일 실시예에 따른, 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체는, 위치 설정이 완료된 이후에 전자 장치들의 위치 관계가 재차 변동된 경우, 사용자가 변경된 위치 관계를 직접 입력하지 않더라도 자동으로 변경된 위치 관계를 반영함으로써 연속성(continuity) 있는 사용자 경험(user experience)을 제공할 수 있다.According to an embodiment, an electronic device, method, and computer readable storage medium, when the positional relationship of electronic devices is changed again after position setting is completed, automatically changes the position even if the user does not directly input the changed positional relationship. By reflecting the relationship, a user experience with continuity can be provided.
일 실시예에 따른, 상기 식별 정보는, 상기 적어도 하나의 스피커가 단일 스피커(예: 도 6a의 단일 스피커(370)) 또는 듀얼 스피커(예: 도 7a의 제1 스피커(381), 제2 스피커(383)) 중 어느 하나를 지시하기 위한 정보를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 적어도 하나의 스피커가 상기 단일 스피커에 상응하는 경우, 상기 단일 스피커를 통해 상기 지정된 주파수 범위 내의 제1 주파수 대역 상의 오디오 신호들을 출력하도록 구성되고, 상기 적어도 하나의 스피커가 상기 듀얼 스피커에 상응하는 경우, 상기 적어도 하나의 스피커 중 제1 스피커를 통해 제2 주파수 대역 상의 오디오 신호들을 출력하고, 상기 적어도 하나의 스피커 중 제2 스피커를 통해 상기 지정된 주파수 범위 내의 제3 주파수 대역 상의 오디오 신호를 출력하도록 구성되고, 상기 제2 주파수 대역은, 상기 제3 주파수 대역과 서로 상이하고, 상기 지정된 주파수 범위는, 비가청 주파수 대역들을 포함하고, 상기 제1 주파수 대역 상의 오디오 신호들은, 상기 외부 전자 장치의 다중 마이크들을 통해 획득되고, 상기 제2 주파수 대역 상의 오디오 신호들 및 상기 제3 주파수 대역 상의 오디오 신호들은, 상기 다중 마이크들 중 어느 하나를 통해 획득되고, 상기 상대적 위치 관계는, 상기 다중 마이크들을 통해 획득된 상기 제1 주파수 대역 상의 오디오 신호들에 대한 수신 세기에 기반하여 식별되거나, 상기 다중 마이크들 중 적어도 하나를 통해 획득된 상기 제2 주파수 대역 상의 오디오 신호들 및 상기 다중 마이크들 중 적어도 하나를 통해 획득된 상기 제3 주파수 대역 상의 오디오 신호들에 대한 수신 세기에 기반하여 식별될 수 있다.According to an embodiment, the identification information may indicate that the at least one speaker is a single speaker (eg, the single speaker 370 of FIG. 6A) or a dual speaker (eg, the first speaker 381 of FIG. 7A or the second speaker). (383)), and the at least one processor, when executing the instructions, if the at least one speaker corresponds to the single speaker, the at least one processor, through the single speaker configured to output audio signals on a first frequency band within a designated frequency range, and when the at least one speaker corresponds to the dual speaker, audio signals on a second frequency band through a first speaker of the at least one speaker and output an audio signal on a third frequency band within the specified frequency range through a second speaker of the at least one speaker, wherein the second frequency band is different from the third frequency band, and wherein the The designated frequency range includes inaudible frequency bands, audio signals on the first frequency band are acquired through multiple microphones of the external electronic device, audio signals on the second frequency band and the third frequency band Audio signals of the above are obtained through any one of the multiple microphones, and the relative positional relationship is identified based on the reception strength of the audio signals on the first frequency band obtained through the multiple microphones, or the It may be identified based on reception intensities of audio signals on the second frequency band obtained through at least one of the multiple microphones and audio signals on the third frequency band obtained through at least one of the multiple microphones. there is.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 상대적 위치 관계에 기반하여 식별된 상기 일 가장자리(periphery)를 포함하는 지정된 영역 내에서 상기 포인터가 상기 상대적 위치 관계에 기반하여 식별된 방향으로 미리 정의된 크기를 초과하여 이동됨을 식별하는 것에 응답하여, 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출할 수 있다. According to an embodiment, the at least one processor, when executing the instructions, determines that the pointer within a designated area including the one edge identified based on the relative positional relationship is based on the relative positional relationship. A user input for moving toward the display of the external electronic device may be detected in response to identifying that the electronic device moves in the identified direction by exceeding a predefined size.
일 실시예에 따른, 상기 제1 신호는, 블루투스 저전력(Bluetooth low energy)의 애드버타이징(advertising) 패킷 또는 무선 액세스 포인트(access point)의 식별자 중 적어도 하나를 포함하는 신호 또는 자기장 신호에 상응할 수 있다.According to an embodiment, the first signal corresponds to a signal including at least one of a Bluetooth low energy advertising packet or an identifier of a wireless access point or a magnetic field signal. can do.
일 실시예에 따른, 상대적 위치 관계는, 상기 전자 장치로부터 상기 외부 전자 장치를 향하는 방향 또는 상기 외부 전자 장치로부터 상기 전자 장치를 향하는 방향을 지시할 수 있다. According to an embodiment, the relative positional relationship may indicate a direction from the electronic device to the external electronic device or a direction from the external electronic device to the electronic device.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 적어도 하나의 스피커를 이용하여, 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호가 전송될 시간 자원에 대한 정보를, 상기 외부 전자 장치에게 송신할 수 있다. According to an embodiment, when executing the instructions, the at least one processor determines a time resource to transmit a third signal for displaying the pointer on the display of the external electronic device using the at least one speaker. information about the electronic device may be transmitted to the external electronic device.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제2 신호를 수신함에 응답하여, 상기 외부 전자 장치와 블루투스 연결을 수립하고, 상기 사용자 입력을 검출함에 응답하여, 상기 시간 자원에 대한 정보에 기반하여 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 이용하여 상기 외부 전자 장치에게 송신할 수 있다. According to an embodiment, the at least one processor, when executing the instructions, establishes a Bluetooth connection with the external electronic device in response to receiving the second signal, and in response to detecting the user input, A third signal for displaying the pointer on the display of the external electronic device based on the time resource information may be transmitted to the external electronic device using the communication circuit.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 사용자 입력을 검출함에 응답하여, 상기 외부 전자 장치와 블루투스 연결을 수립하고, 상기 블루투스 연결이 수립됨을 식별하는 것에 응답하여, 상기 시간 자원에 대한 정보에 기반하여 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 이용하여 상기 외부 전자 장치에게 송신할 수 있다.According to an embodiment, the at least one processor, when executing the instructions, establishes a Bluetooth connection with the external electronic device in response to detecting the user input, and in response to identifying that the Bluetooth connection is established , A third signal for displaying the pointer on the display of the external electronic device based on the information on the time resource may be transmitted to the external electronic device using the communication circuit.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 상대적 위치 관계를 지시하기 위한 제2 신호를 수신함에 응답하여, 상기 적어도 하나의 스피커를 비활성화하여 상기 지정된 주파수 범위 상의 오디오 신호들을 출력하는 것을 바이패스(bypass)할 수 있다. According to an embodiment, when the at least one processor executes the instructions, in response to receiving the second signal for indicating the relative positional relationship, the at least one processor deactivates the at least one speaker so that audio over the specified frequency range is received. It is possible to bypass outputting signals.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 외부 전자 장치의 자이로(gyro) 센서 및 가속도 센서를 통해 식별되는 상기 외부 전자 장치의 변위(displacement)를 지시하기 위한 제4 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고, 상기 제4 신호를 수신함에 응답하여, 상기 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력할 수 있다. According to an embodiment, when the instructions are executed, the at least one processor is configured to indicate a displacement of the external electronic device identified through a gyro sensor and an acceleration sensor of the external electronic device. 4 signals may be received from the external electronic device through the communication circuit, and in response to receiving the fourth signal, audio signals in the designated frequency range may be output through the at least one speaker.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 외부 전자 장치가 상기 기준 거리 이내에 위치하는 것을 식별함에 응답하여, 상기 통신 회로를 통해 상기 외부 전자 장치의 다중 마이크들을 활성화할 것을 지시하기 위한 제5 신호를 상기 외부 전자 장치에게 송신하고, 상기 제5 신호를 상기 외부 전자 장치에게 송신함에 응답하여, 상기 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하고, 상기 제5 신호는, 상기 외부 전자 장치가, 상기 다중 마이크들을 활성화하는 시간 구간을 지시하기 위한 구간 정보를 포함하고, 상기 구간 정보는, 시작 시점에 대한 정보와, 종료 시점에 대한 정보 또는 상기 시간 구간의 길이에 대한 정보 중 어느 하나에 의해 결정될 수 있다. According to an embodiment, the at least one processor, when executing the instructions, activates multiple microphones of the external electronic device through the communication circuit in response to identifying that the external electronic device is located within the reference distance. Transmitting a fifth signal for instructing what to do to the external electronic device, and outputting audio signals in the specified frequency range through the at least one speaker in response to transmitting the fifth signal to the external electronic device; The fifth signal includes section information for indicating a time section in which the external electronic device activates the multiple microphones, and the section information includes information on a start time, information on an end time, or the time It can be determined by any one of information about the length of the section.
일 실시예에 따른, 상기 전자 장치는, 자이로 센서 및 가속도 센서를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 자이로 센서 및 상기 가속도 센서를 통해 상기 전자 장치의 변위(displacement)를 식별하고, 상기 식별된 변위의 크기가 미리 정의된 임계 값을 초과하는 것을 검출함에 응답하여, 상기 통신 회로를 이용하여, 상기 외부 전자 장치의 다중 마이크들을 활성화할 것을 지시하기 위한 상기 제5 신호를 상기 외부 전자 장치에게 송신하고, 상기 제5 신호를 송신함에 응답하여, 상기 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력할 수 있다. According to an embodiment, the electronic device further includes a gyro sensor and an acceleration sensor, and when the at least one processor executes the instructions, the electronic device moves through the gyro sensor and the acceleration sensor. ), and in response to detecting that the magnitude of the identified displacement exceeds a predefined threshold, the fifth for instructing to activate multiple microphones of the external electronic device using the communication circuit. In response to transmitting a signal to the external electronic device and transmitting the fifth signal, audio signals in the designated frequency range may be output through the at least one speaker.
일 실시예에 따른, 상기 제2 신호는, 상기 외부 전자 장치 내에 포함된 제1 방향을 향하는 제1 마이크를 통해 측정된 상기 제1 주파수 대역 상의 오디오 신호들에 대한 제1 세기 정보 및 상기 외부 전자 장치 내에 포함된 제2 방향을 향하는 제2 마이크를 통해 측정된 상기 제1 주파수 대역 상의 오디오 신호들에 대한 제2 세기 정보를 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제1 세기 정보 및 상기 제2 세기 정보의 차이에 기반하여, 상기 상대적 위치 관계를 결정할 수 있다. According to an embodiment, the second signal may include first strength information of audio signals on the first frequency band measured through a first microphone included in the external electronic device and facing a first direction and the external electronic device. and second intensity information of audio signals on the first frequency band measured through a second microphone included in an apparatus and facing a second direction, wherein the at least one processor, when executing the instructions, The relative positional relationship may be determined based on a difference between the first intensity information and the second intensity information.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제1 세기 정보 및 상기 제2 세기 정보의 차이가 미리 설정된 임계 값보다 작거나 같은 경우, 상기 적어도 하나의 스피커를 통해, 상기 상대적 위치 관계를 결정할 수 없음을 지시하기 위한 청각적 알림을 출력하도록 구성되고, 상기 청각적 알림은, 상기 지정된 범위의 주파수 대역과 상이한 가청 주파수 대역 상의 오디오 신호를 통해 출력될 수 있다. According to an embodiment, when the at least one processor executes the instructions, when a difference between the first intensity information and the second intensity information is less than or equal to a preset threshold value, the at least one processor through the at least one speaker , configured to output an audible notification for indicating that the relative positional relationship cannot be determined, and the audible notification may be output through an audio signal on an audible frequency band different from the frequency band of the specified range.
일 실시예에 따른, 상기 제2 신호는, 상기 외부 전자 장치 내에 포함된 상기 다중 마이크들 중 어느 하나를 통해 측정된 상기 제2 주파수 대역 상의 오디오 신호들에 대한 제3 세기 정보 및 상기 제3 주파수 대역 상의 오디오 신호들에 대한 제4 세기 정보를 포함하고, According to an embodiment, the second signal includes third strength information and the third frequency of audio signals on the second frequency band measured through one of the multiple microphones included in the external electronic device. Includes fourth intensity information for audio signals on the band;
상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제3 세기 정보 및 상기 제4 세기 정보의 차이에 기반하여, 상기 상대적 위치 관계를 결정하도록 구성될 수 있다.The at least one processor may be configured to determine the relative positional relationship based on a difference between the third intensity information and the fourth intensity information when executing the instructions.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제3 세기 정보 및 상기 제4 세기 정보의 차이가 미리 설정된 임계 값보다 작거나 같은 경우, 상기 적어도 하나의 스피커를 통해, 상기 상대적 위치 관계를 결정할 수 없음을 지시하기 위한 청각적 알림을 출력하도록 구성되고, 상기 청각적 알림은, 상기 지정된 범위의 주파수 대역과 상이한 가청 주파수 대역 상의 오디오 신호를 통해 출력될 수 있다.According to an embodiment, the at least one processor, when executing the instructions, if a difference between the third intensity information and the fourth intensity information is less than or equal to a preset threshold, through the at least one speaker. , configured to output an audible notification for indicating that the relative positional relationship cannot be determined, and the audible notification may be output through an audio signal on an audible frequency band different from the frequency band of the specified range.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 디스플레이를 통해 표시되는 상기 화면은, 제1 운영 체제(operating system)를 실행하는 동안 표시되고, 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 상기 사용자 입력이 드래그(drag) 입력에 상응하는 경우, 상기 드래그 입력에 따라 이동되는 상기 포인터에 동반되는(accompanied) 시각적 객체의 유형을 식별하고, 상기 제1 운영 체제와 상이한 제2 운영 체제 내에서 실행 가능한 복수의 어플리케이션들 중 상기 식별된 유형에 따라 상기 시각적 객체를 통해 제공되는 기능을 실행하기 위해 이용되는 어플리케이션을 지시하기 위한 정보를 더(further) 포함하는 상기 제3 신호를 상기 외부 전자 장치에게 송신할 수 있다.According to an embodiment, when the at least one processor executes the instructions, the screen displayed through the display is displayed while a first operating system is being executed, and the display of the external electronic device When the user input for moving toward corresponds to a drag input, a type of visual object that is accompanied by the pointer moved according to the drag input is identified, and a second operating system different from the first operating system is identified. 2 The third signal further including information for indicating an application used to execute a function provided through the visual object according to the identified type among a plurality of applications executable in the operating system. It can be transmitted to the external electronic device.
일 실시예에 따른, 상기 전자 장치는, 다중 마이크들을 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 전자 장치의 상기 다중 마이크들을 통해, 상기 외부 전자 장치로부터 출력되는 상기 지정된 주파수 범위 상의 오디오 신호들의 수신 세기들을 측정하고, 상기 측정된 수신 세기들에 기반하여, 상기 상대적 위치 관계를 식별하고, 상기 식별된 상대적 위치 관계에 기반하여 상기 제3 신호를 상기 외부 전자 장치에게 송신할 수 있다.According to an embodiment, the electronic device further includes multiple microphones, and the at least one processor, when executing the instructions, through the multiple microphones of the electronic device, the specified output from the external electronic device. Measuring reception strengths of audio signals over a frequency range, identifying the relative positional relationship based on the measured reception strengths, and transmitting the third signal to the external electronic device based on the identified relative positional relationship can do.
상술한 바와 같은 일 실시예에 따른 전자 장치(예: 도 4의 전자 장치(201))는, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리(예: 도 4의 메모리(420)), 적어도 하나의 프로세서(예: 도 4의 프로세서(410)), 디스플레이(예: 도 4의 디스플레이(430)), 외부 전자 장치(예: 도 3의 전자 장치(101))로부터 출력되는 지정된 주파수 대역 상의 오디오 신호들을 각각 수신하기 위한 제1 방향을 향하는 제1 마이크(예: 도 4의 제1 마이크(450)) 및 상기 제1 방향과 상이한 제2 방향을 향하는 제2 마이크(예: 도 4의 제2 마이크(460))를 포함하는 복수의 마이크들 및 통신 회로(예: 도 4의 통신 회로(440))를 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 통신 회로를 통해, 상기 외부 전자 장치의 식별 정보를 포함하는 제1 신호를 수신하고, 상기 제1 신호에 기반하여, 상기 외부 전자 장치가 상기 전자 장치로부터 기준 거리 이내에 위치됨을 식별하고, 상기 식별에 기반하여, 상기 전자 장치가 상기 외부 전자 장치로부터 상기 기준 거리 이내에 위치됨을 지시하기 위한 응답 신호를, 상기 통신 회로를 통해 상기 전자 장치에게 송신하고, 상기 복수의 마이크들 중 적어도 하나를 통해, 상기 외부 전자 장치로부터 상기 응답 신호에 대응하여 출력되는 상기 지정된 주파수 대역 상의 오디오 신호들에 대한 수신 세기들을 측정하고, 상기 측정된 수신 세기들에 기반하여, 상기 전자 장치와 상기 외부 전자 장치 간의 상대적 위치 관계를 식별하고, 상기 통신 회로를 통해, 상기 식별된 상대적 위치 관계를 지시하기 위한 제2 신호를 상기 외부 전자 장치에게 송신하고, 상기 외부 전자 장치가 상기 외부 전자 장치의 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 외부 전자 장치의 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 전자 장치의 상기 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하도록 구성될 수 있다.As described above, the electronic device according to an embodiment (eg, the electronic device 201 of FIG. 4 ) includes at least one memory (eg, the memory 420 of FIG. 4 ) configured to store instructions, and at least one processor. (eg, the processor 410 of FIG. 4), a display (eg, the display 430 of FIG. 4), and an external electronic device (eg, the electronic device 101 of FIG. 3) audio signals on a designated frequency band A first microphone (eg, the first microphone 450 in FIG. 4 ) facing a first direction for reception and a second microphone (eg, the second microphone in FIG. 4 ) facing a second direction different from the first direction ( 460)) and a communication circuit (e.g., the communication circuit 440 of FIG. 4), wherein the at least one processor, when executing the instructions, via the communication circuit, the external Receiving a first signal including identification information of an electronic device, identifying that the external electronic device is located within a reference distance from the electronic device based on the first signal, and based on the identification, the electronic device A response signal for indicating that the external electronic device is located within the reference distance is transmitted to the electronic device through the communication circuit, and the response signal is transmitted from the external electronic device through at least one of the plurality of microphones. Measuring reception intensities of correspondingly output audio signals on the designated frequency band, identifying a relative positional relationship between the electronic device and the external electronic device based on the measured reception intensities, and configuring the communication circuit Through this, a second signal for indicating the identified relative positional relationship is transmitted to the external electronic device, and the external electronic device transmits a pointer displayed on a screen displayed through a display of the external electronic device to the external electronic device. Based on detecting a user input for moving toward the display of the electronic device across a periphery of the display of the external electronic device identified based on the relative positional relationship, the pointer is moved to the electronic device. It may be configured to receive a third signal for display on the display of the device from the external electronic device through the communication circuit.
일 실시예에 따른, 상기 식별 정보는, 상기 외부 전자 장치에 포함되는 적어도 하나의 스피커가 제1 주파수 대역 상의 오디오 신호들을 출력하는 단일 스피커 또는 제2 주파수 대역 상의 오디오 신호들과 제3 주파수 대역 상의 오디오 신호들을 출력하는 듀얼 스피커 중 어느 하나를 지시하기 위한 정보를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 식별 정보가 상기 단일 스피커를 지시하는 경우, 상기 제1 마이크 및 상기 제2 마이크를 모두 활성화하고, 상기 식별 정보가 상기 듀얼 스피커를 지시하는 경우, 상기 제1 마이크 및 상기 제2 마이크 중 어느 하나를 활성화하도록 구성되고, 상기 제2 주파수 대역은, 상기 제3 주파수 대역과 서로 상이하고, 상기 제1 주파수 대역, 상기 제2 주파수 대역 및 상기 제3 주파수 대역은, 비가청 주파수 대역들에 포함되고, 상기 상대적 위치 관계는, 상기 제1 마이크와 상기 제2 마이크를 통해 각각 획득된 상기 제1 주파수 대역 상의 오디오 신호들에 대한 수신 세기에 기반하여 식별되거나, 상기 복수의 마이크들 중 적어도 하나를 통해 획득된 상기 제2 주파수 대역 상의 오디오 신호들과 상기 제3 주파수 대역 상의 오디오 신호들에 대한 수신 세기들에 기반하여 식별될 수 있다. According to an embodiment, the identification information may include a single speaker from which at least one speaker included in the external electronic device outputs audio signals on a first frequency band or audio signals on a second frequency band and audio signals on a third frequency band. It further includes information for indicating any one of dual speakers outputting audio signals, and the at least one processor, when executing the instructions, when the identification information indicates the single speaker, the first microphone and When both the second microphones are activated and the identification information indicates the dual speaker, one of the first microphone and the second microphone is activated, and the second frequency band is the third frequency band. different from each other, the first frequency band, the second frequency band, and the third frequency band are included in inaudible frequency bands, and the relative positional relationship is based on the first microphone and the second microphone. The audio signals on the second frequency band and the third frequency band are identified based on the reception strength of the audio signals on the first frequency band obtained through at least one of the plurality of microphones, respectively. It can be identified based on the received strengths of the audio signals of the above.
일 실시예에 따른, 상기 제1 신호는, 블루투스 저전력(Bluetooth low energy)의 애드버타이징(advertising) 패킷 또는 무선 액세스 포인트(access point)의 식별자 중 적어도 하나를 포함하는 신호 또는 자기장 신호에 상응할 수 있다.According to an embodiment, the first signal corresponds to a signal including at least one of a Bluetooth low energy advertising packet or an identifier of a wireless access point or a magnetic field signal. can do.
일 실시예에 따른, 상기 상대적 위치 관계는, 상기 전자 장치로부터 상기 외부 전자 장치를 향하는 방향 또는 상기 외부 전자 장치로부터 상기 전자 장치를 향하는 방향을 지시할 수 있다.According to an embodiment, the relative positional relationship may indicate a direction from the electronic device to the external electronic device or a direction from the external electronic device to the electronic device.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 복수의 마이크들 중 적어도 하나를 통해, 상기 포인터를 상기 전자 장치의 상기 디스플레이 상에서 표시하기 위한 상기 제3 신호가 전송될 시간 자원에 대한 정보를, 상기 외부 전자 장치로부터 수신할 수 있다.According to an embodiment, when the at least one processor executes the instructions, the third signal for displaying the pointer on the display of the electronic device is transmitted through at least one of the plurality of microphones. Information on time resources may be received from the external electronic device.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제2 신호를 송신함에 응답하여, 상기 외부 전자 장치와 블루투스 연결을 수립하고, 상기 시간 자원에 대한 정보에 기반하여 상기 포인터를 상기 전자 장치의 상기 디스플레이 상에서 표시하기 위한 상기 제3 신호를, 상기 통신 회로를 이용하여 상기 외부 전자 장치로부터 수신할 수 있다.According to an embodiment, the at least one processor, when executing the instructions, establishes a Bluetooth connection with the external electronic device in response to transmitting the second signal, and based on the information on the time resource, the at least one processor The third signal for displaying a pointer on the display of the electronic device may be received from the external electronic device using the communication circuit.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 상대적 위치 관계를 지시하기 위한 상기 제2 신호를 상기 외부 전자 장치에게 송신함에 응답하여, 상기 복수의 마이크들을 비활성화할 수 있다.According to an embodiment, when executing the instructions, the at least one processor may deactivate the plurality of microphones in response to transmitting the second signal for indicating the relative positional relationship to the external electronic device. there is.
일 실시예에 따른, 상기 전자 장치는, 자이로(gyro) 센서 및 가속도 센서를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 자이로(gyro) 센서 및 상기 가속도 센서를 통해 상기 전자 장치의 변위(displacement)를 식별하고, 상기 변위의 크기가 미리 정의된 임계 값을 초과하는 것을 식별함에 응답하여, 상기 전자 장치의 변위를 지시하기 위한 제4 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치에게 송신하고, 상기 제4 신호를 상기 외부 전자 장치에게 송신함에 응답하여, 상기 복수의 마이크들 중 적어도 하나를 활성화할 수 있다.According to an embodiment, the electronic device further includes a gyro sensor and an acceleration sensor, and when the at least one processor executes the instructions, the gyro sensor and the acceleration sensor transmit the information through the gyro sensor and the acceleration sensor. Displacement of the electronic device is identified, and in response to identifying that the magnitude of the displacement exceeds a predefined threshold, a fourth signal for indicating the displacement of the electronic device is transmitted through the communication circuit. In response to transmitting the fourth signal to the external electronic device and transmitting the fourth signal to the external electronic device, at least one of the plurality of microphones may be activated.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 통신 회로를 통해, 상기 외부 전자 장치로부터 상기 전자 장치의 상기 복수의 마이크들 중 적어도 하나를 활성화할 것을 지시하기 위한 제5 신호를 상기 외부 전자 장치로부터 수신하고, 상기 제5 신호를 수신함에 응답하여, 상기 복수의 마이크들 중 상기 식별 정보에 상응하는 적어도 하나의 마이크를 활성화하고, 상기 제5 신호는, 상기 전자 장치가, 상기 복수의 마이크들 중 적어도 하나를 활성화하는 시간 구간을 지시하기 위한 구간 정보를 포함하고, 상기 구간 정보는, 시작 시점에 대한 정보와, 종료 시점에 대한 정보 또는 상기 시간 구간의 길이에 대한 정보 중 어느 하나에 의해 결정될 수 있다.According to an embodiment, when the instructions are executed, the at least one processor is configured to instruct, through the communication circuit, to activate at least one of the plurality of microphones of the electronic device from the external electronic device. 5 A signal is received from the external electronic device, and in response to receiving the fifth signal, at least one microphone corresponding to the identification information among the plurality of microphones is activated, and the fifth signal is the electronic device A, includes interval information for indicating a time interval for activating at least one of the plurality of microphones, and the interval information includes information about a start time, information about an end time, or information about the length of the time interval It can be determined by any one of the information.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 외부 전자 장치의 자이로 센서 및 상기 외부 전자 장치의 가속도 센서를 통해 식별되는 상기 외부 전자 장치의 변위(displacement)를 지시하기 위한 제4 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고, 상기 제4 신호를 수신함에 응답하여, 상기 식별 정보에 기반하여 상기 복수의 마이크들 중 적어도 하나를 활성화할 수 있다. According to an embodiment, when the instructions are executed, the at least one processor is configured to instruct displacement of the external electronic device identified through a gyro sensor of the external electronic device and an acceleration sensor of the external electronic device. A fourth signal for communication may be received from the external electronic device through the communication circuit, and in response to receiving the fourth signal, at least one of the plurality of microphones may be activated based on the identification information.
일 실시예에 따른, 상기 제2 신호는, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제1 주파수 대역 상의 오디오 신호들에 대한 제1 세기 정보 및 상기 제2 마이크를 통해 측정된 상기 제1 주파수 대역 상의 오디오 신호들에 대한 제2 세기 정보를 포함할 수 있다.According to an embodiment, the second signal, the at least one processor, when executing the instructions, the first strength information of the audio signals on the first frequency band and the first strength information measured through the second microphone It may include second intensity information for audio signals on the first frequency band.
일 실시예에 따른, 상기 전자 장치는, 적어도 하나의 스피커를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제1 세기 정보 및 상기 제2 세기 정보의 차이가 미리 설정된 임계 값보다 작거나 같은 경우, 상기 전자 장치의 상기 적어도 하나의 스피커를 통해, 상기 상대적 위치 관계를 결정할 수 없음을 지시하기 위한 청각적 알림을 출력하도록 구성되고, 상기 청각적 알림은, 가청 주파수 대역 상의 오디오 신호를 통해 출력될 수 있다. According to an embodiment, the electronic device further includes at least one speaker, and when the at least one processor executes the instructions, the difference between the first intensity information and the second intensity information is a preset threshold. If it is less than or equal to the value, configured to output an audible notification through the at least one speaker of the electronic device to indicate that the relative positional relationship cannot be determined, and the audible notification is It can be output through an audio signal.
일 실시예에 따른, 상기 제2 신호는, 상기 제1 마이크 및 상기 제2 마이크 중 어느 하나를 통해 측정된 상기 제2 주파수 대역 상의 오디오 신호들에 대한 제3 세기 정보 및 상기 제3 주파수 대역 상의 오디오 신호들에 대한 제4 세기 정보를 포함할 수 있다.According to an exemplary embodiment, the second signal may include third intensity information of audio signals on the second frequency band measured through any one of the first microphone and the second microphone and third intensity information on the third frequency band. It may include fourth intensity information for audio signals.
일 실시예에 따른, 상기 전자 장치는, 적어도 하나의 스피커를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제3 세기 정보 및 상기 제4 세기 정보의 차이가 미리 설정된 임계 값보다 작거나 같은 경우, 상기 적어도 하나의 스피커를 통해, 상기 상대적 위치 관계를 결정할 수 없음을 지시하기 위한 청각적 알림을 출력하도록 구성되고, 상기 청각적 알림은, 가청 주파수 대역 상의 오디오 신호를 통해 출력될 수 있다.According to an embodiment, the electronic device further includes at least one speaker, and when the at least one processor executes the instructions, the difference between the third intensity information and the fourth intensity information is a preset threshold. If less than or equal to the value, configured to output an audible notification through the at least one speaker to indicate that the relative positional relationship cannot be determined, and the audible notification is via an audio signal on an audible frequency band can be output.
일 실시예에 따른, 상기 포인터는, 상기 외부 전자 장치가 제1 운영 체제(operating system)을 실행하는 동안 상기 외부 전자 장치의 디스플레이에 표시되고, 상기 제3 신호는, 상기 전자 장치 상에서 실행되는 상기 제1 운영 체제와 상이한 제2 운영 체제 내에서 실행 가능한 복수의 어플리케이션들 중 시각적 객체를 통해 제공되는 기능을 실행하기 위해 이용되는 어플리케이션을 지시하기 위한 정보를 더(further) 포함하고, 상기 시각적 객체는, 상기 외부 전자 장치의 디스플레이로부터 상기 전자 장치의 상기 디스플레이를 향해 이동하기 위한 상기 사용자 입력이 드래그(drag) 입력에 상응하는 경우, 상기 드래그 입력에 따라 이동되는 상기 포인터에 동반되는 객체이고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 정보에 기반하여 지시되는 상기 어플리케이션을 실행할 수 있다. According to an embodiment, the pointer is displayed on a display of the external electronic device while the external electronic device is executing a first operating system, and the third signal is configured to display the external electronic device running on the electronic device. Further includes information for indicating an application used to execute a function provided through a visual object among a plurality of applications executable in a second operating system different from the first operating system, the visual object comprising: , When the user input for moving from the display of the external electronic device to the display of the electronic device corresponds to a drag input, an object accompanied by the pointer moved according to the drag input, wherein the at least When executing the instructions, one processor may execute the application indicated based on the information.
일 실시예에 따른, 상기 전자 장치는, 적어도 하나의 스피커를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 전자 장치의 상기 적어도 하나의 스피커를 통해, 상기 지정된 주파수 범위 상의 오디오 신호들을 출력할 수 있다.According to an embodiment, the electronic device further includes at least one speaker, and the at least one processor, when executing the instructions, through the at least one speaker of the electronic device, in the specified frequency range. Audio signals can be output.
상술한 바와 같은 일 실시예에 따른 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리(예: 도 3의 메모리(320)))와, 적어도 하나의 프로세서(예: 도 3의 프로세서(310))와, 적어도 하나의 입력 장치(예: 도 3의 입력 장치(350))와, 디스플레이(예: 도 3의 디스플레이(330))와, 적어도 하나의 스피커(예: 도 3의 스피커(360))와 통신 회로(예: 도 3의 통신 회로(340))를 가지는(with) 전자 장치(예: 도 3의 전자 장치(101))를 동작하기 위한 방법은, 상기 통신 회로를 통해, 상기 전자 장치의 식별 정보를 포함하는 제1 신호를 방송하는 동작과, 외부 전자 장치로부터, 상기 제1 신호에 대한 응답 신호를 수신하는 것에 기반하여, 상기 전자 장치로부터 기준 거리 이내에 상기 외부 전자 장치가 위치됨을 식별하는 동작과, 상기 식별에 응답하여, 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하는 동작과, 상기 오디오 신호들의 적어도 일부에 기반하여 식별되고 상기 디스플레이와 상기 외부 전자 장치의 디스플레이 사이의 상대적 위치 관계를 지시하기 위한 제2 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하 는 동작과, 상기 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해, 상기 외부 전자 장치에게 송신하 는 동작을 포함할 수 있다.At least one memory configured to store instructions according to an embodiment as described above (eg, the memory 320 of FIG. 3 ), at least one processor (eg, the processor 310 of FIG. 3 ), and at least One input device (eg, input device 350 of FIG. 3 ), a display (eg, display 330 of FIG. 3 ), and at least one speaker (eg, speaker 360 of FIG. 3 ) and a communication circuit A method for operating an electronic device (eg, the electronic device 101 of FIG. 3) having (eg, the communication circuit 340 of FIG. 3), through the communication circuit, identification information of the electronic device An operation of broadcasting a first signal including, and an operation of identifying that the external electronic device is located within a reference distance from the electronic device based on receiving a response signal to the first signal from the external electronic device; , in response to the identification, an operation of outputting audio signals in a specified frequency range through the at least one speaker, and a relative position between the display and the display of the external electronic device identified based on at least a part of the audio signals Receiving a second signal for indicating a relationship from the external electronic device through the communication circuit, and identifying a pointer displayed on a screen displayed through the display based on the relative positional relationship A third signal for displaying the pointer on the display of the external electronic device based on detecting a user input for moving across a periphery of the displayed display toward the display of the external electronic device. to the external electronic device through the communication circuit.
상술한 바와 같은 일 실시예에 따른 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리(예: 도 4의 메모리(420))와, 제1 운영 체제(operating system)을 구동하도록 구성된 적어도 하나의 프로세서(예: 도 4의 프로세서(410))와, 디스플레이(예: 도 4의 디스플레이(430))와, 외부 전자 장치(예: 도 3의 전자 장치(101))로부터 출력되는 지정된 주파수 대역 상의 오디오 신호들을 각각 수신하기 위한 제1 방향을 향하는 제1 마이크(예: 도 4의 제1 마이크(450)) 및 상기 제1 방향과 상이한 제2 방향을 향하는 제2 마이크(예: 도 4의 제2 마이크(460))를 포함하는 복수의 마이크들과, 통신 회로(예: 도 4의 통신 회로(440))를 가지는(with) 전자 장치(예: 도 4의 전자 장치(201))를 동작하기 위한 방법은, 상기 통신 회로를 통해, 상기 외부 전자 장치의 식별 정보를 포함하는 제1 신호를 수신하는 동작과, 상기 제1 신호에 기반하여, 상기 외부 전자 장치가 상기 전자 장치로부터 기준 거리 이내에 위치됨을 식별하는 동작과, 상기 식별에 기반하여, 상기 전자 장치가 상기 외부 전자 장치로부터 상기 기준 거리 이내에 위치됨을 지시하기 위한 응답 신호를, 상기 통신 회로를 통해 상기 전자 장치에게 송신하는 동작과, 상기 복수의 마이크들 중 적어도 하나를 통해, 상기 외부 전자 장치로부터 상기 응답 신호에 대응하여 출력되는 상기 지정된 주파수 대역 상의 오디오 신호들에 대한 수신 세기들을 측정하는 동작과, 상기 측정된 수신 세기들에 기반하여, 상기 전자 장치와 상기 외부 전자 장치 간의 상대적 위치 관계를 식별하는 동작과, 상기 통신 회로를 통해, 상기 식별된 상대적 위치 관계를 지시하기 위한 제2 신호를 상기 외부 전자 장치에게 송신하는 동작과, 상기 외부 전자 장치가 상기 외부 전자 장치의 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 외부 전자 장치의 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 전자 장치의 상기 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하는 동작을 포함하고, 상기 외부 전자 장치는, 상기 제1 운영 체제와 상이한 제2 운영 체제를 구동하도록 구성될 수 있다. At least one memory (eg, the memory 420 of FIG. 4 ) configured to store instructions according to an embodiment as described above, and at least one processor (eg, the operating system) configured to drive the first operating system. Audio signals on a designated frequency band output from the processor 410 of FIG. 4), the display (eg, the display 430 of FIG. 4), and the external electronic device (eg, the electronic device 101 of FIG. 3), respectively. A first microphone facing a first direction for reception (eg, the first microphone 450 of FIG. 4 ) and a second microphone facing a second direction different from the first direction (eg, the second microphone 460 of FIG. 4 ) )), and a method for operating an electronic device (eg, the electronic device 201 of FIG. 4) having a communication circuit (eg, the communication circuit 440 of FIG. 4) , Receiving a first signal including identification information of the external electronic device through the communication circuit, and identifying that the external electronic device is located within a reference distance from the electronic device based on the first signal. an operation of transmitting, based on the identification, a response signal for indicating that the electronic device is located within the reference distance from the external electronic device to the electronic device through the communication circuit; measuring reception strengths of audio signals on the designated frequency band output in response to the response signal from the external electronic device through at least one of; and, based on the measured reception strengths, the electronic device identifying a relative positional relationship between the external electronic device and the external electronic device, and transmitting a second signal for indicating the identified relative positional relationship to the external electronic device through the communication circuit; Passing a pointer displayed on the screen displayed through the display of the external electronic device across a periphery of the display of the external electronic device identified based on the relative positional relationship to the electronic device. Based on detecting a user input for moving toward the display, receiving a third signal for displaying the pointer on the display of the electronic device from the external electronic device through the communication circuit; The external electronic device may be configured to drive a second operating system different from the first operating system.
상술한 바와 같은 일 실시예에 따른 비일시적 컴퓨터 판독가능 저장 매체는, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리(예: 도 3의 메모리(320))와, 적어도 하나의 프로세서(예: 도 3의 프로세서(310))와, 적어도 하나의 입력 장치(예: 도 3의 입력 장치(340))와, 디스플레이(예: 도 3의 디스플레이(330))와, 적어도 하나의 스피커(예: 도 3의 스피커(360)와 통신 회로(예: 도 3의 통신 회로(340))를 가지는(with) 전자 장치(예: 도 3의 전자 장치(101))의 적어도 하나의 프로세서에 의해 실행될 시, 상기 통신 회로를 통해, 상기 전자 장치의 식별 정보를 포함하는 제1 신호를 방송하고, 외부 전자 장치(예: 도 4의 전자 장치(201))로부터, 상기 제1 신호에 대한 응답 신호를 수신하는 것에 기반하여, 상기 전자 장치로부터 기준 거리 이내에 상기 외부 전자 장치가 위치됨을 식별하고, 상기 식별에 응답하여, 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하고, 상기 오디오 신호들의 적어도 일부에 기반하여 식별되고 상기 디스플레이와 상기 외부 전자 장치의 디스플레이 사이의 상대적 위치 관계를 지시하기 위한 제2 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고, 상기 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해, 상기 외부 전자 장치에게 송신하도록 구성될 수 있다. A non-transitory computer-readable storage medium according to an embodiment as described above includes at least one memory configured to store instructions (eg, the memory 320 of FIG. 3 ), and at least one processor (eg, the memory 320 of FIG. 3 ). processor 310), at least one input device (eg, the input device 340 of FIG. 3), a display (eg, the display 330 of FIG. 3), and at least one speaker (eg, the input device 340 of FIG. 3). When executed by at least one processor of an electronic device (eg, the electronic device 101 of FIG. 3) having a speaker 360 and a communication circuit (eg, the communication circuit 340 of FIG. 3), the communication Based on broadcasting a first signal including identification information of the electronic device through a circuit and receiving a response signal to the first signal from an external electronic device (eg, the electronic device 201 of FIG. 4 ) to identify that the external electronic device is located within a reference distance from the electronic device, and in response to the identification, to output audio signals in a specified frequency range through the at least one speaker, based on at least some of the audio signals and receives a second signal for indicating a relative positional relationship between the display and the display of the external electronic device from the external electronic device through the communication circuit, and is displayed on a screen displayed through the display Based on detecting a user input for moving a pointer toward the display of the external electronic device across a periphery of the display identified based on the relative positional relationship, the pointer A third signal for display on a display of the external electronic device may be transmitted to the external electronic device through the communication circuit.
상술한 바와 같은 일 실시예에 따른, 비일시적 컴퓨터 판독가능 저장 매체는, 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리(예: 도 4의 메모리(420))와, 제1 운영 체제(operating system)을 구동하도록 구성된 적어도 하나의 프로세서(예: 도 4의 프로세서(410))와, 디스플레이(예: 도 4의 디스플레이(430))와, 외부 전자 장치(예: 도 3의 전자 장치(101))로부터 출력되는 지정된 주파수 대역 상의 오디오 신호들을 각각 수신하기 위한 제1 방향을 향하는 제1 마이크(예: 도 4의 제1 마이크(450)) 및 상기 제1 방향과 상이한 제2 방향을 향하는 제2 마이크(예: 도 4의 제2 마이크(460))를 포함하는 복수의 마이크들과, 통신 회로(예: 도 4의 통신 회로(440))를 가지는(with) 전자 장치(예: 도 4의 전자 장치(201))의 적어도 하나의 프로세서에 의해 실행될 시, 상기 외부 전자 장치의 식별 정보를 포함하는 제1 신호를 수신하고, 상기 제1 신호에 기반하여, 상기 외부 전자 장치가 상기 전자 장치로부터 기준 거리 이내에 위치됨을 식별하고, 상기 식별에 기반하여, 상기 전자 장치가 상기 외부 전자 장치로부터 상기 기준 거리 이내에 위치됨을 지시하기 위한 응답 신호를, 상기 통신 회로를 통해 상기 전자 장치에게 송신하고, 상기 복수의 마이크들 중 적어도 하나를 통해, 상기 외부 전자 장치로부터 상기 응답 신호에 대응하여 출력되는 상기 지정된 주파수 대역 상의 오디오 신호들에 대한 수신 세기들을 측정하고, 상기 측정된 수신 세기들에 기반하여, 상기 전자 장치와 상기 외부 전자 장치 간의 상대적 위치 관계를 식별하고, 상기 통신 회로를 통해, 상기 식별된 상대적 위치 관계를 지시하기 위한 제2 신호를 상기 외부 전자 장치에게 송신하고, 상기 외부 전자 장치가 상기 외부 전자 장치의 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 외부 전자 장치의 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 전자 장치의 상기 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하도록 구성될 수 있다.According to one embodiment as described above, the non-transitory computer readable storage medium includes at least one memory configured to store instructions (eg, the memory 420 of FIG. 4 ) and a first operating system. From at least one processor configured to drive (eg, the processor 410 of FIG. 4 ), a display (eg, the display 430 of FIG. 4 ), and an external electronic device (eg, the electronic device 101 of FIG. 3 ). A first microphone facing a first direction (eg, the first microphone 450 in FIG. 4 ) and a second microphone facing a second direction different from the first direction (for example, the first microphone 450 in FIG. 4 ) for receiving output audio signals on a designated frequency band, respectively. Example: An electronic device having a plurality of microphones including the second microphone 460 of FIG. 4 and a communication circuit (eg, the communication circuit 440 of FIG. 4 ) (eg, the electronic device of FIG. 4 ) When executed by at least one processor of (201)), a first signal including identification information of the external electronic device is received, and based on the first signal, the external electronic device is at a reference distance from the electronic device. identifying that the electronic device is located within the range, and based on the identification, transmitting a response signal for indicating that the electronic device is located within the reference distance from the external electronic device to the electronic device through the communication circuit; Through at least one of them, reception strengths of audio signals on the designated frequency band output in response to the response signal from the external electronic device are measured, and based on the measured reception strengths, the electronic device and A relative positional relationship between the external electronic devices is identified, and a second signal for indicating the identified relative positional relationship is transmitted to the external electronic device through the communication circuit, and the external electronic device controls the positional relationship of the external electronic device. Moving a pointer displayed on a screen displayed through a display toward the display of the electronic device across a periphery of the display of the external electronic device identified based on the relative positional relationship Based on detecting a user input for doing so, a third signal for displaying the pointer on the display of the electronic device may be configured to receive a third signal from the external electronic device through the communication circuit.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.Electronic devices according to various embodiments disclosed in this document may be devices of various types. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance. An electronic device according to an embodiment of the present document is not limited to the aforementioned devices.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"로 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.Various embodiments of this document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, but should be understood to include various modifications, equivalents, or substitutes of the embodiments. In connection with the description of the drawings, like reference numbers may be used for like or related elements. The singular form of a noun corresponding to an item may include one item or a plurality of items, unless the relevant context clearly dictates otherwise. In this document, "A or B", "at least one of A and B", "at least one of A or B", "A, B or C", "at least one of A, B and C", and "A Each of the phrases such as "at least one of , B, or C" may include any one of the items listed together in that phrase, or all possible combinations thereof. Terms such as "first", "second", or "first" or "secondary" may simply be used to distinguish that component from other corresponding components, and may refer to that component in other respects (eg, importance or order) is not limited. A (e.g. first) component is said to be "coupled" or "connected" to another (e.g. second) component, with or without the terms "functionally" or "communicatively". When mentioned, it means that the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term "module" used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeably interchangeable with terms such as, for example, logic, logical blocks, components, or circuits. can be used as A module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of this document provide one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (eg, the program 140) including them. For example, a processor (eg, the processor 120 ) of a device (eg, the electronic device 101 ) may call at least one command among one or more instructions stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-temporary' only means that the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM(compact disc read only memory))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어
Figure PCTKR2022015441-appb-img-000001
)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments disclosed in this document may be included and provided in a computer program product. Computer program products may be traded between sellers and buyers as commodities. Computer program products are distributed in the form of machine-readable storage media (e.g. CD-ROM (compact disc read only memory)) or through application stores (e.g. Play Store).
Figure PCTKR2022015441-appb-img-000001
) or directly between two user devices (eg smart phones), online distribution (eg download or upload). In the case of online distribution, at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is. According to various embodiments, one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg modules or programs) may be integrated into a single component. In this case, the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component among the plurality of components prior to the integration. . According to various embodiments, the operations performed by a module, program or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations are executed in a different order. may be added, omitted, or one or more other actions may be added.

Claims (15)

  1. 전자 장치에 있어서, In electronic devices,
    인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리;at least one memory configured to store instructions;
    적어도 하나의 프로세서;at least one processor;
    적어도 하나의 입력 장치;at least one input device;
    디스플레이;display;
    적어도 하나의 스피커; 및at least one speaker; and
    통신 회로;를 포함하고, a communication circuit;
    상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시,When the at least one processor executes the instructions,
    상기 통신 회로를 통해, 상기 전자 장치의 식별 정보를 포함하는 제1 신호를 방송하고,Broadcasting a first signal including identification information of the electronic device through the communication circuit;
    외부 전자 장치로부터, 상기 제1 신호에 대한 응답 신호를 수신하는 것에 기반하여, 상기 전자 장치로부터 기준 거리 이내에 상기 외부 전자 장치가 위치됨을 식별하고,Identifying that the external electronic device is located within a reference distance from the electronic device based on receiving a response signal to the first signal from the external electronic device;
    상기 식별에 응답하여, 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하고,In response to the identification, outputting audio signals on a designated frequency range through the at least one speaker;
    상기 오디오 신호들의 적어도 일부에 기반하여 식별되고 상기 디스플레이와 상기 외부 전자 장치의 디스플레이 사이의 상대적 위치 관계를 지시하기 위한 제2 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고,Receiving a second signal identified based on at least some of the audio signals and indicating a relative positional relationship between the display and the display of the external electronic device from the external electronic device through the communication circuit;
    상기 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해, 상기 외부 전자 장치에게 송신하도록 구성되는, A user for moving a pointer displayed on the screen displayed through the display toward the display of the external electronic device across a periphery of the display identified based on the relative positional relationship. Based on detecting the input, transmit a third signal for displaying the pointer on the display of the external electronic device to the external electronic device through the communication circuit.
    전자 장치.electronic device.
  2. 청구항 1에 있어서, 상기 식별 정보는, The method according to claim 1, wherein the identification information,
    상기 적어도 하나의 스피커가 단일 스피커 또는 듀얼 스피커 중 어느 하나를 지시하기 위한 정보를 더 포함하고,The at least one speaker further includes information for indicating either a single speaker or a dual speaker,
    상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시, When the at least one processor executes the instructions,
    상기 적어도 하나의 스피커가 상기 단일 스피커에 상응하는 경우, 상기 단일 스피커를 통해 상기 지정된 주파수 범위 내의 제1 주파수 대역 상의 오디오 신호들을 출력하도록 구성되고, When the at least one speaker corresponds to the single speaker, configured to output audio signals on a first frequency band within the designated frequency range through the single speaker,
    상기 적어도 하나의 스피커가 상기 듀얼 스피커에 상응하는 경우, 상기 적어도 하나의 스피커 중 제1 스피커를 통해 제2 주파수 대역 상의 오디오 신호들을 출력하고, 상기 적어도 하나의 스피커 중 제2 스피커를 통해 상기 지정된 주파수 범위 내의 제3 주파수 대역 상의 오디오 신호를 출력하도록 구성되고, When the at least one speaker corresponds to the dual speaker, audio signals in a second frequency band are output through a first speaker among the at least one speaker, and the designated frequency band is output through a second speaker among the at least one speaker. configured to output an audio signal on a third frequency band within the range;
    상기 제2 주파수 대역은, 상기 제3 주파수 대역과 서로 상이하고, The second frequency band is different from the third frequency band,
    상기 지정된 주파수 범위는, 비가청 주파수 대역들을 포함하고,The designated frequency range includes inaudible frequency bands,
    상기 제1 주파수 대역 상의 오디오 신호들은, 상기 외부 전자 장치의 다중 마이크들을 통해 획득되고,Audio signals on the first frequency band are acquired through multiple microphones of the external electronic device,
    상기 제2 주파수 대역 상의 오디오 신호들 및 상기 제3 주파수 대역 상의 오디오 신호들은, 상기 다중 마이크들 중 어느 하나를 통해 획득되고,Audio signals on the second frequency band and audio signals on the third frequency band are acquired through one of the multiple microphones,
    상기 상대적 위치 관계는, The relative positional relationship is
    상기 다중 마이크들을 통해 획득된 상기 제1 주파수 대역 상의 오디오 신호들에 대한 수신 세기에 기반하여 식별되거나, 상기 다중 마이크들 중 적어도 하나를 통해 획득된 상기 제2 주파수 대역 상의 오디오 신호들 및 상기 다중 마이크들 중 적어도 하나를 통해 획득된 상기 제3 주파수 대역 상의 오디오 신호들에 대한 수신 세기에 기반하여 식별되는, Audio signals on the second frequency band obtained through at least one of the multiple microphones and the multiple microphones identified based on the reception strength of the audio signals on the first frequency band obtained through the multiple microphones. Identified based on the reception strength of audio signals on the third frequency band obtained through at least one of
    전자 장치.electronic device.
  3. 청구항 1 내지 2 중 어느 한 항에 있어서, According to any one of claims 1 to 2,
    상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시,When the at least one processor executes the instructions,
    상기 상대적 위치 관계에 기반하여 식별된 상기 일 가장자리(periphery)를 포함하는 지정된 영역 내에서 상기 포인터가 상기 상대적 위치 관계에 기반하여 식별된 방향으로 미리 정의된 크기를 초과하여 이동됨을 식별하는 것에 응답하여, 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하도록 구성되는,In response to identifying that the pointer is moved beyond a predefined size in a direction identified based on the relative positional relationship within a designated area including the periphery identified based on the relative positional relationship , configured to detect a user input for moving toward a display of the external electronic device,
    전자 장치.electronic device.
  4. 청구항 1 내지 3 중 어느 한 항에 있어서, According to any one of claims 1 to 3,
    상기 제1 신호는, The first signal is
    블루투스 저전력(Bluetooth low energy)의 애드버타이징(advertising) 패킷 또는 무선 액세스 포인트(access point)의 식별자 중 적어도 하나를 포함하는 신호 또는 자기장 신호에 상응하는,Corresponding to a signal or magnetic field signal including at least one of an advertising packet of Bluetooth low energy or an identifier of a wireless access point,
    전자 장치.electronic device.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서,According to any one of claims 1 to 4,
    상기 상대적 위치 관계는,The relative positional relationship is
    상기 전자 장치로부터 상기 외부 전자 장치를 향하는 방향 또는 상기 외부 전자 장치로부터 상기 전자 장치를 향하는 방향을 지시하는,Indicating a direction from the electronic device to the external electronic device or a direction from the external electronic device to the electronic device,
    전자 장치.electronic device.
  6. 청구항 1 내지 5 중 어느 한 항에 있어서,According to any one of claims 1 to 5,
    상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시,When the at least one processor executes the instructions,
    상기 외부 전자 장치의 자이로(gyro) 센서 및 가속도 센서를 통해 식별되는 상기 외부 전자 장치의 변위(displacement)를 지시하기 위한 제4 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고,Receiving a fourth signal for instructing displacement of the external electronic device, which is identified through a gyro sensor and an acceleration sensor of the external electronic device, from the external electronic device through the communication circuit;
    상기 제4 신호를 수신함에 응답하여, 상기 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하도록 구성되는, In response to receiving the fourth signal, configured to output audio signals on the specified frequency range through the at least one speaker.
    전자 장치.electronic device.
  7. 청구항 1 내지 6 중 어느 한 항에 있어서,According to any one of claims 1 to 6,
    상기 적어도 하나의 프로세서는, 상기 인스트럭션들을 실행할 시,When the at least one processor executes the instructions,
    상기 디스플레이를 통해 표시되는 상기 화면은, 제1 운영 체제(operating system)를 실행하는 동안 표시되고,The screen displayed through the display is displayed while a first operating system is running,
    상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 상기 사용자 입력이 드래그(drag) 입력에 상응하는 경우, 상기 드래그 입력에 따라 이동되는 상기 포인터에 동반되는(accompanied) 시각적 객체의 유형을 식별하고,When the user input for moving toward the display of the external electronic device corresponds to a drag input, identifying a type of visual object that is accompanied by the pointer moved according to the drag input;
    상기 제1 운영 체제와 상이한 제2 운영 체제 내에서 실행 가능한 복수의 어플리케이션들 중 상기 식별된 유형에 따라 상기 시각적 객체를 통해 제공되는 기능을 실행하기 위해 이용되는 어플리케이션을 지시하기 위한 정보를 더(further) 포함하는 상기 제3 신호를 상기 외부 전자 장치에게 송신하는,Further information for indicating an application used to execute a function provided through the visual object according to the identified type among a plurality of applications executable in a second operating system different from the first operating system. ) to transmit the third signal to the external electronic device,
    전자 장치.electronic device.
  8. 인스트럭션들을 저장하도록 구성된 적어도 하나의 메모리, 적어도 하나의 프로세서, 적어도 하나의 입력 장치, 디스플레이, 적어도 하나의 스피커, 및 통신 회로를 포함하는 전자 장치의 동작 방법에 있어서,A method of operating an electronic device comprising at least one memory configured to store instructions, at least one processor, at least one input device, a display, at least one speaker, and communication circuitry,
    상기 전자 장치의 식별 정보를 포함하는 제1 신호를 방송하는 동작과,broadcasting a first signal including identification information of the electronic device;
    외부 전자 장치로부터, 상기 제1 신호에 대한 응답 신호를 수신하는 것에 기반하여, 상기 전자 장치로부터 기준 거리 이내에 상기 외부 전자 장치가 위치됨을 식별하는 동작과,identifying that the external electronic device is located within a reference distance from the electronic device, based on receiving a response signal to the first signal from the external electronic device;
    상기 식별에 응답하여, 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하는 동작과,In response to the identification, outputting audio signals in a designated frequency range through the at least one speaker;
    상기 오디오 신호들의 적어도 일부에 기반하여 식별되고 상기 디스플레이와 상기 외부 전자 장치의 디스플레이 사이의 상대적 위치 관계를 지시하기 위한 제2 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하는 동작과,Receiving a second signal identified based on at least some of the audio signals and indicating a relative positional relationship between the display and the display of the external electronic device from the external electronic device through the communication circuit;
    상기 디스플레이를 통해 표시되는 화면 상에 표시되는 포인터(pointer)를 상기 상대적 위치 관계에 기반하여 식별된 상기 디스플레이의 일 가장자리(periphery)를 지나(across) 상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 사용자 입력을 검출하는 것에 기반하여, 상기 포인터를 상기 외부 전자 장치의 디스플레이 상에서 표시하기 위한 제3 신호를, 상기 통신 회로를 통해, 상기 외부 전자 장치에게 송신하는 동작을 포함하는A user for moving a pointer displayed on the screen displayed through the display toward the display of the external electronic device across a periphery of the display identified based on the relative positional relationship. Based on detecting an input, transmitting a third signal for displaying the pointer on a display of the external electronic device to the external electronic device through the communication circuit.
    방법.method.
  9. 청구항 8에 있어서, The method of claim 8,
    상기 식별 정보는, The identification information,
    상기 적어도 하나의 스피커가 단일 스피커 또는 듀얼 스피커 중 어느 하나를 지시하기 위한 정보를 더 포함하고,The at least one speaker further includes information for indicating either a single speaker or a dual speaker,
    상기 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하는 동작은, The operation of outputting audio signals on the specified frequency range through the at least one speaker,
    상기 적어도 하나의 스피커가 상기 단일 스피커에 상응하는 경우, 상기 단일 스피커를 통해 상기 지정된 주파수 범위 내의 제1 주파수 대역 상의 오디오 신호들을 출력하는 동작과, If the at least one speaker corresponds to the single speaker, outputting audio signals on a first frequency band within the designated frequency range through the single speaker;
    상기 적어도 하나의 스피커가 상기 듀얼 스피커에 상응하는 경우, 상기 적어도 하나의 스피커 중 제1 스피커를 통해 제2 주파수 대역 상의 오디오 신호들을 출력하고, 상기 적어도 하나의 스피커 중 제2 스피커를 통해 상기 지정된 주파수 범위 내의 제3 주파수 대역 상의 오디오 신호를 출력하는 동작을 포함하고, When the at least one speaker corresponds to the dual speaker, audio signals in a second frequency band are output through a first speaker among the at least one speaker, and the designated frequency band is output through a second speaker among the at least one speaker. Outputting an audio signal on a third frequency band within the range;
    상기 제2 주파수 대역은, 상기 제3 주파수 대역과 서로 상이하고, The second frequency band is different from the third frequency band,
    상기 지정된 주파수 범위는, 비가청 주파수 대역들을 포함하고,The designated frequency range includes inaudible frequency bands,
    상기 제1 주파수 대역 상의 오디오 신호들은, 상기 외부 전자 장치의 다중 마이크들을 통해 획득되고,Audio signals on the first frequency band are acquired through multiple microphones of the external electronic device,
    상기 제2 주파수 대역 상의 오디오 신호들 및 상기 제3 주파수 대역 상의 오디오 신호들은, 상기 다중 마이크들 중 어느 하나를 통해 획득되고,Audio signals on the second frequency band and audio signals on the third frequency band are acquired through one of the multiple microphones,
    상기 상대적 위치 관계는, The relative positional relationship is
    상기 다중 마이크들을 통해 획득된 상기 제1 주파수 대역 상의 오디오 신호들에 대한 수신 세기에 기반하여 식별되거나, 상기 다중 마이크들 중 적어도 하나를 통해 획득된 상기 제2 주파수 대역 상의 오디오 신호들 및 상기 다중 마이크들 중 적어도 하나를 통해 획득된 상기 제3 주파수 대역 상의 오디오 신호들에 대한 수신 세기에 기반하여 식별되는, Audio signals on the second frequency band obtained through at least one of the multiple microphones and the multiple microphones identified based on the reception strength of the audio signals on the first frequency band obtained through the multiple microphones. Identified based on the reception strength of audio signals on the third frequency band obtained through at least one of
    방법.method.
  10. 청구항 8 내지 9 중 어느 한 항에 있어서, According to any one of claims 8 to 9,
    상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 상기 사용자 입력은,The user input for moving toward the display of the external electronic device,
    상기 상대적 위치 관계에 기반하여 식별된 상기 일 가장자리(periphery)를 포함하는 지정된 영역 내에서 상기 포인터가 상기 상대적 위치 관계에 기반하여 식별된 방향으로 미리 정의된 크기를 초과하여 이동됨을 식별하는 것에 기반하는, Based on identifying that the pointer is moved beyond a predefined size in a direction identified based on the relative positional relationship in a designated area including the periphery identified based on the relative positional relationship ,
    방법.method.
  11. 청구항 8 내지 10 중 어느 한 항에 있어서, According to any one of claims 8 to 10,
    상기 제1 신호는, The first signal is
    블루투스 저전력(Bluetooth low energy)의 애드버타이징(advertising) 패킷 또는 무선 액세스 포인트(access point)의 식별자 중 적어도 하나를 포함하는 신호 또는 자기장 신호에 상응하고,Corresponds to a signal including at least one of an advertising packet of Bluetooth low energy or an identifier of a wireless access point or a magnetic field signal,
    상기 상대적 위치 관계는,The relative positional relationship is
    상기 전자 장치로부터 상기 외부 전자 장치를 향하는 방향 또는 상기 외부 전자 장치로부터 상기 전자 장치를 향하는 방향을 지시하는,Indicating a direction from the electronic device to the external electronic device or a direction from the external electronic device to the electronic device,
    방법.method.
  12. 청구항 8 내지 11 중 어느 한 항에 있어서,According to any one of claims 8 to 11,
    상기 외부 전자 장치의 자이로(gyro) 센서 및 가속도 센서를 통해 식별되는 상기 외부 전자 장치의 변위(displacement)를 지시하기 위한 제4 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하는 동작과,receiving, from the external electronic device through the communication circuit, a fourth signal for indicating a displacement of the external electronic device identified through a gyro sensor and an acceleration sensor of the external electronic device;
    상기 제4 신호를 수신함에 응답하여, 상기 지정된 주파수 범위 상의 오디오 신호들을 상기 적어도 하나의 스피커를 통해 출력하는 동작을 더 포함하는, In response to receiving the fourth signal, further comprising outputting audio signals in the designated frequency range through the at least one speaker.
    방법.method.
  13. 청구항 8 내지 12 중 어느 한 항에 있어서,According to any one of claims 8 to 12,
    상기 디스플레이를 통해 표시되는 상기 화면은, 제1 운영 체제(operating system)를 실행하는 동안 표시되고,The screen displayed through the display is displayed while a first operating system is running,
    상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 상기 사용자 입력이 드래그(drag) 입력에 상응하는 경우, 상기 드래그 입력에 따라 이동되는 상기 포인터에 동반되는(accompanied) 시각적 객체의 유형을 식별하는 동작을 더 포함하고, When the user input for moving toward the display of the external electronic device corresponds to a drag input, an operation of identifying a type of visual object accompanying the pointer moved according to the drag input is further performed. include,
    상기 제3 신호는, The third signal,
    상기 제1 운영 체제와 상이한 제2 운영 체제 내에서 실행 가능한 복수의 어플리케이션들 중 상기 식별된 유형에 따라 상기 시각적 객체를 통해 제공되는 기능을 실행하기 위해 이용되는 어플리케이션을 지시하기 위한 정보를 더 포함하는, Further comprising information for indicating an application used to execute a function provided through the visual object according to the identified type among a plurality of applications executable in a second operating system different from the first operating system ,
    방법.method.
  14. 청구항 8 내지 13 중 어느 한 항에 있어서,According to any one of claims 8 to 13,
    상기 디스플레이를 통해 표시되는 상기 화면은, 제1 운영 체제(operating system)를 실행하는 동안 표시되고,The screen displayed through the display is displayed while a first operating system is running,
    상기 방법은,The method,
    상기 외부 전자 장치의 디스플레이를 향해 이동하기 위한 상기 사용자 입력이 드래그(drag) 입력에 상응하는 경우, 상기 드래그 입력에 따라 이동되는 상기 포인터에 동반되는(accompanied) 시각적 객체의 유형을 식별하는 동작; 및when the user input for moving toward the display of the external electronic device corresponds to a drag input, identifying a type of visual object that is accompanied by the pointer moved according to the drag input; and
    상기 제1 운영 체제와 상이한 제2 운영 체제 내에서 실행 가능한 복수의 어플리케이션들 중 상기 식별된 유형에 따라 상기 시각적 객체를 통해 제공되는 기능을 실행하기 위해 이용되는 어플리케이션을 지시하기 위한 정보를 더(further) 포함하는 상기 제3 신호를 상기 외부 전자 장치에게 송신하는 동작을 더 포함하는,Further information for indicating an application used to execute a function provided through the visual object according to the identified type among a plurality of applications executable in a second operating system different from the first operating system. ) further comprising transmitting the third signal to the external electronic device.
    방법.method.
  15. 적어도 하나의 입력 장치, 디스플레이, 적어도 하나의 스피커, 및 통신 회로를 포함하는 전자 장치의 프로세서에 의해 실행될 시, 청구항 8 내지 14의 방법을 실행하도록 상기 전자 장치를 야기하는 인스트럭션들을 포함하는 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체.One or more programs comprising instructions that, when executed by a processor of an electronic device comprising at least one input device, a display, at least one speaker, and communication circuitry, cause the electronic device to perform the method of claims 8-14. A computer readable storage medium that stores them.
PCT/KR2022/015441 2021-10-13 2022-10-13 Electronic device, method, and computer readable storage medium for identifying location of external electronic device within wireless environment WO2023063730A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0136183 2021-10-13
KR20210136183 2021-10-13
KR10-2022-0007359 2022-01-18
KR1020220007359A KR20230052787A (en) 2021-10-13 2022-01-18 Electronic device, method and non-transitory computer readable storage meduim for identifying loacation of external electronic device in wireless environment

Publications (1)

Publication Number Publication Date
WO2023063730A1 true WO2023063730A1 (en) 2023-04-20

Family

ID=85987537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/015441 WO2023063730A1 (en) 2021-10-13 2022-10-13 Electronic device, method, and computer readable storage medium for identifying location of external electronic device within wireless environment

Country Status (1)

Country Link
WO (1) WO2023063730A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090053561A (en) * 2007-11-23 2009-05-27 엘지전자 주식회사 Mobile terminal having a function for local area communication and control method thereof
WO2010100075A1 (en) * 2009-03-05 2010-09-10 Telefonaktiebolaget L M Ericsson (Publ) Cooperative drag and drop
KR20140011857A (en) * 2012-07-20 2014-01-29 삼성전자주식회사 Control method for displaying of display device and the mobile terminal therefor
KR20160144919A (en) * 2015-06-09 2016-12-19 삼성전자주식회사 Electronic device, peripheral device, and control method thereof
KR101922283B1 (en) * 2011-12-28 2019-02-13 노키아 테크놀로지스 오와이 Provision of an open instance of an application

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090053561A (en) * 2007-11-23 2009-05-27 엘지전자 주식회사 Mobile terminal having a function for local area communication and control method thereof
WO2010100075A1 (en) * 2009-03-05 2010-09-10 Telefonaktiebolaget L M Ericsson (Publ) Cooperative drag and drop
KR101922283B1 (en) * 2011-12-28 2019-02-13 노키아 테크놀로지스 오와이 Provision of an open instance of an application
KR20140011857A (en) * 2012-07-20 2014-01-29 삼성전자주식회사 Control method for displaying of display device and the mobile terminal therefor
KR20160144919A (en) * 2015-06-09 2016-12-19 삼성전자주식회사 Electronic device, peripheral device, and control method thereof

Similar Documents

Publication Publication Date Title
WO2022030990A1 (en) Electronic device for providing various user interfaces through plurality of displays, and method therefor
WO2022154363A1 (en) Audio device for processing audio data and operating method thereof
WO2022025606A1 (en) Electronic device and method for controlling audio volume thereof
WO2022265242A1 (en) Antenna module and electronic device comprising same, and operation method of electronic device
WO2022108283A1 (en) Expandable display control method and electronic device supporting same
WO2022097892A1 (en) Electronic device and image sharing method of electronic device
WO2022154440A1 (en) Electronic device for processing audio data and method for operating same
WO2022108379A1 (en) Electronic device including expandable display and content provision method
WO2022080990A1 (en) Electronic device and method for controlling function on basis of shape of same electronic device
WO2022119194A1 (en) Electronic device and multichannel audio output method using same
WO2023063730A1 (en) Electronic device, method, and computer readable storage medium for identifying location of external electronic device within wireless environment
WO2024063564A1 (en) Foldable electronic device and method for operating foldable electronic device
WO2024034838A1 (en) Electronic device and method for displaying screen through plurality of displays
WO2022080698A1 (en) Method for providing screen by using flexible display, and electronic device supporting same
WO2023106903A1 (en) Method and electronic device for scanning channels of frequency bands
WO2023277368A1 (en) Method for relaying data by using different frequency bands, and electronic device performing same
WO2023113370A1 (en) Electronic device for wireless lan communication with plurality of external apparatuses, and operation method therefor
WO2024025082A1 (en) Electronic device and method for displaying screen via flexible display
WO2024005412A1 (en) Electronic device comprising antenna
WO2024029716A1 (en) Electronic device and method for displaying screen through flexible display
WO2024063380A1 (en) Electronic device and method for controlling screen displayed on flexible display
WO2023277607A1 (en) Electronic device comprising antenna
WO2022103070A1 (en) Electronic device and user interface display method
WO2022103207A1 (en) Electronic device comprising antenna
WO2023054875A1 (en) Electronic device and method for obtaining information on external object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22881357

Country of ref document: EP

Kind code of ref document: A1