KR20190033983A - Audio device and control method thereof - Google Patents

Audio device and control method thereof Download PDF

Info

Publication number
KR20190033983A
KR20190033983A KR1020170122796A KR20170122796A KR20190033983A KR 20190033983 A KR20190033983 A KR 20190033983A KR 1020170122796 A KR1020170122796 A KR 1020170122796A KR 20170122796 A KR20170122796 A KR 20170122796A KR 20190033983 A KR20190033983 A KR 20190033983A
Authority
KR
South Korea
Prior art keywords
wireless communication
clock
processor
communication unit
audio data
Prior art date
Application number
KR1020170122796A
Other languages
Korean (ko)
Inventor
정혁준
김제익
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170122796A priority Critical patent/KR20190033983A/en
Priority to PCT/KR2018/002937 priority patent/WO2019059475A1/en
Publication of KR20190033983A publication Critical patent/KR20190033983A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H04L7/0033—Correction by delay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/02—Speed or phase control by the received code signals, the signals containing no special synchronisation information
    • H04L7/027—Speed or phase control by the received code signals, the signals containing no special synchronisation information extracting the synchronising or clock signal from the received signal spectrum, e.g. by using a resonant or bandpass circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0042—Universal serial bus [USB]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

The present invention relates to an audio device comprising: a wireless communication unit for performing a wireless communication with an external device; and a processor that receives audio data from the external device through the wireless communication unit and processes the audio data with a first clock, wherein the processor can correct the first clock based on a rate between a time interval counted by the first clock for a predetermined interval and a time interval counted by a second clock of the wireless communication unit with respect to the interval. Accordingly, by accurately compensating a processing delay during the synchronization within the audio device and preventing an influence from the transmission delay, a precision of synchronization can be improved.

Description

오디오장치 및 그 오디오장치의 제어방법 {AUDIO DEVICE AND CONTROL METHOD THEREOF}AUDIO DEVICE AND CONTROL METHOD FOR THE AUDIO DEVICE

본 발명은 오디오장치 및 그 오디오장치의 제어방법에 관한 것이다.The present invention relates to an audio apparatus and a control method of the audio apparatus.

물리적으로 분리된 복수의 전자장치가 하나의 오디오데이터를 처리하여 출력하면, 입체감이 있는 음장 효과를 제공할 수 있으며, 복수의 전자장치 간에 동기화가 정밀하게 수행될수록 음장 효과가 더욱 향상된다. When a plurality of physically separated electronic devices process and output one audio data, a three-dimensional sound field effect can be provided, and the more accurately the synchronization between a plurality of electronic devices is performed, the more the sound field effect is improved.

그러나, 각 전자장치 내부에서 동기화를 수행하는 과정 중 발생하는 시간지연에 의해 동기화의 정밀성이 저하되는 문제점이 발생한다. 시간지연에는, 전자장치의 각 내부 구성마다 동기화를 위한 데이터 처리 시 발생하는 처리지연(processing delay)과, 전자장치의 내부 구성 간에 동기화를 위한 데이터 전송 시 발생하는 전송지연(propagation delay)이 있다.However, there is a problem that the precision of synchronization is degraded due to the time delay occurring in the process of performing synchronization in each electronic device. The time delay includes a processing delay occurring in data processing for synchronization for each internal configuration of the electronic device and a propagation delay occurring in data transmission for synchronization between the internal configuration of the electronic device.

따라서, 본 발명의 목적은, 전자장치 내부에서 동기화를 수행하는 중 처리지연을 정확하게 보상하고, 전송지연으로부터 영향을 받지 않도록 하여, 동기화의 정밀성을 향상시킬 수 있는 오디오장치 및 그 오디오장치의 제어방법을 제공하는 것이다.It is therefore an object of the present invention to provide an audio device capable of accurately compensating for processing delay in performing synchronization within an electronic device and being not affected by transmission delay and improving the precision of synchronization, .

본 발명의 목적은, 외부장치와 무선통신을 수행하는 무선통신부; 및 상기 무선통신부를 통하여 상기 외부장치로부터 오디오데이터를 수신하고, 제1클럭으로 상기 오디오데이터를 처리하는 프로세서를 포함하며, 상기 프로세서는, 소정 구간 동안 상기 제1클럭으로 카운트되는 시간간격과, 상기 구간에 대하여 상기 무선통신부의 제2클럭으로 카운트되는 시간간격 간의 비율에 기초하여 상기 제1클럭을 보정하는 오디오장치에 의해 달성될 수 있다. An object of the present invention is to provide a wireless communication device that wirelessly communicates with an external device; And a processor for receiving audio data from the external device through the wireless communication unit and processing the audio data at a first clock, the processor comprising: a time interval counted by the first clock for a predetermined interval; And correcting the first clock based on a ratio of a time interval counted to a second clock of the wireless communication unit with respect to the interval.

여기서, 상기 무선통신부는, 상기 구간의 간격으로 인터럽트 신호를 출력하고, 상기 인터럽트 신호의 출력에 대응하여 카운트된 시간값을 상기 프로세스로 전송하며, 상기 프로세서는, 상기 출력된 인터럽트 신호의 수신에 대응하여 카운트된 시간값과, 상기 무선통신부로부터 전송된 시간값에 기초하여 상기 비율을 결정할 수 있다. Here, the wireless communication unit outputs an interrupt signal at intervals of the interval, and transmits a counted time value to the process in response to the output of the interrupt signal, and the processor responds to reception of the output interrupt signal And the ratio can be determined based on the counted time value and the time value transmitted from the wireless communication unit.

여기서, 상기 프로세서는, 복수의 클럭 중 상기 비율에 대응하는 수의 클럭을 가감함으로써, 상기 제1클럭을 보정할 수 있다. Here, the processor may correct the first clock by adding or subtracting a number of clocks corresponding to the ratio among the plurality of clocks.

여기서, 상기 프로세서는, 상기 보정된 제1클럭에 대응하도록 상기 오디오데이터의 일부 구간을 가감할 수 있다. Here, the processor may add or subtract a portion of the audio data to correspond to the corrected first clock.

여기서, 상기 무선통신부는 상기 외부장치로부터의 클럭정보에 기초하여 상기 제2클럭을 동기화할 수 있다. Here, the wireless communication unit may synchronize the second clock based on clock information from the external device.

여기서, 상기 구간의 간격의 주기는 불규칙할 수 있다. Here, the interval of intervals of the intervals may be irregular.

여기서, 상기 무선통신부 및 상기 프로세서의 사이에 마련되는 제1통신인터페이스를 더 포함하며, 상기 프로세서는 상기 제1통신인터페이스를 통하여 상기 무선통신부로부터 상기 인터럽트 신호의 출력에 대응하여 카운트된 시간값을 수신할 수 있다. The wireless communication unit may further include a first communication interface provided between the wireless communication unit and the processor, wherein the processor receives the time value counted in response to the output of the interrupt signal from the wireless communication unit through the first communication interface can do.

여기서, 상기 무선통신부 및 상기 프로세서의 사이에 마련되는 제2통신인터페이스를 더 포함하며, 상기 프로세서는 상기 제2통신인터페이스를 통하여 상기 인터럽트 신호를 수신할 수 있다. Here, the wireless communication unit may further include a second communication interface provided between the wireless communication unit and the processor, and the processor may receive the interrupt signal through the second communication interface.

여기서, 상기 제1통신인터페이스는 USB (Universal Serial Bus)를 포함하며, 상기 제2통신인터페이스는 다용도입출력포트 (GPIO, General-purpose input/output)을 포함할 수 있다. Here, the first communication interface may include a universal serial bus (USB), and the second communication interface may include a general purpose input / output (GPIO).

또한, 본 발명의 목적은, 상기 무선통신부에 의해 외부장치와 무선통신을 수행하는 단계; 및 상기 프로세서에 의해 상기 무선통신을 통하여 상기 외부장치로부터 오디오데이터를 수신하고, 제1클럭으로 상기 오디오데이터를 처리하는 단계를 포함하며, 상기 처리하는 단계는, 소정 구간 동안 상기 제1클럭으로 카운트되는 시간간격과, 상기 구간에 대하여 상기 무선통신부의 제2클럭으로 카운트되는 시간간격 간의 비율에 기초하여 상기 제1클럭을 보정하는 단계를 더 포함하는 오디오장치의 제어방법에 의해 달성될 수 있다. In addition, an object of the present invention is also achieved by a wireless communication method, comprising: performing wireless communication with an external device by the wireless communication unit; And receiving audio data from the external device via the wireless communication by the processor and processing the audio data at a first clock, wherein the processing comprises: counting the first clock for a predetermined period of time; And correcting the first clock based on a ratio of a time interval between the first clock and the second clock of the wireless communication unit to a second clock of the wireless communication unit with respect to the interval.

여기서, 상기 무선통신부에 의해 상기 구간의 간격으로 인터럽트 신호를 출력하고, 상기 인터럽트 신호의 출력에 대응하여 카운트된 시간값을 상기 프로세스로 전송하는 단계; 및 상기 프로세서에 의해 상기 출력된 인터럽트 신호의 수신에 대응하여 카운트된 시간값과, 상기 무선통신부로부터 전송된 시간값에 기초하여 상기 비율을 결정하는 단계를 더 포함할 수 있다. Outputting an interrupt signal at intervals of the interval by the wireless communication unit and transmitting the counted time value to the process in response to the output of the interrupt signal; And determining the ratio based on a time value counted corresponding to reception of the output interrupt signal by the processor and a time value transmitted from the wireless communication unit.

여기서, 상기 제1클럭을 보정하는 단계는, 복수의 클럭 중 상기 비율에 대응하는 수의 클럭을 가감하는 단계를 더 포함할 수 있다. The step of correcting the first clock may further include adding or subtracting a number of clocks corresponding to the ratio among the plurality of clocks.

여기서, 상기 제1클럭을 보정하는 단계는, 상기 보정된 제1클럭에 대응하도록 상기 오디오데이터의 일부 구간을 가감하는 단계를 더 포함할 수 있다. The step of correcting the first clock may further include the step of adding or subtracting a part of the audio data to correspond to the corrected first clock.

여기서, 상기 무선통신부에 의해 상기 외부장치로부터의 클럭정보에 기초하여 상기 제2클럭을 동기화하는 단계를 더 포함할 수 있다. The method may further include synchronizing the second clock based on clock information from the external device by the wireless communication unit.

여기서, 상기 구간의 간격의 주기는 불규칙할 수 있다. Here, the interval of intervals of the intervals may be irregular.

여기서, 상기 무선통신부 및 상기 프로세서의 사이에 마련되는 제1통신인터페이스를 통하여 상기 무선통신부로부터 상기 인터럽트 신호의 출력에 대응하여 카운트된 시간값을 수신하는 단계를 포함할 수 있다. The method may further include receiving a counted time value corresponding to the output of the interrupt signal from the wireless communication unit through a first communication interface provided between the wireless communication unit and the processor.

여기서, 상기 무선통신부 및 상기 프로세서의 사이에 마련되는 제2통신인터페이스를 통하여 상기 인터럽트 신호를 수신하는 단계를 더 포함할 수 있다. The method may further include receiving the interrupt signal through a second communication interface provided between the wireless communication unit and the processor.

여기서, 상기 제1통신인터페이스는 USB (Universal Serial Bus)를 포함하며, 상기 제2통신인터페이스는 다용도입출력포트 (GPIO, General-purpose input/output)을 포함할 수 있다. Here, the first communication interface may include a universal serial bus (USB), and the second communication interface may include a general purpose input / output (GPIO).

또한, 본 발명의 목적은, 컴퓨터가 읽을 수 있는 코드로서 무선통신부와 프로세서를 포함하는 오디오장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 오디오장치의 제어방법으로서, 상기 무선통신부에 의해 외부장치와 무선통신을 수행하는 단계; 및 상기 프로세서에 의해 상기 무선통신을 통하여 상기 외부장치로부터 오디오데이터를 수신하고, 제1클럭으로 상기 오디오데이터를 처리하는 단계를 포함하며, 상기 처리하는 단계는, 소정 구간 동안 상기 제1클럭으로 카운트되는 시간간격과, 상기 구간에 대하여 상기 무선통신부의 제2클럭으로 카운트되는 시간간격 간의 비율에 기초하여 상기 제1클럭을 보정하는 단계를 더 포함하는 포함하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체에 의해 달성될 수 있다. It is another object of the present invention to provide a recording medium on which a computer program including a code for performing a control method of an audio apparatus including a wireless communication unit and a processor as computer readable codes is stored, Performing wireless communication with an external device by the wireless communication unit; And receiving audio data from the external device via the wireless communication by the processor and processing the audio data at a first clock, wherein the processing comprises: counting the first clock for a predetermined period of time; And correcting the first clock based on a ratio of a time interval between the first clock and the second clock of the wireless communication unit to a second clock of the wireless communication unit with respect to the interval, Media. ≪ / RTI >

따라서, 본 발명에 의하면, 전자장치 내부에서 동기화를 수행하는 중 처리지연을 정확하게 보상하고, 전송지연으로부터 영향을 받지 않도록 하여, 동기화의 정밀성을 향상시킬 수 있는 오디오장치 및 그 오디오장치의 제어방법을 제공할 수 있다.Therefore, according to the present invention, an audio device and a control method of the audio device that can precisely compensate for a processing delay for performing synchronization in an electronic device and are not affected by transmission delay, thereby improving the precision of synchronization .

도 1은 본 발명의 일 실시예에 따라 복수의 전자장치가 오디오를 동일한 타이밍으로 출력하는 예시를 도시한다.
도 2은 본 발명의 다른 실시예에 따라 복수의 전자장치가 오디오를 동일한 타이밍으로 출력하는 예시를 도시한다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 블록도를 도시한다.
도 4은 본 발명의 일 실시예에 따른 전자장치가 동기화를 수행하는 순서를 도시한다.
도 5는 본 발명의 일 실시예에 따라 전자장치가 동기화를 수행하는 과정을 도시한다.
도 6 및 도 7은 도 5에 의한 동기화를 수행하는 예시를 도시한다.
도 8은 본 발명의 다른 실시예에 따라 전자장치가 동기화를 수행하는 과정을 도시한다.
도 9 및 도 10는 도 8에 의한 동기화를 수행하는 예시를 도시한다.
도 11은 본 발명의 또 다른 실시예에 따라 전자장치가 동기화를 수행하는 과정을 도시한다. 1 shows an example in which a plurality of electronic devices output audio at the same timing in accordance with an embodiment of the present invention.
2 shows an example in which a plurality of electronic devices output audio at the same timing according to another embodiment of the present invention.
3 shows a block diagram of an electronic device according to an embodiment of the present invention.
4 shows a sequence in which an electronic device according to an embodiment of the present invention performs synchronization.
5 illustrates a process by which an electronic device performs synchronization according to an embodiment of the present invention.
6 and 7 illustrate an example of performing synchronization according to FIG.
8 illustrates a process by which an electronic device performs synchronization according to another embodiment of the present invention.
9 and 10 illustrate an example of performing synchronization according to FIG.
Figure 11 illustrates a process by which an electronic device performs synchronization in accordance with another embodiment of the present invention.

이하에서는 첨부도면을 리드하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 이하 실시예들의 설명에서는 첨부된 도면들에 기재된 사항들을 리드하는 바, 각 도면에서 제시된 동일한 리드번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 나타낸다.In the following, embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals designate identical or corresponding parts throughout the several views.

도 1은 본 발명의 일 실시예에 따라 복수의 전자장치가 오디오를 동일한 타이밍으로 출력하는 예시를 도시한다. 복수의 전자장치(10, 20)는 물리적으로 분리된 제1 및 제2전자장치(10, 20)를 포함한다. 복수의 전자장치(10, 20)는 소스장치(40)로부터 수신한 오디오데이터를 처리하여 동일한 타이밍으로 오디오를 출력함으로써 음장 효과를 제공할 수 있다.1 shows an example in which a plurality of electronic devices output audio at the same timing in accordance with an embodiment of the present invention. The plurality of electronic devices 10,20 comprise first and second physically separated electronic devices 10,20. The plurality of electronic devices 10 and 20 can process the audio data received from the source device 40 and output audio at the same timing to provide a sound field effect.

복수의 전자장치(10, 20)는 외부장치(30)의 클럭정보에 기초하여 자신의 클럭을 각각 동기화함으로써, 동일한 타이밍으로 오디오를 출력할 수 있다. 복수의 전자장치(10, 20)는 오디오데이터 및 클럭정보의 송수신을 위한 무선통신이 가능하고, 오디오데이터를 소정 클럭으로 처리하여 출력할 수 있는 장치로 제한없이 구현이 가능하다. 예를 들면, 복수의 전자장치(10, 20)는 스마트 TV 등과 같은 디스플레이장치, 무선 스피커 등과 같은 오디오장치, 스마트폰, 태블릿, 노트북, 웨어러블 전자장치 등으로 구현될 수 있다. The plurality of electronic devices 10 and 20 can output audio at the same timing by synchronizing their clocks on the basis of the clock information of the external device 30. [ The plurality of electronic devices 10 and 20 can be wireless communication for transmitting and receiving audio data and clock information, and can be implemented without limitation as an apparatus capable of processing and outputting audio data with a predetermined clock. For example, the plurality of electronic devices 10 and 20 may be implemented as a display device such as a smart TV, an audio device such as a wireless speaker, a smart phone, a tablet, a notebook, and a wearable electronic device.

외부장치(30)는 소스장치(40)로부터 오디오데이터를 수신하고, 무선통신을 통하여 오디오데이터를 복수의 전자장치(10, 20)에 제공할 수 있다. 외부장치(30)는 고유한 클럭정보를 가지고 있으며, 복수의 전자장치(10, 20)는 외부장치(30)의 클럭정보에 기초하여 자신의 클럭을 동기화할 수 있다. 이러한 외부장치(30)는 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee) 등 다양한 무선통신 규격으로 복수의 전자장치(10, 20)와 동시에 또는 개별적으로 무선통신이 가능하도록 구현될 수 있다. 예를 들면, 와이파이(Wi-Fi) 규격인 경우에, 외부장치(30)는 액세스 포인트로 구현될 수 있다.The external device 30 can receive audio data from the source device 40 and provide the audio data to the plurality of electronic devices 10 and 20 through wireless communication. The external device 30 has unique clock information and the plurality of electronic devices 10 and 20 can synchronize their own clocks based on the clock information of the external device 30. [ The external device 30 may be implemented to enable wireless communication with a plurality of electronic devices 10 and 20 simultaneously or individually in accordance with various wireless communication standards such as Wi-Fi, Bluetooth, and Zigbee . For example, in the case of the Wi-Fi standard, the external device 30 may be implemented as an access point.

소스장치(40)는 멀티미디어데이터, 오디오데이터 등 다양한 형식의 데이터를 저장하거나 제공할 수 있다. 소스장치(40)는 외부장치(30)를 통해 복수의 전자장치(10, 20)에 다양한 형식의 데이터를 제공할 수 있다. 예를 들어, 소스장치(40)가 오디오데이터의 재생을 위한 사용자 명령을 수신하면, 오디오데이터를 외부장치(30)를 통해 복수의 전자장치(10, 20)에 제공할 수 있다.The source device 40 may store or provide various types of data such as multimedia data and audio data. The source device 40 can provide various types of data to the plurality of electronic devices 10 and 20 through the external device 30. [ For example, when the source apparatus 40 receives a user command for reproducing the audio data, the audio data can be provided to the plurality of electronic apparatuses 10 and 20 through the external apparatus 30. [

도 2은 본 발명의 다른 실시예에 따라 복수의 전자장치가 오디오를 동일한 타이밍으로 출력하는 예시를 도시한다. 도 2의 제1 및 제2전자장치(10, 20)는 도 1의 제1 및 제2전자장치(10, 20)에 대응한다. 제2전자장치(20)는 외부장치(30)를 경유하여 오디오데이터를 제1전자장치(10)로 제공할 수 있으며, 클럭이 상호 동기화되는 제1전자장치(10)와 동일한 타이밍으로 오디오를 출력할 수 있다. 예를 들어, 제2전자장치(20)가 오디오데이터의 재생을 위한 명령을 수신하면, 외부장치(30)를 경유하여 오디오데이터를 제1전자장치(10)에 제공하고, 클럭이 상호 동기화되는 제1전자장치(10)와 동일한 타이밍으로 오디오를 출력할 수 있다.2 shows an example in which a plurality of electronic devices output audio at the same timing according to another embodiment of the present invention. The first and second electronic devices 10, 20 of FIG. 2 correspond to the first and second electronic devices 10, 20 of FIG. The second electronic device 20 may provide audio data to the first electronic device 10 via the external device 30 and may provide audio at the same timing as the first electronic device 10, Can be output. For example, when the second electronic device 20 receives an instruction for reproducing the audio data, the audio data is supplied to the first electronic device 10 via the external device 30, and the clocks are synchronized with each other It is possible to output audio at the same timing as that of the first electronic device 10. [

도 3은 본 발명의 일 실시예에 따른 전자장치의 블록도를 도시한다. 도 3의 전자장치(10)는 도 1 및 도 2의 제1 및 제2전자장치(10, 20) 중 하나에 대응할 수 있다. 전자장치(10)는 무선통신부(110), 프로세서(130), 제1타이밍부(140), 메모리(150), 및 오디오출력부(160)를 갖는다. 다만, 전자장치(10)는 하나 이상의 구성을 필요에 따라 추가 또는 생략할 수도 있다.3 shows a block diagram of an electronic device according to an embodiment of the present invention. The electronic device 10 of FIG. 3 may correspond to one of the first and second electronic devices 10, 20 of FIGS. 1 and 2. The electronic device 10 has a wireless communication unit 110, a processor 130, a first timing unit 140, a memory 150, and an audio output unit 160. However, the electronic device 10 may add or omit one or more configurations as needed.

프로세서(130)는 전자장치(10)의 각 구성을 전반적으로 제어한다. 프로세서(130)는 무선통신부(110)를 통하여 외부장치(30)로부터 수신한 오디오데이터를 소정 클럭으로 처리하여 출력하도록 한다. 프로세서(130)는 무선통신부(110)를 통하여 외부장치(30)의 클럭정보에 동기화하도록 클럭을 보정할 수 있다. 프로세서(130)은 제1타이밍부(140)의 제1클럭으로 오디오데이터를 처리하고, 무선통신부(110)는 외부장치(30)의 클럭정보에 기초하여 제2타이밍부(112)의 제2클럭을 동기화할 수 있다. 즉, 프로세서(130)가 무선통신부(110)를 통하여 외부장치(30)의 클럭정보에 동기화하도록 클럭을 보정한다는 것은, 프로세서(130)가 외부장치(30)의 클럭정보에 기초하여 동기화되는 무선통신부(110)의 제2클럭에 대응하도록 제1타이밍부(140)의 제1클럭을 보정하는 것을 의미할 수 있다.The processor 130 controls each configuration of the electronic device 10 as a whole. The processor 130 processes the audio data received from the external device 30 through the wireless communication unit 110 into a predetermined clock and outputs the processed data. The processor 130 may correct the clock to synchronize with the clock information of the external device 30 through the wireless communication unit 110. [ The processor 130 processes the audio data at the first clock of the first timing unit 140 and the wireless communication unit 110 processes the audio data at the second timing of the second timing unit 112 based on the clock information of the external device 30. [ The clock can be synchronized. That is, the processor 130 corrects the clock so as to synchronize with the clock information of the external device 30 through the wireless communication unit 110. That is, when the processor 130 is synchronized with the external device 30 based on the clock information of the external device 30, It may mean that the first clock of the first timing unit 140 is corrected so as to correspond to the second clock of the communication unit 110. [

프로세서(130)는 이러한 제어 및 보정 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 전자장치(10) 이외의 다른 전자기기에도 저장될 수 있다.The processor 130 includes a control program (or an instruction) for performing such control and correction operations, a nonvolatile memory in which the control program is installed, a volatile memory in which at least a part of the installed control program is loaded, And at least one processor or a central processing unit (CPU) that executes the program. Such a control program can also be stored in an electronic device other than the electronic device 10. [

제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 전자장치(10)의 제조 시에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 다운로드될 수도 있다. 이와 같은 외부 서버는, 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.The control program may include program (s) implemented in the form of at least one of a BIOS, a device driver, an operating system, firmware, a platform and an application program. In one embodiment, the application program may be installed or stored in advance at the time of manufacture of the electronic device 10, or may be installed based on the received data by receiving data of the application program from the outside at the time of future use. The data of the application program may be downloaded from an external server, for example, an application market. Such an external server is an example of a computer program product, but is not limited thereto.

제1타이밍부(140)는 제1클럭으로서, 1us(microsecond)마다 1카운터씩 증가하는 시간값을 생성한다. 제1타이밍부(140)는 프로세서(130)가 제1클럭으로 오디오데이터를 처리할 수 있도록 한다. 메모리(150)는 휘발성 또는 비휘발성 메모리로서, 프로세서(130)가 제1타이밍부(140)로부터 제1클럭으로 카운트되는 시간값을 리드하는 경우, 리드된 시간값을 저장할 수 있다. 프로세서(130)가 무선통신부(110)로부터 제2클럭으로 카운트되는 시간값을 수신하는 경우, 무선통신부(110)로부터의 시간값도 저장할 수 있다.The first timing unit 140 generates a time value that increases by one counter per 1 microsecond as a first clock. The first timing unit 140 allows the processor 130 to process the audio data at the first clock. The memory 150 may be a volatile or nonvolatile memory and may store the read time value when the processor 130 reads the time value counted from the first timing unit 140 to the first clock. When the processor 130 receives the time value counted from the wireless communication unit 110 as the second clock, it may also store the time value from the wireless communication unit 110. [

도 3에서는 제1타이밍부(140)와 메모리(150)가 프로세서(130)와 별개의 구성으로 도시되었으나, 제1타이밍부(140)와 메모리(150) 중 일부 또는 전부는 프로세서(130)에 포함된 구성으로 구현될 수 있다. 또한, 프로세서(130)는 오디오데이터를 처리하기 위한 DSP(digital signal processor), 버퍼(buffer), SRC(Sample Rate Converter) 등을 더 포함할 수 있다. 한편, 오디오출력부(160)는 오디오 앰프(audio amplifier) 및 스피커(Speaker)로 구현될 수 있으며, 프로세서(130)의 제어에 따라 처리된 오디오데이터에 기초하여 오디오를 출력할 수 있다.Although the first timing unit 140 and the memory 150 are shown as separate structures from the processor 130 in FIG. 3, some or all of the first timing unit 140 and the memory 150 may be connected to the processor 130 May be implemented with the included configuration. The processor 130 may further include a digital signal processor (DSP), a buffer, and a sample rate converter (SRC) for processing audio data. The audio output unit 160 may be implemented as an audio amplifier and a speaker and may output audio based on the processed audio data under the control of the processor 130. [

무선통신부(110)는 외부장치(30)와의 무선통신을 통해 외부장치(30)로부터 오디오데이터를 수신할 수 있다. 무선통신부(110)는 외부장치(30)로부터의 클럭정보에 기초하여 제2타이밍부(112)의 제2클럭을 동기화할 수 있다. 무선통신부(10)가 외부장치(30)로부터 수신한 오디오데이터를 프로세서(130)에 제공하면, 프로세서(130)가 제2클럭에 대응하도록 동기화된 제1클럭으로 오디오데이터를 처리할 수 있다.The wireless communication unit 110 can receive audio data from the external device 30 through wireless communication with the external device 30. [ The wireless communication unit 110 may synchronize the second clock of the second timing unit 112 based on the clock information from the external device 30. [ When the wireless communication unit 10 provides the audio data received from the external device 30 to the processor 130, the processor 130 may process the audio data with the first clock synchronized to correspond to the second clock.

무선통신부(110)는 버퍼부(111)와 제2타이밍부(112)를 포함할 수 있다. 제2타이밍부(112)는 외부장치(30)로부터의 클럭정보에 동기화되는 제2클럭으로, 1us(microsecond)마다 1카운터씩 증가하는 시간값을 생성한다. 무선통신부(110)는 제2타이밍부(112)의 제2클럭으로 카운트되는 시간값을 리드하여, 리드된 시간값을 휘발성 메모리로 구현될 수 있는 버퍼부(111)에 저장한다.The wireless communication unit 110 may include a buffer unit 111 and a second timing unit 112. The second timing unit 112 generates a time value that increases by one counter per 1 microsecond with a second clock synchronized with the clock information from the external device 30. [ The wireless communication unit 110 reads the time value counted by the second clock of the second timing unit 112 and stores the read time value in the buffer unit 111 which can be implemented as a volatile memory.

통신인터페이스(120)는 무선통신부(110)와 프로세서(130)의 사이에 마련되어 상호 데이터 송수신을 가능하게 하는 것으로서, 제1 및 제2통신인터페이스(121, 122)를 포함한다. 제1통신인터페이스(121)는 무선통신부(110)로부터 프로세서(130)로 오디오데이터를 전송하는데 사용된다. 프로세서(130)가 무선통신부(110)로 동기화 요청을 하여, 무선통신부(110)가 제2타이밍부(112)의 제2클럭으로 카운트되는 시간값을 리드하는 경우, 리드된 시간값을 프로세서(130)로 전송하는 데에도 제1통신인터페이스(121)가 사용된다. 제1통신인터페이스(120)는, 예를 들어, USB(Universal Serial Bus), SDIO(Secure Digital Input Output) 등으로 구현될 수 있다.The communication interface 120 is provided between the wireless communication unit 110 and the processor 130 and enables data transmission and reception between the wireless communication unit 110 and the processor 130. The communication interface 120 includes first and second communication interfaces 121 and 122. The first communication interface 121 is used to transmit audio data from the wireless communication unit 110 to the processor 130. When the processor 130 makes a synchronization request to the wireless communication unit 110 and the wireless communication unit 110 reads the time value counted to the second clock of the second timing unit 112, 130, the first communication interface 121 is used. The first communication interface 120 may be implemented by, for example, a USB (Universal Serial Bus), an SDIO (Secure Digital Input Output), or the like.

제2통신인터페이스(122)는 제1통신인터페이스(121)보다 인터페이스 속도가 빠른 통신인터페이스이다. 프로세서(130)가 무선통신부(110)로 동기화 요청을 하여, 무선통신부(110)가 제2타이밍부(112)의 제2클럭으로 카운트되는 시간값을 리드하는 경우, 무선통신부(110)는 이를 인터럽트 하고, 인터럽트 신호를 프로세서(130)로 전송하는 데에 제2통신인터페이스(122)가 사용된다. 제2통신인터페이스(122)는, 예를 들어, 다용도입출력포트(GPIO, General-purpose input/output)로 구현될 수 있다.The second communication interface 122 is a communication interface having a higher interface speed than the first communication interface 121. When the processor 130 makes a synchronization request to the wireless communication unit 110 and the wireless communication unit 110 reads the time value counted by the second clock of the second timing unit 112, The second communication interface 122 is used to interrupt and transmit an interrupt signal to the processor 130. [ The second communication interface 122 may be implemented, for example, as a general purpose input / output (GPIO).

도 4은 본 발명의 일 실시예에 따른 전자장치가 동기화를 수행하는 순서를 도시한다. 도 4의 전자장치(10)는 도 1 또는 도 2의 복수의 전자장치(10, 20) 중 어느 하나에 대응하며, 전자장치(10)는 무선통신부(110)와 프로세서(130)을 포함할 수 있다.4 shows a sequence in which an electronic device according to an embodiment of the present invention performs synchronization. The electronic device 10 of FIG. 4 corresponds to any one of the plurality of electronic devices 10 and 20 of FIG. 1 or 2 and the electronic device 10 includes a wireless communication unit 110 and a processor 130 .

구체적으로, 전자장치(10)는 무선통신부(110)를 통해 외부장치(30)로부터 오디오데이터를 수신할 수 있다(S410). 전자장치(10)는 프로세서(130)를 통해 제1클럭으로 오디오데이터를 처리할 수 있다(S420). 여기서, 프로세서(130)는 소정 구간 동안 제1클럭으로 카운트되는 시간간격과, 상기 구간에 대하여 무선통신부(110)의 제2클럭으로 카운트되는 시간간격의 비율에 기초하여 제1클럭을 보정할 수 있다(S430).Specifically, the electronic device 10 can receive audio data from the external device 30 through the wireless communication unit 110 (S410). The electronic device 10 may process the audio data to the first clock through the processor 130 (S420). Here, the processor 130 may correct the first clock based on the time interval counted by the first clock for a predetermined interval and the ratio of the time interval counted by the second clock of the wireless communication unit 110 to the interval (S430).

이에 의하면, 전자장치(10) 내부에서 동기화를 수행하는 중 처리지연을 정확하게 보상하고, 전송지연으로부터 영향을 받지 않도록 하여, 동기화의 정밀성을 향상시킬 수 있다. 이하에서는 도 5 내지 도 8을 참조하여, 동기화의 정밀성 향상을 위해 처리지연을 정확하게 보상하고, 전송지연으로부터 영향을 받지 않도록 동기화를 수행하는 과정에 대해 좀더 자세히 설명한다.According to this, it is possible to accurately compensate for the processing delay in performing synchronization within the electronic device 10, and to avoid the influence from the transmission delay, thereby improving the precision of synchronization. Hereinafter, a process of accurately compensating a processing delay for improving synchronization accuracy and performing synchronization so as not to be affected by a transmission delay will be described in more detail with reference to FIGS. 5 to 8. FIG.

도 5는 본 발명의 일 실시예에 따라 전자장치가 동기화를 수행하는 과정을 도시한다. 도 5의 무선통신부(110) 및 프로세서(130)는 도 3의 무선통신부(110) 및 프로세서(130)에 대응하는 것이며, 도 5에서 사용되는 시간의 단위는 AU(Arbitrary Unit)으로 구현될 수 있으나, 설명의 편의를 위하여 시간의 단위가 초(second)인 경우를 예로 들어 설명한다.5 illustrates a process by which an electronic device performs synchronization according to an embodiment of the present invention. The wireless communication unit 110 and the processor 130 of FIG. 5 correspond to the wireless communication unit 110 and the processor 130 of FIG. 3. The unit of time used in FIG. 5 may be implemented as an AU (Arbitrary Unit) However, for the sake of convenience of explanation, the case where the unit of time is second will be described as an example.

프로세서(130)는 무선통신부(110)에 제1동기화를 요청한다(S510). 동기화의 요청은 주기적, 비주기적, 또는, 불규칙하게 이루어질 수 있다. 제1동기화 요청에 대응하여, 무선통신부(110)는 제2타이밍부(112)의 제2클럭으로 카운트되는 시간값(101(w1))을 리드하여 버퍼부(111)에 저장한다(S520). 무선통신부(110)는 시간값(101(w1))을 리드한 시점을 인터럽트하여 제1인터럽트 신호를 출력하고, 제2통신인터페이스(122)를 통하여 제1인터럽트 신호를 프로세서(130)로 전송한다(S530).The processor 130 requests the wireless communication unit 110 for the first synchronization (S510). The request for synchronization may be periodic, aperiodic, or irregular. In response to the first synchronization request, the wireless communication unit 110 reads the time value 101 (w1) counted by the second clock of the second timing unit 112 and stores it in the buffer unit 111 (S520) . The wireless communication unit 110 interrupts the time point at which the time value 101 (w1) is read to output the first interrupt signal and transmits the first interrupt signal to the processor 130 via the second communication interface 122 (S530).

여기서, 시간값(101(w1))을 리드하는 시점과, 제1인터럽트 신호를 출력하여 프로세서(130)로 전송하는 시점 간의 시간간격을 매우 짧으므로, 시간값(101(w1))의 리드와 제1인터럽트 신호의 전송은 동시에 동작하는 것으로 가정할 수 있다. 프로세서(130)는 제1인터럽트 신호의 수신에 대응하여, 제1타이밍부(140)의 제1클럭으로 카운트되는 시간값(103(m1))을 리드하여 메모리(150)에 저장한다(S540). 무선통신부(110)는 제1통신인터페이스(121)를 통하여 버퍼부(111)에 저장된 시간값(101(w1))을 프로세서(130)로 전송한다(S550).Here, since the time interval between the time to read the time value 101 (w1) and the time to output the first interrupt signal to the processor 130 is very short, the time value 101 (w1) It can be assumed that the transfer of the first interrupt signal is performed simultaneously. The processor 130 reads the time value 103 (m1) counted by the first clock of the first timing unit 140 in response to the reception of the first interrupt signal and stores it in the memory 150 (S540) . The wireless communication unit 110 transmits the time value 101 (w1) stored in the buffer unit 111 to the processor 130 through the first communication interface 121 (S550).

주기적이지 않은 소정 시간 경과 후에, 프로세서(130)는 무선통신부(110)에 제2동기화를 요청한다(S560). 제2동기화 요청에 대응하여, 무선통신부(110)는 제2타이밍부(112)의 제2클럭으로 카운트되는 시간값(201(w2))을 리드하여 버퍼부(111)에 저장한다(S570). 무선통신부(110)는 시간값(201(w2))을 리드한 시점을 인터럽트하여 제2인터럽트 신호를 출력하고, 제2통신인터페이스(122)를 통하여 제2인터럽트 신호를 프로세서(130)로 전송한다(S580). After a predetermined period of time that is not periodic, the processor 130 requests the wireless communication unit 110 for a second synchronization (S560). In response to the second synchronization request, the wireless communication unit 110 reads the time value 201 (w2) counted by the second clock of the second timing unit 112 and stores it in the buffer unit 111 (S570) . The wireless communication unit 110 interrupts the time point at which the time value 201 (w2) is read to output the second interrupt signal and transmits the second interrupt signal to the processor 130 via the second communication interface 122 (S580).

마찬가지로, 시간값(201(w2))을 리드하는 시점과, 제2인터럽트 신호를 출력하여 프로세서(130)로 전송하는 시점 간의 시간간격을 매우 짧으므로, 동시에 동작하는 것으로 가정할 수 있다. 프로세서(130)는 제2인터럽트 신호의 수신에 대응하여, 제1타이밍부(140)의 제1클럭으로 카운트되는 시간값(202(m2))을 리드하여 메모리(150)에 저장한다(S590). 무선통신부(110)는 제1통신인터페이스(121)를 통하여 버퍼부(111)에 저장된 시간값(201(w2))를 프로세서(130)로 전송한다(S600).Similarly, it can be assumed that the time interval between reading the time value 201 (w2) and the time of outputting the second interrupt signal to the processor 130 is very short, so that it operates simultaneously. The processor 130 reads the time value 202 (m2) counted by the first clock of the first timing unit 140 in response to the reception of the second interrupt signal and stores it in the memory 150 (S590) . The wireless communication unit 110 transmits the time value 201 (w2) stored in the buffer unit 111 to the processor 130 through the first communication interface 121 (S600).

프로세서(130)가 리드한 시간값(202(m2))과 시간값(103(m1)) 간의 시간간격은 99초인 반면에, 무선통신부(110)가 리드한 시간값(201(w2))와 시간값(101(w1)) 간의 시간간격은 100초이다. 아래의 오차율(D) 계산식에 따르면, 오차율(D)은 1%로 계산되며, 이러한 계산 결과는 프로세서(130)의 제1클럭의 주기가 무선통신부(110)의 제2클럭의 주기보다 1% 짧다는 것을 의미한다. 계산된 오차율(D)에 기초하여 제1클럭의 주기를 1%만큼 늘리거나 제1클럭의 클럭수를 1%만큼 추가함으로써, 제1클럭을 제2클럭에 동기화하도록 보정할 수 있다.The time interval between the time value (202 (m2)) and the time value (103 (m1)) read by the processor 130 is 99 seconds, The time interval between time values 101 (w1) is 100 seconds. The error rate D is calculated to be 1%, and the calculation result indicates that the period of the first clock of the processor 130 is 1% of the period of the second clock of the wireless communication unit 110, It means short. It is possible to correct the first clock to be synchronized with the second clock by increasing the period of the first clock by 1% or adding the number of clocks of the first clock by 1% based on the calculated error rate (D).

오차율(D) = [소정 구간동안 제2클럭으로 카운트되는 시간간격((w2)-(w1))] / [소정 구간동안 제1클럭으로 카운트되는 시간간격)((m2)-(m1))](Time interval (w2) - (w1)) counted by the second clock during a predetermined interval] / (time interval counted by the first clock during a predetermined interval) (m2 - m1) ]

특히, 무선통신부(110) 측의, 동기화를 요청하는 단계(S510, S560)와 제2클럭으로 카운트되는 시간값(101(w1), 201(w2))을 리드하여 저장하는 단계(SS520, S570) 간에는 제1 및 제2처리지연이 각각 발생할 수 있다. 제1 및 제2처리지연의 시간은 불규칙할 수 있다. 불규칙한 제1 및 제2처리지연을 정확하게 보상하기 위해, 프로세서(130) 측은 제1 및 제2인터럽트 신호를 사용할 수 있다. 즉, 프로세서(130) 측은 제1 및 제2인터럽트 신호의 수신에 대응하여 카운트된 시간값(103(m1), 202(m2))은 리드함으로써, 무선통신부(110) 측의 제1 및 제2처리지연을 실시간으로 정확하게 보상할 수 있다.In particular, the steps S510 and S560 of requesting synchronization and the time values 101 (w1) and 201 (w2) counted by the second clock of the wireless communication unit 110 are read and stored (SS520, S570 The first and second processing delays may occur respectively. The time of the first and second processing delays may be irregular. To correctly compensate for the irregular first and second processing delays, the processor 130 side may use the first and second interrupt signals. That is, on the side of the processor 130, the counted time values 103 (m1) and 202 (m2) corresponding to the reception of the first and second interrupt signals are read so that the first and second The processing delay can be accurately compensated in real time.

한편, 무선통신부(110) 측의, 제2클럭으로 카운트되는 시간값(101(w1), 201(w2))을 리드하여 저장하는 단계(SS520, S570)와, 제1통신인터페이스를 통해 시간값(101(w1), 201(w2))을 전송하는 단계(S550, S600) 간에는 제1 및 제2전송지연이 각각 발생할 수 있다. 제1 및 제2전송지연의 시간도 불규칙할 수 있다. 프로세서(130) 측은, 제1 및 제2전송지연이 발생하기 이전에, 제1 및 제2인터럽트 신호의 수신에 대응하여 카운트되는 시간값(103(m1), 202(m2))을 각각 리드하기 때문에, 시간값(103(m1), 202(m2))은 제1 및 제2전송지연의 불규칙성에 영향을 받지 않는다.On the other hand, a step (SS520, S570) of reading and storing time values 101 (w1) and 201 (w2) counted by the second clock on the side of the wireless communication unit 110, The first and second transmission delays may occur between the steps (S550 and S600) of transmitting the first and second transmission data 101 (w1) and 201 (w2), respectively. The time of the first and second transmission delays may also be irregular. The processor 130 side reads the time values 103 (m1) and 202 (m2) counted in response to the reception of the first and second interrupt signals before the first and second transmission delays, respectively Therefore, the time values 103 (m1) and 202 (m2) are not affected by the irregularities of the first and second transmission delays.

이와 같이, 본 실시예에 따른 전자장치(10)에 의하면, 전자장치(10)의 내부에서 동기화를 수행하는 중 처리지연을 정확하게 보상하고, 전송지연으로부터 영향을 받지 않도록 하여, 동기화의 정밀성을 향상시킬 수 있다. 이하에서는, 도 5의 실시예에서 프로세서(130)가 오차율(D)에 기초하여 제1클럭을 보정하는 예시에 대해, 도 6 및 도 7을 참조하여 좀더 자세히 설명한다.As described above, according to the electronic device 10 according to the present embodiment, it is possible to accurately compensate for the processing delay in performing synchronization within the electronic device 10, to prevent the transmission delay from being affected by the transmission delay, . Hereinafter, an example in which the processor 130 corrects the first clock based on the error rate D in the embodiment of FIG. 5 will be described in more detail with reference to FIGS. 6 and 7. FIG.

도 6 및 도 7은 도 5에 의한 동기화를 수행하는 예시를 도시한다. 도 6 및 도 7는 동기화의 수행을 1회 실시하는 것으로 설명하였지만, 동기화의 수행의 횟수를 한정한 것은 아니며, 수회의 동기화의 수행으로 동기화의 정밀성을 더욱 향상시킬 수 있다.6 and 7 illustrate an example of performing synchronization according to FIG. 6 and 7 illustrate that synchronization is performed once, but the number of times of synchronization is not limited, and the accuracy of synchronization can be further improved by performing synchronization several times.

도 6을 참조하면, 프로세서(130)는 외부장치(30)로부터 수신한 오디오데이터를 제1클럭(A)로 처리한다. 프로세서(130)는 오차율(D)이 1%로 계산되면, 제1클럭(A)의 주기를 1%만큼 늘리거나 제1클럭(A)의 클럭수를 1%만큼 추가한 제1클럭(B)로 보정하여, 제2클럭에 동기화할 수 있다.Referring to FIG. 6, the processor 130 processes the audio data received from the external device 30 as a first clock A. FIG. When the error rate D is calculated as 1%, the processor 130 determines whether or not the first clock B is 1%, which is obtained by increasing the period of the first clock A by 1% or adding the number of clocks of the first clock A by 1% To synchronize to the second clock.

도 7을 참조하면, 프로세서(130)는 오차율(D)만큼 오디오데이터의 일부 구간을 추가할 수 있다. 예를 들어, 프로세서(130)가 외부장치(30)로부터 "오늘 날씨는 화창하겠습니다"라는 오디오데이터를 수신하여 처리하는 경우, "날씨는"과 "화창하겠습니다" 사이의 무음 구간 "..."을 추가할 수 있다. 경우에 따라서, 프로세서(130)는 오차율(D)만큼 오디오데이터 샘플링 횟수를 증가시킬 수도 있다.Referring to FIG. 7, the processor 130 may add a partial interval of audio data by an error rate D (D). For example, when the processor 130 receives and processes audio data of "Today's weather will be sunny" from the external device 30, a silent section " Can be added. In some cases, the processor 130 may increase the number of audio data sampling times by an error rate D. [

도 8은 본 발명의 다른 실시예에 따라 전자장치가 동기화를 수행하는 과정을 도시한다. 도 8의 무선통신부(110) 및 프로세서(130)는 도 5의 무선통신부(110) 및 프로세서(130)에 대응하는 것이며, 도 8에서 단계 S810 내지 S870은 도 5의 단계 S510 내지 S570과 동일하므로, 중복되는 설명은 생략하고 다른 부분 위주로 설명한다.8 illustrates a process by which an electronic device performs synchronization according to another embodiment of the present invention. The wireless communication unit 110 and the processor 130 in FIG. 8 correspond to the wireless communication unit 110 and the processor 130 in FIG. 5, and steps S810 to S870 in FIG. 8 are the same as steps S510 to S570 in FIG. 5 , Overlapping explanations are omitted and explanations are focused on the other parts.

프로세서(130)로부터의 제2동기화 요청에 대응하여, 무선통신부(110)는 제2타이밍부(112)의 제2클럭으로 카운트되는 시간값(201(w2))을 리드하여 버퍼부(111)에 저장한다(S870). 무선통신부(110)는 시간값(201(w2))을 리드한 시점을 인터럽트하여 제2인터럽트 신호를 출력하고, 제2통신인터페이스(122)를 통하여 제2인터럽트 신호를 프로세서(130)로 전송한다(S880). 시간값(201(w2))을 리드하는 시점과, 제2인터럽트 신호를 출력하여 프로세서(130)로 전송하는 시점 간의 시간간격을 매우 짧으므로, 동시에 동작하는 것으로 가정할 수 있다.In response to the second synchronization request from the processor 130, the wireless communication unit 110 reads the time value 201 (w2) counted by the second clock of the second timing unit 112 and outputs it to the buffer unit 111 (S870). The wireless communication unit 110 interrupts the time point at which the time value 201 (w2) is read to output the second interrupt signal and transmits the second interrupt signal to the processor 130 via the second communication interface 122 (S880). It can be assumed that the time interval between the time at which the time value 201 (w2) is read and the time at which the second interrupt signal is output to the processor 130 is very short.

제2인터럽트 신호의 수신에 대응하여, 제1타이밍부(140)의 제1클럭으로 카운트되는 시간값(204(m2))을 리드하여 메모리(150)에 저장한다(S890). 무선통신부(110)는 제1통신인터페이스(121)를 통하여 버퍼부(111)에 저장된 시간값(201(w2))를 프로세서(130)로 전송한다(S900).In response to the reception of the second interrupt signal, the time value 204 (m2) counted by the first clock of the first timing unit 140 is read and stored in the memory 150 (S890). The wireless communication unit 110 transmits the time value 201 (w2) stored in the buffer unit 111 to the processor 130 through the first communication interface 121 (S900).

프로세서(130)가 리드한 시간값(204(m2))과 시간값(103(m1)) 간의 시간간격은 101초인 반면에, 무선통신부(110)가 리드한 시간값(201(w2))와 시간값(101(w1)) 간의 시간간격은 100초이다. 오차율(D) 계산식에 따르면, 오차율(D)은 99%, 즉, -1%로 계산되며, 이러한 계산 결과는 프로세서(130)의 제1클럭의 주기가 무선통신부(110)의 제2클럭의 주기보다 1% 길다는 것을 의미한다. 이 오차율(D)에 기초하여 제1클럭의 주기를 1%만큼 줄이거나 제1클럭의 클럭수를 1%만큼 감소함으로써, 제1클럭을 제2클럭에 동기화하도록 보정할 수 있다.The time interval between the time value 201 (m2) and the time value 103 (m1) read by the processor 130 is 101 seconds while the time interval 201 (w2) The time interval between time values 101 (w1) is 100 seconds. According to the calculation formula of the error rate D, the error rate D is calculated as 99%, that is, -1%, and the calculation result indicates that the period of the first clock of the processor 130 is shorter than the period of the second clock of the wireless communication unit 110 It is 1% longer than the cycle. The first clock can be corrected to be synchronized with the second clock by reducing the period of the first clock by 1% or decreasing the number of clocks of the first clock by 1% based on the error rate (D).

도 5의 실시예와 마찬가지로, 본 실시예에 따른 전자장치(10)에 의하면, 전자장치(10)의 내부에서 동기화를 수행하는 중 처리지연을 정확하게 보상하고, 전송지연으로부터 영향을 받지 않도록 하여, 동기화의 정밀성을 향상시킬 수 있다. 이하에서는, 도 8의 실시예에서 프로세서(130)가 오차율(D)에 기초하여 제1클럭을 보정하는 예시에 대해, 도 8 및 도 9를 참조하여 좀더 자세히 설명한다.As with the embodiment of Fig. 5, the electronic device 10 according to the present embodiment accurately compensates for the heavy processing delay for performing synchronization within the electronic device 10, and is not affected by the transmission delay, The precision of synchronization can be improved. Hereinafter, an example in which the processor 130 corrects the first clock based on the error rate D in the embodiment of FIG. 8 will be described in more detail with reference to FIGS. 8 and 9. FIG.

도 8 및 도 9은 도 8에 의한 동기화를 수행하는 예시를 도시한다. 도 8 및 도 9는 동기화의 수행을 1회 실시하는 것으로 설명하였지만, 동기화의 수행의 횟수를 한정한 것은 아니며, 수회의 동기화의 수행으로 동기화의 정밀성을 더욱 향상시킬 수 있다.8 and 9 illustrate an example of performing synchronization according to FIG. 8 and 9 illustrate that synchronization is performed once, but the number of times of synchronization is not limited, and the accuracy of synchronization can be further improved by performing synchronization several times.

도 8을 참조하면, 프로세서(130)는 외부장치(30)로부터 수신한 오디오데이터를 제1클럭(A)로 처리한다. 프로세서(130)는 오차율(D)이 -1%로 계산되면, 제1클럭(A)의 주기를 -1%만큼 줄이거나 제1클럭(A)의 클럭수를 -1%만큼 감소시킨 제1클럭(B)로 보정하여, 제2클럭에 동기화할 수 있다.Referring to FIG. 8, the processor 130 processes the audio data received from the external device 30 as a first clock A. FIG. When the error rate D is calculated to be -1%, the processor 130 may reduce the first clock A by -1% or reduce the first clock A by -1% It can be corrected to the clock B and synchronized to the second clock.

도 9을 참조하면, 프로세서(130)는 오차율(D)만큼 오디오데이터의 일부 구간을 감소시킬 수 있다. 예를 들어, 프로세서(130)가 외부장치(30)로부터 "오늘 날씨는 화창하겠습니다"라는 오디오데이터를 수신하여 처리하는 경우, "날씨는"에서 "는"을 삭제할 수 있다. 경우에 따라서, 프로세서(130)는 오차율(D)만큼 오디오데이터 샘플링 횟수를 감소시킬 수도 있다.Referring to FIG. 9, the processor 130 may reduce a part of the audio data by an error rate D (D). For example, when the processor 130 receives and processes the audio data "Today's weather will be sunny" from the external device 30, "weather" In some cases, the processor 130 may reduce the number of audio data sampling times by the error rate (D).

도 11은 본 발명의 또 다른 실시예에 따라 전자장치가 동기화를 수행하는 과정을 도시한다. 도 11에서 단계 S1110 내지 S1170은 도 5의 단계 S510 내지 S570과 동일하므로, 중복되는 설명은 생략하고 다른 부분 위주로 설명한다.Figure 11 illustrates a process by which an electronic device performs synchronization in accordance with another embodiment of the present invention. Steps S1110 to S1170 in Fig. 11 are the same as steps S510 to S570 in Fig. 5, and therefore overlapping description will be omitted and the description will be focused on the other parts.

프로세서(130)가 리드한 시간값(203(m2))과 시간값(103(m1)) 간의 시간간격은 100초이고, 무선통신부(110)가 리드한 시간값(201(w2))와 시간값(101(w1)) 간의 시간간격도 100초이다. 오차율(D) 계산식에 따르면, 오차율(D)는 0%로 계산되므로, 도 11과 같은 경우, 프로세서(130)는 제1클럭을 보정하지 않을 수 있다.The time interval between the time value 203 (m2) and the time value 103 (m1) that the processor 130 has read is 100 seconds and the time value 201 (w2) The time interval between the values 101 (w1) is also 100 seconds. According to the calculation formula of the error rate (D), since the error rate D is calculated as 0%, in the case of FIG. 11, the processor 130 may not correct the first clock.

한편, 상기한 목적은, 컴퓨터가 읽을 수 있는 코드로서 무선통신부(110)와 프로세서(130)를 포함하는 오디오장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 오디오장치의 제어방법은, 무선통신부(110)에 의해 외부장치(30)와 무선통신을 수행하는 단계; 및 프로세서(130)에 의해 무선통신을 통하여 외부장치(30)로부터 오디오데이터를 수신하고, 제1클럭으로 오디오데이터를 처리하는 단계를 포함하며, 소정 구간 동안 제1클럭으로 카운트되는 시간간격과, 구간에 대하여 무선통신부의 제2클럭으로 카운트되는 시간간격 간의 비율에 기초하여 제1클럭을 보정하는 단계를 포함할 수 있다.Meanwhile, the above-described object is achieved by a recording medium storing a computer program including a code for performing a control method of an audio apparatus including a wireless communication unit 110 and a processor 130 as computer-readable codes, Includes the steps of: performing wireless communication with the external device (30) by the wireless communication unit (110); And receiving audio data from the external device (30) via the wireless communication by the processor (130) and processing the audio data by a first clock, wherein the time interval counted by the first clock during a predetermined interval, And correcting the first clock based on a ratio of a time interval counted to a second clock of the wireless communication unit with respect to the interval.

10, 20: 전자장치
30: 외부장치
40: 소스장치
110: 무선통신부
111: 버퍼부
112: 제2타이밍부
120: 통신인터페이스
121: 제1통신인터페이스
122: 제2통신인터페이스
130: 프로세서
140: 제1타이밍부
150: 메모리
160: 오디오출력부10, 20: Electronic device
30: External device
40: Source device
110:
111: buffer unit
112: second timing unit
120: Communication interface
121: First communication interface
122: Second communication interface
130: Processor
140: first timing section
150: Memory
160: Audio output section

Claims (19)

오디오장치에 있어서,
외부장치와 무선통신을 수행하는 무선통신부; 및
상기 무선통신부를 통하여 상기 외부장치로부터 오디오데이터를 수신하고, 제1클럭으로 상기 오디오데이터를 처리하는 프로세서를 포함하며,
상기 프로세서는, 소정 구간 동안 상기 제1클럭으로 카운트되는 시간간격과, 상기 구간에 대하여 상기 무선통신부의 제2클럭으로 카운트되는 시간간격 간의 비율에 기초하여 상기 제1클럭을 보정하는 오디오장치.An audio device comprising:
A wireless communication unit for performing wireless communication with an external device; And
And a processor for receiving audio data from the external device via the wireless communication unit and processing the audio data at a first clock,
Wherein the processor corrects the first clock based on a ratio between a time interval counted by the first clock for a predetermined section and a time interval counted by the second clock of the wireless communication section for the section. 제1항에 있어서,
상기 무선통신부는, 상기 구간의 간격으로 인터럽트 신호를 출력하고, 상기 인터럽트 신호의 출력에 대응하여 카운트된 시간값을 상기 프로세스로 전송하며,
상기 프로세서는, 상기 출력된 인터럽트 신호의 수신에 대응하여 카운트된 시간값과, 상기 무선통신부로부터 전송된 시간값에 기초하여 상기 비율을 결정하는 오디오장치.The method according to claim 1,
Wherein the wireless communication unit outputs an interrupt signal at intervals of the interval and transmits a counted time value to the process in response to the output of the interrupt signal,
Wherein the processor determines the ratio based on a time value counted in response to the reception of the output interrupt signal and a time value transmitted from the wireless communication unit. 제1항에 있어서,
상기 프로세서는, 복수의 클럭 중 상기 비율에 대응하는 수의 클럭을 가감함으로써, 상기 제1클럭을 보정하는 오디오장치.The method according to claim 1,
Wherein the processor corrects the first clock by adding or subtracting a number of clocks corresponding to the ratio among a plurality of clocks. 제1항에 있어서,
상기 프로세서는, 상기 보정된 제1클럭에 대응하도록 상기 오디오데이터의 일부 구간을 가감하는 오디오장치.The method according to claim 1,
Wherein the processor adds or subtracts a part of the audio data to correspond to the corrected first clock. 제1항에 있어서,
상기 무선통신부는 상기 외부장치로부터의 클럭정보에 기초하여 상기 제2클럭을 동기화하는 오디오장치.The method according to claim 1,
And the wireless communication unit synchronizes the second clock based on clock information from the external device. 제1항에 있어서,
상기 구간의 간격의 주기는 불규칙한 오디오장치.The method according to claim 1,
The period of the intervals of the intervals is irregular. 제2항에 있어서,
상기 무선통신부 및 상기 프로세서의 사이에 마련되는 제1통신인터페이스를 더 포함하며, 상기 프로세서는 상기 제1통신인터페이스를 통하여 상기 무선통신부로부터 상기 인터럽트 신호의 출력에 대응하여 카운트된 시간값을 수신하는 오디오장치.3. The method of claim 2,
And a first communication interface provided between the wireless communication unit and the processor, wherein the processor is operable to receive audio data from the wireless communication unit via the first communication interface, the audio data receiving the counted time value corresponding to the output of the interrupt signal, Device. 제2항에 있어서,
상기 무선통신부 및 상기 프로세서의 사이에 마련되는 제2통신인터페이스를 더 포함하며, 상기 프로세서는 상기 제2통신인터페이스를 통하여 상기 인터럽트 신호를 수신하는 오디오장치.3. The method of claim 2,
Further comprising a second communication interface provided between the wireless communication unit and the processor, wherein the processor receives the interrupt signal via the second communication interface. 제7항 또는 제8항에 있어서,
상기 제1통신인터페이스는 USB (Universal Serial Bus)를 포함하며, 상기 제2통신인터페이스는 다용도입출력포트 (GPIO, General-purpose input/output)을 포함하는 오디오장치.9. The method according to claim 7 or 8,
Wherein the first communication interface comprises a universal serial bus (USB), and the second communication interface comprises a general purpose input / output (GPIO). 무선통신부 및 프로세서를 포함하는 오디오장치의 제어방법에 있어서,
상기 무선통신부에 의해 외부장치와 무선통신을 수행하는 단계; 및
상기 프로세서에 의해 상기 무선통신을 통하여 상기 외부장치로부터 오디오데이터를 수신하고, 제1클럭으로 상기 오디오데이터를 처리하는 단계를 포함하며,
상기 처리하는 단계는, 소정 구간 동안 상기 제1클럭으로 카운트되는 시간간격과, 상기 구간에 대하여 상기 무선통신부의 제2클럭으로 카운트되는 시간간격 간의 비율에 기초하여 상기 제1클럭을 보정하는 단계를 더 포함하는 오디오장치의 제어방법.A control method of an audio apparatus including a wireless communication unit and a processor,
Performing wireless communication with an external device by the wireless communication unit; And
Receiving audio data from the external device via the wireless communication by the processor and processing the audio data at a first clock,
The step of correcting the first clock based on a ratio between a time interval counted by the first clock for a predetermined interval and a time interval counted by the second clock of the wireless communication unit with respect to the interval, Further comprising the steps of: 제10항에 있어서,
상기 무선통신부에 의해 상기 구간의 간격으로 인터럽트 신호를 출력하고, 상기 인터럽트 신호의 출력에 대응하여 카운트된 시간값을 상기 프로세스로 전송하는 단계; 및
상기 프로세서에 의해 상기 출력된 인터럽트 신호의 수신에 대응하여 카운트된 시간값과, 상기 무선통신부로부터 전송된 시간값에 기초하여 상기 비율을 결정하는 단계를 더 포함하는 오디오장치의 제어방법.11. The method of claim 10,
Outputting an interrupt signal at intervals of the interval by the wireless communication unit and transmitting a counted time value corresponding to the output of the interrupt signal to the process; And
Further comprising the step of determining the ratio based on a time value counted corresponding to reception of the output interrupt signal by the processor and a time value transmitted from the wireless communication unit. 제10항에 있어서,
상기 제1클럭을 보정하는 단계는, 복수의 클럭 중 상기 비율에 대응하는 수의 클럭을 가감하는 단계를 더 포함하는 오디오장치의 제어방법.11. The method of claim 10,
Wherein the step of correcting the first clock further comprises adding or subtracting a number of clocks corresponding to the ratio among the plurality of clocks. 제10항에 있어서,
상기 제1클럭을 보정하는 단계는, 상기 보정된 제1클럭에 대응하도록 상기 오디오데이터의 일부 구간을 가감하는 단계를 더 포함하는 오디오장치의 제어방법.11. The method of claim 10,
Wherein the step of correcting the first clock further comprises the step of adding or subtracting a part of the audio data to correspond to the corrected first clock. 제10항에 있어서,
상기 무선통신부에 의해 상기 외부장치로부터의 클럭정보에 기초하여 상기 제2클럭을 동기화하는 단계를 더 포함하는 오디오장치의 제어방법.11. The method of claim 10,
And synchronizing the second clock based on clock information from the external device by the wireless communication unit. 제10항에 있어서,
상기 구간의 간격의 주기는 불규칙한 오디오장치의 제어방법.11. The method of claim 10,
Wherein the intervals of the intervals are irregular. 제11항에 있어서,
상기 무선통신부 및 상기 프로세서의 사이에 마련되는 제1통신인터페이스를 통하여 상기 무선통신부로부터 상기 인터럽트 신호의 출력에 대응하여 카운트된 시간값을 수신하는 단계를 포함하는 오디오장치의 제어방법.12. The method of claim 11,
And receiving a counted time value corresponding to the output of the interrupt signal from the wireless communication unit via a first communication interface provided between the wireless communication unit and the processor. 제11항에 있어서,
상기 무선통신부 및 상기 프로세서의 사이에 마련되는 제2통신인터페이스를 통하여 상기 인터럽트 신호를 수신하는 단계를 더 포함하는 오디오장치의 제어방법.12. The method of claim 11,
And receiving the interrupt signal through a second communication interface provided between the wireless communication unit and the processor. 제16항 또는 제17항에 있어서,
상기 제1통신인터페이스는 USB (Universal Serial Bus)를 포함하며, 상기 제2통신인터페이스는 다용도입출력포트 (GPIO, General-purpose input/output)을 포함하는 오디오장치의 제어방법.18. The method according to claim 16 or 17,
Wherein the first communication interface includes a universal serial bus (USB), and the second communication interface includes a general purpose input / output (GPIO) port. 컴퓨터가 읽을 수 있는 코드로서 무선통신부와 프로세서를 포함하는 오디오장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 오디오장치의 제어방법은,
상기 무선통신부에 의해 외부장치와 무선통신을 수행하는 단계; 및
상기 프로세서에 의해 상기 무선통신을 통하여 상기 외부장치로부터 오디오데이터를 수신하고, 제1클럭으로 상기 오디오데이터를 처리하는 단계를 포함하며,
상기 처리하는 단계는, 소정 구간 동안 상기 제1클럭으로 카운트되는 시간간격과, 상기 구간에 대하여 상기 무선통신부의 제2클럭으로 카운트되는 시간간격 간의 비율에 기초하여 상기 제1클럭을 보정하는 단계를 더 포함하는 포함하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.A computer-readable recording medium storing a computer program comprising code for performing a control method of an audio apparatus including a wireless communication unit and a processor as computer readable codes,
Performing wireless communication with an external device by the wireless communication unit; And
Receiving audio data from the external device via the wireless communication by the processor and processing the audio data at a first clock,
The step of correcting the first clock based on a ratio between a time interval counted by the first clock for a predetermined interval and a time interval counted by the second clock of the wireless communication unit with respect to the interval, The program being recorded on a computer-readable recording medium.
KR1020170122796A 2017-09-22 2017-09-22 Audio device and control method thereof KR20190033983A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170122796A KR20190033983A (en) 2017-09-22 2017-09-22 Audio device and control method thereof
PCT/KR2018/002937 WO2019059475A1 (en) 2017-09-22 2018-03-13 Audio device and method for controlling audio device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170122796A KR20190033983A (en) 2017-09-22 2017-09-22 Audio device and control method thereof

Publications (1)

Publication Number Publication Date
KR20190033983A true KR20190033983A (en) 2019-04-01

Family

ID=65810437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170122796A KR20190033983A (en) 2017-09-22 2017-09-22 Audio device and control method thereof

Country Status (2)

Country Link
KR (1) KR20190033983A (en)
WO (1) WO2019059475A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220077827A (en) * 2020-12-02 2022-06-09 주식회사 텔레칩스 Vehicle call system and method for audio input/output control using the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100901170B1 (en) * 2006-12-04 2009-06-04 한국전자통신연구원 Signal generator device of reference sync
KR101121153B1 (en) * 2009-12-08 2012-03-19 (주) 알디텍 Method and system for synchronizing video signal and sensor signal
KR101544971B1 (en) * 2009-12-15 2015-08-18 한국전자통신연구원 Method and apparatus for synchronizing multi clock
JP5556412B2 (en) * 2010-06-17 2014-07-23 富士通株式会社 Timing synchronization apparatus and timing synchronization method
US9438440B2 (en) * 2013-07-29 2016-09-06 Qualcomm Incorporated Proximity detection of internet of things (IoT) devices using sound chirps

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220077827A (en) * 2020-12-02 2022-06-09 주식회사 텔레칩스 Vehicle call system and method for audio input/output control using the same

Also Published As

Publication number Publication date
WO2019059475A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
US9578210B2 (en) A/V Receiving apparatus and method for delaying output of audio signal and A/V signal processing system
US9817629B2 (en) Audio synchronization method for bluetooth speakers
US9608855B2 (en) Time control apparatus, time control method, and program
CN107277594B (en) Method and device for synchronizing video and audio with bullet screen
US9521503B2 (en) Audio player with bluetooth function and audio playing method thereof
US9723180B2 (en) Device and method for correcting lip sync problems on display devices
US8922713B1 (en) Audio and video synchronization
US9812146B1 (en) Synchronization of inbound and outbound audio in a heterogeneous echo cancellation system
US20080084344A1 (en) ADC for simultaneous multiple analog inputs
EP3089471A1 (en) Video smoothing method and device
CN108495239B (en) Method, device, equipment and storage medium for accurately and synchronously playing audio among multiple equipment
US10477333B1 (en) Audio placement algorithm for determining playback delay
KR20190101373A (en) Audio signal reproducing apparatus and method, reproducing apparatus and receiving method, and program
JP2010281771A (en) Synchronous recording system and synchronous recording method
CN109560913B (en) Method and device for data time synchronization between Bluetooth audio devices
US11551678B2 (en) Systems and methods for generating a cleaned version of ambient sound
JP2015130662A (en) Av apparatus and its control method
US10897667B2 (en) Correcting for latency of an audio chain
KR20190033983A (en) Audio device and control method thereof
CN108573710A (en) A kind of method and device of real-time removal recording echo
US10152437B2 (en) Memory system
CN107239253B (en) Wireless local area network player, system and method for synchronizing playing speed
US10181312B2 (en) Acoustic system, communication device, and program
US9635633B2 (en) Multimedia synchronization system and method
WO2020114369A1 (en) Wireless communication delay test method, device, computer device and storage medium