KR101675911B1 - E-book device for displaying information by input sound - Google Patents

E-book device for displaying information by input sound Download PDF

Info

Publication number
KR101675911B1
KR101675911B1 KR1020150026364A KR20150026364A KR101675911B1 KR 101675911 B1 KR101675911 B1 KR 101675911B1 KR 1020150026364 A KR1020150026364 A KR 1020150026364A KR 20150026364 A KR20150026364 A KR 20150026364A KR 101675911 B1 KR101675911 B1 KR 101675911B1
Authority
KR
South Korea
Prior art keywords
sound
data
score
unit
control unit
Prior art date
Application number
KR1020150026364A
Other languages
Korean (ko)
Other versions
KR20160103698A (en
Inventor
송승호
Original Assignee
주식회사 와이오즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이오즈 filed Critical 주식회사 와이오즈
Priority to KR1020150026364A priority Critical patent/KR101675911B1/en
Publication of KR20160103698A publication Critical patent/KR20160103698A/en
Application granted granted Critical
Publication of KR101675911B1 publication Critical patent/KR101675911B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G7/00—Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 마이크로폰을 통하여 입력받은 음향을 음향데이터로 변환하는 음향변환부, 상기 음향데이터의 입력시간에 따른 음향 종류를 판단하고, 저장부에 저장된 음향데이터와 비교하여 해당 실행명령을 생성하는 제어부 및 상기 제어부의 실행명령에 따른 화면을 외부로 표시하는 디스플레이부를 포함하는 외부음향에 따른 맞춤 정보를 표시하는 전자책을 제공한다.
본 발명에 따르면, 외부환경에서 발생하는 음향의 종류를 판단하고, 인식된 음향 데이터에 따라 특정 기능을 실행함으로서 입력되는 음향의 다양성에 따른 해당 명령을 실행할 수 있다.The present invention relates to a sound processing apparatus and a sound processing method for a sound processing apparatus including a sound converting unit for converting sound received through a microphone into sound data, a control unit for determining the type of sound according to the input time of the sound data, And a display unit for displaying a screen according to an execution command of the control unit to the outside.
According to the present invention, the type of sound generated in the external environment is determined, and a specific function is executed according to the recognized sound data, so that the corresponding command can be executed according to the diversity of the input sound.

Description

외부음향에 따른 맞춤 정보를 표시하는 전자책{E-BOOK DEVICE FOR DISPLAYING INFORMATION BY INPUT SOUND}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an e-book reading apparatus,

본 발명은 전자책에 관한 것으로써, 더욱 상세하게는 외부에서 입력되는 음향에 따라 해당 정보를 표시할 수 있는 전자책에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an electronic book, and more particularly, to an electronic book capable of displaying corresponding information according to sound input from the outside.

전자책(e-Book)은 종이에 인쇄된 도서의 내용을 전자화한 정보(이하, 전자문서라 함)를 사용자가 읽을 수 있도록 디스플레이수단을 통하여 보여주고, 사용자는 디스플레이된 정보를 읽고 편집할 수 있는 기능을 제공하는 장치이다. 즉, 전자책은 정보저장수단에 저장된 전자문서 등을 사용자가 페이지 단위로 읽을 수 있도록 화면에 렌더링(rendering)하는 가상 수단이다. 이러한 전자책은 최근 인터넷 및 이동통신기술의 발달에 따라 스마트 폰 및 태블릿 PC 등에 탑재되어 사용자가 손쉽게 전자책 데이터를 관련 서버로부터 다운로드 받아 구독가능하다.
An electronic book (e-Book) displays information (hereinafter referred to as an electronic document) obtained by digitizing the contents of a book printed on a paper through a display means so that the user can read the information, and the user can read and edit the displayed information It is a device that provides a function. That is, the e-book is an imaginary means for rendering an electronic document or the like stored in the information storage means on the screen so that the user can read it on a page-by-page basis. Such electronic books have recently been installed in smartphones and tablet PCs according to the development of the Internet and mobile communication technology, so that users can easily download electronic book data from related servers and subscribe them.

최근, 컴퓨터 및 인터넷의 보급으로 전자문서는 이제 일반적인 것이 되었다. 기존의 책, 노트, 회계장부 등 거의 모든 형태의 종이 문서들이 소프트웨어적인 전자문서로 대체되고 있다. 전자문서는 용이하게 복제될 수 있고, 통신망을 통해 지리적, 시간적 제한없이 매우 빠르게 유통될 수 있으며, 완벽하게 보존될 수 있고, 보관을 위해 큰 물리적 공간이 필요하지 않다. 이러한 기존의 종이 문서들에 비해 비교할 수 없는 장점에 의해 전자문서의 제작 및 보급은 점점 더 확대될 것으로 예상된다.
Recently, with the spread of computers and the Internet, electronic documents have become commonplace nowadays. Almost all types of paper documents, such as existing books, notebooks, and books of accounts, are being replaced by software electronic documents. Electronic documents can be easily copied, distributed very quickly without any geographical and temporal limitations over a communication network, can be perfectly preserved, and do not require a large physical space for archiving. It is expected that the production and dissemination of electronic documents will be expanded more and more by virtue of the incomparable advantages compared with the conventional paper documents.

한편 전자책은 사용자가 해당 전자책 데이터 가독시 페이지를 넘기기 위해서는 사용자는 특정펜과 같은 입력장치 또는 손으로 디스플레이부(터치스크린)에 표시된 화면을 터치하여 페이지 넘김 명령을 입력하고 있다.
On the other hand, in order for the user to turn the page when the electronic book data is read, the user touches a screen displayed on the display unit (touch screen) with an input device such as a specific pen or a hand to input a page turn command.

이와 관련된 선행기술로 대한민국 공개특허공보 제2012-0063281호의 '음성 인식을 통한 전자책 제어 방법 및 그 장치'는 외부로부터 입력되는 음성을 제공받아서 처리 가능한 음성 신호로 변환하여 출력하는 음성 입력부, 음성 단어별로 수행하여야 하는 동작에 해당하는 명령이 저장되어 있는 음성 단어 데이터베이스, 상기 음성 신호를 처리하여 상기 음성 신호로부터 음성 단어를 추출하는 음성 신호 인식 처리부, 전자책 컨텐츠를 설정 단위로 처리하여 제공하는 전자책 제공부 및 상기 추출된 음성 단어를 토대로 상기 음성 단어 데이터베이스로부터 해당하는 명령을 찾아서 상기 전자책 제공부를 제어하는 제어부를 포함하는 전자책 제어 장치가 개시된다.
As a related art related to this, Korean Patent Laid-Open Publication No. 2012-0063281 '' Electronic book control method and apparatus for voice recognition '' includes a voice input unit for converting a voice inputted from outside into a voice signal that can be processed and outputting, A voice signal database for storing commands corresponding to operations to be performed separately, a voice signal recognition processor for processing the voice signals to extract voice words from the voice signals, an electronic book And controlling the electronic book providing unit by searching for a corresponding command from the voice word database on the basis of the extracted voice word, and controlling the electronic book providing unit.

그러나 상기 선행기술은 음성인식을 통하여 전자책을 제어하고 있는 기술만이 기재되어 있다. 따라서 전자책으로 입력되는 음향이 사람의 음성이 아닌 특정 음향(예를 들어 악기소리)인 경우, 연주되는 곡의 악보를 인식하고, 연주자의 추가적인 입력행위 없이 계속적으로 다음 페이지의 악보를 표시할 수 있는 전자책의 개발이 필요하다.
However, the prior art describes only a technique for controlling an electronic book through voice recognition. Therefore, if the sound inputted to the e-book is not a human voice but a specific sound (for example, a musical instrument sound), the musical score of the music being played can be recognized and the musical score of the next page can be continuously displayed It is necessary to develop an electronic book.

대한민국 공개특허공보 제10-2012-0063281호(2012.06.15)Korean Patent Publication No. 10-2012-0063281 (June 15, 2012)

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 입력되는 음향에 따라 해당 컨텐츠를 선택하고 선택한 컨텐츠를 표시함에 있어 사용자의 추가적인 입력행위없이 계속적으로 페이지를 넘길 수 있는 외부음향에 따른 맞춤 정보를 표시하는 전자책을 제공하기 위한 것이다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for selecting a content according to an input sound and displaying the selected content, And displaying the customized information in accordance with the information.

상기 과제를 해결하기 위해, 본 발명의 일실시예인 외부음향에 따른 맞춤 정보를 표시하는 전자책은 마이크로폰을 통하여 입력받은 음향을 음향데이터로 변환하는 음향변환부, 상기 음향데이터의 입력시간에 따른 음향 종류를 판단하고, 저장부에 저장된 음향데이터와 비교하여 해당 실행명령을 생성하는 제어부, 근거리 통신 모듈 및 이동통신모듈로 이루어진 통신부 및 상기 제어부의 실행명령에 따른 화면을 외부로 표시하는 디스플레이부를 포함하고, 상기 제어부는 입력시간이 미리 설정된 기준입력시간보다 초과하는 경우, 입력된 음향데이터는 악보데이터라고 판단하여 저장부에 저장된 악보데이터와 비교 후 매칭된 악보를 디스플레이부에 표시하며, 연주시간의 경과에 따라 악보 페이지를 넘기도록 제어하고, 입력되는 음향데이터가 경보기준값이상으로 소정의 시간동안 일정패턴이 반복적으로 계속되고 있음을 인식하는 경우, 상기 디스플레이부를 통하여 비상상황을 알리도록 제어하며, 상기 통신부를 통하여 해당 공연장에 설치된 비콘단말로부터 악보ID정보를 수신하는 경우, 통신부를 통하여 비콘단말로부터 전송받은 악보ID를 관리서버로 전송하고, 관리서버로부터 상기 악보ID에 따른 악보리스트의 악보데이터를 전송받아 저장부에 저장하고, 현재 표시되고 있는 악보페이지를 다음 악보페이지로 넘기기 전 디스플레이부의 소정의 영역에 페이지넘김 알림아이콘을 표시하는 것을 특징으로 한다.
According to an embodiment of the present invention, there is provided an electronic book displaying customized information according to an external sound, the electronic book including an acoustic converter for converting sound received through a microphone into acoustic data, And a display unit for displaying a screen according to an execution command of the control unit to the outside, wherein the communication unit includes a control unit, a short range communication module, and a mobile communication module for comparing the sound data stored in the storage unit with the sound data stored in the storage unit, If the input time exceeds the preset reference input time, the control unit judges that the inputted sound data is the score data, displays the score data matched with the score data stored in the storage unit on the display unit, The control unit controls so that the score page is passed over in accordance with the sound data When it is recognized that the predetermined pattern is repeatedly continued for a predetermined time or longer, the controller controls to inform the emergency situation through the display unit and receives the score ID information from the beacon terminal installed in the corresponding venue through the communication unit , Transmits the score ID transmitted from the beacon terminal to the management server via the communication section, receives the score data of the score list according to the score ID from the management server and stores the score data in the storage section, A page turn notification icon is displayed on a predetermined area of the display unit before the handover is made.

삭제delete

삭제delete

상기와 같은 본 발명에 따르면, 외부환경에서 발생하는 음향의 종류를 판단하고, 인식된 음향 데이터에 따라 특정 기능을 실행함으로서 입력되는 음향의 다양성에 따른 해당 명령을 실행할 수 있다.
According to the present invention, the type of sound generated in the external environment is determined, and a specific function is executed according to the recognized sound data, so that the corresponding command according to the diversity of the input sound can be executed.

여기서 입력되는 외부환경에서 발생되는 음향이 음악 연주(예를 들어 오케스트라의 연주)에 따른 악기소리일 경우, 입력되는 음향데이터를 분석하여 악보를 인식하고, 자동적으로 다음 페이지의 악보를 연주자에게 보여줌으로써 연주자는 전자책에 터치 등의 추가적인 입력행위 없이 연주에만 집중할 수 있다.
When the sound generated in the external environment inputted here is a musical instrument sound according to music performance (for example, playing of an orchestra), the musical score is analyzed by analyzing the inputted sound data, and the musical score of the next page is automatically shown to the player The player can concentrate on the performance without any additional input action such as touching the e-book.

또한 입력되는 외부환경에서 발생되는 음향이 전자책의 특정기능을 실행하는 사람의 음성 또는 화재 등 비상시 발생하는 경보로 인식되는 경우, 이를 판단하여 해당 명령어에 따른 기능을 수행하거나 사용자에게 알림으로써 외부환경 음향에 따른 정보를 간편하게 표시할 수 있다.
Also, when the sound generated in the input external environment is recognized as an alarm occurring in an emergency such as a voice of a person executing a specific function of the electronic book or a fire, it is determined that the sound is a function of the command, Information according to sound can be displayed easily.

도 1은 본 발명의 일 실시예에 따른 외부음향에 따른 맞춤 정보를 표시하는 전자책의 구성블록도이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이부에 연속적으로 악보를 표시하기 위한 제어부의 동작을 설명하기 위한 구성블록도이다.
도 3은 본 발명의 일 실시예에 따른 외부음향에 따른 맞춤 정보를 표시하는 전자책의 동작을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이부에 표시되는 악보를 나타내는 도면이다. 1 is a block diagram of an electronic book displaying customization information according to an external sound according to an embodiment of the present invention.
FIG. 2 is a block diagram for explaining an operation of a control unit for continuously displaying a score on a display unit according to an embodiment of the present invention.
3 is a flowchart illustrating an operation of an electronic book displaying customized information according to an external sound according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a notation displayed on a display unit according to an embodiment of the present invention.

이하의 상세한 설명은 예시에 지나지 않으며, 본 발명의 실시 예를 도시한 것에 불과하다. 또한 본 발명의 원리와 개념은 가장 유용하고, 쉽게 설명할 목적으로 제공된다.The following detailed description is merely an example, and is merely an example of the present invention. Further, the principles and concepts of the present invention are provided for the purpose of being most useful and readily explaining.

따라서, 본 발명의 기본 이해를 위한 필요 이상의 자세한 구조를 제공하고자 하지 않았음은 물론 통상의 지식을 가진 자가 본 발명의 실체에서 실시될 수 있는 여러 가지의 형태들을 도면을 통해 예시한다.
Accordingly, it is not intended to provide a more detailed structure than is necessary for a basic understanding of the present invention, but it should be understood by those skilled in the art that the present invention can be embodied in various forms.

이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대한 구성 및 작용을 상세히 설명하면 다음과 같다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 외부음향에 따른 맞춤 정보를 표시하는 전자책의 구성블록도이고, 도 2는 본 발명의 일 실시예에 따른 디스플레이부에 연속적으로 악보를 표시하기 위한 제어부의 동작을 설명하기 위한 구성블록도이다.FIG. 1 is a block diagram of an electronic book displaying customized information according to an external sound according to an exemplary embodiment of the present invention. FIG. 2 is a block diagram of an electronic book displaying control information for continuously displaying a score on a display unit according to an exemplary embodiment of the present invention. Fig. 8 is a block diagram for explaining the operation of the first embodiment.

도 1에서 보는 바와 같이, 전자책(1000)은 마이크로폰(10)을 통하여 외부환경에서 발생하는 음향을 입력받아 디지털 형식의 음향데이터로 변환하는 음향변환부(200), 상기 음향변환부(200)에 의하여 변환된 음향데이터와 저장부(300)에 저장된 기준 음향데이터를 비교하여 해당 실행명령을 생성하는 제어부(100) 및 상기 제어부의 실행명령에 따른 화면을 외부로 표시하는 디스플레이부(400)를 포함할 수 있다. 또한 상기 전자책(1000)은 근거리 통신모듈(블루투스, 지그비 등)로부터 RFID 또는 비콘신호를 입력받거나, 이동통신망을 통하여 음성데이터 데이터베이스를 관리하는 외부서버에 접속하여 새로운 음성데이터 및 음성인식에 필요한 알고리즘을 다운로드하여 제어부(100)로 제공할 수 있는 통신부(500)를 더 포함할 수 있다. 1, an electronic book 1000 includes a sound converting unit 200 for receiving sound generated in an external environment through a microphone 10 and converting the sound into digital sound data, A control unit 100 for comparing the converted sound data with the reference sound data stored in the storage unit 300 to generate a corresponding execution command and a display unit 400 for displaying a screen according to an execution command of the control unit to the outside . The electronic book 1000 also receives an RFID or beacon signal from a local communication module (Bluetooth, ZigBee, etc.) or connects to an external server that manages a voice data database through a mobile communication network, And a communication unit 500 capable of downloading and providing the downloaded data to the control unit 100.

본 명세서상의 전자책(1000)은 휴대폰, 스마트 폰, 노트북 컴퓨터, 태블릿 등에서 실행될 수 있으며, 사용자의 입력을 받기 위한 키패드 형태의 사용자 입력부, 스피커 또는 진동소자로 이루어져 소리 및 진동을 외부로 출력하는 출력부를 포함할 수 있다.
The electronic book 1000 of the present disclosure can be implemented in a mobile phone, a smart phone, a notebook computer, a tablet, and the like. The electronic book 1000 includes a user input part in the form of a keypad for receiving input from a user, Section.

상기 음향변환부(200)는 A/D 변환기로 이루어질 수 있으며, 마이크로폰(10)을 통하여 입력되는 외부 음향신호(아날로그 형식의 오디오 신호)를 음향데이터(디지털 형식의 오디오 신호)로 변환하여 제어부(100)로 출력한다.
The sound conversion unit 200 may be an A / D converter and converts an external sound signal (an analog sound signal) input through the microphone 10 into sound data (an audio signal in a digital format) 100).

저장부(300)는 전자책의 전반적인 동작을 제어하기 위한 구동프로그램이 저장될 수 있으며, 음향변환부로부터 입력된 음향데이터를 인식하기 위하여 미리 저장된 기준 음향데이터가 저장될 수 있다. 저장부(300)는 음향데이터를 상호 비교하여 매칭하기 위한 음향인식 알고리즘이 저장될 수 있다. 저장부(300)에 미리 저장되어 있는 기준 음향데이터는 음성 명령 데이터(301) 및 악보 데이터(302)를 포함할 수 있다. 상기 악보데이터(302)는 해당 곡의 전체 연주시간에 대한 정보를 포함할 수 있다.
The storage unit 300 may store a driving program for controlling the overall operation of the electronic book, and the reference sound data stored in advance may be stored in order to recognize the sound data input from the sound converting unit. The storage unit 300 may store an acoustic recognition algorithm for comparing and matching sound data. The reference sound data stored in advance in the storage unit 300 may include voice command data 301 and music score data 302. [ The score data 302 may include information on the total playing time of the corresponding music piece.

디스플레이부(400)는 전자책에서 처리되는 정보를 외부로 표시하기 위하여 액정 디스플레이, 유기 발광 다이오드 등으로 이루어질 수 있다. 또한 디스플레이부(400)는 터치 필름, 터피 패드 등의 터치 동작을 감지하는 센서를 포함하여 이루어져 출력장치 이외에 입력장치로도 사용될 수 있다.
The display unit 400 may be a liquid crystal display, an organic light emitting diode, or the like for displaying information processed in the electronic book as an external display. In addition, the display unit 400 includes a sensor for sensing a touch operation of a touch film, a touch pad, and the like, and may be used as an input device in addition to an output device.

통신부(500)는 이동통신망에 접속하여 기지국 및 서버 등과 무선 신호를 송신할 수 있는 이동통신모듈, Wi-Fi 등을 통하여 무선 인터넷 접속을 할 수 있는 무선 인터넷 모듈, 블루투스, RFID, ZigBee 등을 통하여 근거리 통신을 할 수 있는 근거리 통신모듈로 이루어질 수 있다. 통신부(500)는 통신부의 근거리 통신모듈인 블루투스 무선통신기술을 이용하여 외부에 설치되어 있는 비콘 단말이 발신하는 ID신호를 입력받을 수 있다. 이 경우, 제어부(100)는 상기 입력받은 비콘신호의 ID정보를 통신부의 이동통신모듈을 통하여 관리서버에 전송하여 해당 ID에 따른 정보를 요청할 수 있다. 관리서버는 비콘신호의 ID정보에 따른 내용을 검색하여 해당 정보를 통신부(500)의 이동통신모듈을 통하여 제어부로 전송할 수 있다. 여기서 상기 비콘 신호ID는 해당 비콘 단말이 음악공연을 위한 공연장에 설치되어 있을 경우, 비콘 범위내에 있는 전자책에 오늘 연주할 악보 리스트 정보 요청을 위한 악보ID정보일 수 있으며, 관리서버는 상기 악보ID정보를 수신하고 요청된 악보 리스트에 대한 악보데이터를 전자책에 전송함으로써 전자책은 해당 악보데이터를 다운로드 받아 저장부에 저장할 수 있다. 또한 상기 비콘 단말이 위험을 감지하여 경보 ID정보를 전자책에 전송하는 경우, 제어부는 이를 화재 등 재난에 다른 경보로 인식하고 디스플레이부 및 출력부를 제어하여 외부에 위험을 알릴 수 있다.
The communication unit 500 includes a mobile communication module connected to a mobile communication network and capable of transmitting a wireless signal with a base station and a server, a wireless Internet module capable of wireless Internet access through Wi-Fi, Bluetooth, RFID, ZigBee And a short-range communication module capable of short-range communication. The communication unit 500 can receive an ID signal transmitted from an external beacon terminal using a Bluetooth wireless communication technology, which is a local communication module of the communication unit. In this case, the control unit 100 may transmit the ID information of the received beacon signal to the management server through the mobile communication module of the communication unit, and may request information according to the ID. The management server can retrieve the contents according to the ID information of the beacon signal and transmit the information to the controller through the mobile communication module of the communication unit 500. [ Here, the beacon signal ID may be score ID information for requesting a score list information to be played today in an electronic book within a beacon range when the beacon terminal is installed in a performance venue for music performance, By receiving the information and sending the score data about the requested score list to the e-book, the e-book can download the score data and store it in the storage unit. Also, when the beacon terminal detects the danger and transmits the alert ID information to the electronic book, the control unit recognizes the beacon terminal as another alarm in the fire disaster, and controls the display unit and the output unit to inform the outside of the danger.

제어부(100)는 저장부에 저장되어 있는 음향인식 알고리즘을 호출하여 음향변환부(200)로부터 입력된 음향데이터를 인식하기 위하여 음향종류 판단부(110), 음향비교부(120) 및 실행명령 생성부(130)를 포함할 수 있다. The control unit 100 calls the sound recognition algorithm stored in the storage unit to recognize the sound data input from the sound converting unit 200. The sound type determining unit 110, the sound comparing unit 120, (130).

음향종류 판단부(110)는 음향변환부로부터 출력되는 음향데이터의 입력시간을 기준으로 음성명령데이터 인지 악보 데이터인지를 먼저 판단할 수 있다. 일반적인 음성명령은 보통 수초(5초이내) 시간내에 입력된다. 제어부는 음향데이터의 입력시간이 소정의 시간(5초)내일 경우에는 음성명령데이터로 인지하고 해당 저장부에 저장된 음성명령데이터만을 비교하여 매칭되는 음성인식명령을 독출할 수 있다. 제어부는 전자책에 입력되는 음향의 입력시간에 따라 음성명령데이터인지 악보데이터인지를 먼저 판단함으로써 음향데이터간 상호 매칭을 빠르게 실행할 수 있다.
The sound type determination unit 110 may determine whether the sound data is the voice command data or the score data based on the input time of the sound data output from the sound converting unit. Common voice commands are usually entered within a few seconds (less than 5 seconds). When the input time of the sound data is within the predetermined time (5 seconds), the control unit recognizes the voice command data and compares only the voice command data stored in the storage unit to read the matching voice recognition command. The controller can quickly perform mutual matching between the sound data by first determining whether the sound data is voice command data or music score data according to the input time of the sound inputted to the electronic book.

음향비교부(120)는 음향변환부(200)로부터 입력된 음향데이터와 저장부(300)에 저장되어 있는 기준 음향데이터와 상호 비교하여 입력된 음향데이터를 인식할 수 있다. 음향비교부(120)는 음향종류 판단부(110)로부터 먼저 입력된 음향데이터가 음성명령데이터 인지 악보 데이터인지 결정된 상태에서 음향인식 알고리즘을 호출하여 결정된 음향데이터의 주파수에 따른 진폭변화의 패턴정보와 기준 음향데이터의 패턴정보를 상호 비교하여 음향데이터를 매칭할 수 있다. 한편 음향비교부(120)는 입력되는 음향데이터가 경보기준값이상으로 소정의 시간동안(10초 이상) 일정패턴이 반복적으로 계속되고 있음을 인식하는 경우, 화재 등의 비상상황이라고 인지할 수 있다. The sound comparing unit 120 can recognize the inputted sound data by comparing the sound data inputted from the sound converting unit 200 and the reference sound data stored in the storing unit 300. [ The acoustic comparison unit 120 compares the pattern information of the amplitude change according to the frequency of the acoustic data determined by calling the acoustic recognition algorithm in a state where the acoustic data inputted first from the acoustic type determination unit 110 is voice command data or score data, The pattern information of the reference sound data can be compared with each other to match the sound data. On the other hand, when the sound comparison unit 120 recognizes that the inputted sound data is repeatedly continued in a predetermined pattern for a predetermined time (10 seconds or more) at an alarm reference value or more, it can be recognized that the sound data is an emergency situation such as a fire.

실행명령생성부(130)는 매칭된 음향데이터의 인식 즉 음성, 악기소리 및 경보에 따라 디스플레이부(400) 및 출력부(스피커 또는 진동소자)를 통하여 해당 정보를 외부로 표시하기 위한 실행명령을 생성할 수 있다. 또한 제어부의 실행명령생성부(130)는 현재 인식된 음향데이터에 따른 정보를 계속적으로 표시하기 위한 제어를 연속적으로 수행할 수 있다. 예를 들어, 도 4는 본 발명의 일 실시예에 따른 디스플레이부에 표시되는 악보를 나타내는 도면으로, 도 4에서 보는 바와 같이, 제어부는 입력되는 음향데이터와 매칭된 악보데이터를 이용하여 악보를 디스플레이부(400)에 표시하도록 제어할 수 있다. 제어부의 실행명령생성부는 매칭된 악보데이터의 연주시간정보를 이용하여 디스플레이부(400)의 현재 화면에 표시되어 있는 악보부분의 종료시간정보를 계산할 수 있다. 예를 들어 매칭된 악보데이터의 전체 연주시간이 5분이고, 현재 디스플레이부에 표시되어 있는 악보 부분이 30초분량의 연주시간이 소요된다고 계산되면, 실행명령생성부는 30초 후 다음 악보페이지가 디스플레이부에 표시되도록 제어할 수 있다. 여기서 실행명령생성부는 현재 디스플레이부에 표시되어 있는 악보 종료 시간(상기 예에서 30초)보다 수 초정도 전에 미리 페이지넘김 알림아이콘(401)을 디스플레이부의 소정의 영역에 표시함으로써 연주자에게 다음 악보페이지로의 이동을 알릴 수 있다.
The execution command generation unit 130 generates an execution command for externally displaying the corresponding information through the display unit 400 and the output unit (speaker or vibration element) according to the recognition of the matched sound data, that is, Can be generated. In addition, the execution command generation unit 130 of the control unit may continuously perform control for continuously displaying information according to the currently recognized sound data. For example, FIG. 4 illustrates a musical score displayed on the display unit according to an embodiment of the present invention. As shown in FIG. 4, the control unit displays a musical score using the musical score data matched with the inputted sound data So that it can be displayed on the display unit 400. The execution command generation unit of the control unit can calculate the end time information of the score portion displayed on the current screen of the display unit 400 using the performance time information of the matched score data. For example, if it is determined that the total performance time of the matched musical score data is 5 minutes, and that the musical score portion currently displayed on the display unit takes 30 seconds of musical performance time, As shown in FIG. Here, the execution command generating unit displays the page turnover notification icon 401 in advance in the predetermined area of the display unit a few seconds before the score end time (30 seconds in the above example) currently displayed on the display unit, Can be informed.

도 3은 본 발명의 일 실시예에 따른 외부음향에 따른 맞춤 정보를 표시하는 전자책의 동작을 설명하기 위한 순서도이다. 3 is a flowchart illustrating an operation of an electronic book displaying customized information according to an external sound according to an embodiment of the present invention.

도 3에서 보는 바와 같이, 제어부는 먼저 마이크로폰을 통하여 음향을 입력받아 디지털 형식으로 변환된 음향데이터를 입력받는다(S31,32). 다음으로 제어부는 입력되는 음향데이터의 입력시간이 소정의 시간(예를 들어 5초) 이내인 경우(S33), 음성인식으로 판단하여 저장부에 저장되어 있는 음성명령데이터와 비교하여 해당 명령을 인식하고(S36), 해당 명령에 따른 기능을 실행할 수 있다(S37). 한편 제어부는 입력되는 음향데이터의 입력시간이 소정의 시간(예를 들어 5초) 이상인 경우(S33), 악기소리로 인식하여 저장부에 저장되어 있는 악보데이터와 비교하여 해당 악보를 디스플레이부에 표시하도록 제어한다(S34). 마지막으로 제어부는 선택된 악보의 전체 연주시간을 기준으로 현재 디스플레이부에 표시되어 있는 악보 종료을 계산하고 계산된 악보종료시간전에 디스플레이부의 소정의 영역에 페이지넘김 알림아이콘을 표시하여 연주자에게 다음 악보페이지로 이동함을 알릴 수 있다(S35). 따라서 제어부는 현재 매칭된 악보데이터의 페이지 넘김을 계속적으로 제어하여 연주자가 전자책에 표시된 악보페이지를 넘기기 위하여 터치 또는 새로운 음성명령등에 따른 추가적인 입력행위 없이 해당 연주를 위한 악보를 계속적으로 디스플레이부에 표시할 수 있다. As shown in FIG. 3, the controller receives the sound through the microphone, and receives the sound data converted into the digital format (S31 and S32). Next, when the input time of the inputted sound data is within a predetermined time (for example, 5 seconds) (S33), the control unit compares the input voice data with the voice command data stored in the storage unit (S36), and execute the function according to the command (S37). On the other hand, when the input time of the inputted sound data is equal to or longer than a predetermined time (for example, 5 seconds) (S33), the controller compares the input sound data with the music data stored in the storage unit and displays the music data on the display unit (S34). Finally, the control unit calculates the end of the score displayed on the current display unit based on the entire play time of the selected score, displays a page turn notification icon on a predetermined area of the display unit before the calculated score end time, (S35). Therefore, the control unit continuously controls the page turning of the currently matched score data, so that the player can continuously display the score for the performance on the display unit without further inputting action according to a touch, a new voice command, or the like, can do.

또한 제어부는 매칭된 악보데이터를 디스플레이부에 계속적으로 표시하고 있는 도중에도 입력된 음향데이터와 매칭된 악보데이터를 계속적으로 비교하여 연주자가 해당 연주를 정확하게 연주하고 있는지에 대한 정보를 디스플레이부에 표시할 수 있다. 제어부는 연주자가 매칭된 악보데이터에 따른 연주를 소정의 마디이상 하지 않는 경우, 틀린 음표에 색깔을 표시한다거나 디스플레이부에 다음 악보페이지를 표시하지 않도록 제어할 수 있다. Also, while the matched musical score data is continuously displayed on the display unit, the control unit continuously compares the matched musical score data with the inputted sound data to display information on whether or not the player is correctly playing the musical performance on the display unit . The control unit may control the display unit to display a color on the wrong note or to not display the next score page on the display unit when the player does not perform the performance according to the score data matched with the predetermined score.

따라서 연주자는 자신이 연주하고자 하는 악보를 전자책에 미리 설정할 필요가 없으며, 해당 악보의 다음 페이지로 넘기기 위한 추가적인 입력행위를 할 필요가 없고, 틀린 부분에 대하여 곧바로 인지할 수 있음으로 악기 연주의 효율성을 높일 수 있다. Therefore, the player does not need to set the musical score to be played by himself in advance in the electronic book, and there is no need to perform any additional input action for passing to the next page of the musical score, and it is possible to immediately recognize the wrong portion. .

한편 제어부는 입력되는 음성데이터가 경보기준값이상으로 소정의 시간동안 반복적인 패턴으로 지속되는 경우, 이를 화재 등의 비상상황이라고 인지하여 디스플레이부 및 출력부를 통하여 사용자에게 경고할 수 있다.
On the other hand, when the input voice data continues in a repetitive pattern for a predetermined time longer than the alarm reference value, the controller recognizes it as an emergency situation such as a fire, and can alert the user through the display unit and the output unit.

또한 본 발명의 전자책은 통신부와 음향인식을 통하여 연주자가 해당 음악을 연주할 수 있는 외부환경에 따른 맞춤 정보를 제공할 수 있다. 예를 들어, 제어부는 해당 공연장에 설치된 비콘단말로부터 악보ID정보를 수신하여 연주하려는 악보리스트에 다른 악보데이터를 미리 다운로드 받아 저장부에 저장할 수 있다. 이후 연주가 시작되어 음향변환부로 악기소리가 입력되는 경우, 제어부는 다운로드받은 음악리스트와 관련된 악보데이터만을 검색하여 매칭된 악보데이터를 독출하여 이를 디스플레이부에 간편하게 표시할 수 있다. 이후 제어부는 매칭된 악보데이터의 전체 연주시간에 따른 디스플레이부에 표시되고 있는 악보종료시간을 계산하여 계속적으로 다음 악보페이지를 디스플레이부에 표시함으로서 연주자는 본원 발명의 전자책을 이용하여 악기 연주시 악보를 편리하게 볼 수 있다.
In addition, the electronic book of the present invention can provide customization information according to the external environment in which the player can play the music through the communication unit and the sound recognition. For example, the control unit may receive the score ID information from the beacon terminal installed in the corresponding performance site, and may download other score data to the score list to be played and store the score data in the storage unit. When the performance is started and the sound of the instrument is input to the sound conversion unit, the control unit searches only the score data related to the downloaded music list, reads the matched score data, and can easily display the matched score data on the display unit. Then, the control unit calculates the score end time displayed on the display unit according to the entire performance time of the matched score data, and continuously displays the next score page on the display unit, so that the performer uses the electronic book of the present invention, Can be conveniently viewed.

이상에서는 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand.

그러므로 본 발명의 권리범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

10:마이크로폰 100:제어부
110:음향종류판단부 120:음향비교부
130:실행명령생성부 200:음향변환부
300:저장부 301:음성명령 데이터
302:악보 데이터 400:디스플레이부
401:페이지넘김 알림아이콘 500:통신부
1000:전자책10: microphone 100:
110: acoustic type determination unit 120: acoustic comparison unit
130: Execution command generation unit 200: Acoustic conversion unit
300: storage unit 301: voice command data
302: score data 400:
401: Page turn notification icon 500:
1000: eBooks

Claims (3)

마이크로폰을 통하여 입력받은 음향을 음향데이터로 변환하는 음향변환부,
상기 음향데이터의 입력시간에 따른 음향 종류를 판단하고, 저장부에 저장된 음향데이터와 비교하여 해당 실행명령을 생성하는 제어부,
근거리 통신 모듈 및 이동통신모듈로 이루어진 통신부 및
상기 제어부의 실행명령에 따른 화면을 외부로 표시하는 디스플레이부를 포함하고,
상기 제어부는
입력시간이 미리 설정된 기준입력시간보다 초과하는 경우, 입력된 음향데이터는 악보데이터라고 판단하여 저장부에 저장된 악보데이터와 비교 후 매칭된 악보를 디스플레이부에 표시하며, 연주시간의 경과에 따라 악보 페이지를 넘기도록 제어하고, 입력되는 음향데이터가 경보기준값이상으로 소정의 시간동안 일정패턴이 반복적으로 계속되고 있음을 인식하는 경우, 상기 디스플레이부를 통하여 비상상황을 알리도록 제어하며, 상기 통신부를 통하여 해당 공연장에 설치된 비콘단말로부터 악보ID정보를 수신하는 경우, 통신부를 통하여 비콘단말로부터 전송받은 악보ID를 관리서버로 전송하고, 관리서버로부터 상기 악보ID에 따른 악보리스트의 악보데이터를 전송받아 저장부에 저장하고, 현재 표시되고 있는 악보페이지를 다음 악보페이지로 넘기기 전 디스플레이부의 소정의 영역에 페이지넘김 알림아이콘을 표시하는 것을 특징으로 하는 외부음향에 따른 맞춤 정보를 표시하는 전자책.A sound converting unit for converting the sound received through the microphone into sound data,
A control unit for determining an acoustic type according to the input time of the acoustic data, comparing the acoustic data with the acoustic data stored in the storage unit,
A communication unit including a short distance communication module and a mobile communication module,
And a display unit for externally displaying a screen according to an execution command of the control unit,
The control unit
If the input time exceeds the preset reference input time, the input sound data is judged to be notation data, and the notated music stored in the storing unit is compared with the notated music data, and the notated music is displayed on the display unit. And controls to inform the emergency situation through the display unit when the input sound data recognizes that the predetermined pattern is repeatedly continued for a predetermined time longer than the alarm reference value, Transmits the score ID transmitted from the beacon terminal through the communication section to the management server, receives the score data of the score list corresponding to the score ID from the management server, and stores the score data in the storage section , And passes the currently displayed score page to the next score page Electronic book displaying the customized information according to the external sound, characterized in that displaying the entire display section notification page turn over a predetermined area of the icon. 삭제delete 삭제delete
KR1020150026364A 2015-02-25 2015-02-25 E-book device for displaying information by input sound KR101675911B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150026364A KR101675911B1 (en) 2015-02-25 2015-02-25 E-book device for displaying information by input sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150026364A KR101675911B1 (en) 2015-02-25 2015-02-25 E-book device for displaying information by input sound

Publications (2)

Publication Number Publication Date
KR20160103698A KR20160103698A (en) 2016-09-02
KR101675911B1 true KR101675911B1 (en) 2016-11-14

Family

ID=56942921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150026364A KR101675911B1 (en) 2015-02-25 2015-02-25 E-book device for displaying information by input sound

Country Status (1)

Country Link
KR (1) KR101675911B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807765B (en) * 2016-09-08 2020-09-29 北京京东尚科信息技术有限公司 Method and device for realizing page interaction
CN109712218B (en) * 2018-12-17 2021-05-04 掌阅科技股份有限公司 Electronic book note processing method, handwriting reading equipment and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100412196B1 (en) * 2001-05-21 2003-12-24 어뮤즈텍(주) Method and apparatus for tracking musical score
KR101055752B1 (en) * 2005-05-25 2011-08-11 엘지전자 주식회사 Mobile communication terminal with music teaching function and music teaching method thereof
KR20080075298A (en) * 2007-02-12 2008-08-18 (주)티원시스템즈 System for providing electronic musical score
KR20120063281A (en) 2010-12-07 2012-06-15 한국전자통신연구원 Method and apparatus for controlling e-books using voice recognition

Also Published As

Publication number Publication date
KR20160103698A (en) 2016-09-02

Similar Documents

Publication Publication Date Title
KR102563314B1 (en) Electronic Device and the Method for Generating Short cut of Quick Command
US10121465B1 (en) Providing content on multiple devices
US9613623B2 (en) User interface method and device comprising repeated output of an audible signal and a visual display and vibration for user notification
CN107111492B (en) Scaling digital personal assistant agents across devices
JP6440513B2 (en) Information providing method and device control method using voice recognition function
KR101554221B1 (en) Method for playing a musical instrument using potable terminal and apparatus thereof
KR102070196B1 (en) Method and apparatus for providing context aware service in a user device
KR101657963B1 (en) Operation Method of Device based on a alteration ratio of touch area And Apparatus using the same
US8706920B2 (en) Accessory protocol for touch screen device accessibility
KR20200037192A (en) Method and system for executing application
CN110556127B (en) Method, device, equipment and medium for detecting voice recognition result
KR20130122839A (en) Mobile device for having at least one microphone sensor and method for controlling the same
JP2016519805A (en) Serving content on multiple devices
KR20100120958A (en) Method for activating user function based on a kind of input signal and portable device using the same
CN111524501B (en) Voice playing method, device, computer equipment and computer readable storage medium
KR20120023339A (en) Method for executing function using touch signal and apparatus
WO2016036605A9 (en) Accessory device operation with user mobile device
US20100056052A1 (en) Electronic device and searching method thereof
CN104050222B (en) Selectively activating A/V web content in an electronic device
KR20130038723A (en) Method and system for searching using keyword
KR20190122457A (en) Electronic device for performing speech recognition and the method for the same
KR20200106703A (en) Apparatus and method for providing information based on user selection
KR20110076283A (en) Method and apparatus for providing feedback according to user input patten
KR101675911B1 (en) E-book device for displaying information by input sound
KR20150059932A (en) Method for outputting sound and apparatus for the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191014

Year of fee payment: 4