KR20210062467A - System for Identifying Audio - Google Patents
System for Identifying Audio Download PDFInfo
- Publication number
- KR20210062467A KR20210062467A KR1020190150731A KR20190150731A KR20210062467A KR 20210062467 A KR20210062467 A KR 20210062467A KR 1020190150731 A KR1020190150731 A KR 1020190150731A KR 20190150731 A KR20190150731 A KR 20190150731A KR 20210062467 A KR20210062467 A KR 20210062467A
- Authority
- KR
- South Korea
- Prior art keywords
- conversion information
- audio
- matching
- memory unit
- search
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 106
- 230000015654 memory Effects 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Technology Law (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 병렬 오디오 식별 시스템에 관한 것으로서, 더욱 상세하게는 식별 속도를 증가시킬 수 있는 병렬 오디오 식별 시스템에 관한 것이다.The present invention relates to a parallel audio identification system, and more particularly, to a parallel audio identification system capable of increasing the identification speed.
최근에는 음원 관련 저작권 협회 등에서 음원을 듣고서 무슨 음원인지를 판독하는 시스템이 많이 이용되고 있다. Recently, a system for reading a sound source by listening to a sound source has been widely used in copyright associations related to sound sources.
그런데, 수백만 곡의 음원을 대비해야 하기 때문에 시간이나 연산량으로 볼 때 상당한 로드(load)가 걸리는 작업이다.However, it is a task that takes a considerable load in terms of time or amount of computation because it has to prepare for the sound sources of millions of songs.
깨끗한 음질의 음원을 쿼리(query)로 입력받는 경우에는 시간이나 연산량과는 무관하게 판독률은 높게 나올 수 있다. When a sound source of clean sound quality is input as a query, the read rate may be high regardless of the time or amount of computation.
그러나, 배경음악(background music)이나 노이즈(noise)가 많은 음원은 정확한 음원 판독이 어려운 경우가 많다.However, it is often difficult to accurately read a sound source for background music or a sound source with a lot of noise.
특히, TV 음원에서 박수 소리라든가 웃음 소리와 같은 노이즈가 섞여 있는 경우에는 정확한 음원 판독이 어렵다. In particular, it is difficult to accurately read the sound source when noise such as applause or laughter is mixed in the TV sound source.
이에, 이러한 소음에도 강건한 오디오 식별 수단이 요구되고 있다.Accordingly, an audio identification means that is robust against such noise is required.
도 1은 종래 기술에 따른 오디오 식별 시스템의 일례로서, 쿼리 오디오(검색 오디오) 음원을 스펙트로그램(spectrogram)으로 변환하고 스펙트로그램에서 특징적인 주파수(frequency)를 시간 단위로 추출하여 오디오 핑거프린트를 생성한다.1 is an example of an audio identification system according to the prior art, and generates an audio fingerprint by converting a query audio (search audio) sound source into a spectrogram and extracting a characteristic frequency from the spectrogram in units of time do.
또한, 레퍼런스 오디오(기준 오디오) 음원을 스펙트로그램(spectrogram)으로 변환하고 스펙트로그램에서 특징적인 주파수(frequency)를 시간 단위로 추출하여 오디오 핑거프린트를 생성한다.In addition, an audio fingerprint is generated by converting a reference audio (reference audio) sound source into a spectrogram and extracting a characteristic frequency from the spectrogram in units of time.
이렇게 생성된 쿼리 오디오의 핑거프린트와 레퍼런스 오디오의 핑거프린트를 상호 매칭시키면, 유사한 부분이 유사도 매트릭스(similarity matrix) 상에 대각선으로 매칭된 매칭 구간이 발생된다.When the fingerprint of the query audio generated in this way and the fingerprint of the reference audio are matched with each other, a matching section in which similar parts are diagonally matched on a similarity matrix is generated.
한편, 대한민국 등록특허 제10-2037220호(2019.10.22. 등록)에서는 오디오 핑거프린트 매칭 시스템을 공지하고 있다.Meanwhile, Korean Patent Registration No. 10-2037220 (registered on October 22, 2019) discloses an audio fingerprint matching system.
그러나, 매칭 속도를 높이기 위해 오디오 핑거프린트를 서브 핑거프린트로 분할하고 각 서브 핑거프린터를 지시할 수 있는 포인터(pointer)값을 서로 대비하여 고속 근사 매칭(coarse matching)을 이용하나, 고속 근사 매칭에 있어 근사화를 심하게 할수록 속도가 빨라지지만 식별 정도가 부정확해지는 문제가 있다.However, in order to increase the matching speed, the audio fingerprint is divided into sub-fingerprints and the pointer values that can indicate each sub-fingerprint are compared with each other, and high-speed coarse matching is used. The more severe the approximation is, the faster the speed is, but there is a problem that the degree of identification becomes inaccurate.
본 발명은 상기와 같은 문제를 해결하기 위한 것으로서, 기준 오디오와 검색 오디오 간의 식별 정확성을 높이는 동시에 식별 속도도 높일 수 있는 병렬 오디오 식별 시스템을 제공하고자 함이다.An object of the present invention is to solve the above problems, and to provide a parallel audio identification system capable of improving identification accuracy between reference audio and search audio while increasing identification speed.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-described problems, and problems that are not mentioned will be clearly understood by those of ordinary skill in the art from the present specification and the accompanying drawings. .
본 발명의 일 실시예에 따른 병렬 오디오 식별 시스템은 검색 오디오에 대한 제1 변환 정보를 저장하는 제1 메모리부; 기준 오디오에 대한 제2 변환 정보를 저장하는 제2 메모리부; 및 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하여 상기 검색 오디오와 상기 기준 오디오가 동일한지 여부를 판단하는 매칭부;를 포함하며, 상기 제1 메모리부는 상기 검색 오디오가 복수의 구간으로 분할되어 형성되는 복수의 구간 검색 오디오 중 어느 하나의 상기 구간 검색 오디오의 상기 제1 변환 정보를 저장하며, 상기 매칭부는 상기 제1 메모리부에 저장된 상기 제1 변환 정보와 상기 제2 메모리부에 저장된 상기 제2 변환 정보를 매칭하며, 상기 제1 메모리부는 상기 매칭부가 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭한 결과 미리 정해진 대응 조건을 만족하지 않는 경우, 복수의 상기 구간 검색 오디오 중 매칭하지 않은 상기 구간 검색 오디오의 상기 제1 변환 정보를 저장할 수 있다.A parallel audio identification system according to an embodiment of the present invention includes: a first memory unit for storing first conversion information for search audio; A second memory unit for storing second conversion information for the reference audio; And a matching unit configured to match the first conversion information and the second conversion information to determine whether the search audio and the reference audio are the same, wherein the first memory unit divides the search audio into a plurality of sections. The first conversion information of the section search audio of any one of a plurality of section search audios that is formed is stored, and the matching unit includes the first conversion information stored in the first memory unit and the first conversion information stored in the second memory unit. Matches the second conversion information, and when the matching unit matches the first conversion information and the second conversion information and does not satisfy a predetermined corresponding condition, the match does not match among the plurality of section search audio. The first conversion information of the unused section search audio may be stored.
본 발명의 일 실시예에 따른 병렬 오디오 식별 시스템에 따르면, 기준 오디오와 검색 오디오 간의 식별 정확성을 높이는 동시에 식별 속도도 높일 수 있는 장점이 있다.According to the parallel audio identification system according to an embodiment of the present invention, there is an advantage in that the identification accuracy between the reference audio and the search audio can be improved, and the identification speed can be increased.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-described effects, and effects that are not mentioned will be clearly understood by those of ordinary skill in the art from the present specification and the accompanying drawings.
도 1은 종래의 오디오 식별 방법을 설명하기 위한 개략도.
도 2는 본 발명의 일 실시예에 따른 병렬 오디오 식별 시스템의 구성도.
도 3은 본 발명의 일 실시예에 따른 병렬 오디오 식별 시스템을 설명하기 위한 개략 블록도.1 is a schematic diagram for explaining a conventional audio identification method.
2 is a block diagram of a parallel audio identification system according to an embodiment of the present invention.
3 is a schematic block diagram illustrating a parallel audio identification system according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. However, the spirit of the present invention is not limited to the presented embodiments, and those skilled in the art who understand the spirit of the present invention can add, change, or delete other elements within the scope of the same idea. Other embodiments included within the scope of the inventive concept may be easily proposed, but this will also be said to be included within the scope of the inventive concept.
본 발명의 일 실시예에 따른 병렬 오디오 식별 시스템은 검색 오디오에 대한 제1 변환 정보를 저장하는 제1 메모리부; 기준 오디오에 대한 제2 변환 정보를 저장하는 제2 메모리부; 및 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하여 상기 검색 오디오와 상기 기준 오디오가 동일한지 여부를 판단하는 매칭부;를 포함하며, 상기 제1 메모리부는 상기 검색 오디오가 복수의 구간으로 분할되어 형성되는 복수의 구간 검색 오디오 중 어느 하나의 상기 구간 검색 오디오의 상기 제1 변환 정보를 저장하며, 상기 매칭부는 상기 제1 메모리부에 저장된 상기 제1 변환 정보와 상기 제2 메모리부에 저장된 상기 제2 변환 정보를 매칭하며, 상기 제1 메모리부는 상기 매칭부가 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭한 결과 미리 정해진 대응 조건을 만족하지 않는 경우, 복수의 상기 구간 검색 오디오 중 매칭하지 않은 상기 구간 검색 오디오의 상기 제1 변환 정보를 저장할 수 있다.A parallel audio identification system according to an embodiment of the present invention includes: a first memory unit for storing first conversion information for search audio; A second memory unit for storing second conversion information for the reference audio; And a matching unit configured to match the first conversion information and the second conversion information to determine whether the search audio and the reference audio are the same, wherein the first memory unit divides the search audio into a plurality of sections. The first conversion information of the section search audio of any one of a plurality of section search audios that is formed is stored, and the matching unit includes the first conversion information stored in the first memory unit and the first conversion information stored in the second memory unit. Matches the second conversion information, and when the matching unit matches the first conversion information and the second conversion information and does not satisfy a predetermined corresponding condition, the match does not match among the plurality of section search audio. The first conversion information of the unused section search audio may be stored.
또, 상기 매칭부는 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하는 복수의 코어부를 구비하며, 복수의 상기 코어부는 각각, 상기 기준 오디오가 복수의 구간으로 분할되어 형성되는 복수의 구간 기준 오디오 중 어느 하나의 상기 구간 기준 오디오의 상기 제2 변환 정보와 상기 제1 변환 정보를 매칭할 수 있다.In addition, the matching unit includes a plurality of core units for matching the first conversion information and the second conversion information, and each of the plurality of core units includes a plurality of section reference audio units formed by dividing the reference audio into a plurality of sections. The second conversion information and the first conversion information of any one of the section reference audio may be matched.
또, 상기 코어부는 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하는 복수의 스레드부를 구비하며, 복수의 상기 스레드부는 각각, 상기 제2 변환 정보가 기 설정된 구간으로 분할되어 형성되는 복수의 제2 분할 변환 정보 중 어느 하나를 상기 제1 변환 정보와 매칭할 수 있다.In addition, the core unit includes a plurality of thread units for matching the first conversion information and the second conversion information, and each of the plurality of thread units is formed by dividing the second conversion information into preset sections. Any one of the two division transformation information may be matched with the first transformation information.
또, 복수의 상기 코어부가 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭한 결과인 결과 정보를 저장하는 복수의 제3 메모리부;를 더 포함하며, 복수의 상기 제3 메모리부는 각각, 복수의 상기 코어부로부터 상기 결과 정보를 전달받아 저장할 수 있다.Further, a plurality of third memory units for storing result information resulting from matching the first conversion information and the second conversion information by a plurality of the core units; further comprising, each of the plurality of third memory units, a plurality of It is possible to receive and store the result information from the core unit of.
또, 상기 제2 메모리부는 복수의 상기 제3 메모리부로부터 각각 상기 결과 정보를 전달받아 저장할 수 있다.In addition, the second memory unit may receive and store the result information from each of the plurality of third memory units.
또, 상기 매칭부는 상기 제2 메모리부에 저장된 상기 결과 정보를 기초로 하여 상기 미리 정해진 대응 조건을 만족하는지 여부를 판단하는 판단부를 더 구비할 수 있다.In addition, the matching unit may further include a determination unit that determines whether the predetermined corresponding condition is satisfied based on the result information stored in the second memory unit.
각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.Components having the same function within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals.
도 2는 본 발명의 일 실시예에 따른 병렬 오디오 식별 시스템의 구성도이고, 도 3은 본 발명의 일 실시예에 따른 병렬 오디오 식별 시스템을 설명하기 위한 개략 블록도이다.2 is a block diagram of a parallel audio identification system according to an embodiment of the present invention, and FIG. 3 is a schematic block diagram illustrating a parallel audio identification system according to an embodiment of the present invention.
도 2 및 도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 병렬 오디오 식별 시스템(10)은 기준 오디오(O2)를 기준으로 검색 오디오(O1)가 상기 기준 오디오(O2)와 동일한 오디오인지 여부를 식별하는 시스템일 수 있다.2 and 3, in the parallel
일례로, 상기 기준 오디오(O2)는 저작권으로서 보호받는 오디오 음원을 의미할 수 있고, 상기 검색 오디오(O1)는 무단으로 사용되는 오디오 음원일 수 있다.For example, the reference audio O2 may refer to an audio sound source protected as a copyright, and the search audio O1 may be an unauthorized audio sound source.
다만, 상기 기준 오디오(O2)와 상기 검색 오디오(O1)의 정의는 상호 바뀌어질 수도 있다.However, the definitions of the reference audio O2 and the search audio O1 may be interchanged.
여기서, 일례로, 상기 병렬 오디오 식별 시스템(10)은 상기 검색 오디오(O1)에 대한 제1 변환 정보를 저장하는 제1 메모리부(D1) 및 기준 오디오(O2)에 대한 제2 변환 정보를 저장하는 제2 메모리부(D2)를 포함할 수 있다.Here, as an example, the parallel
일례로, 상기 제1 변환 정보는 앞서 설명한 바와 같이, 상기 검색 오디오(O1)의 음원을 스펙트로그램(spectrogram)으로 변환하고 스펙트로그램에서 특징적인 주파수(frequency)를 시간 단위로 추출하여 생성된 오디오 핑거프린트를 의미할 수 있다.For example, as described above, the first conversion information is an audio finger generated by converting the sound source of the search audio O1 into a spectrogram and extracting a characteristic frequency from the spectrogram in units of time. Can mean print.
일례로, 상기 제2 변환 정보 역시, 상기 기준 오디오(O2)의 음원을 스펙트로그램(spectrogram)으로 변환하고 스펙트로그램에서 특징적인 주파수(frequency)를 시간 단위로 추출하여 생성된 오디오 핑거프린트를 의미할 수 있다.As an example, the second transformation information also refers to an audio fingerprint generated by converting the sound source of the reference audio O2 into a spectrogram and extracting a characteristic frequency from the spectrogram in units of time. I can.
상기 검색 오디오(O1)를 상기 제1 변환 정보로 변환하는 것 및 상기 기준 오디오(O2)를 상기 제2 변환 정보로 변환하는 것은 공지의 변환장치(미 도시)로 구현될 수 있다.Converting the search audio O1 into the first conversion information and converting the reference audio O2 into the second conversion information may be implemented with a known conversion device (not shown).
일례로, 상기 제1 메모리부(D1)와 상기 제2 메모리부(D2)는 별개의 구성으로서, 상기 제1 메모리부(D1)는 읽기 전용의 메모리일 수 있으며, 상기 제2 메모리부(D2)는 상대적으로 용량이 큰 메모리일 수 있다.For example, the first memory unit D1 and the second memory unit D2 are separate configurations, and the first memory unit D1 may be a read-only memory, and the second memory unit D2 ) May be a memory having a relatively large capacity.
상기 제1 메모리부(D1)는 상기 변환장치에 의해 변환된 상기 제1 변환 정보를 저장할 수 있으며, 상기 제2 메모리부(D2)는 상기 변환장치에 의해 변환된 상기 제2 변환 정보를 저장할 수 있다.The first memory unit D1 may store the first conversion information converted by the conversion device, and the second memory unit D2 may store the second conversion information converted by the conversion device. have.
여기서, 일례로, 상기 병렬 오디오 식별 시스템(10)은 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하여 상기 검색 오디오(O1)와 상기 기준 오디오(O2)가 동일한지 여부를 판단하는 매칭부를 더 포함할 수 있다.Here, as an example, the parallel
상기 매칭부는 상기 제1 변환 정보와 상기 제2 변환 정보를 이용하여 상기 검색 오디오(O1)와 상기 기준 오디오(O2)가 대응되는지 여부를 판단하는 구성일 수 있다.The matching unit may be configured to determine whether the search audio O1 and the reference audio O2 correspond using the first conversion information and the second conversion information.
여기서, 일례로, 상기 검색 오디오(O1)와 상기 기준 오디오(O2)가 대응되는지 여부를 빠르게 도출하기 위해, 상기 제1 메모리부(D1)는 상기 검색 오디오(O1)가 복수의 구간으로 분할되어 형성되는 복수의 구간 검색 오디오(O1) 중 어느 하나의 상기 구간 검색 오디오(O1)의 상기 제1 변환 정보를 저장할 수 있다.Here, as an example, in order to quickly derive whether the search audio O1 and the reference audio O2 correspond to each other, the first memory unit D1 divides the search audio O1 into a plurality of sections. The first conversion information of the section search audio O1 among a plurality of section search audios O1 to be formed may be stored.
이를 보다 자세히 설명하자면, 상기 제1 메모리부(D1)는 상기 검색 오디오(O1) 전 구간에 대한 상기 제1 변환 정보를 저장하는 것이 아니라, 상기 검색 오디오(O1)의 전 구간에 대해 복수 개로 분할되어 형성되는 복수의 구간 검색 오디오(O1) 중 어느 하나의 상기 구간 검색 오디오(O1)의 상기 제1 변환 정보를 저장할 수 있다.To explain this in more detail, the first memory unit D1 does not store the first conversion information for all sections of the search audio O1, but divides all sections of the search audio O1 into a plurality of pieces. The first conversion information of the section search audio O1 among a plurality of section search audios O1 formed as a result may be stored.
예를 들어, 도 2에 도시한 바와 같이, 상기 검색 오디오(O1)가 4구간으로 분할되어 상기 구간 검색 오디오(O1)가 4개인 경우, 상기 제1 메모리부(D1)는 4개의 상기 구간 검색 오디오(O1) 중, 우선 첫 번째 구간의 상기 구간 검색 오디오(O1)의 상기 제1 변환 정보를 저장할 수 있다.For example, as shown in FIG. 2, when the search audio O1 is divided into four sections and the section search audio O1 is four, the first memory unit D1 searches for four sections. Among the audios O1, first, the first conversion information of the section search audio O1 of the first section may be stored.
이 경우, 상기 매칭부는 상기 제1 메모리부(D1)에 저장된 첫 번째 구간의 상기 구간 검색 오디오(O1)의 상기 제1 변환 정보와 상기 제2 메모리부(D2)에 저장된 상기 제2 변환 정보를 매칭할 수 있다.In this case, the matching unit stores the first conversion information of the section search audio O1 of the first section stored in the first memory unit D1 and the second conversion information stored in the second memory unit D2. You can match.
이 때, 상기 매칭부는 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭한 결과 미리 정해진 대응 조건을 만족하는 경우(예들 들어, 앞서 설명한 바와 같이 유사도 매트릭스 상에 대각선의 매칭 구간이 형성되는 경우), 두 번째 구간의 상기 구간 검색 오디오(O1)의 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하지 않더라도 상기 기준 오디오(O2)와 상기 검색 오디오(O1)가 동일한 오디오임으로 식별할 수 있다.At this time, when the matching unit meets a predetermined corresponding condition as a result of matching the first transformation information and the second transformation information (for example, when a diagonal matching section is formed on the similarity matrix as described above) , Even if the first conversion information of the section search audio O1 and the second conversion information of the second section do not match, the reference audio O2 and the search audio O1 may be identified as being the same audio.
한편, 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭한 결과 상기 미리 정해진 대응 조건을 만족하지 않는 경우, 상기 제1 메모리부(D1)는 복수의 상기 구간 검색 오디오(O1) 중 매칭하지 않은 상기 구간 검색 오디오(O1)(예들 들어, 두 번째 구간의 상기 구간 검색 오디오(O1))의 상기 제1 변환 정보를 저장할 수 있다.On the other hand, if the predetermined correspondence condition is not satisfied as a result of matching the first conversion information and the second conversion information, the first memory unit D1 does not match among the plurality of section search audio O1. The first conversion information of the section search audio O1 (eg, the section search audio O1 of the second section) may be stored.
그 후, 상기 매칭부는 상기 제1 메모리부(D1)에 저장된 두 번째 구간의 상기 구간 검색 오디오(O1)의 상기 제1 변환 정보와 상기 제2 메모리부(D2)에 저장된 상기 제2 변환 정보를 매칭할 수 있다.Thereafter, the matching unit stores the first conversion information of the section search audio O1 of the second section stored in the first memory unit D1 and the second conversion information stored in the second memory unit D2. You can match.
여기서, 일례로, 상기 매칭부는 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하는 복수의 코어부(C)를 구비할 수 있다.Here, as an example, the matching unit may include a plurality of core units C for matching the first conversion information and the second conversion information.
상기 코어부(C)는 상기 제1 변환 정보와 상기 제2 변환 정보를 비교하여 매칭되는 부분에 포인트(유사도 매트릭스 상에 대각선을 구성하는 포인트)를 형성하는 결과 정보를 생성하는 구성일 수 있다.The core unit C may be configured to compare the first transformation information and the second transformation information to generate result information for forming a point (a point constituting a diagonal line on a similarity matrix) at a matched portion.
일례로, 상기 코어부(C)는 복수 개로 형성될 수 있으며, 복수의 상기 코어부(C)는 각각, 상기 기준 오디오(O2)가 복수의 구간으로 분할되어 형성되는 복수의 구간 기준 오디오(O2) 중 어느 하나의 상기 구간 기준 오디오(O2)의 상기 제2 변환 정보와 상기 제1 변환 정보를 매칭할 수 있다.For example, the core portion C may be formed in a plurality, and each of the core portions C includes a plurality of section reference audio O2 formed by dividing the reference audio O2 into a plurality of sections. ), the second conversion information of the section reference audio O2 and the first conversion information may be matched.
이를 보다 자세히 설명하자면, 예를 들어 도 2에 도시한 바와 같이, 상기 기준 오디오(O2)가 6개의 구간으로 분할되어 형성된 6개의 상기 구간 기준 오디오(O2) 각각에 대응되는 6개의 상기 제2 변환 정보 각각은 6개의 상기 코어부(C)에 각각 매핑될 수 있다.To explain this in more detail, for example, as shown in FIG. 2, the six second transforms corresponding to each of the six section reference audios O2 formed by dividing the reference audio O2 into six sections Each of the information may be mapped to each of the six core units C.
일례로, 상기 코어부(C)는 상기 제2 메모리부로부터 직접적으로 분할된 상기 제2 변환 정보를 전달받아 매핑될 수도 있으며, 또는 아래에서 설명될 제3 메모리부(D3)으로부터 분할된 상기 제2 변환 졍보를 전달받아 매핑될 수도 있다.As an example, the core unit C may be mapped by receiving the second conversion information directly divided from the second memory unit, or the first divided from the third memory unit D3 to be described below. 2 It may be mapped by receiving the conversion record.
그 결과, 복수의 상기 코어부(C)에서 각각 상기 제1 변환 정보와 상기 제2 변환 정보를 동시에 매칭하여 상기 결과 정보를 생성한다는 점에서, 식별 속도를 높일 수 있다.As a result, since the result information is generated by simultaneously matching the first conversion information and the second conversion information in each of the plurality of core units C, it is possible to increase the identification speed.
여기서, 일례로, 상기 코어부(C)는 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하는 복수의 스레드부를 구비할 수 있다.Here, as an example, the core unit C may include a plurality of thread units for matching the first conversion information and the second conversion information.
여기서, 복수의 상기 스레드부 각각에는 상기 제2 변환 정보가 기 설정된 구간으로 분할되어 형성되는 복수의 제2 분할 변환 정보 각각이 매핑될 수 있다.Here, each of the plurality of thread units may be mapped to each of the plurality of second divisional transformation information formed by dividing the second transformation information into preset sections.
즉, 6개 중 어느 하나의 상기 구간 기준 오디오(O2)의 상기 제2 변환 정보는 다시 복수의 구간으로 분할되어 하나의 상기 코어부(C)가 구비하는 복수의 상기 스레드부 각각에 매핑될 수 있다.That is, the second conversion information of the segment reference audio O2 among the six may be divided into a plurality of segments and mapped to each of the plurality of thread units included in the core unit C. have.
그 결과, 어느 하나의 상기 스레드부는 복수의 상기 제2 분할 변환 정보 중 어느 하나의 상기 제2 분할 변환 정보와 상기 제1 변환 정보를 매칭할 수 있다.As a result, any one of the thread units may match the second divisional conversion information and the first conversion information among the plurality of second divisional conversion information.
도 3은 상기 스레드부가 상기 제2 분할 변환 정보와 상기 제1 변환 정보를 비교하여 매칭되는 부분에 포인트(유사도 매트릭스 상에 대각선을 구성하는 포인트)를 형성할 수 있다.3, a point (a point constituting a diagonal line on a similarity matrix) may be formed at a matching portion by comparing the second divisional transformation information and the first transformation information by the thread unit.
예들 들어, 어느 하나의 상기 코어부(C)가 구비하는 제1 스레드부(T1)는 복수의 상기 제2 분할 변환 정보 중 어느 하나가 매핑되어 있어 상기 제1 변환 정보와 매칭되는 부분에 제1 포인트(P1)를 생성할 수 있으며, 제2 스레드부(T2)는 복수의 상기 제2 분할 변환 정보 중 다른 어느 하나가 매핑되어 있어 상기 제1 변환 정보와 매칭되는 부분에 제2 포인트(P2)를 생성할 수 있고, 제3 스레드부(T3)는 복수의 상기 제2 분할 변환 정보 중 또 다른 어느 하나가 매핑되어 있어 상기 제1 변환 정보와 매칭되는 부분에 제3 포인트(P3)를 생성할 수 있다.For example, the first thread part T1 provided in any one of the core parts C is mapped to a portion matching the first transformation information because any one of the plurality of second division transformation information is mapped. A point P1 may be generated, and the second thread unit T2 includes a second point P2 at a portion matching the first transformation information because any one of the plurality of second division transformation information is mapped. Can be generated, and the third thread unit T3 generates a third point P3 at a portion matching the first transformation information because another one of the plurality of second division transformation information is mapped. I can.
여기서, 일례로, 상기 병렬 오디오 식별 시스템(10)은 복수의 상기 코어부(C)가 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭한 결과인 상기 결과 정보를 저장하는 복수의 제3 메모리부(D3)를 더 포함할 수 있다.Here, as an example, the parallel
일례로, 상기 제3 메모리부(D3)는 복수의 상기 코어부(C)로부터 각각 상기 결과 정보를 전달받아 저장하는 구성일 수 있다.For example, the third memory unit D3 may be configured to receive and store the result information from each of the plurality of core units C.
일례로, 복수의 상기 제3 메모리부(D3) 각각은, 복수의 상기 코어부(C)로부터 각각 상기 결과 정보를 전달받아 저장할 수 있다.For example, each of the plurality of third memory units D3 may receive and store the result information from each of the plurality of core units C.
이를 보다 자세히 설명하자면, 도 2에 도시한 바와 같이, 상기 제3 메모리부(D3)가 2개인 경우, 하나의 상기 제3 메모리부(D3)는 3개의 상기 코어부(C)로부터 상기 결과 정보를 전달받아 저장할 수 있고, 다른 하나의 상기 제3 메모리부(D3)는 다른 3개의 상기 코어부(C)로부터 상기 결과 정보를 전달받아 저장할 수 있다.To explain this in more detail, as shown in FIG. 2, when the number of the third memory units D3 is two, one third memory unit D3 provides the result information from the three core units C. May be transmitted and stored, and the other third memory unit D3 may receive and store the result information from the other three core units C.
여기서, 일례로, 상기 제2 메모리부(D2)는 복수의 상기 제3 메모리부(D3)로부터 각각 상기 결과 정보를 전달받아 저장할 수 있다.Here, as an example, the second memory unit D2 may receive and store the result information from each of the plurality of third memory units D3.
즉, 상기 제2 메모리부(D2)는 병렬적으로 복수의 상기 제3 메모리부(D3)로부터 상기 결과 정보를 전달받아 저장할 수 있다.That is, the second memory unit D2 may receive and store the result information from the plurality of third memory units D3 in parallel.
일례로, 상기 제2 메모리부(D2)는 상기 제2 변환 정보를 저장하는 제2-1 메모리부(D2-1) 및 상기 결과 정보를 저장하는 제2-2 메모리부(D2-2)로 구성될 수 있다.For example, the second memory unit D2 includes a 2-1 memory unit D2-1 for storing the second conversion information and a 2-2 memory unit D2-2 for storing the result information. Can be configured.
이 때, 상기 매칭부는 상기 제2 메모리부(D2)에 저장된 상기 결과 정보를 기초로 하여 상기 미리 정해진 대응 조건을 만족하는지 여부를 판단하는 판단부(A)를 더 구비할 수 있다.In this case, the matching unit may further include a determination unit A that determines whether or not the predetermined corresponding condition is satisfied based on the result information stored in the second memory unit D2.
일례로, 상기 판단부(A)는 복수의 상기 제3 메모리부(D3)로부터 직접 상기 결과 정보를 전달받아 상기 미리 정해진 대응 조건을 만족하는지 여부를 판단하는 것이 아니라, 상기 제2 메모리부(D2)에 저장된 상기 결과 정보를 전달 받아 상기 미리 정해진 대응 조건을 만족하는지 여부를 판단할 수 있다.For example, the determination unit A does not directly receive the result information from the plurality of third memory units D3 to determine whether the predetermined corresponding condition is satisfied, but the second memory unit D2 It is possible to determine whether or not the predetermined corresponding condition is satisfied by receiving the result information stored in ).
그 결과, 상기 판단부(A)는 수 많은 상기 스레드부가 형성한 포인트만을 판단하여, 포인트들이 유사도 매트릭스 상에 소정 길이 이상의 대각선을 형성하는 경우, 상기 기준 오디오(O2)와 상기 검색 오디오(O1)가 동일한 오디오임으로 판단할 수 있다.As a result, the determination unit (A) determines only the points formed by the number of threads, and when the points form a diagonal line of a predetermined length or more on the similarity matrix, the reference audio (O2) and the search audio (O1) It can be determined that is the same audio.
앞서 설명한 바와 같이, 본 발명의 일 실시예에 따른 상기 병렬 오디오 식별 시스템(10)은 정보들에 대한 병렬적 처리에 의해 상기 기준 오디오(O2)와 상기 검색 오디오(O1) 간의 식별 정확성을 높이는 동시에 식별 속도도 높일 수 있는 장점이 있다.As described above, the parallel
첨부된 도면은 본 발명의 기술적 사상을 보다 명확하게 표현하기 위하여, 본 발명의 기술적 사상과 관련성이 떨어지거나 당업자로부터 용이하게 도출될 수 있는 부분은 간략화 하거나 생략하였다.In the accompanying drawings, in order to more clearly express the technical idea of the present invention, parts that are inferior to the technical idea of the present invention or that can be easily derived from those skilled in the art are simplified or omitted.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.In the above, the configuration and features of the present invention have been described based on the embodiments according to the present invention, but the present invention is not limited thereto, and it is understood that various changes or modifications can be made within the spirit and scope of the present invention. It will be apparent to those skilled in the art, and therefore, such changes or modifications should be found to fall within the scope of the appended claims.
O1: 검색 오디오
O2: 기준 오디오
D1: 제1 메모리부
D2: 제2 메모리부O1: Search audio
O2: Reference audio
D1: first memory unit
D2: second memory unit
Claims (6)
기준 오디오에 대한 제2 변환 정보를 저장하는 제2 메모리부; 및
상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하여 상기 검색 오디오와 상기 기준 오디오가 동일한지 여부를 판단하는 매칭부;를 포함하며,
상기 제1 메모리부는,
상기 검색 오디오가 복수의 구간으로 분할되어 형성되는 복수의 구간 검색 오디오 중 어느 하나의 상기 구간 검색 오디오의 상기 제1 변환 정보를 저장하며,
상기 매칭부는,
상기 제1 메모리부에 저장된 상기 제1 변환 정보와 상기 제2 메모리부에 저장된 상기 제2 변환 정보를 매칭하며,
상기 제1 메모리부는,
상기 매칭부가 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭한 결과 미리 정해진 대응 조건을 만족하지 않는 경우,
복수의 상기 구간 검색 오디오 중 매칭하지 않은 상기 구간 검색 오디오의 상기 제1 변환 정보를 저장하는,
병렬 오디오 식별 시스템.
A first memory unit for storing first conversion information for the search audio;
A second memory unit for storing second conversion information for the reference audio; And
And a matching unit configured to match the first conversion information and the second conversion information to determine whether the search audio and the reference audio are the same,
The first memory unit,
Storing the first conversion information of the section search audio of any one of a plurality of section search audio formed by dividing the search audio into a plurality of sections,
The matching unit,
Matching the first conversion information stored in the first memory unit and the second conversion information stored in the second memory unit,
The first memory unit,
When the matching unit does not satisfy a predetermined corresponding condition as a result of matching the first conversion information and the second conversion information,
Storing the first conversion information of the unmatched section search audio among a plurality of section search audios,
Parallel audio identification system.
상기 매칭부는,
상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하는 복수의 코어부를 구비하며,
복수의 상기 코어부는 각각,
상기 기준 오디오가 복수의 구간으로 분할되어 형성되는 복수의 구간 기준 오디오 중 어느 하나의 상기 구간 기준 오디오의 상기 제2 변환 정보와 상기 제1 변환 정보를 매칭하는,
병렬 오디오 식별 시스템.
The method of claim 1,
The matching unit,
And a plurality of cores for matching the first conversion information and the second conversion information,
Each of the plurality of core portions,
Matching the second conversion information of the section reference audio and the first conversion information of any one of a plurality of section reference audios formed by dividing the reference audio into a plurality of sections,
Parallel audio identification system.
상기 코어부는,
상기 제1 변환 정보와 상기 제2 변환 정보를 매칭하는 복수의 스레드부를 구비하며,
복수의 상기 스레드부는 각각,
상기 제2 변환 정보가 기 설정된 구간으로 분할되어 형성되는 복수의 제2 분할 변환 정보 중 어느 하나를 상기 제1 변환 정보와 매칭하는,
병렬 오디오 식별 시스템.
The method of claim 2,
The core part,
And a plurality of thread units for matching the first conversion information and the second conversion information,
Each of the plurality of threaded portions,
Matching any one of a plurality of second division conversion information formed by dividing the second conversion information into preset sections with the first conversion information,
Parallel audio identification system.
복수의 상기 코어부가 상기 제1 변환 정보와 상기 제2 변환 정보를 매칭한 결과인 결과 정보를 저장하는 복수의 제3 메모리부;를 더 포함하며,
복수의 상기 제3 메모리부는 각각,
복수의 상기 코어부로부터 상기 결과 정보를 전달받아 저장하는,
병렬 오디오 식별 시스템.
The method of claim 3,
A plurality of third memory units configured to store result information resulting from matching the first conversion information and the second conversion information by the plurality of core units; and
Each of the plurality of third memory units,
Receiving and storing the result information from a plurality of the core units,
Parallel audio identification system.
상기 제2 메모리부는,
복수의 상기 제3 메모리부로부터 각각 상기 결과 정보를 전달받아 저장하는,
병렬 오디오 식별 시스템.
The method of claim 4,
The second memory unit,
Receiving and storing the result information from each of the plurality of third memory units,
Parallel audio identification system.
상기 매칭부는,
상기 제2 메모리부에 저장된 상기 결과 정보를 기초로 하여 상기 미리 정해진 대응 조건을 만족하는지 여부를 판단하는 판단부를 더 구비하는,
병렬 오디오 식별 시스템.
The method of claim 5,
The matching unit,
Further comprising a determination unit for determining whether or not the predetermined corresponding condition is satisfied based on the result information stored in the second memory unit,
Parallel audio identification system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190150731A KR102301205B1 (en) | 2019-11-21 | 2019-11-21 | System for Identifying Audio |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190150731A KR102301205B1 (en) | 2019-11-21 | 2019-11-21 | System for Identifying Audio |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210062467A true KR20210062467A (en) | 2021-05-31 |
| KR102301205B1 KR102301205B1 (en) | 2021-09-13 |
Family
ID=76150201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190150731A KR102301205B1 (en) | 2019-11-21 | 2019-11-21 | System for Identifying Audio |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102301205B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180027209A (en) * | 2016-09-06 | 2018-03-14 | 주식회사 티앤블루랩 | Method and Apparatus for Extracting Audio Fingerprint |
-
2019
- 2019-11-21 KR KR1020190150731A patent/KR102301205B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180027209A (en) * | 2016-09-06 | 2018-03-14 | 주식회사 티앤블루랩 | Method and Apparatus for Extracting Audio Fingerprint |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102301205B1 (en) | 2021-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10489455B2 (en) | Scoped search engine | |
| US20180225338A1 (en) | Method for processing a database query | |
| US20140280304A1 (en) | Matching versions of a known song to an unknown song | |
| US10657175B2 (en) | Audio fingerprint extraction and audio recognition using said fingerprints | |
| US10860647B2 (en) | Systems, methods, and apparatus to improve media identification | |
| KR20180135464A (en) | Audio fingerprinting based on audio energy characteristics | |
| Ouali et al. | Fast audio fingerprinting system using GPU and a clustering-based technique | |
| KR20210062467A (en) | System for Identifying Audio | |
| US20240086385A1 (en) | Methods and Appartus for Efficient Media Indexing | |
| Dutta et al. | Discovering Typical Motifs of a Raga from One-Liners of Songs in Carnatic Music. | |
| KR102037221B1 (en) | Audio finger print matching method | |
| KR102037220B1 (en) | Audio finger print matching system | |
| CN111459937A (en) | Data table association method, device, server and storage medium | |
| WO2009078613A1 (en) | Index database creating apparatus and index database retrieving apparatus | |
| WO2022148163A1 (en) | Method and apparatus for positioning music clip, and device and storage medium | |
| JP2019519058A (en) | Efficient comparison operation | |
| KR102447554B1 (en) | Method and apparatus for identifying audio based on audio fingerprint matching | |
| WO2020059084A1 (en) | Learning device and pattern recognition device | |
| US20230153351A1 (en) | Method and apparatus for identifying music in content | |
| KR102255156B1 (en) | Device and method to manage plurality of music files | |
| KR102476120B1 (en) | Music analysis method and apparatus for cross-comparing music properties using artificial neural network | |
| Gao et al. | Octave-dependent probabilistic latent semantic analysis to chorus detection of popular song | |
| EP4120267A1 (en) | Apparatus, method and computer program code for processing audio stream | |
| EP4137969A1 (en) | Apparatus, method and computer program code for processing an audio stream | |
| CN114090519A (en) | File comparison method and device, medium and distributed system thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |