KR100803206B1 - 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법 - Google Patents

오디오 지문 생성과 오디오 데이터 검색 장치 및 방법 Download PDF

Info

Publication number
KR100803206B1
KR100803206B1 KR20050108070A KR20050108070A KR100803206B1 KR 100803206 B1 KR100803206 B1 KR 100803206B1 KR 20050108070 A KR20050108070 A KR 20050108070A KR 20050108070 A KR20050108070 A KR 20050108070A KR 100803206 B1 KR100803206 B1 KR 100803206B1
Authority
KR
South Korea
Prior art keywords
modulation spectrum
ppf
mdct coefficients
audio fingerprint
audio
Prior art date
Application number
KR20050108070A
Other languages
English (en)
Other versions
KR20070050631A (ko
Inventor
김형국
쉬얀얀
엄기완
주선
김지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20050108070A priority Critical patent/KR100803206B1/ko
Priority to US11/598,134 priority patent/US8380518B2/en
Publication of KR20070050631A publication Critical patent/KR20070050631A/ko
Application granted granted Critical
Publication of KR100803206B1 publication Critical patent/KR100803206B1/ko
Priority to US13/742,858 priority patent/US9589283B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation

Abstract

오디오 지문 생성과 오디오 데이터 검색 장치 및 방법이 개시된다. 본 발명에 의한 오디오 지문 생성 장치는, 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 계수 추출부, 추출된 MDCT 계수들에서 잡음환경에 강인한 MDCT 계수를 선택하는 계수 선택부, 선택된 MDCT 계수를 퓨리에 변환하여 변조 스펙트럼을 생성하는 스펙트럼 생성부 및 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 비트화부를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 다양한 환경에서 녹음된 오디오 데이터를 정확하고 빠르게 검색할 수 있는 효과를 거둘 수 있다. 그리고, MP 3 기반의 요소를 이용하므로 MP3 어플리케이션에 다양하게 적용될 수 있는 효과를 거둘 수 있다. 또한, 음악 무드 분류, 음악 장르 분류와 같은 오디오 데이터의 분류에 이용할 수 있고, 스포츠 동영상에서 특정 이벤트를 추출하는 데 사용되는 등 다양한 분야에 적용될 수 있는 효과를 거둘 수 있다.

Description

오디오 지문 생성과 오디오 데이터 검색 장치 및 방법{Apparatus and method for generating audio fingerprint and searching audio data}
도 1는 본 발명에 의한 오디오 데이터 검색 장치의 일 실시예를 블록도로 도시한 것이다.
도 2는 본 발명에 의한 오디오 데이터 검색 장치의 다른 일 실시예를 블록도로 도시한 것이다.
도 3은 본 발명에 의한 오디오 지문 생성 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 4는 본 발명에 의한 오디오 지문 생성 방법에 대한 다른 일 실시예를 흐름도로 도시한 것이다.
도 5는 본 발명에 의한 오디오 데이터 검색 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
〈도면의 주요 부호에 대한 간단한 설명〉
100: 오디오 지문 생성부 110: 계수 추출부
120: 계수 선택부 130: 변조 스펙트럼 생성부
140: 비트화부 200: 오디오 데이터 검색부
210: 해싱 검색부 220: 지문 계산부
230: 정보 저장부 240: 정보 제공부
본 발명은 오디오 지문(audio fingerprint)에 관한 것으로, 보다 상세하게는 오디오 데이터에서 잡음환경에 강인한 변조 스펙트럼을 추출하여 오디오 지문을 생성하고, 생성된 오디오 지문을 이용하여 오디오 데이터를 검색하는 장치 및 방법에 관한 것이다.
사용자가 라디오, 텔레비전, 오디오 등의 출력장치로부터 출력되는 음악에 대한 정보를 실시간으로 제공받기 위하여 오디오 지문 인식 기술을 이용한다.
필립스(Philips)사의 오디오 지문 검색 방법을 살펴보면 다음과 같다. 먼저, 5kHz 표본화 비율(sampling rate)로 이루어진 오디오 신호를 0.37s 길이의 프레임으로 나누고, 각 프레임으로부터 11.6ms만큼 이동한 후 퓨리에 변환을 이용하여 전력 스펙트럼을 생성한다. 여기서 퓨리에 변환 밴드는 300Hz와 2kHz 영역에서 대수의 형태로 분포된 33개의 중첩되지 않은 주파수 밴드로 분리된다. 다음으로 각 대수의 서브 밴드에서 전력 스펙트럼의 합을 계산하여 에너지를 산출한다. 그리고 프레임 축과 주파수 축에 의하여 에너지의 차를 계산하고, 그 계산된 에너지 차를 비트화한 후 해싱 방법에 의하여 인덱싱한다. 그러나 이러한 필립스사의 오디오 지문 검색 방법은 추출하는 요소가 잡음에 영향을 많이 받으므로 잡음환경에서 녹음된 오디오 데이터에 대해서 검색 성능이 떨어지고, 다양한 환경에 적용하기 어려운 문제점을 갖는다.
또한, 프라운호퍼(Fraunhofer)사의 오디오 지문 검색 방법을 살펴보면 다음과 같다. 먼저, 필립스사의 방식과 유사한 방식으로 오디오 신호를 이용하여 소정의 방식에 의해 전력 스펙트럼을 생성한다. 여기서 퓨리에 변환 밴드는 250Hz와 4kHz 영역에서 1/4 옥타브(octave) 주파수 밴드로 분리된다. 각 분리된 옥타브 주파수 밴드에서 스펙트럼의 평면도(spectral flatness)와 스펙트럼의 크레스트 지수(spectral crest measure)를 추출하여 오디오 지문을 검색한다. 그러나 프라운호퍼사의 오디오 지문 검색 방법은 잡음환경에 강인하지 못하고, 통계적인(statistical) 방식과 벡터 양자화(vector quantization) 방식을 이용하므로 정확도가 낮으며, 검색 속도가 느린 문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는, 오디오 데이터에서 잡음환경에 강인한 변조 스펙트럼을 추출하여 오디오 지문을 생성하고, 생성된 오디오 지문을 이용하여 오디오 데이터를 검색하는 장치 및 방법을 제공하는 것이다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 지문 생성 장치는 다음과 같은 두 가지 방식을 개시한다.
첫 번째 방식의 오디오 지문 생성 장치는, 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 계수 추출부, 상기 추출된 MDCT 계수들에서 잡음환경에 강인한 MDCT 계수를 선택하는 계수 선택부, 상기 선택된 MDCT 계수를 퓨리에 변환하여 변조 스펙트럼을 생성하는 변조 스펙트럼 생성부 및 상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 비트화부를 포함하는 것을 특징으로 한다.
두 번째 방식의 오디오 지문 생성 장치는, 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 계수 추출부, 상기 추출된 MDCT 계수로부터 PPF 서브 밴드를 합성하는 합성부, 상기 합성된 PPF 서브 밴드에서 잡음환경에 강인한 PPF 서브 밴드를 선택하는 밴드 선택부, 상기 선택된 PPF 서브 밴드를 퓨리에 변환하여 변조 스펙트럼을 생성하는 변조 스펙트럼 생성부 및 상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 비트화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 데이터 검색 장치는, 오디오 데이터를 오디오 지문으로 변환하여 저장하는 오디오 지문 저장부, 상기 저장된 오디오 지문에 대응하는 해싱 값을 저장하는 해싱 테이블, 상기 생성된 오디오 지문에서 인덱싱 비트를 추출하여 해싱 값을 생성하는 해싱값 생성부, 상기 해싱 테이블에서 상기 생성된 해싱 값에 매칭되는 해싱 값을 검색하는 테이블 검색부, 상기 생성된 오디오 지문과 상기 검색된 해싱 값에 대응하는 오디오 지문의 BER을 계산하는 BER 계산부, 상기 계산된 BER과 임계값을 비교하는 비교부 및 상기 비교된 결과에 따라 오디오 지문을 검출하는 오디오 지문 검출부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 지문 생성 방법은 다음과 같은 두 가지 방식을 개시한다.
첫 번째 방식의 오디오 지문 생성 방법은, 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 단계, 상기 추출된 MDCT 계수들에서 잡음환경에 강인한 MDCT 계수를 선택하는 단계, 상기 선택된 MDCT 계수를 처리하여 변조 스펙트럼을 생성하는 단계 및 상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 단계를 포함하는 것을 특징으로 한다.
두 번째 방식의 오디오 지문 생성 방법은, 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 단계, 상기 추출된 MDCT 계수로부터 PPF 서브 밴드를 합성하는 단계, 상기 합성된 PPF 서브 밴드에서 잡음환경에 강인한 PPF 서브 밴드를 선택하는 단계, 상기 선택된 PPF 서브 밴드를 퓨리에 변환하여 변조 스펙트럼을 생성하는 단계 및 상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 지문 데이터 검색 방법은, 상기 생성된 오디오 지문에서 인덱싱 비트를 추출하여 해싱 값을 생성하는 단계, 오디오 지문에 대응하는 해싱 값을 저장하는 해싱 테이블에서 상기 생성된 해싱 값에 매칭되는 해싱 값을 검색하는 단계, 상기 생성된 오디오 지문과 상기 검색된 해싱 값에 대응하는 오디오 지문의 BER을 계산하는 단계, 상기 계산된 BER과 임계값을 비교하는 단계 및 상기 비교된 결과에 따라 오디오 지문을 검출하는 단계를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법에 대해 상세히 설명한다.
도 1은 본 발명에 의한 오디오 데이터 검색 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 지문 검색 장치는 오디오 지문 생성부(100) 및 오디오 데이터 검색부(200)를 포함하여 이루어진다.
오디오 지문 생성부(100)는 사용자가 라디오, 텔레비전, 오디오 등의 출력 장치로부터 출력되는 소리를 입력 받아 핸드폰, 컴퓨터 등과 같은 디지털 녹음 장치에 의하여 생성한 오디오 데이터를 오디오 지문으로 생성한다.
상기 오디오 지문 생성부(100)는 계수 추출부(110), 계수 선택부(120), 변조 스펙트럼 생성부(130) 및 비트화부(140)를 포함하여 이루어진다.
계수 추출부(110)는 MP3 방식에 의하여 인코드된 오디오 데이터를 압축영역에서 부분적으로 디코딩(partial decoding)하여 576 MDCT 계수 M(n,l)들을 추출한다. 여기서, MDCT(Modified Discreted Cosine Transform)는 576 샘플을 일시에 시간영역 신호로부터 주파수영역 신호로 변환하는 방식이고, n은 프레임 인덱스이며, l은 0 이상 575 이하인 정수에 해당하는 MDCT의 서브 밴드 인덱스이다.
계수 선택부(120)는 계수 추출부(110)에서 추출된 576 MDCT 계수들에서 잡음환경에 강인한 MDCT 계수 M(n,k)를 선택한다. 여기서, k는 l 이하인 정수로서 계수 추출부(110)에서 선택된 MDCT의 서브 밴드 인덱스이다.
계수 선택부(120)에서 선택되는 잡음환경에 강인한 MDCT 계수는 잡음환경에 영향을 크게 받지 않은 안정적이고 낮은 비트 에러(bit error)를 갖는 계수를 말한다. 예를 들어, 낮은 주파수 영역에 해당하는 MDCT 계수가 잡음환경에 강인하다. 실험된 결과에 따르면, 첫 번째 MDCT 계수가 가장 안정적이고 가장 낮은 비트 에러를 갖으며, 비트 에러를 측정한 결과 낮은 주파수 영역에 해당하는 MDCT 계수가 잡음환경에 강인하므로, 계수 선택부(120)는 낮은 주파수 영역에 해당하는 MDCT 계수를 선택하는 것이 바람직하다.
또한, 계수 선택부(120)는 오디오 지문의 데이터 크기에 따라 선택할 MDCT 계수의 개수를 설정한다.
변조 스펙트럼 생성부(130)는 계수 선택부(120)에서 선택된 MDCT 계수 M(n,k)들로부터 이산 퓨리에 변환(DFT, Discrete Fourier Transformation)을 이용하여 변조 스펙트럼(Modulation Spectrum)을 다음과 같은 수학식에 의해 생성한다.
Figure 112005065034917-pat00001
여기서, 이고, q는 변조 주파수(modulation frequency)이다.
여기서, 타임 시프트(time shift) t를 이용하여 이산 퓨리에 변환을 함으로써 변조 스펙트럼은 3개의 변수를 포함하는 4차원의 형태인 다음과 같은 수학식으로 표현된다.
또한, 변조 스펙트럼 생성부(130)에서 선택된 MDCT에 퓨리에 변환을 이용함 으로써 MDCT 에서 판별하기 어려운 반복적인 템포(tempo) 정보를 용이하게 판별할 수 있다.
Figure 112005065034917-pat00003
여기서, t는 타임 인덱스(time index)이다.
또한, 변조 스펙트럼 생성부(130)는 오디오 지문의 데이터 크기에 따라 선택할 변조 주파수의 개수를 설정하고, 오디오 데이터의 길이에 따라 퓨리에 변환의 크기 N을 결정하는 것이 바람직하다.
비트화부(140)는 변조 스펙트럼 생성부(130)에서 생성된 변조 스펙트럼을 다음과 같은 수학식에 의해 양자화하여 오디오 지문을 생성한다.
Figure 112005065034917-pat00004
검색부(200)는 비트화부(140)에서 생성된 오디오 지문에 대응하는 오디오 데이터를 검색하여 사용자에게 검색된 오디오 데이터에 관한 정보를 제공한다.
상기 오디오 데이터 검색부(200)는 해싱 검색부(210), 지문 검색부(220), 정보 저장부(230) 및 정보 제공부(240)를 포함하여 이루어진다.
해싱 검색부(210)는 해싱값 생성부(211), 테이블 검색부(212) 및 해싱 테이블(213)을 포함하여 이루어진다.
해싱값 생성부(211)는 비트화부(140)에서 생성된 오디오 지문에서 연속적으로 비트 에러가 없는 인덱싱 비트(indexing bit)를 추출하여 해싱 함수(hashing function)에 의하여 해싱 값(hashing value)을 생성한다.
해싱 테이블(213, hashing table)은 오디오 지문 저장부(221)에서 각 오디오 지문이 저장된 주소 및 정보 저장부(230)에서 각 오디오 데이터에 관한 정보가 저장된 주소에 대응하는 해싱 값을 저장한다.
테이블 검색부(212)는 해싱값 생성부(211)에서 생성된 해싱 값에 매칭되는 해싱 값을 해싱 테이블(213)에서 검색하고, BER 계산부(222)로 검색된 후보 오디오 지문을 출력한다.
지문 검색부(220)는 오디오 지문 저장부(221), BER 계산부(222), 비교부(223), 오디오 지문 검출부(224) 및 임계값 조절부(225)를 포함하여 이루어진다.
오디오 지문 저장부(221)는 오디오 데이터를 오디오 지문으로 변환하여 저장한다.
BER 계산부(222)는 테이블 검색부(212)에서 출력된 후보 오디오 지문과 비트화부(140)에서 생성된 오디오 지문의 BER(Bit Error Ratio)를 해밍 거리(Hamming Distance)에 의해 계산한다.
비교부(223)는 기 설정된 임계값과 BER 계산부(222)에서 계산된 BER을 비교하고, 비교된 결과를 오디오 지문 검출부(224)로 출력한다.
오디오 지문 검출부(224)는 비교부(223)에서 출력된 결과에 응답하여 소정의 임계값 보다 작은 BER을 갖는 오디오 지문을 검출한다.
임계값 조절부(225)는 오디오 지문 검출부(224)에서 검출된 결과에 응답하여 임계값을 조절한다. 여기서, 임계값 조절부(225)는 비교부(223)에서 초기 비교 수행시 느슨하게 적용되는 임계값을 오디오 지문 검출부(224)에서 검출된 결과에 따라 점차 엄격하게 조절한다. 임계값 조절부(225)에서 임계값을 조절함에 따라 오디오 지문 검출부(224)는 1개의 오디오 지문만이 검출될 때까지 반복하여 수행한다.
정보 저장부(230)는 오디오 지문 저장부(221)에 대응하는 오디오 데이터에 관한 정보를 저장한다.
정보 제공부(240)는 오디오 지문 검출부(224)에서 검출된 오디오 지문에 대응하는 오디오 데이터와 관련된 정보를 정보 저장부(230)로부터 독출하여 사용자에게 제공한다. 여기서 오디오 데이터와 관련된 정보는 곡명, 가수, 작곡가, 작사가 및 재생시간 등을 말한다.
도 2는 본 발명에 의한 오디오 데이터 검색 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 지문 검색 장치는 오디오 지문 생성부(400), 검색부(200) 및 정보 제공부(300)를 포함하여 이루어진다.
오디오 지문 생성부(400)는 사용자가 라디오, 텔레비전, 오디오 등의 출력 장치로부터 출력되는 소리를 입력 받아 핸드폰, 컴퓨터 등과 같은 디지털 녹음 장치에 의하여 생성한 오디오 데이터를 오디오 지문으로 생성한다.
상기 오디오 지문 생성부(400)는 계수 추출부(410), 합성부(420), 밴드 선택부(430), 변조 스펙트럼 생성부(440) 및 비트화부(450)를 포함하여 이루어진다.
계수 추출부(410)는 MP3 방식에 의하여 인코드된 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 576 MDCT 계수들을 추출한다.
합성부(420)는 계수 추출부(110)에서 추출된 576 MDCT 계수들에서 잡음환경에 강인한 32 PPF 서브 밴드 S(n,p)를 합성한다. 여기서, PPF(Polyphase Filter)는 주파수 분할 방식에서 32밴드로 분할하여 막대한 연산량을 처리하는 데 사용되는 방식이고, n은 프레임 인덱스이며, p는 0 이상 31 이하인 정수에 해당하는 주파수 인덱스이다.
밴드 선택부(430)는 합성부(420)에서 합성된 PPF 서브 밴드에서 잡음환경에 강인한 PPF 서브 밴드 S(n,o)를 선택한다. 여기서, o는 p 미만인 정수에 해당하는 선택된 PPF 서브 밴드 인덱스이다.
또한, 밴드 선택부(430)에서 선택되는 잡음환경에 강인한 PPF 서브 밴드는 잡음환경에 영향을 크게 받지 않은 안정적이고 낮은 비트 에러를 갖는 것을 말한다. 예를 들어, 잡음환경에 강인한 PPF 서브 밴드에는 낮은 주파수 영역에 해당하는 PPF 서브 밴드가 있다. 실험된 결과에 따르면, 첫 번째 PPF 서브 밴드가 가장 안정적이므로, 밴드 선택부(430)는 낮은 주파수 영역에 해당하는 PPF 서브 밴드를 선택하는 것이 바람직하다.
밴드 선택부(430)는 오디오 지문의 데이터 크기에 따라 선택할 서브 밴드의 개수를 설정한다.
변조 스펙트럼 생성부(440)는 밴드 선택부(430)에서 선택된 PPF 서브 밴드 S(n,o)들로부터 이산 퓨리에 변환을 이용하여 변조 스펙트럼을 다음과 같은 수학식에 의해 생성한다.
Figure 112005065034917-pat00005
여기서,
Figure 112005065034917-pat00006
이고, q는 변조 주파수이다.
여기서, 타임 시프트 t를 이용하여 이산 퓨리에 변환을 함으로써 변조 스펙트럼은 3개의 변수를 포함하는 4차원의 형태인 다음과 같은 수학식으로 표현된다.
Figure 112005065034917-pat00007
여기서, t는 타임 인덱스이다.
변조 스펙트럼 생성부(440)에서 퓨리에 변환을 이용함으로써 PPF에서 판별하기 어려운 반복적인 템포(tempo) 정보를 용이하게 판별할 수 있다.
또한, 변조 스펙트럼 생성부(440)는 오디오 지문의 데이터 크기에 따라 선택할 변조 주파수의 개수를 설정하고, 오디오 데이터의 길이에 따라 퓨리에 변환의 크기 N을 결정하는 것이 바람직하다.
비트화부(450)는 변조 스펙트럼 생성부(440)에서 생성된 변조 스펙트럼을 다음과 같은 수학식에 의해 양자화하여 오디오 지문을 생성한다.
Figure 112005065034917-pat00008
오디오 데이터 검색부(200)는 도 1에서 전술한 바와 같이 동일하게 동작한다.
도 3은 본 발명에 의한 오디오 지문 생성 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, MP3 방식에 의하여 인코드된 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 576 MDCT 계수 M(n,l)들을 추출한다(제400단계). 여기서 n은 MDCT의 프레임 인덱스이고, l은 0 이상 575 이하인 정수에 해당하는 MDCT의 서브 밴드 인덱스이다.
제400단계에서 추출된 576 MDCT 계수들에서 잡음환경에 강인한 MDCT 계수 M(n,k)를 선택한다(제410단계). 여기서, k는 l 이하인 정수로서 제400단계에서 선택된 MDCT의 서브 밴드 인덱스이다.
제410단계에서 선택되는 잡음환경에 강인한 MDCT 계수는 잡음환경에 영향을 크게 받지 않은 안정적이고 낮은 비트 에러를 갖는 것을 말한다. 예를 들어, 잡음환경에 강인한 MDCT 계수에는 낮은 주파수 영역에 해당하는 계수가 있다. 실험된 결과에 따르면, 첫 번째 MDCT 계수가 가장 안정적이고 가장 낮은 비트 에러를 갖으며, 비트 에러를 측정한 결과 낮은 주파수 영역에 해당하는 MDCT 계수가 잡음환경에 강인하므로, 제410단계에서는 낮은 주파수 영역에 해당하는 MDCT 계수를 선택하는 것이 바람직하다.
또한, 제410단계에서는 오디오 지문의 데이터 크기에 따라 선택할 MDCT 계수의 개수를 설정한다.
제410단계에서 선택된 MDCT 계수 M(n,k)들로부터 이산 퓨리에 변환을 이용하여 변조 스펙트럼을 다음과 같은 수학식에 의해 생성한다(제420단계).
Figure 112005065034917-pat00009
여기서,
Figure 112005065034917-pat00010
이고, q는 변조 주파수이다.
여기서, 타임 시프트 t를 이용하여 이산 퓨리에 변환을 함으로써 변조 스펙트럼은 3개의 변수를 포함하는 4차원의 형태인 다음과 같은 수학식으로 표현된다.
Figure 112005065034917-pat00011
여기서, t는 타임 인덱스이다.
제420단계에서 퓨리에 변환을 이용함으로써 MDCT에서 판별하기 어려운 반복적인 템포(tempo) 정보를 용이하게 판별할 수 있다.
제420단계에서는 오디오 지문의 데이터 크기에 따라 선택할 변조 주파수의 개수를 설정하고, 오디오 데이터의 길이에 따라 퓨리에 변환의 크기 N을 결정하는 것이 바람직하다.
제420단계에서 생성된 변조 스펙트럼을 다음과 같은 수학식에 의해 양자화하여 오디오 지문을 생성한다(제430단계).
Figure 112005065034917-pat00012
도 4는 본 발명에 의한 오디오 지문 생성 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, MP3 방식에 의하여 인코드된 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 576 MDCT 계수들을 추출한다(제500단계).
제500단계에서 추출된 576 MDCT 계수들에서 잡음환경에 강인한 32 PPF 서브 밴드 S(n,p)를 합성한다(제510단계). 여기서, n은 프레임 인덱스이고, p는 0 이상 31 이하인 정수에 해당하는 주파수 인덱스이다.
제510단계에서 합성된 PPF 서브 밴드에서 잡음환경에 강인한 PPF 서브 밴드 S(n,o)를 선택한다(제520단계). 여기서, o는 p 미만인 정수에 해당하는 선택된 PPF 서브 밴드 인덱스이다.
또한, 제520단계에서 선택되는 잡음환경에 강인한 PPF 서브 밴드는 잡음환경에 영향을 크게 받지 않은 안정적이고 낮은 비트 에러를 갖는 것을 말한다. 예를 들어, 잡음환경에 강인한 PPF 서브 밴드에는 낮은 주파수 영역에 해당하는 PPF 서브 밴드가 있다. 실험된 결과에 따르면, 첫 번째 PPF 서브 밴드가 가장 안정적이므로, 제520단계에서는 낮은 주파수 영역에 해당하는 PPF 서브 밴드를 선택하는 것이 바람직하다.
제520단계에서는 오디오 지문의 데이터 크기에 따라 선택할 서브 밴드의 개수를 설정한다.
제520단계에서 선택된 PPF 서브 밴드 S(n,o)들로부터 이산 퓨리에 변환을 이용하여 변조 스펙트럼을 다음과 같은 수학식에 의해 생성한다(제530단계).
Figure 112005065034917-pat00013
여기서,
Figure 112005065034917-pat00014
이고, q는 변조 주파수이다.
여기서, 타임 시프트 t를 이용하여 이산 퓨리에 변환을 함으로써 변조 스펙트럼은 3개의 변수를 포함하는 4차원의 형태인 다음과 같은 수학식으로 표현된다.
Figure 112005065034917-pat00015
여기서, t는 타임 인덱스이다.
제530단계에서 퓨리에 변환을 이용함으로써 PPF에서 판별하기 어려운 반복적인 템포(tempo) 정보를 용이하게 판별할 수 있다.
또한, 제530단계에서는 오디오 지문의 데이터 크기에 따라 선택할 변조 주파수의 개수를 설정하고, 오디오 데이터의 길이에 따라 이용할 퓨리에 변환의 크기 N을 결정하는 것이 바람직하다.
제530단계에서 생성된 변조 스펙트럼을 다음과 같은 수학식에 의해 양자화하여 오디오 지문을 생성한다(제540단계).
Figure 112005065034917-pat00016
도 5는 본 발명에 의한 오디오 데이터 검색 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 도 3의 제430단계 또는 도 4의 제540단계에서 생성된 오디오 지문에서 연속적으로 비트 에러가 없는 인덱싱 비트를 추출하여 해싱 함수에 의하여 해싱 값 을 생성한다(제600단계).
제600단계에서 생성된 해싱 값에 매칭되는 해싱 값을 해싱 테이블에서 검색하여 검색된 후보 오디오 지문들을 출력한다(제610단계). 여기서, 해싱 테이블은 저장매체에서 오디오 지문이 저장된 주소 및 오디오 데이터에 관한 정보가 저장된 주소에 대응하는 해싱 값을 저장한다.
제610단계에서 출력된 후보 오디오 지문들과 도 3의 제430단계 또는 도 4의 제540단계에서 생성된 오디오 지문의 BER를 해밍 거리에 의해 계산한다(제620단계).
제620단계에서 계산된 BER과 기 설정된 임계값을 비교한다(제630단계).
제630단계에서 임계값 보다 작은 BER을 갖는 오디오 지문을 검출한다(제640단계).
제640단계에서 1개의 오디오 지문만이 검출되어 오디오 지문 검색이 완료되었는지 여부를 판단한다(제650단계).
만일 제650단계에서 오디오 지문 검색이 완료되지 않았다고 판단되면, 임계값을 조절한다(제660단계). 여기서, 제660단계에서는 제630단계에서 처음 비교 수행시 느슨하게 적용되는 임계값을 제640단계에서 추출된 결과에 따라 점차 엄격하게 조절한다.
제660단계에서 조절된 임계값과 제640단계에서 검출된 오디오 지문에 대하여 제620단계에서 계산된 BER을 비교한다(제630단계).
만일 제650단계에서 오디오 지문 검색이 완료되었다고 판단되면, 제640단계 에서 검출된 오디오 지문에 대응하는 오디오 데이터와 관련된 정보를 오디오 데이터 베이스로부터 독출하여 사용자에게 제공한다. 여기서 오디오 데이터와 관련된 정보는 곡명, 가수, 작곡가, 작사가, 재생시간 등을 말한다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
이러한 본원 발명인 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법은 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
본 발명에 의한 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법에 의하면, 오디오 데이터에서 잡음환경에 강인한 변조 스펙트럼을 추출하여 오디오 지문을 생성하고, 생성된 오디오 지문을 이용하여 오디오 데이터를 검색한다.
이렇게 함으로써 다양한 환경에서 녹음된 오디오 데이터를 정확하고 빠르게 검색할 수 있는 효과를 거둘 수 있다. 그리고, MP 3 기반의 요소를 이용하므로 MP3 어플리케이션에 다양하게 적용될 수 있는 효과를 거둘 수 있다. 또한, 음악 무드 분류, 음악 장르 분류와 같은 오디오 데이터의 분류에 이용할 수 있고, 스포츠 동영상에서 특정 이벤트를 추출하는 데 사용되는 등 다양한 분야에 적용될 수 있는 효과를 거둘 수 있다.

Claims (37)

  1. 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 계수 추출부;
    상기 추출된 MDCT 계수들에서 안정적이고 낮은 비트 에러를 갖는 MDCT 계수를 선택하는 계수 선택부;
    상기 선택된 MDCT 계수를 처리하여 변조 스펙트럼을 생성하는 변조 스펙트럼 생성부; 및
    상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 비트화부를 포함하는 것을 특징으로 하는 오디오 지문 생성 장치.
  2. 삭제
  3. 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 계수 추출부;
    상기 추출된 MDCT 계수들에서 낮은 주파수 영역에 해당하는 MDCT 계수를 선택하는 계수 선택부;
    상기 선택된 MDCT 계수를 처리하여 변조 스펙트럼을 생성하는 변조 스펙트럼 생성부; 및
    상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 비트화부를 포함하는 것을 특징으로 하는 오디오 지문 생성 장치.
  4. 제1항 또는 제3항에 있어서, 상기 계수 선택부는
    상기 오디오 지문의 데이터 크기에 따라 선택할 MDCT 계수의 개수를 설정하는 것을 특징으로 하는 오디오 지문 생성 장치.
  5. 제1항 또는 제3항에 있어서, 상기 변조 스펙트럼 생성부는
    상기 선택된 MDCT 계수를 퓨리에 변환하여 변조 스펙트럼을 생성하는 것을 특징으로 하는 오디오 지문 생성 장치.
  6. 제5항에 있어서, 상기 변조 스펙트럼 생성부는
    상기 오디오 지문의 데이터 크기에 따라 선택할 변조 주파수의 개수를 설정하는 것을 특징으로 하는 오디오 지문 생성 장치.
  7. 제5항에 있어서, 상기 변조 스펙트럼 생성부는
    상기 오디오 데이터의 길이에 따라 퓨리에 변환의 크기를 결정하는 것을 특징으로 하는 오디오 지문 생성 장치.
  8. 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 계수 추출부;
    상기 추출된 MDCT 계수로부터 PPF 서브 밴드를 합성하는 합성부;
    상기 합성된 PPF 서브 밴드에서 안정적이고 낮은 비트 에러를 갖는 PPF 서브 밴드를 선택하는 밴드 선택부;
    상기 선택된 PPF 서브 밴드를 처리하여 변조 스펙트럼을 생성하는 변조 스펙트럼 생성부; 및
    상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 비트화부를 포함하는 것을 특징으로 하는 오디오 지문 생성 장치.
  9. 삭제
  10. 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 계수 추출부;
    상기 추출된 MDCT 계수로부터 PPF 서브 밴드를 합성하는 합성부;
    상기 합성된 PPF 서브 밴드에서 낮은 주파수 영역에 해당하는 PPF 서브 밴드를 선택하는 밴드 선택부;
    상기 선택된 PPF 서브 밴드를 처리하여 변조 스펙트럼을 생성하는 변조 스펙트럼 생성부; 및
    상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 비트화부를 포함하는 것을 특징으로 하는 오디오 지문 생성 장치.
  11. 제8항 또는 제10항에 있어서, 상기 밴드 선택부는
    상기 오디오 지문의 데이터 크기에 따라 선택할 PPF 서브 밴드의 개수를 설정하는 것을 특징으로 하는 오디오 지문 생성 장치.
  12. 제8항 또는 제10항에 있어서, 상기 변조 스펙트럼 생성부는
    상기 선택된 PPF 서브 밴드를 퓨리에 변환하여 변조 스펙트럼을 생성하는 것을 특징으로 하는 오디오 지문 생성 장치.
  13. 제12항에 있어서, 상기 변조 스펙트럼 생성부는
    상기 오디오 지문의 데이터 크기에 따라 선택할 변조 주파수의 개수를 설정하는 것을 특징으로 하는 오디오 지문 생성 장치.
  14. 제12항에 있어서, 상기 변조 스펙트럼 생성부는
    상기 오디오 데이터의 길이에 따라 퓨리에 변환의 크기를 결정하는 것을 특징으로 하는 오디오 지문 생성 장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 단계;
    상기 추출된 MDCT 계수들에서 안정적이고 낮은 비트 에러를 갖는 MDCT 계수를 선택하는 단계;
    상기 선택된 MDCT 계수를 처리하여 변조 스펙트럼을 생성하는 단계; 및
    상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 지문 생성 방법.
  20. 삭제
  21. 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 단계;
    상기 추출된 MDCT 계수들에서 낮은 주파수 영역에 해당하는 MDCT 계수를 선택하는 단계;
    상기 선택된 MDCT 계수를 처리하여 변조 스펙트럼을 생성하는 단계; 및
    상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 지문 생성 방법.
  22. 제19항 또는 제21항에 있어서, 상기 선택하는 단계는
    상기 오디오 지문의 데이터 크기에 따라 선택할 MDCT 계수의 개수를 설정하는 것을 특징으로 하는 오디오 지문 생성 방법.
  23. 제19항 또는 제21항에 있어서, 상기 생성하는 단계는
    상기 선택된 MDCT 계수를 퓨리에 변환하여 변조 스펙트럼을 생성하는 것을 특징으로 하는 오디오 지문 생성 방법.
  24. 제23항에 있어서, 상기 생성하는 단계는
    상기 오디오 지문의 데이터 크기에 따라 선택할 변조 주파수의 개수를 설정하는 것을 특징으로 하는 오디오 지문 생성 방법.
  25. 제23항에 있어서, 상기 생성하는 단계는
    상기 오디오 데이터의 길이에 따라 퓨리에 변환의 크기를 결정하는 것을 특징으로 하는 오디오 지문 생성 방법.
  26. 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 단계;
    상기 추출된 MDCT 계수로부터 PPF 서브 밴드를 합성하는 단계;
    상기 합성된 PPF 서브 밴드에서 안정적이고 낮은 비트 에러를 갖는 PPF 서브 밴드를 선택하는 단계;
    상기 선택된 PPF 서브 밴드를 처리하여 변조 스펙트럼을 생성하는 단계; 및
    상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 지문 생성 방법.
  27. 삭제
  28. 오디오 데이터를 압축영역에서 부분적으로 디코딩하여 MDCT 계수들을 추출하는 단계;
    상기 추출된 MDCT 계수로부터 PPF 서브 밴드를 합성하는 단계;
    상기 합성된 PPF 서브 밴드에서 낮은 주파수 영역에 해당하는 PPF 서브 밴드를 선택하는 단계;
    상기 선택된 PPF 서브 밴드를 처리하여 변조 스펙트럼을 생성하는 단계; 및
    상기 생성된 변조 스펙트럼을 양자화하여 오디오 지문을 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 지문 생성 방법.
  29. 제26항 또는 제28항에 있어서, 상기 선택하는 단계는
    상기 오디오 지문의 데이터 크기에 따라 상기 선택할 PPF 서브 밴드의 개수를 설정하는 것을 특징으로 하는 오디오 지문 생성 방법.
  30. 제26항 또는 제28항에 있어서, 상기 생성하는 단계는
    상기 선택된 PPF 서브 밴드를 퓨리에 변환하여 변조 스펙트럼을 생성하는 것을 특징으로 하는 오디오 지문 생성 방법.
  31. 제30항에 있어서, 상기 생성하는 단계는
    상기 오디오 지문의 데이터 크기에 따라 선택할 변조 주파수의 개수를 설정하는 것을 특징으로 하는 오디오 지문 생성 방법.
  32. 제30항에 있어서, 상기 생성하는 단계는
    상기 오디오 데이터의 길이에 따라 상기 이용할 퓨리에 변환의 크기를 결정하는 것을 특징으로 하는 오디오 지문 생성 방법.
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 제19항, 제21항, 제26항 또는 제28항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR20050108070A 2005-11-11 2005-11-11 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법 KR100803206B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20050108070A KR100803206B1 (ko) 2005-11-11 2005-11-11 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법
US11/598,134 US8380518B2 (en) 2005-11-11 2006-11-13 Device, method, and medium for generating audio fingerprint and retrieving audio data
US13/742,858 US9589283B2 (en) 2005-11-11 2013-01-16 Device, method, and medium for generating audio fingerprint and retrieving audio data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20050108070A KR100803206B1 (ko) 2005-11-11 2005-11-11 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070050631A KR20070050631A (ko) 2007-05-16
KR100803206B1 true KR100803206B1 (ko) 2008-02-14

Family

ID=38041988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20050108070A KR100803206B1 (ko) 2005-11-11 2005-11-11 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법

Country Status (2)

Country Link
US (2) US8380518B2 (ko)
KR (1) KR100803206B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882439A (zh) * 2010-06-10 2010-11-10 复旦大学 一种基于Zernike矩的压缩域音频指纹方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL127569A0 (en) 1998-09-16 1999-10-28 Comsense Technologies Ltd Interactive toys
US20100030838A1 (en) * 1998-08-27 2010-02-04 Beepcard Ltd. Method to use acoustic signals for computer communications
US6607136B1 (en) 1998-09-16 2003-08-19 Beepcard Inc. Physical presence digital authentication system
WO2000021020A2 (en) 1998-10-02 2000-04-13 Comsense Technologies, Ltd. Card for interaction with a computer
US8019609B2 (en) 1999-10-04 2011-09-13 Dialware Inc. Sonic/ultrasonic authentication method
US9219708B2 (en) 2001-03-22 2015-12-22 DialwareInc. Method and system for remotely authenticating identification devices
JP4665836B2 (ja) * 2006-05-31 2011-04-06 日本ビクター株式会社 楽曲分類装置、楽曲分類方法、及び楽曲分類プログラム
US8140331B2 (en) * 2007-07-06 2012-03-20 Xia Lou Feature extraction for identification and classification of audio signals
US9256904B1 (en) 2008-08-14 2016-02-09 Experian Information Solutions, Inc. Multi-bureau credit file freeze and unfreeze
US8533848B2 (en) * 2009-02-18 2013-09-10 Korea Advanced Institute Of Science And Technology Method and system for producing multimedia fingerprint based on quantum hashing
US8050251B2 (en) * 2009-04-10 2011-11-01 Barracuda Networks, Inc. VPN optimization by defragmentation and deduplication apparatus and method
US8687839B2 (en) * 2009-05-21 2014-04-01 Digimarc Corporation Robust signatures derived from local nonlinear filters
WO2010138777A1 (en) * 2009-05-27 2010-12-02 Arsh Technologies, Llc Automatic resource retrieval and use
US8489774B2 (en) * 2009-05-27 2013-07-16 Spot411 Technologies, Inc. Synchronized delivery of interactive content
KR101615262B1 (ko) 2009-08-12 2016-04-26 삼성전자주식회사 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치
CN102667921B (zh) 2009-10-20 2014-09-10 弗兰霍菲尔运输应用研究公司 音频编码器、音频解码器、用于将音频信息编码的方法、用于将音频信息解码的方法
MX2012008075A (es) 2010-01-12 2013-12-16 Fraunhofer Ges Forschung Codificador de audio, decodificador de audio, metodo para codificar e informacion de audio, metodo para decodificar una informacion de audio y programa de computacion utilizando una modificacion de una representacion de un numero de un valor de contexto numerico previo.
US20120136701A1 (en) * 2010-11-26 2012-05-31 Rohan Relan Method and system for faciliating interactive commercials in real time
TWI800092B (zh) * 2010-12-03 2023-04-21 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
US8586847B2 (en) * 2011-12-02 2013-11-19 The Echo Nest Corporation Musical fingerprinting based on onset intervals
US9684715B1 (en) * 2012-03-08 2017-06-20 Google Inc. Audio identification using ordinal transformation
US10971191B2 (en) * 2012-12-12 2021-04-06 Smule, Inc. Coordinated audiovisual montage from selected crowd-sourced content with alignment to audio baseline
US9055376B1 (en) * 2013-03-08 2015-06-09 Google Inc. Classifying music by genre using discrete cosine transforms
CN104683933A (zh) 2013-11-29 2015-06-03 杜比实验室特许公司 音频对象提取
US9286902B2 (en) 2013-12-16 2016-03-15 Gracenote, Inc. Audio fingerprinting
NL2012567B1 (en) 2014-04-04 2016-03-08 Teletrax B V Method and device for generating improved fingerprints.
US9881083B2 (en) 2014-08-14 2018-01-30 Yandex Europe Ag Method of and a system for indexing audio tracks using chromaprints
WO2016024172A1 (en) 2014-08-14 2016-02-18 Yandex Europe Ag Method of and a system for matching audio tracks using chromaprints with a fast candidate selection routine
RU2606567C2 (ru) * 2015-02-16 2017-01-10 Общество С Ограниченной Ответственностью "Яндекс" Способ сравнения первого входящего аудиотрека с индексированным аудиотреком
US10997236B2 (en) * 2015-04-27 2021-05-04 Samsung Electronics Co., Ltd. Audio content recognition method and device
WO2018020313A1 (en) * 2016-07-28 2018-02-01 Essilor International Eyeglasses-matching tool
CN106708990B (zh) * 2016-12-15 2020-04-24 腾讯音乐娱乐（深圳）有限公司 一种音乐片段提取方法和设备
CN108268572B (zh) * 2017-01-04 2020-09-08 北京酷我科技有限公司 一种歌曲同步方法及系统
CN109871463B (zh) * 2019-03-06 2024-04-09 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置、电子设备及存储介质
US11269976B2 (en) * 2019-03-20 2022-03-08 Saudi Arabian Oil Company Apparatus and method for watermarking a call signal
CN110136744B (zh) * 2019-05-24 2021-03-26 腾讯音乐娱乐科技（深圳）有限公司 一种音频指纹生成方法、设备及存储介质
CN110517671B (zh) * 2019-08-30 2022-04-05 腾讯音乐娱乐科技（深圳）有限公司 一种音频信息的评估方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030059085A (ko) * 2000-07-31 2003-07-07 샤잠 엔터테인먼트 리미티드 오디오 데이터베이스에서의 검색 방법
WO2003091990A1 (en) 2002-04-25 2003-11-06 Shazam Entertainment, Ltd. Robust and invariant audio pattern matching
US20060149552A1 (en) 2004-12-30 2006-07-06 Aec One Stop Group, Inc. Methods and Apparatus for Audio Recognition
US20070055500A1 (en) 2005-09-01 2007-03-08 Sergiy Bilobrov Extraction and matching of characteristic fingerprints from audio signals

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6947571B1 (en) * 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
US7013301B2 (en) * 2003-09-23 2006-03-14 Predixis Corporation Audio fingerprinting system and method
US7050977B1 (en) * 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US6963975B1 (en) * 2000-08-11 2005-11-08 Microsoft Corporation System and method for audio fingerprinting
CN1235408C (zh) * 2001-02-12 2006-01-04 皇家菲利浦电子有限公司 生成和匹配多媒体内容的散列
US6973574B2 (en) * 2001-04-24 2005-12-06 Microsoft Corp. Recognizer of audio-content in digital signals
JP2005517211A (ja) * 2002-02-05 2005-06-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 指紋の効率的格納
US7110338B2 (en) * 2002-08-06 2006-09-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for fingerprinting digital media
AU2003264774A1 (en) * 2002-11-01 2004-05-25 Koninklijke Philips Electronics N.V. Improved audio data fingerprint searching
US20060075237A1 (en) * 2002-11-12 2006-04-06 Koninklijke Philips Electronics N.V. Fingerprinting multimedia contents
EP1457889A1 (en) * 2003-03-13 2004-09-15 Koninklijke Philips Electronics N.V. Improved fingerprint matching method and system
CN1820511A (zh) * 2003-07-11 2006-08-16 皇家飞利浦电子股份有限公司 用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备
US20050044561A1 (en) * 2003-08-20 2005-02-24 Gotuit Audio, Inc. Methods and apparatus for identifying program segments by detecting duplicate signal patterns
US7986913B2 (en) * 2004-02-19 2011-07-26 Landmark Digital Services, Llc Method and apparatus for identificaton of broadcast source
US20060212897A1 (en) * 2005-03-18 2006-09-21 Microsoft Corporation System and method for utilizing the content of audio/video files to select advertising content for display
US7573868B2 (en) * 2005-06-24 2009-08-11 Microsoft Corporation Audio/video synchronization using audio hashing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030059085A (ko) * 2000-07-31 2003-07-07 샤잠 엔터테인먼트 리미티드 오디오 데이터베이스에서의 검색 방법
WO2003091990A1 (en) 2002-04-25 2003-11-06 Shazam Entertainment, Ltd. Robust and invariant audio pattern matching
US20060149552A1 (en) 2004-12-30 2006-07-06 Aec One Stop Group, Inc. Methods and Apparatus for Audio Recognition
US20070055500A1 (en) 2005-09-01 2007-03-08 Sergiy Bilobrov Extraction and matching of characteristic fingerprints from audio signals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Haitsma, J. et al. 'Robust Audio Hashing for Content Identification' In: Proceedings of International Workshop on Content-Based Multimedia Indexing (CBMI'01), 2001. pp. 117-125.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882439A (zh) * 2010-06-10 2010-11-10 复旦大学 一种基于Zernike矩的压缩域音频指纹方法

Also Published As

Publication number Publication date
US8380518B2 (en) 2013-02-19
US20130132210A1 (en) 2013-05-23
KR20070050631A (ko) 2007-05-16
US20070112565A1 (en) 2007-05-17
US9589283B2 (en) 2017-03-07

Similar Documents

Publication Publication Date Title
KR100803206B1 (ko) 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법
KR100774585B1 (ko) 변조 스펙트럼을 이용한 음악 정보 검색 방법 및 그 장치
EP2659480B1 (en) Repetition detection in media data
EP2791935B1 (en) Low complexity repetition detection in media data
AU2005266546B2 (en) Device and method for robustly classifying audio signals, method for establishing and operating audio signal database and a computer program
JP5826291B2 (ja) 音声信号からの特徴フィンガープリントの抽出及びマッチング方法
Allamanche et al. Content-based Identification of Audio Material Using MPEG-7 Low Level Description.
US7081581B2 (en) Method and device for characterizing a signal and method and device for producing an indexed signal
KR100717387B1 (ko) 유사곡 검색 방법 및 그 장치
KR101101384B1 (ko) 파라미터화된 시간 특징 분석
Tzanetakis et al. Sound analysis using MPEG compressed audio
JP2004530153A6 (ja) 信号を特徴付ける方法および装置、および、索引信号を生成する方法および装置
KR20050046815A (ko) 지문 추출
JP2000101439A (ja) 情報処理装置および方法、情報記録装置および方法、記録媒体、並びに提供媒体
Kim et al. Robust audio fingerprinting using peak-pair-based hash of non-repeating foreground audio in a real environment
Li et al. Robust audio identification for MP3 popular music
KR20140061214A (ko) 음악 정보 검색 방법 및 그 장치
You et al. Music identification system using MPEG-7 audio signature descriptors
Li et al. Low-order auditory Zernike moment: a novel approach for robust music identification in the compressed domain
Ghouti et al. A robust perceptual audio hashing using balanced multiwavelets
Six et al. A robust audio fingerprinter based on pitch class histograms applications for ethnic music archives
Yin et al. Robust online music identification using spectral entropy in the compressed domain
Gruhne Robust audio identification for commercial applications
Li et al. Using Low-Order Auditory Zernike Moments for Robust Music Identification in the Compressed Domain
Eom et al. A Robust Music Retrieval System

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee