KR100838674B1

KR100838674B1 - 오디오 핑거프린팅 시스템 및 방법

Info

Publication number: KR100838674B1
Application number: KR1020067005805A
Authority: KR
Inventors: 프로드 홈; 웬델 티. 히켄
Original assignee: 뮤직아이피 코포레이션
Priority date: 2003-09-23
Filing date: 2004-09-23
Publication date: 2008-06-16
Also published as: KR20060095988A; TW200632868A; JP2007525697A; CA2536080A1; CN100437572C; WO2005031517A2; AU2004277219A1; EP1671207A2; US20060190450A1; CN101014953A; EP1671207A4; US7013301B2; WO2005031517A3; US7487180B2; AU2004277219B2; US20050065976A1

Abstract

오디오 핑거프린팅 시스템 및 방법을 개시한다. 서버는 제1 오디오 피스(audio piece)의 오디오 핑거프린트(audio fingerprint)를 수신하고, 오디오 핑거프린트의 데이터베이스를 검색하며, 오디오 핑거프리트과 연관된 오디오 프로파일 벡터(audio profile vector)를 검색하고, 상기 오디오 프로파일 벡터에 기초하여 사용자 선호 정보를 갱신하며, 상기 사용자 선호 정보에 기초하여 제2 오디오 피스를 선택한다. 오디오 핑거프린트는 오디오 피스의 주파수 측정값에 기초하여 행렬을 만들고, 상기 행렬을 특이값 분해(singular value decomposition)함으로써 생성된다. 상기 데이터베이스의 검색을 촉진시키고 대조 정확성(matching accuracy)을 증가시키기 위해, 데이터베이스 내의 후보 서브세트는 오디오 피스의 가장 주요한 음악 주석(musical note)에 기초하여 식별되며, 상기 검색은 식별된 서브세트로 제한된다. 오디오 프로파일 벡터의 속성 중 하나는 특정 오디오 클래스이다. 상기 오디오 클래스의 식별자는 해당 오디오 클래스에 속하는 오디오 피스의 오디오 핑거프린트의 평균에 기초하여 생성된다.

오디오, 핑거프린트, 오디오 피스, 프로파일 벡터, 검색, 주석, 인덱스

Description

오디오 핑거프린팅 시스템 및 방법{AUDIO FINGERPRINTING SYSTEM AND METHOD}

본 발명은 일반적으로 미지(未知)의 오디오 피스(audio piece)를 자동으로 식별하는 것에 관한 것으로, 더욱 구체적으로는 미지의 오디오 피스를 그것의 오디오 핑거프린트에 의해 효과적으로 인식하는 시스템 및 방법에 관한 것이다.

오디오 피스의 오디오 신호의 컨텐츠를 분석함으로써 오디오 피스를 자동으로 식별하는 것은 종종 바람직하며, 특히 오디오 피스와 관련된 설명 데이터가 없는 경우에 그렇다.

종래 기술의 핑거프린팅 시스템은 일반적으로 오디오 피스의 임의의 부분에 기초하여 오디오 피스를 인식할 수 있도록 한다. 핑거프린트 데이터베이스의 핑거프린트는, 저장된 핑거프린트를 갖는 임의의 부분에 기초하여 생성된 핑거프린트의 적적한 정렬을 허용하기 위해 종종 시간 인덱싱(time-indexed) 된다. 따라서, 시간 인덱싱된 핑거프린팅 시스템은, 어떤 비교를 수행하기 전에 핑거프린트 데이터베이스에 정확한 세그먼트를 위치시키는 추가적인 복잡한 단계를 추가한다.

시간 인덱싱된 오디오 핑거프린트의 생성 및 저장은, 핑거프린팅을 사용할 수 있게 될 오디오 피스의 부분에 대해 가정이 이루어질 수 있다면, 중복된다 (redundant). 예를 들어, 식별할 오디오 피스가 기지(旣知)의 것이면, 악곡의 시작부분부터 항상 이용할 수 있게 될 것이고, 개개의 시간 슬라이스(time slice)에 대해 오디오 피스의 시간 인덱싱된 핑거프린트를 유지할 필요가 없고, 저장된 핑거프린트와 함께 질의(query) 핑거프린트를 시간 정렬(time-align)할 필요도 없다.

종래 기술의 핑거프린팅 시스템이 직면하는 다른 문제는 핑거프린트 데이터베이스에 등록된 핑거프린트의 수가 증가함에 따라, 일치하는 결과를 얻기 위해 소용되는 시간도 또한 증가한다는 것이다.

따라서, 핑거프린팅 시스템에서 필요로 하는 것은, 오디오 피스에 대한 신뢰성 있고, 신속하며 강건한(robust) 식별을 제공하는 것이다. 이러한 시스템은 보다 우수한 대조 정확성(matching accuracy)과 속도를 위해 식별을 수행할 때 검색 공간(search space)을 감소시키도록 구성되어야 한다.

일 실시예에 따르면, 본 발명은 복수의 오디오 피스스(audio piece)로부터 오디오 피스를 선택하는 방법에 관한 것이며, 이 방법은 제1 오디오 피스의 오디오 핑거프린트(audio fingerprint)를 수신하는 단계; 상기 오디오 핑거프린트의 데이터베이스를 검색하는 단계; 상기 오디오 핑거프린트과 연관된 오디오 프로파일 벡터(audio profile vector)를 검색하는 단계; 상기 오디오 프로파일 벡터에 기초하여 사용자 선호 정보(preference)를 갱신하는 단계; 및 상기 사용자 선호 정보에 기초하여 제2 오디오 피스를 선택하는 단계를 포함하며, 상기 오디오 프로파일 벡터는 상기 오디오 피스와 연관된 복수의 속성을 정량화(quantify)하기 위한 것이다.

다른 실시예에 따르면, 본 발명은 오디오 핑거프린팅 방법에 관한 것으로, 이 방법은 오디오 피스에 관련된 오디오 신호를 수신하는 단계; 상기 오디오 신호의 복수의 주파수 측정값을 취득하는 단계; 상기 주파수 측정값에 기초하여 행렬 A를 만드는 단계; 상기 행렬 A(A = USV^T)에 대해 특이값 분해 (singular value decomposition)를 수행하는 단계; 행렬 V^T의 하나 이상의 행(row)을 검색하는 단계; 상기 검색된 행렬 V^T의 행을 상기 오디오 피스와 연관시키는 단계; 및 상기 검색된 행렬 V^T의 행을 데이터 저장소(data store)에 저장하는 단계를 포함한다.

다른 실시예에 따르면, 본 발명은 오디오 인덱싱 방법에 관한 것으로, 이 방법은 오디오 피스의 오디오 신호를 수신하는 단계; 상기 오디오 신호로부터 상기 오디오 피스에 포함되어 있는 음악 주석의 리스트를 자동으로 취득하는 단계; 상기 오디오 신호로부터 상기 오디오 피스 내의 음악 주석의 주요도(prominence)를 결정하는 단계; 상기 오디오 피스 내에서 미리 결정된 수의 가장 주요한(prominent) 음악 주석을 선택하는 단계; 상기 선택된 음악 주석에 기초하여 인덱스를 생성하는 단계; 및 상기 생성된 인덱스에 기초하여 데이터베이스를 검색하는 단계를 포함한다.

다른 실시예에 따르면, 본 발명은 오디오 클래스용 식별자(identifier)를 생성하는 방법에 관한 것으로, 상기 오디오 클래스와 관련된 복수의 오디오 피스를 선택하는 단계; 선택된 오디오 피스 각각에 대해 오디오 핑거프린트를 계산하는 단계; 상기 계산된 오디오 핑거프린트의 평균을 계산하는 단계; 상기 계산에 기초하여 평균 핑거프린트를 생성하는 단계; 상기 평균 핑거프린트를 상기 오디오 클래스와 연관시키는 단계; 및 상기 평균 핑거프린트을 데이터 저장소에 저장하는 단계를 포함한다.

다른 실시예에 따르면, 본 발명은 오디오 선택 시스템에 관한 것으로, 복수의 오디오 피스에 대한 복수의 오디오 핑거프린트를 저장하는 제1 데이터 저장소; 복수의 오디오 핑거프린트에 대한 복수의 오디오 프로파일 벡터를 저장하는 제2 데이터 저장소; 제1 오디오 피스의 오디오 핑거프린트에 대한 제1 데이터 저장소를 검색하기 위한 수단; 상기 오디오 핑거프린트와 연관된 오디오 프로파일 벡터를 상기 제2 데이터 저장소로부터 검색하기 위한 수단; 상기 검색된 오디오 프로파일 벡터에 기초하여 사용자의 선호 정보를 갱신하기 위한 수단; 및 상기 사용자의 선호 정보에 기초하여 제2 오디오 피스를 선택하기 위한 수단을 포함하며,각 오디오 프로파일 벡터는 상기 오디오 핑거프린트에 대응하는 상기 오디오 피스에 관련된 복수의 속성을 정량화하는 것이다.

다른 실시예에 따르면, 본 발명은 오디오 핑거프린팅 시스템에 관한 것으로, 오디오 피스와 연관된 오디오 신호를 수신하고; 상기 오디오 신호의 복수의 주파수 측정값을 취득하며; 상기 주파수 측정값에 기초하여 행렬 A(A = USV^T)를 만들고; 행렬 V^T의 하나 이상의 행을 검색하며; 상기 검색된 행렬 V^T의 행을 상기 오디오 피스와 연관시키도록 구성되어 있는 프로세서를 포함한다.

다른 실시예에 따르면, 본 발명은 오디오 인덱싱 시스템에 관한 것으로, 오디오 피스의 오디오 신호를 수신하기 위한 수단; 상기 오디오 신호로부터 상기 오디오 피스에 포함되어 있는 음악 주석의 리스트를 자동으로 취득하기 위한 수단; 상기 오디오 신호로부터 상기 오디오 피스 내의 음악 주석의 주요도를 결정하기 위한 수단; 상기 오디오 피스 내에서 미리 결정된 수의 가장 주요한 음악 주석을 선택하기 위한 수단; 상기 선택된 음악 주석에 기초하여 인덱스를 생성하기 위한 수단; 및 상기 생성된 인덱스에 기초하여 데이터베이스를 검색하기 위한 수단을 포함한다.

다른 실시예에 따르면, 본 발명은 오디오 클래스용 식별자를 생성하는 시스템에 관한 것으로, 복수의 선택된 오디오 피스 각각에 대해 오디오 핑거프린트를 계산하기 위한 수단; 상기 계산된 오디오 핑거프린트의 평균을 계산하기 위한 수단; 상기 계산된 평균을 상기 오디오 클래스와 연관시키기 위한 수단; 상기 계산된 평균을 데이터 저장소에 기억하기 위한 수단을 포함한다.

다른 실시예에 따르면, 본 발명은 컴퓨터에서 사용 가능한, 실행 가능한 명령어를 포함하는 프로그램을 구비하는 컴퓨터로 판독 가능한 매체를 포함하는 제품(article of manufacture)으로서, 상기 명령어는 실행될 때 상기 컴퓨터로 하여금, 오디오 피스에 연관된 오디오 신호에 대해 복수의 주파수 측정값을 취득하는 단계; 상기 주파수 측정값에 기초하여 행렬 A를 만드는 단계; 상기 행렬 A(A = USV^T)에 대해 특이값 분해를 수행하는 단계; 행렬 V^T의 하나 이상의 행(row)을 검색하는 단계; 상기 검색된 행렬 V^T의 행을 상기 오디오 피스와 연관시키는 단계; 및 상기 검색된 행렬 V^T의 행을 데이터 저장소에 저장하는 단계를 수행하도록 한다.

다른 실시예에 따르면, 본 발명은 컴퓨터에서 사용 가능한, 실행 가능한 명령어를 포함하는 프로그램을 구비하는 컴퓨터로 판독 가능한 매체를 포함하는 제품으로서, 상기 명령어는 실행될 때 상기 컴퓨터로 하여금, 오디오 피스의 오디오 신호로부터 상기 오디오 피스에 포함되어 있는 음악 주석의 리스트를 자동으로 취득하는 단계; 상기 오디오 신호로부터 상기 오디오 피스 내의 음악 주석의 주요도를 결정하는 단계; 상기 오디오 피스 내에서 미리 결정된 수의 가장 주요한 음악 주석을 선택하는 단계; 상기 선택된 음악 주석에 기초하여 인덱스를 생성하는 단계; 및 상기 생성된 인덱스에 기초하여 데이터베이스를 검색하는 단계를 포함한다.

본 발명의 상기한 그리고 다른 특징, 태양 및 이점은 다음의 상세한 설명, 첨부한 청구범위 및 첨부도면을 참작하면 더욱 완전하게 이해할 수 있을 겄이다. 물론, 본 발명의 실제 범위는 첨부한 청구범위에 의해 정해진다.

도 1은 본 발명의 일 실시예에 따른 오디오 핑거프린팅 시스템의 블록도이다.

도 2는 본 발명의 일 실시예에 따른 오디오 핑거프린트를 생성하는 프로세스를 나타낸 흐름도이다.

도 3은 본 발명의 일 실시예에 따른, 등록된 핑거프린트와의 대조를 위해 추출된 오디오 핑거프린트를 분석하는 프로세스를 나타낸 흐름도이다.

도 4는 본 발명의 다른 실시예에 따른, 등록된 핑거프린트와의 대조를 위해 추출된 오디오 핑거프린트를 분석하는 프로세스를 나타낸 흐름도이다.

도 5는 본 발명의 일 실시예에 따른, 오디오 피스에 데이터베이스 인덱스를 할당하는 프로세스를 나타낸 흐름도이다.

도 6은 본 발명의 일 실시예에 따른, 특정 음악 클래스에 대한 식별자를 생성하는 프로세스를 나타낸 흐름도이다.

도 7은 본 발명의 일 실시예에 따른 도 1의 오디오 핑거프린팅 시스템을 사용하는 하나 이상의 기기를 구비하는 컴퓨터 네트워크의 블록도이다.

도 1은 본 발명의 일 실시예에 따른 오디오 핑거프린팅 시스템(10)의 블록도이다. 이 시스템은 상이한 타입의 오디오 파일(11) 또는 오디오 입력을 판독하고, wave(.wav), MP3 파일 등을 출력하기 위한 오디오 파일 리더(12)를 포함한다. 오디오 파일 리더(12)는, 예를 들어 CD 플레이어, DVD 플레이어, 하드 드라이브 등일 수 있다. 오디오 파일 리더(12)는, 오디오 파일 리더(12)에 의해 출력된 MP3 파일을 디코딩하기 위한 MP3 디코더(14)에 연결될 수 있다. 다른 타입의 디코더도 또한 다른 타입의 부호화된 오디오 파일을 디코딩하기 위해 사용될 수 있다.

오디오 파일 리더(12)에 제공된 오디오 파일(11)은 인식할 또는 등록된, 완전한 오디오 피스 또는 오디오 피스의 부분일 수 있다. 본 발명의 일 실시예에 따 르면, 오디오 파일은 적어도 오디오 피스의 처음 30초를 포함한다. 하지만, 이 기술분야의 당업자는 그보다 더 짧거나 더 긴 세그먼트도 다른 실시예에서 사용될 수 있다는 것을 알 것이다

수신된 오디오 파일(11)은 음악 프리프로세서(preprocessor)(16)에 전송되며, 본 발명의 일 실시예에 따르면, 프리프로세서(16)는 오디오 파일을 분석하기 이전에 일정한 전처리 단계들을 취하도록 구성되어 있다. 전형적인 전처리 단계는 신호의 최대 레벨이 모든 오디오 샘플에 대해 동일하도록 오디오 신호를 정규화하는 단계, 오디오 데이터를 스트레오에서 모노로 변환하는 단계, 오디오 파일의 묵음 부분(silent poriton)을 제거하는 단계 등을 포함할 수 있다. 하지만 이 기술분야의 당업자는 전처리 단계를 없앨 수 있거나 또는 다른 타입의 종래 기술의 오디오 전처리 단계들을 포함할 수 있다는 것을 알아야 한다.

프리프로세서(16)는 핑거프린트 추출 엔진(18), 핑거프린트 분석 엔진(20), 인덱싱 엔진(22), 및 클래스 식별 엔진(24)에 연결되어 있다. 본 발명의 일 실시예에 따르면, 상기 엔진들은 메모리에 저장되어 있는 명령어를 실행하는 프로세서들이다. 이 기술분야의 당업자는, 상기 엔진들이 하드웨어, 펌웨어(예를 들어, ASIC), 또는 하드웨어, 펌웨어 및 소프트웨어의 조합으로 구현될 수 있다는 것을 알아야 한다.

본 발명의 일 실시예에 따르면, 핑거프린트 추출 엔진(18)은 축약형 표시(compact representation)를 자동으로 생성하는데, 이하에서는 오디오 피스의 고유한 식별자로서 사용하기 위해, 오디오 파일(11)의 서명 핑거프린트(fingerprint of signature)라고 한다. 본 발명의 일 실시예에 따르면, 오디오 핑거프린트는 행렬로 표현된다.

핑거프린트 분석 엔진(20)은 핑거프린트 데이터베이스(26)에 등록되어 있는 핑거프린트와의 대조를 위해, 핑거프린트 추출 엔진(18)에 의해 생성된 오디오 핑거프린트를 분석한다. 대조에 기초하여, 핑거프린트 분석 엔진이나 핑거프린트 분석 엔지에 연결된 개별 엔진(도시하지 않음) 중 어느 하나는, 오디오 피스와 연관된 부가적인 데이터를 검색한다. 부가적인 데이터는, 예를 들어 오디오 피스의 여러 가지 속성을 기술하며, 이에 대해 더욱 자세한 것은 미국특허출원 제10/278,636호(2003년 10월 23일 출원)에 기술되어 있으며, 그 내용 전부는 참조에 의해 본 명세서에 편입된다. 물론, 이 기술분야의 당업자는, 예를 들어, 타이틀 정보, 아티스트, 그룹 정보, 콘서트 정보, 새로 공개된 정보, 및/또는 더 많은 정보에 대한 URL 링크와 같은 링크 등의 다른 타입의 데이터도 또한 오디오 피스와 연관될 수 있다는 것을 알아야 한다.

인덱싱 엔진(22)은 추출된 오디오 핑거프린트를, 핑거프린트 데이터베이스(26) 내의 후보 서브세트를 식별하기 위해 핑거프린트 분석 엔진(20)에 의해 사용될 수 있는 인덱스와 연관시킨다. 본 발명의 일 실시예에 따르면, 인덱스는 악곡에 포함되어 있는 주요한 음악 주석(prominent musical note)에 기초하여 생성될 수 있으며, 오디오 피스가 속하는 핑거프린트 데이터베이스(26) 내의 오디오 핑거프린트의 서브세트가 식별될 수 있다.

클래스 식별 엔진(24)은 특정한 음악 클래스에 속하는 오디오 피스의 서로 다른 세트에 대한 식별자를 생성한다. 본 발명의 일 실시예에 따르면, 특정한 음악 클래스 내의 오디오 피스는 전체 기악 편성/관현악 편성(instrumentation/orchestration)에 있어 유사한다. 예를 들어, 전형적인 음악 클래스는 재즈 피아노 트리오, 아카펠라, 어쿠스틱 기타, 어쿠스틱 피아노, 보컬이 있는 솔로 어쿠스틱 기타 등을 포함하여 식별될 수 있다 다양한 음악 클래스는 그 후, 특정한 음악 클래스에 대한 값들의 세트가 해당 음악 클래스에 오디오 피스가 얼마나 가깝고 또는 얼마나 먼지를 나타내는, 오디오 프로파일 벡터의 속성으로서 포함될 수 있다. 여러 음악 클래스에 대한 식별자 및 정보는 그런 다음 음악 클래스 데이터베이스(28)에 저장될 수 있다.

핑거프린트 데이터베이스(26)는 기지의 오디오 피스에 대한 복수의 핑거프린트를 저장한다. 핑거프린트는 오디오 피스에 포함된 음악 주석에 기초하여 분리된 서브세트(discrete subset)로 그룹화될 수 있다. 각 오디오 핑거프린트는 실제 오디오 파일, 오디오 프로파일 벡터, 오디오 피스의 설명(예를 들어, 타이틀, 아티스트 및/또는 그룹), 콘서트 오디오 프로파일 벡터, 새로 공개된 정보, 추가적인 데이터에 대한 URL 링크 등과 연관될 수 있다.

도 2는 본 발명의 일 실시예에 따른 오디오 핑거프린트를 생성하는 프로세스를 나타낸 흐름도이다. 프로세스는 단계 100에서 시작하여, 핑거프린트 추출 엔진(18) 또는 개별 푸리에 변환 엔진(도시하지 않음)이, 시간 영역(time domain)의 신호 파형을 주파수 영역의 신호로 변환하기 위해, 전처리된 오디오 피스의 오디오 신호에 대해 고속 푸리에 변환(Fast Fourier Transform, FFT) 등을 계산한다. 본 발명의 일 실시예에 따르면, FFT 분석은 후속 처리의 데이터 크기를 줄이기 위해 재샘플링된다.

FFT 계산에 기초하여, 핑거프린트 추출 엔진(18)은 단계 102에서 TxF 행렬 A를 생성하며, 여기서 T ≥ F 이다. 본 발명의 일 실시예에 따르면, 행렬의 행은 시간을 나타내고, 행렬의 열은 주파수 측정값을 나타내며, FFT의 빈(bin)이라고도 한다.

단계 104에서, 핑거프린트 추출 엔진(18)이 행렬 A에 대해 특이값 분해(Singular Value Decomposition, SVD)라고 알려진 널리 알려진 행렬 연산을 수행한다. 일반적인 용어로, 특이값 분해는 원래의 행렬은 다음과 같이 3개의 매트릭스의 적(product)으로 감소시키는 기술이다.

SVD (A) = USV^T

위 식에서, U는 TxF는 직교행렬(orthogonal matrix)이고, S는 양의 값 요소(positive valued element) 또는 영의 값 요소(zero valued element)를 갖는 FxF 대각선행렬(diagonal matrix)이며, V^T는 FxF 직교행렬의 전치행렬이다.

본 발명의 일 실시예에 따르면, V 전치된 것의 행(row)은 최대 편차(most variance)를 포착하는 좌표, 즉 S 행렬의 대각선 엔트리에 의해 측정될 때 중요성의 내림차순으로 오디오 피스에 대한 최대의 정보를 보유한다.

단계 106에서, 핑거프린트 추출 엔진(18)은 행렬 V^T에서 미리 정해진 개수의 행을 추출하고, 단계 108에서 추출된 행으로부터 핑거프린트 행렬을 생성한다. 단 계 110에서, 이 기술분야에서 종래 기술일 수 있는 임의의 방식으로, 핑거프린트 행렬을 오디오 피스와 연관시킴으로써 오디오 피스의 핑거프린트로서 설정된다.

단계 112에서, 핑거프린트 행렬은 데이터 저장소에 저장된다. 핑거프린트 추출인 등록을 목적으로 이루어졌다면, 데이터 저장소는 핑거프린트 데이터베이스(26)이다. 그렇지 않다면, 데이터 저장소는 등록된 핑거프린트와 비교하는 핑거프린트 분석 엔진(20)에 의한 나중의 검색을 위해 핑거프린트 행렬을 저장하는 임시 저장 장소이다.

종래 기술의 시스템에 의해 생성된 많은 오디오 핑거프린트와 달리, 특이값 분해(SVD) 연산(operation)에 의해 생성된 오디오 핑거프린트는, 그것과 연관된 시간 개념(notion of time)이 없다. 하지만, 이 기술분야의 당업자는, 시간이 특이값 분해(SVD) 연산에 의해 생성된 오디오 핑거프린트와 연관될 수 있음을 알아야 한다. 다시 말해, 도 2와 관련하여 설명한 오디오 핑거프린트를 생성하는 프로세스는, 특이값 분해(SVD) 연산에 의해 생성된 오디오 핑거프린트에 시간-인덱스를 할당하고, 윈도우(window)를 노래 전체 걸쳐 이동시키는 프로세스를 반복함으로써 시간 기반 오디오 핑거프린트 시스템으로 확장될 수 있다.

본 발명의 일 실시예에 따르면, 핑거프린트 추출 엔진(18)은 또한, 예를 들어 시간 인덱싱 핑거프린트 측정값을 얻는 스펙트럼 중심(spectral centroid) 또는 스펙트럼 편평도(spectral flatness)를 측정하는 것과 같은 종래의 핑거프린트 기술을 통합할 수도 있다. 만약 사용한다면, 이 측정 중 어느 하나 또는 양자의 결과는 특이값 분해(SVD) 연산에 의해 생성된 핑거프린트 행렬에 부가될 수 있다.

도 3은 본 발명의 일 실시예에 따른, 등록된 핑거프린트와의 대조를 위해 추출된 오디오 핑거프린트를 분석하는 핑거프린트 분석 엔진(20)에 의해 실행되는 프로세스를 나타낸 흐름도이다. 이 프로세스는 단계 200에서 시작하며, 핑거프린트 분석 엔진(20)은 핑거프린트 추출 엔진(18)으로부터 식별할 오디오 피스의 핑거프린트(핑거프린트 행렬 X)를 수신한다. 그런 다음, 핑거프린트 분석 엔진(20)은 핑거프린트 행렬 X를 갖는 핑거프린트 데이터베이스(26)에 대한 검색 루틴을 호출한다. 이와 관련하여, 핑거프린트 분석 엔진(20)은 단계 202에서, 핑거프린트 데이터베이스(DB)(26)에 비교할 핑거프린트 더 있는지 여부를 질의한다. 만약에 응답이 NO이면(비교할 핑거프린트가 없으면), 일치하는 것이 발견되지 않은 채로 데이터베이스 내의 모든 핑거프린트를 분석한 것이다. 이 시나리오는 단계 204에서, 핑거프린트 분석 엔진이 일치하는 것이 없다는 결과를 반환한다(불일치를 선언한다).

한편, 핑거프린트 데이터베이스에 분석되지 않은 핑거프린트가 더 있으면, 핑거프린트 분석 엔진(20)은 단계 206에서, 핑거프린트 행렬 X와 핑거프린트 데이터베이스(26) 내의 현재의 핑거프린트(핑거프린트 행렬 Y) 사이의 차를 계산한다. 본 발명의 일 실시예에 따르면, 상기 차는 핑거프린트 행렬 X 및 Y의 행 벡터 각각에 대해 잘 알려진 유클리드의 거리 측정값(Euclidian distance measure) D를 이용하여 다음과 같이 계산된다.

위 식에서, XI, X2,... Xm은 핑거프린트 행렬 X의 행 벡터의 값이고, Y1,Y2,... Ym은 핑거프린트 행렬 Y의 행 벡터의 값이다. 행렬들의 모든 행에 대한 거리 측정값은 합산되고, 본 발명의 일 실시예에 따르면, 정규화된다. 단계 208에서, 거리의 합이 임계값을 초과하는지 여부에 대한 판정이 이루어진다. 판정 결과 NO(즉, 초과하지 않으면) 일치를 선언하고, 그렇지 않으면 핑거프린트 데이터베이스 내의 다음 핑거프린트가 대조를 위해 검사된다.

본 발명의 일 실시예에 따르면, 종래의 핑거프린팅 기술을 또한 도입하며, 이 기술에 의해 생성된 시간 인덱싱 벡터는 대응하는 저장된 핑거프린트 벡터에 대한 거리를 측정하고, 적절한 상수(constant)에 의해 조정된다(scaled). 최종 (결과) 거리 계산은 단계 206에서 계산된 거리에 가산된다. 가중 인자(weighing factor)가 또한 특정한 기술로 수행한 거리 계산에 대해 보다 큰 또는 보다 작은 가중치(weight)를 제공하기 위해 도입될 수 있다. 총 거리 계산은 그런 다음 일치가 이루어졌는지를 결정하기 위해 임계값에 대해 테스트된다.

도 4는 본 발명의 다른 실시예에 따른, 등록된 핑거프린트와의 대조를 위해 추출된 오디오 핑거프린트를 분석하는 핑거프린트 분석 엔진(20)에 의해 실행되는 프로세스를 나타낸 흐름도이다. 본 발명의 일 실시예에 따르면, 이 프로세스는 단계 300에서 시작하며, 핑거프린트 분석 엔진(20)은 핑거프린트 추출 엔진(18)으로부터 식별할 오디오 피스의 핑거프린트(핑거프린트 행렬 X)를 수신한다. 핑거프린트 분석 엔진(20)은 단계 302에서 인덱싱 엔진(22)을 호출하여, 만약 추출된 핑거프린트와 일치하는 핑거프린트가 존재하면 그 후보를 포함하는 핑거프린트 데이터 베이스(26) 내의 핑거프린트 서브세트의 인덱스를 식별한다. 이와 관련하여, 인덱싱 엔진(22)은 추출된 핑거프린트에 대한 질의 인덱스(query index)를 생성한다. 발명의 일 실시예에 따르면, 인덱스는 4개의 순서가 없는(unordered) 숫자로 이루어지며, 임의의 순서로 질의 인덱스의 숫자와 3개가 동일한 인덱스가 핑거프린트 데이터베이스 내에 존재하면 일치하는 것으로 간주한다.

도 4의 나머지 프로세스는, 검색 공간이 일치하는 인덱스에 의해 식별된 핑거프린트의 서브세트로 한정되는 것을 제외하고는 도 3에서와 동일한 방식으로 계속된다.

이와 관련하여, 핑거프린트 분석 엔진(20)은 단계 304에서, 핑거프린트 데이터베이스(26)의 식별된 서브세트 중에서 비교할 핑거프린트가 더 있는지 여부를 묻는다. 응답이 NO이면(비교할 핑거프린트가 없으면) 핑거프린트 분석 엔진은 단계 306에서 일치하는 것이 없다는 결과를 반환한다(불일치 선언).

서브세트에 분석되지 않은 핑거프린트가 더 있으면, 핑거프린트 분석 엔진(20)은 단계 308에서, 핑거프린트 행렬 X와 서브세트 내의 현재의 핑거프린트(핑거프린트 행렬 Y) 사이의 차를 계산한다. 단계 310에서, 계산된 차가 임계값을 초과하는지 여부에 대한 판정이 이루어진다. 판정 결과 NO(즉, 차가 임계값을 초과하지 않으면) 일치를 선언하고, 그렇지 않으면 식별된 서브세트 내의 다음 핑거프린트가 대조를 위해 검사된다.

도 5는 본 발명의 일 실시예에 따른, 오디오 피스에 데이터베이스 인덱스를 할당하는 인덱싱 엔진(22)에 의해 실행되는 프로세스를 나타낸 흐름도이다. 데이 터베이스 인덱스는 핑거프린트 추출 엔진(18)에 의해 추출된 핑거프린트를 등록하거나 또는 추출된 핑거프린트와의 대조를 위해 핑거프린트 데이터베이스(26) 내의 검사가 필요한 후보를 줄이기 위해, 핑거프린트 데이터베이스(26) 내의 핑거프린트의 서브세트를 식별하는 데 사용된다.

도 5에 도시된 프로세스는 단계 400에서 시작하며, 인덱싱 엔진(22)이나 개별 푸리에 변환 엔진(도시하지 않음)이 프리프로세서(16)에 의해 전처리된 오디오 피스의 FFT 등을 계산하여, 오디오 피스에 대한 FFT 스펙트럼을 얻는다. 단계 402에서, 인덱싱 엔진(22)은 오디오 피스의 주석 리스(list of notes)를 자동으로 취즉한다. 주석의 리스트는 종래 기술에 존재하는 임의의 널리 알려진 피크 추적 알고리즘(peak-tracking algorithm)에 의해 취득된다.

피크 추적 알고리즘은 그것의 주요부(prominency)에 대해 인덱싱 엔진에 의해 나중에 분석되는 FFT 내의 로컬 피트(local peak)의 트랙(track)을 생성한다. 이와 관련하여, 인덱싱 엔진(22)은 단계 404에서 검사할 트랙이 더 있는지 여부를 결정한다. 만약 응답이 YES이면(검사할 트랙이 더 있으면), 엔진은 단계406에서 트랙의 주파수를 트랙의 주파수를 양자화하는 정수 값으로 변환한다. 본 발명의 일 실시예에 따르면, 이것은 트랙의 주파수를, 이 기술분야에 잘 알려진 방식으로 가장 근접한 MIDI(Musical Instrument Digital Interface) 주석 번호(note number)로 양자화함으로써 수행된다.

단계 408에서, 인덱싱 엔진(22)는 예를 들어 트랙의 세기(strength)와 지속 기간(duration)과 같은 인자에 기초하여 트랙의 주요 값(prominence value)을 계산 한다. 단계 410에서, 엔진은 계산된 주요 값을 트랙의 MIDI 주석와 연관시킨다. 단계 412에서, MIDI 주석의 주요 값은 주요 배열(prominence array)에 축적된다. 그런 다음, 프로세스는 다음 트랙의 분석을 위해 단계 404로 돌아간다.

더 이상 검사할 트랙이 없으면, 인덱싱 엔진(22)은 단계 414에서 최고 주요 값을 갖는 주요 배열 내의 MIDI 주석 번호를 핑거프린트 데이터베이스(26) 내의 서브세트와 연관 인덱스로서 출력한다. 본 발명의 일 실시예에 따르면, 초고 주요 값을 갖는 4개의 MIDI 주석 번호가 인덱스를 위해 선택된다. 본 발명의 일 실시예에 따르면, 인덱스는 4개의 순서가 없는 숫자로 구성되며, 그 숫자는 선택된 MIDI 주석 번호가며, 인덱스를 위해 총 24개의 가능한 조합을 나타낸다.

도 6은 본 발명의 일 실시예에 따른, 특정한 음악 클래스에 대한 식별자를 생성하는 프로세스를 나타낸 흐름도이다. 도 6은 비록 음악 클래스에 관해 기재되어 있지만, 이 기술분야의 당업자는 이 프로세스는 이 분야의 종래 기술일 수 있는 모든 타입의 오디오 및 오디오 클래스로 확장된다는 것을 알아야 한다.

프로세스는 단계 500에서 시작하여, 음악 클래스에 속하는 오디오 피스(노래) 세트를 선택한다. 악곡의 선택은 수동 또는 자동일 수 있다.

단계 502에서, 클래스 식별 엔진(24)이 세트 내의 오디오 피스 각각에 대한 핑거프린트를 계산한다. 본 발명의 일 실시예에 따르면, 클래스 식별 엔진(24)은 핑거프린트 추출 엔진(18)의 호출하여 특이값 분해(SVD) 연산에 의해 핑거프린트를 계산한다. 다른 핑거프린트 메커니즘도 또한 특이값 분해(SVD) 연산 핑거프린트 메커니즘 대신 및/또는 추가로 사용될 수 있다.

단계 504에서, 클래스 식별 엔진(24)은 세트에 대해 생성된 핑거프린트의 평균을 계산한다. 이와 관련하여, 클래스 식별 엔진(24)은 세트 내의 모든 오디오 피스에 대한 거리 측정을 최소화하는 클래스 ID 행렬이라고 하는 행렬을 이 기술분야에 잘 알려진 방법으로 계산한다.

단계 506에서, 클래스 ID 행렬로 표현된 핑거프린트의 계산된 평균은 음악 클래스와 연관이 있으며, 단계 508에서 음악 클래스에 관한 다른 정보와 함께 그 식별자로서 음악 클래스 데이터베이스(28)에 저장된다. 이러한 부가 정보는, 예를 들어 해당 클래스에 속하는 오디오 피스의 리스트, 해당 클래스에 속하는 오디오 피스의 오디오 핑거프린트의 핑거프린트 데이터베이스(26)에 대한 링크, 해당 클래스에 속하는 오디오 피스를 위한 오디오 프로파일 벡터에 대한 링크 등을 포함할 수 있다.

일단 음악 클래스에 대한 식별자가 생성되었으면, 오디오 피스가 특정한 음악 클래스에 얼마나 가까운지 또는 먼지를 결정하기 위한 계산을 할 수 있다. 예를 들어, 이것은 오디오 피스의 추출된 핑거프린트와 특정 음악 클래스의 클래스 ID 행렬 사이의 거리를 계산함으로써 이루어질 수 있다.

본 발명의 일 실시예에 따르면, 여러 음악 클래스가 오디오 피스의 오디오 프로파일 벡터의 속성으로서 사용된다. 거리 계산은, 오디오 피스가 연관된 음악 클래스에 얼마나 가까운지에 대한 표시로서 속성 각각에 대해 오디오 프로파일 벡터로 저장된다.

도 7은 본 발명의 일 실시예에 따른 도 1의 오디오 핑거프린팅 시스템을(10) 사용하는 하나 이상의 기기를 구비하는 컴퓨터 네트워크의 블록도이다. 네트워크는 예를 들어 인터넷(610)과 같은 공중(public) 또는 사설(paivate) 네크워크를 통해 하나 이상의 최종 단말기(end terminal)(602-608)에 연결되어 있는 서버(600)를 포함한다. 최종 단말기는 개인용 컴퓨터(PC)(602), 개인용 휴대 단말기(personal digital assistant, PDA)(604), 랩톱(606), 무선 기기(608), 및/또는 이 기술분야에 알려져 있는 기타 다른 타입의 고정 또는 이동 단말기의 형태를 취할 수 있다.

본 발명의 일 실시예에 따르면, 오디오 핑거프린팅 시스템(10)은 서버(600)에 상주한다. 서버(600) 및/또는 최종 단말기(602-608)는 또한 오디오 피스를 자동으로 분석하여 오디오 프로파일 벡터를 생성하기 위해, 미국특허출원 제10/278,636호에 개시된 음악 프로파일러(music profiler)를 포함할 수도 있다. 서버(600) 및/또는 최종 단말기(602-608)에 포함된 하나 이상의 프로세서는 또 사용자의 선호도에 기초하여 사용자에게 오디오 피스를 추천하기 위한 추가적인 기능성(functionality)을 갖도록 구성될 수 있다. 이러한 기능성은 오디오 데이터베이스 내의 오디오 피스와 연관된 복수의 속성을 정량화하는 오디오 프로파일 벡터의 생성/검색, 그리고 사용자의 프로파일 벡터에 기초하여 오디오 데이터베이스로부터 오디오 피스의 선택을 포함한다.

오디오 핑거프린팅 시스템(10)의 전형적인 사용에 있어, 사용자는 연관된 설명 정보(descriptive information)가 없는 노래를 평가한다. 사용자가 평하고자 하는 노래 전곡을 전송하는 대신에, 노래의 핑거프린트를 평가 정보(rating information)와 함께 전송한다. 이에 대해, 사용자가 사용하는 최종 단말기는 서 버(600)에 접속하여 핑거프린트 추출 엔진(18)의 인스턴스(instance)를 메모리(도시하지 않음)로 다운로드한다. 핑거프린트 추출 엔진(18)은 평가되는 오디오 피스의 핑거프린트를 추출하기 위해 호출된다. 추출된 핑거프린트는 인터넷(610)을 통해 서버(600)로 전송된다.

추출된 오디오 핑거프린트를 받으면, 서버(600)는 핑거프린트 분석 엔진(20)을 호출하여 수신된 핑거프린트가 핑거프린트 데이터베이스(26)에 등록되어 있는지 여부를 결정한다. 등록되어 있으면, 서버는 해당 핑거프린트와 연관된 오디오 프로파일 벡터를 검색하고, 미국특허출원 제10/278,636호에 더욱 자세하게 기재되어 있는 것처럼, 그것을 사용하여 사용자에 대한 사용자 프로파일 벡터를 갱신 또는 생성한다. 사용자 프로파일 벡터는 그 후 사용자에게 다른 노래를 추천하기 위해 사용된다.

한편 등록되어 있지 않으면, 미국특허출원 제10/278,636호에 더욱 자세하게 기재되어 있는 것처럼, 오디오 프로파일 벡터를 생성하기 위해, 바람직하게는 최종 단말기에 의해 오디오 피스가 분석된다.

본 발명의 일 실시예에 따르면, 최종 단말기는 또한 평가되는 오디오 피스가 속하는 핑거프린트의 서브세트의 인덱스를 결정하기 위해 인덱싱 엔진(22)의 인스턴스를 다운로드할 수 있다. 또한 인덱싱 정보는 그 후 핑거프린트 데이터베이스(26)의 검색을 촉진시키기 위해 핑거프린트 정보와 함께 서버(600)로 전송된다.

본 발명은 특정한 실시예로 설명하였지만, 이 기술분야의 당업자라면 본 발명의 사상 및 범위를 벗어나지 않으면서 기술된 실시예에 대한 변형예를 어려움 없 이 고안할 수 있을 것이다. 또한, 여러 기술 분야의 당업자라면, 여기서의 본 발명 그 자체가 다른 과제 및 다른 애플리캐이션의 개조에 대한 해법을 제안할 것이다.

예를 들어, 오디오 핑거프린팅 시스템(10)은 위의 애플리케이션들과 오디오 프로파일 벡터를 생성하기 위한 오디오 피스의 인식을 넘는 애플리케이션을 가질 수 있다. 예를 들어, 오디오 핑거프린팅 시스템(10)은 미지의 음악 악곡의 연관된 설명 데이터(메타데이터, metadata)를 찾기 위해 사용될 수 있다. 오디오 핑거프린팅 시스템(10)은 또한 예정된 광고 차례(advertisement spot)의 조회, 방송 자료에 대한 작곡가의 로얄티(royalty) 보호, 또는 프로그램 자료의 통계적인 분석을 위해, 방송국에 대해 전송된 오디오 프로그램 자료(material)를 식별하고, 프로토콜에 따라 처리한다.

출원인은 본 발명의 모든 용도 및 본 발명의 사상과 범위를 벗어나지 않으면서 공개를 목적으로 여기에서 선택된 본 발명의 실시예로 구현할 수 있는 그 변경 및 변형도 또한 청구범위에 의해 본 발명에 포함시키고자 의도한다. 따라서, 본 발명의 실시예는 모든 점에서 한정적인 것이 아니라 예시적인 것으로 생각되어야 하며, 본 발명의 범위 전술한 설명에 의해서가 아니라 첨부된 청구범위와 그 등가물에 의해 나타난다.

Claims

컴퓨터로 구현되는 오디오 핑거프린팅 방법으로서,

오디오 피스(audio piece)과 연관된 오디오 신호를 수신하는 단계;

상기 오디오 신호에 대한 복수의 주파수 측정값을 취득하는 단계;

상기 주파수 측정값에 기초하여 N x M의 행렬 A를 만드는 단계;

상기 행렬 A에 대해 특이값 분해 (singular value decomposition, SVD)를 수행하여 오디오 핑거프린트를 생성하는 단계[단, SVD(A) = USV^T)이고, U는 N x M 직교행렬이며, S는 M x M 대각선행렬이고, V^T는 M x M 직교행렬의 전치행렬임];

행렬 V^T의 하나 이상의 행(row)을 검색하는 단계; 및

상기 검색된 행렬 V^T의 행을 상기 오디오 피스와 연관시켜, 상기 오디오 피스의 상기 오디오 핑거프린트로서 데이터 저장소(data store)에 저장하는 단계

를 포함하며,

애플리케이션 프로그램에 의해 상기 검색된 행렬 V^T의 행을 포함하는 요청이 수신되고, 상기 요청 내의 상기 행렬 V^T의 행에 기초하여 데이터베이스에 저장된 오디오 피스에 대한 정보가 식별되고 검색되는 것을 특징으로 하는 오디오 핑거프린팅 방법.
제1항에 있어서,

상기 행렬 A의 행은 시간을 나타내고, 상기 행렬 A의 열(column)은 상기 주 파수 측정값을 나타내는 것을 특징으로 하는 오디오 핑거프린팅 방법.
제1항에 있어서,

상기 정보는 상기 오디오 피스의 음향 분석 데이터(acoustic analysis data)를 저장하는 오디오 프로파일 벡터(audio profile vector)인 것을 특징으로 하는 오디오 핑거프린팅 방법.
제3항에 있어서,

상기 음향 분석 데이터에 기초하여 제2 오디오 피스를 추천하는 단계를 더 포함하는 오디오 핑거프린팅 방법.
제3항에 있어서,

상기 오디오 프로파일 벡터는 특정 오디오 클래스(audio class)로 분류된 오디오 피스들에 대한 상기 오디오 피스의 유사도(degree of similarity)를 정량화하는 것을 특징으로 하는 오디오 핑거프린팅 방법.
제5항에 있어서,

상기 특정 오디오 클래스에 대한 식별자(identifier)를 생성하는 단계를 더 포함하며,

상기 생성하는 단계는,

상기 특정 오디오 클래스와 연관된 오디오 피스를 선택하는 단계;

선택된 오디오 피스 각각에 대해 제2 오디오 핑거프린트를 계산하는 단계;

상기 계산된 제2 오디오 핑거프린트의 평균을 계산하는 단계;

상기 계산된 평균을 상기 특정 오디오 클래스와 연관시키는 단계; 및

상기 계산된 평균을 상기 특정 오디오 클래스의 식별자로서 데이터 저장소에 저장하는 단계

를 포함하는

오디오 핑거프린팅 방법.
제6항에 있어서,

상기 제2 오디오 핑거프린트를 계산하는 단계는,

상기 선택된 오디오 피스과 연관된 특정한 오디오 신호로부터 복수의 주파수 측정값을 취득하는 단계;

상기 주파수 측정값에 기초하여 N x M의 행렬 A'를 만드는 단계;

상기 행렬 A'에 대해 특이값 분해(SVD)를 수행하는 단계[단, SVD(A') = U'S'V'^T')이고, U'는 N x M 직교행렬이며, S'는 M x M 대각선행렬이고 V^T'는 M x M 직교행렬의 전치행렬임];

행렬 V^T'의 하나 이상의 행을 검색하는 단계; 및

상기 검색된 행렬 V^T'의 행을 상기 선택된 오디오 피스과 연관시키는 단계를 포함하는 오디오 핑거프린팅 방법.
제1항에 있어서,

상기 오디오 피스의 인덱스(index)를 생성하는 단계를 더 포함하며,

상기 생성하는 단계는,

상기 오디오 피스와 연관된 오디오 신호로부터 상기 오디오 피스에 포함되어 있는 음악 주석의 리스트(list of musical notes)를 자동으로 취득하는 단계;

상기 오디오 신호로부터 상기 오디오 피스 내의 음악 주석의 주요도(prominence)를 결정하는 단계; 및

상기 오디오 피스 내에서 미리 결정된 수의 가장 주요한 음악 주석을 상기 인덱스로서 선택하는 단계를 포함하는 것을 특징으로 하는 오디오 핑거프린팅 방법.
제8항에 있어서,

상기 데이터베이스에 저장된 데이터는 하나 이상의 그룹으로 구성되고, 각 그룹은 특정 인덱스에 의해 식별되는 것을 특징으로 하는 오디오 핑거프린팅 방법.
제9항에 있어서,

상기 오디오 피스의 정보에 대한 상기 데이터베이스 검색은 상기 생성된 인덱스에 의해 식별된 그룹으로 제한되는 것을 특징으로 하는 오디오 핑거프린팅 방법.
컴퓨터로 구현되는 오디오 핑거프린팅 시스템으로서,

오디오 피스를 저장하고 있는 오디오 파일을 판독하는 오디오 파일 리더( reader);

상기 오디오 파일 리더에 연결되어 있고, 상기 오디오 피스과 연관된 오디오 신호의 복수의 주파수 측정값을 취득하며, 상기 행렬 A에 대해 특이값 분해(SVD)를 수행하여 오디오 핑거프린트를 생성하고[단, SVD(A) = USV^T)이고, U는 N x M 직교행렬이며, S는 N x M 대각선행렬이고, V^T는 N x M 직교행렬의 전치행렬임], 행렬 V^T의 하나 이상의 행을 검색하도록 구성되어 있는 프로세서;

상기 프로세서에 연결되어 있고, 상기 검색된 행렬 V^T의 행을 상기 오디오 피스과 연관시켜, 상기 오디오 피스의 상기 오디오 핑거프린트로서 저장하는 데이터 저장소; 및

복수의 오디오 피스에 대한 정보를 저장하는 데이터베이스

를 포함하며,

애플리케이션 프로그램에 의해 상기 검색된 행렬 V^T의 행을 포함하는 요청이 수신되고, 상기 요청 내의 상기 행렬 V^T의 행에 기초하여 데이터베이스에 저장된 오디오 피스에 대한 정보가 식별되고 검색되는 것을 특징으로 하는 오디오 핑거프린팅 시스템.
제11항에 있어서,

상기 행렬 A의 행은 시간을 나타내고, 상기 행렬 A의 열은 상기 주파수 측정값을 나타내는 것을 특징으로 하는 오디오 핑거프린팅 시스템.
제11항에 있어서,

상기 정보는 상기 오디오 피스의 음향 분석 데이터를 저장하는 오디오 프로파일 벡터인 것을 특징으로 하는 오디오 핑거프린팅 시스템.
제13항에 있어서,

상기 오디오 프로파일 벡터는 특정 오디오 클래스로 분류된 오디오 피스들에 대한 상기 오디오 피스의 유사도를 정량화하는 것을 특징으로 하는 오디오 핑거프린팅 시스템.
제14항에 있어서,

상기 프로세서는 특정 오디오 클래스에 대한 식별자를 생성하도록 더 구성되어 있으며,

상기 식별자의 생성은,

상기 특정 오디오 클래스와 연관된 오디오 피스를 선택하고,

선택된 오디오 피스 각각에 대해 제2 오디오 핑거프린트를 계산하며,

상기 계산된 제2 오디오 핑거프린트의 평균을 계산하고,

상기 계산된 평균을 상기 특정 오디오 클래스와 연관시키며,

상기 계산된 평균을 상기 특정 오디오 클래스의 식별자로서 데이터 저장소에 저장하는 것을 포함하는 오디오 핑거프린팅 시스템.
제15항에 있어서,

상기 제2 오디오 핑거프린트의 계산은,

상기 선택된 오디오 피스과 연관된 특정 오디오 신호로부터 복수의 주파수 측정값을 취득하고,

상기 주파수 측정값에 기초하여 N x M의 행렬 A'를 만들며,

상기 행렬 A'에 대해 특이값 분해(SVD)를 수행하고[단, SVD(A') = U'S'V'^T')이고, U'는 N x M 직교행렬이며, S'는 M x M 대각선행렬이고 V^T'는 M x M 직교행렬의 전치행렬임],

행렬 V^T'의 하나 이상의 행을 검색하며,

상기 검색된 행렬 V^T'의 행을 상기 선택된 오디오 피스과 연관시키는 것을 포함하는 오디오 핑거프린팅 시스템.
제11항에 있어서,

상기 프로세서는 상기 오디오 피스의 인덱스를 생성하도록 더 구성되어 있으며,

상기 인덱스의 생성은,

상기 오디오 피스와 연관된 오디오 신호로부터 상기 오디오 피스에 포함되어 있는 음악 주석의 리스트를 자동으로 취득하고,

상기 오디오 신호로부터 상기 오디오 피스 내의 음악 주석의 주요도를 결정하며,

상기 오디오 피스 내에서 미리 결정된 수의 가장 주요한 음악 주석을 상기 인덱스로서 선택하는 것을 포함하는 오디오 핑거프린팅 시스템.
제17항에 있어서,

상기 데이터베이스에 저장된 데이터는 하나 이상의 그룹으로 구성되고, 각 그룹은 특정 인덱스에 의해 식별되는 것을 특징으로 하는 오디오 핑거프린팅 시스템.
제18항에 있어서,

상기 오디오 피스의 정보에 대한 상기 데이터베이스 검색은 상기 생성된 인덱스에 의해 식별된 그룹으로 제한되는 것을 특징으로 하는 오디오 핑거프린팅 시스템.
제11항에 있어서,

상기 프로세서는 음향 분석 데이터에 기초하여 제2 오디오 피스를 추천하도록 더 구성되어 있는 것을 특징으로 하는 오디오 핑거프린팅 시스템.
클라이언트 기기(client device)로부터 오디오 피스(audio piece)의 오디오 핑거프린트를 수신하는 단계;

대조(match)를 위해, 상기 수신된 오디오 핑거프린트를 복수의 저장된 오디오 핑거프린트와 비교하는 단계;

상기 수신된 오디오 핑거프린트가 상기 저장된 오디오 핑거프린트 중 특정 하나의 오디오 핑거프린트에 대응하는지 여부를 결정하는 단계;

만일 상기 수신된 오디오 핑거프린트가 상기 저장된 오디오 핑거프린트 중 특정 하나의 오디오 핑거프린트에 대응한다면, 상기 저장된 오디오 핑거프린트 중 상기 특정 하나의 오디오 핑거프린트에 연관되어 저장된 오디오 피스의 오디오 프로파일 벡터(audio profile vector)를 검색하는 단계; 및

상기 검색된 오디오 프로파일 벡터와 연관되어 저장된 정보를 상기 클라이언트 기기에 전송하는 단계

를 포함하고

상기 오디오 프로파일 벡터는 상기 오디오 피스의 N개의 음향 속성(acoustic attribute)을 정량화하는(quantifying) N개의 수치 값(numerical value)을 포함하며,

상기 N은 N>0인,

오디오 인식 방법.
오디오 피스의 오디오 핑거프린트를 수신하는 단계;

대조를 위해, 상기 수신된 오디오 핑거프린트를 복수의 저장된 오디오 핑거프린트와 비교하는 단계;

상기 오디오 핑거프린트의 대조에 응답하는 오디오 피스를 식별하는 단계; 및

상기 식별된 오디오 피스와 연관되어 저장된 정보를 검색하는 단계를 포함하고,

상기 오디오 핑거프린트는 N x M의 행렬 A에 대한 특이값 분해(SVD)에 의해 생성된 행렬 V^T의 표현(representation)이고[단, SVD(A) = USV^T이고, U는 N x M 직교행렬이며, S는 M x M 대각선행렬이고, V^T는 M x M 직교행렬의 전치행렬임],

상기 행렬 A는 오디오 피스과 연관된 오디오 신호에 대한 복수의 주파수 측정값에 기초하여 만들어지는 것을 특징으로 하는,

오디오 인식 방법.
제22항에 있어서,

상기 행렬 A의 행은 시간을 나타내고, 상기 행렬 A의 열은 상기 주파수 측정값을 나타내는 것을 특징으로 하는, 오디오 인식 방법.
제21항에 있어서,

상기 오디오 프로파일 벡터는 상기 오디오 피스의 오디오 신호의 자동 처리(automatic process)에 기초하여 생성되는, 오디오 인식 방법.
제21항에 있어서,

상기 음향 프로파일 벡터에 포함된 복수의 상기 음향 속성 중 하나는 특정 오디오 클래스에 연관되며,

상기 수치 값은 상기 오디오 피스로부터 상기 오디오 클래스까지의 거리를 가리키는,

오디오 인식 방법.
제25항에 있어서,

상기 오디오 클래스는 오디오 클래스 핑거프린트에 기초하여 식별되며, 상기 오디오 클래스 핑거프린트는 상기 오디오 클래스와 연관된 오디오 피스의 오디오 핑거프린트의 평균인,

오디오 인식 방법.
제21항에 있어서,

상기 복수의 저장된 오디오 핑거프린트의 서브세트에 대한 인덱스를 식별하는 단계; 및

상기 대조를 위해 상기 식별된 서브세트를 검색하는 단계를 더 포함하며,

상기 인덱스는 상기 서브세트 내의 상기 오디오 핑거프린트에서 가장 주요한 것으로 결정된 복수의 음악 주석을 식별하는 것인 오디오 인식 방법.
복수의 오디오 피스에 대한 복수의 오디오 핑거프린트를 저장하는 제1 데이터 저장소;

클라이언트 기기로부터 특정 오디오 피스의 오디오 핑거프린트를 수신하기 위한 수단;

대조를 위해, 상기 수신된 오디오 핑거프린트를 상기 복수의 저장된 오디오 핑거프린트와 비교하기 위한 수단;

상기 수신된 오디오 핑거프린트가 상기 저장된 오디오 핑거프린트 중 특정 하나의 오디오 핑거프린트에 대응하는지 여부를 결정하기 위한 수단;

만일 상기 수신된 오디오 핑거프린트가 상기 저장된 오디오 핑거프린트 중 특정 하나의 오디오 핑거프린트에 대응한다면, 상기 저장된 오디오 핑거프린트 중 상기 특정 하나의 오디오 핑거프린트에 연관되어 저장된 오디오 피스의 오디오 프로파일 벡터를 검색하기 위한 수단; 및

상기 검색된 오디오 프로파일 벡터와 연관되어 저장된 정보를 상기 클라이언트 기기에 전송하기 위한 수단

을 포함하고,

상기 오디오 프로파일 벡터는 상기 오디오 피스의 N개의 음향 속성을 정량화하는 N개의 수치 값을 포함하며,

상기 N은 N>0인,

오디오 인식 시스템.
복수의 오디오 피스에 대한 복수의 오디오 핑거프린트를 저장하는 제1 데이터 저장소;

특정 오디오 피스의 오디오 핑거프린트를 수신하기 위한 수단;

대조를 위해, 상기 수신된 오디오 핑거프린트를 상기 복수의 저장된 오디오 핑거프린트와 비교하기 위한 수단;

상기 오디오 핑거프린트의 대조에 응답하는 오디오 피스를 식별하기 위한 수단; 및

상기 식별된 오디오 피스와 연관되어 저장된 정보를 검색하기 위한 수단

을 포함하고,

상기 오디오 핑거프린트는 N x M의 행렬 A에 대한 특이값 분해(SVD)에 의해 생성된 행렬 V^T의 표현이고[단, SVD(A) = USV^T)이고, U는 N x M 직교행렬이며, S는 M x M 대각선행렬이고, V^T는 M x M 직교행렬의 전치행렬임],

상기 행렬 A는 오디오 피스과 연관된 오디오 신호에 대한 복수의 주파수 측정값에 기초하여 만들어지는 것을 특징으로 하는 오디오 인식 시스템.
제29항에 있어서,

상기 행렬 A의 행은 시간을 나타내고, 상기 행렬 A의 열은 상기 주파수 측정값을 나타내는 것을 특징으로 하는 오디오 인식 시스템.
제28항에 있어서,

상기 저장된 오디오 핑거프린트 중 특정 하나의 오디오 핑거프린트에 연관하여 상기 오디오 프로파일 벡터를 저장하는 제2 데이터 저장소를 더 포함하며,

상기 오디오 프로파일 벡터는 상기 오디오 피스의 오디오 신호의 자동 처리에 기초하여 생성되는,

오디오 인식 시스템.
제31항에 있어서,

상기 오디오 프로파일 벡터에 포함된 복수의 상기 음향 속성 중 하나는 특정 오디오 클래스에 연관되며,

상기 수치 값은 상기 오디오 피스로부터 상기 오디오 클래스까지의 거리를 가리키는,

오디오 인식 시스템.
제32항에 있어서,

상기 오디오 클래스는 오디오 클래스 핑거프린트에 기초하여 식별되고,

상기 오디오 클래스 핑거프린트는 상기 오디오 클래스와 연관된 오디오 피스의 오디오 핑거프린트의 평균인,

오디오 인식 시스템.
제28항에 있어서,

상기 복수의 저장된 오디오 핑거프린트의 서브세트에 대한 인덱스를 식별하기 위한 수단; 및

상기 대조를 위해 상기 식별된 서브세트를 검색하기 위한 수단을 더 포함하며,

상기 인덱스는 상기 서브세트 내의 상기 오디오 핑거프린트에서 가장 주요한 것으로 결정된 복수의 음악 주석을 식별하는 것인 오디오 인식 시스템.
제21항에 있어서,

만일 상기 저장된 오디오 핑거프린트 중 어느 것도 상기 수신된 오디오 핑거프린트에 대응하지 않는다면, 상기 클라이언트 기기를 자극하여(invoke) 상기 오디오 피스의 상기 오디오 프로파일 벡터를 생성하는,

오디오 인식 방법.
제21항에 있어서,

상기 수신된 오디오 핑거프린트 및 상기 저장된 오디오 핑거프린트는 각각 벡터들로 이루어진 행렬로 표현되는(represent), 오디오 인식 방법.
제36항에 있어서,

만일 상기 수신된 오디오 핑거프린트를 표현하는 행렬과 상기 저장된 오디오 핑거프린트 중 특정 하나의 오디오 핑거프린트를 표현하는 행렬간의 거리 계산(distance computation)의 결과값이 임계 거리(threshold distance)를 만족하는 단일 스칼라 거리 값(single scalar distance value)이라면, 상기 수신된 오디오 핑거프린트는 상기 저장된 오디오 핑거프린트 중 특정 하나의 오디오 핑거프린트에 대응하는,

오디오 인식 방법,
제21항에 있어서,

상기 클라이언트 기기로 전송된 상기 정보는 상기 수신된 오디오 프로파일 벡터인, 오디오 인식 방법.
제21항에 있어서,

상기 오디오 프로파일 벡터를 기초로 하여 음악 아이템(music item)을 추천하는 단계를 더 포함하는, 오디오 인식 방법.
제21항에 있어서,

상기 수신된 오디오 핑거프린트와 함께 상기 클라이언트 기기로부터 사용자 평가(user rating)을 수신하는 단계;

상기 사용자 평가 및 상기 검색된 오디오 프로파일 벡터를 기초로 하여 사용자 선호도 정보(user preference information)를 수정(modifying)하는 단계; 및

상기 사용자 선호도 정보를 기초로 하여 음악 아이템을 추천하는 단계

를 더 포함하는, 오디오 인식 방법.
제26항에 있어서,

상기 오디오 피스로부터 상기 오디오 클래스까지의 거리를 가리키는 상기 수치 값은 상기 수신된 오디오 핑거프린트 및 상기 오디오 클래스 핑거프린트의 거리 계산을 기초로 하여 결정되는,

오디오 인식 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제