KR20050061594A - 개선된 오디오 데이터 지문 검색 - Google Patents

개선된 오디오 데이터 지문 검색 Download PDF

Info

Publication number
KR20050061594A
KR20050061594A KR1020057007618A KR20057007618A KR20050061594A KR 20050061594 A KR20050061594 A KR 20050061594A KR 1020057007618 A KR1020057007618 A KR 1020057007618A KR 20057007618 A KR20057007618 A KR 20057007618A KR 20050061594 A KR20050061594 A KR 20050061594A
Authority
KR
South Korea
Prior art keywords
fingerprint
block
fingerprint block
blocks
database
Prior art date
Application number
KR1020057007618A
Other languages
English (en)
Inventor
잽 아. 하이츠마
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050061594A publication Critical patent/KR20050061594A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming

Abstract

각각이 정보 신호의 적어도 일부를 나타내는 입력 지문 블록들의 세트를 각각의 정보 신호를 확인하는 데이터 베이스 안에 저장된 지문과, 매치시키기 위한 방법들 및 장치들이 개시되었다. 상기 방법은 입력 지문 블록(10)의 세트의 제 1 지문 블록을 선택하는 단계, 선택된 지문 블록(20, 40)에 매치되는 데이터 베이스 안의 적어도 하나의 지문 블록을 찾는 단계를 포함한다. 그런 후, 추가의 지문 블록은, 제 1 의 선택된 지문 블록으로부터 미리 결정된 위치에서, 입력 블록(60)의 세트로부터 선택된다. 그러면, 대응하는 지문 블록은 데이터 베이스 안의 찾아진 지문 블록(70)에 상대적으로 동일한 미리 결정된 위치에 위치하고, 위치가 찾아진 지문 블록이 선택된 추가의 지문 블록(80)에 매치되는 지가 결정된다.

Description

개선된 오디오 데이터 지문 검색{IMPROVED AUDIO DATA FINGERPRINT SEARCHING}
본 발명은 하나의 지문을 데이터 베이스에 저장된 지문과 매칭하는데 적절한 방법 및 기구에 관한 것이다.
해쉬 기능은 흔히 암호학의 세계에서 사용되는데, 이들 해쉬 기능은 방대한 데이터를 요약하고 입증하기 위해 사용된다. 예를 들어, MIT(메사추세츠 공과 대학)의 알 엘 리베스트 교수에 의해 개발된, MD5 알고리즘은 임의의 길이의 입력 메시지를 가지고, 출력으로서 입력의 128-비트 "지문", "사인" 또는 "해쉬"를 만든다. 두 개의 다른 메시지가 동일한 지문을 가지는 것은 통계학적으로 매우 희박할 것으로 추측된다. 결과적으로, 그러한 암호학 지문 알고리즘은 데이터 완전성을 입증하는데 유용한 방법이다.
많은 애플리케이션에서, 오디오 및/또는 비디오 콘텐트를 포함하는, 멀티미디어 신호의 확인은 바람직하다. 하지만, 멀티미디어 신호는 흔히 다양한 파일 포맷으로 전송될 수 있다. 예를 들어, 몇 가지 다른 파일 형식은 다양한 압축이나 품질 레벨 뿐 만 아니라, WAV, MP3, 및 윈도우 미디아와 같은, 오디오 파일에 대해 존재한다. MD5와 같은 암호학 해쉬는 이진 데이터 포맷에 근거하여, 동일한 멀티미디어 콘텐트의 다른 파일 포맷에 대한 다른 지문 값을 제공할 것이다. 이것은 암호학 해쉬가, 동일한 콘텐트의 다른 품질 버전이 동일한 해쉬 또는 적어도 비슷한 해쉬를 만드는 것이 요구되는 멀티미디어 데이터를 요약하는데 부적절하게 한다. 왜냐하면, 이다. 멀티미디어 콘텐트의 해쉬는 (예를 들어, 잽 하이츠마, 톤 칼커 및 잡 오스트벤에 의한, 2001년 9월, 이탈리아, 브레시아, 콘텐트 기반 멀티미디어 인텍싱 2001, "콘텐트 확인을 위한 로버스트 오디오 해쉬"에서) 로버스트 해쉬로 불려졌지만, 이제는 흔히 멀티미디어 지문으로 불려진다.
(프로세싱이 수용할 만한 콘텐트의 품질을 유지하는 한) 데이터 프로세싱에 대해 상대적으로 불변하는 멀티미디어 콘텐트의 지문은 로버스트 요약, 로버스트 사인, 로버스트 지문, 인지적 또는 로버스트 해쉬로 불려진다. 로버스트 지문은 사람의 청각 시스템(HAS) 및/또는 사람의 시각 시스템(HVS)에 의해 인식되는 오디오-비디오 콘텐트의 인지적으로 필수적인 부분들을 포착한다.
멀티미디어 지문의 하나의 정의는 멀티미디어 콘텐트의 모든 기본적 시간-단위와 HAS/HVS에 의해 인식되는 콘텐트 유사성에 대하여 연속적인 반-고유의 비트-시퀀스(semi-unique bit-sequence)를 연관시키는 기능이다. 다른 말로, 만약 HAS/HVS가 두 부분의 오디오, 비디오 또는 영상을 매우 비슷한 것으로 확인한다면, 연관된 지문들 또한 매우 비슷해야한다. 특히, 원래 콘텐트의 지문과 압축된 콘텐트는 비슷해야 한다. 다른 한편으로, 만약 두 개의 신호가 실제로 다른 콘텐트를 나타낸다면, 로버스트 지문은 두 개의 신호(반-고유)를 구분할 수 있어야 한다. 결과적으로, 멀티미디어 지문 방법은 콘텐트 확인을 가능하게 하고, 이것은 많은 애플리케이션에 대한 기반이다.
예를 들어, 하나의 애플리케이션에 있어서, 수많은 멀티미디어 객체들의 지문들은, 각 객체의 연관된 메타-데이터와 함께, 데이터 베이스 안에 저장된다. 메타-데이터는, 객체 콘텐트에 관한 정보라기 보다는, 일반적으로 객체에 관한 정보이다. 예를 들어, 만약 객체가 노래 한 곡의 오디오 클립이라면, 메타-데이터는 노래 제목, 가수, 작곡가, 앨범, 클립의 길이 및 노래 안의 클립의 위치를 포함할 수 있다.
전형적으로, 하나의 지문 값 또는 용어는 완전한 멀티미디어 신호의 전체에 대해 계산되지 않는다. 대신, 수많은 지문들(이후에, 하부-지문이라 지칭함)이 멀티미디어 신호의 각각의 수많은 부분에 대해서 계산된다. 예를 들어, 하부-지문은 각각의 영상 프레임(또는 영상 프레임의 일분), 또는 오디오 트랙의 시간 슬라이스에 대해서 계산된다. 결과적으로, 노래와 같은 오디오 트랙의 지문은 단순히 하부-지문의 목록이다.
지문-블록은 정보 소스(예를 들어, 노래)를 안정적으로 확인하기에 충분한 정보를 포함하는 하부-지문들(전형적으로 256)의 시퀀스이다. 원칙상, 노래의 지문 블록은 노래의 후속적인 하부-지문의 임의의 블록일 수 있다. 전형적으로, 수많은 지문 블록은, 각각의 블록이 노래의 연속적인 부분을 나타내면서, 각각의 노래에 대해 형성된다.
만약 멀티미디어 콘텐트가 임의의 메타-데이터없이 후속적으로 수신되면, 멀티미디어 콘텐트의 메타-데이터는 멀티미디어 콘텐트의 하나 이상의 지문 블록들을 계산하고, 데이터 베이스 안에서 대응하는 지문 블록(들)을 찾음으로써 결정될 수 있다. 멀티미디어 콘텐트 그 자체보다, 지문 블록의 매칭은, 인지적 비상관성이 전형적으로 지문 내에 통합되지 않으면서, 더 적은 메모리/저장공간이 요구되기 때문에, 훨씬 효율적이다.
데이터 베이스에 저장된 지문 블록에 대한 (수신된 멀티미디어 콘텐트로부터)추출된 지문 블록의 매칭은, 수신된 신호의 지문 블록(또는 만약 수신된 신호의 길이가 충분히 길다면 지문 블록들)을 데이터 베이스 안의 각각의 지문 블록들에 매치하기 위해, 무차별 검색(brute force search)을 수행함으로써 수행될 수 있다.
잽 하이츠마, 톤 칼커 및 잡 오스트벤에 의한, 2001년 9월, 이탈리아, 브레시아, 콘텐트 기반 멀티미디어 인텍싱 2001, "콘텐트 확인을 위한 로버스트 오디오 해쉬" 문언은 적절한 오디오 지문 검색 기술을 개시한다. 개시된 전략은 모든 가능한 하부-지문 값에 대한 룩업 테이블을 활용한다. 테이블 안의 입력값들은 개별적인 하부-지문값이 일어나는 노래 안의 노래(들)과 위치(들)을 지시한다. 각각의 추출된 하부-지문 값들에 대한 룩업 테이블을 조사함으로써, 요구되는 지문 블록의 매칭 범위를 효율적으로 좁혀가기 위해, 후보 노래들 및 위치들의 목록이 생성된다.
본 발명의 실시예의 목적은 지문의 데이터 베이스의 효율적인 검색을 가능하게 하기 위한 방법들 및 기구들을 제공하는 것이다.
도 1은 본 발명의 제 1 실시예의 방법의 단계의 흐름도.
도 2는 본 발명의 실시예에 따른 검색을 위해 선택하기 위한 오디오 신호의 세그먼트에 대응하는 지문 블록을 도시하는 블록도.
도 3은 제 2 실시예의 방법의 단계의 흐름도.
도 4는 입력 정보 스트림으로부터 지문 블록 값을 생성하고, 후속적으로, 본 발명의 추가의 실시예를 따른 지문 블록을 매치하기 위한 장치의 개략적인 블록도.
제 1 양상에 있어서, 본 발명은, 개별적인 정보 신호를 확인하는 데이터 베이스에 저장된 지문들을 가지고, 각각이 정보 신호의 적어도 일부를 나타내는, 입력 지문 블록들의 세트를 매칭하는 방법으로서,
지문 블록의 상기 입력 세트의 제 1 지문 블록을 선택하는 단계,
선택된 지문 블록을 매치하는 상기 데이터 베이스 안에서 적어도 하나의 지문 블록을 찾는 단계,
상기 제 1 선택된 지문 블록에 대해 상대적인 미리 결정된 위치에서 지문 블록의 상기 세트로부터 추가의 지문 블록을 선택하는 단계,
상기 찾아진 지문 블록에 대해 상대적인 미리 결정된 위치에서 상기 데이터 베이스 안의 적어도 하나의 대응하는 지문 블록의 위치를 찾는 단계,
상기 위치를 찾은 지문 블록이 상기 선택된 추가의 지문 블록과 매치하는지 결정하는 단계를 포함하는, 입력 지문 블록들의 세트를 매칭하는 방법을 제공한다.
그래서 이런 방식으로 검색하는 것은, 검색의 범위를 상당하게 좁히기 위해 초기 매치를 사용하고, 후속적으로 대응하는 위치의 지문 블록들을 매칭함으로써, 검색 속도를 효율적으로 감소시키고, 및/또는 로버스트니스(robustness)를 증가시킨다.
또 다른 양상에 있어서, 본 발명은,
정보 신호를 비슷한 콘텐트 세그먼트들로 분리하는 단계,
각각의 세그먼트에 대한 입력 지문 블록을 생성하는 단계,
상기 블록들 각각을 확인하기 위해 위에 설명된 단계들을 반복하는 단계를 포함하는 정보 신호에 대한 로깅 보고서를 생성하는 방법을 제공한다.
추가의 양상에 있어서, 본 발명은 위에 설명된 방법을 수행하도록 마련된 컴퓨터 프로그램을 제공한다.
또 다른 양상에 있어서, 본 발명은 위에 설명된 컴퓨터 프로그램을 포함하는 기록 캐리어를 제공한다.
추가의 양상에 있어서, 본 발명은 위에 설명된 컴퓨터 프로그램을 다운로딩할 수 있게 하는 방법을 제공한다.
또 다른 양상에 있어서, 본 발명은 개별적인 정보 신호를 확인하는 데이터 베이스 안에 저장된 지문들을 가지고, 각각이 정보 신호의 적어도 일부를 나타내는, 입력 지문 블록들의 세트를 매치하도록 마련된 장치로서, 입력 지문 블록의 상기 세트의 제 1 지문 블록을 선택하고, 선택된 지문 블록에 매치하는 상기 데이터 베이스 안의 적어도 하나의 지문 블록을 찾고, 상기 제 1 선택된 지문 블록에 대해 상대적인 미리 결정된 위치에서 입력 블록의 상기 세트로부터 추가의 지문 블록을 선택하고, 상기 찾아진 지문 블록에 대해 상대적인 미리 결정된 위치에서 상기 데이터 베이스 안의 적어도 하나의 대응하는 지문 블록의 위치를 찾고, 상기 위치가 찾아진 지문 블록이 상기 선택된 추가의 지문 블록에 매치하는지를 결정하도록, 마련된 프로세싱 유닛을 포함하는, 장치를 제공한다.
본 발명의 추가의 특성이 독립 청구항에 정의되었다.
본 발명의 더 나은 이해를 위해, 그리고, 본 발명의 실시예가 어떻게 수행되는지를 도시하기 위해, 첨부된 개략적인 도면을 참조로, 예시를 통해 참조가 되었다.
전형적으로, 지문 블록을 데이터 베이스에 저장된 지문과의 매칭에 의한 지문 블록의 확인은(예를 들어, 잽 하이츠마, 톤 칼커 및 잡 오스트벤에 의한, 2001년 9월, 이탈리아, 브레시아, 콘텐트 기반 멀티미디어 인텍싱 2001, "콘텐트 확인을 위한 로버스트 오디오 해쉬"에 개시된 검색 기술을 사용함으로써) 이른바 완전 검색을 요구한다.
본 발명은 후속적인(또는 이전의) 지문 블록이 동일한 정보 세그먼트(예를 들어, 노래 또는 비디오 클립)으로부터 나올 확률이 높다는 사실을 이용한다. 결과적으로, 하나의 지문 블록이 확인되면, 후속적인 지문 블록이 이것들을 오직 데이터 베이스 안의 대응하는 지문 블록들과 매칭하려고 시도함으로써 빠르게 확인될 수 있다.
도 1은 본 발명의 제 1 실시예를 따른 그러한 검색을 수행하는데 포함된 단계들의 순서도를 도시한다.
검색은 정보 신호의 다른 부분들에 대응하는 수많은 지문을 포함하는 데이터 베이스가 존재한다고 가정한다. 예를 들어, 데이터 베이스는, 각각의 지문 블록이 하부-지문들의 시퀀스를 포함하는, 수많은 노래의 지문 블록을 포함할 수 있다. 하부-지문은 노래의 짧은 시퀀스(예를 들어, 11.8 밀리-초)에 대응한다. 메타-데이터는, 예를 들어, 노래 제목, 노래 길이, 가수(들), 작곡가, 레코딩 회사를 나타내는 각각의 노래와 연관되었다.
정보 신호(예를 들어, 노래, 또는 노래의 일부)가 수신되고, 노래와 연관된 노래 및/또는 메타-데이터를 확인하는 것이 바람직하다. 이것은 데이터 베이스 안의 대응하는 지문 블록에 노래의 지문 블록을 매칭함으로써 달성될 수 있다.
도 1에 나타난 것처럼, 제 1 지문 블록(X)은 정보 신호 안의 제 1 위치(x)에 대해서 계산된다{단계(10)}. 예를 들어, 노래에 있어서, 이것은 노래 내의 3-5초 사이의 시간 슬라이스에 연관될 수 있다.
데이터 베이스 안의 임의의 지문 블록이 계산된 지문 블록(X)에 매치하는지를 확인하기 위하여, 데이터 베이스의 검색이 수행된다{단계(20)}.
그러한 검색{단계(20)}은, 반복적으로 지문 블록(X)을 데이터 베이스 내의 모든 지문 블록과 비교하는, 데이터 베이스의 철저한 검색일 수 있다. 대안적으로, 잽 하이츠마, 톤 칼커 및 잡 오스트벤에 의한, 2001년 9월, 이탈리아, 브레시아, 콘텐트 기반 멀티미디어 인텍싱 2001, "콘텐트 확인을 위한 로버스트 오디오 해쉬"에 개시된, 가장 가능성있는 매치를 선택하기 위해 룩업 테이블이 사용될 수 있다.
신호 시간 슬롯의 프레이밍에 있어서의 변형 때문에, 그리고, 전송 및/또는 압축에 의한 신호 감퇴 때문에, 지문 블록(X)이 데이터 베이스에 저장된 임의의 단일 지문 블록에 정확히 매칭할 가능성은 거의 없다. 하지만, 만약, 지문 블록(X)과 데이터 베이스 안의 지문 블록 중 어느 하나 사이의 유사성이 매우 높다면, 매칭이 일어나는 것으로 가정된다{단계(20)}.
동등하게, 지문 블록(X)과 데이터 베이스 안의 지문 블록들 사이의 비유사성(예를 들어, 차이의 수)이 비교될 수 있다. 만약, 비유사성(두 개의 지문 블록들 사이의 차이의 수)이 미리 결정된 임계치(T1)보다 낮다면, 매치가 일어난 것으로 가정된다.
만약 데이터 베이스 안에 아무런 매치하는 지문 블록이 존재하지 않는다고 판단되면{단계(40)}, 지문 블록은 신호 내의 새로운 시점에 대해 계산되고{단계(50)}, 검색이 재-수행된다{단계(20, 40)}.
만약, 하나 이상의(만약 두 개의 노래가 매우 비슷하다면, 이것이 일어날 수 있다) 지문 블록들이 비슷한 것으로 판명되면, 데이터 베이스 안에서의 그 위치가 주지된다. 만약 매치의 신뢰성이 충분히 크다면{단계(55)}, 결과는 기록될 수 있고{단계(90)}, 확인 프로세스가 정지될 수 있다. 만약, 매치가 충분히 신뢰적이지 않다면, 지문 블록(Y)은 신호 안의 위치(x)(예를 들어, 이전 또는 후속적인 오디오 신호의 시간 슬라이스)에 인접한 위치에 대해 결정될 수 있다{단계(60)}.
데이터 베이스 안의 대응하는 위치(들)의 지문 블록(들)은 지문 블록(Y)과 비교된다{단계(70)}. 예를 들어, 만약 오디오 신호 안의 위치(x) 직후에 지문 블록(Y)이 시간 슬롯에 대해 계산된다면, 지문 블록(Y)은 지문 블록(X)에 매치하는 지문 블록(들) 직후에 일어날 것으로 예상되는 데이터 베이스 안의 지문 블록(들)과 비교될 것이다.
다시, 지문 블록들의 매칭은 지문 블록들 사이의 비유사성에 연관된 미리 결정된 임계치(T2)를 사용하여 수행될 것이다. 임계치(T2)는 T1과 동일하거나, 심지어 T2보다 낮을 수 있다. 하지만, 바람직하게, T2는 T1보다 약간 높은 임계치이다. 블록들이 동일한 정보 소스에 연관하지 않는 한, 두 개의 인접한 지문 블록들이 데이터 베이스 안의 두 개의 인접한 지문 블록들에 매치할 가능성은 매우 희박해 보인다. 만약 지문 블록(Y)이 데이터 베이스 안의 대응하는 지문 블록에 매치하지 않는다면(예를 들어, 만약 새로운 노래가 재생되기 시작하면, 이것이 일어난다), 지문 블록(Y)에 대해 완전한 검색이 수행될 수 있다.
만약 데이터 베이스 안에 아무런 매치가 존재하지 않으면{단계(80)}, 검색 프로세스는 다시 시작된다, 즉, 현재 블록(Y)의 매치를 위한 데이터 베이스의 완전한 검색이 수행되고{단계(20)}, 후속적인 단계가 적절하게 반복된다.
만약 데이터 베이스 안의 하나 이상의 대응하는 지문 블록이 매치하면{단계(80)}, 매치들 중 어느 것이 신뢰할 수 있는지{단계(85)}, 예를 들어, 임의의 매치가 안정적으로 정보 신호를 확인하기에 충분히 좋은지 결정된다. 만약, 매치가 신뢰적이면, 결과는 기록되고{단계(90)}, 확인 프로세스가 정지된다. 그렇지 않다면, 새로운 지문 블록(Y)은 신호 안의 다음 인접한{즉, 이전 지문 블록(Y)의 위치에 인접한} 시간 슬롯에 대해 결정된다{단계(60)}.
위에 언급된 실시예는 단지 예시의 방법으로 제공되었다는 것이 이해되어야 한다. 예를 들어, 실시예는 수신되는 정보 신호와, 검색이 수행되는 정보 신호{단계(10, 50, 60)} 내의 위치들에 대해 계산되는 지문 블록을 참조로 개시되었다. 동등하게, 검색 기술은 수신되는 정보 신호와, 신호 안의 하나 이상의 (모든 위치까지의) 위치들에 대한 (검색의 시작 이전에) 계산되는 지문 블록들과, 검색 프로세스에서 사용을 위해 후속적으로 선택되는 블록들에 적용가능하다. 대안적으로, 적어도 정보 신호의 일부에 대응하는 단순히 두 개 이상의 단일 지문 블록이 수신될 수 있고, 원래의 정보 신호를 확인하기 위한 이러한 지문 블록들을 활용하여 검색이 수행된다.
매치하는 임계치는 수행되는 검색에 의존하여 변할 수 있다. 예를 들어, 만약 정보 신호가 왜곡될 것으로 예상된다면, 왜곡에 대해 더욱 로버스트되게 하기 위하여, 또한 잘못된 부정적 비율을(두 개의 지문 블록이 정보 신호의 동일한 부분에 연관되더라도, 이것들이 매치하지 않는 것으로 판단되면, 잘못된 부정적 비율이 발생한다고 가정된다) 감소시키기 위하여 임계치(T1)는 보통보다 더 높게 설정될 수 있다. 잘못된 부정적 비율을 감소시키는 것은 일반적으로 (실제로 다른 정보에 연관된 두 개의 지문 블록들 사이에 매치가 일어난 것으로 간주되는)더 높은 잘못된 긍정적 비율을 초래한다. 하지만, 잘못된 긍정적 비율은, 다음(또는 이전) 지문블록이 데이터 베이스 안의 대응하는 블록에 매치하는 지를 고려함으로써, 전반적인 검색에 대해 감소될 수 있다.
상기 방법은 정보 신호로부터 매칭을 위해 선택된 각각의 후속 지문 블록은 이전의 지문 블록에 인접하다고(시퀀스 상에서 이전 또는 이후) 가정하였다. 하지만, 만약 지문 블록이 대응하는 정보가 이전에 선택된 지문 블록의 정보에 인접하다면, 동일한 방법이 사용될 수 있다는 것이 이해될 것이다. 동일하게, 정보 신호의 지문 블록들 또는 지문 블록이 연관된 정보의 위치들 사이의 임의의 알려진 관계는 이들 관계가 대응하는 위치를 갖는 지문 블록이 데이터 베이스 내에서 위치가 찾아질 수 있는 관계인 한, 활용될 수 있다. 예를 들어, 영상을 포함하는 정보 신호에 있어서, 영상의 대각선을 따른 영상 세그먼트에 대응하는 지문 블록 상에서 검색이 수행될 수 있다.
본 발명의 실시예들은 또한 노래나 다른 음악 작품의 무선 또는 유선 방송을 모니터링하는데 사용될 수 있다. 예를 들어, 오디오 지문 시스템은, 복수의 노래들로 구성될 수 있는, 오디오 스트림 안에 존재하는 모든 시간 블록들(전형적으로 3-5초의)에 대한 로깅 보고서를 생성하는데 사용될 수 있다. 하나의 세그먼트에 대한 로그 정보는 일반적으로 노래, 가수, 앨범, 및 노래 안의 위치를 포함한다.
모니터링 프로세스는 오프라인으로 수행될 수 있다. 즉, (예를 들어, 라디오 방속국 방송과 같은) 오디오 스트림의 지문 블록들은 먼저, 예를 들어, 한 시간의 오디오의 지문 블록을 포함하는 지문 파일에 기록된다. 이 시간의 오디오에 대한 로그는 상기 방법을 사용하여 효율적으로 생성된다.
도 2는, 각각의 노래가 각각의 시간(t1, t2, t3) 동안 지속되는, 세 개의 노래(노래1, 노래2, 노래3)에 대한 지문 블록들을 포함하는 지문 파일(90)을 도시한다. 모든 지문 블록들에 대해 완전한 검색을 수행하는 대신에, 평균적으로 노래 한곡 길이만큼(약 3-4분) 또는 최소의 노래 한곡 길이만큼(예를 들어, 최소의 노래 길이가 2분과 동일하거나 더 크다고 알려져 있다고 가정하여 2분) 바람직하게 떨어진, 지문 블록들(예를 들어, 91, 95, 98)의 작은 세트에 대해서만 완전한 검색이 수행된다. 전형적으로, 하부-지문은 약 10 밀리초 동안 지속될 것이고, 지문 블록은 3-5초 지속될 것이다.
작은 세트(91, 95, 98) 중에서 지문 블록이 일단 확인되면, 인접한 블록들(92, 93, 96, 97...)은 도 1을 참조하여 기술된 방법을 사용하여 단지 데이터 베이스 안의 대응하는 지문 블록들을 매칭함으로써 매우 효율적으로 확인될 수 있다. 대응하는 블록은 확인된 블록의 노래 위치와 확인된 노래의 노래 길이를 사용함으로써, 확인될 수 있다. 매치를 수행한 후에, 미확인된 블록들의 세트들 중 새로운 지문 블록이 완전한 검색을 위해 선택된다. 모든 지문 블록들이 두 가지 매치에 의해 확실히 확인되거나, 완전한 검색이 지문 블록들을 미지의 것으로 확인할 때까지, 전체 과정이 반복된다.
본 발명의 실시예들은 또한 실시간 모니터링에 사용될 수 있다는 것이 주지되어야 한다. 예를 들어, 하나의 실시예는 라디오 상의 노래를, 노래가 재생되면서, 거의 동시에 확인하는데 사용될 수 있다. 그런 경우에, 이미 확인된 지문 블록 후의 지문 블록들만이 데이터 베이스 안의 대응하는 블록들과 매칭하는데 쉽게 사용될 수 있다. 하지만, 만약 현재 블록을 수신하는 단계와 정보 소스를 확인하는 단계 사이의 어느 정도의 지연이 허용된다면, 이전 지문 블록들의 수는 또한 확인 프로세스에 사용될 수 있다.
도 3은 정보 신호의 그러한 실시간 모니터링의 수행에서 사용하는데 적절한 본 발명의 실시예에 대한 방법의 단계의 흐름도를 도시한다.
도 3 내에서, 도 1의 동일한 방법 단계에 대응하는 방법 단계에 대해 동일한 참조 번호가 활용되었다.
초기에, 지문 블록(X)은 신호 안의 위치(x)에 대해 계산된다{단계(10)}. 그러면, 검색이 지문 블록을 제 1 임계치(T1)에 매칭하기 위해 데이터 베이스 안에서 수행되고{단계(20)}, 그 결과가 기록된다{단계(30)}.
만약 아무런 매치하는 블록이 데이터 베이스에서 찾아지지 않으면{단계(40)}, 지문 블록이 정보 신호 안의 새로운 위치에 대해 계산되고{단계(50)}, 검색이 다시 수행된다{단계(20)}.
만약 하나 이상의 매치하는 지문 블록들이 데이터 베이스 내에서 찾아지면{단계(40)}, 지문 블록(Y)은 정보 신호 안의 인접하는 위치에 대해 계산된다{단계(60)}. 예를 들어, 만약 정보 신호가 연속적으로 수신되면, 지문 블록(Y)은 신호의 다음에 수신되는 시간 슬라이스에 대해서 계산될 수 있다.
그러면, 제 2 임계치(T2)에서 블록(Y)은 데이터 베이스의 대응하는 블록들과 비교된다{단계(70)}. 즉, 블록(Y)은 블록(X)에 매치하기 위해 단계(20)에서 찾아지는 블록들의 위치들에 인접하는 정보 신호들의 위치들에 연관하는 데이터 베이스의 이러한 블록(들)과 비교만 된다.
만약 블록(Y)이 데이터 베이스의 대응하는 블록 중 어느 것과도 매치하지 않는 것으로 판명되면{단계(80)}, 지문 블록(Y)에 대해 데이터 베이스의 완전한 검색이 수행된다{단계(20)}.
하지만, 만약 블록(Y)이 데이터 베이스의 하나 이상의 대응하는 블록들과 매치한다는 것이 찾아지면{단계(80)}, 결과는 기록되고{단계(90)}, 인접한 위치에 대한 지문 블록이 계산되고 프로세스는 반복된다. 모든 지문 블록들이 확실히 확인되거나 완전한 검색에 의해 미확인으로 판명될 때까지, 도 3에 도시된 전체 프로세스는 계속된다.
본 실시예는 매치가 충분히 신뢰할 만한지를 결정하기 위해 데이터 베이스의 대응하는 블록들을 가진 정보 신호의 임의의 검색된 지문 블록들 사이의 유사성을 검사함으로써 추가로 향상될 수 있다. 즉, 매칭블록의 이력이 비교될 수 있다. 예를 들어, 지문 블록(X)의 합당한 매치가, 정보 신호를 확인하는데 충분히 신뢰적이지 않았을 수도 있는, 데이터 베이스 안에서 찾아질 수 있다. 블록(Y)의 합당한 매치는 또한, 다시 그 자체로 정보 신호를 확인하는데 충분하게 신뢰할만한 것으로 간주되지 않을 수 있는, 데이터 베이스 안에서 찾아질 수 있다. 하지만, 만약 X와 Y의 매치가 모두 동일한 정보 신호에 연관된다면, 우연히 일어나는 두 가지 매치의 가능성은 상대적으로 낮다. 즉, 일어나는 매치들의 결합된 확률은 전송되는 정보 신호를 신뢰할 만하게 확인하는데 충분하다.
본 발명은 수많은 지문 기술과 연관되어 사용하는데 적절하다. 예를 들어, 2001년 9월, 이탈리아, 브레시아, 콘텐트 기반 멀티미디어 인텍싱 2001, "콘텐트 확인을 위한 로버스트 오디오 해쉬"에 나타나는, 하이츠마 등의 오디오 지문 기술은 오디오 신호의 기본의 시간 창 간격(windowed time interval)들에 대한 하부-지문 값을 계산한다. 오디오 신호는 이와 같이 프레임들로 분리되고, 후속적으로 푸리에 변환에 의해 계산된 각 시간 프레임의 스펙트럼 표현으로 분리된다. 이 기술은 HAS의 행동을 흉내내는 로버스트한 지문 기능을 제공한다. 즉, 이것은 청취자에 의해 인지될 오디오 신호의 콘텐트를 흉내내는 지문을 제공한다.
그러한 지문 기술에 있어서, 도 4에 도시되는 것처럼, 오디오 신호나 오디오 신호를 통합하는 비트-스트림이 입력될 수 있다.
비트-스트림 신호가 지문화되면, 인코딩된 오디오 신호를 포함하는 비트-스트림은 비트-스트림 디코더(110)에 의해 수신된다. 상기 비트-스트림 디코더는, 오디오 신호를 만들기 위해, 비트-스트림을 완전히 디코딩한다. 이 오디오 신호는 프레이밍 유닛(120)으로 전달된다.
대안적으로, 오디오 신호는 직접 오디오 입력(100)에서 수신되어 프레이밍 유닛(120)으로 전달될 수 있다.
상기 프레이밍 유닛은 오디오 신호를 일련의 시간 창 간격으로 분리한다. 바람직하게, 시간 간격은 겹쳐져서, 후속적인 프레임들로부터의 결과로 나오는 하부-지문 값들은 거의 비슷하다.
각각의 시간 창 간격의 신호는 푸리에 변환 유닛(130)으로 전달되고, 이것은 각각의 시간 간격에 대해 푸리에 변환을 계산한다. 그러면, 절대값 계산 유닛(140)은 푸리에 변환의 절대값을 계산하는데 사용된다. 사람의 청각 시스템(HAS)이 상대적으로 위상에 둔감하기 때문에 이 계산이 수행되고, 이것이 사람의 귀에 들리게 될 톤에 대응하기 때문에 스펙트럼의 절대값만이 유지된다.
주파수 스펙트럼 내의 각각의 미리 결정된 일련의 주파수 대역에 대한 개별적인 하부-지문 값의 계산을 허용하기 위해, 선택기(151, 152, ..., 158, 159)가 원하는 대역에 대응하는 푸리에 계수를 선택하는데 사용된다. 각각의 대역에 대한 푸리에 계수들은 각각의 에너지 계산 단계(161, 162, ..., 168, 169)로 전달된다. 그러면, 각각의 에너지 계산 단계는 각각의 주파수 대역의 에너지를 계산하고, 그런 후, 계산된 에너지를 하부-지문 비트{H(n,x), 여기서, x는 각각의 주파수 대역에 대응하고 n은 연관된 시간 프레임 간격에 대응한다}를 계산하고 출력(180)으로 보내는 비트 도출 회로로 전달한다. 가장 간단한 경우에, 비트는 에너지가 미리 결정된 임계치보다 큰 지를 나타내는 부호일 수 있다. 하나의 시간 프레임에 대응하는 비트를 정렬대조(collate)함으로써, 각각의 원하는 시간 프레임에 대한 하부-지문이 계산된다.
그런 후, 각 프레임에 대한 하부-지문들은 지문 블록을 형성하도록 버퍼(190)에 저장된다. 상기 버퍼의 콘텐트는 데이터 베이스 검색 엔진(195)에 의해 후속적으로 액세스된다. 그런 후, 상기 데이터 베이스 검색 엔진은, 상기의 방법을 사용하여, 데이터 베이스에 저장된 대응하는 지문 블록과 버퍼(190)에 저장된 지문 블록을 매치하기 위해, 비트 스트림 디코더(110) 또는 직접 오디오 입력(100)에 대한 입력인 정보 스트림(및/또는 정보 스트림과 연관된 메타-데이터)을 효율적으로 확인하기 위해 검색을 수행한다.
본 발명의 상기 실시예들이 오디오 정보 스트림을 참조로 설명되었지만, 본 발명은 다른 정보 신호, 특히, 비디오 신호를 포함하는 멀티-미디어 신호에 적용될 수 있다는 것이 이해될 것이다.
예를 들어, 제이. 씨. 오스트벤, 에이. 에이. 씨. 칼커, 제이. 에이. 하이츠마에 의한, 2001년 7월 31일-8월 3일, 미국, 샌디에고, 디지털 영상 프로세싱의 응용 24회, "디지털 비디오의 비쥬얼 해쉬:애플리케이션 및 기술"은 움직이는 영상 시퀀스로부터 필수의 인지 특성을 추출하기 위한 적절한 기술을 개시한다.
상기 기술이 비쥬얼 지문에 관한 것이므로, 인지 특성은 HVS에 의해 시청될 수 있는 것들에 관련된다. 즉, 이것은 HVS에 의해 동일하게 고려되는 콘텐트에 대한 동일한(또는 비슷한) 지문 신호를 만드는 것을 목표로 한다. 제안된 알고리즘은, 픽셀의 블록들에 대해 계산된, 휘도 요소, 또는 대안적으로 색차 요소로부터 추출된 특성을 고려하는 것을 기대한다.
특별히 기술되지 않은 다양한 구현들이 본 발명의 범위 내에 속할 것이란 것은 당업자에 의해 이해될 것이다. 예를 들어, 지문 블록 생성 장치의 기능성만이 설명되었지만, 디지털 회로, 아날로그 회로, 컴퓨터 프로그램, 또는 그 조합으로서 장치가 구현될 수 있다는 것이 이해될 것이다.
동등하게, 상기 실시예들이 인코딩 방식의 특정 형태를 참조로 개시되었지만, 본 발명은 멀티미디어 신호를 전송할 때 다른 형태의 코딩 방식, 특히, 인지상 중요한 정보에 연관된 계수들을 포함하는 것들에 적용될 수 있다는 것이 이해될 것이다.
읽는 사람들의 관심은 본 출원에 연관되어 이 명세서와 동시에 또는 이전에 출원된, 그리고 본 명세서와 함께 공개된, 논문 및 문서에 집중되었고, 모든 그러한 논문 및 문서의 콘텐트는 참조로 여기에 통합되었다.
(첨부된 청구항, 요약, 도면을 포함한)본 명세서에 개시된 모든 특징, 및/또는 개시된 어떠한 방법 또는 프로세스의 모든 단계들은, 그러한 특징 및/또는 단계의 적어도 몇 가지가 상호 배타적인 조합을 제외한, 임의의 조합으로 조합될 수 있다.
(첨부된 청구항, 요약, 및 도면을 포함한)본 명세서에 개시된 각각의 특징은, 다르게 명백히 표현되지 않는 한, 동일한, 등가의 또는 비슷한 목적을 위한 대안적인 특징에 의해 대체될 수 있다. 그래서, 다른 식으로 명백히 표현되지 않는 한, 개시된 각각의 특징은 일반적인 일련의 등가 또는 비슷한 특징의 하나의 예이다.
본 발명은 위의 실시예(들)의 상세한 설명에 제한되지 않는다. 본 발명은 (어떠한 첨부된 청구항, 요약 및 도면을 포함한) 본 명세서에 개시된 특징들의 임의의 독특한 하나, 또는, 임의의 독특한 조합에 확장하거나, 개시된 방법이나 프로세스의 단계의 임의의 독특한 하나, 또는 임의의 독특한 조합에 확장할 수 있다.
명세서 내에서, "포함한다"라는 단어는 다른 요소나 단계를 배제하지 않는다는 것과, 단수 명사의 사용이 복수를 배제하지 않는다는 것과, 하나의 프로세서나 다른 유닛이 청구항에 언급된 몇 가지 수단의 기능을 달성할 수 있다는 것이 이해될 것이다.
본 발명은 다음과 같이 요약될 수 있다. 각각이 정보 신호의 적어도 일부를 나타내는, 입력 지문 블록의 세트와 각각의 정보 신호를 확인하는 데이터 베이스 안에 저장된 지문을 매치시키기 위한 방법들 및 장치들이 설명되었다. 상기 방법은 입력 지문 블록들의 세트의 제 1 지문 블록을 선택하는 단계와, 선택된 지문 블록에 매치하는 데이터 베이스 안의 적어도 하나의 지문 블록을 찾는 단계를 포함한다. 그러면, 추가의 지문 블록이, 제 1의 선택된 지문 블록의 미리 결정된 위치에서, 입력 블록의 세트로부터 선택된다. 그러면, 대응하는 지문 블록은 데이터 베이스 안의 찾아진 지문 블록에 대해 상대적으로 동일한 미리 결정된 위치에서 위치가 찾아지고, 위치가 찾아진 지문 블록이 선택된 추가의 지문 블록과 매치하는 지 결정된다.
상술한 바와 같이 본 발명은 데이터 베이스에 저장된 지문과 지문을 매칭하는데 적절한 방법 및 기구에 응용될 수 있다.

Claims (14)

  1. 각각의 지문 블록이 정보 신호의 적어도 일부를 나타내는, 입력 지문 블록들의 세트를 각각의 정보 신호를 확인하는 데이터 베이스 안에 저장된 지문과 매칭하는 방법으로서,
    지문 블록들의 상기 입력 세트의 제 1 지문 블록을 선택하는 단계와,
    상기 선택된 지문 블록에 매치하는 상기 데이터 베이스 안의 적어도 하나의 지문 블록을 찾는 단계와,
    상기 제 1 의 선택된 지문 블록에 상대적인 미리 결정된 위치에서 지문 블록들의 상기 세트로부터 추가의 지문 블록을 선택하는 단계와,
    적어도 하나의 대응하는 지문 블록의 위치를 상기 데이터 베이스 안의 상기 찾아진 지문 블록에 상대적인 미리 결정된 위치에서 찾는 단계와,
    상기 위치가 찾아진 지문 블록이 상기 선택된 추가의 지문 블록에 매치하는지를 결정하는 단계를 포함하는, 매칭하는 방법.
  2. 제 1항에 있어서,
    추가의 지문 블록을 선택하는 단계, 상기 데이터 베이스 안의 대응하는 지문 블록의 위치를 찾는 단계, 그리고, 상기 제 1 선택된 지문 블록에 상대적으로 다른 미리 결정된 위치들에 대해 상기 위치가 찾아진 지문 블록이 상기 선택된 추가의 지문 블록에 매치하는지를 결정하는 단계를 반복하는 단계를 추가로 포함하는, 매칭하는 방법.
  3. 제 1항에 있어서, 상기 미리 결정된 위치는 인접한 위치인, 매칭하는 방법.
  4. 제 1항에 있어서, 만약 지문 블록 사이의 차이의 수가 제 1 임계치 이하라면, 상기 찾는 단계에서의 매치가 일어난 것으로 간주되고, 만약 지문 블록들 사이의 차이의 수가 제 2 임계치 이하라면, 상기 결정하는 단계에서의 매치가 일어난 것으로 간주되는, 매칭하는 방법.
  5. 제 4항에 있어서, 상기 제 2 임계치는 상기 제 1 임계치와 다른, 매칭하는 방법.
  6. 제 1항에 있어서,
    정보 신호를 수신하는 단계와,
    상기 정보 신호를 부분으로 나누는 단계와,
    각각의 부분에 대한 지문 블록을 계산함으로써 상기 입력 블록을 생성하는 단계를 추가로 포함하는, 매칭하는 방법.
  7. 정보 신호에 대한 로깅 보고서를 생성하는 방법으로서,
    상기 정보 신호를 비슷한 콘텐트 세그먼트로 나누는 단계와,
    각각의 세그먼트에 대한 입력 지문 블록을 생성하는 단계와,
    각각의 상기 블록들을 확인하기 위해 제 1항에 따른 방법의 단계들을 반복하는 단계를 포함하는, 정보 신호에 대한 로깅 보고서를 생성하는 방법.
  8. 제 7항에 있어서, 상기 정보 신호가 오디오 신호를 포함하고, 각각의 세그먼트로 노래의 적어도 일부에 대응하는, 정보 신호에 대한 로깅 보고서를 생성하는 방법.
  9. 제 1항에 따른 방법을 수행하도록 마련된 컴퓨터 프로그램.
  10. 제 9항에 따른 컴퓨터 프로그램을 포함하는 레코드 캐리어.
  11. 제 9항에 따른 컴퓨터 프로그램을 다운로딩을 가능하게 하는 방법.
  12. 각각이 정보 신호의 적어도 일부를 나타내는 입력 지문 블록들의 세트를, 각각의 정보 신호를 확인하는 데이터 베이스 안에 저장된 지문과, 매치시키도록 마련된 장치로서,
    입력 지문 블록의 상기 세트의 제 1 지문 블록을 선택하고,
    선택된 지문 블록에 매치되는 상기 데이터 베이스 안의 적어도 하나의 지문 블록을 찾고,
    상기 제 1 선택된 지문 블록에 상대적인 미리 결정된 위치에서 입력 블록들의 상기 세트로부터 추가의 지문 블록을 선택하고,
    적어도 하나의 대응하는 지문 블록의 위치를 상기 데이터 베이스 안의 상기 찾아진 지문 블록에 상대적인 미리 결정된 위치에서 찾고,
    상기 위치가 찾아진 지문 블록이 상기 선택된 추가의 지문 블록에 매치하는 지를 결정하도록 마련된 프로세싱 유닛을 포함하는, 장치.
  13. 제 12항에 있어서, 각각의 정보 신호들 및 각각의 신호에 연관된 메타-데이터를 확인하는 지문을 저장하도록 마련된 데이터 베이스를 추가로 포함하는, 장치.
  14. 제 12항에 있어서, 정보 신호를 수신하기 위한 수신기와, 상기 정보 신호로부터 입력 지문 블록들의 상기 세트를 생성하도록 마련된 지문 생성기를 추가로 포함하는, 장치.
KR1020057007618A 2002-11-01 2003-10-07 개선된 오디오 데이터 지문 검색 KR20050061594A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02079578.7 2002-11-01
EP02079578 2002-11-01

Publications (1)

Publication Number Publication Date
KR20050061594A true KR20050061594A (ko) 2005-06-22

Family

ID=32187229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057007618A KR20050061594A (ko) 2002-11-01 2003-10-07 개선된 오디오 데이터 지문 검색

Country Status (7)

Country Link
US (1) US20060013451A1 (ko)
EP (1) EP1561176A2 (ko)
JP (1) JP2006506659A (ko)
KR (1) KR20050061594A (ko)
CN (1) CN1708758A (ko)
AU (1) AU2003264774A1 (ko)
WO (1) WO2004040475A2 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008127052A1 (en) * 2007-04-17 2008-10-23 Electronics And Telecommunications Research Institute System and method for searching audio fingerprint by index information
US9686596B2 (en) 2008-11-26 2017-06-20 Free Stream Media Corp. Advertisement targeting through embedded scripts in supply-side and demand-side platforms
US9703947B2 (en) 2008-11-26 2017-07-11 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9716736B2 (en) 2008-11-26 2017-07-25 Free Stream Media Corp. System and method of discovery and launch associated with a networked media device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362775B1 (en) * 1996-07-02 2008-04-22 Wistaria Trading, Inc. Exchange mechanisms for digital information packages with bandwidth securitization, multichannel digital watermarks, and key management
US5613004A (en) * 1995-06-07 1997-03-18 The Dice Company Steganographic method and device
US7664263B2 (en) * 1998-03-24 2010-02-16 Moskowitz Scott A Method for combining transfer functions with predetermined key creation
US6205249B1 (en) * 1998-04-02 2001-03-20 Scott A. Moskowitz Multiple transform utilization and applications for secure digital watermarking
US7346472B1 (en) 2000-09-07 2008-03-18 Blue Spike, Inc. Method and device for monitoring and analyzing signals
US7177429B2 (en) 2000-12-07 2007-02-13 Blue Spike, Inc. System and methods for permitting open access to data objects and for securing data within the data objects
US7457962B2 (en) * 1996-07-02 2008-11-25 Wistaria Trading, Inc Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US7095874B2 (en) * 1996-07-02 2006-08-22 Wistaria Trading, Inc. Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US5889868A (en) * 1996-07-02 1999-03-30 The Dice Company Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US7159116B2 (en) 1999-12-07 2007-01-02 Blue Spike, Inc. Systems, methods and devices for trusted transactions
US7730317B2 (en) 1996-12-20 2010-06-01 Wistaria Trading, Inc. Linear predictive coding implementation of digital watermarks
US7664264B2 (en) 1999-03-24 2010-02-16 Blue Spike, Inc. Utilizing data reduction in steganographic and cryptographic systems
US7475246B1 (en) 1999-08-04 2009-01-06 Blue Spike, Inc. Secure personal content server
US7127615B2 (en) * 2000-09-20 2006-10-24 Blue Spike, Inc. Security based on subliminal and supraliminal channels for data objects
US7287275B2 (en) 2002-04-17 2007-10-23 Moskowitz Scott A Methods, systems and devices for packet watermarking and efficient provisioning of bandwidth
KR100820385B1 (ko) * 2002-04-25 2008-04-10 랜드마크 디지털 서비시즈 엘엘씨 확실하고 불변적인 오디오 패턴 매칭방법
US7239981B2 (en) 2002-07-26 2007-07-03 Arbitron Inc. Systems and methods for gathering audience measurement data
US8930276B2 (en) 2002-08-20 2015-01-06 Fusionarc, Inc. Method of multiple algorithm processing of biometric data
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
CN1745374A (zh) 2002-12-27 2006-03-08 尼尔逊媒介研究股份有限公司 用于对元数据进行译码的方法和装置
US20150051967A1 (en) 2004-05-27 2015-02-19 Anonymous Media Research, Llc Media usage monitoring and measurment system and method
US20050267750A1 (en) 2004-05-27 2005-12-01 Anonymous Media, Llc Media usage monitoring and measurement system and method
FR2887385B1 (fr) * 2005-06-15 2007-10-05 Advestigo Sa Procede et systeme de reperage et de filtrage d'informations multimedia sur un reseau
KR20080054396A (ko) * 2005-10-13 2008-06-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 효율적인 워터 마크 검출
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
KR100803206B1 (ko) * 2005-11-11 2008-02-14 삼성전자주식회사 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법
CN101410825B (zh) * 2006-02-27 2013-03-27 阜博有限公司 发布、搜索、检索和捆绑数字对象的元数据的系统和方法
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US8141152B1 (en) * 2007-12-18 2012-03-20 Avaya Inc. Method to detect spam over internet telephony (SPIT)
CN101471779B (zh) * 2007-12-29 2013-03-27 日电（中国）有限公司 可证数据完整性验证方法、设备和系统
US20090305665A1 (en) * 2008-06-04 2009-12-10 Irwin Oliver Kennedy Method of identifying a transmitting device
CN101673262B (zh) * 2008-09-12 2012-10-10 未序网络科技（上海）有限公司 音频内容的搜索方法
CN101673263B (zh) * 2008-09-12 2012-12-05 未序网络科技（上海）有限公司 视频内容的搜索方法
CN101729250B (zh) * 2008-10-21 2014-03-26 日电（中国）有限公司 增量可证数据完整性验证方法、设备和系统
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8666528B2 (en) 2009-05-01 2014-03-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US8594392B2 (en) * 2009-11-18 2013-11-26 Yahoo! Inc. Media identification system for efficient matching of media items having common content
JP5644777B2 (ja) * 2010-01-21 2014-12-24 日本電気株式会社 ファイル群整合性検証システム、ファイル群整合性検証方法およびファイル群整合性検証用プログラム
US8786785B2 (en) 2011-04-05 2014-07-22 Microsoft Corporation Video signature
US9380356B2 (en) 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
US9515904B2 (en) 2011-06-21 2016-12-06 The Nielsen Company (Us), Llc Monitoring streaming media content
US9209978B2 (en) 2012-05-15 2015-12-08 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US8825626B1 (en) 2011-08-23 2014-09-02 Emc Corporation Method and system for detecting unwanted content of files
US8756249B1 (en) * 2011-08-23 2014-06-17 Emc Corporation Method and apparatus for efficiently searching data in a storage system
WO2012163013A1 (zh) * 2011-10-19 2012-12-06 华为技术有限公司 音乐查询方法和装置
US8681950B2 (en) 2012-03-28 2014-03-25 Interactive Intelligence, Inc. System and method for fingerprinting datasets
KR101315970B1 (ko) * 2012-05-23 2013-10-08 (주)엔써즈 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법
US8886635B2 (en) * 2012-05-23 2014-11-11 Enswers Co., Ltd. Apparatus and method for recognizing content using audio signal
US9282366B2 (en) 2012-08-13 2016-03-08 The Nielsen Company (Us), Llc Methods and apparatus to communicate audience measurement information
CN103021440B (zh) * 2012-11-22 2015-04-22 腾讯科技（深圳）有限公司 一种音频流媒体的跟踪方法及系统
US9159327B1 (en) * 2012-12-20 2015-10-13 Google Inc. System and method for adding pitch shift resistance to an audio fingerprint
US9529907B2 (en) * 2012-12-31 2016-12-27 Google Inc. Hold back and real time ranking of results in a streaming matching system
US9313544B2 (en) 2013-02-14 2016-04-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
ES2879628T3 (es) * 2013-11-08 2021-11-22 Friend For Media Ltd Identificación de componentes multimedia
US9571994B2 (en) * 2013-12-17 2017-02-14 Matthew Stephen Yagey Alert systems and methodologies
NL2012567B1 (en) * 2014-04-04 2016-03-08 Teletrax B V Method and device for generating improved fingerprints.
US9699499B2 (en) 2014-04-30 2017-07-04 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
GB2531508A (en) * 2014-10-15 2016-04-27 British Broadcasting Corp Subtitling method and system
US10997236B2 (en) 2015-04-27 2021-05-04 Samsung Electronics Co., Ltd. Audio content recognition method and device
US9762965B2 (en) 2015-05-29 2017-09-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US10606879B1 (en) 2016-02-29 2020-03-31 Gracenote, Inc. Indexing fingerprints
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
JP6805765B2 (ja) 2016-10-21 2020-12-23 富士通株式会社 ソフトウェアサービスの実行のためのシステム、方法、及びプログラム
ES2765415T3 (es) 2016-10-21 2020-06-09 Fujitsu Ltd Aparato, método y programa de procesamiento de datos basado en microservicios
EP3312722A1 (en) 2016-10-21 2018-04-25 Fujitsu Limited Data processing apparatus, method, and program
US10776170B2 (en) 2016-10-21 2020-09-15 Fujitsu Limited Software service execution apparatus, system, and method
CN107679196A (zh) * 2017-10-10 2018-02-09 中国移动通信集团公司 一种多媒体识别方法、电子设备及存储介质
GB201810202D0 (en) * 2018-06-21 2018-08-08 Magus Communications Ltd Answer machine detection method & apparatus

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2637816B2 (ja) * 1989-02-13 1997-08-06 パイオニア株式会社 情報再生装置
US5790793A (en) * 1995-04-04 1998-08-04 Higley; Thomas Method and system to create, transmit, receive and process information, including an address to further information
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US6665417B1 (en) * 1998-12-02 2003-12-16 Hitachi, Ltd. Method of judging digital watermark information
US6952774B1 (en) * 1999-05-22 2005-10-04 Microsoft Corporation Audio watermarking with dual watermarks
US6737957B1 (en) * 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
JP2001275115A (ja) * 2000-03-23 2001-10-05 Nec Corp 電子すかしデータ挿入装置および検出装置
US6963975B1 (en) * 2000-08-11 2005-11-08 Microsoft Corporation System and method for audio fingerprinting
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7363278B2 (en) * 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
US7024018B2 (en) * 2001-05-11 2006-04-04 Verance Corporation Watermark position modulation
DE10133333C1 (de) * 2001-07-10 2002-12-05 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen eines Fingerabdrucks und Verfahren und Vorrichtung zum Identifizieren eines Audiosignals
US6968337B2 (en) * 2001-07-10 2005-11-22 Audible Magic Corporation Method and apparatus for identifying an unknown work
US6941003B2 (en) * 2001-08-07 2005-09-06 Lockheed Martin Corporation Method of fast fingerprint search space partitioning and prescreening
MXPA04004645A (es) * 2001-11-16 2004-08-12 Koninkl Philips Electronics Nv Metodo, cliente y servidor para actualizar base de datos de huellas digitales.
US6782116B1 (en) * 2002-11-04 2004-08-24 Mediasec Technologies, Gmbh Apparatus and methods for improving detection of watermarks in content that has undergone a lossy transformation
US7082394B2 (en) * 2002-06-25 2006-07-25 Microsoft Corporation Noise-robust feature extraction using multi-layer principal component analysis
US7110338B2 (en) * 2002-08-06 2006-09-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for fingerprinting digital media
US20060041753A1 (en) * 2002-09-30 2006-02-23 Koninklijke Philips Electronics N.V. Fingerprint extraction
US20060075237A1 (en) * 2002-11-12 2006-04-06 Koninklijke Philips Electronics N.V. Fingerprinting multimedia contents
EP1599879A1 (en) * 2003-02-26 2005-11-30 Koninklijke Philips Electronics N.V. Handling of digital silence in audio fingerprinting
EP1457889A1 (en) * 2003-03-13 2004-09-15 Koninklijke Philips Electronics N.V. Improved fingerprint matching method and system
WO2005050620A1 (en) * 2003-11-18 2005-06-02 Koninklijke Philips Electronics N.V. Matching data objects by matching derived fingerprints

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008127052A1 (en) * 2007-04-17 2008-10-23 Electronics And Telecommunications Research Institute System and method for searching audio fingerprint by index information
US9686596B2 (en) 2008-11-26 2017-06-20 Free Stream Media Corp. Advertisement targeting through embedded scripts in supply-side and demand-side platforms
US9706265B2 (en) 2008-11-26 2017-07-11 Free Stream Media Corp. Automatic communications between networked devices such as televisions and mobile devices
US9703947B2 (en) 2008-11-26 2017-07-11 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9716736B2 (en) 2008-11-26 2017-07-25 Free Stream Media Corp. System and method of discovery and launch associated with a networked media device
US9838758B2 (en) 2008-11-26 2017-12-05 David Harrison Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9848250B2 (en) 2008-11-26 2017-12-19 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9854330B2 (en) 2008-11-26 2017-12-26 David Harrison Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9866925B2 (en) 2008-11-26 2018-01-09 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9967295B2 (en) 2008-11-26 2018-05-08 David Harrison Automated discovery and launch of an application on a network enabled device
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10032191B2 (en) 2008-11-26 2018-07-24 Free Stream Media Corp. Advertisement targeting through embedded scripts in supply-side and demand-side platforms
US10074108B2 (en) 2008-11-26 2018-09-11 Free Stream Media Corp. Annotation of metadata through capture infrastructure
US10142377B2 (en) 2008-11-26 2018-11-27 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US10425675B2 (en) 2008-11-26 2019-09-24 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10771525B2 (en) 2008-11-26 2020-09-08 Free Stream Media Corp. System and method of discovery and launch associated with a networked media device
US10791152B2 (en) 2008-11-26 2020-09-29 Free Stream Media Corp. Automatic communications between networked devices such as televisions and mobile devices
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10986141B2 (en) 2008-11-26 2021-04-20 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device

Also Published As

Publication number Publication date
CN1708758A (zh) 2005-12-14
EP1561176A2 (en) 2005-08-10
US20060013451A1 (en) 2006-01-19
AU2003264774A1 (en) 2004-05-25
JP2006506659A (ja) 2006-02-23
WO2004040475A3 (en) 2004-07-15
WO2004040475A2 (en) 2004-05-13
AU2003264774A8 (en) 2004-05-25

Similar Documents

Publication Publication Date Title
KR20050061594A (ko) 개선된 오디오 데이터 지문 검색
JP4723171B2 (ja) マルチメディア・コンテンツのハッシュの生成および突合せ
IL282781A (en) Adaptive processing with multiple media processor nodes
US7477739B2 (en) Efficient storage of fingerprints
US6971013B2 (en) Recognizer of content of digital signals
US20060143190A1 (en) Handling of digital silence in audio fingerprinting
KR20040108796A (ko) 워터마크 임베딩과 검색
US20050229204A1 (en) Signal processing method and arragement
AU2015264941A1 (en) Adaptive Processing with Multiple Media Processing Nodes

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application