KR20160086680A - 오디오 신호 통신 방법 및 시스템 - Google Patents

오디오 신호 통신 방법 및 시스템 Download PDF

Info

Publication number
KR20160086680A
KR20160086680A KR1020150004369A KR20150004369A KR20160086680A KR 20160086680 A KR20160086680 A KR 20160086680A KR 1020150004369 A KR1020150004369 A KR 1020150004369A KR 20150004369 A KR20150004369 A KR 20150004369A KR 20160086680 A KR20160086680 A KR 20160086680A
Authority
KR
South Korea
Prior art keywords
audio signal
audio
data
fingerprint
signal
Prior art date
Application number
KR1020150004369A
Other languages
English (en)
Inventor
박태진
백승권
성종모
이용주
강경옥
김진웅
이태진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150004369A priority Critical patent/KR20160086680A/ko
Priority to US14/841,244 priority patent/US20160203824A1/en
Publication of KR20160086680A publication Critical patent/KR20160086680A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Abstract

본 발명의 실시예는 송신단 및 수신단에서의 오디오 신호 통신 방법과 그 시스템에 관한 것이다. 오디오 신호에 데이터를 오디오 워터마크하여 은닉하고, 상기 오디오 신호의 핑거프린트를 추출하는 단계; 상기 핑거프린트가 추출된 오디오 신호에 상기 데이터를 오디오 워터마크한 송신 오디오 신호를 생성하는 단계; 상기 오디오 신호 및 상기 송신 오디오 신호를 이용하여 상기 오디오 신호의 핑거프린트를 추출하는 단계; 및 상기 송신 오디오 신호를 수신단으로 전송하는 단계를 포함하는 오디오 신호 통신 방법이 제공될 수 있다.

Description

오디오 신호 통신 방법 및 시스템{Audio Signal Communication Method And System Thereof}
본 발명의 실시예는 송신단 및 수신단에서의 오디오 신호 통신 방법과 그 시스템에 관한 것이다.
오디오 워터마킹(Audio Watermark) 기술이란 오디오 신호에 인간의 청각 기관으로는 감지하기 힘든 신호를 은닉하여 데이터를 삽입하는 기술을 의미한다. 오디오 워터마킹에는 여러 가지 방법이 있고, 용도 또한 다양하다. 현재까지 오디오 워터마킹의 주된 용도는 디지털 권리 관리(Digital Rights Management -DRM)에 주로 사용되어 왔다. 오디오 워터마크를 통해 은닉된 데이터를 삽입하여 저작권자의 허가 없이 불법으로 복제되고 배포된 오디오 컨텐츠가 어떠한 루트를 통하여 배포되었는가에 대한 정보를 얻고 배포 경로를 추적할 수 있다.
또한 근래에는 오디오 워터마킹 기술이 이러한 DRM 에만 국한되지 않고, 음향 채널로 데이터를 전송하는(Acoustic Data Transfer-ADT) 기술로도 활용된다. 이 기술을 활용하면, 기존의 전자기파(Electro-Magnetic-EM)를 이용한 통신과 다르게 공기의 진동을 매체로 하여 데이터를 주고 받는 것이 가능하다.
반면, 오디오 핑거프린팅(Audio Fingerprinting) 기술은 오디오 워터마킹과는 다르게, 원본 오디오 신호에 어떠한 수정이나 편집을 가하지 않고, 오디오 신호가 가지고 있는 고유의 신호 특성을 정량화하여 데이터화 한다. 이러한 오디오 신호 특유의 신호는 사람의 ?峙? 과 같이 각각의 오디오 신호에서 추출된 특징들은 ??究?을 가져야 하며, 이를 통해서 오디오 신호의 식별이 가능해야 한다.
이러한 오디오 핑거프린팅 기술은 비슷한 방법이 적용된 비디오 핑거프린팅 기술보다 처리해야 하는 데이터의 용량이 작고, 소리라는 전달 매체가 비디오 카메라가 이용하는 "빛"이라는 매체와 달리 방향성이 없을 뿐 아니라, 사용자가 데이터를 수신하기에 비디오 정보보다 편리하기 때문에, 음악 검색, 컨텐츠 검색 분야에서 다양하게 사용되고 있다.
오디오 핑거프린팅 기술을 실제로 적용하려면, 검색하고자 하는 데이터베이스 풀에 대한 모든 핑거프린트 데이터를 확보하여 서버에 저장하고 있어야 한다. 데이터베이스 구축이 완료되면, 모바일 단말 등 사용자가 검색을 위해 수음한 오디오 정보에서 오디오 핑거프린팅 정보를 가지고 데이터베이스에서 오디오 신호에 대한 정보를 매치시켜 검색한다.
오디오 워터마킹과 오디오 핑거프린팅은 각자 장단점을 가지고 있다. 오디오 워터마킹은 오디오 신호 자체에 변형을 가하여 자칫 잘못하면 오디오 신호에 청감상의 손상을 줄 수 있는 반면에, 오디오 신호를 통하여 어떤 정보를 전달하기 위해 오디오 핑거프린팅과 같이 데이터베이스를 구축할 필요가 없다.
오디오 핑거프린팅은 데이터베이스의 구축이 필수적이기 때문에, 생방송 등의 환경에서는 운용하기에 어려움이 있을 수 있다. 오디오 신호 자체에 정보를 삽입하는 형태가 아니기 때문에 과거에 만들어진 오디오 신호에 대해서도 분석이 가능하며 이는 오디오 워터마킹으로는 대체할 수 없는 부분이다.
기존에 존재하는 오디오 워터마킹 기술은 대부분 DRM 등의 목적에 국한되어 있고, 음향 채널을 통해서 스피커에서 마이크로 데이터를 전송하는 목적으로는 잘 사용되지 않았다. 마찬가지로 오디오 핑거프린팅 기술도 오디오 신호를 통한 컨텐츠 검색에 국한되어 사용되어 왔다.
본 발명의 실시예를 통해서, 오디오 워터마킹 기술과 오디오 핑거프린트 기술을 동시에 융합적으로 사용하는 기술로 방송을 통해 전달되는 오디오 신호에 적용하여 TV 방송 혹은 라디오 방송을 통해 전달되는 음향 신호를 단말(스마트폰, 스마트 태블릿, 기타 스마트 장치)에서 마이크를 통해 음향 신호를 수음 한 뒤 분석하거나, TV 혹은 라디오 단말 자체에서 방송 선로를 통해 받은 오디오 신호를 분석하도록 한다.
또한, 신호 경로를 통하여 방송을 보면서 단말을 지니고 있는 사용자에게 인터넷을 통한 전자상거래 정보 혹은 콘텐츠 정보를 제공하며, 방송사 혹은 기업측에서는 사용자의 단말로 수음된 오디오 신호들을 통하여 시청률 조사, 시청자 성향 분석 등의 모니터링을 수행할 수 있는 기술을 제공하도록 한다.
전송할 오디오 신호에 데이터를 워터마크하여 은닉하는 단계; 상기 오디오 신호와 상기 데이터가 은닉된 오디오 신호를 비교하여 상기 오디오 신호의 핑거프린트를 추출하는 단계; 상기 핑거프린트를 오디오 특징 데이터베이스에 저장하는 단계; 및 상기 데이터가 은닉된 오디오 신호를 전송하는 단계를 포함하는 오디오 신호 통신 방법이 제공될 수 있다.
일측에 있어서, 상기 데이터는, 컨텐츠 ID 및 부가 데이터 중 적어도 하나를 포함할 수 있다.
또 다른 측면에 있어서, 상기 오디오 신호와 상기 데이터가 은닉된 오디오 신호를 비교하여 상기 오디오 신호의 핑거프린트를 추출하는 단계는, 상기 오디오 신호 및 상기 데이터가 은닉된 오디오 신호를 비교하여 상기 오디오 신호에서 상기 데이터가 은닉된 오디오 신호에서 동일하게 핑거프린트를 추출하는 단계를 포함할 수 있다.
또 다른 측면에 있어서, 방송 선로를 통해 상기 수신단에서 상기 송신 오디오 신호를 수신하는 단계를 더 포함할 수 있다.
또 다른 측면에 있어서, 상기 수신단에서 상기 송신 오디오 신호를 음향 신호로 변환하는 단계; 상기 음향 신호로부터 오디오 워터마크된 상기 데이터 및 상기 핑거프린트를 추출하는 단계; 및 상기 핑거프린트로부터 컨텐츠의 ID 및 부가 데이터를 획득하는 단계를 더 포함할 수 있다.
또 다른 측면에 있어서, 상기 핑거프린트로부터 컨텐츠의 ID 및 부가 데이터를 획득하는 단계는, 상기 오디오 특징 데이터베이스를 참조하여 상기 컨텐츠의 ID 및 부가 데이터를 획득하는 단계를 포함할 수 있다.
방송 선로를 통해 송신단으로부터 신호를 수신하는 단계; 상기 신호를 오디오 신호로 변환하는 단계; 상기 오디오 신호로부터 오디오 워터마크된 데이터 및 핑거프린트를 추출하는 단계; 및 상기 데이터 및 상기 핑거프린트로부터 컨텐츠의 ID 및 부가 데이터를 획득하는 단계를 포함하는 오디오 신호 통신 방법이 제공될 수 있다.
일측에 있어서, 상기 신호를 오디오 신호로 변환하는 단계는, 상기 오디오 신호를 상기 수신단과 연결된 음성 출력 장치로 출력하는 단계를 포함할 수 있다.
또 다른 측면에 있어서, 상기 데이터 및 상기 핑거프린트로부터 컨텐츠의 ID 및 부가 데이터를 획득하는 단계는, 상기 핑거프린트가 추출된 오디오 신호를 저장하는 상기 송신단의 오디오 특징 데이터베이스를 참조하여 상기 컨텐츠의 ID 및 부가 데이터를 획득하는 단계를 포함할 수 있다.
본 발명의 실시예를 통해서, 오디오 워터마킹 기술과 오디오 핑거프린트 기술을 동시에 융합적으로 사용하는 기술로 방송을 통해 전달되는 오디오 신호에 적용하여 TV 방송 혹은 라디오 방송을 통해 전달되는 음향 신호를 단말(스마트폰, 스마트 태블릿, 기타 스마트 장치)에서 마이크를 통해 음향 신호를 수음 한 뒤 분석하거나, TV 혹은 라디오 단말 자체에서 방송 선로를 통해 받은 오디오 신호를 분석할 수 있다.
또한, 신호 경로를 통하여 방송을 보면서 단말을 지니고 있는 사용자에게 인터넷을 통한 전자상거래 정보 혹은 콘텐츠 정보를 제공하며, 방송사 혹은 기업측에서는 사용자의 단말로 수음된 오디오 신호들을 통하여 시청률 조사, 시청자 성향 분석 등의 모니터링을 수행할 수 있는 기술을 제공할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 송신단에서 수행되는 오디오 신호 통신 방법의 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 수신단에서 수행되는 오디오 신호 통신 방법의 흐름도이다.
도 3은 본 발명의 일실시예에 있어서, 수신단에 음향 채널이 존재하는 경우에 대한 데이터 흐름을 도시한 것이다.
도 4는 본 발명의 일실시예에 있어서, 수신단에 음향 채널이 존재하지 않는 경우에 대한 데이터 흐름을 도시한 것이다.
이하, 오디오 신호의 통신 방법 및 그 시스템에 대해서 첨부된 도면을 참조하여 자세히 설명하도록 한다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 오디오 워터마크를 통해 정보를 전달하는 목적과 오디오 핑거프린트를 이용해 컨텐츠를 검색하는 목적을 동시에 달성하기 위해 두 가지 기술을 함께 적용하도록 한다.
도 1은 본 발명의 일실시예에 있어서, 송신단에서 수행되는 오디오 신호 통신 방법의 흐름도이다.
단계(110)에서 송신단은 전송할 오디오 신호에 데이터를 워터마크하여 은닉할 수 있다.
실시예에서, 오디오 신호는 라디오 방송 신호 또는 TV 방송 신호 등에 포함될 수 있다. 수신단으로 송신될 오디오 신호에 은닉하고자 하는 데이터에 대해 오디오 워터마크를 수행할 수 있다.
단계(120)에서, 송신단은 오디오 신호와 데이터가 은닉된 오디오 신호를 비교하여 오디오 신호의 핑거프린트를 추출할 수 있다
실시예에서, 오디오 신호와 상기 데이터가 은닉된 오디오 신호를 비교하여 오디오 신호의 고유 특징인 핑거프린트를 추출할 수 있다.
오디오 신호의 원본, 그리고 워터마크 은닉된 변형된 신호, 두 가지를 비교하여 오디오 신호 및 워터마크된 오디오 신호에서 동일하게 핑거프린트를 추출할 수 있다.
설명한 바와 같이, 본 발명의 제안 방법은 전송할 원본 오디오 신호에 데이터 은닉 과정, 즉 오디오 워터마크 과정과 오디오 특징 추출 과정, 즉 오디오 핑거프린트 추출 과정, 이 두 가지 과정을 모두 거치도록 할 수 있다.
단계(130)에서, 핑거프린트가 추출된 오디오 신호에 대해서, 추출된 핑거프린트는 "오디오 특징 데이터베이스"에 저장될 수 있다.
실시예에서, 추출된 핑거프린트는 오디오 특징 데이터베이스에 저장되어 수신단에서 참조될 수 있다.
단계(140)에서, 송신단은 데이터가 은닉된 오디오 신호를 수신단으로 전송할 수 있다. 전송되는 오디오 신호는 오디오 워터마크 및 핑거프린트 추출 과정을 통해서 부가 데이터 및 컨텐츠 ID 등에 대한 정보를 포함하여 수신단으로 전송될 수 있다.
실시예에서, 부가 데이터는 TV 드라마의 경우, 의류나 식품 등의 광고 정보에 해당할 수 있고, 스포츠의 경우에는 승률, 선수정보, 경기 일정 정도가 부가 정보에 해당될 수 있다. 공연 프로그램의 경우, 아티스트 정보, 관련 아티스트 공연 일정 등에 해당할 수 있다.
또한, 컨텐츠 ID는 드라마, 영화 등이 어떤 컨텐츠인지 알려주는 고유 번호 혹은 고유 시리얼 넘버를 의미할 수 있다. 예를 들어 KR20130411004321의 컨텐츠 ID는 2013년 4월 11일에 방영한 특정 드라마나 영화에 대한 고유 번호를 의미할 수 있다.
데이터가 은닉된 오디오 신호를 전송할 때, 수신단과 연결되어 있는 라디오나 TV 방송 선로(무선 주파수 자원) 등을 이용할 수 있다.
도 2는 본 발명의 일실시예에 있어서, 수신단에서 수행되는 오디오 신호 통신 방법의 흐름도이다.
실시예에 따른 오디오 신호는 도 1의 과정을 통해 데이터가 오디오 워터마크되고, 핑거프린트가 추출된 오디오 신호에 해당할 수 있다.
단계(210)에서, 수신단은 방송 선로를 통해 송신단으로부터 신호를 수신할 수 있다.
실시예에서, TV나 라디오에 연결되는 방송 선로를 통해 아날로그 및/또는 디지털 데이터를 유선 방송 선로 혹은 무선 방송 선로로부터 수신할 수 있다.
단계(220)에서, 수신단은 수신된 신호를 오디오 신호로 변환할 수 있다.
실시예에서, 수신단은 오디오 신호를 출력할 수 있는 스피커 등의 음성 출력 수단을 포함할 수 있다. 수신단은 수신된 신호를 출력할 수 있는 오디오 신호로 변환할 수 있고, 음성 출력 수단을 통해서 오디오 신호를 출력할 수 있다.
실시예에서, 수신단은 TV, 라디오 등을 포함할 수 있고, 음성 출력 수단은 TV, 라디오 등에 구비된 스피커 수단 등을 통해 음향 신호를 출력할 수 있다.
단계(230)에서, 수신단은 오디오 신호로부터 오디오 워터마크된 데이터 및 핑거프린트를 추출할 수 있다. 실시예에서, 음성 출력 수단을 통해 출력된 신호를 이용하여 오디오 워터마크된 데이터 및 핑거프린트를 추출할 수 있다. 두 가지의 추출 과정을 동시에 거칠 수 있다.
단계(240)에서, 수신단은 데이터와 핑거프린트로부터 컨텐츠의 ID 및 부가 데이터를 획득할 수 있다. 실시예에 있어서, 오디오 워터마크된 데이터 및 핑거프린트를 추출하는 과정을 통해서 송신단에서 보내고자 하는 부가 데이터 및 컨텐츠 ID 등의 정보를 파악할 수 있다.
실시예에 있어서, 핑거프린트가 추출된 오디오 신호 정보를 저장하고 있는 오디오 특징 데이터베이스를 참조하여 부가 데이터 및 컨텐츠 ID 등의 정보를 획득할 수 있다.
실시예에 있어서, 수신단은 음향 채널이 존재하는지 여부에 따라, 음향 신호를 출력하여 오디오 워터마크된 데이터 및 핑거프린트를 추출할 수 있다.
이하의 도 3 및 도 4는 수신단에 음향 채널이 존재하는 경우 및 존재하지 않는 경우 각각에 대한 데이터 흐름을 설명하도록 한다.
도 3은 본 발명의 일실시예에 있어서, 수신단에 음향 채널이 존재하는 경우에 대한 데이터 흐름을 도시한 것이다.
실시예에서, 도 1의 과정을 통해 데이터가 오디오 워터마크되고, 핑거프린트가 추출된 오디오 신호를 방송 선로를 통해 수신할 수 있다.
도 3의 실시예에 따른 수신단은 두 개의 단말로 구성될 수 있다. 이를 1차 단말(310) 및 2차 단말(320)으로 나누어 설명하도록 한다.
1차 단말(310)은 유선 및 무선 방송 선로와 연결되고, 수신 장치(311)를 통해서 오디오 신호를 수신할 수 있다. 수신된 신호는 1차 단말(310)의 스피커(312) 등의 음성 출력 수단에서 오디오 신호로 변환되어 출력될 수 있다. 이에, 수신된 신호에 포함된 오디오 신호가 출력될 수 있다.
출력된 오디오 신호는 음향 채널을 통해 2차 단말(320)로 수집될 수 있다. 실시예에서, 음향 채널은 오디오 신호가 출력되는 공기 중에 해당할 수 있으며, 2차 단말(320)의 마이크(321) 등의 음성 입력 수단을 통해 오디오 신호를 입력 받을 수 있다.
수신된 오디오 신호(34)는 2차 단말(320)에서 오디오 워터마크된 은닉 데이터(341)가 추출되고, 핑거프린트, 즉 특징 데이터(342)가 추출될 수 있다.
통합 데이터 분석 모듈(322)는 은닉 데이터(341) 및 특징 데이터(342)를 이용하여 송신단에서 전송한 오디오 신호에 포함되어 있는 부가 데이터(343) 및 컨텐츠 ID(344) 등을 파악할 수 있다. 실시예에 따라 부가 데이터 및 컨텐츠 ID 등을 파악하는데 있어서, 송신단에서 핑거프린트를 추출하여 저장한 오디오 특징 데이터베이스(330)를 참조하여 상기 정보들을 획득할 수 있다.
도 4는 본 발명의 일실시예에 있어서, 수신단에 음향 채널이 존재하지 않는 경우에 대한 데이터 흐름을 도시한 것이다.
본 발명의 실시예를 이용한 오디오 신호 통신 방법은, 도 3과 같이, 수신단의 1차 단말에서 스피커 등을 통해 수신된 신호를 오디오 신호로 변환하고, 마이크 등을 구비하고 있는 2차 단말을 통해 수음되는 과정 없이 하나의 단말을 통해 데이터를 추출하고, 정보를 주고 받는 시스템을 포함할 수 있다. 도 4의 시스템은 1차 단말(410)에서 수신된 신호를 오디오 신호로 변환하지 않고, 방송 선로로 전달받은 신호를 단말 내에서만 분석할 수 있다.
실시예에서, 1차 단말(410)은 수신 장치(421)를 통해 TV나 라디오에 연결되는 방송 선로를 통해 아날로그 및/또는 디지털 데이터를 유선 방송 선로 혹은 무선 방송 선로로부터 수신할 수 있다.
수신된 오디오 신호(44)는 1차 단말 내에서 오디오 워터마크된 은닉 데이터(441)가 추출되고, 특징 데이터(442), 즉 핑거프린트가 추출될 수 있다.
이후, 통합 데이터 분석 모듈(422)는 은닉 데이터(441) 및 특징 데이터(442)를 수신하여 송신단에서 전송한 오디오 신호에 포함되어 있는 부가 데이터(443) 및 컨텐츠 ID(444) 등을 파악하도록 분석할 수 있다. 실시예에 따라 부가 데이터 및 컨텐츠 ID 등을 파악하는데 있어서, 송신단에서 핑거프린트를 추출하여 저장한 오디오 특징 데이터베이스(420)를 참조하여 상기 정보들을 획득할 수 있다.
실시예에 있어서, 본 발명에서 필수적으로 필요한 기술적 문제로, 오디오 워터마크와 오디오 핑거프린트 두 가지 구술을 함께 적용하기 위해서, 오디오 신호에 변형을 가하는 오디오 워터마크 과정을 거친 오디오 파일이 오디오 핑거프린트 특징을 추출하여도 그 고유한 오디오 핑거프린트의 특징이 변하지 않아야 한다. 이를 위해, 본 발명의 시스템은 하기 설명하는 기술적 조건을 만족할 수 있다.
오디오 신호에 변형을 가하는 과정이 오디오 특징(오디오 핑거프린트)에 영향을 미치지 않게 하는 기술 및, 오디오 신호에 작은 변형이 가해져도 원본 오디오 신호와 동일한 오디오 특징(오디오 핑거프린트)를 추출하는 기술이 필요하다. 두 가지 기술적 해결책은 이론적으로는 한쪽이 완벽하면 다른 한쪽을 필수적으로 고려하지 않아도 되나, 이 두 기술은 상호 보완적으로 존재할 수 있다.
본 발명의 실시예에 따른 기술을 통해 오디오 워터마크 및 핑거프린트 추출, 이 두 기술이 개별적으로 구현하고자 하는 목적을 더 충실히 수행할 수 있다.
세부적으로, 생방송에서는 실시간으로 오디오 핑거프린트 데이터를 서버에 업데이트 해야 되기 때문에 이를 이용해 콘텐츠 ID 를 파악하기 어려우나, 본 발명을 통해서, 생방송 상황 시에 실시간 은닉 데이터 인코더를 이용, 은닉 데이터를 이용하여 콘텐츠 ID 를 파악할 수 있다.
생방송이 아닌 일반적인 녹화방송 때는, 기 구축된 오디오 특징 데이터베이스를 활용해, 오디오 신호의 시간적 위치를 파악하여 동기화 정보로 활용할 수 있기 때문에, 시간 동기화를 별도로 행해주어야 했던 기존의 오디오 데이터 은닉 방법보다 더 용량이 크고, 빠른 데이터 전송을 가능하게 한다.
더불어, 음악신호와는 다르게 방송 데이터에는 오디오 신호가 아무 데이터도 담고 있지 않은 ?Ю? 구간이 많은데, 이러한 구간에서는 오디오 데이터 속에 은닉된 오디오 워터마크 데이터를 오디오 핑거프린트 데이터 대용으로 활용할 수 있다.
본 발명의 실시예를 통해서, 오디오 워터마킹 기술과 오디오 핑거프린트 기술을 동시에 융합적으로 사용하는 기술로 방송을 통해 전달되는 오디오 신호에 적용하여 TV 방송 혹은 라디오 방송을 통해 전달되는 음향 신호를 단말(스마트폰, 스마트 태블릿, 기타 스마트 장치)에서 마이크를 통해 음향 신호를 수음 한 뒤 분석하거나, TV 혹은 라디오 단말 자체에서 방송 선로를 통해 받은 오디오 신호를 분석할 수 있다.
또한, 신호 경로를 통하여 방송을 보면서 단말을 지니고 있는 사용자에게 인터넷을 통한 전자상거래 정보 혹은 콘텐츠 정보를 제공하며, 방송사 혹은 기업측에서는 사용자의 단말로 수음된 오디오 신호들을 통하여 시청률 조사, 시청자 성향 분석 등의 모니터링을 수행할 수 있는 기술을 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등한 것들에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (9)

  1. 전송할 오디오 신호에 데이터를 워터마크하여 은닉하는 단계;
    상기 오디오 신호와 상기 데이터가 은닉된 오디오 신호를 비교하여 상기 오디오 신호의 핑거프린트를 추출하는 단계;
    상기 핑거프린트를 오디오 특징 데이터베이스에 저장하는 단계; 및
    상기 데이터가 은닉된 오디오 신호를 전송하는 단계
    를 포함하는 오디오 신호 통신 방법.
  2. 제1항에 있어서,
    상기 데이터는,
    컨텐츠 ID 및 부가 데이터 중 적어도 하나
    를 포함하는, 오디오 신호 통신 방법.
  3. 제1항에 있어서,
    상기 오디오 신호와 상기 데이터가 은닉된 오디오 신호를 비교하여 상기 오디오 신호의 핑거프린트를 추출하는 단계는,
    상기 오디오 신호 및 상기 데이터가 은닉된 오디오 신호를 비교하여 상기 오디오 신호에서 상기 데이터가 은닉된 오디오 신호에서 동일하게 핑거프린트를 추출하는 단계
    를 포함하는, 오디오 신호 통신 방법.
  4. 제1항에 있어서,
    방송 선로를 통해 수신단에서 상기 전송된 오디오 신호를 수신하는 단계
    를 더 포함하는, 오디오 신호 통신 방법.
  5. 제4항에 있어서,
    상기 수신단에서 상기 전송된 오디오 신호를 음향 신호로 변환하는 단계;
    상기 음향 신호로부터 오디오 워터마크된 상기 데이터 및 상기 핑거프린트를 추출하는 단계; 및
    상기 핑거프린트로부터 컨텐츠의 ID 및 부가 데이터를 획득하는 단계
    를 더 포함하는, 오디오 신호 통신 방법.
  6. 제5항에 있어서,
    상기 핑거프린트로부터 컨텐츠의 ID 및 부가 데이터를 획득하는 단계는,
    상기 오디오 특징 데이터베이스를 참조하여 상기 컨텐츠의 ID 및 부가 데이터를 획득하는 단계
    를 포함하는, 오디오 신호 통신 방법.
  7. 수신단에서, 방송 선로를 통해 송신단으로부터 신호를 수신하는 단계;
    상기 신호를 오디오 신호로 변환하는 단계;
    상기 오디오 신호로부터 오디오 워터마크된 데이터 및 핑거프린트를 추출하는 단계; 및
    상기 데이터 및 상기 핑거프린트로부터 컨텐츠의 ID 및 부가 데이터를 획득하는 단계
    를 포함하는, 오디오 신호 통신 방법.
  8. 제7항에 있어서,
    상기 신호를 오디오 신호로 변환하는 단계는,
    상기 오디오 신호를 상기 수신단과 연결된 음성 출력 장치로 출력하는 단계
    를 포함하는, 오디오 신호 통신 방법.
  9. 제7항에 있어서,
    상기 데이터 및 상기 핑거프린트로부터 컨텐츠의 ID 및 부가 데이터를 획득하는 단계는,
    상기 핑거프린트가 추출된 오디오 신호를 저장하는 상기 송신단의 오디오 특징 데이터베이스를 참조하여 상기 컨텐츠의 ID 및 부가 데이터를 획득하는 단계
    를 포함하는, 오디오 신호 통신 방법.
KR1020150004369A 2015-01-12 2015-01-12 오디오 신호 통신 방법 및 시스템 KR20160086680A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150004369A KR20160086680A (ko) 2015-01-12 2015-01-12 오디오 신호 통신 방법 및 시스템
US14/841,244 US20160203824A1 (en) 2015-01-12 2015-08-31 Audio signal communication method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150004369A KR20160086680A (ko) 2015-01-12 2015-01-12 오디오 신호 통신 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20160086680A true KR20160086680A (ko) 2016-07-20

Family

ID=56367978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150004369A KR20160086680A (ko) 2015-01-12 2015-01-12 오디오 신호 통신 방법 및 시스템

Country Status (2)

Country Link
US (1) US20160203824A1 (ko)
KR (1) KR20160086680A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645406B2 (en) 2020-07-16 2023-05-09 Humanscape Inc. System for verifying data access and method thereof
US11836274B2 (en) 2020-07-16 2023-12-05 Humanscape Inc. System for embedding digital verification fingerprint and method thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US9081778B2 (en) 2012-09-25 2015-07-14 Audible Magic Corporation Using digital fingerprints to associate data with a work
KR102068556B1 (ko) * 2015-04-02 2020-01-21 한국전자통신연구원 파일럿 코드 시퀀스를 이용한 데이터 은닉/추출 장치 및 방법
US10997236B2 (en) * 2015-04-27 2021-05-04 Samsung Electronics Co., Ltd. Audio content recognition method and device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711564B2 (en) * 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
AU2002346116A1 (en) * 2001-07-20 2003-03-03 Gracenote, Inc. Automatic identification of sound recordings
US20050203872A1 (en) * 2004-03-05 2005-09-15 Kwong Kwan John M. Method and apparatus making, operating and using media parsers to mark, read, and unmark instances of media formats supporting one, two and multi-dimensional instances and data streams

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645406B2 (en) 2020-07-16 2023-05-09 Humanscape Inc. System for verifying data access and method thereof
US11836274B2 (en) 2020-07-16 2023-12-05 Humanscape Inc. System for embedding digital verification fingerprint and method thereof

Also Published As

Publication number Publication date
US20160203824A1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
US11477156B2 (en) Watermarking and signal recognition for managing and sharing captured content, metadata discovery and related arrangements
KR20160086680A (ko) 오디오 신호 통신 방법 및 시스템
US8869222B2 (en) Second screen content
US10469907B2 (en) Signal processing method for determining audience rating of media, and additional information inserting apparatus, media reproducing apparatus and audience rating determining apparatus for performing the same method
US20160073148A1 (en) Media customization based on environmental sensing
US20160381436A1 (en) System and method for auto content recognition
US11803589B2 (en) Systems, methods, and media for identifying content
JP2007528144A (ja) マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置
KR20040108796A (ko) 워터마크 임베딩과 검색
US9426411B2 (en) Method and apparatus for generating summarized information, and server for the same
CN104598541A (zh) 多媒体文件的识别方法、装置
WO2013169935A1 (en) Methods and apparatuses for communication of audio tokens
KR101358807B1 (ko) 디지털 워터마크를 이용한 멀티 디바이스간 프로그램 동기화 방법 및 이를 구현하기 위한 시스템
CN103763578A (zh) 一种节目关联信息推送方法和装置
CN110047497B (zh) 背景音频信号滤除方法、装置及存储介质
JP2022095945A (ja) オーディオを含むコンテンツに対する補助データの同期化
JP7227140B2 (ja) 情報処理装置、情報処理方法、音声処理装置、及び音声処理方法
CN103747277A (zh) 一种多媒体节目识别方法和装置
JP4125232B2 (ja) 条件付アクセスを与える方法及び装置
CN103716647A (zh) 一种在播放多声道环绕声视频、音频时获得双声道立体声效果的方法
US11557303B2 (en) Frictionless handoff of audio content playing using overlaid ultrasonic codes
Suzuki et al. AnnoTone: Record-time audio watermarking for context-aware video editing
CN103731677A (zh) 一种在播放双声道立体声视频、音频时获得多声道环绕声效果的方法
EP2811416A1 (en) An identification method
CN105554590B (zh) 一种基于音频指纹的直播流媒体识别系统

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid