KR101099339B1

KR101099339B1 - 복수-감지기형 음성 향상 방법 및 컴퓨터-판독가능 매체

Info

Publication number: KR101099339B1
Application number: KR1020040090358A
Authority: KR
Inventors: 아세로알레잔드로; 드롭포제임스지.; 뎅리; 신클레어마이클제이.; 후앙수동데이비드; 젱얀리; 장젱유; 리우지쳉
Original assignee: 마이크로소프트 코포레이션
Priority date: 2003-11-26
Filing date: 2004-11-08
Publication date: 2011-12-26
Also published as: CN1622200A; JP2011209758A; JP5247855B2; BRPI0404602A; EP1536414A3; JP4986393B2; JP2011203759A; US7447630B2; CN101887728A; MXPA04011033A; US20050114124A1; JP2005157354A; CA2786803C; RU2373584C2; CA2485800A1; EP1536414A2; RU2004131115A; KR20050050534A; AU2004229048A1; JP5147974B2

Abstract

본 방법 및 시스템은 공기 전도 마이크로폰이 아닌 감지기로부터 수신된 대체 감지기 신호를 사용해 순수 음성 값을 추정한다. 본 추정은 대체 감지기 신호를 단독으로 또는 공기 전도 마이크로폰 신호와 함께 사용한다. 공기 전도 마이크로폰으로부터 수집된 노이즈 섞인 트레이닝 데이터로부터 트레이닝된 모델의 사용없이, 순수 음성 값이 추정된다. 일 실시예에 따르면, 공기 전도 마이크로폰 신호에 적용되어 순수 음성 추정치를 생성하는 필터를 형성하기 위해, 대체 감지기 신호로부터 형성된 벡터에 정정 벡터들이 가산된다. 다른 실시예들에서는, 대체 감지기 신호로부터 음성 신호의 피치가 판정되어 공기 전도 마이크로폰 신호를 분해하는데 사용된다. 그 다음, 분해된 신호는 순수 신호 추정치를 판정하는데 사용된다.

공기 전도 마이크로폰, 음성 신호, 노이즈, 피치

Description

복수-감지기형 음성 향상 방법 및 컴퓨터-판독가능 매체{METHOD AND APPARATUS FOR MULTI-SENSORY SPEECH ENHANCEMENT}

도 1은 본 발명이 실시될 수 있는 일 컴퓨팅 환경의 블록도이다.

도 2는 본 발명이 실시될 수 있는 다른 컴퓨팅 환경의 블록도이다.

도 3은 본 발명의 일반적 음성 프로세싱 시스템의 블록도이다.

도 4는 본 발명의 일 실시예에 따라 노이즈 감소 파라미터들을 트레이닝하는 시스템의 블록도이다.

도 5는 도 4의 시스템을 사용해 노이즈 감소 파라미터들을 트레이닝하는 흐름도이다.

도 6은 본 발명의 일 실시예에 따라 노이즈 섞인 테스트 음성 신호로부터 순수 음성 신호 추정치를 식별하는 시스템의 블록도이다.

도 7은 도 6의 시스템을 사용해 순수 음성 신호 추정치를 식별하는 방법의 흐름도이다.

도 8은 순수 음성 신호 추정치를 식별하는 다른 시스템의 블록도이다.

도 9는 순수 음성 신호 추정치를 식별하는 제2의 다른 시스템의 블록도이다.

도 10은 도 9의 시스템을 사용해 순수 음성 신호 추정치를 식별하는 방법의 흐름도이다.

도 11은 골전도 마이크로폰의 블록도이다.

<도면의 주요 부분에 대한 부호의 설명>

300 : 스피커

302 : 음성 신호

304 : 공기 전도 마이크로폰

306 : 대체 감지기

308 : 노이즈

310 : 노이즈 소스들

312 : 대체 감지기 신호

314 : 공기 전도 마이크로폰 신호

316 : 순수 신호 추정기

318 : 순수 신호

320 : 음성 프로세스

본 발명은 노이즈 감소에 관한 것이다. 보다 구체적으로, 본 발명은 음성 신호들로부터 노이즈를 제거하는 것에 관한 것이다.

음성 인식 및 음성 전송에서의 일반적인 문제점은 부가 노이즈에 의한 음성 신호의 손상이다. 구체적으로, 다른 스피커의 음성으로 인한 손상을 검출 및/또는 정정하기가 어렵다는 것이 확인되었다.

노이즈를 제거하기 위한 일 기술은 다양한 조건들에서 수집된 한 세트의 노이즈 트레이닝 신호들을 사용해 노이즈의 모델링을 시도한다. 이들 트레이닝 신호들은 디코딩되거나 전송될 테스트 신호 이전에 수신되어 트레이닝 목적에만 사용된다. 이러한 시스템들도 노이즈를 고려한 모델들의 구축을 시도하지만, 이들은 트레이닝 신호들의 노이즈 조건들이 테스트 신호들의 노이즈 조건들과 매칭될 경우에만 효과가 있다. 가능한 노이즈들이 다수이고 노이즈들의 조합들이 무한할 수 있으므로, 트레이닝 신호들로부터 모든 테스트 조건들을 핸들링할 수 있는 노이즈 모델들을 구축하기는 대단히 어렵다.

노이즈를 제거하는 또 하나의 기술은 테스트 신호에서 노이즈를 추정한 다음 추정된 노이즈를 노이즈 섞인 음성 신호에서 감산하는 것이다. 통상적으로, 이러한 시스템들은 테스트 신호의 선행 프레임들로부터 노이즈를 추정한다. 따라서, 노이즈가 시간에 따라 변하는 경우라면, 현재 프레임에 대한 노이즈 추정치는 부정확할 것이다.

음성 신호의 노이즈를 추정하는 종래 기술의 일 시스템은 인간 음성의 고조파를 사용한다. 인간 음성의 고조파는 주파수 스펙트럼에 피크들(peaks)을 발생시킨다. 이러한 피크들간의 널들(nulls)을 식별하는 것에 의해, 이들 시스템들은 노이즈의 스펙트럼을 식별한다. 그 다음, 노이즈 섞인 음성 신호의 스펙트럼에서 이 스펙트럼을 감산하여 순수 음성 신호(clear speech signal)를 제공한다.

음성의 고조파는, 디지털 통신 경로를 통한 전송을 위해 음성을 인코딩할 때 송신해야 하는 데이터량을 감소시키기 위해, 음성 코딩에도 사용되어 왔다. 이러한 시스템들은 음성 신호를 고조파 성분과 랜덤 성분으로 분리하고자 한다. 그 다음, 각 성분은 전송을 위해 개별적으로 인코딩된다. 구체적으로, 일 시스템은, 정현파들의 합 모델(sum-of-sinusoids model)이 분해를 수행할 음성 신호에 적합한 고조파+노이즈 모델(harmonic+noise model)을 사용하였다.

음성 코딩의 경우, 노이즈 섞인 입력 음성 신호를 정확하게 표현하는 음성 신호의 매개 변수 표현을 찾아내기 위해 분해가 이루어진다. 이러한 분해는 노이즈-감소 능력이 없다.

최근에는, 골전도(bone conduction) 마이크로폰과 같은, 대체 감지기와 공기 전도(air conduction) 마이크로폰의 조합을 사용하는 것에 의해 노이즈의 제거를 시도하는 시스템이 개발되고 있다. 이 시스템은, 노이즈 섞인 대체 감지기 트레이닝 신호, 노이즈 섞인 공기 전도 마이크로폰 트레이닝 신호 및 순수 공기 전도 마이크로폰 트레이닝 신호와 같은, 3개의 트레이닝 채널들을 사용해 트레이닝된다. 신호들 각각은 특징 영역(feature domain)으로 변환된다. 노이즈 섞인 대체 감지기 신호 및 노이즈 섞인 공기 전도 마이크로폰 신호에 대한 특징들은 노이즈 섞인 신호(noisy signal)를 표현하는 하나의 벡터로 조합된다. 순수 공기 전도 마이크폰 신호에 대한 특징들은 하나의 순수 벡터를 형성한다. 그 다음, 이들 벡터들은 노이즈 섞인 벡터들과 순수 벡터들간의 매핑을 트레이닝하는데 사용된다. 일단 트레이닝되고 나면, 이 매핑들은 노이즈 섞인 대체 감지기 테스트 신호 및 노이즈 섞인 공기 전도 마이크로폰 테스트 신호의 조합으로부터 형성된 노이즈 섞인 벡터에 적용된다. 이러한 매핑이 순수 신호 벡터를 발생시킨다.

이러한 시스템은, 트레이닝 신호들의 노이즈 조건들에 대해 매핑들이 설계되기 때문에, 테스트 신호들의 노이즈 조건들이 트레이닝 신호들의 노이즈 조건들과 매칭되지 않을 경우에는 적합하지 않다.

본 방법 및 시스템은 공기 전도 마이크로폰 이외의 감지기로부터 수신된 대체 감지기 신호를 순수 음성값을 추정하는데 사용한다. 공기 전도 마이크로폰으로부터 수집된 노이즈 섞인 트레이닝 데이터로부터 트레이닝된 모델을 사용하지 않으면서, 순수 음성값을 추정한다. 일 실시예에 따르면, 음성 전도 마이크로폰 신호에 적용되어 순수 음성 추정치를 발생시키는 필터를 형성하기 위해, 대체 감지기 신호로부터 형성된 벡터에 정정 벡터들이 부가된다. 다른 실시예들에서는, 대체 감지기 신호로부터 음성 신호의 피치가 판정되어 공기 전도 마이크로폰 신호를 분해하는데 사용된다. 그 다음, 분해된 신호는 순수 신호 추정치를 식별하는데 사용된다.

도 1은 본 발명이 구현될 수 있는 적당한 컴퓨팅 시스템 환경(100)의 일례를 도시한다. 컴퓨팅 시스템 환경(100)은 적당한 컴퓨팅 환경의 일례일 뿐이며, 본 발명의 사용 또는 기능 범위를 한정하려는 것은 아니다. 컴퓨팅 환경(100)은 예시적인 오퍼레이팅 환경(100)에 도시된 컴포넌트들 중의 어느 하나 또는 컴포넌트들의 조합과 관련하여 어떠한 의존성이나 요구사항을 갖는 것으로 해석되어서는 안된 다.

본 발명은 다수의 다른 범용 또는 특수 목적의 컴퓨팅 시스템 환경 또는 구성으로도 동작할 수 있다. 본 발명에 사용하기에 적당할 수 있는 널리-공지된 컴퓨팅 시스템, 환경 및/또는 구성의 예로는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드-헬드 또는 랩탑 장치, 멀티-프로세서 시스템, 마이크로프로세서-기반 시스템, 셋톱 박스, 프로그램 가능한 상용 전자제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 텔레포니 시스템, 상기 시스템 또는 장치들 중 하나를 포함하는 분산 컴퓨팅 환경 등을 들 수 있지만, 이에 한정되는 것은 아니다.

본 발명은 컴퓨터에 의해 실행되는, 프로그램 모듈과 같은, 컴퓨터-실행가능 명령어들의 일반적인 문맥으로 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정한 태스크를 수행하거나 특정한 추상적 데이터형을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은, 통신 네트워크를 통해 링크되어 있는 원격 프로세싱 장치들에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서 실시되도록 설계된다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 장치들을 포함하는 로컬 및 원격 메모리 저장 매체 모두에 배치된다.

도 1을 참조하면, 본 발명을 구현하기 위한 예시적 시스템은 컴퓨터(110) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트로는 프로세싱 유닛(120), 시스템 메모리(130) 및, 시스템 메모리(130)를 포함하는 다양한 시스템 컴포넌트들을 프로세싱 유닛(120)에 결합시키는 시스템 버스(121)를 들 수 있지만, 이에 한정되는 것은 아니다. 시스템 버스(121)는 메모리 버스 또는 메모리 컨트롤 러, 주변장치 버스 및 다양한 버스 아키텍처들 중 하나를 사용하는 로컬 버스를 포함하는 몇가지 타입의 버스 구조들 중 하나일 수 있다. 한정이 아닌 일례로써, 이러한 버스 아키텍처로는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스 및 Mezzanine 버스라고도 하는 PCI(peripheral Component Interconnects) 버스를 들 수 있다.

컴퓨터(110)는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스될 수 있는 이용가능한 임의의 매체일 수 있으며, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체 모두를 포함한다. 한정이 아닌 일례로써, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 구비할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CDROM, DVD 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 소정 정보를 저장하는데 사용될 수 있으며 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되는 것은 아니다. 통신 매체는 통상적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 반송파와 같은 변조 데이터 신호나 다른 전송 방식의 다른 데이터를 구현하며 임의의 정보 전달 매체를 포함한다. "변조 데이터 신호"라는 용어는, 정보를 신호로 인코딩하는 방식으로 변경되거나 설정된 하나 이상의 특징을 갖는 신호를 의미한다. 한정이 아닌 일례로써, 통신 매체는 유선 네트워크 또는 직접-유선 접속과 같은 유선 매체 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다. 상기한 것들의 임의 조합들 또한 컴퓨터 판독가능 매체의 범위내에 포함되어야 한다.

시스템 메모리(130)는 ROM(read only memory;131) 및 RAM(random access memory;132)과 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 스타트-업(start-up) 동안과 같은 때에, 컴퓨터(110)내의 요소들 사이에서 정보 전달을 돕는 기본적 루틴을 포함하는 BIOS(basic input/output system;133)는 ROM(131)에 저장된다. RAM(132)은 통상적으로, 프로세싱 유닛(120)으로 즉시 액세스될 수 있거나 및/또는 프로세싱 유닛(120)에 의해 현재 연산되고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 한정이 아닌 일례로써, 도 1은 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 다른 프로그램 모듈(136) 및 프로그램 데이터(137)를 도시한다.

컴퓨터(110)는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체도 포함할 수 있다. 단지 일례로써, 도 1은 비분리형, 비휘발성 자기 매체로부터 판독하고 그에 기입하는 하드 디스크 드라이브(141), 분리형, 비휘발성 자기 디스크(152)로부터 판독하고 그에 기입하는 자기 디스크 드라이브(151) 및, CD-ROM 또는 다른 광학 매체와 같은, 분리형, 비휘발성 광학 디스크(156)로부터 판독하고 그에 기입하는 광학 디스크 드라이브(155)를 도시한다. 예시적 오퍼레이팅 환경에 사용 될 수 있는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체로는 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 반도체 RAM, 반도체 ROM 등을 들 수 있지만, 이에 한정되는 것은 아니다. 하드 디스크 드라이브(141)는 통상적으로 인터페이스(140)와 같은 비휘발성 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151) 및 광학 디스크 드라이브(155)는 통상적으로 인터페이스(150)와 같은 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.

상술되고 도 1에 도시된 드라이브들 및 그들과 관련된 컴퓨터 저장 매체는 컴퓨터(110)에 컴퓨터-실행가능 명령어들, 데이터 구조들, 프로그램 모듈들 및 다른 데이터의 저장을 제공한다. 도 1에는, 예를 들어, 하드 디스크 드라이브(141)가 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146) 및 프로그램 데이터(147)를 저장하는 것으로 도시되어 있다. 이들 컴포넌트들은 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 다른 프로그램 모듈(136) 및 프로그램 데이터(137)와 동일하거나 상이할 수 있다. 여기에서는, 최소한, 이들이 상이한 복사본임을 지시하기 위해, 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146) 및 프로그램 데이터(147)에 상이한 번호가 부여되어 있다.

사용자는 키보드(162), 마이크로폰(163) 및, 마우스, 트랙볼 또는 터치패드와 같은, 포인팅 장치(161)와 같은 입력 장치를 통해 명령 및 정보를 컴퓨터(110)에 입력할 수 있다. (도시하지 않은) 다른 입력 장치로는 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 들 수 있다. 이들 및 다른 입력 장치들은 대개, 시스템 버스에 결합되어 있는 사용자 입력 인터페이스(160)를 통해 프로세싱 유닛(120)에 접속되지만, 병렬 포트, 게임 포트, 또는 USB(universal serial bus)와 같은 다른 인터페이스 및 버스 구조에 의해 접속될 수도 있다. 모니터(191) 또는 다른 타입의 디스플레이 장치 또한, 비디오 인터페이스(190)와 같은 인터페이스를 통해 버스(121)에 접속된다. 모니터 이외에, 컴퓨터는 출력 주변 장치 인터페이스(195)를 통해 접속될 수 있는, 스피커(197) 및 프린터(196)와 같은, 다른 주변 출력 장치들도 포함할 수 있다.

컴퓨터(110)는, 원격 컴퓨터(180)와 같은, 하나 이상의 원격 컴퓨터들로의 논리적 접속을 사용하는 네트워크 환경에서 동작한다. 원격 컴퓨터(180)는 퍼스널 컴퓨터, 핸드-헬드 장치, 서버, 라우터, 네트워크 PC, 피어 장치 또는 다른 공통 네트워크 노드일 수 있으며, 통상적으로 컴퓨터(110)와 관련하여 상술한 요소들 중많은 것을 또는 그 전부를 포함한다. 도 1에 도시된 논리적 접속은 LAN(local area network;171) 및 WAN(wide area network;173)을 포함하지만, 다른 네트워크들을 포함할 수도 있다. 이러한 네트워킹 환경은 사무실, 기업 광역 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔히 볼 수 있다.

LAN 네트워킹 환경에서 사용될 경우, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(176)를 통해 LAN(171)에 접속된다. WAN 네트워킹 환경에서 사용될 경우, 컴퓨터(110)는 통상적으로, 인터넷과 같은, WAN(179)을 통해 통신을 확립하기 위한 모뎀(172) 또는 다른 수단을 포함한다. 내장형이거나 외장형일 수 있는 모뎀 (172)은 사용자 입력 인터페이스(160) 또는 다른 적절한 메커니즘을 통해 시스템 버스(121)에 접속될 수 있다. 네트워크 환경에서, 컴퓨터(110)와 관련하여 도시한 프로그램 모듈들 또는 그 일부는 원격 메모리 저장 장치에 저장될 수 있다. 한정이 아닌 일례로써, 도 1은 원격 애플리케이션 프로그램(185)을 원격 컴퓨터(180)에 상주하는 것으로 도시하고 있다. 도시된 네트워크 접속은 예시적인 것이며 컴퓨터들간에 통신 링크를 확립하는 다른 수단이 사용될 수도 있다는 것을 알 수 있다.

도 2는, 예시적 컴퓨팅 환경인 모바일 장치(200)의 블록도이다. 모바일 장치(200)는 마이크로프로세서(202), 메모리(204), 입/출력(I/O) 컴포넌트(206) 및, 원격 컴퓨터들 또는 다른 모바일 장치들과의 통신을 위한 통신 인터페이스(208)를 포함한다. 일 실시예에서는, 상기 컴포넌트들이 적당한 버스(210)를 통해 서로 통신하도록 결합되어 있다.

메모리(204)는, (도시하지 않은) 배터리 백업 모듈을 가진 RAM과 같은, 비휘발성 전자 메모리로 구현되어 모바일 장치(200)에 대한 전원이 차단될 경우 메모리(204)에 저장된 정보가 상실되지 않는다. 메모리(204)의 일부는 프로그램 실행을 위해 주소 지정이 가능한 메모리로 할당되는 한편, 메모리(204)의 다른 일부는, 디스크 드라이브상에 저장 장치를 시뮬레이팅하는 것과 같이, 저장에 사용되는 것이 바람직하다.

메모리(204)는 오퍼레이팅 시스템(212), 애플리케이션 프로그램들(214) 뿐만 아니라 오브젝트 저장장치(216)를 포함한다. 동작하는 동안, 오퍼레이팅 시스템(212)은 프로세서(202)에 의해 메모리(204)로부터 실행되는 것이 바람직하다. 바 람직한 일 실시예에서, 오퍼레이팅 시스템(212)은 마이크로 코포레이션(Microsoft Corporation)으로부터 사용가능한 WINDOWS® CE 브랜드의 오퍼레이팅 시스템이다. 오퍼레이팅 시스템(212)은 모바일 장치들에 대해 설계되는 것이 바람직하며, 한 세트의 노출된 애플리케이션 프로그래밍 인터페이스들 및 메소드들을 통해 애플리케이션들(214)에 의해 이용될 수 있는 데이터베이스 특징들을 구현한다. 오브젝트 저장(216)의 오브젝트들은, 노출된 애플리케이션 프로그래밍 인터페이스들 및 메소드들의 호출에 적어도 부분적으로 응답하여, 애플리케이션들(214) 및 오퍼레이팅 시스템(212)에 의해 유지된다.

통신 인터페이스(208)는, 모바일 장치(200)가 정보를 송수신할 수 있게 하는 다수의 장치들 및 기술들을 나타낸다. 이러한 장치들을 몇가지 제시하자면, 유선 및 무선 모뎀들, 위성 수신기들 및 브로드캐스트 튜너들을 들 수 있다. 모바일 장치(200)는 컴퓨터와 데이터를 교환하기 위해 컴퓨터에 직접적으로 접속될 수도 있다. 이러한 경우, 통신 인터페이스(208)는 적외선 송수신기 또는 직렬이나 병렬의 통신 접속일 수 있는데, 이들 모두는 스트리밍 정보를 전송할 수 있다.

입/출력 컴포넌트(206)는 접촉식 스크린, 버튼, 롤러 및 마이크로폰과 같은 다양한 입력 장치들 뿐만 아니라 오디오 발생기, 진동 장치 및 디스플레이를 포함하는 다양한 출력 장치들을 포함한다. 상기한 장치들은 일례이며 이 모두가 모바일 장치(200)에 존재할 필요는 없다. 또한, 본 발명의 범위내에서 다른 입/출력 장치들이 모바일 장치(200)에 부가되거나 제공될 수 있다.

도 3은 본 발명의 실시예들에 대한 기본적인 블록도를 제공한다. 도 3에서, 스피커(300)는, 공기 전도 마이크로폰(304) 및 대체 감지기(306)에 의해 검출되는 음성 신호(302)를 발생시킨다. 대체 감지기들의 예로는 사용자의 성대 진동을 측정하는 성대 마이크로폰, (턱뼈와 같은) 사용자의 안면골 또는 두개골이나 그에 인접한 곳 또는 사용자의 귓속에 위치하여 사용자에 의해 발생되는 음성에 대응되는 두개골 또는 턱의 진동을 감지하는 골전도 감지기를 들 수 있다. 공기 전도 마이크로폰(304)은 음파를 전기 신호로 변환하는데 흔히 사용되는 마이크로폰의 타입이다.

공기 전도 마이크로폰(304)은 하나 이상의 노이즈 소스들(310)에 의해 발생된 노이즈(308)도 수신한다. 대체 감지기의 타입 및 노이즈 수준에 따라, 노이즈(308)는 대체 감지기(306)에 의해서도 검출될 수 있다. 그러나, 본 발명의 실시예들에 따르면, 대체 감지기(306)는 통상적으로 공기 전도 마이크로폰(304)보다 주변 노이즈에 덜 민감하다. 따라서, 대체 감지기(306)에 의해 발생된 대체 감지기 신호(312)는 일반적으로 공기 전도 마이크로폰(304)에 의해 발생된 공기 전도 마이크로폰 신호(314)보다 노이즈를 덜 포함한다.

대체 감지기 신호(312) 및 공기 전도 마이크로폰 신호(314)는, 순수 신호(318)를 추정하는 순수 신호 추정기(316)에 제공된다. 순수 신호 추정치(318)는 음성 프로세스(320)에 제공된다. 순수 신호 추정치(318)는 필터링된 시간-영역 신호이거나 특징 영역 벡터일 수 있다. 순수 신호 추정치(318)가 시간-영역 신호라면, 음성 프로세스(320)는 청취자, 음성 코딩 시스템, 또는 음성 인식 시스템의 형태를 취할 수 있다. 순수 신호 추정치(318)가 특징 영역 벡터라면, 음성 프로세스(320)는 통상적으로 음성 인식 시스템일 것이다.

본 발명은 공기 전도 마이크로폰 신호(314) 및 대체 감지기 신호(312)를 사용해 순수 음성을 추정하는 몇가지 방법 및 시스템을 제공한다. 일 시스템은 스테레오 트레이닝 데이터를 사용해 대체 감지기 신호에 대한 정정 벡터들을 트레이닝한다. 이후에 이들 정정 벡터들이 대체 감지기의 테스트 벡터에 가산될 경우, 이들은 순수 신호 벡터의 추정치를 제공한다. 이러한 시스템의 추가적인 일 확장은 먼저 시간-변동 왜곡을 추적한 다음 이 정보를 정정 벡터들의 계산 및 순수 음성의 추정에 포함하는 것이다.

두번째 시스템은 정정 벡터들에 의해 발생되는 순수 신호 추정치와 공기 전도 신호에서 공기 전도 테스트 신호의 현재 노이즈 추정치를 감산하는 것에 의해 형성되는 추정치 사이에 보간(interpolation)을 제공한다. 세번째 시스템은 대체 감지기 신호를 사용하여 음성 신호의 피치를 추정한 다음 추정된 피치를 사용하여 순수 신호에 대한 추정치를 식별한다. 다음에서는 이들 시스템 각각을 개별적으로 논의한다.

스테레오 정정 벡터들의 트레이닝

도 4 및 도 5는, 정정 벡터들에 의존하여 순수 음성 추정치를 생성하는 본 발명의 2개 실시예들에 대한 스테레오 정정 벡터들을 트레이닝하는 블록도 및 흐름도를 제공한다.

정정 벡터들을 식별하는 방법은, "순수" 공기 전도 마이크로폰 신호가 특징 벡터들의 시퀀스로 변환되는 도 5의 단계 500에서 시작된다. 이를 위해, 도 4의 스피커(400)는 음파를 전기 신호로 변환하는 공기 전도 마이크로폰(410)에 발화한다. 그 다음, 전기 신호는 A/D 컨버터(414)에 의해 샘플링되어 디지털 값들의 시퀀스를 생성하는데, 디지털 값들의 시퀀스는 프레임 구성자(416)에 의해 값들의 프레임들로 분류된다. 일 실시예에서, A/D 컨버터(414)는 16 kHz 및 샘플당 16 비트로 아날로그 신호를 샘플링함으로써, 초당 32 KB의 음성 데이터를 생성하고, 프레임 구성자(416)는 매 10 밀리초마다 25 밀리초의 데이터 가치를 포함하는 새로운 프레임을 생성한다.

프레임 구성자(416)에 의해 제공되는 데이터의 각 프레임은 특징 추출기(418)에 의해 특징 벡터로 변환된다. 일 실시예에 따르면, 특징 추출기(418)는 캡스트럼 특징(cepstral feature)들을 형성한다. 이러한 특징들의 예로는 LPC 유도 캡스트럼(Linear Predictive Coding derived cepstrum) 및 MFCC(Mel-Frequency Cepstrum Coefficients)를 들 수 있다. 본 발명에 사용될 수 있는 가능한 다른 특징 추출 모듈들의 예로는 LPC, PLP(Perceptive Linear Prediction) 및 가청 모델 특징 추출(Auditory model feature extraction)을 수행하는 모듈들을 들 수 있다. 본 발명은 이러한 특징 추출 모듈들에 한정되지 않으며 본 발명의 문맥내에서 다른 모듈들이 사용될 수도 있다는 것을 알 수 있다.

도 5의 단계 502에서는, 대체 감지기 신호가 특징 벡터들로 변환된다. 단계 502의 변환이 단계 500의 변환 후에 발생하는 것으로 도시되어 있지만, 본 발명에 따르면, 본 변환의 어떤 부분도 단계 500의 이전, 도중 또는 이후에 수행될 수 있다. 단계 502의 변환은 단계 500에 대해 상술한 프로세스와 유사한 프로세스를 통해 수행된다.

도 4의 실시예에서, 이 프로세스는, 대체 감지기(402)가 골 진동 또는 안면 운동과 같은 스피커(400)에 의한 음성 발생과 관련된 물리적 이벤트를 검출할 때 시작된다. 도 11에 나타낸 바와 같이, 골전도 감지기(1100)의 일 실시예에서는, 부드러운 엘라스토머 브리지(1102)가 보통의 공기 전도 마이크로폰(1106)의 진동판(1104)에 부착된다. 이러한 부드러운 브리지(1102)가 사용자의 피부 접촉(1108)으로부터의 진동들을 마이크로폰(1106)의 진동판(1104)에 직접적으로 전달한다. 진동판(1104)의 운동은 마이크로폰(1106)의 변환기(1110)에 의해 전기 신호로 변환된다. 대체 감지기(402)는 물리적 이벤트를 아날로그 전기 신호로 변환하는데, 아날로그 전기 신호는 A/D 컨버터(404)에 의해 샘플링된다. A/D 컨버터(404)에 대한 샘플링 특성들은 A/D 컨버터(414)에 대해 상술한 것들과 동일하다. A/D 컨버터(404)에 의해 제공되는 샘플들은 프레임 구성자(416)와 유사한 방식으로 동작하는 프레임 구성자(406)에 의해 프레임들로 수집된다. 그 다음, 이러한 샘플들의 프레임들은 특징 추출기(418)와 동일한 특징 추출 방법을 사용하는 특징 추출기(408)에 의해 특징 벡터들로 변환된다.

대체 감지기 신호 및 공기 전도 신호에 대한 특징 벡터들은 도 4의 노이즈 감소 트레이너(420)에 제공된다. 도 5의 단계 504에서, 노이즈 감소 트레이너(420)는 대체 감지기 신호에 대한 특징 벡터들을 혼합 성분들로 분류한다. 이러한 분류는, 최대 가능성 트레이닝 기술(maximum likelihood training technique)을 사용해 유사한 특징 벡터들을 함께 분류하거나 음성 신호의 일시적 섹션을 나타내는 특징 벡터들을 함께 분류하는 것에 의해, 수행될 수 있다. 당업자들은, 특징 벡터들을 분류하는 다른 기술들이 사용될 수 있으며 상술한 2가지 기술들은 단지 예로서 제공된 것임을 알 수 있다.

그 다음, 노이즈 감소 트레이너(420)는 도 5의 단계 508에서 각각의 혼합 성분(s)에 대한 정정 벡터(r_s)를 판정한다. 일 실시예에 따르면, 각각의 혼합 성분에 대한 정정 벡터는 최대 가능성 기준을 사용해 판정된다. 이러한 기술에 따르면, 정정 벡터는 수학식 1과 같이 계산된다.

여기에서, x_t는 프레임 t에 대한 공기 전도 벡터의 값이고 b_t는 프레임 t에 대한 대체 감지기 벡터의 값이다. 수학식 1의 p(s｜b_t)는 수학식 2와 같은데,

여기서, p(s)는 혼합 성분들의 총수에 걸쳐 단순히 1이고, p(b_t｜s)는, 각각의 반복이 수학식 4 내지 수학식 6의 단계들로 이루어진 EM(Expectation Maximization) 알고리즘을 사용해 트레이닝된, 평균 μ_b 및 분산 Γ_b를 가진 수학식 3의 가우스 분포로서 모델링된다.

수학식 4는, 사전에 추정된 파라미터들을 사용하는 EM 알고리즘의 E-단계이다. 수학식 5 및 수학식 6은, E-단계의 결과들을 사용해 파라미터들을 업데이트하는 M-단계이다.

본 알고리즘의 E-단계 및 M-단계는, 모델 파라미터들에 대해 안정한 값들이 판정될 때까지 반복된다. 그 다음, 이 파라미터들은 수학식 1을 계산하여 정정 벡터들을 형성하는데 사용된다. 그 다음, 정정 벡터들 및 모델 파라미터들은 노이즈 감소 파라미터 저장 장치(422)에 저장된다.

단계 508에서 각각의 혼합 성분에 대한 정정 벡터가 판정된 후, 노이즈 감소 시스템을 트레이닝하는 본 발명의 프로세스는 종결된다. 일단 각 혼합에 대한 정정 벡터가 판정되고 나면, 이 벡터들은 본 발명의 노이즈 감소 기술에 사용될 수 있다. 정정 벡터들을 사용하는 2개의 개별적인 노이즈 감소 기술들을 후술한다.

정정 벡터 및 노이즈 추정치를 사용하는 노이즈 감소

정정 벡터들 및 노이즈 추정치에 기초해 노이즈 섞인 음성 신호의 노이즈를 감소시키는 시스템 및 방법이 도 6의 블록도 및 도 7의 흐름도에 각각 도시되어 있다.

단계 700에서는, 공기 전도 마이크로폰(604)에 의해 검출된 오디오 테스트 신호가 특징 벡터들로 변환된다. 마이크로폰(604)에 수신된 오디오 테스트 신호는 스피커(600)로부터의 음성 및 하나 이상의 노이즈 소스들부터의 부가 노이즈(602)을 포함한다. 마이크로폰(604)에 의해 검출된 오디오 테스트 신호는 A/D 컨버터(606)에 제공되는 전기 신호로 변환된다.

A/D 컨버터(606)는 마이크로폰(604)으로부터의 아날로그 신호를 일련의 디지털 값들로 변환한다. 몇가지 실시예들에서, A/D 컨버터(606)는 16 kHz 및 샘플당 16 비트로 아날로그 신호를 샘플링함으로써, 초당 32 KB의 음성 데이터를 생성한다. 이들 디지털 값들은 프레임 구성자(607)에 제공되는데, 프레임 구성자(607)는, 일 실시예에서, 이 값들을 10 밀리초 간격을 두고 시작하는 25 밀리초 프레임들로 분류한다.

프레임 구성자(607)에 의해 생성된 데이터 프레임들은 각 프레임으로부터 특징을 추출하는 특징 추출기(610)에 제공된다. 일 실시예에 따르면, 이 특징 추출기는 정정 벡터들을 트레이닝하는데 사용된 특징 추출기들(408 및 418)과는 상이하다. 구체적으로, 이 실시예에 따르면, 특징 추출기(610)는 캡스트럼 값들 대신에 파워 스펙트럼 값들을 생성한다. 추출된 특징들은 순수 신호 추정기(622), 음성 검출 유닛(626) 및 노이즈 모델 트레이너(624)에 제공된다.

단계 702에서는, 스피커(600)에 의한 음성 발생과 관련된, 골 진동 또는 안면 운동과 같은, 물리적 이벤트가 특징 벡터로 변환된다. 도 7에는 개별적인 단계로서 도시되어 있지만, 당업자들은, 이 단계의 부분들이 단계 700과 동시에 수행될 수 있다는 것을 알 수 있다. 단계 702 동안, 물리적 이벤트는 대체 감지기(614)에 의해 검출된다. 대체 감지기(614)는 물리적 이벤트들에 기초해 아날로그 전기 신호를 생성한다. 이 아날로그 신호는 A/D 컨버터(616)에 의해 디지털 신호로 변환되며 얻어진 디지털 샘플들은 프레임 구성자(617)에 의해 프레임들로 분류된다. 일 실시예에 따르면, A/D 컨버터(616) 및 프레임 구성자(617)는 A/D 컨버터(606) 및 프레임 구성자(607)와 유사한 방식으로 동작한다.

디지털 값들의 프레임들은, 정정 벡터들을 트레이닝하는데 사용된 것과 동일한 특징 추출 기술을 사용하는 특징 추출기(620)에 제공된다. 상술한 바와 같이, 이러한 특징 추출 모듈들의 예로는 LPC, LPC 유도 캡스트럼, PLP, 가청 모델 특징 추출 및 MFCC 특징 추출을 수행하는 모듈들을 들 수 있다. 그러나, 많은 실시예들에서는, 캡스트럼 특징들을 생성하는 특징 추출 기술들이 사용된다.

특징 추출 모듈은, 각각이 음성 신호의 개별적인 프레임과 관련되어 있는 특징 벡터들의 스트림을 발생시킨다. 특징 벡터들의 이러한 스트림은 순수 신호 추정기(622)에 제공된다.

프레임 구성자(617)로부터의 값들의 프레임들 또한, 일 실시예에서 각 프레 임의 에너지를 추출하는 특징 추출기(621)에 제공된다. 각 프레임에 대한 에너지 값은 음성 검출 유닛(626)에 제공된다.

단계 704에서, 음성 검출 유닛(626)은 대체 감지기 신호의 에너지 특징을 사용해 음성이 존재할 것 같은 때를 판정한다. 이 정보는, 단계 706에서 음성이 존재하지 않는 기간들 동안 노이즈의 모델링을 시도하는 노이즈 모델 트레이너(624)에 전달된다.

일 실시예에 따르면, 음성 검출 유닛(626)은 먼저 프레임 에너지 값들의 시퀀스를 검색하여 에너지의 피크를 찾아낸다. 그 다음, 음성 검출 유닛(626)은 피크 이후의 밸리(valley)를 검색한다. 이러한 밸리의 에너지를 에너지 분리자(d;energy separator)라 한다. 그 다음, 프레임이 음성을 포함하는지를 판정하기 위해, 에너지 분리자(d)에 대한 프레임 에너지(e)의 비(k)를 k=e/d로서 판정한다. 그 다음, 프레임에 대한 음성 신뢰성(q;speech confidence)이 수학식 7로서 판정되는데,

여기서, α는 2개 상태들간의 전이를 정의하며 일 구현에서는 2로 설정되어 있다. 최종적으로, (자신을 포함하여) 인접한 5개 프레임들에 대한 평균 신뢰값을 이 프레임에 대한 최종적인 신뢰값으로 사용한다.

일 실시예에 따르면, 신뢰값이 임계값을 초과하면 프레임은 음성을 포함하는 것으로 간주되고 신뢰값이 임계값을 초과하지 않으면 프레임은 비음성(non-speech)을 포함하는 것으로 간주되도록, 고정 임계값을 사용하여 음성이 존재하는지를 판정한다. 일 실시예에 따르면, 0.1의 임계값이 사용된다.

음성 검출 유닛(626)에 의해 검출된 각각의 비음성 프레임에 대해, 노이즈 모델 트레이너(624)는 단계 706에서 노이즈 모델(625)을 업데이트한다. 일 실시예에 따르면, 노이즈 모델(625)은 평균 μ_n 및 분산 Σ_n을 가진 가우스 모델이다. 이 모델은 가장 최근의 비음성 프레임들로 이루어진 가동 윈도우(moving window)에 기초한다. 윈도우의 비음성 프레임들로부터 평균과 분산을 판정하는 기술들은 업계에 널리 공지되어 있다.

파라미터 저장 장치(422)의 정정 벡터들과 모델 파라미터들 및 노이즈 모델(625)은, 대체 감지기에 대해 특징 벡터들(b)을 가지며 노이즈 섞인 공기 전도 마이크로폰 신호에 대해 특징 벡터들(S_y)을 갖는 순수 신호 추정기(622)에 제공된다. 단계 708에서, 순수 신호 추정기(622)는 대체 감지기의 특징 벡터, 정정 벡터들 및, 대체 감지기에 대한 모델 파라미터들에 기초해 순수 음성 신호에 대한 초기값을 추정한다. 구체적으로, 대체 감지기의 순수 신호 추정치는 수학식 8로서 계산되는데,

여기서,

는 캡스트럼 영역의 순수 신호 추정치이고, b는 대체 감지기의 특징 벡터이며, p(s｜b)는 상기한 수학식 2를 사용해 판정되고, r_s는 혼합 성분(s)에 대한 정정 벡터이다. 따라서, 수학식 8의 순수 신호 추정치는 대체 감지기의 특징 벡터를 정정 벡터들의 웨이트 합(weighted sum of correction vectors)에 가산하는 것에 의해 형성되는데, 웨이트들은 대체 감지기의 특징 벡터가 주어지면 혼합 성분의 확률에 기초한다.

단계 710에서, 대체 감지기의 순수 신호 초기 추정치는, 그것을 노이즈 섞인 공기 전도 마이크로폰 벡터 및 노이즈 모델로부터 형성된 순수 신호 추정치와 조합하는 것에 의해 정제된다. 이로 인해, 정제된 순수 음성 추정치(628)가 얻어진다. 순수 신호 초기 추정치의 캡스트럼 값과 노이즈 섞인 공기 전도 마이크로폰의 파워 스펙트럼 특징 벡터를 조합하기 위해, 캡스트럼 값은 수학식 9를 사용해 파워 스펙트럼 영역으로 변환되는데,

여기서, C^-1은 이산적인 역코사인 변환이고

는 대체 감지기에 기초한 순수 신호 추정치의 파워 스펙트럼 추정치이다.

대체 감지기로부터의 순수 신호 초기 추정치가 파워 스펙트럼 영역에 배치되고 나면, 수학식 10으로서 노이즈 섞인 공기 전도 마이크로폰 벡터 및 노이즈 모델과 조합될 수 있는데,

여기서,

는 파워 스펙트럼 영역의 정제된 순수 신호 추정치이고, S_y는 노이즈 섞인 공기 전도 마이크로폰 특징 벡터이며, (μ_n,Σ_n)은 선행 노이즈 모델의 평균 및 분산이고(624 참조),

는 대체 감지기에 기초한 순수 신호 초기 추정치이며, Σ_x｜b는 대체 감지기의 측정이 주어지면 순수 음성에 대한 조건 확률 분포의 공분산 행렬이다. Σ_x｜b는 수학식 11로서 계산될 수 있다. J는 수학식 9의 오른쪽 함수에 대한 야코비(Jacobian) 행렬식을 나타낸다. Σ는

의 공분산 행렬이다. 그 다음,

의 공분산은 수학식 11이다.

간략화된 실시예에서, 수학식 10은 다음의 수학식 12로 정정되는데,

여기서, α(f)는 시간과 주파수 대역 모두의 함수이다. 현재 사용 중인 대체 감지기는 최대 3KHz의 대역폭을 가지므로, 3KHz 미만의 주파수 대역에 대해서는 α(f)를 0으로 선택한다. 기본적으로, 저주파수 대역들에 대해서는 대체 감지기로부터의 순수 신호 초기 추정치를 신뢰한다. 고주파수 대역들에 대해서는, 대체 감지기로부터의 순수 신호 초기 추정치를 그다지 신뢰할 수 없다. 직관적으로, 현재 프레임에서의 주파수 대역에 대해 노이즈가 작을 경우, 공기 전도 마이크로폰으로부터의 더 많은 정보를 이 주파수 대역에 대해 사용하기 위해 큰 α(f)를 선택하고자 한다. 그렇지 않으면, 작은 α(f)를 선택하는 것에 의해 대체 감지기로부터 더 많은 정보를 사용하고자 한다. 일 실시예에서는, 대체 감지기로부터의 순수 신호 초기 추정치에 대한 에너지를 사용하여 각 주파수 대역에 대한 노이즈 레벨을 판정한다. E(f)는 주파수 대역(f)에 대한 에너지를 나타낸다. M=Max_fE(f)로 한다. f의 함수인 α(f)는 다음의 수학식 13으로 정의되는데,

여기에서는, α(f)의 평탄성(smoothness)을 보장하기 위해 3K로부터 4K로의 전이에 선형 보간(linear interpolation)을 사용한다.

파워 스펙트럼 영역의 정제된 순수 신호 추정치는 노이즈 섞인 공기 전도 마이크로폰 신호를 필터링하기 위한 위너 필터(Wiener filter)를 구성하는데 사용될 수 있다. 구체적으로, 위너 필터(H)는 수학식 14와 같이 설정된다.

그 다음, 이 필터는 노이즈 섞인 시간 영역의 공기 전도 마이크로폰 신호에 대해 적용되어 노이즈-감소된 또는 순수 시간-영역 신호를 발생시킬 수 있다. 노이즈-감소된 신호는 청취자에게 제공되거나 음성 인식기에 적용될 수 있다.

수학식 12는, 2개 팩터들의 웨이트 합인 정제된 순수 신호 추정치를 제공한다는 것을 알 수 있으며, 여기서, 2개의 팩터 중 하나가 대체 감지기로부터의 순수 신호 추정치이다. 이러한 웨이트 합은 추가적인 대체 감지기들에 대한 추가적인 팩터들을 포함하도록 확장될 수 있다. 따라서, 하나 이상의 대체 감지기가 순수 신호에 대한 독립적인 추정치를 발생시키는데 사용될 수 있다. 그 다음, 이들 복수 추정치들은 수학식 12를 사용해 조합될 수 있다.

노이즈 추정없이 정정 벡터를 사용하는 노이즈 감소

도 8은 본 발명에 따라 순수 음성 값을 추정하는 다른 시스템의 블록도이다. 도 8의 시스템은, 순수 음성 값의 추정치가 공기 전도 마이크로폰 또는 노이즈 모델없이 형성된다는 것을 제외하면, 도 6의 시스템과 유사하다.

도 8에서, 음성을 발생시키는 스피커(800)와 관련된 물리적 이벤트는, 도 6의 대체 감지기(614), A/D 컨버터(616), 프레임 구성자(617) 및 특징 추출기(618)에 대해 상술한 것과 유사한 방식으로, 대체 감지기(802), A/D 컨버터(804), 프레임 구성자(806) 및 특징 추출기(808)에 의해 특징 벡터로 변환된다. 특징 추출기(808)로부터의 특징 벡터들 및 노이즈 감소 파라미터들(422)은, 상기한 수학식 8 및 수학식 9를 사용해 순수 신호값의 추정치(812)

를 판정하는 순수 신호 추정기(810)에 제공된다.

파워 스펙트럼 영역의 순수 신호 추정치

는 노이즈 섞인 공기 전도 마이크로폰 신호를 필터링하기 위한 위너 필터를 구성하는데 사용될 수 있다. 구체적으로, 위너 필터(H)는 수학식 15와 같이 설정된다.

그 다음, 이 필터는 시간 영역의 노이즈 섞인 공기 전도 마이크로폰 신호에 대해 적용되어 노이즈-감소된 또는 순수 신호를 발생시킨다. 노이즈-감소된 신호는 청취자에게 제공되거나 음성 인식기에 적용될 수 있다.

다른 방법으로, 수학식 8에서 계산된 캡스트럼 영역의 순수 신호 추정치

가 음성 인식 시스템에 직접적으로 적용될 수도 있다.

피치 추적을 사용하는 노이즈 감소

순수 음성 신호 추정치를 발생시키는 다른 기술이 도 9의 블록도 및 도 10의 흐름도에 도시되어 있다. 구체적으로, 도 9 및 도 10의 실시예는, 대체 감지기를 사용해 음성 신호에 대한 피치를 식별한 다음 피치를 사용해 노이즈 섞인 공기 전도 마이크로폰 신호를 고조파 성분 및 랜덤 성분으로 분해하는 것에 의해, 순수 음성 추정치를 판정한다. 따라서, 노이즈 섞인 신호는 수학식 16으로 표시되는데,

여기서, y는 노이즈 섞인 신호이고, y_h는 고조파 성분이며, y_r은 랜덤 성분이다. 고조파 성분 및 랜덤 성분의 웨이트 합을 사용해 노이즈-감소된 음성 신호를 나타내는 노이즈-감소된 특징 벡터를 형성한다.

일 실시예에 따르면, 고조파 성분은 수학식 17과 같이 고조파-관련 정현파들의 합으로 모델링되는데,

여기서, ω₀는 기본 주파수 또는 피치 주파수이고 K는 신호의 고조파 총수이다.

따라서, 고조파 성분을 식별하기 위해, 피치 주파수의 추정치 및 진폭 파라미터들({a₁a₂...a_kb₁b₂...b_k})이 판정되어야 한다.

단계 1000에서는, 노이즈 섞인 음성 신호가 수집되어 디지털 샘플들로 변환된다. 이를 위해, 공기 전도 마이크로폰(904)은 스피커(900)와 하나 이상의 부가 노이즈 소스(902)로부터의 음파들을 전기 신호들로 변환한다. 그 다음, 전기 신호들은 A/D 컨버터(906)에 의해 샘플링되어 디지털 값들의 시퀀스를 생성한다. 일 실시예에서, A/D 컨버터(906)는 16 kHz 및 샘플당 16 비트로 아날로그 신호를 샘플링함으로써, 초당 32 KB의 음성 데이터를 생성한다. 단계 1002에서는, 디지털 샘플들이 프레임 구성자(908)에 의해 프레임들로 분류된다. 일 실시예에 따르면, 프레임 구성자(908)는 매 10 밀리초마다 25 밀리초의 데이터 가치를 포함하는 새로운 프레임을 생성한다.

단계 1004에서는, 음성의 발생과 관련된 물리적 이벤트가 대체 감지기(944)에 의해 검출된다. 이 실시예에서는, 골전도 감지기와 같은, 고조파 성분들을 검출할 수 있는 대체 감지기가 대체 감지기(944)로 사용되기에 최적이다. 단계 1004가 단계 1000과 분리되어 있는 것으로 도시되어 있지만, 당업자들은, 이들 단계들이 동시에 수행될 수 있다는 것을 알 수 있다. 대체 감지기(944)에 의해 생성된 아날로그 신호는 A/D 컨버터(946)에 의해 디지털 샘플들로 변환된다. 그 다음, 디지털 샘플들은 단계 1006에서 프레임 구성자(948)에 의해 프레임들로 분류된다.

단계 1008에서는, 대체 감지기 신호의 프레임들이 피치 추적기(950)에 의해 음성의 피치 주파수 또는 기본 주파수를 식별하는데 사용된다.

피치 주파수에 대한 추정치는 임의 갯수의 이용가능한 피치 추적 시스템들을 사용해 판정될 수 있다. 이들 시스템들 중 많은 것에 따르면, 후보 피치들이 대체 감지기 신호의 세그먼트들에 대한 중심들 사이의 가능한 간격(possible spacing)을 식별하는데 사용된다. 각각의 후보 피치에 대해, 연속적인 음성 세그먼트들간의 상관관계(correlation)가 판정된다. 일반적으로, 최상의 상관관계를 제공하는 후보 피치가 그 프레임의 피치 주파수일 것이다. 일부 시스템들에서는, 신호의 에너지 및/또는 예상되는 피치 트랙과 같은 추가적인 정보가 피치 선택을 정제하는데 사용된다.

피치 추적기(950)로부터 피치 추정치가 주어지면, 공기 전도 신호 벡터는 단계 1010에서 고조파 성분 및 랜덤 성분으로 분해될 수 있다. 이를 위해, 수학식 17은 수학식 18로 정정되는데,

여기서, y는 노이즈 섞인 신호에 대한 N개 샘플들의 벡터이고, A는 수학식 20의 요소들을 가진 수학식 19로써 주어지는 N×2K의 행렬이며,

b는 수학식 21로써 주어지는 2K×1의 벡터이다.

그 다음, 진폭 계수들에 대한 최소-제곱근(least-squares solution)은 수학식 22이다.

를 사용하면, 노이즈 섞인 음성 신호의 고조파 성분에 대한 추정치는 수학식 23으로 판정될 수 있다.

그 다음, 랜덤 성분의 추정치는 수학식 24로서 계산된다.

따라서, 상기한 수학식 18 내지 수학식 24를 사용하면, 고조파 분해 유닛(910)은 고조파 성분 샘플들의 벡터(912;y_h) 및 랜덤 성분 샘플들의 벡터(914;y_r)를 생성할 수 있다.

프레임 샘플들이 고조파 및 랜덤 샘플들로 분해된 후, 단계 1012에서는, 고조파 성분에 대해 스케일링 파라미터 또는 웨이트가 판정된다. 이 스케일링 파라미터는 후술하는 바와 같이 노이즈-감소된 음성 신호에 대한 계산의 일부로서 사용된다. 일 실시예에 따르면, 스케일링 파라미터는 수학식 25로서 계산되는데,

여기서, α_h는 스케일링 파라미터이고, y_h(i)는 고조파 성분 샘플들의 벡터(y_h)에서의 i번째 샘플이며, y(i)는 이 프레임에 대한 노이즈 섞인 음성 신호의 i번째 샘플이다. 수학식 25에서, 분자는 고조파 성분의 각 샘플에 대한 에너지의 합이고 분모는 노이즈 섞인 음성 신호의 각 샘플에 대한 에너지의 합이다. 따라서, 스케일링 파라미터는 프레임의 총 에너지에 대한 프레임의 고조파 에너지의 비이다.

다른 실시예들에서는, 스케일링 파라미터가 확률적인 유성음-무성음 검출 유닛(probabilistic voiced-unvoiced detection unit)을 사용해 설정된다. 이러한 유닛들은, 음성의 특정 프레임이 무성음이 아니라, 프레임 동안 성대가 진동하는 것을 의미하는 유성음일 확률을 제공한다. 프레임이 음성의 유성음 영역으로부터 유래할 확률은 직접적으로 스케일링 파라미터로서 사용될 수 있다.

스케일링 파라미터가 판정된 후 또는 판정되고 있는 동안, 고조파 성분 샘플들의 벡터 및 랜덤 성분 샘플들의 벡터에 대한 Mel 스펙트럼이 단계 1014에서 판정된다. 이것은 샘플들의 각 벡터를 DFT(Discrete Fourier Tranform;918)를 통해 전달하여 고조파 성분 주파수 값들의 벡터(922) 및 랜덤 성분 주파수 값들의 벡터(920)를 발생시키는 것과 관련이 있다. 그 다음, 주파수 값들의 벡터들로써 표현된 파워 스펙트럼은 Mel 스케일(scale)을 따라 적용된 일련의 삼각 청감보정 함수들(triangular weighting functions)을 사용하는 Mel 청감보정 유닛(924;Mel weighting unit)에 의해 평활화된다. 이로 인해, 고조파 성분의 Mel 스펙트럼 벡터(Y_h;928) 및 랜덤 성분의 Mel 스펙트럼 벡터(Y_r;926)가 얻어진다.

단계 1016에서는, 고조파 성분 및 랜덤 성분에 대한 Mel 스펙트럼이 웨이트 합으로 조합되어 노이즈-감소된 Mel 스펙트럼의 추정치를 형성한다. 이 단계는 다음의 수학식 26에서 판정된 상기한 스케일링 팩터를 사용하는 웨이트 합 계산기(930)에 의해 수행되는데,

여기서,

는 노이즈-감소된 Mel 스펙트럼의 추정치이고, Y_h(t)는 고조파 성분의 Mel 스펙트럼이며, Y_r(t)는 랜덤 성분의 Mel 스펙트럼이고, α_h(t)는 위에서 판정된 스케일링 팩터이며, α_r은 일 실시예에서 0.1로 설정된 랜덤 성분에 대한 고정된 스케일링 팩터인데, 시간 인덱스 t는 랜덤 성분에 대한 스케일링 팩터는 고정되어 있는 반면 고조파 성분에 대한 스케일링 팩터는 각 프레임에 대해 판정된다는 것을 강조하는데 사용된다. 다른 실시예들에서는, 랜덤 성분에 대한 스케일링 팩터도 각 프레임에 대해 판정될 수 있다.

단계 1016에서 노이즈-감소된 Mel 스펙트럼이 판정된 후, 단계 1018에서는 Mel 스펙트럼의 log(932)가 판정되어 DCT(934)에 적용된다. 이는, 노이즈-감소된 음성 신호를 나타내는 MFCC 특징 벡터(936)를 생성한다.

노이즈-감소된 개별적인 MFCC 특징 벡터가 노이즈 섞인 신호의 각 프레임에 대해 생성된다. 이들 특징 벡터는 음성 향상 및 음성 인식을 포함하는 임의의 소정 목적을 위해 사용될 수 있다. 음성 향상의 경우, MFCC 특징 벡터들은 파워 스펙트럼 영역으로 변환될 수 있으며 노이즈 섞인 공기 전도 신호와 함께 사용되어 위너 필터를 형성할 수 있다.

특정 실시예들을 참조하여 본 발명을 설명하였지만, 당업자들은, 본 발명의 정신 및 범위를 벗어나지 않으면서 형태 및 세부사항이 변경될 수 있다는 것을 알 수 있다.

따라서, 본 발명에 의하면, 공기 전도 마이크로폰 이외의 감지기로부터 수신된 대체 감지기 신호를 순수 음성값을 추정하는데 사용하는 시스템 및 방법이 제공되는데, 본 시스템 및 방법은, 공기 전도 마이크로폰으로부터 수집된 노이즈 섞인 트레이닝 데이터로부터 트레이닝된 모델을 사용하지 않으면서, 순수 음성값을 추정할 수 있다.

Claims

노이즈-감소 음성 신호(noise-reduced speech signal)의 부분을 나타내는 노이즈-감소값에 대한 추정치(estimate)를 판정하는 방법으로서,

공기 전도 마이크로폰(air conduction microphone)과는 다른 것인 대체 감지기(alternative sensor)를 이용해 대체 감지기 신호를 생성하는 단계;

상기 대체 감지기 신호를 캡스트럼 영역(cepstral domain)에서의 하나 이상의 대체 감지기 벡터로 변환하는 단계;

복수의 정정 벡터(correction vectors) - 각각의 상기 정정 벡터는 혼합 성분(mixture component)에 대응하고, 정정 벡터에 적용되는 각각의 가중치(weight)는 상기 대체 감지기 벡터에 주어지는 상기 정정 벡터의 혼합 성분의 확률에 기초함 - 의 가중합(weighted sum)을 상기 대체 감지기 벡터에 가산하여 상기 캡스트럼 영역에서의 노이즈-감소값에 대한 추정치를 형성하는 단계;

공기 전도 마이크로폰 신호를 생성하는 단계;

상기 공기 전도 마이크로폰 신호를 파워 스펙트럼 영역(power spectrum domain)에서의 공기 전도 벡터로 변환하는 단계;

노이즈값을 추정하는 단계;

상기 공기 전도 벡터로부터 상기 노이즈값을 감산하여 상기 파워 스펙트럼 영역에서의 공기 전도 추정치를 형성하는 단계;

상기 노이즈-감소값의 추정치를 상기 캡스트럼 영역에서의 추정치로부터 상기 파워 스펙트럼 영역에서의 추정치로 변환하는 단계; 및

상기 파워 스펙트럼 영역에서의 상기 공기 전도 추정치와 상기 노이즈-감소값에 대한 추정치를 조합하여 상기 파워 스펙트럼 영역에서의 상기 노이즈-감소값에 대한 정제 추정치(refined estimate)를 형성하는 단계

를 포함하는, 추정치 판정 방법.
제1항에 있어서,

상기 대체 감지기 신호를 생성하는 단계는, 골전도 마이크로폰(bone conduction microphone)을 이용해 상기 대체 감지기 신호를 생성하는 단계를 포함하는, 추정치 판정 방법.
제1항에 있어서,

정정 벡터를 트레이닝하는 단계를 더 포함하고,

상기 정정 벡터를 트레이닝하는 단계는

대체 감지기 트레이닝 신호(alternative sensor training signal)를 생성하는 단계,

상기 대체 감지기 트레이닝 신호를 대체 감지기 트레이닝 벡터로 변환하는 단계,

순수 공기 전도 마이크로폰 트레이닝 신호(clean air conduction microphone training signal)를 생성하는 단계,

상기 순수 공기 전도 마이크로폰 트레이닝 신호를 공기 전도 트레이닝 벡터로 변환하는 단계, 및

상기 대체 감지기 트레이닝 벡터와 상기 공기 전도 트레이닝 벡터 간의 차(difference)를 이용해 상기 정정 벡터를 형성하는 단계

를 통해 상기 정정 벡터를 트레이닝하는, 추정치 판정 방법.
제3항에 있어서,

상기 정정 벡터를 트레이닝하는 단계는 복수의 상기 혼합 성분 각각에 대한 개별 정정 벡터를 트레이닝하는 단계를 더 포함하는, 추정치 판정 방법.
제1항에 있어서,

상기 노이즈-감소값에 대한 정제 추정치를 이용해 필터를 형성하는 단계를 더 포함하는, 추정치 판정 방법.
제1항에 있어서,

공기 전도 마이크로폰과는 다른 것인 제2 대체 감지기를 이용해 제2 대체 감지기 신호를 생성하는 단계;

상기 제2 대체 감지기 신호를 하나 이상의 제2 대체 감지기 벡터로 변환하는 단계;

상기 제2 대체 감지기 벡터에 정정 벡터를 가산하여 상기 노이즈-감소값에 대한 제2 추정치를 형성하는 단계; 및

상기 노이즈-감소값에 대한 상기 추정치를 상기 노이즈-감소값에 대한 상기 제2 추정치와 조합하여 상기 노이즈-감소값에 대한 정제 추정치를 형성하는 단계

를 더 포함하는, 추정치 판정 방법.
순수 음성값(clean speech value)의 추정치를 판정하는 방법으로서,

공기 전도 마이크로폰과는 다른 것인 감지기로부터 대체 감지기 신호를 수신하는 단계;

공기 전도 마이크로폰으로부터 노이즈 섞인 공기 전도 마이크로폰 신호(noisy air conduction microphone signal)를 수신하는 단계;

상기 대체 감지기 신호에 기초하여, 후보 주파수의 그룹 중 어떤 주파수가 음성 신호에 대한 피치 주파수(pitch frequency)인지를 식별하는 단계;

상기 피치 주파수를 이용해 상기 노이즈 섞인 공기 전도 마이크로폰 신호를 고조파 성분(harmonic component)과 잔여 성분(residual component)으로 분해하되, 상기 고조파 성분을 상기 피치 주파수와 고조파-연관된(harmonically related) 정현파들(sinusoids)의 합으로 모델링함으로써 상기 노이즈 섞인 공기 전도 마이크로폰 신호를 고조파 성분과 잔여 성분(residual component)으로 분해하는 단계; 및

상기 고조파 성분과 상기 잔여 성분의 가중합을 판정함으로써, 상기 고조파 성분과 상기 잔여 성분을 이용해 순수 음성값 - 상기 순수 음성값은 상기 노이즈 섞인 공기 전도 마이크로폰 신호와 연관된 노이즈가 감소된 노이즈 감소 신호(noise-reduced signal)를 의미함 - 을 추정하는 단계

를 포함하는, 추정치 판정 방법.
제7항에 있어서,

상기 대체 감지기 신호를 수신하는 단계는 골전도 마이크로폰으로부터 대체 감지기 신호를 수신하는 단계를 포함하는, 추정치 판정 방법.
방법을 수행하기 위한 컴퓨터-실행가능 명령어들을 저장한 컴퓨터-판독가능 저장매체로서, 상기 방법은

공기 전도 마이크로폰과는 다른 것인 대체 감지기로부터 대체 감지기 신호를 수신하는 단계;

공기 전도 마이크로폰으로부터 노이즈 섞인 테스트 신호(noisy test signal)를 수신하는 단계;

상기 노이즈 섞인 테스트 신호로부터 평균과 공분산(covariance)을 포함하는 노이즈 모델을 생성하는 단계;

상기 노이즈 섞인 테스트 신호를 하나 이상의 노이즈 섞인 테스트 벡터로 변환하는 단계;

상기 노이즈 섞인 테스트 벡터로부터 상기 노이즈 모델의 평균을 감산하여 차(difference)를 형성하는 단계;

상기 대체 감지기 신호로부터 대체 감지기 벡터를 형성하는 단계;

순수 음성값의 대체 감지기 추정치를 형성하기 위해 상기 대체 감지기 벡터에 정정 벡터를 가산하는 단계; 및

상기 차와 상기 대체 감지기 추정치의 가중합 - 상기 가중합은 상기 가중합에 대한 가중치를 연산하기 위해 상기 노이즈 모델의 공분산을 이용하여 연산됨 - 을 상기 순수 음성값의 추정치로 설정하는 단계

를 포함하는, 컴퓨터-판독가능 저장매체.
제9항에 있어서,

상기 대체 감지기 신호를 수신하는 단계는 골전도 마이크로폰으로부터 감지기 신호를 수신하는 단계를 포함하는, 컴퓨터-판독가능 저장매체.
제9항에 있어서,

상기 정정 벡터를 가산하는 단계는 복수의 정정 벡터의 가중합을 가산하는 단계를 포함하고, 각각의 상기 정정 벡터는 개별 혼합 성분과 연관되는, 컴퓨터-판독가능 저장매체.
제11항에 있어서,

상기 복수의 정정 벡터의 가중합을 가산하는 단계는 상기 대체 감지기 벡터에 주어지는 혼합 성분의 확률에 기초한 가중치를 이용하는 단계를 포함하는, 컴퓨터-판독가능 저장매체.
제9항에 있어서,

상기 순수 음성값의 추정치는 파워 스펙트럼 영역에 있는, 컴퓨터-판독가능 저장매체.
제13항에 있어서,

상기 방법은

상기 순수 음성값의 추정치를 이용하여 필터를 형성하는 단계를 더 포함하는, 컴퓨터-판독가능 저장매체.
제9항에 있어서,

상기 방법은

공기 전도 마이크로폰과는 다른 것인 제2 대체 감지기로부터 제2 대체 감지기 신호를 수신하는 단계; 및

상기 대체 감지기 신호와 함께 상기 제2 대체 감지기 신호를 이용하여 상기 순수 음성값을 추정하는 단계

를 더 포함하는, 컴퓨터-판독가능 저장매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제