KR101737190B1 - 다수의 유형의 센서들로부터의 정보에 기초한 제스처 검출 - Google Patents

Abstract

방법은 전자 디바이스의 제 1 센서로부터 제 1 출력을 수신하는 단계, 및 전자 디바이스의 제 2 센서로부터 제 2 출력을 수신하는 단계를 포함한다. 제 1 센서는 제 1 센서 유형을 가지고, 제 2 센서는 제 1 센서 유형과 상이한 제 2 센서 유형을 갖는다. 방법은 또한 제스처 복잡도에 적어도 부분적으로 기초하는 상호 보완적인 선정 기법에 따라 제 1 출력 및 제 2 출력에 기초하여 제스처를 검출하는 단계를 포함한다.

Description

다수의 유형의 센서들로부터의 정보에 기초한 제스처 검출{GESTURE DETECTION BASED ON INFORMATION FROM MULTIPLE TYPES OF SENSORS}

관련 출원들의 상호-참조

본 출원은 공통으로 소유된 2012 년 3 월 1 일에 출원된 미국 가출원 제 61/605,636 호, 2012 년 8 월 22 일에 출원된 미국 가출원 제 61/691,989 호, 및 2013 년 2 월 14 일에 출원된 미국 출원 제 13/767,698 호로부터의 우선권을 주장하며, 그 내용들은 그것들 전체가 참조로서 본원에 명시적으로 포함된다.

기술분야

본 개시물은 일반적으로 제스처 검출에 관한 것이다.

기술에서의 진보들은 보다 작고 보다 강력한 컴퓨팅 디바이스들을 초래했다. 예를 들어, 작고, 가볍고, 사용자들이 가지고 다니기 쉬운 휴대용 무선 전화기들, 개인 휴대 정보 단말기 (PDA) 들, 및 페이징 디바이스들과 같은 무선 컴퓨팅 디바이스들을 포함하여 다양한 휴대용 개인 컴퓨팅 디바이스들이 현재 존재한다. 좀더 구체적으로, 셀룰러 전화기들 및 인터넷 프로토콜 (internet protocol; IP) 전화기들과 같은 휴대용 무선 전화기들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 또한, 많은 이러한 무선 전화기들은 이에 포함되는 다른 유형의 디바이스들을 포함한다. 예를 들어, 무선 전화기는 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 재생기를 또한 포함한다.

무선 전화기들과 같은 휴대용 디바이스들의 핸즈-프리 동작은 다양한 이용의 경우들에서 바람직해지고 있다. 예를 들어, 모바일 전화기의 차량-내 핸즈-프리 동작은 안전성의 이유로 바람직할 수도 있다. 게임 콘솔들과 같은 일부 전자 시스템들은 제스처 인식 능력들을 갖는다. 제스처 인식은 종종 단일 센서 (예를 들어, 카메라 또는 적외선 센서 중 어느 일방) 를 이용하여 수행된다.

모바일 디바이스 애플리케이션들에서 이용하기에 적합한 제스처 인식 시스템들 및 방법들이 개시된다. 특히, 개시된 기법들은 보다 강력한 제스처 인식을 제공하기 위해 다수의 유형의 센서들을 활용하는 것을 포함한다. 개시된 시스템들 및 방법들의 예시적인 애플리케이션들은, 이로 제한되지는 않으나, 차량-내 엔터테인먼트/전화통화/네비게이션을 위한 차량-내 제스처 제어, 거실 미디어 제어, 게임, 주방-내 기기 제어, 멀티미디어 프레젠테이션 제어, 체육관/운동 장비 제어 등을 포함한다. 또한, 개시된 시스템들 및 방법들은 모바일 폰들, 임베딩된 디바이스들, 넷북 컴퓨터들, 태블릿 컴퓨터들, 랩탑 컴퓨터들, 미디어 센터들, 셋-톱 박스들, "스마트" 기기들, 게임 콘솔들 등을 포함하는 다양한 플랫폼들 상에서 구동될 수도 있다.

다수의 센서 유형들을 활용함으로써, 개시된 시스템들 및 방법들은 단일-센서 유형 제스처 인식 시스템들과 연관된 약점들을 극복할 수도 있다. 예를 들어, 제스처 인식을 위해 카메라 및 초음파 센서 양자 모두를 활용하는 개시된 시스템의 일 실시형태를 고려하자. 초음파는 오브젝트가 모바일 디바이스 인근에서 검출되는 경우 시스템의 나머지 부분을 "웨이크" 업 (wake up) 시키는 저-전력 프론트 엔드 (front end) 로서 이용될 수도 있다. 시스템은 조명/근접도 조건들에 따라 센서들을 동적으로 스위칭 온 그리고 스위칭 오프할 수도 있다. 조명 조건들이 열악하고 카메라가 신뢰할 수 없는 경우, 오직 초음파만이 이용될 수도 있다. 역으로, 타겟 제스처가 모바일 디바이스로부터 멀리 떨어져 있거나 제스처가 고정-상태 또는 복잡한 제스처인 경우, 초음파는 신뢰할 수 없을 수도 있고, 따라서 오직 카메라만이 이용될 수도 있다. 다양한 센서들, 또는 다양한 센서들의 부분들은 (예를 들어, 전력을 절약하기 위해) 조명/근접도 조건들에 기초하여 선택적으로 활성화되고 비활성화될 수도 있다.

조명/근접도 조건들이 다수의 유형의 센서들의 이용을 가능하게 하는 경우, 어떤 제스처가 검출되는지를 결정하기 위해 센서 출력들에 상호 보완적인 선정 기법 (voting scheme) 이 적용될 수도 있다. 예를 들어, 각각의 센서는 검출된 제스처 (예를 들어, 왼쪽, 오른쪽, 위쪽, 위래쪽, 선택 등) 및 신뢰도 레벨을 출력할 수도 있다. 양 유형의 센서들 모두가 동일한 제스처를 검출하는 경우, 제스처가 출력될 수도 있다. 센서들이 상이한 제스처들을 검출하는 경우, 보다 높은 신뢰도를 갖는 제스처가 출력될 수도 있다. 초음파는 단순한 제스처를 얻거나 카메라는 복잡한 제스처를 얻는 경우, 복잡한 제스처가 출력될 수도 있다.

각각의 센서는 각각의 센서 자체의 성능을 개선시키기 위한 시도로 자기-조정을 트리거링하기 위해 다른 센서들로부터의 정보를 이용할 수도 있다. 일 구현예에서, 공통 데이터 모델 및/또는 애플리케이션 프로그래밍 인터페이스 (application programming interface; API) 를 통해 데이터가 교환될 수도 있다.

특정 실시형태에서, 장치는 제 1 출력을 발생시키도록 구성된 제 1 센서, 및 제 2 출력을 발생시키도록 구성된 카메라를 포함한다. 장치는 프로세서, 및 제 1 출력 및 제 2 출력 중 적어도 하나의 출력에 기초하여 제스처를 검출하도록 프로세서에 의해 실행가능한 제스처 검출 모듈을 또한 포함한다. 카메라의 적어도 일부분은 조명 레벨 (lighting level) 및 제스처 (gesture) 범위에 기초하여 선택적으로 비활성화된다.

다른 특정 실시형태에서, 방법은 전자 디바이스의 제 1 센서로부터 제 1 출력을 수신하는 단계, 및 전자 디바이스의 제 2 센서로부터 제 2 출력을 수신하는 단계를 포함한다. 제 1 센서는 제 1 센서 유형을 가지고, 제 2 센서는 제 1 센서 유형과 상이한 제 2 센서 유형을 갖는다. 방법은 또한 제스처 복잡도에 적어도 부분적으로 기초하는 상호 보완적인 선정 기법에 따라 제 1 출력 및 제 2 출력에 기초하여 제스처를 검출하는 단계를 포함한다.

다른 특정 실시형태에서, 장치는 공통 데이터 모델에 따라 제 1 출력을 발생시키고 초음파 프로세싱 경로에 제 1 출력을 제공하도록 구성된 초음파 센서를 포함한다. 장치는 또한 공통 데이터 모델에 따라 제 2 출력을 발생시키고 이미지 프로세싱 경로에 제 2 출력을 제공하도록 구성된 카메라를 포함한다. 장치는 프로세서, 및 제 1 출력 및 제 2 출력 중 적어도 하나의 출력에 기초하여 제스처를 검출하도록 프로세서에 의해 실행가능한 제스처 검출 모듈을 또한 포함한다. 초음파 프로세싱 경로 및 이미지 프로세싱 경로는 공통 데이터 모델에 따라 데이터를 교환하도록 구성된다.

다른 특정 실시형태에서, 장치는 초음파 프로세싱 경로에 제 1 출력을 제공하도록 구성된 초음파 센서, 및 이미지 프로세싱 경로에 제 2 출력을 제공하도록 구성된 카메라를 포함한다. 장치는 프로세서, 및 제 1 출력 및 제 2 출력 중 적어도 하나의 출력에 기초하여 제스처를 검출하도록 프로세서에 의해 실행가능한 제스처 검출 모듈을 또한 포함한다. 초음파 센서 및 카메라는, 초음파 프로세싱 경로와 이미지 프로세싱 경로 사이에서 교환되는 데이터에 기초하여, 프로세서에 관계없이, 자기-조정을 하도록 각각 구성된다.

개시된 실시형태들 중 적어도 하나의 실시형태에 의해 제공되는 특정 이점들은 다수의 유형의 센서들의 출력들에 상호 보완적인 선정 기법을 적용하는 것에 기초하여 제스처들을 검출하는 능력을 포함하는 것으로, 이는 단일-센서 유형 시스템들과 비교하는 경우 증가된 제스처 인식 정확도를 제공할 수도 있다. 또한, 센서들 (또는 센서들의 부분들) 은 (예를 들어, 전력을 절약하기 위해) 조명/근접도 조건들에 기초하여 선택적으로 활성화되고 비활성화될 수도 있다. 또한, 센서들은 성능을 개선시키기 위해 다른 센서들로부터의 출력에 기초하여 자기-조정할 수도 있다.

본 개시물의 다른 양상들, 이점들, 및 특징들은, 다음의 섹션들: 도면의 간단한 설명, 발명의 상세한 설명, 및 청구항들을 포함하여, 전체 출원서의 검토 후에 자명해질 것이다.

도 1 은 다수의 유형의 센서들로부터의 정보에 기초하여 제스처 검출을 수행하도록 동작가능한 시스템의 특정 실시형태의 다이어그램이다;
도 2 는 다수의 유형의 센서들로부터의 정보에 기초하여 제스처 검출을 수행하도록 동작가능한 시스템의 다른 특정 실시형태의 다이어그램이다;
도 3 은 다수의 유형의 센서들로부터의 정보에 상호 보완적인 선정 기법의 적용을 통해 제스처 검출을 수행하는 방법의 특정 실시형태의 플로차트이다;
도 4 는 도 1 의 시스템에서의 동작의 방법의 특정 실시형태의 플로차트이다;
도 5 는 설명된 실시형태들에 따른 다수의 유형의 센서들로부터의 정보에 기초하여 제스처 인식을 수행하도록 동작가능한 무선 디바이스의 블록 다이어그램이다;
도 6 은 제스처 검출과 연관된 데이터 교환을 구현하는 특정 실시형태를 도시하는 블록 다이어그램이다;
도 7 은 제스처 검출과 연관된 데이터 교환의 특정 실시형태를 도시하는 다이어그램이다;
도 8 은 저-전력 근접도 검출 시스템의 특정 실시형태의 다이어그램이다;
도 9 는 다중-모드 제스처 검출 시스템의 특정 실시형태의 다이어그램이다;
도 10 은 저-전력 근접도 검출 시스템의 다른 특정 실시형태의 다이어그램이다;
도 11 은 도 10 의 시스템과 연관된 특정 예시적인 신호들의 다이어그램이다; 그리고
도 12 는 도 10 의 시스템에서 수행되는 저-전력 근접도 검출 방법의 특정 실시형태의 플로차트이다.

도 1 은 다수의 유형의 센서들로부터의 정보에 기초하여 제스처 인식을 수행하도록 동작가능한 시스템 (100) 의 특정 실시형태를 도시한다. 예를 들어, 도 1 에 도시된 바와 같이, 전자 디바이스 (110) 는 초음파 센서 (111) 및 카메라 (113) 를 포함할 수도 있고, 초음파 센서 (111) 및/또는 카메라 (113) 로부터의 출력에 기초하여 (예를 들어, 손 (120) 에 의해 이루어진) 제스처들을 검출할 수도 있다. 도 1 에서의 특정한 유형의 센서들은 단지 예시용이라는 것이 유의되어야 한다. 적외선 및 자기와 같은 다른 유형의 센서들이 초음파 센서 (111) 및 카메라 (113) 를 대신해, 또는 초음파 센서 (111) 및 카메라 (113) 에 더해 포함될 수도 있다. 전자 디바이스 (110) 는 무선 디바이스 (예를 들어, 모바일 폰, 또는 스마트폰), 컴퓨팅 디바이스 (예를 들어, 랩탑 컴퓨터, 태블릿 컴퓨터, 휴대용 미디어 재생기, 개인용 휴대 정보 단말기 (PDA) 등), 이와 연관된 부대용품, 또는 이들의 임의의 조합일 수도 있다.

본원에서 이용되는 바와 같이, 용어 "초음파 센서" 는 오직 초음파 신호들만을 감지할 수 있는 센서 (즉, 전용된 초음파 센서) 를 식별할 수도 있고, 또한 초음파 신호들에 더해 다른 신호들을 감지할 수 있는 센서 (즉, 다중-목적용 센서) 를 식별할 수도 있다는 것이 유의되어야 한다. 예를 들어, 다중목적 센서는 또한 인간의 청취의 범위 (예를 들어, 20 Hz 내지 20 kHz) 내에 있는 오디오 신호들 및/또는 다른 유형의 신호들 (예를 들어, 전자기 신호들, 무선 주파수 (radio frequency; RF) 신호들 등) 을 감지하도록 동작할 수도 있다.

전자 디바이스 (110) 의 각각의 센서 (111, 113) 는 초음파 프로세싱/제어 모듈 (112) 및 이미지 프로세싱/제어 모듈 (114) 에 의해 도 1 에 도시된 바와 같이 신호 프로세싱 경로에 커플링될 수도 있다. 프로세싱/제어 모듈들 (112 및 114) 의 각각은 대응하는 각각의 센서들 (111 및 113) 에 의해 발생되는 출력의 동작을 제어하고 출력을 프로세싱하도록 구성될 수도 있다. 예를 들어, 초음파 프로세싱/제어 모듈 (112) 은 초음파 센서 (111) 에 의해 발생되는 제 1 출력을 프로세싱할 수도 있고, 이미지 프로세싱/제어 모듈 (114) 은 카메라 (113) 에 의해 발생되는 제 2 출력을 프로세싱할 수도 있다.

프로세싱/제어 모듈들 (112 및 114) 은 제스처 검출 모듈 (118) 에 커플링될 수도 있다. 제스처 검출 모듈 (118) 은 초음파 센서 (111) 로부터의 제 1 출력 및/또는 카메라 (113) 로부터의 제 2 출력에 기초하여 (예를 들어, 손 (120) 에 의해 이루어진) 제스처를 검출할 수도 있다. 초음파 센서 (111) 로부터의 제 1 출력 및 카메라 (113) 로부터의 제 2 출력의 각각은 식별된 제스처 및 신뢰도 점수를 포함할 수도 있다. 예시하자면, 손 (120) 에 대해 식별된 제스처는 왼쪽 (121), 오른쪽 (122), 위쪽 (123), 아래쪽 (124), (즉, 도 1 의 평면의 바깥 방향으로) 멀어짐 (125), 또는 (즉, 도 1 의 평면으로의 방향으로) 향함 (126) 일 수도 있다. 특정 실시형태에서, 향함 (126) 및/또는 멀어짐 (125) 제스처들은 (예를 들어, 메뉴 또는 리스트의 네비게이션 동안에) "선택" 제스처를 나타낼 수도 있다. 제스처들 (121-126) 은 단지 예시용이라는 것이 유의되어야 한다. 복잡한 제스처 및 고정 상태 제스처를 포함하여, 다른 유형의 제스처들이 또한 검출된 수도 있다. 예를 들어, 손 (120) 이 움직이지 않는 고정 상태 제스처 (이는 따라서 초음파 센서 (111) 를 통한 검출을 어렵게 한다) 는 손 (120) 이 움직임이 없는 채로 있으나 특정 메뉴 아이템 (예를 들어, 위에서 두번째 아이템) 의 선택을 표시하기 위해 확장된 특정 개수의 손가락들 (예를 들어, 확장된 2 개의 손가락들) 갖는 것을 포함할 수도 있다. 검출가능한 제스처들은 또한 주기적 제스처 또는 반복되는 제스처 (예를 들어, 앞뒤로 흔들리는 손 (120)) 를 포함할 수도 있다.

특정 실시형태에서, 모듈들 (112, 114, 및/또는 118) 의 전부 또는 일부는, 도 5 를 참조하여 더 설명되는 바와 같이, 하드웨어 프로세서에 의해 실행될 수도 있는 프로세서-실행가능 명령들을 이용하여 구현될 수도 있다. 특정 실시형태에서, 모듈들 (112, 114, 및/또는 118) 의 전부 또는 일부는 하드웨어, 예컨대, 전용 회로부, 제어기, 하나 이상의 다른 하드웨어 디바이스들, 또는 이들의 임의의 조합을 이용하여 구현될 수도 있다.

특정 실시형태에서, 제스처 검출 모듈 (118) 은 어떤 제스처가 검출되는지를 결정하기 위해 상호 보완적인 선정 기법을 적용할 수도 있다. 상호 보완적인 선정 기법은 제스처 복잡도에 적어도 부분적으로 기초할 수도 있다. 예를 들어, 초음파 센서 (111) 및 카메라 (113) 양자 모두가 동일한 제스처를 식별하는 경우, 출력 제스처로서 동일한 제스처가 선택될 수도 있다. 초음파 센서 (111) 및 카메라 (113) 가 상이한 제스처들을 식별하는 경우, 보다 높은 신뢰도 점수를 갖는 제스처가 출력 제스처로서 선택될 수도 있다. 다른 실시예로서, 초음파 센서 (111) 및 카메라 (113) 가 달라지는 복잡도의 제스처들을 식별하는 경우, 보다 복잡한 제스처가 출력 제스처로서 선택될 수도 있다. 상호 보완적인 선정 기법의 특정 실시예는 도 3 을 참조하여 더 설명된다.

특정 실시형태에서, 전자 디바이스 (110) 는 광 검출기 (예를 들어, 카메라 (113) 의 내부에 있는 광 검출기 (115), 또는 카메라 (113) 의 외부에 있는 광 검출기 (116)) 를 포함할 수도 있다. 광 검출기 (115 또는 116) 는 주위 조명 레벨을 결정할 수도 있다. 조명 레벨 및/또는 제스처 범위 (예를 들어, 초음파 센서 (111) 및/또는 카메라 (113) 에 의해 측정되는 바와 같이, 손 (120) 이 전자 디바이스 (110) 에 가까운 정도) 에 기초하여, 초음파 센서 (111) 및/또는 카메라 (113) 의 부분들이 선택적으로 비활성화될 수도 있다. 예시하자면, 조명 조건들이 불량하거나 광 검출기 (115 또는 116) 가 낮은 조명 레벨을 결정하는 경우, 카메라 (113) 및 이미지 프로세싱/제어 모듈 (114) 의 전부 또는 일부가 비활성화될 수도 있는데, 카메라 (113) 가 어두운 조건 또는 거의 어두운 조건에서는 모션을 정확하게 검출하지 못할 수도 있기 때문이다. 광 검출기 (115 또는 116) 는 조명 조건들에서의 변화들을 검출하기 위해 활성화된 상태로 남아 있을 수도 있다.

다른 실시예로서, 손 (120) 이 특정 위치에 위치된다고 초음파 센서 (111) 가 검출하는 경우, 카메라 (113) 는 이러한 정보를 이용하여 관심의 영역을 식별할 수도 있다. 관심의 영역에 대응하는 카메라 (113) 에서의 센서 어레이의 부분은 활성화될 수도 있는 한편, 센서 어레이의 다른 부분들 또는 나머지는 전력을 절약하도록 비활성화될 수도 있다.

이러한 기능성의 구현을 위해, 데이터 교환 (117) 으로서 도시된, 초음파 프로세싱/제어 모듈 (112) 과 이미지 프로세싱/제어 모듈 (114) 사이에 데이터가 교환될 수도 있다. 예를 들어, 초음파 센서 (111) 및 카메라 (113) 는 공통 데이터 모델 또는 애플리케이션 프로그래밍 인터페이스 (API) 에 따라 그것들의 각각의 출력들을 포맷화할 수도 있어, 다른 센서들 및 프로세싱/제어 모듈들이 출력을 성공적으로 해석할 수도 있다. 공통 데이터 모델에 따라 교환된 데이터는 초음파 센서 (111) 로부터의 출력, 카메라 (113) 로부터의 출력, 초음파 센서 (111) 또는 카메라 (113) 로부터의 손 (120) 의 범위 (즉, 거리) 와 관련된 데이터, 초음파 센서 (111) 또는 카메라 (113) 에 대한 손 (120) 의 포지션과 관련된 데이터, 초음파 센서 (111) 의 작동 설정 (예를 들어, 신호 방출 주파수, 신호 방출 주기, 신호 방출 방향 등) 또는 카메라 (113) 의 작동 설정 (예를 들어, 이미지 캡쳐 모드, 초점 거리, 초점의 영역 등과 연관된 데이터), 또는 이들의 임의의 조합을 포함할 수도 있다. 신호 프로세싱/제어 모듈들 (112 및 114) 의 각각은 또한 프로세싱/제어 모듈들 (112 및 114) 중 다른 것들로부터 수신된 데이터에 기초하여 잘못된 긍정 (false positive) 들 (예를 들어, 실제로 제스처가 존재하지 않는 검출된 제스처) 를 검출하도록 구성될 수도 있다.

프로세싱/제어 모듈들 (112 및 114) 사이의 데이터 교환이 가능하게 되는 경우, 센서들 (111 및 113) 의 각각은 센서들 (111 및 113) 중 다른 센서로부터의 정보에 기초하여 자기-조정할 수도 있다. 또한, 이러한 자기-조정은 전자 디바이스 (110) 의 프로세서 (예를 들어, 애플리케이션 프로세서) 와는 관계없을 수도 있다. 예시하자면, 초음파 센서 (111) 는 카메라 (113) 로부터의 출력에 기초하여 작동 설정, 신호 방출 주파수, 신호 방출 방향, 또는 이들의 임의의 조합을 자기-조정할 수도 있다. 카메라 (113) 는 초음파 센서 (111) 로부터의 출력에 기초하여 작동 설정, 초점 거리, 초점의 영역, 또는 이들의 임의의 조합을 자기-조정할 수도 있다. 따라서, 센서들 (111 및 113) 의 각각은, 중앙 프로세서 또는 제어기로부터 조정하도록 지시를 받지 않으면서, 자기-조정을 통해, 센서들 자체의 성능을 개선시키도록 구성될 수도 있다. 데이터 교환을 구현하기 위한 프레임워크의 특정 실시예가 도 6 에 도시된다. 제스처 데몬을 이용하는 카메라와 초음파 센서 사이의 데이터 교환의 실시예가 도 7 에 도시된다.

동작 동안에, 제스처 검출 모듈 (118) 은 초음파 센서 (111) 및 카메라 (113) 중 하나 이상으로부터의 출력들에 기초하여 손 (120) 에 의해 이루어진 제스처들을 식별할 수도 있다. 예를 들어, 광 검출기 (115 또는 116) 에 의해 결정되는 조명 레벨이 조명 임계치 미만인 경우 (즉, 카메라 (113) 에게는 너무 어둡다), 카메라 (113) 는 비활성화될 수도 있고 제스처 검출은 초음파 센서 (111) 로부터의 출력에 기초하여 수행될 수도 있다. 조명 레벨이 조명 임계치 이상인 경우, 제스처 검출은 제스처 범위에 의존할 수도 있다. 예시하자면, 제스처 범위가 근접성 (nearness) 임계치 미만인 경우 (예를 들어, 손 (120) 이 카메라 (113) 에 너무 가깝다), 카메라 (113) 는 비활성화될 수도 있고 제스처 검출은 초음파 센서 (111) 로부터의 출력에 기초하여 수행될 수도 있다. 제스처 범위가 원격성 (farness) 임계치를 초과하는 경우 (예를 들어, 손 (120) 이 초음파 센서 (111) 에 대해 너무 멀다), 초음파 센서 (111) 는 비활성화될 수도 있고 제스처 검출은 카메라 (113) 로부터의 출력에 기초하여 수행될 수도 있다. 제스처 범위가 근접성 임계치와 원격성 임계치 사이에 있는 경우, 제스처 인식은 상호 보완적인 선정 기법에 따라 센서들 (111 및 113) 양자 모두로부터의 출력에 기초하여 수행될 수도 있다.

도 1 의 시스템 (100) 은 따라서 다수의 유형의 센서들로부터의 정보에 기초하여 제스처 검출을 가능하게 할 수도 있다. 상이한 유형의 센서들을 활용함으로써, 도 1 의 시스템 (100) 이 (예를 들어, 부정확한 제스처들 및 잘못된 긍정들의 감소로 인해) 단일-센서 유형 시스템들보다 큰 제스처 검출 정확도를 제공할 수도 있다는 것이 이해될 것이다. 도 1 의 시스템 (100) 은 조명 및 근접도 정보에 기초하여 센세들 또는 센서들의 일부들을 선택적으로 비활성화시킴으로써 전력을 절약할 수도 있고, 센서 경로들 사이에서 교환되는 데이터에 기초하여 성능을 자동-개선시키려고 시도할 수도 있다는 것이 또한 이해될 것이다.

도 2 는 다수의 유형의 센서들로부터의 정보에 기초하여 제스처 검출을 수행하도록 동작가능한 시스템 (200) 의 다른 특정 실시형태의 다이어그램이다. 시스템 (200) 은 도 1 의 초음파 센서 (111), 카메라 (113), 초음파 프로세싱/제어 모듈 (112), 이미지 프로세싱/제어 모듈 (114), 및 제스처 인식 모듈 (118) 을 포함한다. 또한, 초음파 프로세싱/제어 모듈 (112) 및 이미지 프로세싱/제어 모듈 (114) 은 공통 데이터 모델을 통해 데이터를 교환하도록 구성될 수도 있으며, 이는 도 1 을 참조하여 설명된 데이터 교환 (117) 으로 도시된다.

특정 실시형태에서, 모듈들 (112, 114, 및 118) 은 하나 이상의 하위-모듈들을 포함할 수도 있다. 예를 들어, 초음파 프로세싱/제어 모듈 (112) 은 초음파 추적 모듈 (201), 및 초음파 제스처 검출 모듈 (202) 을 포함할 수도 있다. 초음파 추적 모듈 (201) 은 방출된 초음파 신호와 연관된 비행 정보의 시간 및 방출된 초음파 신호의 반사(들)에 기초하여 하나 이상의 오브젝트들 (예를 들어, 도 1 의 손 (120)) 의 모션을 추적하도록 구성될 수도 있다. 초음파 제스처 검출 모듈 (202) 은 초음파 추적 모듈 (201) 에 의해 생성된 추적 데이터가 인식가능한 제스처를 나타내는지 여부를 결정할 수도 있고, 만약 그런 경우, 인식가능한 제스처와 연관된 신뢰도 레벨을 결정할 수도 있다. 유사하게, 이미지 프로세싱/제어 모듈 (114) 은 카메라 추적 모듈 (203) 및 카메라 제스처 검출 모듈 (204) 을 포함할 수도 있다. 카메라 추적 모듈 (203) 은 이미지 추적 데이터를 출력할 수도 있다. 카메라 제스처 검출 모듈 (204) 은 이미지 추적 데이터가 인식가능한 제스처를 나타내는지 여부를 결정할 수도 있고, 만약 그런 경우, 인식가능한 제스처와 연관된 신뢰도 레벨을 결정할 수도 있다. 초음파 센서 (111) 을 통해 인식가능한 제스처들의 세트는 카메라 (113) 를 통해 인식가능한 제스처들의 세트와 상이할 수도 있다는 것이 유의되어야 한다.

제스처 검출 모듈 (118) 은 다중-모드 제스처 구별 모듈 (205) 을 포함할 수도 있다. 예를 들어, 다중-모드 제스처 구별 모듈 (205) 은, 도 3 을 참조하여 더 설명되는 바와 같이, 초음파 제스처 검출 모듈 (202) 및 카메라 제스처 검출 모듈 (204) 의 출력들에 상호 보완적인 선정 기법을 적용할 수도 있다. 제스처 검출 모듈 (118) 은 또한 예시적인 애플리케이션 (220) 과 같은 하나 이상의 애플리케이션들에 표준화된 포맷으로 다중-모드 제스처 구별 모듈 (205) 의 결과들을 출력하도록 구성된 확장된 제스처 인터페이스 (206) 를 포함할 수도 있다.

특정 실시형태에서, 시스템 (200) 은 옵션으로 2 개를 초과하는 유형의 센서들을 포함할 수도 있다. 예를 들어, 시스템 (200) 은 초음파 및 카메라와 상이한 제 3 센서 유형을 갖는 제 3 센서 (207) 를 포함할 수도 있다. 제 3 센서 (207) 의 신호 경로는 제 3 센서 추적 모듈 (208) 및 제 3 센서 제스처 검출 모듈 (209) 을 포함할 수도 있고, 제 3 센서 제스처 검출 모듈 (209) 의 출력에는 다중-모드 제스처 구별 모듈 (205) 에 의해 적용되는 상호 보완적인 선정 기법이 제공될 수도 있다. 제 3 센서의 데이터 경로와 다른 센서들의 데이터 경로들 사이에서 데이터가 교환될 수도 있으며, 이는 다른 데이터 교환 (210) 으로서 표시된다. 200 의 시스템은 따라서 다중-모드 제스처 인식 및 데이터 교환을 구현하도록 확장가능한 프레임워크를 제공할 수도 있다.

도 3 은 다수의 유형의 센서들로부터의 정보에 상호 보완적인 선정 기법의 적용을 통해 제스처 검출을 수행하는 방법 (300) 의 특정 실시형태의 플로차트이다. 예시적인 실시형태에서, 방법 (300) 은 도 1 의 제스처 검출 모듈 (118) 또는 도 2 의 다중-모드 제스처 구별 모듈 (205) 에 의해 수행될 수도 있다.

방법 (300) 은, 302 에서, 전자 디바이스의 제 1 센서로부터 제 1 출력을 수신하는 단계를 포함할 수도 있다. 제 1 센서는 제 1 센서 유형을 가질 수도 있고, 제 1 출력은 제 1 제스처와 제 1 신뢰도 점수를 식별할 수도 있다. 방법 (300) 은 또한, 304 에서, 전자 디바이스의 제 2 센서로부터 제 2 출력을 수신하는 단계를 포함할 수도 있다. 제 2 센서는 제 1 센서 유형과 상이한 제 2 센서 유형을 가질 수도 있고, 제 2 출력은 제 2 제스처와 제 2 신뢰도 점수를 식별할 수도 있다. 예를 들어, 도 1 에서, 제스처 검출 모듈 (118) 은 초음파 프로세싱/제어 모듈 (112) 을 통해 초음파 센서 (111) 로부터 제 1 출력을 그리고 이미지 프로세싱/제어 모듈 (114) 을 통해 카메라 (113) 로부터 제 2 출력을 수신할 수도 있다.

방법 (300) 은, 306 에서, 제 1 제스처와 제 2 제스처가 동일한지 여부를 결정하는 단계를 더 포함할 수도 있다. 제 1 제스처와 제 2 제스처가 동일하다고 결정되는 경우 (즉, 센서들 양자 모두가 동일한 제스처를 식별했다), 방법 (300) 은, 308 에서, 출력 제스처로서 동일한 제스처를 선택하는 단계를 포함할 수도 있다. 제 1 제스처와 제 2 제스처가 상이하다고 결정되는 경우, 방법 (300) 은, 310 에서, 제 1 제스처와 제 2 제스처가 복잡도에서 다른지 여부를 결정하는 단계를 포함할 수도 있다. 제 1 제스처와 제 2 제스처가 복잡도에서 다른 경우 (예를 들어, 센서들 중 하나의 센서는 단순한 제스처를 식별했으나 다른 센서는 복잡한 제스처를 식별했다), 방법 (300) 은, 312 에서, 출력 제스처로서 보다 복잡한 제스처를 선택하는 단계를 포함할 수도 있다. 예시하자면, 도 1 을 참조하면, 초음파 검출은 단순한 "위쪽" 제스처를 식별하나 카메라 검출은 보다 복잡한 "확장된 2 개의 손가락" 제스처를 식별하는 경우, 제스처 검출 모듈 (118) 은 출력 제스처로서 보다 복잡한 "확장된 2 개의 손가락들" 제스처를 선택할 수도 있다.

제 1 제스처와 제 2 제스처가 동일한 복잡도를 갖는 것으로 결정되는 경우, 방법 (300) 은, 314 에서, 제 1 신뢰도 점수가 제 2 신뢰도 점수보다 큰지 여부를 결정하는 단계를 포함할 수도 있다. 제 1 신뢰도 점수가 제 2 신뢰도 점수보다 크다고 결정되는 경우, 방법 (300) 은, 316 에서, 출력 제스처로서 제 1 제스처를 선택하는 단계를 포함할 수도 있다. 제 1 신뢰도 점수가 제 2 신뢰도 점수보다 크지 않다고 결정되는 경우, 방법 (300) 은, 318 에서, 출력 제스처로서 제 2 제스처를 선택하는 단계를 포함할 수도 있다.

도 3 의 방법 (300) 은 따라서 다수의 유형의 센서들의 출력들에 상호 보완적인 선정 기법을 적용하는 것에 기초하여 제스처들의 검출을 가능하게 할 수도 있으며, 이는 단일-센서 유형 시스템들과 비교하는 경우 증가된 제스처 인식 정확도를 제공할 수도 있다.

도 4 는 초음파 센서 및 카메라를 포함하는 제스처 인식 시스템의 동작의 방법 (400) 의 특정 실시형태의 플로차트이다. 예를 들어, 도 4 의 방법 (400) 은 차량-내 핸즈-프리 동작 동안에 도 1 의 전자 디바이스 (110) (예를 들어, 모바일 폰) 의 동작들을 설명할 수도 있다.

방법 (400) 은, 402 에서, 초음파 근접도 검출을 수행하는 단계를 포함할 수도 있다. 초음파 근접도 검출은 디바이스의 남아 있는 부분들을 선택적으로 웨이크 업시키는 저-전력 프론트 엔트를 나타낼 수도 있다. 디바이스의 카메라는 초음파 근접도 검출을 수행하는 동안 오프될 수도 있다. 예를 들어, 도 1 에서, 근접도 검출은 카메라 (113) 가 오프인 동안 초음파 센서 (111) 를 통해 수행될 수도 있다. 방법 (400) 은 또한, 404 에서, 근접한 오브젝트가 검출되는지 또는 착신 호가 수신되는지 여부를 결정하는 단계를 포함할 수도 있다. 초음파 센서가 근접한 오브젝트를 검출할 때까지 또는 착신 호가 수신될 때까지, 방법 (400) 은 402 로 되돌아감으로써 반복할 수도 있다.

근접한 오브젝트가 검출되거나 착신 호가 수신되는 경우, 방법 (400) 은, 406 에서, 초음파-기반 단순 제스처 인식을 가능하게 하는 단계를 포함할 수도 있다. 예를 들어, 도 1 을 참조하면, 이러한 단순한 제스처 인식은 전자 디바이스 (110) 의 라디오를 켜거나 착신 호에 답하는데 이용될 수도 있다. 방법 (400) 은, 408 에서, 조명 레벨이 조명 임계치 이상인지 여부를 결정하는 단계를 포함할 수도 있다. 예를 들어, 도 1 에서, 광 검출기 (115 또는 116) 가 조명 레벨을 결정할 수도 있고, 이미지 프로세싱/제어 모듈 (114) 이 조명 레벨이 조명 임계치 이상인지 여부를 결정할 수도 있다.

조명 레벨이 조명 임계치 미만이라고 결정하는 것에 응답하여, 방법 (400) 은, 412 에서, 초음파 단순 제스처 인식을 수행하고 카메라의 전부 또는 일부를 디스에이블하는 단계, 그리고, 420 에서, 검출된 제스처(들)를 출력하는 단계를 포함할 수도 있다. 조명 레벨이 조명 임계치 미만일 수도 있는 경우의 예시적인 실시예들은 야간에 차량-내 동작 또는 차량이 터널 내에 있는 동안을 포함한다.

조명 레벨이 조명 임계치 이상이라고 결정하는 것에 응답하여, 방법 (400) 은, 410 에서, 초음파 근접도 검출을 수행할 수도 있고, 414 에서, 제스처 범위를 결정할 수도 있다. 예를 들어, 도 1 에서, 제스처 범위는 초음파 센서 (111) 및/또는 카메라 (113) 로부터의 출력에 기초하여 결정될 수도 있다. 제스처 범위가 초음파에 있어서 너무 멀다고 결정되는 경우 (예를 들어, 원격성 임계치를 초과), 방법 (400) 은, 416 에서, 카메라를 인에이블하고 카메라-기반의 복잡한 제스처 인식을 수행하는 단계, 및, 420 에서, 검출된 제스처(들)를 출력하는 단계를 포함할 수도 있다. 초음파 센서 또는 초음파 센서의 일부는 제스처 범위가 초음파에 대해 너무 멀리 있는 동안에는 디스에이블될 수도 있다.

제스처 범위가 카메라에 너무 가깝다고 결정되는 경우 (예를 들어, 근접성 임계치 미만), 방법 (400) 은, 412 에서, 카메라의 적어도 일부분을 디스에이블하고 초음파-기반의 간단한 제스처 인식을 수행하는 단계, 및 420 에서, 검출된 제스처(들)를 출력하는 단계를 포함할 수도 있다. 제스처 범위가 초음파 및 카메라 양자 모두에 수용가능하다고 결정되는 경우 (예를 들어, 제스처 범위가 근접성 임계치 및 원격성 임계치 사이에 있다), 방법 (400) 은, 418 에서, 초음파 센서 및 카메라의 출력들에 상호 보완적인 선정 기법의 적용을 통해 제스처 인식을 수행하는 단계, 및 420 에서, 검출된 제스처(들)를 출력하는 단계를 포함할 수도 있다.

도 4 의 방법 (400) 은 따라서 다수의 유형의 센서들 (즉, 초음파 및 카메라) 로부터의 정보에 기초하여 전자 디바이스의 차량-내 핸즈-프리 동작을 가능하게 할 수도 있다. 그러나, 차량-내 핸즈-프리 모바일 폰 동작의 시나리오는 오직 예시용으로만 제공된다는 것이 유의되어야 한다. 다른 애플리케이션들은, 이로 제한되지는 않으나, 차량-내 엔터테인먼트 또는 네비게이션용 차량-내 제스처 제어, 거실 미디어 제어, 게임, 주방-내 기기 제어, 멀티미디어 프레젠테이션 제어, 체육관/운동 장비 제어 등을 포함한다. 또한, 본 개시물의 시스템들 및 방법들은 모바일 폰들 이외의 플랫폼들, 예컨대, 임베딩된 디바이스들, 넷북 컴퓨터들, 태블릿 컴퓨터들, 랩탑 컴퓨터들, 미디어 센터들, 셋-톱 박스들, "스마트" 기기들, 게임 콘솔들 등 상에서 구동될 수도 있다.

특정 실시형태들에서, 도 3 및 도 4 의 방법들 (300 및 400) 은 필드-프로그램가능 게이트 어레이 (FPGA) 디바이스, 주문형 집적 회로 (ASIC), 중앙 프로세싱 유닛 (CPU) 과 같은 프로세싱 유닛, 디지털 신호 프로세서 (DSP), 제어기, 다른 하드웨어 디바이스, 펌웨어 디바이스, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 예로서, 도 3 의 방법 (300) 및 도 4 의 방법 (400) 은, 도 5 에 대하여 설명되는 바와 같이, 명령들을 실행하는 프로세서에 의해 수행될 수 있다.

도 5 를 참조하면, 무선 통신 디바이스의 특정 예시적인 실시형태의 블록 다이어그램이 도시되고 일반적으로 500 으로 지정된다. 예시적인 실시형태에서, 디바이스 (500) 의 전부 또는 일부가 도 1 의 전자 디바이스 (110) 의 전부 또는 일부를 구현하기 위해 포함하거나, 그 내에 포함되거나, 그렇지 않으면 이용될 수도 있다. 디바이스 (500) 는 메모리 (532) 에 커플링된 디지털 신호 프로세서 (DSP) 와 같은 프로세서 (510) 를 포함한다. 메모리 (532) 는 본원에 개시된 방법들 및 프로세스, 예컨대, 도 3 의 방법 (300) 및 도 4 의 방법 (400) 을 수행하기 위해 프로세서 (510) 에 의해 실행가능한 명령들 (560) 을 포함할 수도 있다.

도 5 는 또한 프로세서 (510) 및 디스플레이 (528) 에 커플링되는 디스플레이 제어기 (526) 를 도시한다. 코더/디코더 (코덱) (534) 가 또한 프로세서 (510) 에 커플링될 수 있다. 스피커 (536) 및 마이크로폰 (538) 이 코덱 (534) 에 커플링될 수 있다.

초음파 센서 (111) 가, 도시된 바와 같이, (하드웨어를 통해 구현되는 것으로 도시되는) 초음파 프로세싱/제어 모듈 (112) 을 통해 프로세서 (510) 에 커플링될 수도 있다. 카메라 (113) 가, 도시된 바와 같이, (하드웨어를 통해 구현되는 것으로 도시되는) 이미지 프로세싱/제어 모듈 (114) 을 통해 프로세서 (510) 에 커플링될 수도 있다. 모듈들 (112 및 114) 로부터의 정보는 제스처들을 검출하기 위해 (프로세서 (510) 에 의해 실행되는 소프트웨어를 통해 구현되는 것으로 도시되는) 제스처 인식 모듈 (118) 에 의해 이용될 수도 있다. 특정 실시형태에서, 제스처 검출 모듈 (118) 은 모듈들 (112 및 114) 로부터 수신된 정보에 상호 보완적인 선정 기법을 적용할 수도 있다. 특정 실시형태에서, 모듈들 (112 및 114) 은 공통 데이터 모델 또는 API 에 따라 데이터를 교환하도록 구성되며, 이는 데이터 교환 (117) 으로 도시된다. 예를 들어, 이러한 데이터 교환은, 성능을 개선시키기 위한 노력으로, 프로세서 (510) 와는 독립적으로, 초음파 센서 (111) 및 카메라 (113) 중 하나 또는 양자 모두를 자기-조정하는 것을 가능하게 할 수도 있다. 센서들 (111 및/또는 113) 로부터의 데이터에 기초하여, 센서들 (111, 113) 및/또는 모듈들 (112, 114) 의 전부 또는 일부가 선택적으로 비활성화되어 전력을 절약할 수도 있다.

도 5 는 또한 무선 제어기 (540) 가 프로세서 (510) 및, 무선 안테나 (542)에 커플링된 송수신기 (570) 에 커플링될 수 있다는 것을 표시한다. 특정 실시형태에서, 프로세서 (510), 디스플레이 제어기 (526), 메모리 (532), 코덱 (534), 무선 제어기 (540), 모듈들 (112 및 114), 및 송수신기 (570) 는 시스템-인-패키지 또는 시스템-온-칩 디바이스 (522) 에 포함된다. 특정 실시형태에서, 입력 디바이스 (530) 및 전력 공급기 (544) 가 시스템-온-칩 디바이스 (522) 에 커플링된다. 또한, 특정 실시형태에서, 도 5 에 도시된 바와 같이, 디스플레이 (528), 입력 디바이스 (530), 스피커 (536), 마이크로폰 (538), 센서들 (111 및 113), 무선 안테나 (542), 및 전력 공급기 (544) 는 시스템-온-칩 디바이스 (522) 의 외부에 있다. 그러나, 디스플레이 (528), 입력 디바이스 (530), 스피커 (536), 마이크로폰 (538), 센서들 (111 및 113), 무선 안테나 (542), 및 전력 공급기 (544) 의 각각은 인터페이스 또는 제어기와 같은 시스템-온-칩 디바이스 (522) 의 컴포넌트에 커플링될 수 있다.

특정 실시형태에서, 디바이스 (예를 들어, 모바일 무선 디바이스 또는 모바일 무선 디바이스의 컴포넌트) 는 자유형태 제스처 인식을 구현할 수도 있다. 자유형식 제스처 인식은 특정 제스처들의 세트를 인식하도록 동작가능할 수도 있다. 예를 들어, 자유형태 제스처 인식은 왼쪽, 오른쪽을 인식하고, 약 10 센티미터까지의 유효 거리에서의 제스처들을 선택하는데 이용될 수도 있다. 특정 실시형태에서, 자유형태 제스처 인식은 제스처 라이브러리 및 지원 초음파 프레임워크 (예를 들어, DPS 상에서 구동하거나 DSP 에 의해 제공되는 기능들, 모듈들, 및/또는 알고리즘들의 라이브러리) 의 이용을 수반할 수도 있다.

자유형태 제스처 검출은 설명의 용이함을 위해 본원에서 별도의 기능적 블록들에 대응하는 것으로 설명되는 복수의 프로세스들을 이용하여 구현될 수도 있다. 기능적 블록들은: 메인 제스처 검출 블록, 모션 활동도 검출 (motion activity detection; MAD) 블록, 최대-전력 근접도 검출 블록, 최대-전력 모드에 대한 온/오프 스위치, 및 간섭 검출과 제거 블록을 포함할 수도 있다. 기능적 블록들 중 하나 이상의 기능적 블록은 초음파를 이용하여 구현될 수도 있다. 초음파 기반 제스처 검출 블록들은 소나 (sonar) 또는 레이더와 유사하게 기능할 수도 있다. 예를 들어, 초음파 송신기는 연속적인 광대역 초음파 신호들을 송신할 수도 있다. 사용자의 손으로부터 반사된 초음파 신호들은 다수의 공간적으로 분리된 마이크로폰들에 의해 검출될 수도 있다. 비행의 시간 및 다른 타이밍 특징들이 손 제스처를 식별하는데 이용될 수도 있다. 다른 시스템들과 대조적으로, 제스처 인식을 위해 어떠한 제스처 트레이닝도 필요하지 않을 수도 있다. MAD 블록은 소정의 거리 내의 오브젝트 움직임을 검출하는데 이용될 수 있다. MAD 플래그는 (예를 들어, 프레임들을 평균을 내는 것을 통해) 배경 채널 이미지의 캡쳐된 스냅샷에 대한 변화를 표시하는데 이용될 수도 있다. 스냅샷은 (예를 들어, 잘못된 긍정들을 감소시키도록) 검출 알고리즘 온/오프를 스위치하기 위해 근접도 플래그와 함께 이용될 수도 있다. 자유형태 제스처 검출의 범위 및 감도는 제어 파라미터들에 의해 조정될 수도 있다. 간섭 검출 블록은 주파수 도메인에서 저해하는 (예를 들어, 간섭하는) 초음파 센서 주파수들을 검출할 수도 있고 그러한 주파수들의 영향들을 제거할 수도 있다.

특정 실시형태에서, 저-전력 근접도 감지 및 검출이 구현될 수도 있다. 예를 들어, 저-전력 근접도 감지는 낮은 듀티 사이클 초음파 신호들을 송신하는 것, 근접도 이벤트를 검출하는 것, 및 DSP 의 최대-전력 모드 제스처 또는 호버 (hover) 검출 모듈을 "웨이크 업" 하는 것을 포함할 수도 있다. 저-전력 근접도 검출의 특정 실시예들은 도 8 및 도 10 내지 도 13 을 참조하여 더 설명된다.

모바일 초음파 프레임워크는 저-전력 모드와 최대-전력 모드 사이에서 스위칭하는 것을 지원할 수도 있다. 일부 실시형태들에서, 아날로그 마이크로폰(들)이 또한 지원될 수도 있다. 특정 실시형태에서, 다중-모드 (예를 들어, 다수의 센서 유형) 프레임워크 지원이 포함될 수도 있다. 다중-모드 프레임워크는 (예를 들어, 공통 데이터 모델에 따라) 정보를 공유하도록 독립적인 제스처 인식 시스템들 (예를 들어, 카메라, 초음파, 적외선 등) 을 가능하게 하여 제스처 인식 정확도를 개선시킬 수도 있다. 호버링 검출은 또한 화면으로부터 1 내지 3 센터미터의 유효 거리에서 천천히 움직이는 손가락의 좌표들을 검출하도록 구현될 수도 있다.

특정 실시형태에서, 저-전력 근접도 검출은 다음의 조건들: 1) 어떤 것이 스피커/마이크로폰을 커버하는 경우 (예를 들어, 디바이스가 주머니 안에 있거나 귀에 대해 단단히 밀어붙여지는 경우); 2) 어떤 것이 스피커/마이크로폰 위에서 단거리에 있는 경우 (예를 들어, 손이 단거리에서 떨어져 흔들리는 경우, 또는 디바이스가 귀에 대해 느슨하게 밀어붙여지는 경우); 및 3) (예를 들어, 유휴 또는 액션이 없는 기간에 대응하여) 특정 거리 내에 아무것도 스피커/마이크로폰 위에 없는 경우 사이를 검출하고 구분할 수도 있다. 도 8 은 저-전력 근접도 검출 시스템의 특정 실시예를 도시하고, 일반적으로 800 으로 지정된다. 시스템 (800) 은, 도시된 바와 같이, 고역 통과 필터 (high pass filter; HPF) (802), 적응형 노치 필터 (804), 곱셈기 (806), 다운-샘플러 (808), 변환 모듈 (810), 및 근접도 검출 모듈 (812) 을 포함한다. 시스템 (800) 에 의해 수신된 신호는 선형 스윕 (sweep) 또는 다른 광대역 연속 울트라 웨이브일 수도 있다. FM 복조 (다운 믹싱) 는 송신된 신호 프레임과 수신된 신호 프레임의 곱셈을 포함할 수도 있다. 저역 통과 필터링은 복조된 신호의 고주파수 부분을 제거하여 기저대역 신호를 발생시킬 수도 있다. 고속 푸리에 변환 (FFT) 이 수행되어 위상 지연 정보를 발생시킬 수도 있고, 범위 또는 근접도 측정이 FFT 피크들 또는 스펙트럼 패턴에 기초하여 수행될 수도 있다.

본원에서 설명된 다양한 제스처 검출 기능들, 모듈들, 및 알고리즘들은 (예를 들어, DSP 에 의해) 하나 이상의 제스처 라이브러리들로 구현될 수도 있다. 제 3 자 애플리케이션들을 포함하는 애플리케이션들은 제스처 라이브러리들을 불러와 제스처 검출 특징들을 포함시킬 수도 있다. 설명된 기법들은 따라서 사용자 경험을 향상시키기 위해 애플리케이션 개발자들이 활용할 수도 있는 제스처 검출 프레임워크를 제공할 수도 있다. 제스처 검출 프레임워크는 또한 모바일 디바이스 벤더들 및 운영 체제들에 의해 이용되어 핵심 사용자 경험을 개선시킬 수도 있다.

특정 실시형태에서, 최대-전력 제스처 검출은 디바이스 표면 근처의 간단한 스윕 제스처들을 검출하기 위한 근거리 스윕 제스처 검출을 포함할 수도 있다. 예를 들어, 임의적인 각도들, 뿐만 아니라 손가락 스윕들을 갖는 상이한 포즈들에서의 사용자 손들이 검출될 수도 있다. 근거리 스윕 제스처들은 디바이스 표면으로부터 대략 5 내지 10 센티미터 떨어진 왼쪽, 오른쪽, 및 선택 제스처들을 포함할 수도 있다. 예시하자면, 왼쪽 또는 오른쪽 제스처는 디바이스 표면 (예를 들어, 화면) 에 평행 또는 수직으로 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로, 시계방향으로, 또는 반시계방향으로 빠르게 움직이는 사용자의 손 또는 손가락에 의해 표현될 수도 있다. 선택 또는 선택해제 제스처는 사용자의 신체로부터 멀어지며 확장되고 화면 쪽으로 정상 속도로 움직이며, 뒤이어 특정 시간의 기간 (예를 들어, 1/2 초) 동안 특정 위치에 머무르고, 그 다음에 디바이스로부터 멀어지며 움직이는 사용자의 손에 의해 표현될 수도 있다. 구성가능한 지연은 다음 제스처가 인에이블되기 전에 구현될 수도 있다. 이러한 근거리 스윕 제스처 검출을 이용함으로써, 애플리케이션은 프레임워크 소프트웨어에 의해 해석되는 주요한 이벤트 또는 터치 이벤트를 통해 검출된 제스처 (예를 들어, 왼쪽, 오른쪽, 선택) 를 획득할 수도 있다. 초음파 프레임워크는 제스처 라이브러리로부터 수신된 특정한 사용자 이벤트들을 대응하는 높은 레벨의 운영 체제 (high-level operating system; HLOS) 입력 이벤트에 맵핑할 수도 있거나, API 를 통해 원시 데이터를 출력할 수도 있다.

최대-전력 제스처 검출은 또한 오디오와 제스처 동시성에 대한 지원을 포함할 수도 있으며, 여기서 오디오는 스테레오 모드로 하나 이상의 스피커들로부터 재생될 수도 있다. 재생은 헤드셋 또는 (예를 들어, 모바일 디바이스가 텔레비전에 접속되는 경우) 고해상도 멀티미디어 인터페이스 (HDMI) 접속으로 스위칭될 수도 있다. 핫 스와핑 (swapping) 전환 (back and forth) 이 지원될 수도 있다. 특정 실시형태에서, 스피커폰이 오디오 및 초음파 신호 출력을 지원하는 경우, 오디오 신호들이 출력되는 동안에도 초음파 신호들이 제스처 검출을 위해 출력될 수도 있다. 예를 들어, 동일한 하나 이상의 스피커들이 초음파 신호들을 출력하는 동안 사용자가 모바일 디바이스의 하나 이상의 스피커들을 이용하여 노래들을 들을 수도 있음으로써, 사용자가 제스처 (예를 들어, 되감기, 빨리감기, 일시비활성화, 다음 노래, 이전 노래, 볼륨 높임, 볼륨 낮춤 등) 를 통해 출력되는 음악을 제어하는 것을 가능하게 한다.

특정 실시형태에서, 저-전력 근접도 검출은 디바이스 표면 근처에 있거나, 디바이스를 커버하거나, 디바이스 표면에 걸쳐 움직이는 손들을 검출할 수도 있다. 근접 검출 거리 (예를 들어, 5 내지 10 센티미터) 는 근접도 검출에 대한 제어 파라미터로서 작용할 수도 있다. 이러한 근접도 검출에 대한 이용의 예들은 제스처, 후버, 카메라 제스처 등과 같은 최대-전력 모드 애플리케이션들을 턴 온할지 여부를 결정하는 것을 포함할 수도 있다. 특정 실시형태에서, 근접도 검출은 사용자의 손이 디바이스를 커버하거나, 스피커/마이크로폰 근처로 움직였거나 등을 검출하는 것에 응답하여 웨이크-업 이벤트 플래그를 활성화시킬 수도 있다. 이러한 근접도 검출을 이용함으로써, 애플리케이션은 프레임워크 소프트웨어에 의해 해석되는 키 이벤트 또는 터치 이벤트를 통해 근접도 검출 통지를 획득할 수도 있다. 초음파 프레임워크는 저-전력 근접도 검출에 응답하여 수신된 사용자 이벤트들을 맵핑하고 최대-전력 제스처 인식을 턴 온할 수도 있다.

특정 실시형태에서, 제스처 검출 프레임워크는 소정의 사용자 파라미터 값들을 지원하기에 충분할 만큼 강력할 수도 있다. 예를 들어, 지원되는 속도 파라미터 (예를 들어, 여전히 인식될 수 있으면서 제스처가 빠르게 움직일 수 있는 정도) 는 2 Hz - 20 Hz 일 수도 있다. 동작 거리 파라미터 (예를 들어, 사용자가 센서로부터 멀리 또는 가까이 있을 수 있는 정도) 는 5 cm - 10 cm 일 수도 있다. 오류율 파라미터는 1000 당 50-150 일 수도 있다. 제스처 직관력 파라미터 (예를 들어, "정확한" 제스처를 수행하는 방법을 사용자가 배우기 쉬운 정도) 는 사용자들의 90 % 가 설정 명령들을 읽은 후에 정확한 제스처를 수행가는 것이 가능하다는 것일 수도 있다.

프레임워크는 또한 소정의 시스템 파라미터 값들을 지원할만큼 충분히 강력할 수도 있다. 예를 들어, 40 밀리세컨드 응답 시간이 지원될 수도 있다. 응답 시간은 사용자가 액션을 개시하는 것과 달성되는 예상된 결과들 사이에 얼마나 많은 시간이 경과할 수 있는지 (예를 들어, 제스처를 완료하고 결과를 관찰하는 사이의 대기시간) 에 대응할 수도 있다. 특정 실시형태에서, 저-전력 근접도 검출은 25 % 듀티 사이클로 모바일 디바이스의 DSP 에서 수행될 수도 있고, 최대-전력 제스처 검출은 모바일 디바이스의 CPU 상에서 수행될 수도 있으며, 여기서 CPU 는 DSP 보다 대략 60 배 많은 전력을 소모한다. 특정 실시형태에서, 시스템은 트랜스듀서가 송신 경로 상에 높은 레벨의 비선형 영향들을 도입하지 않도록 설계될 수도 있다. 또한, 제스처 검출은 무선 (예를 들어, IEEE (Institute of Electrical and Electronics) 802.11) 비콘 (beacon) 신호들 및 다른 디바이스들 (예를 들어, 초음파 스타일러스가 디바이스 근처에 배치되는 경우, 또는 다수의 디바이스들이 아주 근접하여 동작하는 경우) 로부터와 같은 간섭의 존재 시에도 활성화할 수도 있다.

비록 초음파 검출이 저-광 및 비-광 시나리오들에서 동작할 수도 있으나, 소정의 유형의 광들은 초음파 대역 잡음을 발생시킬 수도 있다는 것이 유의되어야 한다. 따라서, 시스템은 이러한 광들에 의해 방출되는 초음파 잡음이 송신 경로를 포화시키지 않도록 기능할 수도 있다. 소정의 상황들에서, 오디오 대역 잡음, 풍잡음, 및/또는 난기류가 마이크로폰 포화를 야기하고 비선형 영향을 발생시킬 수도 있다. 따라서, 시스템은 이러한 잡음 조건들 하에서 제스처 검출을 지원할만큼 충분히 강력할 수도 있다. 시스템은 또한 다양한 안정성들을 지원할만큼 충분히 강력할 수도 있다. 예를 들어, 비록 디바이스와 배경의 상대적인 움직임이 오류 검출을 야기할 수도 있으나, 시스템은 사용자의 손과 디바이스 사이에 중간 정도의 양의 상대적인 움직임이 존재하는 경우일지라도 제스처 검출을 지원할 수도 있다.

특정 실시형태에서, 최대-전력 제스처 검출과 저-전력 근접도 검출 사이의 천이 시퀀스는 다음과 같을 수도 있다. 제스처 관리자는 동작의 모드에 기초하여 상이한 제스처 검출 소스들을 시작시키고 중단시키는 것을 책임질 수도 있으며, 동작의 모드는 애플리케이션 레벨 및/또는 시스템 레벨에서 결정될 수도 있다. 제스처 관리자는 초음파 저-전력 근접도 검출을 시작시킬 수도 있다. 초음파 저-전력 근접도 검출은 근접도 이벤트를 제스처 관리자에게 통지할 수도 있다. 제스처 관리자는 초음파 저-전력 근접도 검출을 중단시킬 수도 있고, 최대-전력 초음파/카메라 제스처 검출을 시작시킬 수도 있다. 최대-전력 초음파/카메라 제스처 검출은 제스처 이벤트들을 제스처 관리자에게 통지할 수도 있다. 최대-전력 초음파/카메라 제스처 검출이 타임 아웃되는 경우, 제스처 관리자는 최대-전력 초음파/카메라 제스처 검출을 중단시킬 수도 있고, 초음파 저-전력 근접도 검출을 재시작시킬 수도 있다.

특정 실시형태에서, 저-전력 모드와 최대-전력 모드 사이의 스위칭 매커니즘은 최대-전력 모듈(들) 및 다른 동시에 발생하는 애플리케이션 이벤트들의 상태에 기초하여 애플리케이션 프로세서 (예를 들어, CPU) 에 의해 구현될 수도 있다. 예를 들어, 디스플레이 화면이 턴 오프되는 경우 저-전력 모드 (예를 들어, 저 전력 근접도 검출 모드) 로 진입될 수도 있다. 최대-전력 제스처 검출이 "스위치 오프" 커맨드를 전송하는 경우 저-전력 모드로 또한 진입될 수도 있다. "스위치 오프" 커맨드에 응답하여, 디바이스는 소정의 시간의 기간 (예를 들어, 1 분 내지 2 분) 동안 기다리고, 그 다음에 최대-전력 제스처 검출이 "스위치 온" 커맨드를 전송하지 않은 경우 저-전력 모드로 천이할 수도 있다. 저-전력 근접도 검출 이벤트는 또한 최대-전력 제스처/호버/카메라 검출을 트리거링할 수도 있다.

일부 실시형태들에서, 지연은 저-전력 근접도 검출과 연관될 수도 있다. 따라서, 저-전력 모드로부터 최대-전력 모드로의 천이를 완료하기 위해 여러 개의 별도의 단계들이 수행될 수도 있다. 처음에, 손은 저-전력 근접도 검출을 트리거링하도록 디바이스를 커버하거나 디바이스의 근처에서 움직일 수도 있다. 사용자 피드백 (예를 들어, 시각적 피드백) 으로 최대-전력 모드로 진입할 수도 있다. 뒤따르는 제스처가 최대-전력 모드에서 검출될 수도 있다. 대안으로, 또는 이에 더해, 전화 호가 수신되는 경우, 디바이스는 최대-전력 모드로 스위칭할 수도 있다.

도 9 는 다중-모드 제스처 검출 시스템의 특정 실시형태를 도시하고, 일반적으로 900 으로 지정된다. 도 9 에 도시된 바와 같이, 다양한 소스들 (예를 들어, 카메라 제스처들 (902), 초음파 제스처들 (904), 모션 제스쳐들 (906), 하나 이상의 추가적인 제스처 소스들로부터의 제스처들 (908) 등) 로부터 입력되는 제스처 검출은 제스처 버스 서버 (910) 를 통해 제스처 관리자 (920) 에 통신될 수도 있다. 특정 실시형태에서, 메시지들은 프로세스간 통신 (inter-process communication; IPC) 을 위한 소켓 통신들을 이용하여 제스처 버스 서버 (910) 에 의해 통신될 수도 있다. 도 9 의 시스템 (900) 은 온-타겟 제스처 소스 뿐만 아니라 오프-타겟 제스처 소스 양자 모두를 지원할 수도 있다.

설명된 실시형태에 따르면, 전자 디바이스는 송신된 신호와 비교한 경우에 특정 특성을 갖는 신호 반사들의 검출에 응답하여 (예를 들어, 슬립 모드로부터 활성화 모드로) 저-전력 모드로부터 천이할 수도 있다. 예를 들어, 도 10 에 도시된 바와 같이, 전자 디바이스는 스피커 (1002) 및 마이크로폰 (1004) 으로 구성될 수 있다. 전자 디바이스가 저-전력 모드에 있는 경우, 스피커 (1002) 는 신호를 방출한다. 신호가 오브젝트 (예를 들어, 예시적인 오브젝트 (1006)) 와 부딪침에 따라, 신호가 반사되고, 반사들 중 일부가 마이크로폰 (1004) 에 의해 검출된다. 일 실시형태에서, 도 11 에 도시된 바와 같이, 선형으로 달라지는 주파수를 갖는 신호는 스피커 (1002) 에 의해 송신될 수도 있고, 신호의 반사는 마이크로폰 (1004) 에서 수신될 수도 있다. 전자 디바이스는 디바이스 웨이크업 모듈 또는 회로 (1010) 를 통해 반사가 저-전력 모드로부터의 천이 (예를 들어, 주머니로부터 폰을 꺼내는 것, 얼굴 아래쪽으로부터 얼굴 위쪽으로 폰을 플립핑하는 것 등과 같은 상황들) 에 대한 요청을 표시하는지 여부를 (예를 들어, 저-전력 초음파 검출 프론트-엔드 모듈 또는 회로 (1008) 를 통해) 결정할 수도 있다. 반사가 저-전력 모드로부터의 천이에 대한 요청을 표시하는지 여부를 결정하기 위해, 반사의 주파수와 반사가 수신된 시간에 스피커 (1002) 로부터 방출되는 신호의 주파수 사이의 주파수 차이가 계산될 수도 있다.

예를 들어, 도 11 에 도시된 바와 같이, (도 11 에서 "스피커로부터의 신호" 로 지정되는) 초음파 신호는 제 1 시간 (예를 들어, t0) 에 전자 디바이스 (예를 들어, 도 10 의 전자 디바이스) 의 스피커로부터 방출될 수도 있다. (예를 들어, 도 11 에서 r₁ 으로 지정되는) 초음파 신호의 제 1 반사는 제 2 시간 (예를 들어, t1) 에서 마이크로폰에 의해 수신될 수도 있다. t1 에서의 제 1 반사의 주파수는 t0 에서의 초음파 신호의 주파수에 대응할 수도 있다. 제 1 반사를 수신할 시에, 전자 디바이스는 제 1 반사의 주파수 차이를 계산하기 위한 방법을 시작할 수도 있다. 방법을 시작하기 위해, 전자 디바이스는 t1 에서의 초음파 신호의 주파수와 t1 에서의 제 1 반사의 주파수를 곱하여 주파수 차이 및 주파수 합을 생성할 수도 있다. 주파수 차이는 제 1 반사를 야기한 오브젝트의 전자 디바이스로부터의 거리를 표시할 수도 있다. 주파수 차이 및 주파수 합은 저역 통과 필터를 통해 프로세싱되어 주파수 합을 제거하고 주파수 차이를 분리시킨다. 전자 디바이스는 분리된 주파수 차이에 대해 고속 푸리에 변환을 수행하여 전자 디바이스로부터의 오브젝트의 거리에 대응하는 진폭 값 (예를 들어, 도 11 의 좌측 하단의 사분면) 을 발생시킬 수도 있다. (예를 들어, 도 11 에서 r₂ 로 지정되는) 초음파 신호의 제 2 반사는 제 3 시간 (예를 들어, t2) 에서 마이크로폰에 의해 수신될 수도 있다. 제 2 반사를 수신하는 것에 응답하여, 전자 디바이스는 방법 단계들을 다시 수행할 수도 있다. 도 11 에 도시된 바와 같이, 제 1 반사와 제 2 반사의 주파수 차이들을 계산한 후에, 제 1 피크와 제 2 피크 (예를 들어, p1 및 p2) 가 식별된다.

제 1 반사 및 제 2 반사를 이용하여 상술된 방법들을 다수 회 순차적으로 수행함으로써, 피크들의 스펙트럼이 발생될 수도 있다. 발생된 피크들의 스펙트럼은 저-전력 모드로부터 전자 디바이스를 천이할지 여부를 결정하는데 이용될 수도 있다. 예를 들어, 특정 스펙트럼은 디바이스가 저-전력 모드로부터 천이할지 여부를 표시할 수도 있다. 전자 디바이스는 하나 이상의 알려진 스펙트럼들 (예를 들어, 전자 디바이스가 사용자의 주머니 안에 있다거나, 전자 디바이스가 테이블 상에 엎어놓여 있는 등을 표시하는 스펙트럼) 을 저장하기 위한 메모리를 포함할 수도 있다. 제 1 저장된 스펙트럼은 전자 디바이스로 하여금 저-전력 모드로부터의 천이를 야기하지 않는 스펙트럼에 대응할 수도 있다 (예를 들어, 폰이 사용자의 주머니 안에 있다). 전자 디바이스는 발생된 스펙트럼에 기초하여 저-전력 모드로부터 천이할 수도 있다.

다른 구현예에서, 초음파 신호의 파형은 여현파에 따라 달라질 수도 있다. 초음파 신호는 스피커에 의해 송신될 수도 있고, 신호의 반사는 마이크에서 수신될 수도 있다. 도 11 을 참조하여 위에서 설명된 바와 같이, 시간 (t1) 에서의 제 1 반사의 파형은 t0 에서의 초음파 신호의 파형에 대응할 수도 있다. 전자 디바이스는 t1 에서의 반사의 파형과 t1 에서의 초음파 신호의 파형 사이의 위상 차이에 기초하여 저-전력 모드로부터 천이할 수도 있다.

도 12 는 전자 디바이스가 저-전력 모드로부터 천이할지 여부를 결정하는 방법의 예시적인 플로차트이다. 방법은, 1202 에서, 전자 디바이스의 스피커로부터 신호를 방출하고 신호의 적어도 하나의 반사를 수신하는 것으로 시작한다. 위에서 설명된 바와 같이, 반사가 수신되는 경우, 1204 에서, (예를 들어, 주파수 차이에 기초하여 또는 위상 차이에 기초하여) 스펙트럼/반사 경로가 발생된다. 스펙트럼은, 1206 에서, 저장된 부정 (negative) 예들과 비교될 수도 있다. 부정 예들은 저-전력 모드로부터의 천이를 야기하지 않는 스펙트럼들 (예를 들어, 폰이 사용자의 주머니로 이전되었음을 표시하는 반사 경로) 에 대응할 수도 있다. 스펙트럼이 저장된 부정 예에 매칭하는 경우, 전자 디바이스는, 1208 에서, 제 2 울트사운드 신호를 스피커로부터 송신하고 방법을 재시작시키기 전에, 어느 시간의 길이만큼 기다릴 수도 있다. 저장된 부정 예들은 어느 시간의 기간 후에 만료되고/되거나 디폴트 부정 예들을 포함한다. 추가적인 부정 예들은 하기에서 보다 상세히 설명되는 바와 같이 동적으로 저장될 수도 있다.

스펙트럼이 부정 예에 매칭하지 않는 경우, 1210 에서, 전자 디바이스는 스펙트럼이 반복되는 경로의 변화 (예를 들어, 전자 디바이스의 앞에서 흔들리는 손) 를 갖는 신호를 표시하는지 여부를 결정할 수도 있다. 스펙트럼이 반복되는 경로의 변화를 표시하는 경우, 전자 디바이스는, 1212 에서, 저-전력 모드로부터 천이할 수도 있다.

스펙트럼이 반복되는 경로의 변화를 갖는 신호를 표시하지 않는 경우, 전자 디바이스는, 1214 에서, 스펙트럼이 신호 천이를 표시하는지 여부를 결정할 수도 있다. 예를 들어, 전자 디바이스는 제 1 스펙트럼이 전자 디바이스가 사용자의 주머니 안에 있는지를 표시하는지를 결정할 수도 있다. 전자 디바이스가 사용자의 주머니 안에 있지 않다는 것을 표시하는 제 2 스펙트럼이 계산되는 경우, 전자 디바이스는, 1212 에서, 저 전력 모드로부터 천이할 수도 있다. 예시적인 실시예로서, 전자 디바이스가 폰인 경우, 제 1 스펙트럼은 폰이 폰의 디스플레이 화면이 책상을 향해 엎어놓여 책상 위에 배치되었다고 표시할 수도 있다. 추후에, 제 2 스펙트럼이 폰이 책상에서 집어 들어지거나 디스플레이 화면이 더 이상 책상을 향해 엎어놓여져 있지 않다고 표시하는 것으로 계산되는 경우, 전자 디바이스는 저 전력 모드로부터 천이할 수도 있다.

스펙트럼이 신호 천이를 표시하지 않는 경우, 전자 디바이스는, 1216 에서, 스펙트럼의 특성 (예를 들어, 스펙트럼에 의해 표시되는 에너지, 스펙트럼의 강도 등) 을 추출할 수도 있고, 1218 에서, 특성이 임계 값을 초과하는지 여부를 결정할 수도 있다. 특성이 임계 값을 초과하는 경우, 전자 디바이스는, 1212 에서, 저-전력 모드로부터 천이할 수도 있다. 그렇지 않으면, 전자 디바이스는, 1220 에서, 부정 예들을 업데이트할 수도 있고, 스피커로부터 제 2 초음파 신호를 송신하기 전에, 1208 에서, 소정의 시간의 기간만큼 기다릴 수도 있다.

저-전력 모드로부터의 천이 시에, 1212 에서, 전자 디바이스에서 어떠한 활동 (예를 들어, 1222 에서, 긍정 피드백) 도 검출되지 않는 경우, 전자 디바이스는 다시 저-전력 모드로 천이하도록 구성될 수도 있다. 또한, 잘못된 긍정 조건이 검출되는 경우, 1220 에서, 디바이스로 하여금 저-전력 모드로부터의 천이를 야기하는 반사와 연관된 스펙트럼은 (예를 들어, 스펙트럼이 잘못된 긍정이었기 때문에) 저장된 부정 예들에 추가될 수도 있다.

전자 디바이스가 저-전력 모드로부터 천이하는 경우를 식별하기 위해 울트라 송신기들 및 마이크로폰들을 이용하는 것은 다른 기법들 (예를 들어, 광학/적외선 유형 시스템들 및 웨이크 업 온 터치 유형 시스템들) 보다 적은 전력을 소모할 수도 있다. 또한, 많은 전자 디바이스들이 이미 스피커 및 마이크로폰을 갖추었기 때문에, 추가의 트랜스듀서들 또는 센서들이 필요하지 않다.

설명된 실시형태들과 연계하여, 장치는 제 1 출력을 발생시키고 제 1 센서 유형을 갖는 제 1 센서 수단을 포함하는 것으로 개시된다. 예를 들어, 발생시키기 위한 제 1 센서 수단은 도 1, 도 2, 및 도 5 의 초음파 센서 (111), 도 1, 도 2, 및 도 5 의 초음파 프로세싱/제어 모듈 (112), 도 2 의 초음파 추적 모듈 (201), 도 2 의 초음파 제스처 인식 모듈 (202), 제 1 출력을 발생시키고 제 1 센서 유형을 갖는 하나 이상의 다른 디바이스들 또는 회로들, 또는 이들의 임의의 조합일 수도 있다.

장치는 또한 제 2 출력을 발생시키고 제 1 센서 유형과 상이한 제 2 센서 유형을 갖는 제 2 센서 수단을 포함할 수도 있다. 예를 들어, 발생시키기 위한 제 2 센서 수단은 도 1, 도 2, 및 도 5 의 카메라 센서 (113), 도 1, 도 2, 및 도 5 의 이미지 프로세싱/제어 모듈 (114), 도 2 의 카메라 추적 모듈 (203), 도 2 의 카메라 제스처 인식 모듈 (204), 제 2 출력을 발생시키고 제 1 센서 유형과 상이한 제 2 센서 유형을 갖는 하나 이상의 다른 디바이스들 또는 회로들, 또는 이들의 임의의 조합일 수도 있다.

장치는 제스처 복잡도에 적어도 부분적으로 기초하는 상호 보완적인 선정 기법에 따라 제 1 출력 및 제 2 출력에 기초하여 제스처를 검출하는 수단을 더 포함할 수도 있다. 예를 들어, 검출하는 수단은 도 1, 도 2, 및 도 5 의 제스처 인식 모듈 (118), 도 2 의 다중-모드 제스처 구별 모듈 (205), 도 2 의 확장된 제스처 인터페이스 (206), 제스처를 검출하기 위한 하나 이상의 다른 디바이스들 또는 회로들, 또는 이들의 임의의 조합일 수도 있다.

장치는 조명 레벨을 결정하는 수단을 포함할 수도 있다. 예를 들어, 조명 수단을 결정하는 수단은 도 1 의 광 검출기 (115), 도 1 의 광 검출기 (116), 조명 레벨을 결정하기 위한 하나 이상의 다른 디바이스들 또는 회로들, 또는 이들의 임의의 조합일 수도 있다. 장치는 또한 제스처 범위를 결정하는 수단을 포함할 수도 있다. 예를 들어, 제스처 범위를 결정하는 수단은 도 1, 도 2, 및 도 5 의 초음파 센서 (111), 도 1, 도 2, 및 도 5 의 카메라 (113), 도 1, 도 2, 및 도 5 의 초음파 프로세싱/제어 모듈 (112), 도 1, 도 2, 및 도 5 의 이미지 프로세싱/제어 모듈 (114), 도 2 의 초음파 추적 모듈 (201), 도 2 의 카메라 추적 모듈 (203), 제스처 범위를 결정하기 위한 하나 이상의 다른 디바이스들 혹은 회로들, 또는 이들의 임의의 조합일 수도 있다.

장치는 조명 레벨 및 제스처 범위에 기초하여 제 2 센서 수단을 선택적으로 비활성화시키는 수단을 더 포함할 수도 있다. 예를 들어, 선택적으로 비활성화시키는 수단은 도 1, 도 2, 및 도 5 의 카메라 (113) 의 일부분, 도 1, 도 2, 및 도 5 의 이미지 프로세싱/제어 모듈 (114), 센서 수단을 선택적으로 비활성화시키기 위한 하나 이상의 다른 디바이스들 혹은 회로들, 또는 이들의 임의의 조합일 수도 있다.

당업자라면, 본원에서 개시된 실시형태들과 연계하여 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 하드웨어 프로세서와 같은 프로세싱 디바이스에 의해 실행되는 컴퓨터 소프트웨어, 또는 양자 모두의 조합들로서 구현될 수도 있음을 더 알 수 있을 것이다. 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들이 그것들의 기능성의 면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어 또는 실행가능한 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자들은 각각의 특정 애플리케이션에 대해 다양한 방식들로 설명된 기능성을 구현할 수도 있으나, 그러한 구현 결정들이 본 개시물의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.

본원에서 개시된 실시형태들과 연계하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 둘의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 비일시적 저장 매체, 예컨대, 랜덤 액세스 메모리 (RAM), 자기저항 랜덤 액세스 메모리 (MRAM), 스핀-토크 전송 MRAM (STT-MRAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그램가능 판독 전용 메모리 (PROM), 삭제가능 프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 삭제가능한 프로그램가능 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 제거식 디스크, 컴팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 공지된 저장 매체의 임의의 다른 형태에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되어, 프로세서가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 내에 상주할 수도 있다. ASIC 는 컴퓨팅 디바이스 또는 사용자 단말기 내에 상주할 수도 있다. 대안에서, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에서 개별 컴포넌트들로서 상주할 수도 있다.

개시된 실시형태들에 대한 앞서의 설명은 당업자가 개시된 실시형태들을 실시하거나 이용하는 것을 가능하게 하기 위해 제공된다. 이러한 실시형태들에 대한 다양한 수정예들이 당업자들에게는 자명할 것이고, 본원에서 정의된 일반적인 원칙들은 본 개시물의 범위를 벗어나지 않으면서 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 본원에서 보여진 실시형태들로 제한되도록 의도된 것이 아니고, 다음의 청구항들에 의해 정의된 원리들 및 신규한 특징들과 일치하는 가능한 가장 넓은 범위를 따르고자 한다.

Claims (30)

1. 장치로서,
   제 1 출력을 발생시키도록 구성된 제 1 센서;
   제 2 출력을 발생시키도록 구성된 카메라; 및
   프로세서
   를 포함하고,
   상기 프로세서는,
   조명 레벨이 임계치 이상인 경우 상기 제 1 출력 및 상기 제 2 출력 중 적어도 하나에 기초하여 제스처를 검출하고;
   상기 조명 레벨이 상기 임계치 미만인 경우 상기 제 1 센서로부터의 상기 제 1 출력에 기초하여 상기 카메라의 적어도 일부분을 비활성화시키고 제스처 인식을 수행하도록
   구성되는, 장치.
2. 제 1 항에 있어서,
   상기 제 1 센서는 초음파 센서를 포함하는, 장치.
3. 제 2 항에 있어서,
   상기 제 1 출력을 프로세싱하도록 구성된 초음파 프로세싱 경로; 및
   상기 제 2 출력을 프로세싱하도록 구성된 이미지 프로세싱 경로
   를 더 포함하고,
   상기 초음파 프로세싱 경로는 상기 이미지 프로세싱 경로에 제스처 범위 정보를 전송하도록 구성되고,
   상기 제스처 범위 정보는 상기 초음파 센서에 대한 오브젝트의 포지션과 관련된 데이터를 포함하고,
   상기 카메라는 상기 오브젝트의 포지션에 기초하여 관심의 영역을 식별하도록 구성되고,
   상기 카메라는 상기 관심의 영역에 대응하는 상기 카메라의 센서 어레이의 일부분을 활성화시키고 상기 카메라의 상기 센서 어레이의 다른 부분들은 비활성화시키도록 구성되는, 장치.
4. 제 1 항에 있어서,
   상기 카메라의 내부에 있고 상기 조명 레벨을 결정하도록 구성된 광 검출기를 더 포함하는, 장치.
5. 제 1 항에 있어서,
   상기 카메라의 외부에 있고 상기 조명 레벨을 결정하도록 구성된 광 검출기를 더 포함하는, 장치.
6. 제 1 항에 있어서,
   상기 프로세서는 제스처 범위가 근접성 (nearness) 임계치를 초과하고 원격성 (farness) 임계치 미만이라는 조건으로 상기 제 1 출력과 상기 제 2 출력 사이에서 선택하기 위한 선정 기법 (voting scheme) 을 이용함으로써 제스처 인식을 수행하도록 구성되는, 장치.
7. 제 6 항에 있어서,
   상기 선정 기법은 제스처 복잡도에 적어도 부분적으로 기초하는, 장치.
8. 제스처 인식의 방법으로서,
   전자 디바이스의 제 1 센서로부터 제 1 출력을 수신하는 단계로서, 상기 제 1 센서는 제 1 센서 유형을 갖는, 상기 제 1 출력을 수신하는 단계;
   상기 전자 디바이스의 제 2 센서로부터 제 2 출력을 수신하는 단계로서, 상기 제 2 센서는 상기 제 1 센서 유형과 상이한 제 2 센서 유형을 갖고, 상기 제 2 센서 유형은 카메라 센서 유형을 포함하는, 상기 제 2 출력을 수신하는 단계;
   조명 레벨이 임계치 이상인 경우, 제스처 복잡도에 적어도 부분적으로 기초하는 선정 기법 (voting scheme) 에 따라 상기 제 1 출력 및 상기 제 2 출력에 기초하여 제스처를 검출하는 단계; 및
   상기 조명 레벨이 상기 임계치 미만인 경우, 상기 제 2 센서의 적어도 일부분을 비활성화시키고 상기 제 1 센서로부터의 상기 제 1 출력에 기초하여 제스처 인식을 수행하는 단계
   를 포함하는, 제스처 인식의 방법.
9. 제 8 항에 있어서,
   상기 제 1 센서 유형은 초음파 센서 유형, 적외선 센서 유형, 및 자기 센서 유형 중 적어도 하나를 포함하는, 제스처 인식의 방법.
10. 제 8 항에 있어서,
    상기 제 1 출력은 제 1 신뢰도 점수를 갖는 제 1 제스처를 식별하고, 상기 제 2 출력은 제 2 신뢰도 점수를 갖는 제 2 제스처를 식별하는, 제스처 인식의 방법.
11. 제 10 항에 있어서,
    상기 선정 기법에 따라 제스처를 검출하는 단계는,
    상기 제 1 센서 및 상기 제 2 센서가 동일한 제스처를 식별하는 경우, 출력 제스처로서 상기 동일한 제스처를 선택하는 단계; 및
    상기 제 1 센서 및 상기 제 2 센서가 상이한 제스처들을 식별하는 경우, 상기 출력 제스처로서 보다 높은 신뢰도 점수를 갖는 제스처를 선택하는 단계
    를 포함하는, 제스처 인식의 방법.
12. 제 11 항에 있어서,
    상기 선정 기법에 따라 제스처를 검출하는 단계는, 상기 제 1 센서 및 상기 제 2 센서가 서로 다른 복잡도의 제스처들을 식별하는 경우, 상기 출력 제스처로서 보다 복잡한 제스처를 선택하는 단계를 더 포함하는, 제스처 인식의 방법.
13. 제 11 항에 있어서,
    상기 제 1 센서 및 상기 제 2 센서는 공통 데이터 모델에 따라 데이터를 출력하는, 제스처 인식의 방법.
14. 제 13 항에 있어서,
    상기 제 1 센서와 연관된 제 1 프로세싱 경로는 상기 제 2 센서에 의해 출력된 데이터를 수신하고, 상기 제 2 센서와 연관된 제 2 프로세싱 경로는 상기 제 1 센서에 의해 출력된 데이터를 수신하는, 제스처 인식의 방법.
15. 제 8 항에 있어서,
    제 3 센서로부터 제 3 출력을 수신하는 단계를 더 포함하고, 상기 제스처는 상기 제 3 센서로부터의 상기 제 3 출력에 더 기초하여 검출되는, 제스처 인식의 방법.
16. 장치로서,
    제 1 출력을 발생시키고 제 1 센서 유형을 갖는 제 1 센서 수단;
    제 2 출력을 발생시키고 상기 제 1 센서 유형과 상이한 제 2 센서 유형을 갖는 제 2 센서 수단;
    조명 레벨을 검출하는 수단;
    상기 조명 레벨이 임계치 미만이라고 결정하는 것에 응답하여 상기 제 2 센서 수단을 선택적으로 비활성화시키는 수단; 및
    제스처를 검출하는 수단으로서, 상기 제스처를 검출하는 수단은, 상기 조명 레벨이 상기 임계치 이상인 경우 제스처 복잡도에 적어도 부분적으로 기초하는 선정 기법에 따라 상기 제 1 출력 및 상기 제 2 출력에 제스처 인식을 수행하도록 구성되고, 상기 조명 레벨이 상기 임계치 미만인 경우 상기 제 1 센서 수단으로부터의 상기 제 1 출력에 기초하여 제스처 인식을 수행하도록 구성되는, 상기 제스처를 검출하는 수단
    을 포함하는, 장치.
17. 제 16 항에 있어서,
    조명 레벨을 결정하는 수단; 및
    제스처 범위를 결정하는 수단
    을 더 포함하는, 장치.
18. 제 17 항에 있어서,
    상기 선택적으로 비활성화시키는 수단은 상기 제스처 범위에 더 기초하여 상기 제 2 센서 수단의 적어도 일부분을 선택적으로 비활성화시키도록 구성되는, 장치.
19. 장치로서,
    공통 데이터 모델에 따라 제 1 출력을 발생시키고 초음파 프로세싱 경로에 상기 제 1 출력을 제공하도록 구성된 초음파 센서;
    상기 공통 데이터 모델에 따라 제 2 출력을 발생시키고 이미지 프로세싱 경로에 상기 제 2 출력을 제공하도록 구성된 카메라;
    프로세서; 및
    상기 제 1 출력 및 상기 제 2 출력 중 적어도 하나에 기초하여 제스처를 검출하도록 상기 프로세서에 의해 실행가능한 제스처 검출 모듈
    을 포함하고,
    상기 초음파 프로세싱 경로 및 상기 이미지 프로세싱 경로는 상기 공통 데이터 모델에 따라 데이터를 교환하도록 구성되고, 상기 데이터는 상기 초음파 센서 또는 상기 카메라에 대한 오브젝트의 포지션을 포함하고, 상기 카메라는 상기 오브젝트의 포지션에 기초하여 관심의 영역을 식별하도록 구성되는, 장치.
20. 제 19 항에 있어서,
    상기 공통 데이터 모델에 따라 교환된 데이터는 상기 초음파 센서로부터의 상기 제 1 출력, 상기 카메라로부터의 상기 제 2 출력, 상기 초음파 센서 또는 상기 카메라에 대한 상기 오브젝트의 범위와 관련된 데이터, 상기 초음파 센서나 상기 카메라의 작동 설정과 연관된 데이터, 또는 이들의 임의의 조합을 더 포함하는, 장치.
21. 제 19 항에 있어서,
    상기 카메라는 상기 관심의 영역에 대응하는 상기 카메라의 센서 어레이의 일부분을 활성화시키고 상기 카메라에서의 상기 센서 어레이의 다른 부분들은 비활성화시키도록 구성되는, 장치
22. 제 19 항에 있어서,
    상기 초음파 프로세싱 경로는 상기 이미지 프로세싱 경로로부터 수신된 데이터에 기초하여 특정 검출된 제스처가 위양성 (false positive) 인지 여부를 결정하도록 구성되는, 장치.
23. 제 19 항에 있어서,
    조명 레벨을 검출하도록 구성된 광 검출기를 더 포함하는, 장치.
24. 장치로서,
    초음파 프로세싱 경로에 제 1 출력을 제공하도록 구성된 초음파 센서;
    이미지 프로세싱 경로에 제 2 출력을 제공하도록 구성된 카메라;
    프로세서; 및
    상기 제 1 출력 및 상기 제 2 출력 중 적어도 하나에 기초하여 제스처를 검출하도록 상기 프로세서에 의해 실행가능한 제스처 검출 모듈
    을 포함하고,
    상기 초음파 센서 및 상기 카메라는, 상기 초음파 프로세싱 경로와 상기 이미지 프로세싱 경로 사이에서 교환되는 데이터에 기초하여, 상기 프로세서와는 독립적으로, 자기-조정하도록 각각 구성되는, 장치.
25. 제 24 항에 있어서,
    상기 초음파 센서는, 상기 카메라로부터의 상기 제 2 출력에 기초하여, 작동 설정, 신호 방출 주파수, 신호 방출 방향, 또는 이들의 임의의 조합을 자기-조정하도록 구성되는, 장치.
26. 제 24 항에 있어서,
    상기 카메라는, 상기 초음파 센서로부터의 상기 제 1 출력에 기초하여, 작동 설정, 초점 거리, 초점의 영역, 또는 이들의 임의의 조합을 자기-조정하도록 구성되는, 장치.
27. 제 24 항에 있어서,
    상기 제스처 검출 모듈은 제스처 복잡도에 적어도 부분적으로 기초하는 선정 기법을 이용하여 상기 제스처를 검출하도록 구성되는, 장치.
28. 명령들을 포함하는 비일시적 프로세서 판독가능 매체로서,
    상기 명령들은, 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금,
    전자 디바이스의 제 1 센서로부터 제 1 출력을 수신하는 것으로서, 상기 제 1 센서는 제 1 센서 유형을 갖는, 상기 제 1 출력을 수신하는 것;
    상기 전자 디바이스의 제 2 센서로부터 제 2 출력을 수신하는 것으로서, 상기 제 2 센서는 상기 제 1 센서 유형과 상이한 제 2 센서 유형을 갖고, 상기 제 2 센서 유형은 카메라 센서 유형을 포함하는, 상기 제 2 출력을 수신하는 것;
    조명 레벨이 임계치 이상인 경우, 제스처 복잡도에 적어도 부분적으로 기초하는 선정 기법에 따라 상기 제 1 출력 및 상기 제 2 출력에 기초하여 제스처를 검출하는 것; 및
    상기 조명 레벨이 상기 임계치 미만인 경우, 상기 제 2 센서의 적어도 일부분을 비활성화시키고, 상기 제 1 센서로부터의 상기 제 1 출력에 기초하여 제스처 인식을 수행하는 것
    을 하게 하는, 비일시적 프로세서 판독가능 매체.
29. 제 28 항에 있어서,
    상기 제 1 출력은 제 1 신뢰도 점수를 갖는 제 1 제스처를 식별하고, 상기 제 2 출력은 제 2 신뢰도 점수를 갖는 제 2 제스처를 식별하는, 비일시적 프로세서 판독가능 매체.
30. 제 28 항에 있어서,
    상기 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금, 제 3 센서로부터 제 3 출력을 수신하는 것을 하게 하는 명령들을 더 포함하고, 상기 제스처는 상기 제 3 센서로부터의 상기 제 3 출력에 더 기초하여 검출되는, 비일시적 프로세서 판독가능 매체.

Images