KR101691633B1

KR101691633B1 - 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법

Info

Publication number: KR101691633B1
Application number: KR1020157011111A
Authority: KR
Inventors: 브라이언 조나단 데이비스; 제임스 피셔; 로날드 유진 피셔
Original assignee: 아이캠, 엘엘씨
Priority date: 2012-11-01
Filing date: 2013-11-01
Publication date: 2017-01-09
Also published as: US20180129284A1; US11262841B2; EP2915025A1; EP2915025A4; WO2014071254A4; CN105027030B; KR20170003713A; CN105027030A; CN109799900A; US20140055352A1; CN109799900B; KR20150099510A; US9690376B2; EP2915025B8; WO2014071254A1; KR102065687B1; JP6155448B2; EP2915025B1; JP2016508241A

Abstract

빛과 광학적 깊이 매핑(light and optical depth mapping), 3D 영상화(imaging), 모델링(modeling), 네트워킹(networking) 및 인터페이싱(interfacing) 을 위한 장치 및 방법, 그리고, 자율적이고, 지능적이고, 무선으로 손목에 착용 가능한 컴퓨팅, 온 보드(onboard) 및 원격 기기(remote device )와 유저 그래픽 인터페이스 제어(graphic user interface control)를 위한 표시(display) 및 제어 시스템(control system)을 제공한다. 본 발명의 실시 예는 무선 멀티미디어 스트리밍(wireless multimedia streaming) 및 멀티 인터페이스 디스플레이(multi-interface display) 및 투영 시스템(projection systems)을 통해 물리적 세계에 가상 환경(virtual environment)과 가상의 객체와 인터페이스의 보강(augmentation)으로 사람, 객체(objects), 디바이스, 및 스페이스의 증대(augmentation)를 가능하게 한다.

Description

무선 손목 컴퓨팅과 3D 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법{WIRELESS WRIST COMPUTING AND CONTROL DEVICE AND METHOD FOR 3D IMAGING, MAPPING, NETWORKING AND INTERFACING}

본 발명은 착용 가능한 컴퓨팅 기술(wearable computing) 분야에 관련된다.보다 구체적으로, 본 발명은 3D 매핑(mapping), 영상화(imaging), 네트워킹(networking), 통신(communications) 및 다중-인터페이스 원격제어(multi-interface remote controlling)에 관련된다.

기존의 제어 기기(control devices)는, 휴대용 유선 x-y 위치 입력 기기(hand-held wired x-y positional input devices)의 형태로 미국 특허 3,541,541(U.S. patent 3,541,541)에서 발견되는 것과 같은 초기 마우스 기술(early mouse technology)부터 미국 특허 6,005,548와 같은 센서 및 공간 포지셔닝 시스템들(sensor and spatial positioning systems), 동작과 목소리 인식 및 터치 스크린 인터페이싱 제어(gesture and voice recognition and touchscreen interfacing controls) 기술과 협력한 착용 가능한 광학 손, 손가락 및 객체 공간 포지셔닝 시스템(wearable optical hand, finger and object spatial positioning systems)에 대한 기술을 포함한다.

미국 특허 (U.S. Patent 6,647,632)는 사용자의 손과 손가락의 위치 식별, 미리 할당된(pre-assigned) 동작과 음성 명령 감지 및 제어된 기기로의 데이터 중계(relay the data)를 위해 발광체(emitters)와 센서들이 손 안쪽으로 구비되어 손목에 착용하는 무선 제어기기(wireless control device)를 도입하였다. 미국 특허 8,292,833 B2는 손목에 착용하는 손가락 움직임 감지 장치를 소개하였다. 이는 착용자들의 손과 손가락의 움직임과 위치를 식별하고, 제어되는 기기로 데이터를 중계하기 위해 착용자의 힘줄(tendons)의 광학(optical)및 초음파 신호(ultrasonic wave) 모니터링을 이용하여 손가락 움직임을 감지하는 장치이다. 미국 특허 2009/0096783 A1는 실내 3차원 구조 영상화 시스템(indoor three dimensional structured imaging system)과 조명을 받은 물체의3D 지도(3D map)로의 빛 반점 패턴(light speckle pattern)을 이용한 몸체 움직임 및 동작 인터페이싱 시스템(body motion and gesture interfacing system)을 소개하였다. 그리고, 미국 특허 출원 2011/0025827는 빛 투영과 3D 컬러 영상화의 조합을 이용하여 입체적인 깊이 매핑(stereoscopic depth mapping)에 대해 소개한다. 두 시스템은 깊이 매핑(depth mapping), 모델링(modeling) 및 고정된 위치로부터의 인터페이싱(interfacing from a fixed location)에 제한되어 있다.

마우스(mouse)와 다른 휴대용(handheld) 그리고 착용 가능한(wearable) 인터페이싱 기기들의 공통 속성(common attribute)은 주변 장치(peripheral devices) 제어의 정의, 그리고 원격으로 제어되는 장치로의 위치 데이터 입력보조 (positional data input accessories)및 컴퓨팅 시스템이다.그래서, 기존의 기술에는 알려진 바와 같이 많은 문제들이 존재한다. 따라서, 기존의 기술로 공지와 관련된 많은 문제점이 있다.

본 발명의 일면에 있어서, 2차원(2d, 2 Dimensional), 3차원(3D, 3 Dimensional), 또는 4차원(4d, 4 Dimensional)을 영상화(imaging)하고, 손목에 구비되는 멀티 렌즈 어레이(multi lens array)를 컴퓨팅(computing), 통신(communications)하는 라이트 매핑(light mapping), 스캐닝(scanning) 및 영사 시스템(projection system)을 포함하는 제어기기(control device)를 포함하는 장치에서, 제어 장치(control device)는 프로세서(processor)를 하우징 하는 하우징 모듈(a housing module), 발광체(light emitters) 및 광 센서(optical sensors)를 포함하고, 프로세서는 상기 발광체 및 상기 광 센서와 통신하고, 상기 발광체 및 광 센서는 상기 프로세서가 사용자의 몸체를 스캔 하도록 동작하고, 상기 스캔 된 몸(scanned body) 표면의 맵(maps)을 생성하도록 동작한다.

본 발명의 다른 일면에 있어서, 손목에 장착된 컴퓨팅 디바이스(wrist mounted computing devices)와 다른 장치(another device)의 인터페이싱(interfacing) 방법은, 손목에 장착된 컴퓨팅 장치에서 사용자 몸의 일정 부분(portion of the body)을 매핑하는 과정; 사용자 몸의 표면을 스캐닝(scanning)하는 과정; 및 스캔된 신체(body scanned) 표면의 맵을 생성하기 위해 손목에 장착된 컴퓨팅 디바이스 내부의 프로세서(processor)에서의 스캐닝 과정에서 수신한 데이터를 처리하는 과정; 신체 표면의 맵을 사용하는 외부 기기(external device)와 인터페이싱(interfacing) 하는 과정;을 포함한다.

도 1a는 본 발명의 실시예에 따른 손목 콘솔(wrist console)의 도면(perspective view)이다.
도 1b 는 도 1a에 도시된 실시예의 도면(perspective view)이다.
도 1c는 도 1a에 도시된 실시예의 도면이다.
도 1d는 도 1a에 도시된 실시예의 평면도(top plan view)이다.
도 2a는 도 1a에 도시 된 실시 예의 확장 모듈(expansion module)을 묘사한 도면이다.
도 2b는 도1a에 도시된 실시 예의 분리된 확장 모듈(detached expansion module)을 묘사한 도면(perspective view)이다.
도 2c는 도 1a에 도시된 실시 예의 확장을 묘사한 도면이다.
도 2d는 도 1a에 도시된 실시 예의 분리 된 확장 모듈(expansion module)의 도면이다.
도 3a 와 3b는 하나 또는 하나 이상의 빛의 이동 빔(moving beams of light)을 통합하는 손목 콘솔(wrist console)의 실시예에 대한 도면(perspective views)이다.
도 3c 및 3d는 구조 광 영상화(structured light imaging)을 통한 본 발명의 실시예에를 나타내는 도면(perspective views)이다.
도 3e 및 도 3f 는 본 발명의 실시예에 따라 깊이와 색을 매핑한 손(depth and color mapped hand)을 생성하는 손목 콘솔(wrist console)을 나타내는 도면이다.
도 3g 및 도 3h 는 본 발명의 실시예에 따라 관절(joints)과 손의 주름(creases of the hand)의 정확한 위치를 식별하는 손목 콘솔을 나타낸 도면이다.
도 3i 및 도 3j는 본 발명의 실시예에 따라 손의 기능적 장비(functional rigging)를 생성하는 손목 콘솔(wrist console)을 나타내는 도면이다.
도 3k및 도 3l는 3D로 매핑된 손으로의 손 장비(hand rig)를 통합한 실시예에 따른 도면(perspective views)을 나타낸다.
도 4a 및 도 4b는 실시예에 따라 모션 제스처를 결합하는데 사용되는 사용자의 손과 손가락을 나타낸 도면이다.
도 4c는 사용자 수행(performing)을 이용하고, 여러 개의 손가락(multiple fingers)과 관련된 제스처 인터페이스 제어 기능(gesture interface control function)을 선택하는 실시예를 나타낸 도면이다.
도 4d는 사용자 성능(user performing)을 나타내고, 하나의 손가락과 관련된 제스처 인터페이스 제어 기능(gesture interface control function)을 선택하는 도면(perspective view )이다.
도 4e는 실시예에 따른 사용자 성능을 나타내고, 손에서 식별된 포인트(point) 또는 영역(area)으로의 특정 손가락(specified finger)의 터치와 관련된 제스처 인터페이스 제어(gesture interface control) 선택을 나타내는 도면이다.
도 4f는 사용자 성능(user performing)을 나타내고, 다른 특정한 손가락(another specified finger)으로 하나의 지정된 손가락(one specified finger)을 터치하는 것과 관련된 제스처 인터페이스 제어 기능(gesture interface control function)의 선택을 나타낸 도면이다.
도 5a는 실시예에 따라 컨트롤러로서 하나의 손가락(single finger)을 사용하는 외부와 네트워크 된 (networked)기기에서 2d 또는 3D 컴퓨팅 환경(computing environment)에 대한 단일 제어 포인트(single point of control)를 나타내는 도면이다.
도 5b는 실시예에 따라 컨트롤러로서 여러 손가락(multiple fingers)을 사용하여 외부와 네트워크 된 기기에서 2d 또는 3D 컴퓨팅 환경에 대한 여러 개의 제어 포인트(multiple points of control)를 나타낸 도면이다.
도 6a는 사용자의 손과 손가락 상에 그래픽 사용자 인터페이스 (GUI)를 돌출 손목 본체를 나타내는 도면이다.
도 6b는 사용자 터치 성능을 나타내고, 사용자의 손과 손가락으로 투영된 GUI(projected GUI)를 제어하기 위한 제스처 인터페이싱(gesture interfacing)을 나타내는 도면이다.
도 6c는 사용자들의 손들과 손가락들로 투영되는(projecting) 사용자 그래픽 인터페이스 (graphic user interface)의 손목 콘솔(wrist console)을 나타낸 도면이다.
도 6d는 실시예에 따라 사용자의 손에 투영된 키패드(projected keypad)에서 사용자가 타이핑 하는 것을 나타낸 도면이다.
도 7은 두 왼쪽과 오른쪽 손목 콘솔(wrist console)에 의해 외부 표면에 매핑된 투영된 키패드(projected keyboard)에서 사용자가 타이핑하는 것을 나타낸 도면이다.
도 8a는 두 개의 네트워크 된 기기로(two networked devices)의 사용자 인터페이싱(interfacing)을 나타내고, 외부의 네트워크 된 기기에서 가상 컴퓨팅 환경으로(virtual computing environment) 스캔 된 물리적 객체의(physical object) 매핑, 이미지화 및 모델링을 수행하는 손목 콘솔(wrist console) 사용을 나타내는 도면이다.
도 8b는 실시예에 따라 손목 콘솔과 무선으로 업로드 된 외부로 네트워크 된 기기에 의해 스캔 및 모델링(scanned and modeled) 된 3D 컴퓨터 모델과 인터페이스 및 조작을 위해, 두 손 제스처 인터페이스 컨트롤러(two hand gesture interface controller)로서 왼쪽과 오른쪽 손목 콘솔을 동작하는(operating) 것을 나타내는 도면이다.
도 8c는 실시예에 따라 외부로 네트워크 된 기기(external networked device)에서 파일, 문서 또는 프로그램을 선택하는 것을 나타내는 도면이다.
도 8d는 손목 콘솔 터치스크린 인터페이스(wrist console touchscreen interface)에 3D로 스캔 되고 모델링 된 객체를 운용 및 제어하는(operating and controlling) 사용자를 나타내는 도면이다.
도 9a는 사용자의 무선 인터페이스(wirelessly interfacing) 및 원격 기기 또는 운송수단(vehicle) 제어를 나타내는 도면이다.
도 9b는 원격 기기(remote device)로부터 실-시간 목소리(real-time voice), 데이터, 비디오 및 멀티미디어 콘텐츠(multimedia content)를 사용자가 무선으로 송신 및 수신(wirelessly sending and receiving)하는 것을 나타내는 도면이다.
도 10a 와 10b 는 몸체 스캔을 수행하는 곳에서 손목 콘솔의 몸 전체 스캐닝(full body scanning), 깊이 매핑(depth mapping) 및 이미지 처리과정 (imaging process)을 나타내고, 사용자의 3D 컴퓨터 모델이 생성되는 것을 나타내는 도면이다.
도 10c 및 도 10d 는 다른 위치의 사용자 및 사용자의 다른 몸의 움직임 수행에 대해 여러 위치(multiple positions)에서 손목 콘솔(wrist console )로 몸체의 맵 (map)과 이미지(image) 를 가능하게 하고, 보다 정확하게 3D 컴퓨터 모델에 대한 몸체의 장비(body rigging)를 생성하기 위해 사용자의 유연성과 기동성(flexibility and mobility)을 분석하고, 가상 컴퓨팅 환경에서 사용자의 움직임을 복제하는 것을 나타내는 도면이다.
도 10e 및 도 10f는 사용자와 옷을 입은 3D 컴퓨터 모델의 3D 매핑과 영상화를 나타낸 도면이다.
11a 및 11b는 실시예에 따라 손목 콘솔(wrist console)의 상단 모듈(top module)로부터의 카메라 뷰(camera view)를 나타내는 도면이다.
도 11c 와 11d는 실시예에 따라 손목 콘솔(wrist console)의 하단 모듈(bottom module)로부터의 카메라 뷰(camera view)를 나타내는 도면이다.
도 12b와 12b는 손목 콘솔(wrist console)의 상단 모듈(top module)로부터의 카메라 뷰(camera view)를 나타내는 도면(perspective views )이다.
도 12c와 12d는 실시예에 따라 손목 콘솔(wrist console)의 하단 모듈(bottom module)로부터의 카메라 뷰(camera view)를 나타내는 도면이다.
도 13a 내지 13c는 신체를 장치화하는 과정(body rigging process)을 나타낸 도면이다.
도 14a 및 14b는 매핑된 물리적 환경에서 사용자들의 3D 컴퓨터 모델 공간 위치 및 지역(3D computer model spatial position and location)을 나타낸 도면이다.
도 15는 실시예에 따라 사용자의 해부화된 체내 가상 맵(virtual internal body map) 및 네트워크, 센서, 이식된 기기 및 보철 장치(prosthetics)의 체내 가상 맵을 나타내는 도면이다.
도 16a 및 16b는 손목 콘솔 공간(wrist console space), 객체 및 주변환경 3D 빛과 이미지 매핑 과정(image mapping process)을 나타내는 도면이다.
도 17a 및 17b는 실시예에 따라 주거생활공간(residential living space)에 서있는 사용자의 도면이다.
도 18은 주거생활 공간 안의 모든 네트워크 된 기기에 대한 손목콘솔식별(wrist console identifying),위치 매핑(mapping the location), 기기유형(device type), 기능 및 어플리케이션(functions and applications),데이터,전력(power) 및 다른 시스템 사양(other system specifications) 및 사용 가능한 네트워크 그리고 인터페이싱 옵션(interfacing options)에 대한 사용자 오버헤드 관점에서의 뷰(overhead perspective view)를 나타낸 도면이다.
도 19a및 19b는 프로 테니스 선수가 손목 콘솔 (wrist console)을 착용한 것을 나타낸 도면이다.
도 20a, 20b, 및 20c는 프로 골프 선수의 스윙과 그의 공에 매핑한 실시예를 나타내고, 선수의 전체 골프 게임에서 실시간으로 가상화(virtualizing)되는 것을 나타내는 도면이다.
도 21은 골프코스(golf course)에서 프로 골퍼를 나타낸 도면이다.
도 22는 손목 콘솔을 개략적으로 나타낸 도면(schematic diagram)이다.

본 발명의 실시예에서 제공되는 장치 및 방법은 온 보드 컴퓨팅(onboard computing)과 멀티-인터페이스 손목 콘솔(multi-interface wrist console), 원격 기기(remote device) 및 사용자 그래픽 인터페이스(GUI, graphic user interface) 컨트롤러를 통합하는 자율적이고, 지능적인 무선 음성(wireless voice), 데이터 및 비디오 통신 시스템(video communications systems)을 위해 설명된다. 또한, 장치 및 방법은 3차원(3D) 광학 손(3 Dimensional optical hands), 몸체, 객체, 센서 및 주변환경 영상화, 매핑, 모델링, 네트워킹 및 인터페이싱을 위해 설명된다. 또한, 장치 및 방법은 가상 환경(virtual environment)으로의 실 세계의 사람, 객체, 및 기기의 증강(augmentation)을 가능하도록 하기 위해, 그리고 가상 객체(virtual objects)의 증강을 가능하게 하기 위해, 그리고 물리적인 환경(physical environment)으로 인터페이스 하기 위해 설명된다.

장치 및 방법은 착용 가능한 컴퓨팅 광학(wearable computing optic) 및 종래 기술을 넘어서는 인터페이싱(interfacing), 손으로부터의 확장(expanding from hand), 손가락, 및 3D 스캐닝, 매핑, 모델링, 영상화, 투영,을 위한 객체 포지셔닝(object positioning)및 손목 컴퓨팅과 제어 콘솔(control console )에 의해 모두 포획되고(captured), 렌더링되고(rendered), 운영되는(operated) 무선 인터페이싱 시스템(wireless interfacing systems)의 발전에 대해 설명한다.

장치 및 방법은 발광체(light emitters); 및 몸체(body), 움직임, 방향(orientation) 과 위치를 포함하는 센서들(sensors)의 조합(combination)을 구현하도록 설명된다. 또한 이러한 장치 및 방법은 깊이 맵(depth maps) 및 3D이미지 모델링(imaging models)을 생성하기 위한, 광학적이고, 입체적인(stereoscopic), 또는 모든 방향의 빛을 담는(plenoptic)렌즈 배열 뿐만 아니라, 가상 컴퓨팅(virtual computing), 인터페이싱(interfacing), 및 하나 또는 하나 이상의 깊이 측정(depth measurement) 과 영상화 방법을 이용하여 낮 또는 밤, 실내 또는 실외에서 손, 몸, 객체 및 주변환경의 역동적인 스캐닝 및 이미지화에 의한, 네트워킹 플랫폼들(networking platforms)을 포함한다.

또한, 장치 및 방법은 자율적이고, 지능적인 착용 가능한 무선 손목 컴퓨팅 , 디스플레이 및 온 보드(onboard)와 원격 기기 및 사용자 그래픽 인터페이스(GUI, graphic user interface) 제어에 대한 제어 시스템(control system)에서의 모바일 라이트(mobile light) 및 광학 깊이 매핑 영상화(optical depth mapping imaging), 모델링, 네트워킹, 과 인터페이싱에 대해 설명한다. 가상 환경(virtual environment)으로의 실 세계의 사람(real world people), 객체 및 기기 의 증강(augmentation), 그리고 무선 멀티미디어 스트리밍(wireless multimedia streaming) 및 멀티-인터페이스 디스플레이(multi-interface display)와 투영(projection) 시스템을 통한 실 세계로의 가상 객체(virtual objects), 인터페이스 및 환경의 증강(augmentation)이 설명된다.

빛 매핑(Light Mapping)

발명의 실시예는 광의 및 협의의 빔 발광체 (beam light emitters), 또는 사용자에 의한 손목 콘솔 상부 및 하부(top and bottom of wrist consoles )에 구조화된 라이트 이미지 시스템 (structured light imaging system)과 관련된다. 실시 예에서, 장치는 손과 손가락, 몸(body) 및 손에 있는 임의의 객체 또는 라이트 이미지 시스템(light imaging system)영역의 임의의 객체(any objects)의 상부 및 하부를 스캔 한다.

광의 또는 협의의 빔 발광체(beam emitter) 및 센서 어레이(sensor arrays)를 사용할 때, 발광체 어레이(emitter array)는 스캐닝 과정(scanning process)동안 라이트 빔(light beams)의 초점(focal point)의 위 아래 및 앞 뒤로 x 및 y 축 그리드 형성(grid formation)을 가로 질러 움직이도록 할당되고, 발광체 어레이(emitter array)는 손과 손가락 움직임을 모니터링 하기 위해 고정된 위치들(fixed positions)이 할당된다. 발광체(emitters)는 공간의 x와 y차원(x and y dimensions of space)에서 손과 손가락을 감지하기 위한 x-y배열(array)을 형성하고, 센서들은 반사 존재 여부(presence or absence of a reflection) 를 검출한다. 실시예에 있어서, 깊이(z) 거리는 라이트 빔(light beams)이 움직이고, 객체가 고정된(stationary) 경우, 라이트 센서(light sensor)로 타겟 표면 깊이를 매핑 하거나, 라이트 빔이 고정되고 스캔 된 객체가 움직이는 경우, 스캔 된 객체의 위치(position)를 동적으로 식별하는 라이트 센서로의 타겟 표면의 라이트 빔 반사(beam reflection)에서 이격 된 삼각측량(triangulation)에 의해 측정된다.

구조화된 라이트 이미지 시스템 발광체(light emitters)와 확산기(diffusers)를 이용하는 실시예에서는 손의 상부 및 하부로 가로지르는 빛의 스펙클 패턴(light speckle pattern) 을 생성하도록 하고, 주변 객체 및 환경을 덮는다(cover).실시예에서 손목 콘솔(wrist console)에서 지정된 카메라 센서들(camera sensors)은 빛의 스펙클 패턴(light speckle pattern)을 인지하고, 타겟 표면의 각 점의 방향 반사(directional reflection)는 빔 라이트 삼각 측량(triangulate the beam of light)을 위한 카메라 센서 내의 다른 픽셀(pixel)에 도달하고, 위치, 깊이 및 타겟 표면(target surface)의 형태(shape)를 결정한다.

정적으로 구조화된 라이트 이미지 시스템(Stationary structured light imaging system)은 그것의 투영 영역(its projection field)에서 위치, 깊이 및 타겟 객체의 표면 형태가 유일한 변수(only variables)인 투영된 빛 패턴(projected light pattern)에 대한 고정된 원 지점(constant point of origin)을 제공한다. 손목 콘솔(wrist console)은 대부분의 시간에 움직이는 착용가능 한 구조화된 라이트 이미지 시스템(wearable structured light imaging system)을 도입한다. 심지어 어떤 사람이 그의 팔과 손을 안정적으로 잡고 있는 경우에도, 경미한 몸의 움직임(slight body movements)은 발광체(light emitters)와 투영된 라이트 패턴(projected light pattern) 두 가지를 변경 시킬 수 있고 결과적으로 카메라 센서들(camera sensors) 시야(sight) 위치 및 라인을 변경시킬 수 있다.

실시예에 있어서, 라이트 매핑 시스템(the light mapping system )은 손, 손가락, 몸체, 및 제스처 인터페이싱을 위한 객체 움직임(object motion) 및 제어를 역동적으로 모니터링 하기 위해, 그리고, 키가 없는 사용자(keyless user)의 즉각적인 인증(instant user verification) 수행과, 기기 로그인(device sign-in)에 대한 인증(authorization)을 위해, 뿐만 아니라, 지불(payment)및 집과 차의 키가 없는 엔트리(keyless entry) 와 같은 다른 보안 거래(secure transactions)에 대한 인증 수행을 위해 초기 매핑(initial mapping) 및 손, 몸, 객체 및 환경의 모델링(modeling) 두 가지에 모두 사용된다. 그리고 고유한 사용자 계정(unique user accounts) 및 사용자 특정 함수(specific functions) 및 상기 기기의 어플리케이션(applications)에 접근한다.

위치 및 방향 매핑(Position and Orientation Mapping)

실시예에 있어서, 지속적인 움직임(constant motion), 위치 및 방향(orientation) 데이터를 통합(incorporate)하는 것이 필요하다. 빛 과 광학적 깊이 매핑 및 3D 컬러 영상화(color imaging)이 수행될 때, 손목 콘솔(wrist console)의 공간 위치(spatial position), 방향성 움직임(directional motion), 및 방향(orientation)은 온 보드 가속도계(accelerometers), 고도계(altimeters), 나침반(compasses), 그리고 자이로 스코프(gyroscopes)의 임의의 조합에 의해 획득된다. 뿐만 아니라, 손목 콘솔 카메라, 발광체(light emitter), 및 센서들의 정확한 관계 위치(relational position)를 지속적으로 식별하기 위해, 반사되고 이미지화 되는 표면으로 깊이와 컬러 맵(depth and color map )에서의 각 라이트 포인트(light point) 및 컬러 픽셀(color pixel) 데이터를 지정하도록 GPS 및 라디오 주파수(RF,radio frequency)의 방향 신호(directional signal)와 위치 데이터(location data)가 획득된다.

광학 매핑과 영상화(Optical Mapping and Imaging)

실시예에 있어서, 깊이 매핑()과 3D 영상화()은 입체적(stereoscopic) 또는 모든 방향에서 빛을 담는(plenoptic) 멀티-렌즈 배열(arrays)을 사용하여 획득된다. 이러한 배열은 손목 콘솔의 상부 및 하부 모듈이 손, 몸, 주변 객체 및 주변 환경의 색 영역(field color)의 3D 또는 4d 멀티 뎁스(multi-depth)를 역동적으로 포획(capture) 가능하게 한다.

실시예에 있어서 손목 콘솔의 하나 또는 하나 이상의 입체 렌즈 배열(stereoscopic lens arrays)은 장면에서 둘 또는 그 이상의 초점(focal points)깊이를 결정 함으로써, 스테레오 삼각 측량(stereo triangulation)을 수행한다. 그리고, 다른 이미지들의 포인트와 특징(points and features)에 대응하는 하나의 이미지의 포인트와 특징(points and features)을 매칭 시킴으로써, 다른 이미지들의 포인트(points)에 대응하는 깊이를 결정한다. 대응문제(correspondence problem)를 극복하기 위해, 입체 영상화 시스템(stereoscopic imaging system)은 타겟 표면(target surface)으로 하나 또는 하나 이상의 포인트(points)를 투영(project)시켜, 이미지에서 정확한 대응 포인트를 검증하는 영상화 시스템(imaging system)을 가능하게 하는 라이트 영상화 시스템(light imaging system)을 통합하여 선택 할 수 있다. 대응 포인트(corresponding points)가 식별되면, 영상화 시스템(imaging system)은 장면에서의 모든 다른 포인트들의 초점 깊이(focal depths)를 결정한다.

실시예에 있어서, 빛-영역(light-field)에서 모든 영역의 빛을 담는 마이크로-렌즈 배열(plenoptic micro-lens array)이 통합할 경우, 손목 콘솔(wrist console)은 동시에 영역(field) 의 여러 깊이(multiple depths)를 포착한다. 입체 렌즈 배열(stereoscopic lens arrays)은 두 개 또는 그 이상의 각각의 개별 렌즈 배열(individual lens arrays)로 제한되는 반면, 영역의 하나의 깊이(single depth of field)로부터 포획한 각각의 빛과 컬러는 둘 또는 그 이상의 이미지 포인트에 매칭되도록 대응하는 화상 분석(image analysis )을 필요로 하고, 모든 방향의 빛을 담는 (plenoptic) 마이크로-렌즈(micro-lens) 배열은 하나의 센서로 여러 개의 렌즈를 할당한다. 그리고, 카메라가 포획된 이미지(captured image)에서의 모든 포인트들(all points)의 깊이 할당이 가능하도록, 각 렌즈들이 필드의 다른 깊이를 포획하는 동안, 뷰의 전체 필드(from the entire field of view)를 포획(capture)한다.

실시예에 있어서, 광학 영상화 시스템(optical imaging system)은 손, 손가락, 몸 및 제스처에 대한 움직임의 역동적인 이미지를 위해 그리고 사용자 검증 및 인증(verification and authorization) 수행을 위한 투영 인터페이싱(projection interfacing)을 위해, 그리고 다른 보안 관련 기능들, 그리고 비디오 및 2d and 3D or 4d비디오 에서의 사용자 라이브 스트리밍 활동(live stream user activities) 을 위해 그리고 다른 영상화 응용프로그램(applications.) 수행을 위해 초기 영상화(initial imaging), 손, 몸, 객체 및 환경의 깊이와 컬러 매핑(depth and color mapping) 및 모델링 두 가지 모두에 사용된다.

모델링 및 장비화(Modeling and Rigging)

라이트 스캐닝(light scanning)과 객체의 3D 영상화 이후, 대응하는 깊이 맵(depth map)은 포인트 클라우드(point cloud), x, y 및 z (깊이) 좌표로 할당된 각 포인트인 대응하는 벡터(corresponding vectors)로의 정점 맵(map of vertices)으로 변환된다. 이러한 과정은 빛 스캐닝 과정(light scanning process) 또는 객체의3D 영상화(3D imaging)에 의해 생성된 그레이 스케일 깊이 맵(grey scale depth map)을 이미지에서 각 포인트(each point) 또는 픽셀(pixel)이 미터법(metric units)으로 변환될 수 있는 x, y및 z 좌표(coordinate)으로서 식별되는 정점(vertex)으로 전환한다.

실시예에 있어서, 빛으로 스캔 된 깊이 맵(light scanned depth map)이 각 표면 포인트의 정확한 깊이(precise depth) 및 방향 위치(directional position) 식별에 의해 정점 및 벡터 맵(vertex and vector map)으로 변환되는 경우, 컬러 매핑 과정(color mapping process)은, 대응하는 컬러 픽셀에 매핑된 깊이(depth mapped color pixels)는 3D 정점 및 벡터 맵(vertex and vector map) 에서의 각 지점에 할당되는 것을 가능하게 한다. 이러한 과정은 포인트 클라우드(point cloud)를 연속적인 표면(contiguous surface)에서의 포인트들이 연결되고 결정되는 격자망(mesh)으로 변환한다(converts). 예컨대, 하나의 손가락은 다른 손가락에 뒤에 있는 것과 같이, 그것들은 단일 표면(single surface)에 있는 것이 아니다. 격자는 표면 형태(surface shape), 질감(texture) 및 3D 매핑된 객체의 윤곽(contours)을 따른다.

표면 격자망(surface mesh)과 사람의 손 또는 몸의 3D 맵(3D map)을 기능적인 특징모델(functional character model)로 변환하는 것은 착용자(wearer)의 움직임을 반영하도록, 사람의 관절(joints)을 매핑하는 과정과 3D 모델에 대한 매칭 영역(matching areas)으로 관절 위치를 할당(assigning joint positions)하는 과정 및 인간 몸의 골격 구조(skeletal structure)와 유사한 내부 모델 장치(internal model rigging)를 생성하는 과정을 통합하여 애니메이션 화(animated)될 수 있다. 그리고, 장치(rigging)를 3D 격자망(mesh) 및 모델에 부착하는 과정(attaching)과 격자망(mesh) 및 몸 움직임 및 피부의 근육과 힘줄(tendons)의 영향과 유사한 3D 모델의 표면의 영향 영역(areas of influence)을 지정하는 과정을 수행한다.

실시예에 따라, 종래의 기능적인 특징의 장치(rigging)에서는, 각각의 새로운 모델에 대한 장치(rig)를 생성하기 보다, 종래의 장치를 스케일 (scale)하고, 차원(dimensions), 모양(shape) 및 매핑된 사람의 물리적 특성(physical characteristics) 을 확인한다. 이는 몸의 타입, 성별, 크기(size), 몸무게, 나이, 건강, 체력(fitness), 유연성(flexibility)을 기반으로 몸의 유연성(body flexibility) 및 움직임을 판단하는 프로그램, 그리고, 매핑된 사람을 보다 정확하게 확인하기 위한 장치(rig)의 다른 파라미터들(parameters)과, 사람의 자연적인 몸 움직임 및 기동성(mobility)을 모방하기 위한 모델,과 통합할 수 있다.

3D 라이트 매핑(light mapping)및 영상화 과정(imaging process) 동안, 손목 콘솔(wrist console)은 관절(joints), 뼈 구조(bone structure) 및 사람의 기동성(mobility)을 식별하기 위해, 착용자가 수행하는 손의 수 및 몸의 움직임, 제스처, 및 위치(positions)를 알릴 수 있다(prompt). 이는 3D 스캔 포착(capturing multiple 3D) 및 사람의 이미지를 필요로 할 수 있다. 그리고, 정확한 신체 구조(body structure) 및 기동성을 복제하는 장치를 조정하는 과정을 수행한다.

센서 매핑 및 인터페이싱(Sensor Mapping and Interfacing)

실시예에 있어서, 손목 콘솔(wrist console)은 실시간으로(real-time) 신체 전체의 움직임을 지속적으로 매핑하고, 그것의 3D 매핑과 인터페이싱 시스템(interfacing system)으로의 외부 센서들(external sensors)과의 통합을 위해 사용된다. 이는 신체, 의복(clothing) 및 이격 된 무선 설비 센서들(wireless equipment sensors)을 포함한다. 마이크로 센서들(micro sensors)을 신체(body) 또는 각 팔 다리(limbs)의 의복 및 관절(joints)에 부착하거나, 또는 의복, 신발 및 손목 콘솔 설비(equipment the wrist console)에 내장된 센서들(embedded sensors)과 네트워킹 함으로써 하나 또는 하나 이사의 무선 센서들(wireless sensors)의 공간 위치(spatial position)를 식별 할 수 있고, 이러한 센서들을 사람의 매핑된 3 D 모델, 장비(equipment) 및 주변 환경에 할당 할 수 있다.

실시예에 따른 손목 콘솔(wrist console)은 로컬(local)및 이격 된 센서와 디바이스의 인터페이싱 및 제어를 위한, 라디오 주파수 (RF, Radio Frequency), light/IR, 근거리통신(NFC, Near Field Communication), 블루투스(Bluetooth), 와이파이(WiFi) 및 셀룰러 네트워크(Cellular networks)를 포함하는 네트워킹 방법의 하나 또는 그 조합을 이용할 수 있다. 이러한 센서 네트워크(sensor network)는 무선 동작 및 이격 된 센서들(remote sensors)의 제어와 역동적인 매핑, 인터페이싱(interfacing) 및 네트워크 된 데이터의 스트리밍(streaming), 뿐만 아니라 온 보드(onboard) 또는 이격 된 매핑된 데이터의 원격 저장(remote storage)을 위한 손목 콘솔(wrist console)에 의한 데이터 송신 및 수신(sending and receiving) 두 가지를 가능하게 한다.

실시예에 따라서, 손목 콘솔이 무선 센서 네트워크(WSN, wireless sensor network)에 대한 센서 허브(sensor hub)로서 동작 할 때, 각 센서와 직접적으로 또는 각 센서가 노드(node)로서 동작하는 네트워크 격자 망(mesh)을 통해 손목 콘솔 네트워크(wrist console networks)는 데이터 포획(captures) 및 송신(sends) 뿐만 아니라, 네트워크 내의 다른 노드들(other nodes)에서의 중계 데이터 전달(relay passing data)의 역할을 수행한다.

실시예에 있어서, 각 관절(joint) 또는 신체 부분(body part)의 3D 위치(position), 속도 및 가속도의 식별에 의한 신체 움직임을 모니터링 하는 경우, 신체의 완전한 데카르트 3D 모델 좌표 (Cartesian coordinate 3D model of the body)는 움직이는 객체의 이후 위치(future position)를 연산하기 위해, x, y, 및 z의 거리 좌표;, v_x ,v_y, 및 v_z의 속도 좌표;, a_x, a_y, 및 a_z 의 가속도 좌표;를 수학적으로 설명할 수 있다. 손목 콘솔이 식별되고, 개별 센서들(individual sensors) 또는 격자망 센서 그룹(mesh sensor group)과 네트워크 되면, 손목 콘솔은 3D 특징 모델(character model)의 정확한 위치(precise position)를 매핑 할 수 있다. 이러한 과정은 손목 콘솔이 신체 전체의 움직임을 포획할 수 있도록 하고, 지속적인 데이터 스트림(continuous data stream)과 같은 가속화(acceleration)를 가능하게 하고, 가상환경(virtual environment)에서 착용자(wearer)에게 신체 및 신체 전체의 인터페이싱의 실-시간 애니메이션(real-time animation)을 제공하기 위한 3D 장치 가상 모델(3D rigged virtual model)로의 데이터 할당을 가능하게 한다.

실시예에 따라, 손목 콘솔(wrist console)이 신체 내부 해부(internal body anatomy)및 신체 내부의 센서들, 기기와 보철 장치(prosthetics)의 인터페이스를 위한 매핑에 사용되는 경우, 손목 콘솔은 신체 외부(external body)에서 수행한 것과 유사한 방법으로 매핑, 모델링, 네트워킹, 및 인터페이싱(interfacing)을 통합한다. 실시예에 있어서 손목 콘솔이 빛과 광학 매핑(optical mapping) 및 외부 센서들을 이용하여 외부 신체로 매핑하는 경우, 손목 콘솔은 또한 내부 매핑(internal mapping)을 수행한다. 이는 손목 콘솔 온 보드(onboard)의 건강 및 신체 센서와 통합하고, 섭취 및 이식된(ingested and implanted) 센서, 기기, 보철 장치 및 시스템과 인터페이싱 하는 임의의 신체 또는 뇌 기계(brain machine)를 포함하는 모두 네트워크 되는 내부 신체 센서들(internal body sensors)로 확장한다.

실시예에 있어서, 손목 콘솔은 손목과 마주하는(facing) 적외선 (IR) 분광(Infrared (IR) spectroscopy) 상부 및 하부 모듈(top and bottom module)과 맥박 산소 측정기(pulse oximeter), 심장 박동 모니터(heart rate monitor), 온도계(thermometer), 갈바닉 응답 시스템(galvanic response system), 뇌파 검사 (EEG, Electroencephalograph), 심전도 (ECG, Electrocardiograph), 근전도 (EMG, Electromyograph), 포도당 미터(glucose meter)를 포함하는 온 보드 신체 건강 및 체력 센서들(health and fitness sensors)과 통합한다.

투영 매핑 및 인터페이싱(Projection Mapping and Interfacing)

실시예에 있어서, 외부 표면들(external surfaces)로의 이미지 투영(projecting an image)을 위한 피코 투영기(pico projector)를 통합하는 것과, 빛 및 이미지 매핑 시스템(light and image mapping systems)과 방향 시스템(orientation system)은 손과 손가락의 공간 위치(spatial position)를 역동적으로 매핑하기 위해, 손목 콘솔의 관계적 위치(relational position) 및 타겟 표면으로의 투영기(projector) 로의 깊이 맵 표면(depth map surfaces)으로 사용된다. 이러한 과정들은 손목 콘솔이 임의의 표면으로 투영된 디스플레이(projected display)와 그래픽 유저 인터페이스(graphic user interface) 매핑을 가능하게 한다. 빛 과 광학 매핑 시스템(light and optical mapping systems)은 투영된 인터페이스(projected interface)를 제어하기 위한 사용자의 터치 및 제스처 인터페이싱 수행을 가능하게 하는 손과 손가락 움직임 및 제스처를 역동적으로(dynamically) 모니터링 하는 것 에도 사용된다.

또한 실시예들은, 활성 터치 스크린 디스플레이(active touch screen displays), 마이크로폰(microphones), 스피커(speakers), 촉각 피드백(haptic) 센서 어레이(sensor arrays) 및 전면의 비디오 카메라들(front facing video cameras)을 포함한다. 이들 실시 예들은 터치, 음성 및 제스처 인터페이싱(gesture interfacing)과 음성명령(voice command), 화상 회의(video conferencing) 및 온 보드 유저 그래픽 인터페이스(onboard graphic user interfaces)로의 다이나믹 터치 스크린 디스플레이(dynamic touch screen display)를 가능하게 한다.

실시예에 있어서, 손목 콘솔은 터치 스크린 디스플레이, 하나 또는 그 이상의 마이크로폰들(microphones) 및 스피커와 촉각 피드백(haptic) 센서 어레이를 통합한다. 이러한 실시예들은 사용자에 대한 터치, 음성 및 제스처 인터페이싱 옵션(gesture interfacing options)을 제공하고, 사용자가 손목 콘솔 또는 하나 또는 하나 이상의 네트워크 된 디바이스를 중 그래픽 유저 인터페이스(graphic user interface)의 디스플레이와 인터페이싱에 대한 가장 효과적인 방법을 선택 가능하게 한다.

실시예에 있어서, 사용자는 특정 기능, 어플리케이션 또는 기기로의 음성명령(voice command) 또는 제스처 인터페이싱(gesture interfacing)과 같은 특정 사용자 인터페이스를 매핑 하거나 할당할 수 있다. 예컨대, 만일 사용자가 개인 컴퓨터와 텔레비전의 인터페이싱을 위해 손목 콘솔을 이용하는 경우, 사용자는 컴퓨터 상의 제스처와 터치를 이용하는 동안 텔레비전으로의 음성명령(voice command)을 할당(assign) 할 수 있다.

실시예에 있어서, 손목 콘솔은 햅틱(haptic) 센서 스트립(haptic sensor strips) 및/또는 상단 및 하단 두 손목 유닛 내부에 대한 햅틱 센서의 링(ring)을 통합한다. 손목 콘솔은 손가락, 손, 손목 및 신체의 극히 미미한 움직임에 대한 매우 정교한 위치, 파동 그리고 압력 응답(pressure responses)을 생성한다. 촉각 응답(tactile response)은 동작 명령(gesture command), 터치 스크린, 기기 제어(device controls) 및 투영된 키보드로의 버튼 누름(button press)을 시뮬레이션 하기 위한 다른 유저 인터페이스 응용프로그램(user interface applications)으로 또한 통합 될 수 있고, 또는 촉각 응답(tactile response) 및 더 사실적인 객체 및/또는 응용 프로그램 선택(application selection) 과 가상 2d 또는 3D 환경에서의 제어를 제공할 수 있다. 햅틱 응답 시스템은(haptic response system) 또한 수신 또는 발신(incoming or outgoing) 전화, 텍스트 또는 다른 이벤트, 인지된 객체나 사람 또는 임의의 지정된 상황에 맞는 응용 프로그램(contextual application)의 알람, 또는 착용자들의 심장 박동(heart rate)이 지정된 박동수(designated rate)를 초과하는 경우, 포도당 수치(glucose levels)가 지정된 수준 미만으로 떨어지거나 지정된 수준 이상을 초과하는 경우, 또는 잠재적으로 예상되는 발작(seizure) 경고를 착용자에게 알리는 것과 같은 건강 상태를 알리거나 모니터링 하기 위한 지역적 및/또는 관계적 거리를 나타내기 위해 사용될 수 있다. 다른 파동 유형(types of vibrational) 및/또는 전기적으로 자극된 응답들(electro-stimulated responses)이 생성되고, 다른 발신자(callers), 이벤트 및 응용프로그램(applications)이 지정될 수 있다.

기기 매핑 및 인터페이싱(Device Mapping and Interfacing)

실시예에서, 손목 콘솔은 콘텐츠 스트리밍을 가능하게 한다. 상기 콘텐츠는 기기 에 저장되고, 기기에서 재생 되고, 및 또는 하나 또는 하나 이상 네트워크 된 장치의 인터넷 으로부터, 및/또는 네트워크 된 TV, 게임 콘솔, PC로부터 , 또는 하나 또는 그 이상의 네트워크 된 다른 기기 또는 디스플레이들로부터 손목 컨트롤러로의 스트리밍이 가능하다. 이러한 피어-투-피어 네트워킹(peer-to-peer networking), 콘텐츠 관리(content management), 배포 (distribution) 및 스트리밍(streaming)은 다른 무선 네트워크들(wireless networks)의 번호를 사용하여 획득할 될 수 있다. 이러한 실시예에는 와이파이(WiFi), 블루투스(Bluetooth), 셀룰러(cellular), 적외선/라이트(Infrared/light), 라디오 주파수(RF, Radio Frequency) 및 빠른 지불과 거래(payments and transactions)를 위한 근거리 통신(NFC)을 포함한다. 이러한 관점에서, 모든 디스플레이와 디바이스를 연결하기 위한 하나의 방법은 단일 와이파이 피어-투-피어 네트워크(single WiFi peer-to-peer network)를 통하는 것이다. 여기에서 각각의 장치는 독립적인 와이파이 핫스팟 및 라우터(standalone WiFi hotspot and router)로서 동작하는 멀티-채널 와이파이의 직접적인 연결 플렛폼(multi-channel WiFi direct connect platform)을 통해 무선으로 연결된다. 손목 컨트롤러는 하나 또는 하나 이상의 무선 및/또는 인터넷이 가능한 기기로의 에드-혹 피어 투 피어 네트워크(ad-hoc peer-to-peer network)를 생성한다. 그리고 원격 착용 가능한 비디오 게임(remote wearable video game) 및 컴퓨팅 콘솔(computing console) 과 무선 허브(wireless hub)로서 운영한다(operates). 또한 손목 콘솔은 하나 또는 그 이상의 기기들(devices)과 통신하기 위한 네트워크의 임의의 조합(any combination of networks)을 이용한다.

실시예에 있어서, 손목 콘솔은 공간 및 손목콘솔과 사용자의 디스플레이 관계 에서의 디스플레이 위치(position of the display)를 기반으로 연결된 여러 네트워크 장치(multiple networked devices) 및 모니터들에서 컨텐츠를 관리한다. 손목 콘솔은 여러 방법, 네트워크 및 채널들(channels)을 이용하여 여러 기기들과 연결 가능하다.

도면의 실시 형태의 상세한 개요(Detailed Overview of the Embodiments in the Drawings)

도 1a 는 기기의 내부 구성요소(internal components)를 위한 하우징 모듈(housing modules)로서 역할 하는 상부 손목 모듈(102) 과 하부 손목 모듈(103)을 묘사한 손목 콘솔(101)의 실시예의 도면이다.손목 모듈은 실시예에서 두 손목 모듈(wrist modules)간의 통신이 가능한 실시예에서 조정 가능한 손목 스트랩(straps) (104)과 연결된다. 또한 기기는 손목 스트랩을 느슨하게 하거나 조이는 시스템 (105)과, 전방의 발광체 (light emitters)(106) 및 센서(107)와 여러 개의 카메라 렌즈 어레이(108)를 구비한다. 도 1a는 발광체(light emitters) 및 센서 (109), 갈바닉 스킨 응답 시스템(GSR, Galvanic Skin Response System)(110),과 햅틱 피드백 배열(haptic array)(111), 디스플레이(114) 의 공간 뷰(partial view), 마이크로폰 (115), 스피커 (116), 및 상부 전면 카메라 (117)를 포함하는 하부 모듈 센서 본체(bottom module body sensors)의 내부를 보여준다.

도 1b는 발광체 및 센서 (109), GSR (110) 및 햅틱 어레이(Haptic Array) (111)를 포함하는 상부 모듈(102)의 센서 본체(body sensors)의 뷰를 도시한 도 1a에 도시된 실시 예의 도면(perspective view)이다.

도 1c는 발광체(106) 및 센서 (107), 후방 멀티 카메라 렌즈 어레이(rear multi-camera lens array)(108), 전원 및 데이터 포트(112) 및 도킹 포트(docking ports)(113)에 대향하는 후방의 오버헤드 모습(view)을 묘사한 도1a에 도시된 실시 예의 도면이다.

도 1d는 발광체(106) 및 센서(107), 후방 멀티 카메라 렌즈 어레이(rear multi-camera lens array)(108), 전원 및 데이터 포트 (112) 및 도킹 포트(docking ports) (113)에 대향하는 후방의 오버헤드 모습(view)을 묘사한 도1a에 도시 된 실시 예의 도면이다.

도 1d는 디스플레이(114), 마이크로폰(115), 스피커(116) 및 대향 상부 카메라(117)을 묘사한 도 1a에 도시된 실시 예의 평면도(top plan view)이다.

도 2a는 손목콘솔(101)의 상부 모듈 (102)에 부착된 디스플레이 (202) 및 해제 버튼(release buttons)(203)과 확장 모듈(201)을 묘사한 도 1a에 도시 된 실시 예의 도면이다. 이러한 확장 모듈은 추가적인 전력 및 데이터 저장장치, 및/또는 기기 및/또는 확장된 디스플레이와 인터페이싱 시스템을 위한 통신 시스템의 역할을 수행할 수 있고, 또한 포도당 측정(glucose meter)또는 다른 응용 프로그램(other application)에서의 플러그 인(plug in)과 같은 확장된 서비스를 수행 할 수 있다.

도 2b는 후방 상부 모듈(rear of the top module)(102)에서의 해제 버튼 도킹 탭(release buttons docking tabs)(204) 와 파워 및 데이터 플러그(plug)(204)와 버튼 어레이(206)을 가진 부착된 확장 모듈(detached expansion module)(201)을 묘사한 도 1a의 실시예의 도면이다.

도 2c는 하부 모듈 (103)에 부착된 확장 모듈 (201)을 묘사한 도 1a에 도시 된 실시 예의 도면이다.

도 2d는 하부 모듈(103)로부터 분리 된 확장 모듈(201)과, 도 1a에 도시 된 실시 예의 도면이다.

도 3a내지3l은 깊이 매핑 (depth mapping) 및 손과 손가락(301)의 3D 영상화, 관절 식별, 및 손(손 모델)307의 완전하게 기능적인 컴퓨터 모델의 장치화(rigging)를 수행하는 손목 콘솔101을 나타내는 도면이다.

도 3a 및 도 3l은 깊이를 매핑하는 방법으로서 손과 손가락(301)의 상단과 하단의 광 스캔(light scan)를 수행하는 광(302)의 하나 또는 이상의 이동 빔(moving beams)을 통합하는 손목 콘솔 (101)의 실시 예를 나타내는 도면이다. 삼각 측량(Triangulation)은 손목콘솔(101) 발광체(light emitters)(104) 및 센서 106에 의해 라이트 빔들(light beams)302이 손과 손가락301의 양 측면을 가로질러 수직 및 수평으로 이동하기 때문에 결정된다.

도 3c 및 3d는 구조화된 라이트 영상화 303을 한번에 전체 손 301을 반점이 있는(speckled) 광 패턴으로 라이트 매핑303하여 반점이 있는(speckled) 광 패턴으로 손과 손가락301의 상부 및 하부로 조명(illuminating)함으로써 그것의 깊이를 매핑(depth mapping)하는 과정으로 통합하는 본 발명의 또 다른 실시예를 도시한 도면이다.

도 3e 및 3f는 깊이 및 컬러가 매핑된 손304을 생성하고, 3D 카메라(108)를 이용한 광 매핑 및 이미지 조합을 수행하거나, 모든 방향의 빛을 모으는 (plenoptic) 멀티-렌즈 배열 카메라(108)를 이용하여 손목 콘솔(101)의 상부 모듈 및 하부 모듈에 4d 영상화를 수행하는 손목 콘솔 101을 도시한 도면이다.

도 3g 및 3h는 3D로 매핑된 손(304)에 대한 장치를 생성하기 위한 목적으로 손과 손가락(301)의 상부 및 하부의 관절과 주름(305)의 정확한 위치를 식별하는 손목 콘솔 101이 도시된 도면이다.

도 3i 및 3j는 상부와 하부 관점으로부터의 손(손 장치, hand rig)의 기능적인 장치를 생성하는 손목 콘솔(101)을 나타낸 도면이다.

도 3k 및 도 3l은 실시간으로 손과 손가락 301의 움직임을 애니메이션화 및 복제(animated and replicating) 가능하게 하는 완전히 기능적으로 장치화된 손 (손 모델)의 컴퓨터 모델을 생성하기 위해 3D로 매핑된 손(304)으로 손 장치(hand rig)(306)을 통합하는 발명의 실시예를 도시한 도면이다.

도 4a 내지 도 4f및 도 5a 내지 도 5b는 다른 제스처들(gestures)에 대해 사용자가 수행하고 선택하는 제어 기능들(control functions)에 대한 발명의 응용프로그램(application)을 도시한 도면이다. 손목 콘솔(101)은 손 모델(307)로의 이러한 제어들을 지정한다. 이는 사용자 제스처 입력(gesture inputs)을 수행 및, 2d 또는 3D 컴퓨팅 환경(computing environment)에서의 명령에 사용된다. 도 4a 내지 도 4f 및 도 5a와 도B는 잠재적으로 무한한(potentially limitless) 고객 인터페이스 프로그래밍 시스템(custom interface programming system)에 대한 오직 몇 가지의 제스처 인터페이싱 제어 옵션(interfacing control options)의 실시예를 나타낸다.

도 4a 및 도 4b는 사용자 정의된(customized) 제스처 인터페이스 제어 기능(gesture interface control function)을 할당하기 위해 제스처(주먹 쥐기)와 동작(손목 돌리기 및 움직이기)을 조합하는데 이용되는 사용자의 손과 손가락(301)을 나타낸 도면이다. 제스처는 손목 콘솔(101)에의해 매핑 되고 기록된다.

도 4c는 여러 개의 손가락들 301과 관련된 사용자가 사용하는 수행 및 선택 제스처 인터페이스 입력(gesture interface input)과 제어 기능(control function)을 나타낸 도면이다.

도 4d는 손가락(301)과 관련된 사용자가 수행 및 선택(performing and selecting)하는 제스처 인터페이스 제어 기능(gesture interface control function)을 나타낸 도면이다.

도4e는 사용자 성능을 도시하고 손(301)에 식별된 포인트 또는 영역으로의 특정한 손가락 터칭과 관련된 제스처 인터페이스 제어(gesture interface control)를 선택하는 것을 나타낸 도면이다.

도 4f는 사용자 성능(user performing)을 도시하고 지정된 다른 손가락 (301)에 지정된 하나의 손가락을 터치하는 손가락 제스처를 포함하는 제스처 인터페이스 제어 기능(gesture interface control function)을 선택하는 도면이다.

도 5a는 제어부 (301)로 하나의 손가락을 컨트롤러(301)처럼 사용하여 외부로 네트워크 된 장치(802)에 2d 또는 3D 컴퓨팅 환경에 대한 단일 제어 포인트(point of control)를 나타내는 도면이다.

도 5b는 컨트롤러(301) 로서 여러 개의 손가락들을 사용하여 외부로 네트워크 된 기기(802)에서의 2d 또는 3D 컴퓨팅 환경(computing environment)에 대한 복수의 제어 포인트(multiple points of control)를 나타낸 도면이다.

도 6a는 사용자의 손과 손가락 301에 대한 사용자 그래픽 인터페이스(GUI)를 투영하는 손목 콘솔101을 나타낸 도면이다. 투영된 인터페이스(projected interface)는 라이트 매핑 및 3D 영상화 시스템(light mapping and 3D imaging system)을 이용하여 손에 매핑 된다.

도 6b는 터치 사용자 성능(user performing)과 사용자의 손과 손가락 (301) 상에 투사된 GUI (601)를 제어하는 제스처 인터페이싱(gesture interfacing)을 나타내는 도면이다.

도 6c는 사용자의 손과 손가락에 사용자 그래픽 인터페이스(601)를 투사하는(projecting) 손목 콘솔(101)을 나타내는 도면이다. 도 6c에서는 사용자가 그들의 손과 손가락을 펴고, 투영된 인터페이스(projected interface)가 역동적으로 손과 손가락의 새로운 위치를 확인하는 것을 보여준다. 사용자는 투사된 활성 프로그램(active program) 또는 손목 콘솔(101)에서 동작하거나 인터넷 연결(Internet connection)을 통해 원격으로 동작하는 어플리케이션(application) 중 하나를 선택한다.

도 6d는 사용자들의 손(301)에 투영된 키보드(projected keypad) 601의 사용자 타이핑(user typing) 을 나타낸 도면이다.

도 7은 좌우 손목 콘솔(101) 모두에 의해 외부 표면에 매핑된 투영된 키보드(701)에 사용자가 타이핑(typing)하는 것을 나타내는 도면이다. 도 7은 투영된 표면으로의 역동적인 인터페이스를 매핑 및 투영하는 것과 협력하여 동작하는 두 좌 우측 손목 콘솔에서의 조정된 듀얼 투영 인터페이스(coordinated dual projected interface) 실시예를 묘사한다. 도 7은 외부 장치(803)에 디스플레이 되는 투사된 키보드 문서를 입력하는 사용자를 도시한다. 좌 우측 손목 콘솔은 하나의 입력 기기(input device) 그리고 원격 제어 기기(803)으로 무선으로 데이터를 중계(relaying data wirelessly) 하는 것 중 어느 하나로서 동작하고, 또는 손목 콘솔(101)은 기본 운용(primary operating) 및 제어 기기와 원격 디스플레이(remote display)(803)으로 데이터를 스트리밍(streaming) 하는 것 으로서 동작한다.

도 8a 내지 8d와 9a 및 9b의 도면 집합(Figure Sets)은 외부 기기와의 무선 인터페이싱 손목 콘솔을 묘사하는 도면이다. 손목 콘솔(101)의 각 도면은 두 손목 모두를 도시하고, 그럼에도 불구하고 한 쌍의 콘솔은 단일 기기(single device) 또는 페어링 된 기기(device pair)로서 동작 할 수 있고, 각 손목 콘솔(101)은 또한 자율적으로(autonomously) 동작 할 수 있고, 두 손의 제스처 인터페이스 제어(gesture interface control)수행을 위한 제 2 콘솔(second console)을 필요로 하지 않는다. 단일 손목 콘솔(101)은 근접한 듀얼 핸드 인터페이싱(dual hand interfacing)을 위한 제 2의 손(second hand) 모니터링을 가능하게 하거나, 여러 기능의 두 손 제어(multi-function two-handed control), 듀얼 프로젝션(dual projection), 확장된 네트워킹(expanded networking), 프로세싱(processing), 인터페이싱(interfacing), 전력 및 데이터 저장(power and data storage) 과 같은 확장된 기능을 가능하게 하는 제 2 손목 콘솔(second wrist console)(101)과 협력하여 동작 할 수 있다.

도 8a는 두 개의 네트워크 된 장치(two networked devices)와 사용자 인터페이싱(interfacing)과, 외부로 네트워크 된 기기(external networked device)(802) 에서 가상 컴퓨팅 환경(virtual computing environment)으로 스캔 된 물리적 객체(physical object)의 이미지와 모델의 매핑을 위해 손목 콘솔(wrist console) (101)을 사용하는 것을 나타낸 도면이다.

도 8b는 인터페이스 및 손목 콘솔 101과 외부로 네트워크 된 디바이스(802)로의 무선 업로드에 의해 스캔 되고 모델링 된 3D 컴퓨터 조작을 위한 투 핸드 제스처 인터페이스 컨트롤러(two hand gesture interface controller)로서의 좌우 손목 콘솔(101)의 사용자 운용(user operating)을 도시한 도면이다.

도 8c는 두 개의 네트워크 된 기기의 데이터 가교(data bridge)로서의 손목 콘솔을 이용하여 외부와 네트워크 된 기기(802)에서의 파일, 문서 또는 프로그램 및 제스처, 음성 또는 다른 UI 명령(command)이 네트워크 된 제 2기기(803)으로 무선으로 전달(wirelessly transferring)되는 파일, 문서, 또는 프로그램 사용자 선택을 나타내는 도면이다.

도 8d는 사용자 운용(operating) 및 손목 콘솔(101) 터치 스크린 인터페이스에서3D로 스캔 되고 모델링 된 객체 제어(controlling)를 나타낸 도면이다.

도 9a는 와이드 또는 로컬 영역의 피어 투 피어 무선 네트워크 (wide or local area peer-to-peer wireless network) 또는 와이드 또는 로컬 영역 인터넷 연결(wide or local area Internet connection)을 이용한 원격 기기(remote device) 또는 운송수단 (vehicle)901의 사용자 무선 인터페이싱(wirelessly interfacing) 및 제어(controlling)를 나타낸 도면이다.

도 9b는 원격 기기(remote device)(901)로부터의 실-시간 음성(real-time voice), 데이터, 비디오 및 멀티미디어 콘텐츠와, 좌측(904)과 우측(903) 양안(binocular)의 3D 헤드 업(heads up) 디스플레이(902)로의 데이터 및 멀티미디어 콘텐츠 스트리밍을 위한 사용자 무선 송신 및 수신(sending and receiving)을 나타낸 도면이다.

도 10a 와 10b 는 몸체 스캔을 수행하는 곳에서 손목 콘솔(101)의 몸체 전체 스캐닝(full body scanning), 깊이 매핑(depth mapping) 및 이미지 처리과정 (imaging process)을 나타내고, 사용자(1001)의 3D 컴퓨터 모델(1002)이 생성되는 것을 나타내는 도면이다.

도 10c 및 도 10d 는 다른 위치의 사용자 및 사용자의 다른 몸의 움직임 수행에 대해 여러 위치(multiple positions)에서 손목 콘솔(wrist console)101로 몸체1002의 맵 (map)과 이미지(image)를 가능하게 하고, 보다 정확하게 3D 컴퓨터 모델에 대한 몸체의 장비(body rigging)를 생성하기 위해 사용자의 유연성과 기동성(flexibility and mobility)을 분석하고, 가상 컴퓨팅 환경에서 사용자의 움직임을 복제하는 것을 나타내는 도면이다.

도 10e 및 도 10f는 사용자(1001)와 의복을 착용한 3D 컴퓨터 모델(1003)의 3D 매핑과 영상화를 나타낸 도면이다. 이는 사용자(1001)의 물리적인 의복(physical clothing)을 라이트 매핑(light mapping) 및 3D 영상화(imaging)함으로써 또는 컴퓨팅 환경(computing environment)에서 3D 모델(1003)으로 가상 의복(virtual clothing)을 매핑 함으로써 달성 될 수 있다.

도 11a 내지 도 11d는 상부 모듈(top module)로부터의 카메라 뷰(camera view)를 묘사하는 도 11a내지 11b 와 하부 모듈 103으로부터의 카메라 뷰를 묘사하는 도 11c와 11d 의 각각의 손목 콘솔 101의 몸체에 직면한 카메라들108로부터의 몸체 매핑(body mapping) 및 영상화 과정(imaging process)을 나타낸 도면이다. 손목 콘솔(101)은 도 11a 내지 11d에는 도시되지 않는데, 이는 카메라의 관점에서 묘사한 도면이기 때문이다.

도 12b 내지 12d는 도 12a와 12b에 묘사된 상부 모듈(top module)(102)로부터의 카메라와 도 12c 내지 12d에 묘사된 하부 모듈(bottom module)(103)로부터의 몸체에 마주하는 카메라 손목 콘솔(101)각각의 관점 으로부터의 몸체 매핑과 영상화 과정(mapping and imaging process)을 나타내는 도면이다. 도 12a내지 12d는 카메라로 사용자 몸체의 다른 부분(different portion of the users body)을 스캔 가능하도록, 사용자의 머리보다 더 높게 뻗어진 사용자 팔과 손이다.

도13a 내지 도13c는 사용자(1002)의 깊이 및 컬러가 매핑된 모델의 표면 격자망을 나타내는 도 13a로 신체 장치화 과정(body rigging process)을 나타낸 도면이다.

도 13b는 정확한 차원(precise dimensions)과 사용자(1002)의 매핑된 컴퓨터 모델을 확인하는 전체 몸체 특징 장치화(full body character rigging)(장치)를 나타낸 도면이다. 그리고, 도 13c는 특징 장치(character rig)의 통합(incorporation)을 나타낸다.

도 14a 및 14b는 3D 몸체 매핑 및 영상화 프로세스(3D body mapping and imaging process) 동안 식별 및 매핑된 사용자 1001와 사용자 3D 컴퓨터 모델 1002 공간 위치(spatial position) 및 매핑된 물리적 환경(physical environment)130을 나타내는 도면이다.

도 15는 모두 매핑 되고 무선으로 손목 콘솔(101)에 의해 제어되는 사용자 해부(users anatomy) 및 모두 네트워크 된(all networked) 센서, 이식된 기기(implanted devices)와 보철장치 (prosthetics)를 나타낸 도면이다. 도 15에서는 사용자 몸체 시스템 각각을 온 보드, 외부, 이식된 또는 섭취되고(ingested networked) 네트워크 된 몸체 센서들을 이용한 손목 콘솔(wrist console)로(101); 신경계(Nervous System)(1202), 내분비계(Endocrine System)(1209); 심장 혈관계 (Cardiovascular System)(1210),호흡계(Respiratory System)(1211);림프계( Lymphatic System)(1212), 소화계(Digestive System)(1213), 비뇨기계(Urinary System) (1214) 및 생식 시스템(Reproductive System)(1215)을 매핑한다. 손목 콘솔(101)은 또한 도 15에 묘사된 뇌 기계 인터페이스(BMI, Brain Machine Interface), 보철된 눈(prosthetic eye)(1205)으로 도 15에 묘사된 보철 장치, 그리고 도 15에 도시된 맥박 조정 장치(pacemaker)(1206)과 같이 다른 이식된 기기(implanted devices)들 과 같이 모든 내부 데이터(internal data) 및 멀티미디어 인터페이싱 시스템(multimedia interfacing systems)과 네트워크 및 인터페이스(networks and interfaces) 한다.

도 16a 및 16b는 손목 콘솔(101)공간, 도면에 도시된 객체 및 외부환경(object and environment) 3D 라이트 및 이미지 매핑 과정(light and image mapping process)이 나타난 도면이다. 16a 및 16b는 주거 생활 공간(residential living space)(1301)이다. 16b는 주거 생활 공간(1301)부엌 섹션(kitchen section)의 사용자(1001)매핑을 묘사하면서, 도 16a는 사용자(1001) 거실 및 부엌 섹션의 3D 매핑 및 영상화(mapping and imaging 을 묘사한다.

도 17a 및 17b는 주거 생활공간(residential living space)(1301)에 사용자가 서있는 모습을 나타낸 도면이다. 도 17a는 잠재적으로 3D 매핑된 주변 환경(potential 3D mapped environment)의 예를 제공하는 물리적인 주거 생활공간 (1301)에 서 있는 사용자를 나타낸다. 도 17b는 인증된 사용자 계정(user authorized account)으로 업로드 되어 안전하게 손목 콘솔 또는 무선 인터넷 또는 다른 네트워크 또는 데이터베이스에 저장되고 매핑된 사람, 객체, 기기 및 환경을 3D로 매핑된 사용자(1003)와 환경(1302)를 나타낸 오버헤드 도면(overhead perspective view) 이다.

도 18은 주거 생활 공간(1301)에서 모든 네트워크 된 기기들에 대한 사용자(1001), 위치, 기기 유형, 기능 및 응용 프로그램, 데이터, 파워 및 다른 시스템 요구사항(system specifications)과 이용 가능한 네트워크와 인터페이싱 옵션을 식별 및 매핑하는 손목 콘솔(101)및 사용자(1001)의 오버헤드 도면(overhead perspective view)이다.

도 19a 및 19b는 사용자(1001)가 집에서 그의 기술을 사용자(1001) 텔레비전 또는 다른 디스플레이(1405)에서 가상 게임 환경(virtual gaming environment)에서 실 시간으로 테니스 선수에 의해 명중된 테니스 공의 리턴(return)을 시도함으로써, 그의 기술을 테스트 하는 동안, 프로 테니스 선수(1401), 착용한 손목 콘솔 (101), 실제 실외 테니스 코트(real outdoor tennis court)1404에서 테니스를 하는 모습을 나타낸 도면(perspective views)이다.

도 20a 내지 20c는 프로 골프 선수의 스윙, 공(1504)을 매핑하고, 실시간으로 골프 선수와 게임 전체를 가상화 하는 모습을 나타낸 도면(perspective views) 이다. 도 20a내지 20c는 프로 골프 선수의 스윙, 공(1504)을 매핑하고, 실시간으로 골퍼(golfer)와 게임 전체를 가상화 하는 모습을 나타낸 도면 (perspective views) 이다. 도 20a는 골프 공(1504)에서의 프로 골퍼의 스윙을 나타낸 도면이다. 골퍼(golfer)는 손목 콘솔(101)이 스윙 하는 동안 골프 선수 몸체의 모든 세부 움직임을 매핑 가능하게 하는 그의 옷 및 신발(1502)에 내장된 센서 및 장치(equipment)를 가진다.

도 21은 손목 콘솔(101)에서 골프공과 네트워크 가능한 센서로 골프 코스에서 프로 골퍼(1501)의 그의 스윙, 높이(height), 속도(speed), 궤도(trajectory), 착륙 및 정지 위치(landing and resting position)의 원격 매핑 및 모니터링(mapping and monitoring)을 나타내는 도면이다.

도 22는 손목 콘솔 장치(wrist console device)의 일부가 다양한 구성 요소와 연결(connections of various components)되는 것을 나타낸 개략도(schematic diagram)이다.

본 발명은 바람직한 실시 예를 참조하여 설명 하였지만, 당업자는 다른 응용 프로그램이 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 그 예를 대체 할 수 있다는 것을 쉽게 이해할 것이다. 따라서, 본 발명은 아래에 포함 된 특허 청구 범위에 의해서만 제한된다.

Claims

장치에 있어서,
상기 장치는 손목에 장착되는 컴퓨팅(computing), 통신(communications) 및 제어(control) 디바이스를 포함하고, 상기 손목에 장착되는 컴퓨팅, 통신 및 제어 디바이스는 하우징 모듈(housing module) 내에 구비되는 라이트 매핑(light mapping), 스캐닝(scanning), 이미징(imaging), 투사(projection) 및 광학 인터페이싱(optical interfacing) 시스템(projection system)을 포함하고, 상기 하우징 모듈은 프로세서(processor), 하나 이상의 발광체(light emitters), 및 하나 이상의 광학 센서들(optical sensors)을 포함하고,
상기 하나 이상의 광학 센서들(otical sensors)은 멀티-렌즈 배열(multi-lens array)을 포함하고, 상기 멀티-렌즈 배열은:
한 장면(scene)에서 둘 이상의 초점(focal points)의 깊이를 결정하고, 한 이미지의 포인트들과 특징들을 다른 이미지들의 대응하는 포인트들과 특징들에 매칭함으로써 다른 이미지들에서의 대응하는 포인트들의 깊이(depths of corresponding points)를 결정하는 스테레오 삼각측량(stereo triangulation)을 수행하는 입체 배열(stereoscopic array)과,
복수의 필드 깊이(multiple depths of field)를 동시에 캡처함으로써 캡처된 이미지의 모든 점에 깊이를 할당하고, 복수의 렌즈를 하나의 센서에 할당하여, 전체 시계(entire field of view)로부터 빛과 컬러를 캡처하고, 각 렌즈는 서로 다른 필드 깊이를 캡처하는 플레놉틱 배열(plenoptic array),
중 임의의 것을 포함하고,
상기 프로세서는 상기 발광체(light emitters) 및 상기 광학 센서들(optical sensors)과 통신하고,
상기 프로세서는 사용자의 신체 표면(surfaces of a user's body)을 스캔하고, 사용자의 손, 손가락, 신체, 주변 객체(surrounding objects) 및 주변환경(environment) 중 임의의 것의 3D 이미지를 동적으로 캡처하여 상기 스캔된 신체 표면의 하나 이상의 맵을 생성하도록 상기 발광체 및 상기 광학 센서들을 제어하는, 장치.
제 1항에 있어서, 상기 광학 센서는 하나 이상의 카메라를 포함하는 것을 특징으로 하는 장치.
제 2항에 있어서, 상기 카메라는
사용자에 인접한 객체를 스캔하기 위해 동작하고;
상기 프로세서는 스캔 된 객체의 맵(map of a scanned object )을 생성하기 위해 상기 카메라로부터 전달받은 데이터를 처리하는 것을 특징으로 하는 장치.
제 3항에 있어서, 상기 카메라는
사용자에 인접한 복수의 객체(multiple objects) 및 표면을 스캔하고;
상기 프로세서는 사용자 주변환경의 맵(map of the environment around the user)을 생성하기 위해 상기 하나 이상의 카메라로부터 전달받은 데이터를 처리하는 것을 특징으로 하는 장치.
제 4항에 있어서, 상기 장치는
상기 손목에 장착되는 컴퓨팅, 통신 및 제어 디바이스의 정확한 위치(precise location)를 결정할 수 있는 위치 판단 모듈(location determination module); 을 더 포함하고,
상기 프로세서는 사용자 주변환경의 맵을 생성하기 위해 상기 위치 판단 모듈로부터 수신된 데이터를 상기 카메라로부터 수신된 데이터와 연계하여 처리하는 것을 특징으로 하는 장치.
제 1항에 있어서, 상기 장치는
사용자의 신체 표면, 사용자의 신체 내부에 부착된 센서들(sensors) 또는 외부 객체들(external objects)로부터 수신한 데이터와 위치 신호들(position signals)을 수신하는 신호 수신 모듈(signal receiving module); 을 더 포함하는 것을 특징으로 하는 장치.
제 1항에 있어서, 상기 장치는 손목 내측을 향하는(directed toward the inside of the wrist) 적외선 방출기(infrared emitter) 및 감지모듈(sensing module)을 포함하고,
사용자의 심장박동(heart rate), 사용자 혈액의 산소 함유량(oxygen content), 또는 사용자 손목내의 건 운동(tendon movement)을 감지하도록 동작하는 것을 특징으로 하는 장치.
제 1항에 있어서, 상기 장치는
표면상에 사용자 그래픽 인터페이스 (graphical interface)를 투사하는 프로젝터(projector); 를 더 포함하고,
상기 프로세서는 몸 표면(body surface)의 맵과 투영된(projected)사용자 인터페이스의 상호작용(interaction)을 판단하는 것을 특징으로 하는 장치.
손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device)를 제공하는 과정;
하나 이상의 광학 센서들로 사용자의 신체의 표면을 스캐닝함에 의해서 상기 손목에 장착되는 컴퓨팅 디바이스로 사용자의 신체의 일부(a portion of a user’s body)를 매핑하기 위한 명령(instructions)들을 프로세서가 수행하는 과정이되,
상기 하나 이상의 광학 센서들(otical sensors)이 멀티-렌즈 배열(multi-lens array)을 포함하고, 상기 멀티-렌즈 배열은 다음의 과정:
입체 배열(stereoscopic array)로, 한 장면(scene)에서 둘 이상의 초점(focal points)의 깊이를 결정하고, 한 이미지의 포인트들과 특징들을 다른 이미지들의 대응하는 포인트들과 특징들에 매칭함으로써 다른 이미지들에서의 대응하는 포인트들의 깊이(depths of corresponding points)를 결정하는 스테레오 삼각측량(stereo triangulation)을 수행하는 과정과,
플레놉틱 배열(plenoptic array)로, 복수의 필드 깊이(multiple depths of field)를 동시에 캡처함으로써 캡처된 이미지의 모든 점에 깊이를 할당하고, 복수의 렌즈를 하나의 센서에 할당하여, 전체 시계(entire field of view)로부터 빛과 컬러를 캡처하고, 각 렌즈는 서로 다른 필드 깊이를 캡처하는 과정,
중 임의의 것을 수행하는 과정;
사용자의 손, 손가락, 신체, 주변 객체(surrounding objects) 및 주변환경(environment) 중 임의의 것의 3D 이미지를 동적으로 캡처하여 스캔된 사용자 신체 표면의 하나 이상의 맵을 생성하도록, 스캐닝을 통해 수신된 데이터를 처리하는 과정; 및
사용자 신체 표면의 상기 하나 이상의 맵(maps)을 사용하여 외부 디바이스(an external device)와 인터페이싱(interfacing)하는 과정;을 포함하는,
컴퓨팅 디바이스(computing device)를 다른 디바이스(another device)와 인터페이싱(interfacing)하는 컴퓨터로 구현된 방법.
제 9항에 있어서, 상기 외부 디바이스(external device)와 인터페이싱(interfacing) 하는 과정은:
손목에 장착되는 컴퓨팅 디바이스(the wrist mounted computing device) 내부의 프로젝터 표면으로 사용자 그래픽 인터페이스(graphical user interface)를 프로젝팅(projecting)하는 과정; 및
프로세서에 의해 생성된 신체 표면의 맵을 사용한 사용자 그래픽 인터페이스(graphical user interface)와의 사용자 상호작용(interaction)을 판단하는 과정;을 포함하는,
컴퓨팅 디바이스(computing device)를 다른 디바이스(another device)와 인터페이싱(interfacing)하는 컴퓨터로 구현된 방법.
제 9항에 있어서, 상기 외부 디바이스(external device)와 인터페이싱(interfacing) 하는 과정은:
프로세서에 의해 스캔되어 생성된 신체 표면의 맵을 이용하여 사용자에 의해 수행되는 제스처(gestures)를 판단하는 과정; 및
판단된 제스처를 기반으로 미리 결정된 신호(predetermined signals)를 외부 디바이스(external device)로 전달하는(transmitting)과정;을 포함하는,
컴퓨팅 디바이스(computing device)를 다른 디바이스(another device)와 인터페이싱(interfacing)하는 컴퓨터로 구현된 방법.
제 9항에 있어서, 상기 외부 디바이스와 인터페이싱 하는 과정은;
위치 판단 모듈(position determination module);을 이용하여 손목에 장착되는 컴퓨팅 디바이스(wristed mounted computing device)의 위치를 판단하는 과정; 및
손목에 장착되는 컴퓨팅 디바이스의 위치와 프로세서에 의해 스캔 되어 생성된 몸 표면의 맵을 기반으로 인터페이스 가능한 여러 디바이스(multiple possible devices) 중 특정 디바이스(specific device)를 결정하는 과정;을 포함하는,
컴퓨팅 디바이스(computing device)를 다른 디바이스(another device)와 인터페이싱(interfacing)하는 컴퓨터로 구현된 방법.
제 12항에 있어서, 상기 손목에 장착되는 컴퓨팅 디바이스의 위치를 판단하는 과정은,
사용자에 인접한 객체들과 표면들을 스캔 하는 과정; 및
사용자 주변 환경의 맵을 생성하기 위해 손목에 장착되는 컴퓨팅 디바이스의 프로세서 내에서 객체들과 표면들을 스캔 하는 과정의 데이터를 수신하여 처리하는 과정;을 포함하는,
컴퓨팅 디바이스(computing device)를 다른 디바이스(another device)와 인터페이싱(interfacing)하는 컴퓨터로 구현된 방법.
제 1항에 있어서, 상기 장치는
사용자의 신체 표면을 스캐닝(scanning) 및 영상화(imaging) 한 이후,
상기 프로세서는 대응하는 깊이 맵(depth map)을 생성하고,
상기 프로세서는 x, y및 z (깊이)좌표(coordinate)가 할당된 각 포인트에 대한 대응하는 벡터들(corresponding vectors)을 가지는 정점의 맵(map of vertices)을 포함하는 포인트 클라우드(point cloud)로 상기 깊이 맵을 변환하고(converting)
상기 프로세서는 상기 포인트 클라우드를 격자망 표면(surface mesh)으로 변환하고, 상기 사용자의 신체 표면의 포인트들은 연결되고, 상기 격자망(mesh)는 상기 사용자의 신체 표면 형태(user’s body surface shape), 질감(texture), 및 윤곽선(contours)을 따르고,
상기 프로세서는 사용자가 상기 디바이스를 착용하면 사용자의 관절을 매핑하고, 상기 매핑에 매칭한 영역으로 관절 위치(joint positions)를 할당하고, 내부 모델을 생성하고, 상기 격자망과 모델로 상기 디바이스를 부착하고, 상기 디바이스를 착용하면 사용자의 신체 움직임의 효과와 유사한 모델의 격자망 및 표면으로 영향을 미치는 영역(areas of influence)을 할당하는 과정에 의해, 상기 사용자의 거울 움직임(mirror movements)을 모방하는 기능 특성 모델(functional character model)로 상기 표면 격자망을 변환하는 것을 특징으로 하는 장치.
제 9항에 있어서, 상기 방법은
상기 사용자의 신체 표면을 스캐닝(scanning) 및 영상화(imaging) 한 이후,
상기 프로세서는 대응하는 깊이 맵(depth map)을 생성하는 과정, 그리고
상기 프로세서는 x, y및 z (깊이)좌표(coordinate)에 할당된 각 포인트에 대한 대응하는 벡터들(corresponding vectors)을 가지는 정점의 맵(map of vertices)을 포함하는 포인트 클라우드(point cloud)로 상기 깊이 맵을 변환하는(converting)과정;
상기 프로세서는 상기 포인트 클라우드를 격자망 표면(surface mesh)으로 변환하고, 상기 사용자의 신체 표면의 포인트들은 연결되고, 상기 격자망(mesh)는 상기 사용자의 신체 표면 형태(surface shape), 질감(texture), 및 윤곽선(contours)을 따르는 과정;
상기 프로세서는 상기 디바이스를 착용하면 사용자의 관절을 매핑하고, 상기 매핑에 매칭한 영역으로 관절 위치(joint positions) 할당하고, 내부 모델을 생성하고, 상기 격자망과 모델로 상기 디바이스를 부착하고, 상기 디바이스를 착용하면 사용자의 신체 움직임의 효과와 유사한 모델의 격자망 및 표면으로 영향을 미치는 영역(areas of influence)을 할당하는 과정에 의해, 상기 사용자의 거울 움직임(mirror movements)을 모방하는 기능 특성 모델(functional character model)로 상기 표면 격자망을 변환하는 과정;을 더 포함하는,
컴퓨팅 디바이스(computing device)를 다른 디바이스(another device)와 인터페이싱(interfacing)하는 컴퓨터로 구현된 방법.
제 1항에 있어서, 상기 장치는
빛의 하나 또는 그 이상의 빔의 초점(focal point)을 상하 및 좌우로 x와 y 축 격자(axis grid)에 걸쳐 움직이도록 지정되고, 손, 신체, 주변 객체 및 표면을 스캐닝 하는 협의 또는 광의의 빔 발광체(beam light emitter)
사용자 손, 신체, 주변 객체 및 표면의 상부 및 하부에 걸쳐 빛 반점 패턴(light speckle pattern) 을 생산하는 하나 또는 그 이상의 발광체(light emitters)와 확산기(diffusers)
연속적인 영상화(imaging), 모니터링(monitoring) 및 사용자의 생체 인식 데이터(biometric data) 기록(recording)을 위한 하나 또는 그 이상의 적외선(Infrared, IR) 및 근방의 IR 발광체(light emitters)와 센서들(sensors)을 구비하는 적외선 영상화(Infrared light imaging) 및 분광(spectroscopy)시스템
완전한 컬러 이미지(full color images), 비디오 및/또는 사용자 손, 손가락, 신체 및 주변 객체와 표면으로의 상호적인 그래픽 사용자 인터페이스(interactive graphic user interface )를 위한 하나 또는 그 이상의 발광체(light emitters)를 구비하는 투영 시스템(projection system)
중 어느 하나를 포함하는 하나 또는 그 이상의 발광체 (light emitters)를 구비하는 라이트 영상화 시스템(light imaging system)을 더 포함하는 장치.
제 16항에 있어서, 상기 협의 또는 광의의 빔 발광체(beam light emitter)와 손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device) 내의 스캐닝 시스템(scanning system)은 스캐닝 과정(scanning process) 동안 하나 또는 그 이상의 라이트 빔들(light beams)의 초점(focal point)을x와 y축 격자 형태(axis grid formation) 에 걸쳐 위아래 및 앞뒤로 움직이도록 할당하도록 하는 장치.
제 16항에 있어서, 상기 장치는
손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device) 내에 구축된 라이트 영상화 시스템(structured light imaging system)이 사용자들의 손, 신체, 주변 객체(surrounding objects) 및 표면에 라이트 스펙클 패턴(light speckle pattern)을 생성하고, 손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device) 내의 하나 이상의 카메라 센서로 라이트 스펙클 패턴을 인지하고, 타겟 표면에서 떨어진 점(dot)은 카메라 센서들 내의 다른 픽셀로 착륙하고, 각각의 라이트의 빔(beam of light)은 타겟 표면의 위치, 깊이 및 형태 (shape) 를 결정하기 위해, 삼각측량(triangulated)되는 장치.
제 16항에 있어서, 손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device)내의 구축된 라이트 영상화 시스템(a structured light imaging system)이 사용자의 손, 신체(body), 주변 객체(surrounding objects) 및 환경의 깊이 매핑(mapping)및 모델링(modeling)을 위해 사용되는 장치.
삭제
제 16항에 있어서, 상기 손목에 장착되는 컴퓨팅 디바이스 내의 레이저 투영기(laser projector) 또는 다른 라이트 영상화 시스템(light imaging system)이,
사용자들의 손, 손가락, 신체 및/또는 주변 객체와 표면으로 맵들과, 컬러 이미지(color image), 비디오 및/또는 능동적인 그래픽 유저 인터페이스(interactive graphic user interface)를 투영하고(projects),
상기 손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device)는 각도, 크기(size), 모양 및 투영된 이미지의 콘텐츠(content of the projected image), 비디오 및/또는 능동적인 그래픽 사용자 인터페이스(interactive graphic user interface)를 연속적으로 적합하게 조정하고,
위치, 각도 및 손목에 장착된 컴퓨팅 디바이스와 표면을 디스플레이 하는 투영기(projector)와의 거리를 기반으로 사용자들의 손, 손가락, 또는 다른 주변의 정지한, 또는 움직이는 객체(stationary or moving objects)의 크기, 모양, 위치 및 표면의 윤곽을 만드는 장치.
제 16항에 있어서, 상기 장치는
사용자의 손, 손가락, 신체 및 2D 또는 3D 컴퓨팅 또는 물리적 환경에 대한 외부 객체(external objects)를 통합하는 가상 또는 물리적인 사용자 인터페이스(physical user interface)에 대한 3D 제스처 인터페이싱 시스템(gesture interfacing system)을 포함하고,
상기 3D 제스처 인터페이싱 시스템(gesture interfacing system)은 상기 장치, 주변 객체(surrounding objects) 및 표면, 원격 디바이스(remote devices)및 2D 또는 3D 가상 객체(virtual object) 또는 컴퓨팅 환경()과 관련한 사용자의 손, 손가락의 공간 위치를 지속적으로 매핑 및 식별(computing environment )가능하게 하고,
제어의 하나 또는 그 이상의 포인트 들 및/또는 각 손가락의 끝(tips of each finger)으로 기능(functionality) 및/또는 인터페이싱 목적을 위해 사용자 손 및 손가락에 대한 다른 포인트들(other points)을 할당(assigning)가능 하게 하고
그래픽 유저 인터페이스(graphic user interface), 사용자의 손, 손가락, 주변 객체 및 표면으로 투영된 손목에 디스플레이 가상 객체(virtual object) 또는 환경, 및/또는 원격으로 네트워크 된 디바이스(a remote networked device), 헤드 업 디스플레이(heads-up display) 또는 다른 물리적 또는 가상의 인터페이스 (physical or virtual interface), 객체 또는 컴퓨팅 환경(object or computing environment)제어를 위해 제어(controlling)가능하게 하는 장치.
제 1항에 있어서, 상기 하나 또는 그 이상의 광학 센서들은
독립적으로 또는 구조화된 라이트 이미징 시스템(structured light imaging) 및 깊이 및 컬러 매핑(depth and color mapping), 손, 신체, 주변 객체 및 주변환경의 모델링과 이미징(modeling and imaging)을 위한 손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device)내의 스캐닝 시스템(scanning system)의 조합(combination)으로 사용되는 멀티-렌즈 배열(multi-lens array)을 더 포함하는 장치.
제 1항에 있어서, 상기 하나 또는 그 이상의 광학 센서들은
독립적으로 또는 구조화된 라이트 영상화(structured light imaging) 및 스캐닝 시스템(scanning system) 센서 매핑 시스템(sensor mapping system) 및 손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device)내의 위치 및 방향 모듈(location and orientation module)과 협력하여 시야 에서의(in its field of view) 사용자의 손, 손가락, 신체 및 주변 객체의 위치 및 움직임을 식별, 모니터링 및 매핑하기(identify, monitor and map) 위해 사용되고,
상기 손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing devic) 내의 프로세서는 광학(optical) 및 라이트 영상화(light imaging) 및 데이터 스캐닝(scanning data), 정확한 x, y 및 z공간과 카메라 시야 각에서 사용자들의 손, 손가락, 신체 및 주변 객체의 깊이 좌표(depth coordinates)를 연산하기 위해 네트워크 된 센서 데이터 및 위치와 방향 데이터를 처리하고,
매핑된 객체들(mapped objects)의 3D 모델들을 생성하고, 매핑된 객체들(mapped objects)에서 관절(joints) 및 제어 포인트(control points)와 네트워크 된 센서들(networked sensors)을 생성하고,
그들을 3D모델들(models)로 할당하고,
매핑된 객체들(mapped objects)의 움직임과 위치(motion and position)를 업데이트하고,
매핑된 객체 및 표면의 움직임과 위치를 반영하기 위해 3D 모델들을 애니메이션화(animates) 하는 장치.
제 1항에 있어서, 상기 사용자의 신체 표면의 스캐닝 및 영상화(scanning and imaging) 이후, 대응하는 깊이 맵(corresponding depth map)을 생성하고, 상기 프로세서는 상기 깊이 맵을 각 포인트가 x, y 및 z (깊이) 좌표(coordinate)로 할당된 대응하는 벡터들(corresponding vectors)을 가지는 정점의 맵(map of vertices)을 포함하는 포인트 클라우드(point cloud)로 변환하게(convert)하고,
상기 프로세서는 상기 포인트 클라우드를 상기 사용자의 몸체 표면의 점들이 연결된 표면 격자망(surface mesh)으로 변환하고, 상기 격자망은 상기 사용자 신체의 표면 형태(body surface shape), 질감 및 윤곽선(contours)을 따르고,
상기 프로세서는 상기 표면 격자망(surface mesh)을 기능적인 특징 모델(functional character model)로 변환하고,
사용자의 관절을 매핑하고, 상기 모델의 매칭 영역들(matching areas)로 관절 위치를 할당하고,
내부 장치(internal rigging)를 시뮬레이션(simulating) 하여 사용자의 뼈 및 관절을 생성하고, 상기 격자망 및 모델에 상기 디바이스를 부착하고,
상기 격자망 및 상기 모델의 표면으로 영향 영역(areas of influence)을 할당함으로써,
사용자가 상기 디바이스를 착용할 때, 사용자의 움직임 영향(effect of the user's body motion)과 유사하게 상기 모델을 움직이고, 제어 가능 하게 하는 장치.
제 1항에 있어서, 상기 장치는
주변 객체들(surrounding objects)과 관계된 손목에 장착된 컴퓨팅 기기의 정확한 고도(precise altitude), 공간위치(spatial position), 방향적인 움직임(directional motion)과 방향(orientation)을 결정하기 위한 움직임 및 방향 모듈(motion and orientation module); 을 더 포함하고,
상기 프로세서는 지속적으로 맵을 업데이트 하고, 사용자의 손, 손가락 및 신체를 애니메이션 화 하고, 주변 객체(surrounding objects) 및 주변 환경에 관계된 손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device)의 공간 위치(spatial position)를 식별하기 위한 광학(optical) 및 구조화된 라이트 영상화 (structured light imaging) 및 스캐닝 시스템(scanning systems)과 연결된 방향 모듈(orientation module)로부터 수신된 데이터를 처리하는 것인 장치.
제 1항에 있어서, 상기 장치는
지속적으로 장치에 대한 실내 또는 실외 위치 데이터(indoor and outdoor location data )를 수집하고, 매핑 및 영상화된(mapped and imaged) 객체들과 환경의 위치를 할당하고, 포획(captured), 기록(recorded), 및/또는 전달(transmitted)된 데이터를 위한 GPS, 와이드, 로컬 및 개인 네트워크 영역(wide, local and personal area networks), 근거리 통신( near field communications, NFC), 라디오 주파수(Radio Frequency, RF) 및 적외선( Infrared ,IR) 네트워킹(networking) 및 무선 센서 네트워크( wireless sensor networks ,WSN)을 포함하는 위치 판단 모듈(location determination module)을 더 포함하고,
상기 프로세서는 손목에 장착되는 컴퓨팅 디바이스(wrist mounted computing device)의 위치를 지속적으로 업데이트 하고, 장치의 위치와 매핑된 물리적 환경에서의 주변 객체들(surrounding objects)과 장치의 관계적인 위치(relational position)의 정확한 거리(precise distance)를 연산하기 위해, 방향 모듈(orientation module)과 광학(optical) 및 구조화된 라이트 영상화(structured light imaging)및 스캐닝 시스템(scanning systems)과 연결된 위치 모듈(location module)로부터 수신한 데이터를 처리하는 장치.
제 1항에 있어서, 상기 장치는
상기 장치와 다른 네트워크 된 디바이스(networked devices) 및 센서들(sensors)사이의 통신 및 상기 장치 및 인터넷, VPN또는 다른 네트워크 된 데이터 및/또는 미디어허브(media hub)사이에서의 양방향(two-way), 멀티-피드(multi-feed), 멀티-채널(multi-channel) 및 동시적인 멀티-네트워크(simultaneous multi-network), 실-시간 음성(real-time voice), 데이터 및 오디오-비디오(data and audio-video) 통신을 확립하도록 구성되는 와이드, 로컬 및 개인 영역 네트워크(wide, local and personal area networks), 근거리 통신(near field communications, NFC), 라디오 주파수(Radio Frequency ,RF) 및 적외선(Infrared ,IR), 네트워킹(networking) 및 무선 센서 네트워크(wireless sensor networks ,WSN) 포함하는 통신모듈(communications module)을 더 포함하는 장치.
제 27항에 있어서, 상기 장치는
상기 장치와 하나 또는 그 이상의 신체 착용, 부착된 및/또는 이식된 센서들, 및 또는 원격 센서들과 무선으로 네트워크 된 디바이스들(wireless networked devices)사이의 피어 투 피어 네트워킹(peer-to-peer networking)을 위해 격자망 네트워크(mesh network)를 운영하도록 구비되는 센서 허브(sensor hub)및 무선 센서 네트워크(wireless sensor network, WSN)를 더 포함하고,
상기 손목에 장착되는 컴퓨팅 디바이스는 각각의 센서와 직접적으로 및/ 또는 각각의 센서가 네트워크 내의 다른 센서로부터 데이터를 중계하는(relaying) 노드(node)로서 동작하는 격자망 네트워크(mesh network)를 통해 통신하는 장치.
제 29항에 있어서, 상기 장치는
지속적으로 하나 또는 그 이상의 신체에 착용된, 부착된 및/또는 이식된 센서들의 위치 및 공간 위치(spatial position)를 매핑하기 위해 구성되는 신체 센서 매핑 시스템(body sensor mapping system)을 더 포함하고,
사용자 신체의 내부 또는 신체 위의 각 센서와 관련된 위치의 3D 위치, 속도,및 가속도를 식별함으로써 신체 움직임(body motion)을 기록하고,
움직임에서 신체의 이후 위치(future position)를 연산하기 위해 신체의 3D 모델을 생성하도록 x, y 및 z의 거리 좌표(distance coordinates);vx, vy, 및 vz의 속도 좌표(velocity coordinates);및 ax, ay, 및az의 가속도 좌표(acceleration coordinates)가 수학적으로 표현되고,
상기 프로세서는 각각의 개별적인 센서(individual sensor) 및/또는 격자망 센서 그룹(mesh sensor group)으로 식별 및 네트워크 하고,
손목 콘솔(wrist console)은 각 센서들의 정확한 위치를 사용자의 3D 특징 모델(character model)로 매핑 가능하게 하고,
연속적인 데이터 스트림(continuous data stream)으로서 손목 콘솔(wrist console)이 몸 전체 움직임(full body motion)및 가속(acceleration)을 포획(capture)을 가능하게 하고,
가상 환경 및 몸 전체의 3D 움직임(full body 3D motion) 및 물리적인 환경(physical environment)에서의 제스처 인터페이싱(gesture interfacing)에서의 사용자 신체의 실시간 애니메이션(real-time animation)을 제공하기 위한 사용자의 3D 장치화된 가상 모델(rigged virtual model)로의 데이터를 할당하는 장치.
제 29항에 있어서,
원격 센서 매핑 시스템은 하나 또는 그 이상의 원격 무선 센서 및/또는 무선으로 네트워크 된 디바이스들(wireless networked devices)로부터 지속적으로 신호를 송신 및 수신하고(send and receive), 그들의 위치, 3D 공간 및 관계적인 위치(relational position)를 식별하고,
상기 프로세서는 네트워크 된 센서들의 3D 맵(map)을 구축하기 위해 하나 또는 그 이상의 센서의 정확한 x, y및 z좌표와 공간 위치 신호를 결정하는 신호 수신 모듈(signal receiving module)에 의해 수신된 신호 식별(signal identification), 관계적 위치(directional position), 신호 강도(signal strength) 및 다른 신호 데이터(other signal data)를 처리하는 장치.
제 1항에 있어서, 상기 장치는
상기 하우징 모듈 내에, 하나 또는 그 이상의 활성 터치 스크린 디스플레이(active touchscreen displays), 이미지 투영기(image projectors), 마이크로폰(microphones), 스피커(speakers), 비디오 카메라(video cameras), 광학(optical), 라이트(light), 움직임 및 방향(motion and orientation)센서와 촉각(햅틱, haptic) 센서 배열(sensor array)을 포함하도록 구성되는 소프트웨어 및 하드웨어 구성요소(components)를 포함하고,
상기 프로세서는 음성 명령(voice command), 스테레오 사운드 시스템(stereo sound system), 오디오-비디오 통신(audio-video communications), 터치 스크린 인터페이스(touchscreen interface), 투영 인터페이스(projection interface), 움직임 제스처 인터페이스(motion gesture interface) 및 햅틱 피드백(haptic feedback)을 포함하는 광의의 인터페이스의 배열(wide array of interfaces)을 운용하고,
상기 사용자는 손목 컴퓨팅 디바이스(wrist computing device) 또는 원격으로 네트워크 된 디바이스(remote networked device), 인터페이스(interface), 플랫폼(platform) 또는 컴퓨팅 환경(computing environment)에서의 특정한 과제(task), 기능(function) 또는 이벤트(event)로의 제어 및 또는 응답(respond)을 위한 하나 또는 그 이상의 인터페이스 시스템(interfacing system)을 할당하는(assign) 장치.
제 31항에 있어서, 상기 장치는
단일 또는 스테레오 마이크로폰(single or stereo microphones), 사용자 정의(customizable) 및 프로그램 가능한(programmable) 음성 활성화(voice activation), 음성 인식(voice recognition) 및 음성 명령 시스템(voice command system)을 포함하는 음성 명령 모듈(voice command module)을 더 포함하는 장치.
제 31항에 있어서, 상기 장치는
내장된 단일 또는 스테레오 스피커(stereo speakers)와 유선 및 또는 무선(wired and or wireless)의 헤드폰(headphones)에 대한 스테레오 사운드 시스템(stereo sound system)을 포함하는 오디오 시스템(audio system)을 더 포함하는 장치.
제 31항에 있어서, 상기 장치는
2D 또는 3D의 정지 이미지(still image)와 움직임 비디오(motion video)를 온 보드(onboard) 또는 원격 저장매체(remote storage), 전달(transmission)및 실-시간 음성(real-time voice), 데이터를 위해 오디오(audio), 음성 및 매핑, 위치(location)와 다른 상황 별 데이터(contextual data)로 포획(capture), 편집(edit), 처리(process), 디스플레이 및 스트리밍(display and stream)하고, 오디오 비디오(audio video)를 네트워크 된 디바이스, 인터넷(Internet), VPN, 다른 네트워크된 데이터 허브, 다른 네트워크된 미디어 허브(media hub) 중 하나 이상과 통신하도록 구성되는 소프트웨어 및 하드웨어 구성요소(software and hardware components)를 더 포함하는 장치.
제 31항에 있어서, 상기 장치는
개인화된 이미지(personalized image) 디스플레이와 디바이스 기능(device functions), 디스플레이 된 컨텐츠 및 사용자 그래픽 인터페이스(graphic user interface)의 터치 스크린 제어(touchscreen control)를 위한 터치 스크린 디스플레이(touchscreen display)를 더 포함하는 장치.
제 31항에 있어서, 상기 장치는
임의의 표면에 2D 또는 3D로 투영된 인터페이스(projected interface)의 멀티-포인트 제어(multi-point control) 에 대한 투영 인터페이스 시스템(projection interfacing system)을 더 포함하고,
상기 프로세서는 라이트 매핑(light mapping) 및/또는 사용자 손, 손가락, 신체 및/ 또는 주변 객체 및/또는 표면에 매핑 되는 상호적인 2D 또는 3D 사용자 그래픽 인터페이스(graphic user interface) 에서의 사용자 제어 손 및 손가락의 광학적인 영상화(imaging)에 의해 투영된 사용자 인터페이스(projected user interface)로 사용자의 상호작용(interaction)을 결정하는 장치.
제 31항에 있어서, 상기 장치는
2D 또는 3D사용자 인터페이스, 디스플레이, 가상 또는 물리적 객체 및/또는 컴퓨팅 환경(computing environments)의 멀티-포인트 제어(multi-point control)에 대한 움직임 제스처 인터페이싱 시스템(motion gesture interfacing system)을 더 포함하고,
상기 프로세서(processor), 라이트 매핑(light mapping), 광학 영상화(optical imaging) 및 방향(orientation), 위치 및 통신 시스템(location and communications systems)은 서로 협력하여 사용자의 손, 손가락, 신체 및 주변 객체들(surrounding objects)과 환경을 영상화 하고,
위치, 공간 위치(spatial position), 방향적 움직임(directional motion) 및 손목 컴퓨팅 콘솔(wrist computing console)의 방향(orientation)과 주변 객체들(surrounding objects), 디스플레이, 인터페이스 및 컴퓨팅 환경(computing environments)에 관련된 사용자 손, 손가락 및 신체(body)를 식별하고,
상기 움직임 제스처 인터페이싱 시스템(motion gesture interfacing system)은 사용자에게 선택된 사용자 손, 손가락, 신체 및 주변 객체들(surrounding objects)과 사용자 손가락의 각각의 끝(tips of each of the users fingers)과 같은 표면 으로의 제어 포인트(control points) 할당을 가능하게 하고,
2D 또는 3D 객체들을 제어하고 및/또는 역동적인 식별 및 하나 또는 그 이상의 주변의 물리적인 디스플레이들, 인터페이스, 가상 또는 물리적 객체 및/또는 컴퓨팅 환경(computing environments)과 관련된 각각의 제어 포인트(control point)의 x, y 및 z공간 위치(spatial position)매핑에 의해 하나 또는 그 이상의 선택된 제어 포인트들(selected control points)을 사용하고,
상기 사용자는 지정된 작업(designated task), 디바이스 기능(device function) 또는 응용프로그램(application)을 수행하기 위해 손 및 손가락 움직임, 제스처 및 또는 터치 하나 또는 그 이상의 임의의 다른 손가락 또는 사용자 손, 손가락, 신체 및/또는 주변에 매핑된 객체들 및 표면들(surfaces)로 지정된 포인트(designated point) 또는 영역으로의 하나 또는 그 이상의 손가락의 임의의 조합(any combination)을 기능적으로 지정하는 장치.
삭제
삭제
삭제