KR20150118813A - 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치 - Google Patents

햅틱 정보 운용 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR20150118813A
KR20150118813A KR1020140044929A KR20140044929A KR20150118813A KR 20150118813 A KR20150118813 A KR 20150118813A KR 1020140044929 A KR1020140044929 A KR 1020140044929A KR 20140044929 A KR20140044929 A KR 20140044929A KR 20150118813 A KR20150118813 A KR 20150118813A
Authority
KR
South Korea
Prior art keywords
haptic
information
support module
haptic feedback
event
Prior art date
Application number
KR1020140044929A
Other languages
English (en)
Inventor
정철호
이철환
노병탁
여재영
임요왕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140044929A priority Critical patent/KR20150118813A/ko
Priority to US14/686,056 priority patent/US20150293592A1/en
Priority to EP15163697.4A priority patent/EP2933709A3/en
Publication of KR20150118813A publication Critical patent/KR20150118813A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

본 발명의 다양한 실시 예는 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석 동작, 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 설정하는 동작, 이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작을 포함하는 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치를 개시할 수 있다. 여기서 본 발명이 상술한 구성에 한정되는 것은 아니며, 발명의 상세한 설명에 기재된 다양한 실시 예들로서 이해되어야 할 것이다.

Description

햅틱 정보 운용 방법 및 이를 지원하는 전자 장치{Providing Method for Haptic Information and Electronic Device supporting the same}
다양한 실시 예들은 햅틱 정보 제공에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 장치, PDA(Personal Digital Assistant), 전자수첩, 스마트 폰, 태블릿 PC(Personal Computer), 웨어러블 컴퓨팅 장치 등과 같이 이동하면서 통신 및 개인정보 처리가 가능한 전자 장치가 다양하게 출시되고 있다. 이러한 전자 장치들은 사용자 설정에 따라 진동을 발생시킬 수 있다.
종래 전자 장치는 단순하게 통신 메시지 수신을 알리는 진동을 발생시킨다. 사용자는 전자 장치에서 진동이 발생하더라도, 해당 진동 만으로는 어떠한 이벤트가 관련된 것인지 파악할 수 없는 문제점이 있다.
이에 따라, 다양한 실시 예에서는 전자 장치 운용 상황에 부합하는 형태의 햅틱 정보를 제공할 수 있는 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치를 제공함에 있다.
상기와 같은 과제를 해결하기 위한 다양한 실시 예 중 한 실시 예의 전자 장치의 햅틱 정보 운용 방법은 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석 동작, 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 설정하는 동작, 이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
한 실시 예에 따른 전자 장치는 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석하고, 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 설정하는 햅틱 지원 모듈, 이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 햅틱 모듈을 포함할 수 있다.
전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 다양한 실시 예의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 다양한 실시 예들의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다. 이러한 특징들 및 장점들 이외에도 청구범위의 주제를 형성하는 다양한 실시 예들의 추가적인 특징들 및 장점들이 후술되는 구체적인 설명으로부터 잘 이해될 것이다.
상술한 바와 같이 다양한 실시 예에 따른 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치에 따르면, 다양한 실시 예는 표시되는 화면 정보에 따라 다양한 촉감 표현이 가능하며, 입력 수단 구분 및 실행 정보 구분을 보다 용이하게 인지하도록 지원할 수 있다.
또한 다양한 실시 예는 터치스크린이나 터치패드 상에서 다양한 햅틱 정보를 화면 정보별로 할당하고, 그에 따른 햅틱 피드백을 구현함으로써 사실감을 가지는 장치 운용을 지원할 수 있다.
또한, 다양한 실시 예는 장치 운용 상태나 상황에 따라 적응적은 햅틱 피드백을 제공함으로써, 보다 역동적인 전자 장치 운용을 지원할 수 있다.
도 1은 다양한 실시예에 따른 전자 장치 운용 시스템을 도시한다.
도 2는 다양한 실시예들에 따른 전자 장치의 햅틱 지원 모듈과 메모리, 버스를 도시한다.
도 3은 다양한 실시예들에 따른 전자 장치 300의 블록도를 도시한다.
도 4는 다양한 실시예에 따른 햅틱 정보 운용 방법을 도시한다.
도 5는 다양한 실시예에 따른 화면 정보 중 오브젝트 기반 햅틱 정보 운용 방법을 도시한다.
도 6은 다양한 실시예에 따른 입력 물체 종류 기반 햅틱 정보 운용 방법을 도시한다.
도 7은 다양한 실시예에 따른 실행 정보 조건 기반 햅틱 정보 운용 방법을 도시한다.
도 8a는 다양한 실시예에 따른 오브젝트별 햅틱 정보 운용을 설명하는 화면 예시도이다.
도 8b는 다양한 실시예에 따른 복합 오브젝트별 햅틱 정보 운용을 설명하는 화면 예시도이다.
도 9는 다양한 실시예에 따른 한 손 입력 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 10은 다양한 실시예에 따른 방향 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 11은 다양한 실시예에 따른 원격 제어 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 12는 다양한 실시예에 따른 가상 키 버튼 관련 햅틱 정보 운용과 관련한 도면이다.
도 13a는 다양한 실시예에 따른 페이지 전환 관련 햅틱 정보 운용을 설명하는 도면이다.
도 13b는 다양한 실시예에 따른 페이지의 모서리에 기초한 페이지의 오목하게 말림 변환에 따른 햅틱 정보 운용을 설명하는 도면이다.
도 13c는 다양한 실시예에 따른 페이지의 변에 기초한 페이지의 볼록하게 말림 변환에 따른 햅틱 정보 운용을 설명하는 도면이다.
도 14는 다양한 실시예에 따른 입력 정보에 따른 햅틱 정보 운용과 관련한 도면이다.
도 15는 다양한 실시예에 따른 시계 기능 실행 정보에 따른 햅틱 정보 운용과 관련한 도면이다.
도 16은 다양한 실시예에 따른 외부 환경 및 헬스 케어 기능 관련 실행 정보별 햅틱 정보 운용과 관련한 도면이다.
도 17은 다양한 실시예에 따른 헬스 코칭 기능 중 운동 속도 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 18은 다양한 실시예에 따른 스트레스 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 19는 다양한 실시예에 따른 숙면도 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 20은 다양한 실시예에 따른 입력 물체별 햅틱 정보 운용과 관련한 도면이다.
도 21은 다양한 실시예에 따른 터치 영역별 햅틱 정보 운용과 관련한 도면이다.
도 22는 다양한 실시예에 따른 터치 영역 검출 및 그에 따른 햅틱 정보 운용과 관련한 도면이다.
도 23은 다양한 실시예에 따른 가상 현실에서의 햅틱 정보 운용과 관련한 도면이다.
도 24는 다양한 실시예에 따른 입력 에러 정정과 관련한 햅틱 정보 운용 방법을 도시한다.
도 25는 다양한 실시예에 따른 화면 정보 관련 햅틱 정보 운용을 도시한다.
도 26은 다양한 실시예에 따른 파노라마 이미지 또는 3D 지도 관련 햅틱 정보 운용을 도시한다.
이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 다양한 실시예에서 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 적어도 하나의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 다양한 실시예에서 “또는” 또는 “ A 또는/및 B 중 적어도 하나” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B” 또는 “ A 또는/및 B 중 적어도 하나” 각각은, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명의 다양한 실시예에서 사용된 “제1,”“제2,”“첫째,”또는“둘째,”등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 다양한 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 다양한 실시예에 따른 전자 장치는, 햅틱 정보 제공 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 햅틱 정보 제공 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 햅틱 정보 제공 기능을 가지는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 햅틱 정보 제공 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시예에 따른 전자 장치 운용 시스템을 도시한다.
도 1을 참조하면, 한 실시예에 따른 전자 장치 운용 시스템 10은 전자 장치 100, 적어도 하나의 외부 전자 장치 102, 104, 네트워크 162, 서버 장치 106을 포함할 수 있다. 상기 전자 장치 100과 전자 장치 102는 직접 통신(Direct Communication) 방식으로 통신 채널을 형성할 수 있다. 예컨대, 전자 장치 100은 전자 장치 102와 블루투스 방식의 직접 통신 채널을 형성할 수 있다. 또는 전자 장치 100은 전자 장치 102와 와이파이 다이렉트 방식의 통신 채널을 형성할 수 있다. 또는 전자 장치 100은 전자 장치 102와 케이블 등의 유선 방식을 이용한 통신 채널을 형성할 수 있다. 전자 장치 100과 전자 장치 104는 네트워크 162를 통한 통신 채널을 형성할 수 있다. 예컨대, 전자 장치 100은 이동통신 네트워크 또는 인터넷 네트워크 등을 통하여 전자 장치 104와 통신 채널을 형성할 수 있다.
이러한 전자 장치 운용 시스템 10은 전자 장치 100(또는 전자 장치 102, 104 등)이 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하고, 분석 결과에 따라 햅틱 정보 설정(예: 햅틱 레이아웃 설정 또는 햅틱 요소 설정 중 적어도 하나)을 수행할 수 있다. 이에 따라, 전자 장치 운용 시스템 10은 전자 장치 운용과 관련한 다양한 상황에 대응한 햅틱 정보를 제공할 수 있다. 이 동작에서 전자 장치 운용 시스템 10은 다양한 촉감이나 질감 종류(예: 부드러움, 거침, 끈적임, 저항감, 마찰감, 피부 당김 또는 매끈함 중 적어도 하나 등)를 단일 형태 또는 복합 형태 중 적어도 하나를 제공할 수 있다. 이에 따라, 전자 장치 운용 시스템 10은 전자 장치 100(또는 전자 장치 102, 104 등)의 운용 상황에 대응되는 다양한 느낌의 정보 제공을 수행할 수 있고, 또한 각 느낌에 따른 직관적인 정보 인식을 제공할 수 있다.
전자 장치 102는 전자 장치 100의 통신 인터페이스 110과 직접 통신 채널을 형성하고, 전자 장치 100과 데이터 송수신을 수행할 수 있다. 이 동작에서 전자 장치 102는 전자 장치 100으로부터 햅틱 정보를 수신하고, 수신된 햅틱 정보 출력을 수행할 수 있다. 햅틱 정보 출력은 적어도 하나의 햅틱 센서 또는 햅틱 소자, 또는 햅틱 시트를 통하여 출력되는 촉각 피드백의 출력을 포함할 수 있다. 다양한 실시예에 따르면, 전자 장치 102는 전자 장치 100의 운용과 관련하여 입력 정보를 제공하는 장치로서 동작할 수 있다. 예컨대, 전자 장치 102는 적어도 하나의 센서를 포함하고, 센서가 수집한 센서 정보를 전자 장치 100에 입력 정보로서 제공할 수 있다. 또는 전자 장치 102는 설정된 기능 또는 사용자 제어에 다른 기능을 실행하고, 기능 실행에 따른 실행 정보를 전자 장치 100에 실행 정보로서 제공할 수 있다. 이하에서 설명에서 전자 장치 100의 햅틱 지원 모듈 170은 전자 장치 102에도 마련될 수 있다. 이에 따라, 전자 장치 102는 전자 장치 100과 독립적으로 또는 전자 장치 100과 연동(예: 전자 장치 100에서 실행되는 기능 관련 정보를 전자 장치 102가 수신하여 처리하거나, 전자 장치 102에서 실행되는 기능 관련 정보를 전자 장치 100이 수신하여 처리하는 동작)되어 입력 정보, 화면 정보 또는 실행 정보 중 적어도 하나에 대응하는 햅틱 정보 출력을 수행할 수 있다.
전자 장치 104는 네트워크 162를 통하여 전자 장치 100과 통신 채널을 형성할 수 있다. 예컨대, 전자 장치 104는 셀룰러 통신 모듈을 포함하고, 전자 장치 100과 이동통신 채널을 형성할 수 있다. 또는 전자 장치 104는 와이파이 통신 모듈을 포함하고, 전자 장치 100과 이동통신 채널을 형성할 수 있다. 다양한 실시예에 따르면, 전자 장치 104는 전자 장치 100과 네트워크162를 통한 통화 채널을 형성할 수 있다. 이 동작에서 전자 장치 104 또는 전자 장치 100 중 적어도 하나는 통화 채널(예: 음성 통화, 영상 통화, 메시지 송수신, 데이터 통신 중 적어도 하나) 형성과 관련한 화면 정보에 대응하는 햅틱 정보 할당(또는 설정)을 수행할 수 있다. 다양한 실시예에 따르면, 전자 장치 104는 연동되는 액세서리 전자 장치의 운용 관련 정보를 전자 장치 100에 전달할 수 있다. 또한 전자 장치 104는 전자 장치 100과 연동되는 전자 장치(예: 전자 장치 102)의 운용 관련 정보를 수신하고 출력할 수 있다. 이 동작에서 전자 장치 104는 수신되는 운용 관련 정보에 특정 햅틱 정보를 할당하고, 해당 햅틱 정보(예: 설정된 촉감이나 질감에 대응하는 특정 형태의 진동 패턴) 출력을 수행할 수 있다.
서버 장치 106은 네트워크162를 통하여 전자 장치 100과 통신 채널을 형성할 수 있다. 또는 서버 장치 106은 네트워크162를 통하여 전자 장치 104와 통신 채널을 형성할 수 있다. 다양한 실시예에 따르면, 서버 장치 106은 네트워크162와 전자 장치 100을 통하여 전자 장치 102와 통신 채널을 형성할 수도 있다. 상기 서버 장치 106은 전자 장치 100(또는 전자 장치 102, 104 등)에 햅틱 정보 데이터베이스를 제공할 수 있다. 또한 서버 장치 106은 전자 장치 100에 오디오 정보 데이터베이스를 제공할 수 있다. 서버 장치 106은 전자 장치 100에 적어도 하나의 오브젝트 또는 아이템(예: 다양한 촉감이나 질감 표현과 관련된 적어도 하나의 햅틱 정보)을 포함하는 서버 페이지를 제공할 수 있다. 서버 장치 106은 전자 장치 100의 요청에 대응하여 해당 햅틱 정보를 전자 장치 100에 제공할 수 있다. 다양한 실시예에 따르면, 서버 장치 106은 햅틱 갱신 정보를 일정 주기로 또는 실시간으로 전자 장치 100에 제공할 수도 있다.
네트워크 162는 전자 장치 100과 전자 장치 104 사이 또는 전자 장치 100과 서버 장치 106 사이의 통신 채널을 형성할 수 있다. 네트워크 162는 예컨대 이동통신 채널 형성과 관련한 네트워크 장치 요소들을 포함할 수 있다. 또는 네트워크 162는 인터넷 통신 채널 형성과 관련한 네트워크 장치 요소들을 포함할 수 있다. 네트워크 162는 전자 장치 100의 햅틱 정보를 전자 장치 104에 전달할 수 있다. 또한 네트워크 162는 햅틱 관련 데이터베이스 또는 햅틱 갱신 정보를 전자 장치 100 또는 전자 장치 100에 전달할 수 있다. 다양한 실시예에 따르면, 네트워크 162는 전자 장치 100과 104 사이의 음성 통화 채널, 화상 통화 채널 등을 형성할 수 있다.
도 1을 참조하면, 상기 전자 장치 100은 버스 110, 프로세서 120, 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 인터페이스 160, 햅틱 지원 모듈 170 및 햅틱 모듈 180을 포함할 수 있다. 상술한 전자 장치 100은 햅틱 지원 모듈 170을 토대로 화면 정보 분석 결과, 입력 정보 분석 결과 또는 실행 정보 분석 결과 중 적어도 하나에 대응하는 햅틱 정보 할당을 수행할 수 있다. 이 동작에서 전자 장치 100은 할당된 햅틱 정보와 관련한 이벤트가 발생하면, 햅틱 모듈 180을 통한 햅틱 정보 출력을 수행할 수 있다. 다양한 실시예에 따르면, 전자 장치 100은 출력할 햅틱 정보를 타 전자 장치(예: 전자 장치 102, 104 등)에 전송할 수도 있다.
상기 버스 110은 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다. 예컨대, 버스 110은 입출력 인터페이스 140에서 입력된 입력 신호를 프로세서 120 또는 햅틱 지원 모듈 170에 전달할 수 있다. 버스 110은 통신 인터페이스 160을 통해 수신한 정보를 메모리 130, 디스플레이 150, 프로세서 120, 햅틱 지원 모듈 170 중 적어도 하나에 전달할 수 있다. 버스 110은 디스플레이 150에 출력될 화면 정보를 햅틱 지원 모듈 170에 전달할 수 있다. 버스 110은 입출력 인터페이스 140을 통해 수신된 입력 정보를 햅틱 지원 모듈 170에 전달할 수 있다. 버스 110은 프로세서 120에 의해 실행 처리된 실행 정보를 햅틱 지원 모듈 170에 전달할 수 있다.
상기 프로세서 120은, 예를 들면, 상기 버스 110을 통해 전술한 다른 구성요소들(예: 상기 메모리 130, 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 상기 햅틱 지원 모듈 170 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다. 프로세서 120은 햅틱 지원 모듈 170(하드웨어 형태 또는 소프트웨어 형태 중 적어도 하나의 형태로 마련된 모듈)을 포함하는 형태로 마련될 수도 있다. 또는 도시된 바와 같이 프로세서 120은 햅틱 지원 모듈 170과 독립적인 형태로 마련될 수도 있다.
상기 메모리 130은, 상기 프로세서 120 또는 다른 구성요소들(예: 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 상기 햅틱 지원 모듈 170 등)로부터 수신되거나 상기 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리 130은, 예를 들면, 커널 131, 미들웨어 132, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 133 또는 어플리케이션 134 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널 131은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널 131은 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에서 상기 전자 장치 100의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어 132는 상기 API 133 또는 상기 어플리케이션 134가 상기 커널 131과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어 132는 상기 어플리케이션 134로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 어플리케이션 134 중 적어도 하나의 어플리케이션에 상기 전자 장치 100의 시스템 리소스(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)를 사용할 수 있는 우선순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케줄링 또는 로드 밸런싱)를 수행할 수 있다.
상기 API 133은 상기 어플리케이션 134가 상기 커널 131 또는 상기 미들웨어 132에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
다양한 실시예에 따르면, 상기 어플리케이션 134는 SMS/MMS 어플리케이션, 이메일 어플리케이션, 달력 어플리케이션, 알람 어플리케이션, 건강관리(health care) 어플리케이션(예: 운동량 또는 혈당 등을 측정하는 어플리케이션) 또는 환경 정보 어플리케이션(예: 기압, 습도 또는 온도 정보 등을 제공하는 어플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 어플리케이션 134는 상기 전자 장치 100과 외부 전자 장치(예: 전자 장치 104) 사이의 정보 교환과 관련된 어플리케이션일 수 있다. 상기 정보 교환과 관련된 어플리케이션은, 예를 들어, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 상기 알림 전달 어플리케이션은 상기 전자 장치 100 의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강관리 어플리케이션 또는 환경 정보 어플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치(예: 전자 장치 102, 104)로 전달하는 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치(예: 전자 장치 102, 104)로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 상기 장치 관리 어플리케이션은, 예를 들면, 상기 전자 장치 100과 통신하는 외부 전자 장치(예: 전자 장치 102, 104)의 적어도 일부에 대한 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴온/턴오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 상기 외부 전자 장치에서 동작하는 어플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스)를 관리(예: 설치, 삭제 또는 업데이트)할 수 있다.
다양한 실시예에 따르면, 상기 어플리케이션 134는 상기 외부 전자 장치(예: 전자 장치 102, 104)의 속성(예: 전자 장치의 종류)에 따라 지정된 어플리케이션을 포함할 수 있다. 예를 들어, 외부 전자 장치가 MP3 플레이어인 경우, 상기 어플리케이션 134는 음악 재생과 관련된 어플리케이션을 포함할 수 있다. 유사하게, 외부 전자 장치가 모바일 의료기기인 경우, 상기 어플리케이션 134는 건강관리와 관련된 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 상기 어플리케이션 134는 전자 장치 100에 지정된 어플리케이션 또는 외부 전자 장치(예: 서버 장치 106 또는 전자 장치 102, 104)로부터 수신된 어플리케이션 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 어플리케이션 134에 포함된 적어도 하나의 어플리케이션은 적어도 하나의 햅틱 정보가 할당될 수 있다. 또는 다양한 실시예에 따르면, 적어도 하나의 어플리케이션은 할당된 햅틱 정보를 포함할 수 있다. 상기 어플리케이션에 할당된 햅틱 정보는 해당 어플리케이션 실행에 따라 디스플레이 150에 출력되는 화면 정보에 매핑되는 햅틱 정보, 어플리케이션 실행 중 입력 정보에 매핑되는 햅틱 정보, 또는 어플리케이션 실행에 따른 발생하는 실행 정보에 매핑되는 햅틱 정보 중 적어도 하나를 포함할 수 있다. 특정 어플리케이션이 실행되면 햅틱 지원 모듈 170은 어플리케이션에 할당된 햅틱 정보를 확인하고, 햅틱 모듈 180의 적어도 일부를 활성화하도록 제어할 수 있다.
다양한 실시예에 따르면, 메모리 130은 화면 정보별 햅틱 정보, 입력 정보별 햅틱 정보, 또는 실행 정보별 햅틱 정보 중 적어도 하나를 포함하는 데이터베이스를 저장할 수 있다. 메모리 130은 햅틱 모듈 180을 통해 특정 햅틱 정보 출력이 수행되는 동안 함께 출력되는 오디오 정보를 저장할 수 있다. 메모리 130은 전자 장치 100 활성화에 대응하여 디스플레이 150에 출력되는 화면 정보를 임시 또는 반영구적으로 저장할 수 있다. 메모리 130은 전자 장치 100의 입출력 인터페이스 140을 통해 입력되는 다양한 입출력 장치들에 대한 관련 정보를 저장할 수 있다. 예컨대, 메모리 130은 입출력 장치들의 종류 구분과 관련한 관련 정보, 입출력 장치들의 입력 상태 구분과 관련한 관련 정보들을 저장할 수 있다.
상기 입출력 인터페이스 140은, 입출력 장치(예: 센서, 키보드, 터치패드, 또는 터치스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 상기 버스 110을 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 햅틱 지원 모듈 170에 전달할 수 있다. 예를 들면, 상기 입출력 인터페이스 140은 터치스크린이나 터치패드를 통하여 입력된 사용자 터치에 대한 데이터를 상기 프로세서 120 또는 햅틱 지원 모듈로 제공할 수 있다. 또한, 상기 입출력 인터페이스 140은, 예를 들면, 상기 버스 110을 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 햅틱 지원 모듈 170으로부터 수신된 명령 또는 데이터를 상기 입출력 장치(예: 스피커 또는 디스플레이, 햅틱 모듈 180)를 통하여 출력할 수 있다. 예를 들면, 상기 입출력 인터페이스 140은 상기 프로세서 120을 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다.
다양한 실시예에 따르면, 입출력 인터페이스 140은 물리 키 버튼(예: 홈 키, 사이드 키, 전원 키 등), 죠그 키, 키패드 등을 포함할 수 있다. 입출력 인터페이스 140은 디스플레이 150에 출력되는 가상 키 패드를 입력 장치로 포함할 수 있다. 입출력 인터페이스 140은 햅틱 정보 운용과 관련한 입력 신호를 사용자 제어에 대응하여 생성할 수 있다. 예컨대, 입출력 인터페이스 140은 디스플레이 150의 적어도 일부 지점을 터치하는 터치 입력, 디스플레이 150에 출력된 가상 키 버튼의 적어도 일부를 터치하는 터치 입력에 따른 입력 신호(예: 터치 이벤트)를 생성할 수 있다. 또한 입출력 인터페이스 140은 사용자 손가락 터치에 따른 터치 입력, 전자 펜이나 일반 펜 터치에 따른 터치 입력에 따른 입력 신호를 생성할 수 있다.
다양한 실시예에 따르면, 입출력 인터페이스 140은 오디오 처리와 관련한 기능을 수행할 수 있다. 이와 관련하여 입출력 인터페이스 140은 스피커 및 마이크 중 적어도 하나를 단수 개 또는 복수 개 포함할 수 있다. 입출력 인터페이스 140은 예컨대, 전자 장치 102 또는 104 중 적어도 하나와 송수신하는 데이터에 오디오 데이터가 포함되어 있는 경우, 해당 오디오 데이터를 출력할 수 있다. 입출력 인터페이스 140은 타 전자 장치(예: 전자 장치 102 또는 104 중 적어도 하나)와 음성을 포함하는 통신 채널을 형성한 경우, 오디오 데이터를 마이크 기반으로 수집하고, 이를 프로세서 120에 전달할 수 있다.
다양한 실시예에 따르면, 입출력 인터페이스 140은 햅틱 정보와 관련한 오디오 정보 출력을 수행할 수 있다. 여기서 오디오 정보는 햅틱 정보에 매핑된 정보일 수 있다. 이에 따라, 입출력 인터페이스 140은 특정 햅틱 정보를 햅틱 모듈 180을 통해 출력하는 동안 특정 오디오 정보를 출력할 수 있다. 해당 오디오 정보는 햅틱 정보 설계와 관련하여 변경될 수 있다. 여기서 오디오 정보는 햅틱 정보를 설명하는 안내음 또는 햅틱 정보의 특성(예: 부드러움, 거침, 또는 저항감 등)에 따라 설정된 효과음 중 적어도 하나를 포함할 수 있다.
상기 디스플레이 150은 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)를 표시할 수 있다. 예컨대, 디스플레이 150은 락 스크린, 대기 화면 등을 출력할 수 있다. 디스플레이 150은 특정 기능 수행 화면 예컨대 음원 재생 앱 실행 화면, 동영상 재생 앱 실행 화면, 방송 수신 화면 등을 기능 수행에 대응하여 출력할 수 있다. 한 실시예에 따르면, 디스플레이 150은 특정 어플리케이션(예: 대기 화면 앱, 메뉴 화면 앱, 음원 재생 앱, 방송 수신 기능 앱, 웹 접속 기능 앱, 카메라 앱, 갤러리 앱, 또는 헬스 케어 기능 앱 등) 실행에 따른 화면 정보를 출력할 수 있다. 디스플레이 150에 출력되는 화면 정보는 이미지 정보, 텍스트 정보, 가상 키 버튼 정보, 또는 링크 정보 중 적어도 하나와 관련한 영역을 포함할 수 있다. 예컨대, 이미지 정보는 배경 영역일 수 있다. 텍스트 정보는 텍스트 창 영역에 출력될 수 있다. 가상 키 버튼 정보는 특정 문자를 포함하는 경계 영역을 포함할 수 있다. 링크 정보는 링크를 포함하는 경계 영역을 포함할 수 있다. 화면 정보 중 적어도 일부는 햅틱 정보가 할당될 수 있다.
상기 통신 인터페이스 160은 상기 전자 장치 100과 외부 장치(예: 전자 장치 102, 104, 또는 서버 장치 106) 간의 통신을 연결할 수 있다. 예를 들면, 상기 통신 인터페이스 160은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 상기 외부 장치와 통신할 수 있다. 상기 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 네트워크 162는 통신 네트워크(telecommunications network)일 수 있다. 상기 통신 네트워크 는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 전자 장치 100과 외부 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol 또는 physical layer protocol))은 어플리케이션 134, 어플리케이션 프로그래밍 인터페이스 133, 상기 미들웨어 132, 커널 131 또는 통신 인터페이스 160 중 적어도 하나에서 지원될 수 있다.
통신 인터페이스 160은 전자 장치 100이 복수의 통신 방식을 지원하는 경우 복수개의 통신 모듈을 포함할 수 있다. 예컨대, 전자 장치 100은 전자 장치 102와 직접 통신 채널을 형성할 수 있는 통신 모듈 예컨대, 근거리 통신 모듈 또는 직접 통신 모듈을 포함할 수 있다. 근거리 통신 모듈 또는 직접 통신 모듈은 와이파이 다이렉트 통신 모듈, 블루투스 통신 모듈, 지그비 통신 모듈 등 다양한 통신 모듈 중 적어도 하나를 포함할 수 있다. 또한 직접 통신 모듈은 케이블 등의 유선 통신 모듈을 포함할 수 있다.
한 실시예에 따르면, 통신 인터페이스 160은 전자 장치 102, 104 또는 서버 장치106 중 적어도 하나로부터 실행 정보 또는 입력 정보 중 적어도 하나를 수신할 수 있다. 통신 인터페이스 160은 수신된 실행 정보 또는 입력 정보를 햅틱 지원 모듈 170에 전달할 수 있다. 한 실시예에 따르면, 통신 인터페이스 160은 햅틱 지원 모듈 170의 제어에 대응하여 햅틱 정보를 전자 장치 102 또는 104 중 적어도 하나에 전송할 수 있다. 상기 햅틱 정보 또는 햅틱 갱신 정보 등은 서버 장치 106에서 통신 인터페이스 160을 통해 전자 장치 100에 전달될 수도 있다.
햅틱 모듈 180은 햅틱 지원 모듈 170이 전달하는 햅틱 정보를 출력할 수 있다. 이와 관련하여, 햅틱 모듈 180은 적어도 하나의 햅틱 소자를 포함할 수 있다. 다양한 실시예에 따르면, 햅틱 모듈 180은 디스플레이 위에 유리판과 투명 전극 및 절연판으로 구성된 구조물을 포함하는 형태의 햅틱 시트를 포함할 수 있다. 시트 형태의 햅틱 모듈 180은 Sticky, waxy, bumpy, smooth, pleasant, unpleasant, friction, vibration 등의 다양한 촉감이나 질감을 제공할 수 있다. 다양한 실시예에 따르면, 햅틱 모듈 180은 터치스크린 위에 Indium Tin Oxide(ITO)를 도포한 필름이 장착된 구조의 햅틱 시트(또는 햅틱 터치 필름)를 포함할 수 있다. 이러한 햅틱 모듈 180은 대전을 통한 정전기력 변화를 통하여 사실적인 버튼 입력 느낌 등 다양한 느낌을 제공할 수 있다. 다양한 실시예에 따르면, 햅틱 모듈 180은 마찰력 햅틱 디스플레이(friction haptic display)를 포함할 수 있다. 햅틱 모듈 180은 터치스크린 장치에서 마찰력을 통해 부드러움과 거칠기 정보, 끈적임 정도 등을 표현할 수 있으며, squeeze-film 효과 혹은 electrovibration 효과를 제공할 수 있다.
다양한 실시예에 따르면, 햅틱 모듈 180은 압전 세라믹에 기반한 다중 bending 모터를 이용한 vibrotactile 액추에이터를 포함할 수 있다. 상기 햅틱 모듈 180은 impulse, tapping, clicking 등의 촉감을 표현하는 touchengine을 포함할 수 있다. 다양한 실시예에 따르면, 햅틱 모듈 180은 전자 펜 형태의 외부 전자 장치(예: 전자 장치 102) 내부에 삽입된 핀 방식의 액추에이터를 포함할 수 있다.
다양한 실시예에 따르면, 햅틱 모듈 180은 진동자, 핀어레이(pin-array), 공압장치(pneumatic device), 피부변형장치(shear display), 전극접촉장치(electrocutaneous display), 정전기력장치(electrostatic typed device), 온도디스플레이(thermal display), 전기기계식폴리머(electro mechanical polymer device), 정전기력 또는 전기활성고분자(Electro-active polymer, EAP), 피에조 장치(piezoelectric material), ERM(eccentric rotating mass actuator), LRA(linear resonant actuator) 장치, 형상기억합금 장치 중 적어도 하나를 포함할 수 있다. 이러한 햅틱 모듈 180은 접촉을 통한 햅틱 정보(또는 햅틱 피드백) 전달할 수도 있고, 혹은 비접촉(예: 지정된 범위 이내 근접한 상태) 상태에서도 햅틱 피드백을 전달할 수도 있다. 상술한 다양한 모듈 중 적어도 하나의 모듈을 기반으로 햅틱 모듈 180은 햅틱 지원 모듈 170 제어에 대응하여 다양한 햅틱 정보 또는 햅틱 피드백을 제공할 수 있다. 상기 햅틱 모듈 180은 예를 들어 진동, 냉온감, 공기분사나 흡입, 핀의 상하 운동이나 좌우 운동, 정전기력 등의 패턴, 방향성, 위치 및 범위, 강도, 주기, force feedback 중 적어도 하나의 햅틱 정보 또는 햅틱 피드백을 제공할 수 있다.
다양한 실시 예에 다르면, 햅틱 모듈 180은 전자 장치 전체 영역에 균일하게 배치될 수 있다. 또는 햅틱 모듈 180은 전자 장치 일부 영역에 비균일하게 배치될 수 있다. 또는 햅틱 모듈 180은 전자 장치 전체 영역에서 햅틱 피드백을 느낄 수 있도록 적어도 하나의 위치에 적어도 하나의 소자가 배치될 수 있다. 또는 햅틱 모듈 180은 전자 장치의 일부 영역에서만 햅틱 피드백을 느낄 수 있도록 특정 위치(적어도 하나의 위치)에 적어도 하나의 소자가 배치될 수 있다.
상기 햅틱 지원 모듈 170은, 다른 구성요소들(예: 상기 프로세서 120, 상기 메모리 130, 상기 입출력 인터페이스 140, 또는 상기 통신 인터페이스 160 등)로부터 획득된 정보 중 적어도 일부를 처리하고, 햅틱 모듈 180의 구동을 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 디스플레이 150에 출력된 또는 출력될 화면 정보를 분석하고, 분석된 화면 정보에 대응하는 햅틱 정보 할당을 수행할 수 있다. 햅틱 지원 모듈 170은 할당된 햅틱 정보를 햅틱 모듈 180에 전달하거나 또는 이벤트 발생에 대응하여 해당 햅틱 정보 또는 이벤트 발생에 따라 변형된 햅틱 정보를 햅틱 모듈 180에 전달할 수 있다.
다양한 실시예에 따르면 햅틱 지원 모듈 170은 입력된 콘텐츠(예: 문자, 필기정보, 제스처정보, 얼굴 이미지, 바코드 이미지, 2D 코드 이미지, 3D 코드 이미지, 음악파일, 비디오 파일, 사진 이미지 중 하나) 분석을 위해 문자인식, 필기인식, 이미지 인식기법 중 적어도 하나를 사용할 수 있고, 콘텐츠와 관련한 메타데이터(예: 음악콘텐츠의 ID3Tag, JPEG 파일의 EXIF, 비디오의 caption 정보, 음악의 가사 정보 중 하나 이상) 분석을 통해 콘텐츠 분석을 수행할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 입출력 인터페이스 140을 통해 입력되는 입력 정보를 분석하고, 분석된 입력 정보에 대응하는 햅틱 정보 할당을 수행할 수 있다. 햅틱 지원 모듈 170은 할당된 햅틱 정보를 입력 정보가 입력되는 시점에 또는 입력 물체가 인식되고 입력 물체에 의한 이벤트가 발생하는 시점에 햅틱 모듈 180에 전달할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 어플리케이션의 실행에 대응하여 발생한 실행 정보를 분석하고, 분석된 실행 정보에 대응하는 햅틱 정보 할당을 수행할 수 있다. 햅틱 지원 모듈 170은 실행 정보 분석에 대응하여 할당된 햅틱 정보를 햅틱 모듈 180에 전달할 수 있다. 또는 햅틱 지원 모듈 170은 실행 정보가 지정된 조건을 만족하는 경우 할당된 햅틱 정보를 햅틱 모듈 180에 전달할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 타 전자 장치(예: 전자 장치 102, 104 또는 서버 장치 106)로부터 실행 정보를 수신할 수 있다. 햅틱 지원 모듈 170은 수신된 실행 정보를 분석하고, 분석 결과에 대응하는 햅틱 정보 할당 및 전달을 수행할 수 있다.도 2는 다양한 실시예들에 따른 전자 장치의 햅틱 지원 모듈과 메모리, 버스를 도시한다.
도 2를 참조하면, 메모리 130은 화면 정보 데이터베이스 231, 입력 정보 데이터베이스 233, 실행 정보 데이터베이스 235, 오디오 정보 데이터베이스 237 또는 햅틱 정보 데이터베이스 239 중 적어도 하나를 포함할 수 있다.
화면 정보 데이터베이스 231은 전자 장치 100의 디스플레이 150에 출력될 또는 출력되는 화면에 포함된 적어도 하나의 오브젝트를 포함하는 화면 정보, 상기 화면 정보에 할당된 적어도 하나의 햅틱 정보를 포함할 수 있다. 화면 정보는 특정 어플리케이션과 관련하여 디스플레이 150에 포함되도록 지정된 적어도 하나의 오브젝트를 포함할 수 있다. 다양한 실시예에 따르면, 상기 오브젝트는 예컨대, 배경 오브젝트, 배경 오브젝트 상에 배치되는 사물 오브젝트, 또는 사람 오브젝트 등을 포함할 수 있다. 또는, 상기 오브젝트는 예컨대, 적어도 하나의 가상 키 버튼 또는 복수의 가상 키 버튼을 포함하는 가상 키 버튼 그룹을 포함할 수 있다. 또는, 화면 정보는 파노라마 오브젝트, 3D 오브젝트, 증강 현실 오브젝트 등을 포함할 수 있다. 또는, 오브젝트는 점, 선, 면 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 오브젝트는 폐곡선으로 형성된 면(2차원 면 또는 3차원 면)을 포함할 수 있다. 폐곡선은 경계 영역으로 이용될 수 있다. 경계 영역은 햅틱 정보가 다르게 할당되는 기준 정보로 이용될 수 있다.
다양한 실시예에 따르면, 화면 정보 데이터베이스 231은 예컨대, 점, 선, 또는 면 중 적어도 하나로 구성된 특정 오브젝트별로 할당된 동일한 또는 적어도 일부가 서로 다른 햅틱 정보를 포함할 수 있다. 화면 정보 데이터베이스 231은 선 또는 면 중 적어도 하나로 구성된 특정 오브젝트의 경계 영역에 할당된 햅틱 정보, 면으로 구성된 특정 오브젝트의 외부 및 내부에 할당된 서로 다른 또는 동일한 햅틱 정보를 포함할 수 있다. 화면 정보 데이터베이스 231은 면으로 구성된 특정 오브젝트의 외부 위치별 또는 내부 위치 위치별 할당된 동일한 또는 서로 다른 햅틱 정보를 포함할 수 있다.
입력 정보 데이터베이스 233은 입출력 인터페이스 140을 통해 입력되는 다양한 입력 신호들에 해당하는 기준 입력 정보를 포함할 수 있다. 예컨대, 입력 정보 데이터베이스는 입력 신호를 발생시키는 입력 물체의 종류(예: 손가락, 전자 펜, 일반 펜 등의 물체) 구분에 관한 기준 입력 정보, 입력 신호의 종류(예: 터치 다운 입력, 터치 드래그 입력, 터치 해제 입력, 또는 터치 홀딩 입력 등) 구분을 위한 기준 입력 정보, 입력 신호의 상태(예: 터치 위치, 속도, 강도, 면적, 유지 시간, 또는 시간 중 적어도 하나)를 통해 입력 형태를 구분하기 위한 기준 입력 정보 등을 포함할 수 있다.
입력 정보 데이터베이스 233은 상술한 적어도 하나의 기준 입력 정보들에 할당된 동일한 또는 서로 다른 햅틱 정보를 포함할 수 있다. 한 실시예에 따르면, 입력 정보 데이터베이스 233은 입력 물체의 종류별로 서로 다르게 매핑된 햅틱 정보를 포함할 수 있다. 또한 입력 정보 데이터베이스 233은 각 입력 물체의 종류에 따라 발생하는 입력 신호의 종류 또는 입력 신호의 상태 중 적어도 하나에 동일하게 또는 서로 다르게 매핑된 햅틱 정보를 포함할 수 있다.
실행 정보 데이터베이스 235는 어플리케이션 실행에 따라 수집된 실행 정보 또는 타 전자 장치(예: 전자 장치 102, 104, 서버 장치 106 등)가 전송한 실행 정보(예: 타 전자 장치에서 어플리케이션 실행에 따라 발생한 정보)를 포함할 수 있다. 실행 정보 데이터베이스 235는 실행 정보를 시간별, 어플리케이션별, 또는 전송 장치별로 구분된 실행 정보를 포함할 수 있다.
실행 정보 데이터베이스 235는 적어도 하나의 실행 정보들에 매핑된 적어도 하나의 햅틱 정보를 포함할 수 있다. 한 실시예에 따르면, 실행 정보 데이터베이스 235는 시간별, 어플리케이션별 또는 전송 장치별로 각기 다르게 할당된 햅틱 정보를 포함할 수 있다. 실행 정보 데이터베이스 235는 실행 정보별로 할당된 적어도 하나의 햅틱 정보를 포함할 수 있다. 실행 정보 데이터베이스 235는 실행 정보에 할당된 적어도 하나의 햅틱 정보가 출력되는 조건 정보를 포함할 수 있다. 조건 정보는 예컨대, 동일한 종류의 실행 정보가 수집된 횟수, 실행 정보의 크기, 또는 실행 정보가 수집된 시점 중 적어도 하나를 포함할 수 있다.
오디오 정보 데이터베이스 237은 화면 정보, 입력 정보, 실행 정보 또는 햅틱 정보 중 적어도 하나에 매핑된 오디오 정보를 포함할 수 있다. 예컨대, 오디오 정보 데이터베이스 237은 각기 다른 햅틱 정보별로 할당된 적어도 하나의 오디오 정보를 포함할 수 있다. 또는 오디오 정보 데이터베이스 237은 특정 화면 정보가 디스플레이 150에 출력된 상태에서 각기 다른 햅틱 정보별로 할당된 적어도 하나의 오디오 정보를 포함할 수 있다. 또는 오디오 정보 데이터베이스 237은 특정 실행 정보에 매핑된 햅틱 정보가 출력되는 경우 함께 출력되도록 설정된 적어도 하나의 오디오 정보를 포함할 수 있다.
햅틱 정보 데이터베이스 239는 햅틱 요소 239a 또는 햅틱 모델링 239b 중 적어도 하나를 포함할 수 있다. 햅틱 요소 239a는 햅틱 모듈 180을 기반으로 제공되는 적어도 하나의 촉감 또는 질감과 관련한 설정 정보를 포함할 수 있다. 예컨대, 햅틱 요소 239a는 촉감이나 질감 종류(예: 부드러움, 거침, 끈적임, 저항감, 마찰감, 피부 당김 또는 매끈함 중 적어도 하나 등)들의 단일 형태 또는 복합 형태 중 적어도 하나의 구현과 관련한 햅틱 모듈 제어 정보를 포함할 수 있다. 한 실시예에 따르면, 햅틱 모듈 180이 마찰력 햅틱 디스플레이를 포함하는 경우, 햅틱 요소 239a는 마찰력 햅틱 디스플레이를 통해 구현되는 마찰감, 저항감 또는 반발력 등의 크기별 또는 방향별 구현과 관련한 햅틱 모듈 180의 전원 제어와 관련한 햅틱 모듈 제어 정보를 포함할 수 있다.
햅틱 모델링 239b는 햅틱 모듈 제어 정보를 기반으로 모델링되는 촉감이나 질감 관련 햅틱 정보를 포함할 수 있다. 예컨대, 햅틱 모델링 239b는 강한 부드러움, 약한 부드러움 등을 정의하는 적어도 하나의 햅틱 모듈 제어와 관련한 햅틱 정보를 포함할 수 있다. 또는 햅틱 모델링 239b는 다양한 크기의 거칠기 정도를 햅틱 모듈 180을 통해 구현하는데 정의되는 햅틱 정보를 포함할 수 있다. 한 실시예에 따르면, 햅틱 모델링 239b는 특정 오브젝트의 경계 영역, 경계 영역의 외부 영역 또는 경계 영역의 내부 영역 중 적어도 하나에서 발생하도록 설정된 햅틱 피드백(또는 촉감이나 질감)을 햅틱 모듈 180을 통해 구현하는데 적용되는 햅틱 정보를 포함할 수 있다. 상기 햅틱 정보는 예를 들어, 오브젝트의 경계 영역에서 일정 크기의 거친 느낌을 가지도록 햅틱 모듈 180을 구동시키는 전원 제어 정보를 포함할 수 있다. 햅틱 정보는 오브젝트의 경계 영역 바깥 일정 위치에 터치 또는 호버링 발생 시 제공되도록 설정된 질감 표현과 관련한 햅틱 모듈 180의 전원 제어 정보를 포함할 수 있다. 햅틱 정보는 터치나 호버링 속도에 대응하여 제공되도록 설정된 특정 촉감의 크기와 위치 및 유지 시간에 관련한 햅틱 모듈 180의 전원 제어 정보를 포함할 수 있다.
햅틱 지원 모듈 170은 화면 정보 분석 모듈 171, 입력 정보 분석 모듈 173, 실행 정보 분석 모듈 175 또는 햅틱 정보 할당 모듈 177 중 적어도 하나를 포함할 수 있다.
화면 정보 분석 모듈 171은 디스플레이 150에 출력될 또는 출력된 화면을 분석하여, 화면 정보를 추출할 수 있다. 화면 정보 분석 모듈 171은 화면 정보 데이터베이스 231에 저장된 화면 정보별 햅틱 정보가 존재하는지 확인할 수 있다. 화면 정보 분석 모듈 171은 햅틱 정보가 존재하는 경우, 해당 햅틱 정보를 디스플레이 150에 출력 중인 화면 정보에 적용하도록 제어할 수 있다. 화면 정보 분석 모듈 171은 화면 정보에 포함된 적어도 하나의 오브젝트를 터치 또는 호버링하는 이벤트가 발생하면 할당된 햅틱 정보를 햅틱 모듈 180에 제공하여 햅틱 정보 출력을 제어할 수 있다. 이 동작에서 화면 정보 분석 모듈 171은 화면 정보에 포함된 오브젝트별 햅틱 정보를 각 오브젝트별로 할당하고, 특정 오브젝트를 선택하는 이벤트(예: 오브젝트 터치 이벤트 또는 오브젝트를 지시하는 호버링 이벤트 중 적어도 하나) 발생에 대응하여 해당 햅틱 정보를 출력하도록 제어할 수 있다.
화면 정보 분석 모듈 171은 추출된 화면 정보가 화면 정보 데이터베이스 231에 존재하지 않는 경우 해당 화면 정보를 햅틱 정보 할당 모듈 177에 제공할 수 있다. 한 실시예에 따르면, 화면 정보 분석 모듈 171은 특정 화면 정보에 포함된 적어도 하나의 오브젝트들을 추출하고, 추출된 오브젝트들을 햅틱 정보 할당 모듈 177에 전달할 수 있다. 이 동작에서 화면 정보 분석 모듈 171은 화면 관련 정보(예: 화면 관련 어플리케이션의 종류, 화면과 관련한 식별 정보, 화면에서의 오브젝트의 위치, 오브젝트의 형상 등의 정보)를 햅틱 정보 할당 모듈 177에 전달할 수 있다. 햅틱 정보 할당 모듈 177로부터 특정 오브젝트별 햅틱 정보를 수신하면 화면 정보 분석 모듈 171은 해당 햅틱 정보를 해당 화면 정보에 적용할 수 있다. 화면 정보 분석 모듈 171은 현재 디스플레이 150에서 발생하는 이벤트에 대응하여 할당된 햅틱 정보 출력을 제어할 수 있다. 다양한 실시예에 따르면, 화면 정보 분석 모듈 171은 새로 생성된 화면 정보 및 그에 매핑된 햅틱 정보를 포함하는 햅틱 갱신 정보를 메모리 130에 전달하여 화면 정보 데이터베이스 231 갱신을 제어할 수 있다.
입력 정보 분석 모듈 173은 입출력 인터페이스 140을 통해 입력 신호가 발생한 경우, 입력 물체의 종류를 분석할 수 있다. 이 동작에서 입력 정보 분석 모듈 173은 저장된 입력 물체별 신호 형태 정보를 기반으로, 발생한 입력 신호의 형태에 매핑된 입력 물체 종류를 확인할 수 있다. 예컨대, 입력 정보 분석 모듈 173은 발생한 입력 신호의 형태가 손가락에 의한 것인지, 전자 펜에 의한 것인지 또는 일반 펜에 의한 것인지 등을 저장된 입력 물체별 신호 형태 정보를 기반으로 분석할 수 있다. 입력 정보 분석 모듈 173은 입력 물체의 종류가 확인되면, 입력 물체에 매핑된 햅틱 정보가 존재하는지 입력 정보 데이터베이스 233을 확인할 수 있다. 입력 정보 분석 모듈 173은 입력 정보 데이터베이스 233에서 확인된 햅틱 정보를 기반으로 발생한 이벤트에 대응하는 햅틱 정보 출력을 제어할 수 있다.
실행 정보 분석 모듈 175는 특정 어플리케이션 실행에 대응하여 발생하는 실행 정보, 타 전자 장치(예: 전자 장치 102, 104, 서버 장치 106 등)가 전송할 실행 정보 중 적어도 하나를 수집할 수 있다. 실행 정보 분석 모듈 175는 수집된 실행 정보에 매핑된 햅틱 정보가 실행 정보 데이터베이스 235에 존재하는지 확인할 수 있다. 실행 정보 분석 모듈 175는 실행 정보에 매핑된 햅틱 정보가 존재하면, 해당 실행 정보 수집에 대응하여 햅틱 정보 출력을 제어할 수 있다. 다양한 실시예에 따르면, 실행 정보 분석 모듈 175는 실행 정보와 관련하여 지정된 조건을 확인하고, 실행 정보가 지정된 조건을 만족하는 경우 관련 햅틱 정보 출력을 제어할 수 있다.
햅틱 정보 할당 모듈 177은 화면 정보, 입력 정보, 또는 실행 정보 중 적어도 하나에 햅틱 정보를 제공할 수 있다. 예컨대, 햅틱 정보 할당 모듈 177은 화면 정보 분석 모듈 171은 특정 화면 정보에 포함된 적어도 하나의 오브젝트에 관한 정보를 수신하면, 해당 오브젝트에 할당된 햅틱 정보가 존재하는지 확인할 수 있다. 햅틱 정보 할당 모듈 177은 해당 햅틱 정보가 존재하면 이를 화면 정보 분석 모듈 171에 제공할 수 있다. 또한 햅틱 정보 할당 모듈 177은 입력 정보 분석 모듈 173이 제공하는 입력 신호 정보에 대응하는 햅틱 정보를 입력 정보 분석 모듈 173에 제공할 수 있다. 또한 햅틱 정보 할당 모듈 177은 실행 정보 분석 모듈 175가 제공하는 실행 정보에 매핑된 햅틱 정보를 실행 정보 분석 모듈 175에 제공할 수 있다.
다양한 실시예에 따르면, 햅틱 정보 할당 모듈 177은 화면 정보 분석 모듈 171로부터 수신된 화면 정보에 매핑된 햅틱 정보가 존재하지 않는 경우, 다양한 조건에 대응하여 해당 화면 정보에 햅틱 정보를 할당할 수 있다. 예컨대, 햅틱 정보 할당 모듈 177은 화면 정보에 포함된 적어도 하나의 오브젝트별로 제공할 햅틱 정보를 선택할 수 있는 화면을 제공할 수 있다. 햅틱 정보 할당 모듈 177은 사용자 선택에 대응하여 적어도 하나의 오브젝트에 햅틱 정보 매핑을 수행하고 그 결과를 화면 정보 데이터베이스 231에 저장하도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 정보 할당 모듈 177은 입력 정보 또는 실행 정보 중 적어도 하나에 대응하여 햅틱 정보 할당과 관련한 화면을 제공하고, 사용자 입력에 의해 선택된 햅틱 정보를 할당할 수 있다. 이와 관련하여, 햅틱 정보 할당 모듈 177은 화면 정보, 입력 정보, 실행 정보 중 적어도 하나에 관한 정보 출력 영역과, 적어도 하나의 햅틱 정보(예: 부드러움, 거침, 끈적임, 저항감, 마찰감, 피부 당김 또는 매끈함 등)를 선택할 수 있는 영역을 포함하는 선택 화면 출력을 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 정보 할당 모듈 177은 특정 오브젝트 분석에 대응하여 동일 또는 유사한 특정 햅틱 정보가 매핑된 오브젝트를 검출하고, 해당 오브젝트에 할당된 햅틱 정보를 특정 오브젝트에 자동 매핑하도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 정보 할당 모듈 177은 특정 입력 물체에 의한 입력 신호가 발생한 경우, 해당 입력 신호와 유사한 햅틱 정보가 매핑된 입력 물체를 검출하고, 해당 입력 물체에 할당된 햅틱 정보를 상기 특정 입력 물체에 매핑할 수 있다. 다양한 실시예에 따르면, 햅틱 정보 할당 모듈 177은 특정 실행 정보와 관련하여, 해당 실행 정보와 관련된 어플리케이션에 할당된 햅틱 정보를 상기 특정 실행 정보에 자동으로 매핑하도록 제어할 수 있다. 이 동작에서 햅틱 정보 할당 모듈 177은 화면 정보 데이터베이스 231, 입력 정보 데이터베이스 233, 실행 정보 데이터베이스 235 중 적어도 하나를 갱신할 수 있다.
햅틱 정보 할당 모듈 177은 사용자 제어에 대응하여 오디오 정보 데이터베이스 237 갱신을 제어할 수 있다. 이와 관련하여, 햅틱 정보 할당 모듈 177은 적어도 하나의 화면 정보, 입력 정보, 실행 정보 또는 햅틱 정보를 선택할 수 있는 영역과, 적어도 하나의 오디오 정보를 선택하는 있는 영역을 포함하는 화면을 제공할 수 있다. 햅틱 정보 할당 모듈 177은 사용자 선택에 따라 특정 햅틱 정보 또는 특정 화면 정보, 입력 정보 또는 실행 정보를 특정 오디오 정보에 매핑하도록 제어할 수 있다. 햅틱 정보 할당 모듈 177은 매핑된 오디오 정보를 오디오 정보 데이터베이스 237에 저장하도록 제어할 수 있다. 햅틱 정보 할당 모듈 177은 특정 햅틱 정보가 특정 화면 상에서 출력되거나 또는 특정 입력 정보와 관련하여 특정 햅틱 정보가 출력되거나 또는 실행 정보 발생에 대응하여 특정 햅틱 정보가 출력되는 경우, 매핑된 오디오 정보를 함께 출력하도록 제어할 수 있다.
도 3은 다양한 실시예들에 따른 전자 장치 300의 블록도를 도시한다.
상기 전자 장치 300은, 예를 들면, 도 1에 도시된 전자 장치 100의 전체 또는 일부를 구성할 수 있다. 도 3을 참조하면, 상기 전자 장치 300은 적어도 하나의 어플리케이션 프로세서(AP: application processor) 310(에: 프로세서 120 또는 햅틱 지원 모듈 170 등), 통신 모듈 320(예: 통신 모듈 160), SIM(subscriber identification module) 카드 324, 메모리 330(예: 메모리 130), 센서 모듈 340(예: 햅틱 모듈 180), 입력 장치 350(예: 입출력 인터페이스 140), 디스플레이 360(예: 디스플레이 150), 인터페이스 370, 오디오 모듈 380, 카메라 모듈 391, 전력관리 모듈 395, 배터리 396, 인디케이터 397 및 모터 398을 포함할 수 있다.
상기 AP 310은 운영체제 또는 응용 프로그램을 구동하여 상기 AP 310에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 310은, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 상기 AP 310은 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 통신 모듈 320(예: 상기 통신 인터페이스 160)은 상기 전자 장치 300(예: 상기 전자 장치 100)과 네트워크를 통해 연결된 다른 전자 장치들(예: 전자 장치 102, 104 또는 서버 장치 106) 간의 통신에서 데이터 송수신을 수행할 수 있다. 한 실시예에 따르면, 상기 통신 모듈 320은 셀룰러 모듈 321, Wifi 모듈 323, BT 모듈 325, GPS 모듈 327, NFC 모듈 328 및 RF(radio frequency) 모듈 329를 포함할 수 있다.
상기 셀룰러 모듈 321은 통신망(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 또한, 상기 셀룰러 모듈 321은, 예를 들면, 가입자 식별 모듈(예: SIM 카드 324)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈 321은 상기 AP 310이 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 상기 셀룰러 모듈 321은 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다.
한 실시예에 따르면, 상기 셀룰러 모듈 321은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 또한, 상기 셀룰러 모듈 321은, 예를 들면, SoC로 구현될 수 있다. 도 3에서는 상기 셀룰러 모듈 321(예: 커뮤니케이션 프로세서), 상기 메모리 330 또는 상기 전력관리 모듈 395 등의 구성요소들이 상기 AP 310과 별개의 구성요소로 도시되어 있으나, 한 실시예에 따르면, 상기 AP 310이 전술한 구성요소들의 적어도 일부(예: 셀룰러 모듈 321)를 포함하도록 구현될 수 있다.
한 실시예에 따르면, 상기 AP 310 또는 상기 셀룰러 모듈 321(예: 커뮤니케이션 프로세서)은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP 310 또는 상기 셀룰러 모듈 321은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 Wifi 모듈 323, 상기 BT 모듈 325, 상기 GPS 모듈 327 또는 상기 NFC 모듈 328 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 도 3에서는 셀룰러 모듈 321, Wifi 모듈 323, BT 모듈 325, GPS 모듈 327 또는 NFC 모듈 328이 각각 별개의 블록으로 도시되었으나, 한 실시예에 따르면, 셀룰러 모듈 321, Wifi 모듈 323, BT 모듈 325, GPS 모듈 327 또는 NFC 모듈 328 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈 321, Wifi 모듈 323, BT 모듈 325, GPS 모듈 327 또는 NFC 모듈 328 각각에 대응하는 프로세서들 중 적어도 일부(예: 셀룰러 모듈 321에 대응하는 커뮤니케이션 프로세서 및 Wifi 모듈 323에 대응하는 Wifi 프로세서)는 하나의 SoC로 구현될 수 있다.
상기 RF 모듈 329는 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기 RF 모듈 329는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈 329는 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다. 도 3에서는 셀룰러 모듈 321, Wifi 모듈 323, BT 모듈 325, GPS 모듈 327 및 NFC 모듈 328이 하나의 RF 모듈 329를 서로 공유하는 것으로 도시되어 있으나, 한 실시예에 따르면, 셀룰러 모듈 321, Wifi 모듈 323, BT 모듈 325, GPS 모듈 327 또는 NFC 모듈 328 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
상기 SIM 카드 324는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드 324는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리 330(예: 상기 메모리 130)은 내장 메모리 332 또는 외장 메모리 334를 포함할 수 있다. 상기 내장 메모리 332는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 내장 메모리 332는 Solid State Drive (SSD)일 수 있다. 상기 외장 메모리 334는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 상기 외장 메모리 334는 다양한 인터페이스를 통하여 상기 전자 장치 300과 기능적으로 연결될 수 있다. 한 실시예에 따르면, 상기 전자 장치 300은 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
상기 메모리 330은 화면 정보 데이터베이스 231, 입력 정보 데이터베이스 233, 실행 정보 데이터베이스 235, 오디오 정보 데이터베이스 237 또는 햅틱 정보 데이터베이스 239 중 적어도 하나를 저장할 수 있다. 또한 메모리 330은 적어도 하나의 어플리케이션을 저장할 수 있다.
상기 센서 모듈 340은 물리량을 계측하거나 전자 장치 300의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈 340은, 예를 들면, 제스처 센서 340A, 자이로 센서 340B, 기압 센서 340C, 마그네틱 센서 340D, 가속도 센서 340E, 그립 센서 340F, 근접 센서 340G, color 센서 340H(예: RGB(red, green, blue) 센서), 생체 센서 340I, 온/습도 센서 340J, 조도 센서 340K 또는 UV(ultra violet) 센서 340M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈 340은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infra red) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 상기 센서 모듈 340은 그 안에 속한 적어도 하나의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 다양한 실시예에 따르면, 센서 모듈 340은 햅틱 모듈 180을 포함할 수 있다.
상기 입력 장치 350은 터치 패널(touch panel) 352, (디지털) 펜 센서(pen sensor) 354, 키(key) 356 또는 초음파(ultrasonic) 입력 장치 358을 포함할 수 있다. 상기 터치 패널 352는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널 352는 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패널 352는 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널 352는 사용자에게 촉각 반응을 제공할 수 있다. 다양한 실시예에 따르면, 터치 패널 352는 햅틱 모듈 180으로 이용될 수 있다.
상기 (디지털) 펜 센서 354는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 시트(sheet)를 이용하여 구현될 수 있다. 상기 키 356은, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파(ultrasonic) 입력 장치 358은 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치 300에서 마이크(예: 마이크 388)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 상기 전자 장치 300은 상기 통신 모듈 320을 이용하여 이와 연결된 외부 장치(예: 컴퓨터 또는 서버 장치)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 360(예: 상기 디스플레이 150)은 패널 362, 홀로그램 장치 364 또는 프로젝터 366을 포함할 수 있다. 상기 패널 362는, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널 362는, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널 362는 상기 터치 패널 352와 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치 364는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터 366은 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치 300의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 상기 디스플레이 360은 상기 패널 362, 상기 홀로그램 장치 364, 또는 프로젝터 366을 제어하기 위한 제어 회로를 더 포함할 수 있다. 다양한 실시예에 따르면, 디스플레이 360은 햅틱 정보가 매핑된 적어도 하나의 오브젝트를 포함하는 화면 정보를 출력할 수 있다.
상기 인터페이스 370은, 예를 들면, HDMI(high-definition multimedia interface) 372, USB(universal serial bus) 374, 광 인터페이스(optical interface) 376 또는 D-sub(D-subminiature) 378을 포함할 수 있다. 상기 인터페이스 370은, 예를 들면, 도 1에 도시된 통신 인터페이스 160에 포함될 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스 370은, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈 380은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈 380의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 140에 포함될 수 있다. 상기 오디오 모듈 380은, 예를 들면, 스피커 382, 리시버 384, 이어폰 386 또는 마이크 388 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈 391은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 적어도 하나의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬 (flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
상기 전력 관리 모듈 395는 상기 전자 장치 300의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력 관리 모듈 395는, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리 396의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리 396은 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치 300에 전원을 공급할 수 있다. 상기 배터리 396은, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터 397은 상기 전자 장치 300 혹은 그 일부(예: 상기 AP 310)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터 398은 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 상기 전자 장치 300은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
다양한 실시 예에 따르면, 한 실시 예에 따른 전자 장치는 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석하고, 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 할당하는 햅틱 지원 모듈, 이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 햅틱 모듈을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트를 검출하고, 상기 오브젝트별로 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트의 경계 영역과, 상기 경계 영역 이외의 영역에 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트의 경계 영역에 제1 햅틱 정보를 설정하고, 상기 오브젝트의 내측에 제2 햅틱 정보를 설정 하고, 상기 오브젝트의 외측에 제3 햅틱 정보를 설정할 수 있다. 추가적으로 또는 대체적으로 상기 오브젝트의 외측에는 별도의 햅틱 정보를 할당하지 않도록 수행할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 디스플레이에 표시된 상기 오브젝트들 중 특정 오브젝트가 선택되면, 상기 디스플레이 표시된 오브젝트들에 할당된 햅틱 정보를 다른 종류의 햅틱 정보로 변경할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 화면에 출력된 또는 화면에 출력될 오브젝트의 형상, 오브젝트가 표시되는 이미지와 관련한 재질, 오브젝트와 관련한 설명 정보 중 적어도 하나에 대응하는 햅틱 정보를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 입력 물체의 종류, 상기 입력 물체에 의해 발생하는 입력 신호의 종류, 상기 입력 신호의 상태 중 적어도 하나에 따라 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 특정 기능 실행에 따라 수집된 실행 정보별로 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 헬스 케어 기능과 관련한 실행 정보를 수신하고, 수신된 실행 정보의 종류별로 서로 다른 햅틱 정보를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 이벤트 발생 시 전자 장치의 배치 상태를 확인하고, 상기 전자 장치의 배치 상태에 따라 상기 이벤트 발생과 관련한 터치 영역에서의 상기 햅틱 정보에 대응하는 햅틱 피드백 출력 지점을 다르게 설정할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 화면 정보 분석 결과에 따라 검출된 오브젝트 내에서의 이벤트 발생 위치, 이벤트 신호의 강도(예: 터치 압력 크기, 터치 감지와 관련한 또는 호버링 감지와 관련한 capacitance값 크기, 입력된 소리나 진동의 크기, 또는 이벤트 발생시 지정된 크기 이상의 신호가 감지되는 영역의 크기 중 적어도 하나), 이벤트 발생 지점과 오브젝트 간의 근접도(예: 오브젝트와 이벤트 발생지점간 거리 혹은 오브젝트 표면과 입력물체간 근접도 중 하나 이상), 또는 이벤트 유지시간 중 적어도 하나에 대응하여 서로 다른 햅틱 이벤트가 출력되도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 디스플레이 상에 표시되는 상기 오브젝트의 영역과 상기 오브젝트의 경계 영역에서 출력되는 햅틱 피드백을 서로 다르게 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트에 가해지는 신호 강도가 지정된 제1 크기(예: 감지 가능한 최대 신호 강도의 40% 이하이거나 지정된 제1 범위 내의 신호) 인 경우 지정된 햅틱 피드백 출력을 억제하도록 설정하거나, 상기 오브젝트에 가해지는 압력이 지정된 상기 제1 크기와 다른경우 지정된 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트에 가해지는 압력이 지정된 제2 크기(예: 감지 가능한 최대 신호 강도의 70% 이상이거나 지정된 제2 범위(예: 제1 범위와 다른 크기의 범위) 내의 신호) 인 경우 상기 오브젝트에 설정된 기능을 실행하도록 설정될 수 있다. 상기 제1 크기와 제2 크기 또는 제1 범위와 제2 범위는 신호를 감지하는 센서의 종류에 따라 다양한 종류와 최대 값을 가질 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 화면 정보 분석 결과에 따라 검출된 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 지정된 참조 햅틱 피드백을 출력하도록 설정된 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트가 배치된 영역을 지시하는 방향성 햅틱 피드백 또는 지정된 크기 이하의 햅틱 피드백 중 적어도 하나를 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 제1 이벤트의 이동 속도가 지정된 속도 이상인 경우 상기 제1 이벤트의 현재 위치와 상기 오브젝트와의 거리 또는 상기 이동 속도 중 적어도 하나에 대응하여 상기 오브젝트에 대응하는 햅틱 피드백을 출력 시점을 조절하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 햅틱 피드백 출력을 억제하도록 설정하고, 상기 오브젝트 상에서 제1 이벤트가 수신되면 상기 지정된 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트 상에서 상기 제1 이벤트 또는 상기 제1 이벤트와 다른 제2 이벤트가 수신되면, 상기 오브젝트에 대응하는 기능을 실행하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 전자 장치의 움직임 방향 또는 파지 위치 중 적어도 하나에 대응하여 디스플레이의 일정 위치에 적어도 하나의 오브젝트가 표시되면, 상기 오브젝트의 출력 위치에 대응하여 다른 햅틱 피드백이 출력되도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트 내에 포함된 복수의 영역들에 서로 다른 햅틱 피드백이 출력되도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트 이외의 영역에서 이벤트가 발생할 경우, 상기 이벤트 위치에서 상기 오브젝트가 위치한 방향을 지시하는 방향 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 햅틱 피드백에 대응하는 정보를 타 전자 장치에 전송하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 햅틱 피드백을 출력과 관련하여 디스플레이를 턴-오프 상태로 전환하거나 턴-오프 상태를 유지하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 전자 장치의 착용이 감지되면 착용 감지된 영역(예: 신체와 접촉된 전자 장치의 하우징 부분) 또는 상기 전자 장치 적어도 일부 영역(예: 전자 장치 전체)에서 지정된 햅틱 피드백을 출력하도록 설정되며, 지정된 위치(GPS 혹은 Wifi 신호에 기반하여 지정된 실내외의 위치영역 범위)에 전자 장치가 진입한 것을 감지하는 경우 지정된 햅틱 피드백이 전자 장치의 적어도 일부에서 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 전자 장치가 지정된 위치를 벗어나거나 상기 전자 장치 착용이 해제되면 상기 햅틱 피드백 출력을 종료하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 수집된 센서 신호를 기반으로 수집된 정보와 설정된 목표치의 비교에 따라 적어도 하나의 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 전자 장치의 디스플레이 영역 또는 베젤 영역 중 적어도 한 곳에서 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 목표치와의 비교에 따른 달성률의 크기에 대응하여 형태 또는 위치 중 적어도 하나가 다른 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 현재 수집된 센서 신호 또는 일정 기간 누적된 센서 신호에 대응하여 지정된 특정 형태의 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 센서 신호 기반으로 검출된 속도를 조정하도록 가이드하는 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 속도를 높이거나 또는 낮추도록 하는 안내에 대응하여 햅틱의 크기 또는 빈도수 중 적어도 하나가 조정된 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 실행 정보 분석 결과에 대응하여 획득된 시간 정보와 관련한 적어도 하나의 방향성을 가진 햅틱 피드백, 상기 실행 정보 분석 결과에 대응하여 획득된 숙면도 크기에 대응하는 햅틱 피드백, 상기 실행 정보 분석 결과에 대응하여 획득된 스트레스 지수 크기에 대응하는 햅틱 피드백 중 적어도 하나를 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 입력된 키워드 또는 상기 키워드 검색 결과에 해당하는 오브젝트에 지정된 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 키워드 입력 빈도에 대응하여 키워드별로 서로 다른 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트 선택하는 이벤트의 지속 시간, 압력 크기, 터치 면적, 또는 전하량 크기 중 적어도 하나에 대응하여 키워드와 관련한 기능 또는 상기 오브젝트와 관련한 기능을 실행하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 키워드 관련 문자 입력, 터치 스크린이나 터치 패드 상의 필기인식, 음성인식 중 적어도 하나의 동작에 대응하여 상기 키워드와 관련한 햅틱 피드백을 다르게 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 오브젝트가 복수개인 경우 키워드와 상기 오브젝트 간의 유사도 또는 신뢰도에 대응하여 서로 다른 햅틱 피드백을 상기 오브젝트에 할당하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 전체 화면 영역 중 현재 디스플레이 표시되지 않은 영역에 배치된 목표 오브젝트를 지시하는 방향성 햅틱 피드백을 할당하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 디스플레이에 표시된 적어도 하나의 오브젝트에 상기 방향성 햅틱 피드백을 할당하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 분석 결과에 대응하여 상기 목표 오브젝트 종류에 따라 서로 다른 햅틱 피드백을 할당하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 목표 오브젝트가 다른 오브젝트에 의해 가려진 경우, 상기 목표 오브젝트가 노출된 경우, 상기 목표 오브젝트의 크기, 상기 목표 오브젝트의 위치 중 적어도 하나에 대응하여 서로 다른 햅틱 피드백을 할당하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 이벤트 발생 위치와 상기 목표 오브젝트 간의 거리에 대응하여 서로 다른 햅틱 피드백을 출력하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 전체 화면 영역 중 검색과 관련한 목표 오브젝트가 포함된 화면 영역을 디폴트로 디스플레이에 표시하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 지원 모듈은 상기 디스플레이 표시된 화면 영역 변경과 관련한 이벤트 종류에 대응하여 서로 다른 햅틱 피드백을 출력하도록 설정될 수 있다.
도 4는 다양한 실시예에 따른 햅틱 정보 운용 방법을 도시한다.
도 4를 참조하면, 동작 401에서 햅틱 지원 모듈 170은 터치 기능 활성화 여부를 확인할 수 있다. 예컨대, 햅틱 지원 모듈 170은 특정 입력 이벤트가 발생하면, 해당 이벤트가 슬립 모드 해제와 관련한 입력 이벤트인지 여부, 특정 기능(예: 통화 기능, 스케줄 기능, 알람 기능 등) 실행과 관련한 입력 이벤트인지 여부 등의 확인을 수행할 수 있다. 동작 401에서 발생한 특정 이벤트가 터치 기능 활성화와 관련한 이벤트가 아닌 경우, 동작 403에서 햅틱 지원 모듈 170은 해당 이벤트에 대응하는 기능 수행을 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 입력 이벤트의 종류에 대응하여 음량 조절을 수행할 수 있다. 또는 햅틱 지원 모듈 170은 입력 이벤트의 종류에 대응하여 음성 검색 기능 수행을 제어할 수 있다. 또는 별도의 이벤트 발생이 없으면, 동작 403에서 예컨대, 햅틱 지원 모듈 170은 이전 상태(슬립 모드 상태 등)를 유지하도록 제어할 수 있다.
터치 기능 활성화와 관련한 이벤트가 발생하면, 동작 405에서 햅틱 지원 모듈 170은 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행할 수 있다. 예컨대, 햅틱 지원 모듈 170은 이벤트 발생에 대응하여 터치 패널을 활성화하도록 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 이벤트 발생과 관련하여 디스플레이 150에 출력되는 화면 정보를 수집할 수 있다. 햅틱 지원 모듈 170은 수집된 화면 정보 분석을 기반으로 햅틱 정보 매핑과 관련한 적어도 하나의 오브젝트를 추출할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 터치 기능 활성화와 관련한 이벤트에 대응하는 입력 정보를 수집할 수 있다. 햅틱 지원 모듈 170은 수집된 입력 정보 분석을 수행하여, 입력 물체의 종류(예: 손가락, 전자 펜, 일반 펜 등의 물체), 입력 신호의 종류(예: 터치 다운 입력, 터치 드래그 입력, 터치 해제 입력, 또는 터치 홀딩 입력 등), 입력 신호의 상태(예: 터치 위치, 터치 위치 변경에 따른 이동 속도, 터치 강도, 터치 면적, 터치 영역의 형태, 터치 영역 내 터치관련 신호의 분포(예: capacitance, resistance), 터치 유지 시간, 또는 시간에 따른 터치 입력신호의 변화 중 적어도 하나) 중 적어도 하나를 구분할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 이벤트 발생에 대응하여 실행된 기능의 실행 정보를 수집할 수 있다. 햅틱 지원 모듈 170은 실행 정보와 관련한 어플리케이션의 종류, 실행 정보 발생 시점 등의 분석을 수행할 수 있다.
동작 407에서, 햅틱 지원 모듈 170은 분석에 따른 햅틱 정보 할당(또는 설정)을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 화면 정보에 포함된 적어도 하나의 오브젝트에 매핑된 햅틱 정보를 확인할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 입력 물체의 종류별로 매핑된 햅틱 정보, 입력 신호의 종류별로 매핑된 햅틱 정보, 입력 신호 상태별로 매핑된 햅틱 정보를 확인할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 실행 정보의 종류별로 매핑된 햅틱 정보를 확인할 수 있다.
동작 409에서, 햅틱 지원 모듈 170은 이벤트 발생에 따른 햅틱 정보 출력을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 화면 정보에 포함된 특정 오브젝트를 선택하는 이벤트(예: 터치 이벤트 또는 호버링 이벤트 중 적어도 하나) 혹은 특정 오브젝트가 출력되는 영역을 포함하는 영역에서 이벤트가 발생하면, 해당 오브젝트에 매핑된 햅틱 정보를 기반으로 햅틱 모듈 180 구동을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 확인된 종류의 입력 물체에 의한 입력 이벤트가 발생하면, 해당 입력 물체에 매핑된 햅틱 정보를 기반으로 햅틱 모듈 180 구동을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 실행 정보에 매핑된 햅틱 정보를 기반으로 햅틱 모듈 180 구동을 제어할 수 있다.
동작 411에서 햅틱 지원 모듈 170은 기능 종료 관련 이벤트 발생(예: 애플리케이션의 종료, 터치 입력 신호 미감지, 저전력 모드 진입, 햅틱 피드백 비지원 모드 설정, 사용자의 생체신호 미감지, 지정된 특정 제스처 이벤트 수신, 지정된 특정 센서 신호(예: 근접 센서의 센서 신호 또는 조도 센서의 센서 신호 등)의 수신 중 적어도 하나를 포함하는 이벤트)이 있는지 확인할 수 있다. 햅틱 지원 모듈 170은 기능 종료 관련 이벤트 발생이 없으면 동작 405 이전으로 분기하여 이하 과정을 재수행할 수 있다. 햅틱 지원 모듈 170은 기능 종료 관련 이벤트가 발생하면 동작 403으로 분기하여 이벤트 발생에 따른 기능 수행 또는 스케줄 정보에 대응하는 기능 수행을 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 화면 정보, 입력 정보 또는 실행 정보 중 적어도 하나를 기반으로 하는 햅틱 모듈 180 구동을 종료할 수 있다. 햅틱 지원 모듈 170은 특정 이벤트(고정된 피드백을 출력하도록 요청하는 이벤트)가 발생하면 이에 대응하는 특정 햅틱 정보(수신된 정보의 종류에 관계없이 동일한 피드백을 제공하도록 설정된 정보)에 따른 햅틱 피드백을 출력하도록 제어할 수 있다. 또는 햅틱 지원 모듈 170은 특정 이벤트가 발생하면 화면 표시 변경 제어를 수행할 수 있다. 또는 햅틱 지원 모듈 170은 이벤트 발생에 대응하여 별도의 햅틱 모듈 180 구동을 중지하도록 제어할 수 있다.
도 5는 다양한 실시예에 따른 화면 정보 중 오브젝트 기반 햅틱 정보 운용 방법을 도시한다.
도 5를 참조하면, 동작 501에서 햅틱 지원 모듈 170은 화면 정보 분석을 수행할 수 있다. 예컨대, 햅틱 지원 모듈 170은 디스플레이 150에 출력 중인 화면에 포함된 적어도 하나의 오브젝트 또는 디스플레이 150에 출력될 화면에 포함된 적어도 하나의 오브젝트 추출을 수행할 수 있다.
동작 503에서 햅틱 지원 모듈 170은 예컨대 적어도 하나의 오브젝트 경계 영역 검출을 수행할 수 있다. 예컨대, 햅틱 지원 모듈 170은 일정 면이나 두께를 가지는 오브젝트의 가장자리 일정 영역 또는 오브젝트의 가장자리를 기준으로 일정 범위를 포함하는 경계 영역을 검출할 수 있다. 예컨대, 햅틱 지원 모듈 170은 소정의 두께나 면을 가지는 선(예: 직선, 곡선, 자유 곡선 등) 또는 선을 포함하는 일정 범위(예: 선을 기준으로 선에 인접된 일정 영역)를 경계 영역으로 검출할 수 있다. 햅틱 지원 모듈 170은 복수개의 영역을 구분하는 소정 두께나 면적을 가진 구획선(또는 구획선에 인접된 일정 영역)을 경계 영역으로 검출할 수 있다.
동작 505에서 햅틱 지원 모듈 170은 검출된 경계 영역을 기준으로 영역별 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈 170은 경계선 영역에 제1 햅틱 정보, 경계선 영역의 바깥쪽 영역에 제2 햅틱 정보(예: 제1 햅틱 정보에 의해 구현되는 촉감과 다르게 정의된 정보), 경계선 영역의 안쪽 영역에 제3 햅틱 정보(예: 제2 햅틱 정보에 의해 구현되는 촉감과 다르게 정의된 정보 또는 제1 햅틱 정보에 의해 구현되는 촉감과 다르게 정의된 정보 중 적어도 하나)를 할당할 수 있다. 또 다른 실시 예에서, 제1 햅틱 정보, 제2 햅틱 정보 또는 제3 햅틱 정보 중 적어도 하나를 서로 다른 형태의 촉감을 제공하는 햅틱 정보일 수 있다.
다양한 실시예에 따르면, 또는 햅틱 지원 모듈 170은 해당 경계 영역 기준으로 할당된 햅틱 정보를 화면 정보 데이터베이스 231에서 확인할 수 있다. 햅틱 지원 모듈 170은 화면 정보 데이터베이스 231로부터 경계선 영역에 할당된 제1 햅틱 정보, 경계 영역의 바깥쪽 영역에 할당된 제2 햅틱 정보, 경계 영역의 안쪽 영역에 할당된 제3햅틱 정보를 검출할 수 있다.
동작 507에서 햅틱 지원 모듈 170은 이벤트 발생이 있는지 확인할 수 있다. 예컨대, 햅틱 지원 모듈 170은 디스플레이 150에 출력된 적어도 하나의 오브젝트를 선택하는 또는 지시하는 이벤트(예: 터치 이벤트 또는 호버링 이벤트)가 발생하는지 확인할 수 있다.
이벤트 발생이 있으면, 동작 509에서 햅틱 지원 모듈 170은 이벤트 발생에 따른 해당 영역(예: 해당 오브젝트)에 매핑된 햅틱 정보 출력을 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 오브젝트의 경계 영역을 기준으로 구분된 햅틱 정보 출력을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 오브젝트의 경계 영역의 바깥에서 발생한 이벤트에 대응하여 제1 햅틱 정보 출력을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 오브젝트 경계 영역에서 발생한 이벤트에 대응하여 제2 햅틱 정보 출력을 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 오브젝트 경계 영역의 내측에서 발생한 이벤트에 대응하여 제3 햅틱 정보 출력을 제어할 수 있다. 또 다른 실시예에 따르면, 이벤트가 발생한 영역이 하나 이상일 수 있다. 예를 들어 손가락에 의해 터치 이벤트가 발생한 경우, 손가락이 접촉한 영역(예: 터치 신호가 발생하는 영역)은 오브젝트 경계 영역, 경계 영역의 바깥 영역, 또는 경계 영역 안쪽 영역 중 적어도 하나가 포함될 수 있다. 복수의 영역에서 이벤트가 발생한 경우, 햅틱 지원 모듈 170은 복수의 영역들의 중심점에서 이벤트가 발생한 것으로 판단할 수 있다. 다양한 실시 예에 따르면, 햅틱 지원 모듈 170은 복수의 영역들에 가중치를 부여할 수 있다. 햅틱 지원 모듈 170은 복수의 영역들 중에 가중치가 높은 영역에서 이벤트가 발생한 것으로 판단할 수 있다. 예를 들면, 햅틱 지원 모듈 170은 이벤트가 발생한 복수의 영역들에 경계선 영역이 일부 포함될 경우, 경계영역이 선택된 것으로 판별할 수도 있다. 또는 햅틱 지원 모듈 170은 복수의 영역들에 할당된 가중치를 고려하여 이벤트가 발생한 지점을 판별할 수 있다. 예를 들어, 햅틱 지원 모듈 170은 경계 영역과, 경계 영역 내측 영역을 포함하는 복수의 영역들에서 이벤트가 발생하는 경우, 경계 영역의 가중치(예: 이벤트가 발생한 지점과 경계영역 간의 거리, 또는 이벤트(예: 터치) 면적 중 경계 영역에서 발생한 면적과 경계 영역 이외의 영역에서 발생한 면적 간의 차이)를 고려하여, 이벤트가 발생한 위치가 어떤 것인지 판단할 수 있다. 다양한 실시 예에 따르면, 하나의 실시예에 따르면, 햅틱 지원 모듈 170은 이벤트가 발생한 영역 중 소정의 기준(예: 손가락 터치 시 손가락이 터치된 영역 중 일부 지점이나 일부 영역, 손가락 터치된 영역의 중심점이나 중심점 기준의 일부 영역, 손가락 터치된 영역의 가장자리 일부 지점이나 일부 영역, 혹은 손가락 터치 후 드래그되는 방향쪽의 가장자리 일부 지점이나 일부 영역)에 따라 소정의 지점이나 포인트를 해당 이벤트가 발생한 곳으로 판단할 수도 있다.
이벤트 발생이 없으면, 햅틱 지원 모듈 170은 동작 509를 스킵할 수 있다.
동작 511에서 햅틱 지원 모듈 170은 기능 종료 관련 이벤트 발생이 있는지 확인할 수 있다. 햅틱 지원 모듈 170은 기능 종료 관련 이벤트 발생이 없으면, 동작 501 이전으로 분기하여 이하 과정을 재수행할 수 있다. 기능 종료 관련 이벤트가 발생하면, 햅틱 지원 모듈 170은 화면 정보 분석에 따른 햅틱 정보 출력 기능을 종료할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 어플리케이션 실행에 따른 화면 출력을 제어하거나, 슬립 모드 상태(예: 디스플레이 150이 턴-오프되는 상태)로 천이되도록 제어할 수 있다.
도 6은 다양한 실시예에 따른 입력 물체 종류를 기반으로 하는 햅틱 정보 운용 방법을 도시한다.
도 6을 참조하면, 동작 601에서 햅틱 지원 모듈 170은 입력 정보 분석을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 입력 물체의 종류를 분석할 수 있다. 예컨대, 햅틱 지원 모듈 170은 터치 기능을 지원하는 디스플레이 150에서 입력 물체에 의해 발생한 터치 이벤트를 수집할 수 있다. 햅틱 지원 모듈 170은 발생한 터치 이벤트에 의한 터치 이벤트가 발생한 영역의 크기를 기준으로 입력 물체의 종류를 판단할 수 있다. 햅틱 지원 모듈 170은 터치 이벤트가 발생한 영역의 크기가 지정된 크기 이하인 경우 입력 물체를 펜으로 판단할 수 있다. 햅틱 지원 모듈 170은 터치 이벤트가 발생한 영역의 크기가 지정된 크기 이상인 경우 입력 물체를 손가락으로 판단할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 전자 펜 인식과 관련한 장치(예: 전자 펜 탈착을 인식할 수 있는 스위치 장치, 전자 펜 인식과 관련한 통신 장치 등)를 기반으로 전자 펜 또는 손가락 구분을 수행할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 전자 펜에 배치된 다양한 전자 소자를 이용하여 전자 펜의 종류를 구분할 수도 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 터치에 의해 발생한 오디오 신호나 진동 신호의 특성을 기반으로 입력 물체의 종류를 구분할 수 있다. 예컨대, 햅틱 지원 모듈 170은 입력 물체(예: 손톱, 손가락 관절, 손가락 끝, 손바닥)에 의해 터치가 발생하면, 마이크나 모션센서(예: 자이로센서, 가속도센서)를 통해 감지한 충격음이나 진동을 인식하여 입력 물체를 판별할 수 있다. 한 실시 예에 따르면, 햅틱 지원 모듈 170은 입력 물체의 종류에 따라 다르게 발생하는 충격음이나 진동 신호의 특정 패턴이나 특징(예: 주파수, tone을 분석하여 어떠한 입력 물체에 의해 신호가 발생하였는지 판별할 수 있다. 예컨대, 햅틱 지원 모듈 170은 손톱 터치 또는 손가락 패드 터치 중 적어도 하나에 의해 발생하는 충격음이나 진동을 구분할 수 있다. 또한, 햅틱 지원 모듈 170은 펜의 펜 팁(pen tip) 또는 펜 뒷부분에 의한 터치의 충격음이나 진동을 구분할 수 있다. 햅틱 지원 모듈 170은 상술한 충격음이나 진동 신호 중 적어도 하나를 구분하여 입력 물체를 구분하고, 그에 따른 적어도 하나의 입력 정보 할당 및 출력을 설정할 수 있다. 하나의 실시 예에 따르면, 손가락 끝과 펜 뒷부분에 의한 터치는 입력시 모양과 크기는 비슷할 수 있으나 충격음이나 진동에 의해 구분이 될 수 있다. 예컨대, 햅틱 지원 모듈 170은 이벤트 신호가 발생하는 면적의 모양과 형태 중 적어도 하나를 기반으로 터치스크린을 터치하는 정전식 스타일러스 펜 또는 손가락 패드를 구분할 수 있다.
다양한 실시예에 따르면 햅틱 지원 모듈 170은 상기 충격음, 혹은 상기 진동과 함께, 발생 면적, 발생 면의 형태 중 적어도 하나를 기반으로 입력 물체의 종류를 판별할 수 있다. 예컨대 입력물체의 재질이 유사한 경우 충격음이나 진동은 유사할 수 있으나, 해당 입력물체의 모양이 상이하다면, 햅틱 지원 모듈 170은 이벤트 발생 면적이나 형태를 기반으로 입력 물체를 구분할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 입력 신호의 상태를 기반으로 입력 수단에 의해 발생한 입력 이벤트의 종류를 구분할 수 있다. 예컨대, 햅틱 지원 모듈 170은 터치 다운 이벤트, 터치 홀드 이벤트, 터치 드래그 이벤트, 터치 해제 이벤트, 호버링 이벤트(예: 비접촉 상태에서 발생하는 capacitance 변화에 따라 감지되는 이벤트, 혹은 터치 이벤트와 구분하기 위하여 정의한 신호 세기와 다른(지정된 신호 세기 이하 또는 이상) 크기의 capacitance 변화나 전압값 변화를 감지하는 이벤트)를 구분할 수 있다. 햅틱 지원 모듈 170은 터치 홀드 이벤트의 경우 홀딩된 시간에 따라 서로 다른 이벤트로 구분할 수도 있다. 햅틱 지원 모듈 170은 터치 드래그 이벤트의 경우 드래그 속도 또는 거리 중 적어도 하나를 기반으로 터치 드래그 이벤트를 다양한 이벤트 종류로 구분할 수 있다.
동작 603에서 햅틱 지원 모듈 170은 예컨대 입력 수단 또는 입력 상태 중 적어도 하나에 따른 햅틱 정보 할당을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 전자 펜에 의해 발생한 입력 신호에 대응하여 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 펜의 종류에 대응하여 각기 다른 햅틱 정보 할당(예: 제1 특성의 전자 펜에 제1 햅틱 정보 할당, 제2 특성의 전자 펜에 제2 햅틱 정보 할당 등)을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 손가락에 의해 발생한 입력 신호에 대응하여 제3 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 손가락의 종류에 따라 다양한 햅틱 정보 할당(예: 엄지손가락에 제3 햅틱 정보 할당, 검지에 제4 햅틱 정보(예: 3 햅틱 정보에 의해 구현되는 촉감과 다른 촉감을 정의한 정보) 할당)을 수행할 수 있다. 이 동작에서 엄지와 검지의 구분은 터치된 영역의 크기를 기반으로 구분될 수 있다.
동작 605서 햅틱 지원 모듈 170은 이벤트 발생이 있는지 확인할 수 있다. 이벤트 발생이 있으면, 동작 607에서 이벤트 발생에 따라 햅틱 지원 모듈 170은 할당된 햅틱 정보 출력을 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 전자 펜 입력에 해당하는 이벤트 발생 시 그에 대응하는 제1 햅틱 정보 출력을 제어할 수 있다. 햅틱 지원 모듈 170은 손가락 입력에 대응하는 이벤트 발생 시 그에 대응하는 제3 햅틱 정보 출력을 제어할 수 있다.
이벤트 발생이 없으면, 햅틱 지원 모듈 170은 동작 607을 스킵할 수 있다.
동작 609에서 햅틱 지원 모듈 170은 기능 종료 관련 이벤트 발생이 있는지 확인할 수 있다. 햅틱 지원 모듈 170은 기능 종료 관련 이벤트 발생이 없으면, 동작 601 이전으로 분기하여 이하 과정을 재수행할 수 있다. 기능 종료 관련 이벤트가 발생하면, 햅틱 지원 모듈 170은 입력 정보 분석에 따른 햅틱 정보 출력 기능을 종료할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 어플리케이션 실행에 따른 화면 출력을 제어하거나, 슬립 모드 상태(예: 디스플레이 150이 턴-오프되는 상태)로 천이되도록 제어할 수 있다.
다양한 실시예에 따르면, 입력 신호의 종류에는 터치 입력, 호버링 감지, 근접 감지, 제스처 입력, 힘 입력, 진동 입력, 오디오 입력 중 적어도 하나를 포함할 수 있다. 입력 신호의 상태는 입력 신호의 종류에 따라 입력된 신호의 특성을 의미할 수 있다. 예컨대, 입력 신호 상태는 신호의 위치, 신호의 패턴, 신호 주파수, 신호의 지속 시간, 신호의 강도(amplitude), 신호의 크기, 신호의 분포 형태, 신호가 입력된 면적의 크기, 신호가 입력된 면적의 모양, 상기 면적에 해당하는 세부 신호 집합들의 분포, 상기 신호 또는 상기 세부 신호들의 시간에 따른 변화 중 적어도 하나를 포함할 수 있다. 입력 물체의 종류는 스타일러스 펜, 손가락과 같은 입력 수단 이외에도, 손톱, 손가락 관절, 고무, 나무 등과 같은 입력 물체를 포함할 수 있다. 입력 장치의 종류는 정전압방식, 저항막방식, 광학식, 전자기 유도방식, 초음파 감지, 진동 감지, 오디오(음파) 감지 중 적어도 하나를 적용한 입력 장치를 포함할 수 있으며, 키보드, 마우스, 3D 마우스, 조이스틱, 데이터글러브, HMD, HUD, 스마트 시계 등을 포함할 수 있다.
도 7은 다양한 실시예에 따른 실행 정보 조건 기반 햅틱 정보 운용 방법을 도시한다.
도 7을 참조하면, 동작 701에서 햅틱 지원 모듈 170은 실행 정보 분석을 수행할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 특정 어플리케이션이 실행되어 특정 기능이 실행되면, 해당 기능 실행에 대응하여 발생한 실행 정보를 수집할 수 있다. 햅틱 지원 모듈 170은 수집된 실행 정보의 종류를 확인하고, 확인된 실행 정보가 특정 햅틱 정보를 출력하도록 지정된 정보인지 확인할 수 있다. 햅틱 지원 모듈 170은 이와 관련하여 실행 정보 데이터베이스 235를 확인하고, 실행 정보에 매핑된 햅틱 정보가 존재하는지 확인할 수 있다.
동작 703에서 햅틱 지원 모듈 170은 예컨대 실행 정보별 햅틱 정보 할당을 수행할 수 있다. 햅틱 지원 모듈 170은 수집된 실행 정보가 실행 정보 데이터베이스 235에 존재하면, 매핑된 햅틱 정보를 확인할 수 있다.
동작 705에서 햅틱 지원 모듈 170은 이벤트 발생이 있는지 확인할 수 있다. 예컨대, 햅틱 지원 모듈 170은 실행 정보가 지정된 조건을 만족하는 이벤트가 발생하는지 확인할 수 있다. 이벤트 발생이 있으면, 동작 707에서 이벤트 발생에 따라 햅틱 지원 모듈 170은 할당된 햅틱 정보 출력을 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 실행 정보의 조건 만족에 대응하여 해당 실행 정보에 매핑된 햅틱 정보를 기반으로 햅틱 모듈 180 구동을 제어할 수 있다. 한 실시예에 따르면, 전자 장치 100은 헬스 케어 기능을 실행할 수 있다. 햅틱 지원 모듈 170은 헬스 케어 기능 실행에 따라 심박 정보를 실행 정보로서 수집할 수 있다. 햅틱 지원 모듈 170은 수집된 심박 정보가 지정된 값 이상이 되거나 또는 지정된 값 이하가 되는 이벤트가 발생하는 경우 실행 정보에 할당된 햅틱 정보 출력을 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 만보기 기능 실행에 대응하여 운동 횟수 값을 실행 정보로서 수집할 수 있다. 햅틱 지원 모듈 170은 운동 횟수 값이 지정된 값 이상이 되는 이벤트가 발생하는 경우 할당된 햅틱 정보 출력을 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 특정 화면 정보 상에서 사용자가 검색하고자 하는 일정 영역을 안내하는 방향성 햅틱 정보를 출력할 수 있다. 햅틱 지원 모듈 170은 검색 영역 상에서 특정 이벤트가 발생하면, 지정된 햅틱 정보 출력을 제어할 수 있다.
이벤트 발생이 없으면, 햅틱 지원 모듈 170은 동작 707을 스킵할 수 있다.
동작 707에서 햅틱 지원 모듈 170은 기능 종료 관련 이벤트 발생이 있는지 확인할 수 있다. 햅틱 지원 모듈 170은 기능 종료 관련 이벤트 발생이 없으면, 동작 701 이전으로 분기하여 이하 과정을 재수행할 수 있다. 기능 종료 관련 이벤트가 발생하면, 햅틱 지원 모듈 170은 입력 정보 분석에 따른 햅틱 정보 출력 기능을 종료할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 어플리케이션 실행에 따른 화면 출력을 제어하거나, 슬립 모드 상태(예: 디스플레이 150이 턴-오프되는 상태 혹은 센서들의 동작여부를 판단하여 관리하는 센서허브(또는 저전력 프로세싱 모듈)만 동작하는 상태 또는 저전력모드 상태)로 천이되도록 제어할 수 있다.
다양한 실시 예에 따르면, 한 실시 예에 따른 햅틱 정보 운용 방법은 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석 동작, 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 할당하는 동작, 이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작을 설정할 수 있다.
다양한 실시 예에 따르면, 상기 화면 정보 분석 동작은 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트를 검출하는 동작, 상기 오브젝트별로 서로 다른 햅틱 정보를 할당하는 동작을 설정할 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 오브젝트의 경계 영역을 검출하는 동작, 상기 경계 영역과, 상기 경계 영역 이외의 영역에 서로 다른 햅틱 정보를 할당하는 동작을 설정할 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 오브젝트의 경계 영역에 제1 햅틱 정보를 할당하는 동작, 상기 오브젝트의 내측에 제2 햅틱 정보를 할당하는 동작, 상기 오브젝트의 외측에 제3 햅틱 정보를 할당하거나 또는 햅틱 정보를 미할당하는 동작을 설정할 수 있다.
다양한 실시 예에 따르면, 상기 방법은 상기 오브젝트들 중 특정 오브젝트 선택에 대응하여 다른 오브젝트들에 할당된 햅틱 정보를 변경하는 동작을 설정할 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트 형상에 대응하는 햅틱 정보를 할당하는 동작, 상기 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트의 내용을 분석하여 상기 오브젝트의 재질에 따른 햅틱 정보를 할당하는 동작, 상기 오브젝트와 관련한 설명 정보에 대응하는 햅틱 정보를 할당하는 동작 중 적어도 하나를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 입력 정보 분석 동작은 입력 물체의 종류를 분석하는 동작, 상기 입력 물체에 의해 발생하는 입력 신호의 종류를 분석하는 동작, 상기 입력 신호의 상태를 분석하는 동작 중 적어도 하나를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 입력 물체별로 서로 다른 햅틱 정보를 할당하는 동작, 상기 입력 신호의 종류에 따라 서로 다른 햅틱 정보를 할당하는 동작, 상기 입력 신호의 상태에 따라 서로 다른 햅틱 정보를 할당하는 동작 중 적어도 하나를 설정할 수 있다.
다양한 실시 예에 따르면, 상기 실행 정보 분석 동작은 특정 기능 실행에 따라 수집된 실행 정보를 확인하는 동작, 상기 실행 정보별로 서로 다른 햅틱 정보를 할당하는 동작을 설정할 수 있다.
다양한 실시 예에 따르면, 상기 방법은 상기 이벤트 발생 시 전자 장치의 배치 상태(예: 3차원 공간상의 전자 장치의 포즈 상태 혹은 모션 변화 상태, 지면(또는 수평선)을 기준으로 전자 장치의 기울어진 각도, 지면에 수직한 축을 기준으로 전자 장치의 기울어진 각도 또는 회전된 각도 등)를 확인하는 동작, 상기 전자 장치의 배치 상태에 따라 상기 이벤트 발생과 관련한 터치 영역에서의 상기 햅틱 피드백 출력 지점을 다르게 설정하는 동작을 설정할 수 있다.다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 화면 정보 분석 결과에 따라 검출된 오브젝트 내에서의 이벤트 발생 위치, 이벤트 신호 강도(예: 감지된 압력크기, 전압값 크기, 터치 또는 호버링에의한 capcacitance값 크기, 입력 영역 크기(예: 터치 면적) 중 적어도 하나), 이벤트 발생 지점과 오브젝트 간의 근접도(예: 오브젝트와 이벤트 발생 지점간 거리 혹은 오브젝트 표면과 입력물체간 근접도 중 적어도 하나) 중 적어도 하나에 대응하여 서로 다른 햅틱 이벤트가 출력되는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 오브젝트의 중심부와 상기 오브젝트의 경계 영역에서 출력되는 햅틱 피드백을 서로 다르게 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 오브젝트에 가해지는 압력이 지정된 값과 다른 경우(예: 미만인 경우) 햅틱 피드백 출력을 억제하는 동작, 상기 오브젝트에 가해지는 신호 강도가 지정된 값과 다른 경우(예: 이상인 경우) 지정된 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 오브젝트에 가해지는 신호 강도가 지정된 값과 다른 경우(예: 이상인 경우) 상기 오브젝트에 설정된 기능을 실행하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 화면 정보 분석 결과에 따라 검출된 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 지정된 참조 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 참조 햅틱 피드백을 출력하는 동작은 상기 오브젝트가 배치된 영역을 지시하는 방향성 햅틱 피드백을 출력하는 동작, 지정된 크기 이하의 햅틱 피드백을 출력하는 동작 중 적어도 하나가 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 제1 이벤트의 이동 속도가 지정된 속도 이상인 경우 상기 제1 이벤트의 현재 위치와 상기 오브젝트와의 거리 및 상기 이동 속도에 대응하여 상기 오브젝트에 대응하는 햅틱 피드백을 출력 시점을 조절하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 햅틱 피드백 출력을 억제하는 동작, 상기 오브젝트 상에서 제1 이벤트가 수신되면 상기 지정된 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 방법은 상기 오브젝트 상에서 상기 제1 이벤트 또는 상기 제1 이벤트와 다른 제2 이벤트가 수신되면, 상기 오브젝트에 대응하는 기능을 실행하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 전자 장치의 움직임 방향 또는 파지 위치 중 적어도 하나에 대응하여 디스플레이의 일정 위치에 적어도 하나의 오브젝트가 표시되면, 상기 오브젝트의 출력 위치에 대응하여 다른 햅틱 피드백이 출력되도록 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 오브젝트 내에 포함된 복수의 영역들에 서로 다른 햅틱 피드백이 출력되도록 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 오브젝트 이외의 영역에서 이벤트가 발생할 경우, 상기 이벤트 위치에서 상기 오브젝트가 위치한 방향을 지시하는 방향 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 햅틱 피드백에 대응하는 정보를 타 전자 장치에 전송하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 방법은 상기 햅틱 피드백을 출력과 관련하여 디스플레이를 턴-오프 상태로 전환하거나 턴-오프 상태를 유지하는 동작이 설정될 수 있다. 다양한 실시 예에 따르면, 상기 출력하는 동작은 전자 장치의 착용이 감지되면 착용 감지된 영역(예: 신체와 접촉된 전자 장치의 하우징 부분, 햅틱 모듈이 배치된 영역 중 일부 영역, 햅틱 모듈에 의해)에 지정된 햅틱 피드백을 출력하는 동작, 지정된 위치(GPS 혹은 Wifi 신호에 기반하여 지정된 실내외의 일정 위치 또는 일정 위치영역 범위)에 전자 장치가 진입하는 경우 지정된 햅틱 피드백을 출력하는 동작, 전자 장치의 착용이 감지되면 착용된 전자 장치 전체(예: 전자 장치에 배치된 햅틱 모듈 전체 또는 전자 장치 전체에서 햅틱 피드백을 느낄 수 있도록 설정된 적어도 일부 햅틱 모듈)에 지정된 햅틱 피드백이 전달되도록 출력하는 동작 중 적어도 하나가 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 전자 장치가 지정된 위치를 벗어나거나 상기 전자 장치 착용이 해제되면 상기 햅틱 피드백 출력을 종료하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 수집된 센서 신호를 기반으로 수집된 정보와 설정된 목표치의 비교에 따라 적어도 하나의 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 전자 장치의 디스플레이 영역 또는 베젤 영역 중 적어도 한 곳에서 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 목표치와의 비교에 따른 달성률의 크기에 대응하여 서로 다른 형태의 햅틱 피드백을 출력하는 동작, 상기 목표치와의 비교에 따른 달성률의 크기에 대응하여 햅틱 피드백의 출력 위치를 다르게 하는 동작 중 적어도 하나가 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 현재 수집된 센서 신호 또는 일정 기간 누적된 센서 신호에 대응하여 지정된 특정 형태의 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 센서 신호 기반으로 검출된 속도를 조정하도록 가이드하는 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 속도를 높이도록 햅틱의 크기 또는 빈도수 중 적어도 하나가 조정된 햅틱 피드백을 출력하는 동작, 상기 속도를 낮추도록 햅틱의 크기 또는 빈도수 중 적어도 하나가 조정된 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 실행 정보 분석 결과에 대응하여 획득된 시간 정보와 관련한 적어도 하나의 방향성을 가진 햅틱 피드백을 출력하는 동작, 상기 실행 정보 분석 결과에 대응하여 획득된 숙면도 크기에 대응하는 햅틱 피드백을 출력하는 동작, 상기 실행 정보 분석 결과에 대응하여 획득된 스트레스 지수 크기에 대응하는 햅틱 피드백을 출력하는 동작 중 적어도 하나가 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 입력된 키워드 또는 상기 키워드 검색 결과에 해당하는 오브젝트에 지정된 햅틱 피드백을 출력하도록 설정된 정보를 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 키워드 입력 빈도에 대응하여 키워드별로 서로 다른 햅틱 피드백을 출력하도록 설정된 정보를 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 오브젝트 선택하는 이벤트의 지속 시간, 압력 크기, 터치 면적, 또는 전하량 크기 중 적어도 하나에 대응하여 키워드와 관련한 기능 또는 상기 오브젝트와 관련한 기능을 실행하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 키워드 관련 문자 입력, 터치 스크린이나 터치 패드 상의 필기인식, 음성인식 중 적어도 하나의 동작에 대응하여 상기 키워드와 관련한 햅틱 피드백을 다르게 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 오브젝트가 복수개인 경우 키워드와 상기 오브젝트 간의 유사도 또는 신뢰도에 대응하여 서로 다른 햅틱 피드백을 상기 오브젝트에 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 전체 화면 영역 중 현재 디스플레이 표시되지 않은 영역에 배치된 목표 오브젝트를 지시하는 방향성 햅틱 피드백을 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 디스플레이에 표시된 적어도 하나의 오브젝트에 상기 방향성 햅틱 피드백을 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 분석 결과에 대응하여 상기 목표 오브젝트 종류에 따라 서로 다른 햅틱 피드백을 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 할당하는 동작은 상기 목표 오브젝트가 다른 오브젝트에 의해 가려진 경우, 상기 목표 오브젝트가 노출된 경우, 상기 목표 오브젝트의 크기, 상기 목표 오브젝트의 위치 중 적어도 하나에 대응하여 서로 다른 햅틱 피드백을 할당하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 이벤트 발생 위치와 상기 목표 오브젝트 간의 거리에 대응하여 서로 다른 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 방법은 전체 화면 영역 중 검색과 관련한 목표 오브젝트가 포함된 화면 영역을 디폴트로 디스플레이에 표시하는 동작이 설정될 수 있다.
다양한 실시 예에 따르면, 상기 출력하는 동작은 상기 디스플레이 표시된 화면 영역 변경과 관련한 이벤트 종류에 대응하여 서로 다른 햅틱 피드백을 출력하는 동작이 설정될 수 있다.
도 8a는 다양한 실시예에 따른 오브젝트별 햅틱 정보 운용을 설명하는 화면 예시도이다. 도 8a에 나타낸 햅틱 정보 운용은 화면 정보 분석 기반의 햅틱 정보 운용이 될 수 있다.
도 8a를 참조하면, 한 실시예에 따른 디스플레이 150은 상태 810에서와 같이 가상 입력 오브젝트 811을 출력할 수 있다. 가상 입력 오브젝트 811은 문자 입력과 관련한 적어도 하나의 오브젝트들을 포함할 수 있다. 예컨대, 가상 입력 오브젝트 811은 적어도 하나의 가상 숫자 키 관련 오브젝트, 적어도 하나의 가상 문자 키 관련 오브젝트, 적어도 하나의 가상 기능 키 관련 오브젝트를 포함할 수 있다. 햅틱 지원 모듈 170은 가상 입력 오브젝트 811에 포함된 적어도 하나의 오브젝트들에 제1 햅틱 정보를 할당할 수 있다. 예컨대, 햅틱 지원 모듈 170은 가상 입력 오브젝트 811에 포함된 전체 오브젝트들에 동일한 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 가상 입력 오브젝트 811에 포함된 특정 오브젝트 예컨대 가상 숫자 키 관련 오브젝트, 가상 문자 키 관련 오브젝트, 가상 기능 키 관련 오브젝트 중 적어도 하나를 선택하는 이벤트가 발생하면 제1 햅틱 정보 기반의 햅틱 모듈 180 제어를 수행할 수 있다.
상술한 가상 입력 오브젝트 811은 가상 키보드의 예를 보여주는데, 소프트웨어적인 GUI 레이아웃에 의해 여러 키들이 배치된 형태일 수 있다. 각 키들이 배치된 영역에서 터치나 호버링에 의한 입력 이벤트가 감지되면, 햅틱 지원 모듈 170은 이벤트가 감지된 키에 입력이 있음을 알려 주는 오디오나 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 키의 영역이 아닌 영역에서 입력 이벤트가 발생하는 경우 햅틱 피드백을 발생시키지 않도록 제어할 수 있다. 가상 키보드는 디스플레이의 형태, 애플리케이션에 따라 다양한 변형을 가질 수 있다. 따라서 가상 키보드를 통해 입력하는 도중 GUI 레이아웃과 키들의 배치가 달라질 수 있다. 예를 들어 가로모드와 세로모드를 모션센서(예: 가속도 센서, 자이로 센서, 틸트 센서 혹은 중력센서)를 통해 감지할 수 있는 전자 장치 100을 가로모드에서 QWERTY방식의 가상 키보드를 이용하여 문자를 입력하다가 도중에, 상기 전자 장치를 회전시키는 동작을 감지하여 세로모드로 전환되면, 가상 키보드의 위치가 이에 따라 바뀌는 동시에 가상키보드 자체도 T9이나 특정 전자 장치에서 사용되던 숫자키 매핑 방식의 레이아웃으로 바뀔 수 있다. 햅틱 지원 모듈 170은 각 키들 간 상대적인 방향이나 거리에 따라서 서로 다른 햅틱 피드백을 제공하여 현재 입력하는 키와 다른 키의 구분을 지원할 수 있다. 이와 관련하여, 햅틱 지원 모듈 170은 GUI 레이아웃(예: 디스플레이 150에 표시된 오브젝트들의 배치)에 대응하는 햅틱 피드백용 햅틱 레이아웃을 설정할 수 있다. 여기서, GUI 레이아웃과 햅틱 레이아웃은 서로 상이할 수 있다.
다양한 실시예에 따르면, 디스플레이 150은 상태 820에서와 같이 가상 입력 오브젝트 812를 출력할 수 있다. 햅틱 지원 모듈 170은 가상 입력 오브젝트 812에 대하여 행 단위 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈 170은 가상 입력 오브젝트 812에 포함된 가상 키 관련 오브젝트들에 대하여 각각의 행 단위로 서로 다른 햅틱 정보를 할당할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 제1 행 오브젝트들 821에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 제2 행 오브젝트들 822에 제2 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 제3 행 오브젝트들 823에 제3 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 제4 행 오브젝트들 824에 제4 햅틱 정보를 할당할 수 있다. 제1 행 오브젝트들 821에 포함된 특정 오브젝트를 선택 또는 지시하는 이벤트가 발생하면, 햅틱 지원 모듈 170은 제1 햅틱 정보를 기반으로 햅틱 모듈 180의 출력을 제어할 수 있다. 제2 행 오브젝트들 822에 포함된 특정 오브젝트와 관련한 이벤트가 발생하면, 햅틱 지원 모듈 170은 제2 햅틱 정보(예: 제1 햅틱 정보에 설정된 촉감, 질감, 진동 강도(또는 세기), 진동 패턴, 진동 주기 중 적어도 하나를 다르게 구현하도록 정의한 정보)를 기반으로 햅틱 모듈 180의 출력을 제어할 수 있다.
다양한 실시예에 따르면, 디스플레이 150은 상태 830에서와 같이 가상 입력 오브젝트 813을 출력할 수 있다. 햅틱 지원 모듈 170은 가상 입력 오브젝트 813에 대하여 열 단위 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈 170은 가상 입력 오브젝트 813에 포함된 가상 키 관련 오브젝트들에 대하여 각각의 열 단위로 서로 다른 햅틱 정보를 할당할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 제1 열 오브젝트들 831에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 제2 열 오브젝트들 832에 제2 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 제3 열 오브젝트들 833에 제3 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 제4 열 오브젝트들 834에 제4 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 제5 열 오브젝트들 835에 제5 햅틱 정보 할당, 제6 열 오브젝트들 836에 제6 햅틱 정보 할당, 제7 열 오브젝트들 837에 제7 햅틱 정보 할당, 제8 열 오브젝트들 838에 제8 햅틱 정보 할당을 수행할 수 있다. 상술한 제1 내지 제8 햅틱 정보는 서로 다른 촉감이나 질감을 표현하도록 정의된 정보를 포함할 수 있다. 다양한 실시예에 따르면, 제1 내지 제8 햅틱 정보는 서로 이웃하지 않는 열에서는 동일한 햅틱 정보를 가질 수도 있다. 예컨대, 제3 햅틱 정보는 제1 햅틱 정보 또는 제5 햅틱 정보와 동일한 정보를 가지도록 설정될 수 있다.
상술한 바와 같이, 햅틱 지원 모듈 170은 각 행별 또는 열별로 다른 강도, 패턴, 방향성, 질감 등을 주어서 사용자가 현재 입력하는 키의 상대적 위치를 파악할 수 있도록 지원할 수 있다. 예를 들어 상태 830의 경우에는 각 손가락마다 입력하는 키들은 동일한 햅틱 피드백을 제공할 수 있어 자판 입력 훈련이나 자판 입력 습관 교정 시 활용할 수 있다.
다양한 실시예에 따르면, 디스플레이 150은 상태 840에서와 같이 가상 입력 오브젝트 814를 출력할 수 있다. 햅틱 지원 모듈 170은 가상 입력 오브젝트 814에 대하여 일정 가상 키 그룹별 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈 170은 가상 입력 오브젝트 814에 포함된 가상 키 관련 오브젝트들에 대하여 각각의 가상 키 그룹별로 서로 다른 햅틱 정보를 할당할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 제1 그룹 오브젝트들 841에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 제2 그룹 오브젝트들 842에 제2 햅틱 정보를 할당할 수 있다. 제1 햅틱 정보 및 제2 햅틱 정보는 서로 다른 촉감이나 질감을 표현하도록 정의된 정보를 포함할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 키 그룹에 포함된 적어도 하나의 키를 참조 영역으로 설정하고, 참조 햅틱 피드백을 제공할 수도 있다. 한 실시예에 따르면, 상태 840에서 제1 그룹 오브젝트 841에 포함된 S는 하향 화살표에 대응하도록 설정될 수 있으며, 왼손 중지가 위치할 수 있다. 제1 그룹 오브젝트 841에 포함된 다른 키들은 상기 S를 중심으로 각각 특정 방향의 화살표 역할을 수행할 수 있다. 여기서 햅틱 지원 모듈 170은 S에 제공하는 햅틱 정보를 제1 그룹 오브젝트 841에 포함된 다른 키들에 비하여 특성(예: 햅틱 강도, 거친 정도, 주파수, 진동 주기, 진동 유지 시간 중 적어도 하나)이 다르게 설정된 햅틱 정보를 할당하여, S를 참조 영역으로 정의할 수 있다.
다양한 실시예에 따르면, 참조 햅틱 피드백은 해당하는 키나 키 그룹의 위치를 판별하는 탐색 동작에 대응할 수도 있다. 예를 들어 키가 배치된 키보드의 표면이나 터치스크린 표면에 터치를 위치한 채 드래깅할 경우, 혹은 호버링 상태에서 모션을 취할 경우 햅틱 지원 모듈 170은 참조 영역의 위치를 알 수 있도록 참조 햅틱 피드백을 제공한다. 햅틱 지원 모듈 170은 해당 터치 또는 호버링 관련 신호가 탐색 동작으로 판단되면, 입력이 감지되는 영역에 따라서 다양한 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 지정된 특정 키(예: 특정 기능 실행이 할당된 키) 예컨대 S 키 영역에서 탐색 동작이 발생한 경우 일시적으로 강한 진동이나 특정한 패턴의 햅틱 피드백을 제공할 수 있다. 혹은 햅틱 지원 모듈 170은 S 키 영역이 아닌 외부 영역, 예를 들어 S에 인접한 F키 영역에서 탐색 동작이 감지되면, S 방향으로 방향성을 가진 햅틱 패턴을 발생시키도록 제어할 수도 있다.
또는 햅틱 지원 모듈 170은 탐색 동작으로 판단되면, 상기 참조 영역만 지정된 햅틱 정보를 할당할 수 있다. 이에 대응하여, 햅틱 지원 모듈 170은 참조 영역 이외의 영역에서 발생하는 입력 신호에서는 별도의 햅틱 피드백을 출력하지 않도록 제어할 수 있다. 햅틱 지원 모듈 170은 참조 영역에서 발생하는 입력 신호에 대응하여 지정된 햅틱 정보에 대응하는 소정의 햅틱 피드백을 제공할 수 있다. 상술한 햅틱 지원 모듈 170은 참조 영역에서만 지정된 햅틱 피드백을 출력함으로써 사용자가 참조 영역을 찾는데 보다 집중할 수 있도록 지원할 수 있고, 디스플레이를 보지 않고 손가락을 이동하는 것만으로도 사용자가 쉽게 참조 영역 또는 선택을 희망하는 영역을 인지할 수 있도록 지원할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 가상 키입력 오브젝트에서 터치스크린 상에 입력이 발생했을 때, 지정된 값보다 작은 크기의 입력 신호가 입력될 경우 지정된 제1 햅틱 정보에 따른 햅틱 피드백을 발생시킬 수 있다. 예컨대, 햅틱 지원 모듈 170은 지정된 기준보다 터치 입력의 접촉 면적이 좁거나, 터치 입력의 힘(force)이 작거나 혹은 전하량, 입력된 음량이 낮은 경우에는 지정된 제1 햅틱 정보에 따른 햅틱 피드백을 접촉이 발생한 터치스크린 영역에 발생시키거나 일정 진동을 발생시키도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 제1 햅틱 정보와 관련한 입력을 적용하지 않도록 제어할 수 있다. 햅틱 지원 모듈 170은 지정된 값보다 큰 입력(예: 지정된 압력보다 큰 압력, 또는 지정된 터치 유지 시간보다 긴 터치 등)이 발생하면, 해당 입력에 대응하는 실제 기능 수행을 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 제2 햅틱 정보에 따른 햅틱 피드백을 발생시키도록 제어할 수도 있다.
상술한 키 그룹은 손가락 위치에 따라 구분하고, 서로 다른 햅틱 피드백을 가지도록 설정될 수 있다. 예컨대, 왼손 새끼손가락은 1, q, a, z를 입력할 때 사용하고, 왼손 약지는 2, w, s, x를 입력할 때 사용할 수 있다. 따라서 햅틱 지원 모듈 170은 각 손가락별 키들의 그룹을 나누고 각각의 그룹에 서로 다른 햅틱 피드백을 제공하도록 설정할 수 있다. 손가락별 키 영역 그룹은 동적으로 변화할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 디스플레이 150에서 입력신호의 발생 위치 이동이 지정된 기준보다 빠른 경우, 입력 신호에 대응하는 지정된 햅틱 정보 기반의 햅틱 피드백만 제공할 수 있다. 햅틱 지원 모듈 170은 해당 입력 신호에 의해 선택되거나 지시되는 오브젝트와 관련한 기능 실행은 억제하도록 제어할 수 있다. 추가적으로 특정 오브젝트와 관련한 영역에 진입하기 이전에 일정 거리만큼 접근하면, 햅틱 지원 모듈 170은 지정된 시간 이전에 지정된 햅틱 정보 기반의 햅틱 피드백을 발생시키도록 제어할 수 있다. 예를 들어 터치스크린 상에서 일정 속도의 터치 드래그 이벤트 또는 호버링 위치 이동 이벤트(예: 호버링을 유지한 채 위치가 이동하는 이벤트)가 발생하면, 햅틱 지원 모듈 170은 터치 드래그 이벤트 또는 호버링 위치 이동 이벤트의 방향과 속도를 예측하여 일정 영역에 지정된 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다. 또는 햅틱 지원 모듈 170은 터치 드래그 이벤트 또는 호버링 위치이동 이벤트가 일정 영역에 진입하기 이전의 일정 거리나 영역에서 지정된 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다. 상술한 동작을 통하여, 햅틱 지원 모듈 170은 터치 드래그의 이동 속도 또는 호버링 위치 이동의 이동 속도가 지정된 속도 이상으로 빠른 경우, 지정된 영역에서 발생하는 햅틱 피드백이 정상적으로 사용자에게 제공되지 않는 상황(예: 손가락 등의 터치 물체가 지정된 영역을 지나고 난 후 햅틱 피드백이 지정된 영역에 제공되어 사용자가 햅틱 피드백을 제공받지 못하는 상황)을 보상할 수 있다.
또는 햅틱 지원 모듈 170은 터치 이벤트 또는 호버링 이벤트가 일정 영역을 지나간 이후 일정 시간 이내에 지정된 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 터치 이벤트 또는 호버링 이벤트가 디스플레이 150에 출력된 오브젝트와 관련한 정점을 지난 후 최대 마찰력을 느끼도록 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 사용자 입력 위치(예: 터치 이벤트가 입력되는 위치나 터치 드래그 이벤트에 의해 터치 신호가 감지 되는 위치 혹은 호버링 이벤트 발생 위치)가 특정 오브젝트의 경계 영역을 지나갈 때에 해당 오브젝트와, 해당 오브젝트의 경계 영역을 이루는 가상적인 높이 정보를 기반으로 형성된 정점이나 각도 차가 일정 크기 이상으로 변하는 위치를 지난 후 소정의 시간 이내에 일정 크기 이상의 마찰력이나 저항감을 제공하도록 설정된 제1 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 일정 크기 이상의 마찰력이나 저항감을 느끼도록 하기 위해 제1 햅틱 정보 기반의 햅틱 피드백 제공 직전에 일정 크기의 부드러운 느낌을 주는 제2 햅틱 정보 기반의 햅틱 피드백을 제공하도록 제어할 수 있다. 추가로 햅틱 지원 모듈 170은 사용자 입력에 따른 이벤트 이동이 지정된 크기 이하 속도인 경우 지정된 제1 햅틱 정보 기반의 햅틱 피드백을 제공하도록 제어할 수 있다.
다양한 실시예에 따르면, 특정 햅틱 피드백이 제공되는 복수의 오브젝트 영역들에서 연속적으로 터치 이벤트가 발생하면 햅틱 지원 모듈 170은 복수의 오브젝트 영역들의 경계 영역에서 사용자 입력(예: 터치 이벤트)이 이전 오브젝트 영역을 나가는 느낌과, 이후 오브젝트 영역의 진입하는 느낌을 가지도록 특정 햅틱 정보 기반의 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 특정 오브젝트의 중심에서 오브젝트의 경계 영역으로 사용자 입력이 이동할 때, 지정된 경계 영역 이전까지는 상대적으로 약한 햅틱 강도나 상대적으로 부드러운 거칠음(roughness)의 정도를 유지하도록 설정된 햅틱 정보 기반의 햅틱 피드백 출력이 되도록 제어할 수 있다. 또는 오브젝트 내부에서 오브젝트의 경계 영역 방향으로 사용자 입력이 이동할수록 점진적으로 햅틱 강도나 거침 정도를 증가시키도록 설정된 햅틱 정보 기반의 햅틱 피드백 출력을 제어할 수 있다. 그리고 햅틱 지원 모듈 170은 경계 영역에서 일정 크기 이상 혹은 상대적으로 가장 강한 정도의 햅틱 강도 또는 거침을 표현하도록 설정된 햅틱 정보에 따른 햅틱 피드백 출력을 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 특정 오브젝트의 바깥 영역에서 경계 영역으로 진입하는 사용자 입력에 대응하여 오브젝트 내부에서 바깥쪽으로 이동하는 사용자 입력에 비해 상대적으로 강한 햅틱 강도 또는 거친 정도를 가지는 햅틱 정보 기반의 햅틱 피드백 출력을 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 가상 햅틱 모델링의 높이 혹은 깊이 정도에 대응하도록 강도 또는 거침(roughness) 중 적어도 하나를 운용할 수 있다.
상술한 동작 지원을 기반으로, 햅틱 지원 모듈 170은 예컨대, 디스플레이에 표시된 가상 키보드에서 물리적인 키보드에서 느낄 수 있는 촉감을 시뮬레이션하기 위하여, 키 오브젝트의 안쪽에서 바깥쪽으로 키 오브젝트 표면을 따라 손가락을 문지르는 동작에 대응하는 햅틱 피드백, 키 오브젝트의 바깥쪽에서 키 오브젝트의 안쪽으로 이동하는 손가락 동작에 대응하는 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 물리 키 경계 영역에서 느껴지는 피부 당김이나 마찰력에 대응하는 햅틱 피드백을 가상 키 경계 영역에서 제공할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 손가락의 움직임 방향과 오브젝트의 형상에 따라 구분되는 다양한 햅틱 피드백을 다르게 표현할 수 있다. 예를 들어 햅틱 지원 모듈 170은 오브젝트의 경계 영역 형상을 따라서 손가락으로 터치하여 움직이는 경우에는, 경계 영역의 배치방향과 직교방향으로 움직이는 경우에 비해 보다 부드러운 촉각을 제공하도록 설정된 햅틱 정보 기반의 햅틱 피드백 출력을 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 입력 물체(예: 손가락, 펜, 손톱, 공, 지우개 등)의 형상에 대한 모델링을 통해 햅틱 피드백을 제공할 햅틱 레이아웃을 설정할 수 있다. 한 실시예에 따르면, 일정 크기나 면적의 터치 영역을 가지는 입력 물체가 각 키 경계 영역들 사이가 좁은 물리적 키보드의 경계 영역을 터치하는 상황에 대응하도록, 햅틱 지원 모듈 170은 상기 입력 물체에 의한 터치 이벤트 발생 시 해당 키들의 경계 영역들에는 햅틱 피드백을 제공하지 않거나 상대적으로 약하거나 부드러운 피드백을 제공하는 햅틱 레이아웃을 설정할 수 있다.
물리적 키보드의 경우 각 키들 사이 영역은 움푹 패어있어서, 펜이나 손톱처럼 작은 물체만 해당 키 사이의 영역을 접촉할 수 있으며, 손가락과 같이 큰 물체는 접촉할 수 없다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 이러한 물리적 키보드와 입력 물체간의 상황을 가상 키보드에서 시뮬레이션 할 수 있다. 예를 들어, 오브젝트들 사이에 형성된 중간 영역(예: 각 오브젝트들의 경계 영역들 사이 영역) 중 적어도 일부 영역 상에서 발생하는 터치 신호나 터치 드래그 신호, 혹은 호버링 신호가 감지되고, 해당 신호가 감지되는 면적이나 길이(터치 궤적이나 호버링 궤적에 의한 신호의 길이)가 소정 크기 이하(예: 상기 중간 영역보다 좁거나 짧음)인 경우, 햅틱 지원 모듈 170은 상기 중간 영역에 대응하는 미리 지정된 햅틱 피드백을 출력하도록 햅틱 레이아웃을 설정할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 오브젝트들 사이에 형성된 중간 영역, 예컨대, 각 오브젝트들의 경계 영역들 사이 영역을 적어도 일부 포함하는 터치 신호나 터치 드래그 신호, 혹은 호버링 신호가 감지되고, 해당 신호가 발생하는 면적이나 길이가 소정 크기(예: 상기 중간 영역의 면적이나 길이) 보다 큰 경우, 햅틱 지원 모듈 170은 미리 지정된 특정 햅틱 정보 기반의 햅틱 피드백을 출력하지 않도록 햅틱 레이아웃을 설정할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 입력장치를 통해 입력되는 입력 물체의 접촉 시 발생하는 음파나 진동 패턴을 인식하여, 해당 입력 물체의 종류를 판별할 수 있다. 햅틱 지원 모듈 170은 판별된 입력 물체 종류에 대응하여 경계 영역들 사이에서의 햅틱 피드백 on/off여부, 햅틱 피드백 종류 설정 등을 제어할 수 있다. 예컨대 디스플레이 150에 입력 물체를 접촉시키면, 햅틱 지원 모듈 170은 이 때 입력장치(예: 마이크, 초음파센서, 가속도 센서, 진동감지 센서)에 의해 발생하는 음파나 진동을 수집하고, 인식함으로써 입력 물체의 종류를 판별할 수 있다. 다양한 실시예에 따르면 햅틱 지원 모듈 170은 상기 음파, 상기 진동, 이벤트 발생 위치, 발생 면적, 발생 영역의 형상 중 적어도 하나를 인식하여 입력물체의 종류를 판별할 수 있다. 예컨대, 햅틱 지원 모듈 170은 이벤트 신호가 발생하는 면적의 모양과 형태를 기반으로 터치스크린을 터치하는 정전식 스타일러스 펜과 손가락 패드를 구분할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 예컨대, 상대적으로 작은 이벤트 발생 면적 또는 상대적으로 특정 형상(예: 원형)에 가까운 형태 중 적어도 하나를 기반으로 이벤트를 발생시킨 입력 물체를 펜 또는 손가락으로 인식할 수 있다.
도 8b는 다양한 실시예에 따른 복합 오브젝트별 햅틱 정보 운용을 설명하는 화면 예시도이다.
도 8b를 참조하면, 다양한 실시예에 따르면, 디스플레이 150은 가상 기능키(예: shift key 813) 동작 여부에 따라 상태 830에서와 같이 오브젝트 813 (예: 소문자 및 숫자 입력용 가상 키보드)을 출력할 수도 있고, 상태 850에서와 같이 가상 입력 오브젝트 815(예: 대문자 및 특수문자 입력용 가상 키보드)를 출력할 수 있다. 또한, 상기 가상 기능키의 토글 상태를 디스플레이에서 기호나, 색상, 크기, 형상 변화 중 하나 이상을 통해 표시할 수도 있다. 일 실시예에 따르면, 상태 830일 경우 햅틱 지원 모듈 170은 제1 햅틱 피드백을 가상 키 831부터 838까지 중 적어도 하나의 선택에 대응하여 출력되도록 할당할 수 있다. 또한 햅틱 지원 모듈 170은 상태 850인 경우에 상기 가상 키들 중 적어도 하나의 선택에 대응하여 제2 햅틱 피드백이 출력되도록 할당할 수 있다. 햅틱 지원 모듈 170은 가상 입력 오브젝트 815에 대하여 열 단위 햅틱 정보 할당을 수행하되, 특정 가상 기능 키 선택과 관련하여 이전과 다른 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈 170은 가상 입력 오브젝트 815에 포함된 가상 키 관련 오브젝트들 중 제1 기능 키 오브젝트 851이 선택된 상태일 경우(예: 터치 이벤트가 발생하여 유지되는 경우이거나, 토글 기능을 통해 선택이 유지된 경우) 제1 열 오브젝트들852에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 기능 키 오브젝트 851 이 선택된 상태일 경우, 제2 열 오브젝트들 853에 제2 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 기능 키 오브젝트 851 이 선택된 상태일 경우, 제3 열 오브젝트들 854에 제3 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 기능 키 오브젝트 851 이 선택된 상태일 경우, 제4 열 오브젝트들 855에 제4 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 기능 키 오브젝트 851 이 선택된 상태일 경우, 제5 열 오브젝트들 856에 제5 햅틱 정보 할당, 기능 키 오브젝트 851 이 선택된 상태일 경우, 제6 열 오브젝트들 857에 제6 햅틱 정보 할당, 기능 키 오브젝트 851이 선택된 상태일 경우, 제7 열 오브젝트들 858에 제7 햅틱 정보 할당을 수행할 수 있다. 상술한 제1 내지 제7 햅틱 정보는 도 8a의 상태 830에서 설명한 햅틱 정보들과는 서로 다른 촉감이나 질감을 표현하도록 정의된 정보를 포함할 수 있다.
한 실시예에 따르면, 상술한 상태 850은 시프트 키를 누른 채 키를 누를 경우의 가상 키 입력 오브젝트와 관련된 실시예일 수 있다. 햅틱 지원 모듈 170은 시프트 키 눌림과 함께 선택되는 가상 키 오브젝트에 관한 햅틱 정보와 시프트 키가 눌리지 않은 상태에서 선택되는 가상 키 오브젝트에 관한 햅틱 정보를 다르게 할당할 수 있다.
다양한 실시예에 따르면, 디스플레이 150은 상태 860에서와 같이 기능 키 오브젝트 861 선택에 대응하여 가상 입력 오브젝트 816을 출력할 수 있다. 햅틱 지원 모듈 170은 가상 입력 오브젝트 816 중 일부 키들의 그룹에 특정 햅틱 정보 할당을 수행할 수 있다. 예컨대, 햅틱 지원 모듈 170은 가상 입력 오브젝트 816에 포함된 가상 키 관련 오브젝트들 중 기능 키 오브젝트 861 선택에 대응하여 변환된 키 그룹 862에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 나머지 키들에 제2 햅틱 정보를 할당할 수 있다.
한 실시예에 따르면, 상술한 상태 860은 function키 861을 눌렀을 때 키들의 일부가 숫자 입력키 기능을 제공하는 실시예를 나타낼 수 있다. 햅틱 지원 모듈 170은 function 키 영역, 숫자 키 영역, 문자 키 영역에 각기 다른 햅틱 피드백을 제공할 수 있다. 이에 대응하여 사용자는 특정 서비스 모드를 유발하는 키가 눌려져 있음을 알 수 있고, 각 입력되는 정보의 종류가 다름을 영역에 따라 촉각적으로 쉽게 판단할 수 있다.
상술한 햅틱 피드백 차이를 발생시키는 서비스 모드는 ctrl 키나 alt키, shift 키, function키(F1 ? F12, windows 시작키), 언어 설정 변환키(예: 한영 모드 변환키, 중국어 모드키, 일본어 입력키, IME 설정키 중 하나 이상), caps lock, pause, number lock, scroll lock 중 하나 이상의 키 선택을 포함할 수 있다. 서비스 모드는 특정한 애플리케이션의 실행에 의해서 이뤄질 수도 있다. 예를 들어 앞서 도 8a의 상태 840에서와 같이 게임 실행에 따라 게임모드가 설정된 경우 햅틱 지원 모듈 170은 사용되는 키 그룹들에 서로 다른 햅틱 피드백이 출력되도록 설정할 수 있다. 이러한 햅틱 피드백 기능은 현재 장치의 상태를 나타낼 수 있다. 예를 들어 가상 키보드에서 caps lock 영역이 눌러져 있는지 여부를 알기 위해 사용자가 해당 키 위에 사용자 입력을 수행하면, 입력된 신호가 탐색동작(예: 소정의 크기보다 약한 터치 신호나 터치 드래그 신호 혹은 소정 시간 이하의 터치 신호 유지 시간, 호버링 신호 중 하나 이상)에 해당하는 입력인지 판별하여, 햅틱 지원 모듈 170은 상태에 따라 햅틱 피드백을 on/off, 혹은 서로 다른 두 개의 햅틱 피드백 등을 출력하여 장치 상태를 인지하도록 지원할 수 있다.
다양한 실시예에서 설명한 가상 키보드에서 각 키의 영역은 고정되지 않을 수 있다. 예컨대, 사용자 설정이나 습관에 따라, 각 키의 위치가 조정될 수 있으며, 키 영역의 중심 위치나 키의 크기가 상이할 수도 있다. 예를 들어 사용자가 왼손 새끼손가락으로 'a' 키를 누를 때, 해당 키의 좌측 경계 영역을 누르는 습관이 누적 및 분석된다면, 전자 장치 100은 특정 입력 이벤트 발생이 소정의 회수 이상인 경우, 해당 입력 위치의 분포도를 계산하여, 해당 키의 위치를 입력 이벤트 발생 지점에 대응하도록 일정 부분 이동시키거나 해당 키의 영역을 일정 방향 쪽으로 더 늘이도록 처리할 수 있다. 이 경우 햅틱 피드백들도 변형된 키의 영역에 대응하여 변경될 수 있다. 또한 전자 장치 100은 입력 위치들의 분포 데이터를 분석하여 현재 입력하고 있는 사용자가 누구인지 판별할 수도 있다. 예를 들어 전자 장치 100은 사용하는 사람의 로그인 정보나 얼굴인식 정보, 생체정보(예: 홍채, 지문, 심박패턴, 손등정맥 패턴) 중 적어도 하나를 이용하여 사용자를 인식하고, 입력 이벤트(예: 특정 위치의 가상 키 누름 또는 터치 패널에서의 특정 위치 터치에 의한 이벤트)의 발생시 해당 입력 위치 정보를 사용자 정보와 연관하여 저장할 수 있다. 이를 기반으로, 전자 장치 100은 입력 이벤트가 발생하면, 발생한 입력 이벤트의 입력 위치 정보를 저장된 입력 위치 정보와 비교하여 현재 전자 장치 100을 사용하는 사용자 판별을 수행할 수 있다. 습관 교정과 관련하여, 햅틱 지원 모듈 170은 경계 영역에 입력이 가해지는 경우 이의 입력영역 분포 및 빈도 등을 조사하여 보다 사용자가 느끼기 쉽도록 거칠거나 강한 느낌을 주는 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 햅틱 피드백을 주는 사용자 입력을 여러 가지 상황으로 나누어 처리할 수도 있다. 예컨대, 햅틱 지원 모듈 170은 입력장치 표면에 손가락이나 입력도구에 의해 접촉이나 호버링에 의한 신호가 발생하되, 해당 키의 정보나 기능이 실행되지는 않고, 적어도 하나의 기본 햅틱 피드백을 제공하는 제1 입력 모드를 제공할 수 있다. 이러한 제1 입력 모드는 저항막방식 터치감지 장치에서 입력 신호 값이 소정의 값 이하로 발생하는 경우, 정전압(capacity) 방식 센서 장치에서 호버링 신호가 발생하는 경우 혹은 터치 시 소정의 값 이하 신호가 발생하는 경우, 힘 입력 방식에서 shear force가 소정 이하 값이 발생한 경우, 정전압 혹은 광학 방식인 경우 접촉이나 입력이 발생한 영역의 면적이 소정 넓이 이하인 경우, 손톱이나 손가락 관절 등과 같은 소정의 제1 입력 수단에 의해 입력이 발생한 경우에 적용될 수 있다. 햅틱 지원 모듈 170은 제1 입력 모드와 달리 실제 키에 대응하는 정보가 입력되는 제2 입력 모드를 제공할 수 있다. 햅틱 지원 모듈 170은 제1 입력 모드에서 소정 시간이상 혹은 이하의 시간이 유지된 경우, 제1 입력 모드에서 입력 신호 값이 소정 값 이상 입력된 경우 (전압, capacitance, 유도전류, shear force 등), 제1 입력 모드에서 소정의 면적 이상의 넓이 이상 신호가 발생한 경우 혹은 손가락 혹은 스타일러스 펜 등과 같이 제2 입력 수단을 통해 정보 입력 경우 제2 입력 모드를 제공할 수 있다.
햅틱 지원 모듈 170은 터치스크린의 가상 키보드에 적어도 하나의 손가락이 접촉되어 소정 미만의 세기의 신호(예: 지정된 크기의 이하의 압력이나 전기적 변화 등)가 감지되면 해당 손가락들의 위치에 놓인 키들은 제1 입력 모드 상태에 해당하는 것으로 평가하고 소정의 햅틱 피드백(예: 디폴트로 제공되도록 설정된 햅틱 피드백 또는 지정된 특정 햅틱 피드백)을 제공할 수 있다. 그 상태에서 일정 크기 이상의 변화 이벤트(예: 압력을 가지는 접촉 면적이 지정된 크기보다 커지거나, capacity값이 지정된 크기보다 커지거나, 힘의 강도가 지정된 크기보다 세지거나, 키 다운 또는 업 속도가 지정된 크기 이상인 경우)가 발생하는 경우 햅틱 지원 모듈 170은 제2 입력모드 전환으로 평가할 수 있다. 이에 대응하여, 햅틱 지원 모듈 170은 입력된 키의 값에 해당하는 문자나 텍스트 등을 입력되도록 제어하거나 입력된 키에 대응하는 기능 동작을 제어할 수 있다. 햅틱 지원 모듈 170은 제1 입력모드에서 손가락을 터치상태를 유지한 채로 이동시키면 해당 터치신호가 발생하는 위치가 소정의 참조영역에 부합하는 경우에만 소정의 햅틱 피드백을 지원하되, 입력이 발생하지 않는 탐색모드로 전환할 수 있다. 햅틱 지원 모듈 170은 탐색모드에서 손가락의 이동에 따라 발생하는 터치 신호의 변화량이 소정 기준값(예: 지정된 이동 속도 혹은 단위 시간당 지정된 이동 거리 중 적어도 하나) 이하로 감지되면 또는 손가락의 이동 위치가 일정 시간 이상 일정 영역 이내 변화량을 보이면, 제1 입력 모드로 전환할 수 있다. 햅틱 지원 모듈 170은 탐색 모드에서 상기 제2 입력모드의 조건에 해당하는 이벤트가 발생하면 탐색 모드를 해제하고 해당 제2 입력 모드로 전환할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 입력 신호가 드래깅이나 플릭, 호버링에 의한 수평이동과 같이 지속적인 움직임이나 모션, 제스처와 같은 움직임에 의해 감지되면 탐색모드를 활성화할 수 있다. 예를 들어 물리적 키보드의 F 키, J 키의 요철에 대응하도록 햅틱 지원 모듈 170은 가상 키보드에서 F키, K키와 같이 손가락들이 놓일 기본 위치에 대응하여 F키, K 키 영역을 참조 영역으로 설정하고, 해당 참조 영역 내 혹은 소정 거리내의 인접지역에서 입력 신호가 발생할 경우에 특정 햅틱 피드백을 제공할 수 있다. 따라서 사용자는 터치감지 장치에 접촉하거나 호버링을 통해 적어도 하나의 손가락이나 손바닥, 펜 등을 이동시 F키, K 키의 영역에서 발생하는 햅틱 피드백을 통해 해당 키들의 위치를 쉽게 식별 가능하다.
다양한 실시 예에 따르면 참조 영역이 아닌 경우에는 참조 영역용 햅틱 피드백이 아닌 또 다른 햅틱 피드백(예: 참조영역을 둘러싼 경계 영역에 사용자 입력이 감지될 경우 제공하는 또 다른 햅틱 피드백)을 추가적으로 제공할 수도 있다.
다양한 실시예에 따르면, friction display에서 가상적인 높이 정보(height profile)를 가진 가상 오브젝트(virtual object)에서 터치 드래깅(dragging) 이벤트가 발생하였을 때, 햅틱 지원 모듈 170은 이벤트 발생 위치에 따라 마찰력의 정도를 달리하여 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 오브젝트의 가상적인 정점을 지나친 직후(일정 시간 또는 일정 거리 경과 후) 가장 큰 마찰력을 느끼도록 하는 햅틱 정보에 대응하는 햅틱 피드백을 제공하여, 사용자의 인지적 경험에 부합하는 햅틱 피드백을 제공할 수 있다. 또한, 햅틱 지원 모듈 170은 터치 물체 예컨대 손가락의 위치가 오브젝트의 가상적인 정점에 해당하는 위치에 이르기 직전(일정 시간 또는 일정 거리 경과 이전)에 부드러운 질감에 해당하는 햅틱 정보 기반의 햅틱 피드백을 출력하고, 정점을 지난 직후에 거친 질감에 해당하는 햅틱 정보 기반의 햅틱 피드백을 제공하여, 질감 차이를 더 크게 느낄 수도 있도록 지원할 수 있다.
다른 실시 예에 따르면, 햅틱 지원 모듈 170은 터치 드래그 이벤트 또는 호버링 위치이동 이벤트의 이동 속도에 따라 두 개 이상의 그룹으로 나누고, 그룹별로 햅틱 피드백의 특성을 다르게 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 터치 물체의 이동 속도가 지정된 속도 이하인 경우에는 가상 오브젝트의 경계 영역에서 마찰력을 상대적으로 크게 느끼도록 햅틱 피드백을 제공할 수 있고, 속도가 지정된 속도 이상인 경우에는 마찰력을 약하게 느끼도록 햅틱 피드백을 제공할 수도 있다. 반대로 경계영역의 질감을 강조하기 위해 햅틱 지원 모듈 170은 이동 속도가 지정된 속도 이상인 경우에 상대적으로 더 강한 마찰력이나 더 거친 질감에 대응하는 햅틱 피드백을 제공할 수도 있다.
도 9는 다양한 실시예에 따른 한 손 입력 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 9를 참조하면, 한 손 모드 UI는 특정 영역에 고정되어 있지 않고, 단말기의 움직임, 단말기에 접촉한 손가락 위치 중 한 가지 이상의 상황(context)에 따라 제공되는 위치가 변동될 수 있다. 예를 들어 햅틱 지원 모듈 170은 자이로 센서(gyro sensor), 지자기 센서, 혹은 가속도 측정 센서(accelerometer)에 의해 단말기의 기울임이나 회전 상태, 모션을 인지하고, 이에 따른 설정되는 가로 UI 모드, 세로 UI 모드 등에 대응하는 UI의 위치 및 크기, 혹은 비율 등을 변경할 수 있다. 또 다른 예로 햅틱 지원 모듈 170은 그립센서, 터치센서, 압력센서에 의해 감지되는 손가락 혹은 손바닥 위치를 감지하여 장치를 쥐고 있는 손이 왼손인지 오른 손인지 판별할 수도 있다. 예컨대, 왼손으로 단말기를 쥐고 있는 경우 햅틱 지원 모듈 170은 가상 키보드를 디스플레이 상의 왼쪽영역에 가깝게(예: 디스플레이의 왼쪽 가장자리로부터 지정된 거리 이내) 배치되도록 제어하고, 오른손으로 쥐고 있는 경우 디스플레이 상의 오른쪽 영역에 가깝게(디스플레이의 오른쪽 가장자리로부터 지정된 거리 이내) 가상키보드가 배치되도록 제어할 수 있다. 다른 실시예에 따르면, 단말기의 상단이나 하단을 쥐고 있는 경우에는 엄지 손가락으로 입력이 용이하도록 해당하는 손과 가까운 상단이나 하단에 근접하도록 배치할 수도 있다. 예컨데, 도 9의 상태 910은 상대적으로 왼손이 단말의 하단에 가까운 위치를 쥐고 있을 경우 표시되는 카상 키보드일 수 있다. 햅틱 지원 모듈 170은 입력이 발생하는 위치와 UI 위치, 방향, 기능 등에 대응하여 특정 햅틱 피드백을 제공할 수 있다.한 실시예에 따르면, 햅틱 지원 모듈 170은 특정 어플리케이션이 실행되면 제1 키 그룹 오브젝트 901을 상태 910에서 디스플레이 150에 출력하도록 제어할 수 있다. 여기서 햅틱 지원 모듈 170은 제1 키 그룹 오브젝트 901과 관련하여 키 영역 912와, 키 영역 912를 둘러 싼 경계 영역 913 및 경계 영역 913의 바깥에 해당하는 테두리 영역911로 구분할 수 있다. 또한 햅틱 지원 모듈 170은 추가적으로 또는 대체적으로 테두리 영역 911과, 테두 영역 911의 외부에 해당하는 바깥 영역을 구분할 수 있다. 햅틱 지원 모듈 170은 키 영역 912와 경계 영역 913에 각기 다른 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 테두리 영역911 또는 바깥 영역 중 적어도 하나에는 키 영역 912와 경계 영역 913에 할당된 햅틱 정보와 다른 햅틱 정보를 할당하거나 별도의 햅틱 정보 할당을 수행하지 않을 수 있다. 또 다른 실시예에 따르면 키 영역들을 둘러싼 또 테두리 영역 911에 키 영역 912에 대응하는 햅틱 정보와 다른 햅틱 정보를 할당할 수 있다. 상기 테두리 영역 911은 제1 키 그룹 오브젝트 901을 둘러싼 일정 두께의 경계선 형태일 수도 있고, 제1 키 그룹 오브젝트 901 영역에서 각각의 키 영역들을 제외한 나머지 영역일 수도 있다.
다양한 실시예에 따르면, 사용자는 변경된 가상 키보드 영역을 인지하기 위하여 호버링이나 드래깅, 혹은 탭 및 홀딩(tap and hold) 입력을 통해 키보드 영역을 탐색할 수 있다. 이러한 탐색모드에서 제1 키 그룹 오브젝트 901이 배치된 영역의 인접 영역에 사용자 입력이 발생하면, 햅틱 지원 모듈 170은 사용자에게 사용자 입력 위치로부터 제1 키 그룹 오브젝트 901가 위치한 방향이나 거리를 알릴 수 있는 참조 햅틱 피드백을 제공할 수 있다. 참조 햅틱 피드백은 키 영역 912에서 발생하는 햅틱 피드백 및 경계 영역 913 또는 테두리 영역 911에서 발생하는 햅틱 피드백과는 다른 촉감이나 질감을 제공할 수 있다.
물리적인 키보드는 대개의 경우 키나 키로 구성된 입력 영역이 키보드의 주변부에 비해 돌출되어 있으므로 사용자는 손끝으로 키보드를 더듬거나 만지면, 키나 키입력 영역의 경계 영역(edge)과 그 외 영역의 차이로부터 경계 영역 913 또는 테두리 영역 911의 존재를 인지할 수 있다. 터치스크린이나 터치패드에서 경계 영역 913의 촉감을 제공하기 위하여 , 햅틱 지원 모듈 170은 경계 영역 913 또는 테두리 영역 911 중 적어도 하나에 제1 햅틱 정보(예: 마이스너 소체(Meissner corpuscle)에 자극을 줄 수 있도록 설정된 정보)를 할당할 수 있다. 예컨대, 제1 햅틱 정보는 약 3~100Hz 범위 또는 25~40Hz의 자극을 햅틱 모듈 180을 통해 출력하도록 설정된 정보일 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 햅틱 모듈 180에 포함된 어레이 핀 또는 피에조 소자 제어와 관련한 햅틱 정보를 할당함으로써 사용자의 손가락이 디스플레이 150의 일정 영역에 위치하거나 해당 영역을 지날 때 경계 영역에 대해 인지할 수 있다. 예컨대, 스크린시트(elastic screen sheet)나 플렉서블한 터치패널(예: 터치스크린패널 TSP) 아래에 복수개의 피에조 소자 레이어나 복수 개의 어레이 핀들에 해당하는 햅틱 모듈 180이 장착된 경우, 햅틱 지원 모듈 170은 햅틱 정보에 따라 피에조 소자들의 적어도 일부의 형상변화나 어레이핀의 2차원 혹은 3차원 적인 움직임을 제어할 수 있다. 이에 따라 전자 장치 100은 스크린시트나 터치패널 위에 터치된 물체에 해당하는 햅틱 피드백을 제공할 수 있다. 다른 예에 따르면 피에조 소자로 이뤄진 밴드형태의 햅틱 모듈 180이 터치스크린이나 터치패드에 장착되어 햅틱 지원 모듈 170의 제어에 따라 특정 햅틱 피드백을 디스플레이에 제공할 수도 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 터치입력 신호 감지가 가능한 터치스크린이나 터치패드의 경우 터치 입력 신호가 발생한 영역에 대해서만 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 오브젝트의 경계 영역 913이나 테두리 영역 911에서 사용자 입력이 발생하는 경우 지정된 일정 강도의 진동을 해당 영역에서 출력되도록 제어하거나, 파치니언 소체(Pacinian corpuscle)에 자극을 주는 250~300Hz 주파수의 햅틱 피드백이 해당 영역에서 출력되도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 전극과 손가락 사이의 전기장을 제어하여 다양한 햅틱을 제공할 수도 있다.
일 실시예에 따르면 햅틱 지원 모듈 170은 키 영역 912에 제1 햅틱 정보를 할당하고, 경계 영역 913이나 테두리 영역 911에는 제2 햅틱 정보를 할당할 수 있다. 예컨대, 햅틱 지원 모듈 170은 일정 크기의 주파수 햅틱 피드백과 관련한 제1 햅틱 정보 또는 제2 햅틱 정보를 할당하여, 매끄러운 재질을 가진 물체를 만진 것과 같은 느낌을 주도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 미세 압력을 감지하는 메르켈 디스크(Merkel's disk)를 자극하는 0.4~3Hz의 주파수의 햅틱 피드백을 제1 햅틱 정보 또는 제2 햅틱 정보로 설정할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 속도가 빠른 주파수를 가진 햅틱 피드백을 제1 햅틱 정보 또는 제2 햅틱 정보로 할당하여 사용자에게 매끄러운 질감을 제공할 수도 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 냉온감의 변화를 감지하는 신경말단에 일정 온도를 느낄 수 있도록 하는 햅틱 정보를 제1 햅틱 정보 또는 제2 햅틱 정보로 할당할 수 있다.
또 다른 실시예에 따르면 햅틱 지원 모듈 170은 키 영역 912에 제1 햅틱 정보를 할당하고, 경계 영역 913에 제2 햅틱정보, 그리고 테두리 영역 911에는 제3 햅틱 정보를 할당할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 상태 920에서와 같이 제1 키 그룹 오브젝트 901이 출력되던 디스플레이 150 상에서 한 손 모드 UI에 해당하는 제2 키 그룹 오브젝트 902가 출력되는 경우 키 영역 922이나 경계 영역 921이 아닌 영역에 정상적인 입력 영역이 아님을 알려 주는 햅틱 피드백과 관련한 제3 햅틱 정보를 할당할 수 있다. 제2 키 그룹 오브젝트 902는 키 영역 922 및 경계 영역 921을 포함할 수 있다. 예컨대, 제3 햅틱 정보는 느리고 강한 진동 형태의 햅틱 피드백을 제공하는 정보일 수 있다. 또는 제3 햅틱 정보는 일정 크기 이하의 약한 진동(제2 햅틱 정보와 차이를 가지는 촉감)일 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 진동이나 주파수 외에도 공기압력, 냉온감 변화를 기반으로 서로 다른 햅틱 정보를 생성하고 할당할 수 있다. 햅틱 지원 모듈 170은 어레이 핀 등을 이용하여 햅틱 피드백마다 다른 운동 방향, 예를 들어 수직, 좌우방향의 수평왕복 운동, 전후방향의 수평왕복 운동을 이용하며, 추가적으로 시간차나 운동방향의 변화를 주어 다양한 형태(원, 타원, 직선, 곡선, 파도 모양)의 햅틱 정보 할당을 제어할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 상태 930에서와 같이 제3 키 그룹 오브젝트 903을 디스플레이 150에 출력하도록 제어할 수 있다. 제3 키 그룹 오브젝트 903은 경계 영역이 없고, 제1 키열 931, 제2 키열 933, 제3 키열 935를 포함할 수 있다. 햅틱 지원 모듈 170은 제3 키 그룹 오브젝트 903에서 제1 키열 931에 제1 햅틱 정보를 할당하고, 제2 키열 933에 제2 햅틱 정보를 할당하면, 제3 키열 935에 제3 햅틱 정보를 할당하도록 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 상태 940에서와 같이 제4 키 그룹 오브젝트 904를 디스플레이 150에 출력하도록 제어할 수 있다. 제4 키 그룹 오브젝트 904는 경계 영역이 없고, 제1 키행 941, 제2 키행 943, 제3 키행 945 또는 제4 키행 947 중 적어도 하나를 포함할 수 있다. 햅틱 지원 모듈 170은 제4 키 그룹 오브젝트 904에서 제1 키행 941에 제1 햅틱 정보를 할당하고, 제2 키행 943에 제2 햅틱 정보를 할당하면, 제3 키행 945에 제3 햅틱 정보를 할당하고, 제4 키행 947에 제4 햅틱 정보를 할당하도록 제어할 수 있다. 추가로, 햅틱 지원 모듈 170은 제4 키 그룹 오브젝트 904 이외의 영역 949를 터치하는 경우, 그에 대응하여 제4 키 그룹 오브젝트 904 방향으로 안내하는 제5 햅틱 정보 기반의 햅틱 피드백을 출력하도록 제어할 수 있다.
도 10은 다양한 실시예에 따른 방향 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 10을 참조하면, 햅틱 지원 모듈 170은 숫자 키 그룹 오브젝트(1030)를 출력할 수 있다. 숫자 키 그룹 오브젝트(1030)는 복수의 키 오브젝트들을 포함할 수 있다. 햅틱 지원 모듈 170은 숫자 키 그룹 오브젝트(1030)의 바깥 영역 1010에서 입력이 발생했을 경우 도시된 바와 같이 참조 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 터치된 바깥 영역 1010에서 우상 방향에 숫자 키 그룹 오브젝트1030가 존재함을 알 수 있도록 알려주는 지향성 햅틱 피드백을 발생시키도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 어레이 핀이나 피에조 소자, 미세 진동소자를 포함하는 햅틱 모듈 180을 이용하여 물리적인 형태 변형의 햅틱 정보를 출력하도록 제어할 수 있다. 또는 햅틱 지원 모듈 170은 여러 개의 진동 소자들을 일정 간격이나 소정의 위치들에 배치한 후, 필요한 방향의 진동은 남기고 나머지는 상쇄시키는 등의 방법으로 방향성 햅틱 피드백 출력을 지원할 수 있다. 또는 햅틱 지원 모듈 170은 정전압 방식으로 위치한 손가락상의 자극 위치를 조금씩 변경하는 햅틱 피드백을 제공하여 방향성 촉감을 제공할 수 있다. 도 10의 상태 1001부터 상태 1004는 가상적인 햅틱 피드백의 패턴을 표시하기 위한 것이다. 한 예로 피에조 소자나 어레이핀의 경우 햅틱 지원 모듈 170은 각 소자나 핀의 배열 위치를 기반으로 물리적인 높이 변화를 통해 방향성과 강도를 표현할 수 있다. 다른 예로 정전압 방식은 자극위치와 자극 강도를 통해 표현할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 참조 햅틱 피드백을 제공할 수 있다. 예컨대, 숫자 키 5가 참조 영역이라고 하면, 햅틱 지원 모듈 170은 해당 숫자 키 위에서 호버링이나 터치 입력이 감지되었을 때, 참조 햅틱 피드백을 제공할 수 있다. 이 경우 햅틱 지원 모듈 170은 참조 영역에서 사용자 입력이 발생할 때까지 다른 햅틱 피드백을 제공하지 않도록 제어할 수도 있다. 예컨대, 햅틱 지원 모듈 170은 일정 속도 이상의 드래깅이나 호버링에 의한 사용자 입력이 감지되면, 별도의 햅틱 피드백을 제공하지 않고, 해당 키(예: 숫자 키 5) 위에 사용자 입력이 위치하였을 때 소정의 참조 햅틱 피드백을 제공할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 지향성 햅틱 피드백을 이용하여 참조 영역이나 키 영역을 찾을 수 있도록 지원할 수 있다. 예컨대, 터치가 발생한 경우, 햅틱 지원 모듈 170은 도시된 바와 같이 일정 면적의 터치 영역 1020을 확인할 수 있다. 햅틱 지원 모듈 170은 해당 터치 영역 1020에서 참조 영역이나 키 영역 방향에 인접한 일부 영역 1021에 햅틱 피드백이 출력되도록 제공할 수 있다. 이와 관련하여, 햅틱 모듈 180은 디스플레이 150 전체에 매트릭스 형태로 햅틱 피드백을 출력할 수 있는 형태로 마련될 수 있다.
상술한 바와 같이, 다양한 실시예에 따른 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치 100은 서비스 모드 설정 동작, 상기　서비스 모드에 따라 소정의 레이아웃을 구성하고 레이아웃에 따라 구성요소를 배치하는 동작, 상기 서비스 모드에 따라 둘 이상의 그룹으로 구성요소들을 구분하는 동작, 각 그룹에 대해 서로 다른 햅틱 피드백을 설정하는 햅틱 레이아웃 설정 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 레이아웃에 의해 배치된 구성요소의 영역에서 입력 이벤트가 발생하였음을 감지하는 동작, 해당 입력 이벤트 발생 위치에 대응하는 햅틱 레이아웃에 따라 해당하는 소정의 햅틱 피드백을 발생시키는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법에서 상기 서비스 모드 설정은 특정한 키의 입력이나 애플리케이션 구동, 혹은 상기 전자기기 내 특정 이벤트 중 적어도 하나에 의해 이루어지는 동작이 될 수 있다.　상기 서비스 모드 설정 동작은 행별 위치 알림 모드, 손가락별 피드백지원 모드, function 키에 의한 숫자 키 모드, 대문자 모드, 소문자 모드, 기호입력 모드, QWERTY 모드, T9 모드, 3x4 키 모드, 게임모드, 한 손 UI모드, 언어모드, 토글 모드, 페이지 넘김 모드, 3D 인터렉션 모드, 리모컨 모드, 시간 알림 모드, 날씨 알림 모드, 생체정보 알림 모드, 데이터글로브 모드 중 적어도 하나를 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은　상기 서비스 모드에 의해서 적어도 하나의 구성요소의 적어도 하나의 재질정보를 판별하는 동작 및 상기 재질정보에 대응하는 햅틱 피드백을 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 구성요소들의 속성, 또는 내용에 따라 구성 요소들을 구분하는 동작을 포함할 수 있다.　상기 구성요소의 속성은 가상의 질감, 경도, 재질, 온도, 또는 패턴 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 구성요소의 내용을 판별하는 동작 및 판별된 내용에 부합하는 속성을 부여하는 동작을 더 포함할 수 있다. 다양한 실시예에 따르면, 상기 장치 및 방법은 상기 레이아웃에 따라 배치된 구성요소들을 디스플레이상에 그래픽적으로 표현하는 동작, 상기 전자 장치 100의 모션을 인지하고 이에 대응하는 레이아웃 및 햅틱 레이아웃으로 변경하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 레이아웃에서 경계 영역을 설정하는 동작 및 경계 영역에서 입력 이벤트가 발생하였을 때 또 다른 햅틱 피드백을 발생시키는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 드래깅, 플릭, 호버링의 평면 이동과 같이 이동이 지속적으로 발생하는 경우, 상기 경계 영역을 통과하는 경우와 경계 영역을 따라 움직이는 경우 서로 다른 햅틱 피드백을 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 드래깅, 플릭, 호버링의 평면 이동과 같은 이동에 의해 발생하고, 이동에 의해 상기 경계 영역을 통과하는 경우, 경계 영역 내부에서 외부로 이동하는 동작일 경우와 외부에서 내부로 이동하는 동작일 경우를 분리하여 서로 다른 햅틱 피드백을 제공할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 레이아웃에서 참조 영역을 설정하는 동작 및 입력 이벤트가 발생한 경우, 입력 이벤트가 발생한 위치로부터 참조 영역까지의 방향 혹은 거리 중 적어도 하나를 안내하는 지향성 햅틱 피드백으로 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 지향성 햅틱 피드백은 참조 영역과 입력 이벤트 발생 위치간 거리 혹은 방향에 따라 햅틱 피드백의 강도, 패턴, 주파수, 속도, 유지 시간, 방향 표시 중 적어도 하나가 다르게 설정될 수 있다.
다양한 실시예에 따르면, 상기 레이아웃 구성 동작은 상기 서비스 모드에서 입력 정보를 수집하는 동작, 수집한 입력 정보를 분석하는 동작을 포함하고, 분석한 입력 정보에 따라 레이아웃을 수정하는 동작 또는 지정된 햅틱 피드백을 변경하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면,　상기 구성요소는 키, 버튼, 선분, 메뉴, 이미지, 도형, 문자, 문자열, 기호, 배경(background), 전경(foreground) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 피드백은 주파수, 진동유지시간, 진동 패턴, 진동 강도, 진동 방향성, 수직운동 높이, 반발력, 온도변화, 공압, 정전압 세기 중 적어도 하나가 다르게 정의될 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 피드백은 마이스너 소체, 파치니언 소체, 메르켈 디스크, 루피니 말단 중 적어도 하나를 자극하는 진동, 주파수, 정전기력, 흡열, 발열, 흡입력, 분사력, 기계적 수직방향 운동, 기계적 수평방향 운동, 전자기력, 피에조 소자의 변형 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 레이아웃 설정 동작은 상기 레이아웃의 구성 요소를 햅틱 구성 요소로 분할하는 동작, 분할된 햅틱 구성요소 별로 서로 다른 햅틱 피드백을 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 구성요소의 넓이나 폭, 크기, 부피 중 적어도 하나가 지정된 값 이하인 경우, 일정 기준 이상의 폭, 크기, 넓이, 부피 중 적어도 하나를 재설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력 이벤트의 입력 모드를 감지하는 동작, 상기 입력 이벤트가 제1입력 모드인 경우, 제1 햅틱 피드백이 발생하는 동작, 상기 입력 이벤트가 제2입력 모드인 경우, 해당 구성요소에 해당하는 정보 입력, 혹은 해당 기능 실행 중 적어도 하나를 수행하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력 이벤트가 제2입력 모드인 경우, 제2 햅틱 피드백을 출력하는 동작을 포함할 수 있다. 제 1햅틱 피드백과 제 2 햅틱 피드백은 서로 다를 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력 이벤트가 입력 신호 값이 소정 영역 내(터치 스크린, 터치 패드와 같은 입력장치의 일부 영역)에서 일정시간 이상 유지되는 조건, 입력 장치를 기반으로 입력된 shear force, 압력, 공압, 정전압, 온도차이, 유도전류 중 적어도 하나가 지정된 값 이하인 조건, 입력 신호에 대응하는 면적이 소정 넓이 이하인 조건, 입력 수단(예: 손가락, 펜, 손톱, 관절, 손바닥, 고무, 나무, 금속 중 하나 이상)이 특정 종류(예: 입력 수단에 따른 소리 신호나 진동 신호의 패턴, 주파수 중 하나 이상을 이용하여 판별한 경우)인 조건, 호버링 혹은 근접 이벤트가 발생하는 조건, 소정 개수 이상의 멀티터치 입력이 발생하는 조건, 입력신호가 드래깅, 플릭 등과 같이 지속적으로 이동하는 조건 중 적어도 하나에 따라, 특정 입력 모드를 설정할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 특정 입력 모드가 종료되고 일정 시간 이내에 일정 입력이 감지된 경우, 상기 햅틱 레이아웃에서 참조 영역을 식별하는 동작 및 상기 입력신호 발생 위치를 식별하는 동작, 참조영역에서 상기 입력신호가 발생할 경우 특정 햅틱 피드백이 발생하는 동작, 상기 입력신호 발생 위치가 참조 영역이 아닌 경우에는 햅틱 레이아웃에서 설정한 햅틱 피드백이 발생하지 않도록 비활성화하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 참조영역에서 햅틱 피드백이 발생한 후, 일정 시간 이상 해당 참조 영역 내에서 입력신호가 유지되면, 참조모드가 해지되는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 피드백과 함께 사운드, 오디오, 음성 피드백 중 적어도 하나를 동시에 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 레이아웃, 구성요소, 햅틱 레이아웃은 2차원 혹은 3차원 객체일 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 레이아웃과 상기 햅틱 레이아웃을 토대로 상기 입력신호가 발생한 영역의 면적을 감지하는 동작, 면적에 기반하여 입력물체의 종류를 판단하는 동작, 입력 물체의 형상을 모델링하는 동작, 입력 신호가 발생한 영역의 상기 레이아웃을 토대로 가상의 물리적 공간상에서 입력물체와 레이아웃의 구성요소 간 가상의 접촉 가능 여부를 판단하는 동작, 가상의 접촉이 발생하는 영역과 그렇지 않은 영역을 판별하는 동작, 상기 판별 동작의 결과에 의해 가상의 접촉이 발생하는 영역과 그렇지 않은 영역에 대한 햅틱 레이아웃을 설정하는 동작이 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 햅틱 레이아웃 설정 동작은 상기 가상의 접촉이 발생하지 않는 영역에 대해 햅틱 피드백을 제공하지 않거나, 혹은 또 다른 햅틱 피드백을 제공하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 플릭, 호버링, 드래깅 등에 의해 입력위치 변화가 소정의 속도 이상으로 디스플레이 150 상에서 발생하는 경우, 진입이 예상되는 경로상의 구성요소에 소정 거리 이내에서 입력신호가 근접하여 발생하면, 상기 구성요소에 대응하는 햅틱 레이아웃에 따라 미리 소정의 햅틱 피드백을 발생시키는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 플릭, 호버링, 드래깅 등에 의해 입력위치 변화가 소정의 속도 이상으로 발생하는 경우, 어떠한 구성요소와 관련한 사용자 입력신호에 의해 발생한 햅틱 피드백을 유지하되, 사용자 입력신호가 구성요소 영역으로부터 소정 거리 이상 벗어났을 때에 상기 햅틱 피드백을 종료하는 동작을 포함할 수 있다. 상기 구성요소는 가상의 깊이 혹은 높이 정보를 가지며, 다양한 실시예에 따르면, 상기 장치 및 방법은 해당 깊이나 높이에 의거하여 구성된 햅틱 레이아웃에 의거하여 햅틱 피드백의 강도, 마찰력, 저항감 중 적어도 하나의 햅틱 피드백 속성을 조절하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 플릭, 호버링, 드래깅 등에 의해 입력위치 변화가 소정의 속도 이상으로 발생하는 경우, 상기 구성요소의 가상의 정점 혹은 최저점으로부터 소정의 시간 혹은 소정의 거리를 지난 이후에 상기 햅틱 피드백 속성을 최대 혹은 최소로 조절하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 햅틱 피드백은 상기 햅틱 피드백을 최대 혹은 최소로 조절하는 동작을 수행하기 직전에, 햅틱 피드백 속성을 반대로 적용하여 햅틱 피드백을 적용하는 동작을 포함할 수 있다.도 11은 다양한 실시예에 따른 원격 제어 관련 햅틱 정보 운용과 관련한 화면 인터페이스를 도시한다.
도 11을 참조하면, 전자 장치 100의 햅틱 지원 모듈 170은 특정 기능 실행에 대응하여 도시된 바와 같이 제어 오브젝트 1110을 디스플레이 150에 출력하도록 제어할 수 있다. 제어 오브젝트 1110은 적어도 하나의 오브젝트를 포함할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 제어 오브젝트 1110의 바깥 영역과 내부 영역에 서로 다른 햅틱 정보를 할당할 수 있다. 예컨대, 햅틱 지원 모듈 170은 제어 오브젝트 1110의 내부 영역 1111에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 제어 오브젝트 1110에 포함된 전원 오브젝트 경계 영역 1112에 제2 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 전원 오브젝트 내부 영역 1113에 제3 햅틱 정보를 할당할 수 있다. 제3 햅틱 정보는 예컨대 무방향성 햅틱 피드백일 수 있다.
다양한 실시예에 따르면, 제어 오브젝트 1110은 방향 오브젝트 1115를 포함할 수 있다. 햅틱 지원 모듈 170은 방향 오브젝트 1115를 선택하는 이벤트 발생 시, 방향 오브젝트 1115가 도시된 바와 같이 우측 방향성을 표시하기 위하여 방향 오브젝트 영역에서 1101, 1103, 1105, 1107과 같은 순서로 햅틱 피드백 패턴을 출력하도록 제어할 수 있다. 예컨대, 방향 오브젝트 1115 영역에서 선택 이벤트(예: 터치 신호, 호버링 신호, 혹은 터치 드래그 신호 중 하나 이상의 입력 신호)가 감지되면, 해당 신호가 발생하는 영역(예: 터치 신호를 발생시키는 입력 물체와 방향 오브젝트 영역의 접촉 영역)에 상기 우측 방향성을 나타내는 햅틱 피드백을 출력할 수 있다. 한 예로, 햅틱 지원 모듈 170은 다른 방향 오브젝트에 해당하는 입력장치의 영역(터치 스크린 혹은 터치 패드)에서 입력 신호가 발생하면, 해당 오브젝트의 방향 지시에 대응하는 방향성 햅틱 피드백을 출력하도록 제어할 수도 있다.
다양한 실시예에 따르면, 도 11에 도시된 제어 오브젝트 1110은 TV 리모컨에 대응하는 오브젝트일 수 있다. 이에 따라 햅틱 지원 모듈 170은 리모컨 UI를 구성하는 여러 버튼이나 키 영역에 서로 다른 햅틱 피드백을 지원할 수 있다. 예컨대, 햅틱 지원 모듈 170은 전원이나 OK 버튼 등의 영역에 제1 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 키들이 배치되지 않은 영역에 제2 햅틱 정보를 할당하거나 별도의 햅틱 정보를 할당하지 않을 수 있다. 햅틱 지원 모듈 170은 방향성 제시가 필요한 오브젝트 예컨대, 채널 변경이나 볼륨 변경과 관련한 오브젝트들에 대하여 방향 햅틱 피드백을 가지는 햅틱 정보를 할당할 수 있다.
다양한 실시예에 따르면, 방향 오브젝트 1115 영역에 손가락이 닿으면, 햅틱 지원 모듈 170은 제1 입력모드 구동에 따른 햅틱 피드백을 제공하며, 터치를 유지하고 일정 시간이 경과하면, 제2 입력모드 구동에 따라 채널이나 볼륨 변경을 제어할 수 있다. 여기서 햅틱 지원 모듈 170은 제1 입력모드나 제2 입력모드에서 이동이 발생하면 탐색모드로 변경되어 햅틱 피드백을 통해 각 키 오브젝트의 위치를 판별하도록 지원할 수 있다.
또 다른 실시예에 따르면, 방향 오브젝트 1115 영역에 소정 크기 미만의 입력 신호(예: 지정된 크기 미만의 세기를 가지는 터치 신호 혹은 호버링 신호)가 감지되면, 햅틱 지원 모듈 170은 제1 입력모드 구동에 따른 햅틱 피드백을 제공하며, 소정 입력 신호 세기 이상의 신호(지정된 크기 이상의 세기를 가지는 입력 신호)가 감지되면, 제2 입력모드 구동에 따라 채널이나 볼륨 변경을 제어할 수 있다. 여기서 햅틱 지원 모듈 170은 제1 입력모드나 제2 입력모드에서 입력신호 위치의 이동(예: 터치 드래그 신호 혹은 호버링이 유지되면서 이동하는 호버링 이동 신호)이 감지되면 탐색모드로 변경되어 햅틱 피드백을 통해 각 키 오브젝트의 위치를 판별하도록 지원할 수 있다.
상술한 바와 같이, 다양한 실시예에 따른 장치 및 방법은 외부 장치와 유선 혹은 무선을 통해 연결되어 원격제어를 위한 신호를 주고 받는 동작을 수행할 수 있으며, 여기서 전자 장치 100은 햅틱 모듈 180을 포함하는 터치스크린 형태의 디스플레이 150을 구비하고, 터치스크린 상에 멀티미디어를 제어하기 위한 그래픽 사용자 인터페이스를 표시할 수 있다. 상기 그래픽 사용자 인터페이스는 방향성을 표시하는 적어도 하나의 그래픽 요소를 가지고 있으며, 특정 방향성을 가진 제1 햅틱 정보를 해당 그래픽 요소가 표시되는 영역에 설정하는 동작, 해당 그래픽 요소가 표시된 영역에서 제1 사용자 입력이 감지되면 제1 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따른 장치 및 방법은　해당 그래픽 요소가 표시된 영역에서 제2 사용자 입력이 감지되면 제어신호를 유선 혹은 무선(예: IrDA, Wifi, Bluetooth, LiFi, LTE, 2G, 3G 중 하나 이상)을 통해 외부 장치(예: TV, 스마트 폰, 오디오 기기, AV 기기 중 하나 이상)에 전달하는 동작을 포함할 수 있다.
다양한 실시예에 따른 장치 및 방법은　상기 멀티미디어를 제어하는 기능은 채널 업/다운, 볼륨 업/다운, Rewind/Fast forward 중 적어도 하나를 포함할 수 있다. 예를 들어 도 11에 도시된 제어 오브젝트 1120은 멀티미디어 기능을 제어하기 위한 오브젝트일 수 있다. 이에 따라 햅틱 지원 모듈 170은 멀티미디어 제어 UI를 구성하는 적어도 하나의 버튼이나 키 영역에 서로 다른 햅틱 피드백을 지원할 수 있다. 예컨대, 햅틱 지원 모듈 170은 재생 및 일시 정지 아이콘 영역 1123에 제1 햅틱 정보를 할당할 수 있다. 한 예에 따르면 햅틱 지원 모듈 170은 재생 및 일시 정비 아이콘 영역 1123의 경계 영역 1122에 제 2 햅틱 정보를 할당할 수 있다. 이 ?, 필요한 경우 제 1 햅틱 정보와 제 2 햅틱 정보는 서로 상이한 햅틱 피드백을 출력하도록 할당될 수도 있다. 다른 예에서 지원 모듈 170은 Rewind 아이콘 영역 1124 에 좌측 방향성을 알리는 제 3 햅틱 정보, Fast forward 아이콘 영역 1125 에는 우측 방향성을 알리는 제 4 햅틱 정보를 할당할 수도 있다. 다양한 실시 예에서 제어 오브젝트 1120은 각 아이콘 영역을 제외한 배경영역 1121에 제 5 햅틱 정보를 부여할 수도 있다. 일 실시예에 따르면 배경영역 1121에 콘텐츠 표시 정보(예: 오디오 콘텐츠 정보 혹은 비디오 재생 화면, 혹은 이미지 조회 화면 중 적어도 하나)를 표시할 수도 있다.
다양한 실시 예에 따르면 햅틱 지원 모듈 170은 배경영역 1121에 표시되는 콘텐츠를 분석하고, 해당 콘텐츠와 관련된 제5 햅틱 정보를 할당할 수도 있다. 예컨대, 햅틱 지원 모듈 170은 배경영역 1121에 표시된 노래 제목 “Under the sea”을 파싱한 후 문자인식을 통해, 파싱된 문자가 물과 관련한 단어임을 인식할 수 있다. 햅틱 지원 모듈 170은 물과 관련한 햅틱 정보를 선택하여 제5 햅틱 정보로 할당할 수 있다. 예컨대, 상기 제 5 햅틱 정보는 끈적끈적한 질감(sticky) 또는 촉촉한 질감(moisture)를 제공하기 위한 햅틱 정보가 될 수 수 있다.
햅틱 지원 모듈 170은 상기 콘텐츠 분석을 위해 문자인식, 필기인식, 이미지 인식기법 중 적어도 하나를 사용할 수 있고, 콘텐츠와 관련한 메타데이터(예: 음악콘텐츠의 ID3Tag, JPEG 파일의 EXIF, 비디오의 caption 정보, 음악의 가사 정보 중 하나 이상) 분석을 통해 콘텐츠 분석을 수행할 수 있다.
다양한 실시예에 따르면 상기 콘텐츠 분석은 햅틱 지원 모듈 170에서 처리할 수도 있다. 다양한 실시 예에 따르면, 햅틱 지원 모듈 170은 원격 장치(예: 서버, 스마트 폰, 웨어러블 장치, 노트북, PC 중 적어도 하나)에 유선 혹은 무선으로 해당 콘텐츠 혹은 키워드나 문장을 전달하고, 상기 원격 장치에서 분석한 결과를 수신함으로써 콘텐츠 분석에 따른 햅틱 정보를 설정할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 콘텐츠 분석 결과와 이에 대응하는 햅틱 정보를 연관지어 메모리에 저장할 수 있다. 햅틱 지원 모듈 170은 새로운 콘텐츠 분석에 대한 결과가 수집되면 메모리에 저장된 연관 햅틱 정보를 기반으로 콘텐츠 분석 결과에 따른 햅틱 정보 할당을 설정할 수도 있다.
다양한 실시예에 따른 장치 및 방법은　상기 해당 그래픽 요소가 표시된 영역을 둘러싸고 있는 소정의 면적을 가진 경계 영역에서 사용자 입력이 감지되면 제2 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작을 포함할 수 있다.　
다양한 실시예에 따른 장치 및 방법은　상기 해당 그래픽 요소가 표시된 영역 이외에 영역에서 사용자 입력이 감지되면 제1 햅틱 정보와 다른 햅틱 피드백을 제공하는 동작을 포함할 수 있다.　　
도 12는 다양한 실시예에 따른 가상 키 버튼 관련 햅틱 정보 운용과 관련한 도면이다.
도 12를 참조하면, 다양한 실시예에 따른 전자 장치 100은 가상 키보드를 운용하는 동작에서 물리 키보드의 표면 질감을 제공할 수 있다. 예컨대, 도 12의 1210에 나타낸 바와 같이 물리적인 키보드의 키의 횡단면은 키 상단의 손가락 접촉면이 평평하거나 오목할 수 있다. 또한 도 12의 1220은 물리 키보드의 종단면의 형태를 보여준다. 이러한 구조는 손가락의 운동 방향 및 접촉 위치를 고려할 때 보다 오타를 줄이기 위한 것이다.
전자 장치 100은 가상 키보드에서 물리적인 키보드와 유사한 질감을 모사(시뮬레이트)하여 도 12의 1230에 나타낸 바와 같이 가상 키보드의 특정 가상 키 1234를 구성하는 키 경계 영역 1231과 키 내부 영역 1232에 각기 다른 햅틱 피드백을 제공할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 경계 영역에 손가락이 놓이거나 혹은 호버링되는 경우 등과 같이 입력이 감지되는 경우 제1 햅틱 정보에 대응하는 제1 햅틱 피드백을 제공하고, 그렇지 않은 경우에는 제2 햅틱 정보에 대응하는 제2 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 경계선 감지와 관련하여 햅틱 피드백을 제공할 수 있다.
일 실시예에서는, 입력이 감지된 영역에 경계 영역이 포함되면, 제 1 햅틱 피드백을 제공할 수 있다. 다른 일 실시예에서는, 입력이 감지된 영역의 면적에서 키 경계 영역 1231의 비율이 소정의 기준 이상 또는 이하인 경우, 혹은 입력이 감지된 영역의 중앙점으로부터 키 경계 영역 1231 위치까지의 거리가 소정 거리 이내인 경우에 경계 영역이 감지되는 경우로 판단할 수 있다. 햅틱 지원 모듈 170은 입력이 감지된 영역 내에 키 경계 영역 1231과 키 내부 영역 1232 모두에 대해 각기 다른 햅틱 피드백들을 동시에 제공할 수도 있으며, 소정의 기준에 따라 키 경계 영역 1231 감지 여부를 판별하고, 이에 따라 하나의 피드백만 제공할 수도 있다.
제1 햅틱 피드백은 제2 햅틱 피드백과 주파수, 진동길이, 진동 패턴, 진동 강도, 진동 방향성, 높이, 반발력, 온도, 공압, 정전압 세기 중 적어도 하나가 다를 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 키 경계 영역 1231에서 일정 크기 이상의 강도를 가지거나 거친 재질을 느낄 수 있는 제1 햅틱 피드백을 제공하고, 키 내부 영역 1232에서 매끄러운 재질이나 강도가 일정 크기 이하인 제2 햅틱 피드백을 제공할 수 있다. 또 다른 예로 햅틱 지원 모듈 170은 마이스너 소체나 파치니언 소체를 자극하는 주파수를 제1 햅틱 피드백 구현에 사용하고, 메르켈 디스크 (Merkel's disk)를 자극하는 주파수를 제2 햅틱 피드백 구현에 사용할 수도 있다. 이 경우 햅틱 지원 모듈 170은 제1 햅틱 피드백을 기반으로 표면상의 돌출 부분이 미세한 모양의 가장 자리를 지나는 느낌 혹은 진동을 사용자가 상대적으로 용이하게 획득하도록 지원할 수 있다. 햅틱 지원 모듈 170은 제2 햅틱 피드백을 기반으로 터치하는 표면의 미세한 압력 분포를 사용자가 느끼도록 지원할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 루피니 말단(Ruffini's Ending)에 05~400Hz주파수를 제공하여 표면을 문지르는 등 피부가 늘어나거나 당김의 느낌을 가지도록 지원할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 키 경계 영역 1231에 이벤트 발생 시 제1 햅틱 피드백을 제공하고, 키 내부 영역 1232에 이벤트 발생 시 제2 햅틱 피드백을 제공하며, 키 바깥 영역 1233에 이벤트 발생 시 제3 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 바깥 영역 1233은 강도가 일정 값 이하인 제3 햅틱 피드백을 출력하고, 제1 햅틱 피드백은 강도가 일정 값 이상인 피드백을 가지도록 제어하며, 제2 햅틱 피드백은 중간 강도의 피드백이 출력되도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 구분된 영역별로 일정 크기 햅틱 피드백을 제공하는 방식 이외에, 연속적으로 햅틱의 강도나 주파수 변화를 제공할 수도 있다. 키 내부 영역 1232에서 햅틱 지원 모듈 170은 굴곡 느낌과 관련하여 연속적으로 변하는 주파수나 진동 강도에 따른 햅틱 피드백을 출력하도록 제어할 수 있다.
각 변에 위치한 바깥 영역 1233에 대한 제3 햅틱 피드백은 제공하는 면적과 피드백의 주파수, 강도 등의 증감 등이 각각 달리 구성될 수도 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 햅틱 피드백과 관련한 키 경계 영역 1231은 표시된 GUI 영역보다 넓게 설정될 수 있다.
가상 키보드를 위한 레이아웃은 키, 키보드 배경 이미지, 문자, 가상 키보드 경계선, 각 키의 경계선, 각 키 위에 있는 문자, 숫자, 기호, 도형 등 다양한 구성요소를 포함할 수 있다. 이에 대응하는 햅틱 레이아웃은 상기 레이아웃의 구성요소와 동일한 영역을 가지는 햅틱 구성요소일 수도 있으나, 서로 다를 수 있다. 여기서 햅틱 지원 모듈 170은 하나의 키를 키 내부 영역 1232, 키 경계 영역 1231, 바깥 영역 1233으로 구분하고, 서로 다른 햅틱 구성요소로 나눌 수 있다. 한 실시예에 따르면, 키 내부영역 1232에 함께 표시된 상기 다양한 구성요소 에 해당하는 영역을 위해 또 다른 햅틱 구성요소로서 지정할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 손가락의 초기 위치로 자주 사용되는 특정 키들, 예를 들어 F와 J키의 영역에 또 제4 햅틱 정보를 설정할 수 있다. 제4 햅틱 정보는 돌기나 홈의 모양을 느낄 수 있도록 하거나 특정한 진동 패턴, 진동의 방향성, 온도차, 공압, 어레이 핀의 높이나 운동 방향 등을 이용하여 표현되는 햅틱 피드백에 대응하는 정보일 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 피아노 건반의 흑백 건반들에 대응하여 다양한 햅틱 정보 할당 및 햅틱 피드백 출력을 제공할 수도 있다. 또한, 햅틱 지원 모듈 170은 현악기의 현들의 위치 및 진동하는 모양 등을 표현하는 방법과 관련하여 햅틱 정보 할당 및 햅틱 피드백 제공을 지원할 수 있다. 예컨대, 햅틱 지원 모듈 170은 기타의 6번 줄에 대응하는 제1 햅틱 정보를 1번 줄에 할당된 제2 햅틱 정보보다 강한 햅틱 피드백을 제공하는 형태로 설정할 수 있다.
다양한 실시예에 따르면, force feedback이 가능한 햅틱 모듈 180 (예: 복수개 피에조 소자에 의한 높낮이 변형 및 진동 피드백이 가능한 방식, 전자석 방식, 어레이 핀 방식 중 하나 이상)이 제공되는 경우, 햅틱 지원 모듈 170은 반발력 관련 햅틱 피드백을 제공할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 기계식, 멤브레인식, 팬터그래프 방식 등 물리적 키보드의 반발력 계수에 맞추어 force feedback을 제공할 수 있다. 추가로 또는 대체로 햅틱 지원 모듈 170은 주파수나 진동수 조정을 수행하여 매끄러운 느낌, 거친 느낌 등의 촉각적인 질감을 제공하여 force feedback과 결합한 형태로 제공할 수도 있다.
도 13a는 다양한 실시예에 따른 페이지 전환 관련 햅틱 정보 운용을 설명하는 도면이다.
도 13a를 참조하면, 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 PTE(page turning effects)를 통해 자연스러운 책 페이지 넘기는 UI 효과를 제공할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 GUI에 의한 페이지를 넘기는 모양에 대응하여 특정 햅틱 피드백을 제공할 수 있다. 한 실시예에 따르면, 전자 장치 100의 디스플레이 150은 상태 1310에서와 같이 페이지가 넘어가기 이전의 페이지 형태를 나타내는 레이아웃 오브젝트 1301을 출력할 수 있다. 또한 전자 장치 100의 디스플레이 150은 상태 1320에서와 같이 페이지가 넘어가는 과정의 페이지 형태를 나타내는 레이아웃 오브젝트 1302를 출력할 수 있다.
물리적인 종이책의 페이지를 넘길 경우 우선 페이지의 바깥 변을 손가락으로 당긴 후 넘김 동작을 하게 된다. 이때에는 종이가 안쪽으로 굽혀지면서 손가락은 해당 페이지의 뒷면을 접촉하게 된다. 이러한 동작에서 페이지의 바깥 변을 손가락으로 접촉할 경우에는 페이지의 변을 접촉하게 되므로 거친 느낌을 받게 되며, 이후 페이지를 넘기면서 페이지의 면에 접촉하면 종이의 부드러운 느낌을 감지하게 된다. 이에 대응하도록, 햅틱 지원 모듈 170은 책의 모서리나 꼭짓점 부분을 터치나 터치 드래그 이벤트를 통해 접촉하는 제1 이벤트 1311에 대응하여 상대적으로 거칠거나 강한 느낌을 주는 제1 햅틱 피드백 출력을 제어할 수 있다. 상태 1320 및 상태 1330에서와 같이 페이지가 안쪽으로 말리면서 손가락이 페이지의 뒷면에서 미끄러지면서 접촉함에 대응하여, 햅틱 지원 모듈 170은 제2 이벤트 1321에 대응하여 상대적으로 약하거나 부드럽거나 매끄러운 느낌을 주는 진동, 주파수, 전자기적 움직임, 메커니컬(Mechanical)한 움직임, 공압 중 하나 이상을 가지는 제2 햅틱 피드백 출력을 제어할 수 있다. 햅틱 지원 모듈 170은 상태 1340에서와 같이 페이지가 완전히 넘어가면 별도의 햅틱 피드백을 제공하지 않을 수 있다.
다양한 실시 예에 따르면, 제 1 이벤트 1311에 해당하는 사용자의 입력 (예: 터치 드래그 이벤트)에 의해 페이지가 굽혀지는 동안, 상기 사용자 입력의 이동 거리 혹은 페이지 상의 위치 혹은 제 1 이벤트 유지 시간 중 적어도 하나를 기반으로 제 1 햅틱 피드백의 강도나 거친 질감의 크기 또는 출력 시간 중 적어도 하나를 다르게(예: 이전보다 크게 또는 이전보다 작게) 출력할 수도 있다. 이를 기반으로 햅틱 지원 모듈 170은 종이가 굽혀지는 동안 점진적으로 반탄력(또는 반발력, 탄성력 등)이 강해지는 물리적 현상을 표현할 수 있다. 예컨대, 사용자의 터치 드래그 이벤트에 의해 페이지가 접혀지는 동안, 햅틱 지원 모듈 170은 제 1 이벤트 1311에서 제 2 이벤트 1321로 변경되기 직전에 제 1 햅틱 피드백의 강도나 거친 질감을 최대치가 되도록 점차 증가하도록 설정할 수 있다. 상기 증가정도는 1차 선형적으로 혹은 로그함수적, 혹은 지수함수적으로 증가하도록 설정할 수도 있다.
도 13b는 다양한 실시예에 따른 페이지 모서리 접힘 관련 햅틱 정보 운용을 설명하는 도면이다.
도 13b를 참조하면 사용자 입력에 의해 발생한 제1 이벤트(예: 표시된 페이지의 모서리 영역에서 발생한 이벤트)가 터치 패널 상에서 이동(예: 페이지의 내측 방향으로 이동)하는 경우, 햅틱 지원 모듈 170은 페이지의 적어도 일부(예: 페이지의 우측 모서리 등)가 상태 1351 내지 상태 1358까지 접히는 형태로 출력되도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 상태 1351 내지 상태 1358까지에서와 같이 접히는 정도에 대응하여 출력되는 햅틱 피드백이 다르도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 1351에서 접히면서 상태 1357까지 페이지의 적어도 일부가 접히는 동안 제 1 햅틱 피드백의 강도 또는 거칠기 정도 중 적어도 하나를 증가되도록 제어하고, 페이지의 꼭짓점과 변이 사용자 입력 위치에 포함되지 않는 상태 1358에서는 입력 이벤트 변화로 판단하여 제 2 햅틱 피드백을 제공할 수 있다. 상태 1357은 꼭짓점이나 변이 사용자 입력 이벤트가 발생한 위치나 영역에 포함되며, 상대 1358로 벗어나기 직전이므로 햅틱 지원 모듈 170은 거친 질감 또는 강도 중 적어도 하나가 최대가 되는 햅틱 피드백을 출력하도록 제어할 수도 있다.
상술한 도 13a 또는 도 13b에서는 넘겨지는 페이지의 뒷면이 보이도록 페이지의 모서리가 안쪽으로 굽혀지면서 넘어가는 형태를 예시하였으나, 페이지의 모서리가 반대로 넘겨지면서 페이지가 볼록하게 굽혀진 후, 굽혀진 탄력에 의해서 페이지가 넘어가도록 표현될 수도 있다.
한 실시 예에 따르면, 도 13a에서 햅틱 지원 모듈 170은 최초에 넘겨지는 페이지의 변 위치에 제1 이벤트 1311이 발생할 때 소정의 제 1 햅틱 피드백을 주되, 페이지 끝을 잡고 드래깅하는 제2 이벤트 1321이 발생하는 동안 탄성을 모사하기 위해 점점 거친 느낌의 강도를 증가시키고, 페이지가 최종적으로 튕길 때(예: 제 1 이벤트에서 제 2 이벤트로 변화하는 시점) 일정 크기 이상의 거치고 강한 햅틱 피드백을 제공할 수 있다.
다양한 실시예에 따르면, 여러 페이지를 한꺼번에 넘기는 동작과 햅틱 피드백을 지원할 수도 있다. 예를 들어 햅틱 지원 모듈 170은 도 13a의한 페이지의 변에서 제 1 사용자 입력에 의해 제1 이벤트 1311가 발생하고, 상기 제1 이벤트 1311의 유지 시간에 따라 넘길 페이지 수를 점차 증가시키며, 이에 따라 다양한 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은, 한 페이지의 변에서 터치 홀드 이벤트가 발생하면 제 1 햅틱 피드백을 출력하고, 최초 이벤트 발생지점부터 소정의 거리 이내 영역에서 상기 터치 홀드 이벤트가 유지되면, 터치 홀드 이벤트 발생 시각(T)부터 이후 발생한 하나 이상의 터치 홀드 이벤트들 중 마지막 터치 홀드 이벤트 발생 시각(Tn)의 터치 유지시간(Td = Tn - T)을 측정하여 소정의 유지 시간(예: 지정된 시간 Tm)보다 같거나 크면 제 2 햅틱 피드백을 출력하고, T = Tn으로 초기화할 수 있다. 만약 Td가 Tm보다 작다면, T를 갱신하지 않고, Tn이후에 발생한 새로운 터치 홀드 이벤트 발생 시각을 Tn으로 갱신하여 Td를 측정한다. 이때, 제 2 햅틱 피드백은 제 1 햅틱 피드백과 동일할 수도 있고, 제 1 햅틱 피드백의 속성 (예: 강도, 진동 유지시간 중 하나 이상)을 변화시킨 것일 수도 있다.
다른 예로, 한 페이지 변을 포함하는 소정 범위의 영역내에서 터치 신호가 연달아서 발생할 때마다 제 2 햅틱 피드백을 출력할 수도 있다. 이후 햅틱 지원 모듈 170은 페이지 넘김 동작(예: 터치 드래깅 혹은 플릭(flick) 동작)이 발생했을 때, 넘겨지는 페이지 수를 증가시키도록 제어할 수 있으며, 증가한 페이지 수에 대응하여 제 3 햅틱 피드백(예: 페이지 수에 따라 질감의 거칠기나 진동 강도의 증가)을 출력할 수도 있다. 상기 예에 따르면, 페이지 한 변에서 터치 홀드를 유지할 때마다, 제 2 햅틱 피드백에 의해 넘길 페이지의 수나 페이지 증가 상황을 사용자가 감지할 수 있고, 터치 드래깅에 의해 한꺼번에 페이지를 넘기는 동작을 수행시 햅틱 지원 모듈 170은 한 페이지를 넘기는 경우와 다른 제 3 햅틱 피드백을 출력하여, 사용자가 다양한 햅틱 피드백을 경험할 수 있도록 지원한다.
상기 사용자 입력(예: 제1 이벤트 1311 또는 제2이벤트 1321)이 감지된 구성 요소의 영역 판단은, 사용자 입력 신호가 감지된 입력 장치(예: 터치스크린) 영역상의 소정의 한 점 식별, 혹은 입력 신호가 감지된 영역의 면적에서 가장 큰 비율을 차지하는 구성요소 식별, 혹은 사용자 입력 신호가 감지된 입력 장치 영역상의 소정의 한 점에서 근접한 구성요소 식별, 또는 사용자 입력 신호가 감지된 입력감지 장치 영역상의 소정의 한 점을 포함하는 임의의 영역에서 가장 큰 비율을 차지하는 구성요소 식별, 특정한 구성요소의 적어도 일부가 입력신호가 감지된 영역 상에 존재하는 경우 중 적어도 하나를 기반으로 수행될 수 있다. 경계 영역이 단순히 하나의 선분인 경우라고 하더라도, 그 선분의 일부가 손가락에 의해 덮여서 입력 신호를 감지하는 영역에 존재하는 경우 햅틱 지원 모듈 170은 경계 영역을 위한 햅틱 피드백을 발생시킬 수 있다.
도 13c는 다양한 실시 예에 따른 페이지 넘김 관련 햅틱 정보 운용을 설명하는 도면이다.
도 13c를 참조하면, 햅틱 지원 모듈 170은 상태 1371에서 상태 1377까지에 나타낸 바와 같이 넘겨지는 페이지의 꼭짓점이나 변을 누른 채로 뒷 페이지 위를 미끄러지다가 손가락에 의한 터치 이벤트 1311이 넘겨지는 페이지의 꼭짓점이나 변을 벗어나는 경우, 페이지의 굽혀졌던 탄력으로 페이지가 튕기면서 넘겨지도록 표시할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 터치 이벤트 1311을 발생시키는 터치 물체에 뒷 페이지의 표면에 대응하는 질감에 대응하는 햅틱 피드백을 제공할 수 있다. 또한 햅틱 지원 모듈 170은 넘겨지는 페이지의 굽힘의 정도 변화에 대응하여 터치 이벤트 1311을 발생시키는 터치 물체에 제공되는 저항감의 크기를 조절할 수 있다. 예컨대, 햅틱 지원 모듈 170은 넘겨지는 페이지가 상태 1375에서 최대 저항감에 대응하는 햅틱 정보를 터치 이벤트 1311 지점에서 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 상태 1377에서 저항감 관련 햅틱 요소를 제거할 수 있다.
또 다른 실시예에 따르면, 터치 물체를 이용하여 디스플레이에 표시된 우측 페이지의 우측 부분을 누르고, 좌측 페이지 영역까지 손가락을 누른 채 이동(예: 터치 드래그 이벤트)시키는 터치 이벤트 1311이 발생하면, 햅틱 지원 모듈 170은 상기 우측 페이지가 볼록하게 말리면서, 우측 페이지의 우측 변이 좌측 페이지 영역 위에 위치하는 형태로 표시할 수 있다. 이러한 상황에서 이동을 멈추고, 터치 물체를 떼거나 혹은 이전에 이동하던 방향과 다른 방향(예: 우측 방향)으로 소정 속도 이상으로 빠르게 이동하는 터치 이벤트 1311이 발생하면, 햅틱 지원 모듈 170은 말려있던 페이지가 좌측으로 넘어가는 형태로 표시할 수 있다.
또 다른 실시 예에 따르면, 터치 물체가 디스플레이 상에서 페이지를 선택하여 이동하다가 이동을 멈춘 상태에서 이전에 이동하던 방향과 다른 방향으로 소정 속도 미만(지정된 속도 이하)으로 느리게 이동하는 터치 이벤트(또는 호버링 이벤트) 1311이 수신되면, 햅틱 지원 모듈 170은 말려있던 페이지를 원래대로 우측으로 복원되는 형태로 표시하도록 제어할 수도 있다. 다양한 실시 예에 따르면, 사용자 입력에 의한 페이지 넘김 동작 중 이동을 멈추고 손을 떼거나 이전과 다른 방향으로 이동하는 터치 이벤트 1311이 수신되면, 햅틱 지원 모듈 170은 이벤트의 이전 이동 동작에 따른 이동 거리 혹은 페이지 영역에서 터치 이벤트 1311의 위치에 따라 페이지가 넘어가거나 원래 상태로 복귀하는 형태로 표시할 수도 있다. 예컨대, 손가락으로 우측 페이지의 우측 변 영역을 선택하여 좌측으로 이동하다가 우측 페이지의 너비의 1/2을 넘지 않은 상태에서 손가락을 떼는 형태의 터치 이벤트 1311이 발생하면, 햅틱 지원 모듈 170은 원래 상태로 페이지가 복귀하는 형태로 표시할 수 있다. 다양한 실시 예에 따르면, 햅틱 지원 모듈 170은 상기 1/2이상 거리를 좌측으로 이동한 후 손가락을 떼는 형태의 터치 이벤트 1311이 발생하면, 햅틱 지원 모듈 170은 페이지를 좌측으로 넘어가는 형태로 표시할 수도 있다. 상술한 표시 동작에 대응하여, 햅틱 지원 모듈 170은 적어도 하나의 햅틱 피드백 또는 점진적으로 크기나 강도가 변하는 햅틱 피드백 등을 터치 이벤트 1311이 발생한 지점 또는 해당 지점을 기준으로 일정 범위에 제공할 수 있다. 상술한 바와 같이 다양한 실시예에 따른 장치 및 방법은 페이지의 시각적인 구성요소들이 배치되는 제1 레이아웃을 설정하는 동작, 페이지의 제1 레이아웃을 구성하는 시각적인 구성요소들의 영역에 따라 적어도 하나의 햅틱 피드백을 설정하는 제1 햅틱 레이아웃을 설정하는 동작, 제1 사용자 입력을 감지하는 동작 및 제1 사용자 입력이 감지된 구성요소의 영역에 따라 상기 소정의 제1 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 제1 사용자 입력이 발생한 위치로부터 소정의 거리 이상 이동하는 제2 사용자 입력을 감지하는 동작, 이에 따른 위치의 변화를 감지하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은　제2 사용자 입력에 따라 페이지 모양이 변함을 표현하기 위해 제1 레이아웃이 변형되는 제2 레이아웃을 설정하는 동작, 상기 제2 레이아웃에 따른 제2 햅틱 레이아웃을 설정하는 동작, 상기 제2 사용자 입력이 감지된 구성요소의 영역에 따라 상기 소정의 제2 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은　상기 제1 레이아웃에서 페이지의 상, 하, 좌, 우변, 혹은 꼭짓점 영역 중 적어도 하나의 영역을 적어도 일부 포함하는 경계 영역을 제1 햅틱 레이아웃의 햅틱 구성요소로서 해당 영역에 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 경계 영역의 적어도 일부를 포함하는 영역에서 상기 제1 사용자 입력이 감지되고, 소정의 유지시간이 경과함에 따라 상기 제1 햅틱 피드백의 속성을 변경하거나, 제 2 햅틱 피드백 혹은 제 3 햅틱 피드백 중 하나 이상을 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 경계 영역의 적어도 일부를 포함하는 영역에서 상기 제1 사용자 입력이 감지되고, 소정의 유지시간이 경과함에 따라 페이지 넘김 효과의 넘겨지는 페이지 수가 증가하도록 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은　상기 제2 레이아웃에서 페이지의 상, 하, 좌, 우변, 혹은 꼭짓점 영역 중 적어도 하나의 영역을 적어도 일부 포함하는 경계 영역을 제2 햅틱 레이아웃의 햅틱 구성요소로서 해당 영역에 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은　상기 경계 영역의 적어도 일부를 포함하는 영역에서 상기 제2 사용자 입력이 감지되는지 판단하는 동작 및 경계 영역인 경우와 아닌 경우에 따라 서로 다른 제2 햅틱 피드백을 발생하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 제2 햅틱 피드백은 상기 경계 영역의 적어도 일부를 포함하는 영역에서 상기 제2 사용자 입력이 감지되고, 소정의 유지시간이 경과함에 따라 페이지 넘김 효과의 넘겨지는 페이지 수가 증가하도록 설정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은　상기 페이지 수에 따라 제2 햅틱 피드백의 주파수, 진동유지시간, 진동 패턴, 진동 강도, 진동 방향성, 수직운동 높이, 반발력, 온도변화, 공압, 정전압 세기 중 적어도 한 가지 이상을 포함하여 변경하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 전자 장치는 터치스크린이 장착된 전자책 리더일 수 있다.　　
도 14는 다양한 실시예에 따른 입력 정보에 따른 햅틱 정보 운용과 관련한 도면이다.
도 14를 참조하면, 다양한 실시예에 따르면, 제1 외부 장치 102a는 제1 전자 장치 100과 블루투스(Bluetooth)나 와이파이(wifi)와 같은 로컬 네트워크를 통해 연결되고, 제1 전자 장치 100은 제2 전자 장치 104와 GSM, CDMA, 4G, 5G 등과 같은 광대역 네트워크 162를 통해 연결될 수 있다. 상술한 구조에서 전자 장치들과 외부 장치들은 터치 입력과 햅틱 피드백 출력을 지원할 수 있다. 다른 실시예에 따르면 제1 외부 장치 102a는 제1 전자 장치 100과 광대역 네트워크 162를 통해서 연결될 수도 있다. 다른 실시예에 따르면, 제1 전자 장치 100은 제2 전자 장치 104와 무선 로컬 네트워크를 통해 연결될 수도 있다.
다양한 실시예에 따르면, 제1 외부 장치 102a에 사용자 입력 (예: 터치 입력, 터치 드래그, 호버링, 터치 홀드 중 하나 이상) 이벤트가 발생하면, 제1 외부 장치 102a는 입력 물체를 인식하고, 입력 물체 및 입력 제스처에 대응하는 햅틱 정보를 검출하고, 이를 제1 전자 장치 100에 전달할 수 있다. 제1 전자 장치 100은 수신된 햅틱 정보를 출력할 수 있다. 또는 제1 전자 장치 100은 수신된 햅틱 정보를 제2 전자 장치 104에 전달할 수 있다. 햅틱 정보를 제공받은 제2 전자 장치 104는 해당 햅틱 정보에 대응하는 햅틱 피드백을 출력할 수 있다. 또는 제2 전자 장치 104는 해당 햅틱 정보를 제2 외부 장치 102b에 전달할 수 있다. 제2 외부 장치 102b는 수신된 햅틱 정보에 따른 햅틱 피드백을 출력할 수 있다.
다양한 실시예에 따르면, 전자 장치를 이용하여 타인과 통화하는 과정에서 손가락으로 특정 메시지를 작성하면, 작성된 메시지는 다른 전자 장치에 전송함과 아울러 그에 대응하여 햅틱 정보 전송을 지원할 수 있다. 이 때 입력한 수단이 손가락이 아니라 펜이라면 손가락 보다 좁은 면적에서 보다 약한 세기의 진동 패턴을 가지는 햅틱 정보를 전송할 수 있다. 예컨대, 펜에 의해 "I love you"라는 문자가 제1 외부 장치 102a 또는 제1 전자 장치 100에 입력되면 제2 전자 장치 104 또는 제2 외부 장치 102b 중 적어도 하나에 상기 문자가 써짐과 아울러 입력 수단에 대응하는 햅틱 정보에 따른 햅틱 피드백 출력이 수행될 수 있다. 이 동작에서 문자 써짐과 햅틱 피드백 출력 시기가 동기화될 수 있다.
일 실시예에 따르면 제1 전자 장치 100 또는 제2 전자 장치 104, 또는 외부 장치 102a 혹은 102b 중 적어도 하나는 입력되는 입력 정보와 관련된 제스처, 입력강도, 입력 위치, 입력 속도, 입력 면적을 입력 수단에 따라 다른 햅틱 피드백을 제공하는 햅틱 정보를 설정할 수 있다. 예를 들어 제1 전자 장치 100 또는 제2 전자 장치 104 중 적어도 하나는 손가락 관절을 이용한 노크에 대응하는 햅틱 정보, 손가락으로 문지르거나 손가락으로 잡는 위치, 잡는 세기 중 적어도 하나에 따라 햅틱 정보를 다르게 설정할 수 있다. 예컨대, 압력센서(pressure sensor)나 터치센서(예: capacity 또는 저항막 센서)가 베젤에 내장된 제 1 전자장치는 사용자가 상기 전자장치를 쥐는 세기를 터치 면적 크기나 압력값 혹은 capacitnace값의 세기로 판단할 수 있다. 이를 기반으로, 터치스크린에서 제스처 입력에 의한 입력신호가 감지되면, 제 1 전자장치 100은 제 2 전자장치 104에 쥐는 세기 정보와 제스처 관련 정보를 전달할 수 있다. 세기 정보 또는 제스처 관련 정보 중 적어도 하나를 수신한 제 2 전자장치는 햅틱 정보로서 쥐는 세기 정보에 비례하는 강도의 햅틱 피드백 또는 제스처 정보에 대응하는 소정의 햅틱 피드백 중 적어도 하나와 관련한 정보를 제공할 수 있다.
한 실시 예에 따르면 전달된 햅틱 피드백과 관련한 정보는 제2 전자 장치 104 또는 제2 외부 장치 102b의 햅틱 모듈을 통해 재생될 수 있다. 예를 들어 제2 외부 장치 102b의 뒷면에 배치된 적어도 하나의 햅틱 모듈 180을 통해 햅틱 정보에 대응하는 햅틱 피드백이 출력될 수 있다. 다양한 실시예에 따르면, 전면의 디스플레이 장치와 통합된 햅틱 재생 장치를 통해 햅틱 정보에 대응하는 햅틱 피드백이 출력될 수도 있다.
도 15는 다양한 실시예에 따른 시계 기능 실행 정보에 따른 햅틱 정보 운용과 관련한 도면이다.
도 15를 참조하면, 다양한 실시예에 따르면, 전자 장치 100의 햅틱 지원 모듈 170은 상태 1510에서와 같이 디스플레이 150 영역에 시간 정보를 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 전자 장치 100의 일정 영역에 터치 이벤트 (예: 터치 다운, 터치 업, 터치 드래그 이벤트 혹은 터치 홀드 이벤트 중 하나 이상)가 발생하거나 호버링 이벤트가 발생하면, 해당 시간에 대응하는 햅틱 피드백 정보를 출력할 수 있다. 상태 1510에서와 같이 전자 장치 100은 시간 정보를 분침과 시침을 이용하여 표시하거나 또는 숫자로 표시할 수 있다.
햅틱 지원 모듈 170은 지정된 이벤트가 발생하면, 현재 시간 정보를 획득할 수 있다. 햅틱 지원 모듈 170은 현재 시간 정보에 대응하는 위치에 특정 햅틱 정보에 대응하는 햅틱 피드백 출력을 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 상태 1520에서와 같이 분침 영역 1522에 대응하는 제1 햅틱 피드백 및 시침 영역 1521에 대응하는 제2 햅틱 피드백을 출력하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 시침 영역 1521에서 터치나 호버링이 감지되면, 제2 햅틱 피드백을 제공하고, 분침 영역 1522에서 터치가 감지되면 제1 햅틱 피드백을 제공할 수 있다. 시침 영역 1521이 분침 영역 1522보다 길이나 면적이 짧으므로 탐색 모드에 의해 시침 영역 1521과 분침 영역 1522 구분이 용이하게 수행될 수 있다. 이 동작에서 햅틱 지원 모듈 170은 방향성을 가진 햅틱 피드백을 출력하여 시간 확인을 용이하게 인지하도록 지원할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 상태 1530에서와 같이 문자판 영역 1503 중 해당하는 시침 문자판 1531과 분침 문자판 1532에 서로 다른 제1 햅틱 피드백 및 제2 햅틱 피드백을 출력하도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 제2 햅틱 피드백을 제1 햅틱 피드백에 비해 보다 강한 강도로 제공하거나 보다 거칠게 표현함으로써 보다 직관적인 구분이 가능하도록 지원할 수 있다. 혹은 햅틱 지원 모듈 170은 문자판 영역 1503의 햅틱 피드백 영역 크기를 다르게 적용할 수 있다. 예컨대, 햅틱 지원 모듈 170은 분침 문자판 1532 영역보다 시침 문자판 1531 영역을 상대적으로 넓게 설정하고, 설정된 해당 영역 전체 혹은 해당 영역 중 터치가 발생한 영역에 한하여 지정된 햅틱 피드백을 제공할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 상태 1540에서와 같이 시침과 분침의 위치에 대응하는 베젤 영역 1504 상에서 햅틱 피드백을 출력하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 베젤 영역 1504 중 시침 지시 베젤 영역 1541에 제1 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 분침이 가리키는 분침 지시 베젤 영역 1542에 제2 햅틱 피드백을 출력하도록 제어할 수 있다.
상술한 예제들에서 햅틱 지원 모듈 170은 시침 영역과 분침 영역 혹은 문자판 영역에서 제공하는 햅틱 피드백들을 순차적으로 제공할 수 있다. 이를 기반으로, 햅틱 지원 모듈 170은 시침과 분침이 겹치는 경우 용이한 구분을 지원할 수 있다.
상술한 실시예들에서 햅틱 피드백은 제1입력 모드 혹은 탐색모드(예: 터치 드래그나 호버링 이동시 시침 및 분침 영역에 한해 햅틱 피드백을 제공하거나 시침 분 분침 영역이 아닌 경우 방향성 햅틱 피드백을 제공하는 모드)에서 제공되는 것으로서 제2 입력모드에서는 시간을 변경하는 동작을 수행할 수 있다. 또한 상기 제1 입력모드나 탐색모드에서 디스플레이는 켜지지 않는 전력절약모드(power saving mode) 혹은 스크린 락 모드(screen lock mode)를 유지할 수도 있다. 이를 위하여 전자 장치 100에서 저전력 구동을 지원하는 센서 허브를 통해 근접하는 물체의 근접도가 소정 기준 이내이거나, 스크린 off 상태에서 스크린 on 키가 눌리지 않은 상태에서 터치 감지 장치에서 입력이 발생하는 경우에 자동으로 제1 입력모드나 탐색모드로 설정할 수 있다. 또한 각 영역의 경계 영역에 또 다른 햅틱 피드백을 제공할 수도 있다. 다양한 실시예에 따르면, 지정된 특정 이벤트 발생에 대응하여 전자장치 100은 디스플레이의 턴-오프 상태를 유지(예: 슬립 모드 유지 혹은 디스플레이 발광부만 꺼짐 상태유지)하면서 시간 정보를 햅틱 피드백 기반으로 제공할 수 있다. 이에 따라, 사용자는 디스플레이 확인 없이 햅틱 피드백에 기초하여 시간 정보를 확인할 수 있다. 상기 특정 이벤트의 예로는, 상기 전자장치 100에서(예: 디스플레이 영역 또는터치 가능 베젤 영역) 터치 홀드 이벤트 발생, 상기 전자 장치 100의 움직임에 의한 움직임 신호 감지(예: 내장된 가속도 센서나 자이로 센서가 수집한 소정 강도 이상의 움직임 신호), 근접센서에 의한 물체 접근 감지(예: 특정 물체와 상기 전자 장치의 디스플레이간 거리가 소정거리 이내인 상태) 중 적어도 하나의 이벤트를 포함할 수 있다.
도 16은 다양한 실시예에 따른 외부 환경 및 헬스 케어 기능 관련 실행 정보별 햅틱 정보 운용과 관련한 도면이다.
도 16을 참조하면, 다양한 실시예에 따르면, 전자 장치 100은 날씨, 습도, 온도, 생체정보 중 적어도 하나의 확인과 관련한 햅틱 피드백을 제공할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 서비스 관련 정보를 슬라이더 바나 그리드 형식의 레이아웃으로 표현할 수 있다. 또는 햅틱 지원 모듈 170은 베젤이나 화면상에서 터치(예: 터치 다운, 터치 업, 터치 드래그 이벤트 혹은 터치 홀드 이벤트 중 하나 이상)나 호버링 이벤트가 발생할 경우 특정 영역(예: 터치스크린 혹은 사용자의 신체와 접촉하고 있는 영역)에 햅틱 피드백을 제공함으로써 상대적인 위치를 통해 서비스 정보의 특정 항목의 상대적 비율이나 정도를 확인할 수 있도록 지원한다. 다른 실시예에서 햅틱 지원 모듈 170은 상기 이벤트가 발생한 영역에 해당하는 특정 항목의 상대적 비율이나 정도를 특정 영역이 아닌 전자제품 전체에 진동의 강도나 진동 발생 빈도 혹은 진동의 방향성 중 적어도 하나를 통해 전달할 수도 있다.
상태 1610에 나타낸 바와 같이, 전자 장치 100은 소정의 햅틱 피드백(예: 제1 햅틱 피드백) 출력이 가능한 디스플레이 150에 날씨 변화, 달(moon)의 변화, 온도 변화, 또는 습도 변화 중 적어도 하나를 바(bar) 형태의 영역에 제1 햅틱 피드백과 함께 출력할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 제1 햅틱 피드백을 각 정보 바들에 배치된 마크 1611의 위치 혹은 개수에 대응하도록 출력할 수 있다. 이에 따라, 사용자는 마크 1611의 위치 혹은 개수를 통해 상대적 특정 서비스 정보의 비율을 파악할 수 있다. 햅틱 지원 모듈 170은 마크 1611이 표시된 바 영역들 간에 서로 다른 햅틱 피드백을 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 상태 1620에서와 같이 전자 장치 100은 날씨 정보를 표시하기 위해 맑음부터 우천까지 날씨 종류를 네 개의 이미지로 표현하고 현재 날씨에 해당하는 이미지를 하이라이트하여 표시할 수 있다. 다양한 실시예에 따르면, 전자 장치 100은 날씨 정보와 관련한 이미지들을 여러 지역정보와 함께 제공함으로써 여러 지역의 날씨를 한꺼번에 볼 수 있도록 지원할 수 있다. 다양한 실시예에 따르면, 전자 장치 100은 하루의 시간대별 날씨 변화나 주간 날씨변화에 대응하는 복수의 이미지 출력을 지원할 수 있다.
이러한 지역정보 기반 날씨 정보를 얻기 위해서 전자 장치 100은 위치 정보를 수집하고, 이를 기반으로 네트워크162를 통해 날씨정보를 검색하여 획득할 수 있다. 예를 들어, 전자 장치 100은 현재 사용자가 있는 지역의 위치를 GPS 센서나 기지국의 무선 신호를 통해 인식하고, 해당 지역의 날씨정보를 유선이나 무선 네트워크로 연결된 원격 서버나 타 전자 장치 등을 통해 수신할 수 있다. 그리고 전자 장치 100은 하루의 시간대 별로, 혹은 날짜별로 날씨 정보를 표시할 수 있다.
이 동작에서, 햅틱 지원 모듈 170은 터치기반 디스플레이 150에 표시된 날씨 영역에 지정된 입력이 감지되면, 특정 햅틱 피드백을 제공하여 디스플레이를 보지 않더라도 사용자가 날씨를 쉽게 확인하도록 지원할 수 있다. 햅틱 지원 모듈 170은 이미지 영역들의 경계 영역에 서로 다른 햅틱 피드백을 제공하여 해당 입력이 감지된 영역이 디스플레이 150에서 상대적으로 어느 위치에 있는 지 인지할 수 있도록 지원할 수 있다.
상태 1620에서 일부 이미지는 현재의 청명도에 따른 비율을 표시한 것이다. 햅틱 지원 모듈 170은 제1 햅틱 피드백을 기반으로 청명도 영역을 구분하도록 지원할 수 있다. 햅틱 지원 모듈 170은 청명도 영역의 하측 끝 경계 영역에 있는 바 영역 1621에 제2 햅틱 피드백을 제공하여 청명도 비율의 용이한 확인을 지원할 수 있다. 또한 경계 영역 하측의 바 영역 1621은 또 다른 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 상태 1620에서와 같이 컨텐츠의 정보에 따라 각기 다른 햅틱 피드백을 제공할 수 있다. 예를 들어 도시된 바와 같이 햅틱 지원 모듈 170은 각각의 날씨 표시 영역들 1622에서 다른 촉감의 햅틱 피드백을 제공할 수 있다. 이를 통해 햅틱 지원 모듈 170은 디스플레이 150을 보지 않고도 오늘 혹은 주간 날씨 예보를 확인하도록 지원할 수 있다. 햅틱 지원 모듈 170은 이벤트가 발생한 디스플레이 150 영역에서 해당하는 햅틱 피드백을 제공할 수 있다. 만약 주간 날씨이거나 하루의 시간대별 날씨를 보여 주고 있다면, 다른 날짜나 시간대에서는 햅틱 피드백을 제공하지 않고, 햅틱 지원 모듈 170은 현재 시간이나 날짜에 해당하는 날씨 표시 영역 1623에서만 햅틱 피드백을 제공할 수 있다. 혹은 날씨 영역과 관계없이 햅틱 지원 모듈 170은 사용자 입력이 발생한 터치스크린 영역에서 현재 시간이나 오늘 날짜의 날씨에 해당하는 소정의 햅틱 피드백을 제공할 수도 있다. 예를 들어, 햅틱 지원 모듈 170은 날씨가 맑으면 부드럽고 매끈한 질감의 햅틱 피드백을 디스플레이 150에 특정 이벤트가 발생하였을 때 제공할 수 있다. 햅틱 지원 모듈 170은 날씨가 흐리거나 비올 확률이 일정 크기 이상이라면 달라붙는 듯한(sticky) 촉감이나 거친 질감(roughness)의 햅틱 피드백을 제공하되, 그 강도, 속도, 패턴 등을 다르게 할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 촉감 혹은 질감의 정도를 달리함으로써 구름의 많고 적음이나 강수확률의 높고 낮음 정도를 표현할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 바람이 일정 크기 이상인 날씨인 경우 그 강도와 방향을 방향성이 있는 햅틱 피드백(예: 방향, 속도와 강도를 가지는 햅틱 피드백)을 통해 제공할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 햅틱 피드백의 방향성을 바람의 방향에 대응하도록 좌상에서 우하 방향으로 제공할 수 있다. 햅틱 지원 모듈 170은 바람의 속도와 강도에 대응하여 다양한 형태의 바람에 대응하는 햅틱 피드백을 제공할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 특정 촉감이나 질감에 해당하는 햅틱 피드백을 사용자 입력이 특정 하이라이트 영역에서 발생했을 경우에만 제공할 수도 있고 혹은 슬라이더 바를 제외한 다른 영역 전체에 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 상태 1630에서와 같이 헬스 케어 기능과 관련한 실행 정보를 수집하고, 이를 디스플레이 150이나 베젤에 출력하면서 특정 햅틱 피드백 정보를 출력하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 현재 운동량과 목표치와 관련하여 지정된 햅틱 피드백 정보를 출력하도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 달성도의 크기에 따라 서로 다른 햅틱 피드백 정보를 출력할 수 있다. 또한 햅틱 지원 모듈 170은 햅틱 피드백을 디스플레이 150에 배치된 햅틱 모듈을 통해 제공하거나 또는 베젤에 배치된 햅틱 모듈을 통해 출력하도록 제어할 수 있다. 한 실시예에 따르면, 상태 1630에서 햅틱 지원 모듈 170은 운동량에 따른 달성률이 지정된 목표치의 50%인 경우, 베젤 중 6시 방향 영역 1631에서 달성률 50% 에 대응하는 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 운동에 따른 달성륭이 지정된 목표치의 50%인 경우 베젤의 9시 방향 영역 1633에서 달성률 75% 에 대응하는 햅틱 피드백(예: 달성률 50%인 경우와 동일 또는 다른 형태의 피드백)을 출력할 수 있다. 상기 햅틱 지원 모듈 170은 사용자의 신체가 베젤 영역의 특정 지점(예: 달성률에 해당하는 베젤 지점)에 접촉하였을 때 해당 영역에 한해서 피드백을 주거나 혹은 전자장치 100 전체에 해당하는 햅틱 피드백을 출력하도록 제어할 수 있다.
도 17은 다양한 실시예에 따른 헬스 코칭 기능 중 운동 속도 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 17을 참조하면, 전자 장치 100은 예컨대 상태 1710에서와 같이 사용자에 착용 가능한 상태일 수 있다. 전자 장치 100은 사용자 입력 제어에 대응하여 운동량을 설정하고 이에 따른 현재 달성도를 햅틱 피드백으로 나타낼 수 있다. 다양한 실시예에 따르면, 전자 장치 100은 현재 달성도에 따라 적어도 하나의 형태의 햅틱 피드백을 베젤의 특정 위치에서 출력할 수 있다. 이에 따라, 사용자는 햅틱 피드백의 종류와 발생 위치를 기반으로 현재 달성도를 용이하게 인지할 수 있다. 전자 장치 100은 운동량을 설정하고 코치하는 어플리케이션이 실행된 경우 사용자의 모션을 인식하고, 이에 따라 햅틱 피드백을 제공할 수 있다.
상태 1710에 나타낸 전자 장치 100은 사용자의 심박, 혈압, HRV(Heart Rate Variability), 가속도맥파(APG: Accelerated Plethysmo), 혈관노화도, 산소포화도, 혈당, 심폐음, 피부저항, 근전도, 심전도, 걸음걸이, 콜레스테롤, 뇌파, 혹은 체온 중 하나 이상의 대응하는 생체정보를 인식할 수 있는 생체정보 센서장치(예: PPG(Photoplethysmography) 센서, 맥파센서, ECG(electrocardiogram), 수면센서, 뇌파센서, 근전도 센서, 혈당센서, 콜레스테롤센서 중 하나 이상)를 포함할 수 있다. 또한 전자 장치 100은 가속도 센서, GPS, 자이로 센서, 지자기 센서, 디지털 콤파스와 같은 사용자의 위치, 방향, 혹은 모션 등을 인식할 수 있는 움직임 센서장치를 포함할 수 있다. 전자 장치 100은 상술한 센서장치들이 감지한 생체 또는 움직임 정보 중 하나 이상을 기반으로 사용자의 헬스케어, 운동코치, 숙면도 감지, 스트레스 관리 등의 서비스를 제공할 수 있다.
한 실시예에 따르면, 전자 장치 100은 상술한 센서장치들을 기반으로 신체 부착 상태 또는 착용 상태를 감지하는 동작을 제어하고, 신체 접촉 상태 또는 신체 착용 상태로 판단되면, 햅틱 정보를 할당하는 동작을 제어할 수 있다. 상기 신체 접촉 상태 또는 착용 상태를 감지하는 동작은 생체센서를 기반으로 전자 장치 100의 착용 시 생체신호 특성을 분석함으로써 판단될 수 있다. 예컨대, 전자 장치 100은 PPG 센서를 통해 입력된 광신호의 DC 성분(component)이 소정의 신호 강도 이상(예: 지정된 신호 강도나 최대 강도대비 지정 비율 이상)인 상태, 감지된 PPG 신호 중 AC성분의 진폭이 소정 기준 이상(예: 지정된 AC 진폭 크기나 최대 진폭대비 지정된 진폭 비율 이상)인 상태, 지정된 기간의 신호대잡음비(SNR: signal-to-noise ratio)가 지정된 값보다 큰 상태, 감지된 생체 신호의 신호 패턴(예: 주파수 또는 주기)과 지정된(예: 미리 정의된, 또는 미리 저장된) 신호 패턴 비교 결과가 정상 상태(예: 정상인 상태로 지정된 신호 패턴인 상태) 중 적어도 하나의 상태를 포함하는 경우 정상적인 착용 상태로 판별할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 상태 1720 내지 상태 1760에서와 같은 다양한 서비스(예: 헬스케어, 운동코치, 숙면도 감지, 스트레스 관리, 정서관리 중 하나 이상) 기능을 제공할 수 있다. 예컨대, 전자 장치 100의 햅틱 지원 모듈 170은 상태 1720에서와 같이 운동 종류 관련 오브젝트 1721, 운동 상태 관련 오브젝트를 포함하는 화면을 디스플레이 150에 출력하도록 제어할 수 있다. 한 실시예에 따르면, 햅틱 지원 모듈 170은 서비스 종류 관련 오브젝트 1721에 특정 햅틱 정보를 할당할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 서비스 종류 관련 오브젝트 1721의 경계 영역 1702에 제1 햅틱 정보를 할당하거나, 운동 종류 관련 오브젝트 1721의 내부 영역 1701에 제2 햅틱 정보를 할당하는 동작 중 적어도 하나의 동작을 수행할 수 있다. 다양한 실시예에 따르면, 상기 제1 햅틱 정보와 제 2햅틱 정보는 서로 상이할 수 있다.
또 다른 실시예에 따르면 상기 전자 장치 100 의 햅틱 지원 모듈 170은 디스플레이 150의 전원을 끄거나(turn-off) 오브젝트를 표시하지 않은 상태에서 이벤트 발생에 대응하는 햅틱 피드백을 출력하도록 설정된 특정 햅틱 정보를 할당할 수 있다. 예컨대, 다양한 실시예에 따르면, 특정 이벤트(예: 전자 장치 100에서 발생하거나 수신한 이벤트)가 발생한 경우 전자 장치 100은 디스플레이를 켜지 않고 이벤트 발생에 대응하는 햅틱 피드백을 출력하도록 제어할 수 있으며. 이에 대응하여 사용자는 디스플레이를 조회하지 않고 햅틱 피드백만으로도 이벤트 발생에 대응하는 정보를 확인할 수 있다. 상기 특정 이벤트의 예로는, 상기 전자장치 100의 디스플레이나 베젤 위에서 터치 홀드 이벤트가 발생하는 이벤트, 상기 전자장치의 움직임으로 인해 내장된 가속도 센서나 자이로 센서 또는 GPS 중 하나 이상의 센서에서 소정 강도 이상의 움직임 신호(예: 소정 속도 이상의 걸음이나 달리기에 대응하는 신호)가 감지되는 이벤트, 근접센서에 의해 어떠한 물체가 상기 전자장치의 디스플레이와 소정거리 이내에 존재하는지 판별되는 이벤트, 디스플레이가 향한 방향이 사용자가 조회할 수 없는 방향으로 배치되는 상태(예: 손목에 찬 시계장치의 디스플레이가 중력방향으로 향한 상태, 디스플레이 방향과 같은 방향을 향한 카메라에 의해 사용자의 얼굴이나 눈이 인식되지 않는 상태 중 적어도 하나의 상태) 확인 이벤트 중 적어도 하나를 포함할 수 있다. 이러한 동작을 통해 전자 장치 100은 사용자의 개인정보 보호 혹은 전원 관리의 기능을 지원할 수 있다.
다양한 실시예에 따르면, 전자 장치 100의 햅틱 지원 모듈 170은 상태 1730에서와 같이 운동 코칭 관련 오브젝트 1731을 포함하는 화면을 디스플레이 150에 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 운동 코칭 관련 오브젝트 1731의 경계 영역 1702와 내부 영역 1701에 서로 다른 햅틱 정보를 할당할 수 있다. 운동 코칭 관련 오브젝트 1731은 속도 증가를 안내하는 정보를 포함할 수 있다. 햅틱 지원 모듈 170은 운동 코칭 관련 오브젝트 1731에 대응하는 햅틱 피드백을 다른 운동 코칭 관련 오브젝트에 관련한 햅틱 피드백들보다 피드백의 강도가 세거나 혹은 소정의 단위 시간당 발생 빈도가 더 높게 설정할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 동일 시간 내 발생빈도가 적은 패턴에서 많은 패턴(속도가 증가하는 패턴)을 반복함으로써 속도 증가를 가이드 할 수도 있다.
다양한 실시예에 따르면 상기 햅틱 지원 모듈 170은 사용자의 손가락이나 손바닥과 같은 입력물체가 디스플레이 150영역 중 소정 비율 이상(예: 60% )을 덮었을 때, 햅틱 피드백이 출력되도록 제어할 수 있다. 또 다른 실시예에 따르면, 입력물체가 상기 오브젝트 영역 1701이나 경계 영역 1731 중 적어도 하나의 영역에 접촉됨에 대응하여 이벤트가 발생하였을 때, 햅틱 지원 모듈 170은 상기 입력물체가 접촉하고 있는 터치 이벤트 신호가 발생하는 영역에만 햅틱 피드백이 출력되도록 제어할 수 있다. 또 다른 실시예에 따르면, 입력물체가 상기 오브젝트 영역 1701이나 경계 영역 1731 중 적어도 하나의 영역에 접촉됨에 대응하여 이벤트가 발생하였을 때, 햅틱 지원 모듈 170은 상기 입력물체와 접촉이 발생한 오브젝트 영역이나 경계영역에 햅틱 피드백이 발생하도록 제어할 수도 있다.
다양한 실시예에 따르면, 전자 장치 100의 햅틱 지원 모듈 170은 상태 1740에서와 같이 운동 코칭 관련 오브젝트 1741을 포함하는 화면을 디스플레이 150에 출력하도록 제어할 수 있다. 운동 코칭 관련 오브젝트 1741은 운동 코칭 관련 오브젝트 1731과 동일한 정보를 제공하되 다른 형태의 표현일 수 있다. 햅틱 지원 모듈 170은 운동 코칭 관련 오브젝트 1741의 화살표의 테두리에 대응하는 경계 영역 1702와 화살표 내부 영역 1701에 서로 다른 햅틱 정보를 할당할 수 있다. 다양한 실시예에 따르면, 전자 장치 100의 햅틱 지원 모듈 170은 상태 1750에서와 같이 운동 코칭 관련 오브젝트 1751을 포함하는 화면을 디스플레이 150에 출력하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 센서 모듈에서 제공되는 센서 신호를 기반으로 전자 장치 100의 이동 속도를 검출할 수 있다. 검출된 이동 속도를 기반으로 햅틱 지원 모듈 170은 현재 속도를 유지하도록 안내하는 정보를 포함하는 운동 코칭 관련 오브젝트 1751을 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 운동 코칭 관련 오브젝트 1751의 경계 영역 1702와 내부 영역 1701에 서로 다른 햅틱 정보를 할당하도록 제어할 수 있다. 햅틱 지원 모듈 170은 운동 코칭 관련 오브젝트 1751에 대응하는 햅틱 피드백을 제공하지 않을 수도 있다. 또는 햅틱 지원 모듈 170은 현재의 보조(예: 운동 속도, 걸음 속도 등)에 맞는 햅틱 피드백을 제공하거나, 지정된 일정 간격의 햅틱 피드백을 발생시키도록 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 전자 장치 100의 이동 속도에 대응하여 감속을 안내하는 정보에 해당하는 운동 코칭 관련 오브젝트 1761을 상태 1760에서와 같이 디스플레이 150에 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 운동 코칭 관련 오브젝트 1761의 경계 영역 1702와 내부 영역 1701에 서로 다른 햅틱 정보를 할당하도록 제어할 수 있다. 햅틱 지원 모듈 170은 감속 지시와 관련한 햅틱 피드백 출력을 위하여 현재 발생하고 있는 사용자의 운동 패턴을 분석하고 이보다 느린 속도로 햅틱 피드백을 제공함으로써 운동 패턴을 이 햅틱 피드백에 동기화하도록 가이드할 수 있다. 햅틱 피드백이 사용자의 신체와 닿는 면에 배치된 경우, 예를 들어 시계장치의 밑면에 있는 경우 햅틱 지원 모듈 170은 햅틱의 강도, 패턴변화, 방향성, 주기 중 적어도 하나를 이용하여 특정 햅틱 피드백을 제공할 수 있다.
한 실시 예에 따르면, 운동 코칭 가이드와 관련하여, 햅틱 지원 모듈 170은 운동 속도를 높이도록 가이드하기 위해 단위 시간당 햅틱 피드백 발생 빈도를 높이고, 운동 속도를 낮추도록 가이드하기 위해 단위 시간당 햅틱 피드백 발생 빈도를 낮추도록 제어할 수 있다. 햅틱 지원 모듈 170은 운동 속도에 따라 다른 크기의 빈도로 발생하는 햅틱 피드백을 통해 일정 박자감을 제공할 수 있다. 이를 통해 햅틱 지원 모듈 170은 사용자의 운동 속도나 형태 중 적어도 하나를 햅틱 피드백에 보조되도록 가이드할 수 있다. 추가적으로 또는 대체적으로, 햅틱 지원 모듈 170은 햅틱 피드백에 대응하는 오디오 피드백(지정된 음악 또는 재생 이력을 기반으로 선택된 사용자 선호 음악이나 비트박스 사운드 중 하나 이상)을 제공할 수도 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 달리기나 푸시업과 같은 운동코칭 서비스에 따른 가이드 정보 및 햅틱 피드백을 제공할 수 있다. 전자 장치 100(예: 손목 시계형 장치)은 달리기 페이스 코칭과 관련하여 가속도 센서나 자이로 센서, 혹은 HRM(Heart rate monitoring) 센서를 탑재할 수 있다. 전자 장치 100은 사용자의 몸의 움직임이나 요골 혹은 척골동맥으로부터 맥파에 대응하는 적어도 하나의 센서 신호를 감지하여 사용자의 움직임이나 심박 수와 같은 생체신호 정보를 얻고, 이와 소정의 기준치를 비교함으로써 사용자에게 현재 상황에서 적절하게 운동을 코칭하기 위한 정보를 디스플레이 150 및 햅틱 모듈 180에 출력할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 사용자의 체중, 키, 나이, 성별과 같은 사용자 기본 정보를 사용자 입력에 따라 획득하고, 사용자 입력에 따라 운동 목표를 설정한 후 관련 어플리케이션 실행에 따라 운동 코칭 정보를 제공하도록 제어할 수 있다. 전자 장치 100은 소모를 위한 목표 칼로리, 기초체력 확보, 건강유지, 체력증진, 심폐기능 강화 등을 운동 목표 항목으로 제공할 수 있다. 운동 목표 항목이 설정되면, 전자 장치 100은 운동 종류, 운동 강도, 운동 페이스 정보 등의 사용자 운동 코칭 관련 정보를 자동으로 설정할 수 있다. 한 실시예에 따르면, 전자 장치 100은 1일 목표 걸음 수, 달리기 시간대별 페이스 설정 정보, 팔굽혀 펴기 횟수, 피트니스 운동 종류별 시행 횟수 등을 운동 코칭 관련 정보로 제공할 수 있다.
전자 장치 100은 사용자의 움직임 정보에 대응하여 심박수를 체크하고, 이를 지속적으로 저장함으로써 시계열 데이터를 형성할 수 있다. 전자 장치 100은 시계열 데이터를 기반으로 현재까지 운동량 상황을 분석하고, 설정된 운동코칭 정보에 따라 적절한 정보를 제공할 수 있다. 햅틱 지원 모듈 170은 디스플레이 150에 별도의 운동 코칭 정보 출력을 수행하지 않도록 제어하면서, 달리기 페이스에 대한 지시정보를 지정된 햅틱 피드백 정보로서 제공할 수 있다. 한 실시예에 따르면, 전자 장치 100은 달리는 도중 전자 장치 100을 착용한 손의 움직임(손목시계 장치의 화면에 손을 올리는 동작)에 대응하여 햅틱 피드백을 제공할 수 있다. 여기서 전자 장치 100은 사용자의 손목과 접촉하고 있는 장치의 표면을 통해 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 전자 장치 100은 운동시작 전에 운동코치 애플리케이션을 실행하는 이벤트가 발생하는 경우, 미리 설정된 지역(GPS 혹은 Wifi 신호 분석에 의해 지정된 지역 진입 검출)에 전자 장치 100이 진입하는 경우, 운동이 예약된 시간이 된 경우 등에 운동 코칭 정보 제공 기능을 지원할 수 있다. 전자 장치 100은 운동코치 앱이 종료되거나 운동량이 소정 이하로 소정시간 이상 유지된 경우, 소정 값 이상의 생체신호 정보가 일정 시간 이상 감지되지 않는 경우, 전자 장치 100이 신체로부터 분리되는 모션 이벤트 수집, 스트랩 해제 이벤트, 착탈식 센서장치가 커넥터로부터 분리되는 이벤트가 수집되면, 자동으로 햅틱 피드백 서비스를 종료시킬 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 소정 시간 이상 심박수나 몸의 움직임 패턴 신호가 소정값 영역을 벗어나는 경우 운동 중 주요 코칭 이벤트를 디스플레이 150 또는 햅틱 모듈 180 중 적어도 하나로 특정 정보 출력을 수행할 수 있다. 예컨대, 전자 장치 100은 달리기 속도나 심박 수가 소정 시간 이상 소정 속도가 설정된 구간보다 높거나 낮은 경우 특정 이벤트 알람을 수행할 수 있다. 햅틱 지원 모듈 170은 운동 중 주요 이벤트 발생을 알리기 위하여 사용자의 주의를 끌 수 있도록 강한(지정된 일정 크기의) 진동을 발생시킨 후, 사용자가 디스플레이 150에 손을 접촉하면 상술한 다양한 햅틱 피드백을 해당 정보에 대응하도록 출력할 수 있다.
햅틱 지원 모듈 170은 방향성을 가지는 햅틱 피드백의 경우 경계 영역 1702 외 영역에서도 감지할 수 있도록 처리할 수 있다. 방향성 햅틱 피드백이 제공되는 동안 다른 햅틱 피드백 출력은 중지될 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 다양한 햅틱 피드백들을 일정 순서로 순차적으로 또는 이벤트 발생에 대응하여 출력하도록 제어할 수 있다. 이를 통하여 햅틱 지원 모듈 170은 최초에 햅틱 피드백이 제공되는 영역과 다른 햅틱 피드백이 발생하는 영역들을 용이하게 인지할 수 있도록 한다. 또한 햅틱 지원 모듈 170은 전자 장치 100의 소정 영역에서 햅틱 피드백이 제공될 수 있음을 인지하도록 지원하거나, 혹은 사용자에게 조회할 정보가 있음을 전체 영역에서 알린 후, 실제 터치입력이 유지될 경우 관련 정보를 제공할 수 있다.
상술한 바와 같이, 다양한 실시예에 따른 장치 및 방법은 사용자의 성별, 나이, 키, 몸무게, 허리둘레, 신체 컨디션 중 적어도 하나를 입력 받는 사용자 프로파일 작성 동작, 사용자의 운동을 코칭하기 위하여 운동 목표를 설정하는 동작, 사용자의 신체에 장착된 적어도 하나의 센서를 통해 몸의 움직임, 걸음 수, 움직인 거리, 혹은 생체신호 정보 중 적어도 하나를 감지하는 동작, 감지된 몸의 움직임 신호 혹은 생체신호 중 적어도 하나를 이용하여 사용자의 운동종류, 운동량, 운동시간, 칼로리 소모량, 심박패턴, 운동 페이스, 운동속도, 운동거리 중 적어도 하나의 운동정보를 계산하는 동작, 사용자 프로파일을 기반으로 운동 목표와 운동정보를 이용하여 사용자에게 제공할 운동 코칭 가이드를 생성하는 동작, 생성된 운동코치 가이드에 기반하여 햅틱 피드백을 설정하는 동작, 설정된 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 생성된 운동코치 가이드를 디스플레이에 표시하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 신체 컨디션은 부상 여부 혹은 장애여부, 부상 부위 혹은 장애 부위, 피곤한 정도, 업무량, 식생활패턴, 수면시간 관련 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 생체신호 정보는 혈압, 맥파, 뇌파, 근전도, 심박수, 심박패턴, 산소포화도, 혈당 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 센서는 자이로센서, GPS, ECG, ECGs, HRM 센서, HRV(heart rate variability) 센서, 둘 이상의 가속도 센서, 혈압센서, 산소포화도 센서, ppg, photoplethysmogram, 요골동맥센서, 척골동맥센서 중 적어도 하나를 포함하고, 상기 햅틱 피드백은 운동코칭을 위해 방향성, 패턴, 강도, 질감 중 적어도 하나에 대응할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서　상기 햅틱 피드백은 터치스크린 상에 사용자의 입력이 감지될 때, 출력될 수 있다. 상기 햅틱 피드백은 두 가지 이상의 영역에 대해 서로 다른 햅틱 피드백을 제공될 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 서로 다른 햅틱 피드백들은 경계 영역에 대응하는 햅틱 피드백, 코칭 정보에 대응하는 햅틱 피드백, 코칭 정보를 가리키는 지향성 햅틱 피드백, 프로그레스 바나 원형 프로그레스 바의 기본 바탕 영역에 대응하는 햅틱 피드백 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 햅틱 지원 모듈 170은 터치스크린 상에 사용자의 입력이 감지될 때, 감지된 영역의 크기에 적합하도록 햅틱 피드백이 제공되는 영역을 확대 또는 축소할 수 있다.
도 18은 다양한 실시예에 따른 스트레스 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 18을 참조하면, 상태 1810에 나타낸 전자 장치 100은 상태 1820, 1830 및 1840에서와 같이 생체신호정보를 분석하여 숙면도 또는 스트레스 정도 중 적어도 하나를 파악하고 이를 표시할 수 있다. 스트레스의 경우에는 사용자의 스트레스 정도를 프로그레스 바로 표시할 수 있다. 햅틱 지원 모듈 170은 프로그레스 바를 포함하는 영역에 사용자 입력(예: 터치하거나 터치 드래그 혹은 터치 홀드 혹은 호버링)이 발생하였을 경우 설정된 햅틱 정보에 따른 햅틱 피드백 정보를 출력하도록 제어할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 리커트 측정(Likert-scale) 방식에 대응하도록, 상태 1810의 1380에서 보이듯, 최대 레벨 중 현재 레벨을 표시하는 방식에 대응하는 도트 타입의 햅틱 피드백을 제공할 수 있다. 예컨대, 1380에서 햅틱 지원 모듈 170은 표시될 수 있는 스트레스 지수가 일정 개수의 레벨로 표현됨을 나타냄(에: 최대 5개 레벨) 과 함께 현재 스트레스 지수를 햅틱 피드백 영역을 통해 제공할 수 있다.
햅틱 지원 모듈 170은 스트레스 지수 정보가 도출되면, 이에 대응하여 일정 개수의 햅틱 피드백 영역을 기반으로 제1 햅틱 피드백을 출력하도록 제어할 수 있다. 이때, 나머지 햅틱 피드백 영역은 제2 햅틱 피드백을 유지할 수도 있고, 햅틱 피드백 출력을 수행하지 않을 수도 있다. 햅틱 지원 모듈 170은 햅틱 피드백의 방향성과 패턴 변화를 제공하기 위하여 1840에서와 같이 애니메이션 형태의 표현을 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 시간에 따라 레벨 0부터 최대 레벨까지 햅틱 피드백 영역을 증가시킨 후 다시 레벨 0부터 다시 반복 제공하는 도트 타입의 애니메이션 피드백을 제공할 수 있다.
도 19는 다양한 실시예에 따른 숙면도 관련 실행 정보별 햅틱 정보 운용을 도시한다.
도 19를 참조하면, 상태 1910에 나타낸 전자 장치 100은 상태 1920 또는 상태 1930에서와 같은 실행 정보 표시 및 그에 따른 햅틱 피드백 출력을 지원할 수 있다. 예컨대, 전자 장치 100은 원형의 프로그레스 바를 이용하여 숙면도와 관련한 정보를 제공할 수 있다. 햅틱 지원 모듈 170은 원형 프로그레스 바를 터치하였을 때, 햅틱 피드백을 원형 프로그레스 바의 형상에 따라 다양한 제공할 수 있다. 예컨대, 햅틱 지원 모듈 170은 원형 프로그레스 바에서 숙면도 정도에 따라 채워진 영역 1931에 대응하는 햅틱 피드백을 제공함으로써, 해당 영역 전체를 터치하거나 프로그레스 바를 터치하여 모양을 따라가면서 촉감을 느낄 수 있도록 지원한다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 원형 프로그레스 바에서 채워진 영역 1931이 숙면도를 백분율에 대응하여 표시하고, 채워진 영역 1931에 대응하는 제1 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 원형 프로그레스 바에서 채워지지 않은 영역 1932에 대하여 제2 햅틱 피드백을 제공할 수 있다. 제2 햅틱 피드백은 제1 햅틱 피드백과 비교하여 질감이나 강도, 패턴, 방향성이 다를 수 있다. 햅틱 지원 모듈 170은 원형 프로그레스 바의 경계 영역 1933에 제3 햅틱 피드백을 할당할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 햅틱 피드백에 방향성이나 특정한 패턴을 제공하는 애니메이션 형식의 출력을 제어할 수도 있다. 예컨대, 햅틱 지원 모듈 170은 애니메이션 형식으로 원형에서 원호 타입으로 햅틱 피드백 영역을 증가시키면서 정보를 제공할 수도 있다.
한 실시예에 따르면, 햅틱 지원 모듈 170은 정서상태를 표시하는 관련 오브젝트에 특정 햅틱 정보를 할당할 수 있다. 이와 관련하여, 전자 장치 100은 적어도 하나의 생체 센서가 감지한 센서 신호를 기반으로 분노(anger), 증오(hate), 슬픔(grief), 즐거움(joy), 외경(reverence), 행복감(platonic love, 평화, 유대감), 로맨틱한 사랑(romantic love, excitement, lust) 중 적어도 하나를 포함하는 정서 상태 정보를 제공할 수 있다. 다양한 실시 예에 따르면, 전자 장치(예: 웨어러블 장치)는 탑재된 PPG 센서를 통해 수집한 PPG 신호 세기(amplitude), PPI(Pulse to Pulse Interval), PRV(Pulse Rate Variability) 중 적어도 하나를 분석하여 각성 상태나 흥분 상태 등의 각성 레벨(arousal level) 관련 정보를 제공할 수 있다. 햅틱 지원 모듈 170은 정서상태에 대한 정서 레벨 정보에 대응하여 다양한 햅틱 피드백 출력을 설정할 수 있다. 예컨대, 햅틱 지원 모듈 170은 적어도 하나의 정서 상태 또는 각 정서 상태의 정서 레벨 크기 중 적어도 하나를 기반으로 지정된 햅틱 피드백(또는 각 상태 또는 레벨별 서로 다른 햅틱 피드백)을 제공할 수 있다. 한 실시 예에 따르면, 햅틱 지원 모듈 170은 복수 개의 정서 상태 각각에 대한 정서 레벨을 측정하고, 가장 큰 크기의 정서 레벨에 해당하는 정서 상태에 지정된 햅틱 피드백이 출력(이 동작에서 정서 레벨의 크기에 대응되는 햅틱 피드백 출력 가능)되도록 설정할 수 있다. 이 동작에서, 햅틱 지원 모듈 170은 전자 장치의 디스플레이에 정서 상태 또는 정서 레벨 중 적어도 하나에 대한 시각 정보 또는 오디오 정보 중 적어도 하나의 출력을 제공할 수 있다. 이와 관련하여, 전자 장치는 정서 상태 또는 정서 레벨 중 적어도 하나에 대응하는 시각 정보 또는 오디오 정보를 저장하고, 해당 정보 수집에 대응하여 출력하도록 지원할 수 있다.
상술한 설명에서 전자 장치 100은 손목시계 장치 형태를 예시하고 있으나, 전자 장치 100은 스마트폰이나 웨어러블 컴퓨팅 장치 등도 될 수 있다. 다양한 실시예에 따르면, 손목시계 형태의 전자 장치 100은 생체신호 정보를 수집하거나 혹은 처리된 코칭 정보를 유무선 중 적어도 하나로 타 전자 장치에 전달하고, 실제 정보는 타 전자 장치에 장착된 디스플레이와 햅틱 모듈을 통해 출력될 수도 있다. 다양한 실시예에 따르면, 전자 장치 100은 가슴, 다리, 귀와 같은 몸의 일부분에 벨트나 스트랩, 클립을 이용하여 장착되고, 몸의 움직임이나 가슴 박동, 다리나 발, 귀의 혈관 등으로부터 생체정보를 얻을 수 있다.
햅틱 피드백의 경우 실시예에서는 대체적으로 햅틱 피드백을 디스플레이상의 GUI와 일치하거나 인근 영역에서 제공하는 방법들을 보였으나, GUI와 관계없이 터치 입력이 된 영역 내에 어디에서나 해당 햅틱 피드백들이 제공될 수 있다. 예를 들어 앞서 설명한 애니메이션 햅틱 피드백의 경우, 터치스크린에 손가락이 터치되면, 전자 장치 100은 터치된 영역 내의 디스플레이 영역 내에서 햅틱 피드백이 제공될 수 있도록 제어할 수도 있다. 예컨대, 햅틱 지원 모듈 170은 원형 애니메이션 햅틱 피드백이나 도트 애니메이션 피드백이 재생되는 영역을 터치된 영역 내로 한정할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 디스플레이 전체를 손으로 덮는 센서 신호가 감지되면, 디스플레이 전체 영역이나 베젤 전체 영역에서도 특정 햅틱 피드백을 출력하도록 제어할 수 있다. 따라서 햅틱 피드백이 제공되는 영역은 반드시 GUI(예: 화면 정보)와 일치될 필요는 없고, 터치된 영역을 감지하여 이에 적합하게 위치와 크기가 조정될 수도 있다.
상술한 바와 같이, 전자 장치 및 방법은 사용자의 신체에 장착된 적어도 하나의 센서를 통해 몸의 움직임 혹은 생체신호 정보 중 적어도 하나를 감지하는 동작, 감지된 몸의 움직임 신호 혹은 생체신호 중 적어도 하나를 이용하여 사용자의 스트레스 지수, 혹은 숙면도 중 적어도 하나의 신체 혹은 정서적인 컨디션 정보를 계산하는 동작, 생성된 신체적 혹은 정서적 컨디션 정보에 기반하여 햅틱 피드백을 설정하는 동작을 포함할 수 있다.
또 다른 다양한 실시예에 따르면, 전자 장치 및 방법은 사용자에게 전달할 정보(실행 정보)가 발생했는지 판단하는 동작,　상기 사용자에게 전달할 정보와 관련하여 제1 햅틱 피드백 종류와 출력위치를 설정하는 동작, 제2 햅틱 피드백 발생 조건인지 판별하는 동작, 제2 햅틱 피드백 발생 조건에 부합하는 경우, 제2 햅틱 피드백을 출력하는 동작, 설정된 출력위치에서 사용자 입력을 감지하는 동작, 설정된 출력위치에서 감지된 사용자 입력이 제1햅틱 피드백 조건을 만족하면 상기 설정된 제1 햅틱 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법에서 상기 제2 햅틱 피드백 발생 조건은 제1 햅틱 피드백 출력위치에 사용자 입력이 발생하는 것을 감지하는 동작에 의해서 입력이 감지되는 경우, 상기 제2 햅틱 피드백 발생 조건은 상기 사용자에게 전달할 정보의 중요도가 소정값 이상인 경우, 상기 사용자에게 전달할 정보가 발생한지 소정의 시간 이상 경과하였으나 사용자가 미조회한 경우, 상기 사용자에게 전달할 정보가 발생하고 미조회 상태에서 사용자 움직임에 의해 상기 전자기기의 움직임을 인식한 경우 중 적어도 하나의 경우를 포함할 수 있다.
예컨대, 생체센서를 내장한 웨어러블 장치를 손목에 착용한 사용자의 생체정보를 상기 웨어러블 장치가 측정하여, 러닝에 대한 운동코칭 기능 수행 중, 오버 페이스가 발생하면, 제 1 햅틱 피드백을 설정하여 사용자에게 페이스를 낮추라는 가이드를 제공할 수 있다. 그러나 사용자가 상기 웨어러블 장치를 조회하지 않거나(예: 소정시간 동안 터치 이벤트가 없거나 디스플레이를 on시키는 사용자 입력이 발생하지 않은 경우), 지속적으로 오버 페이스 발생상황이 소정 시간 이상 유지되면, 제 2 햅틱 피드백(예: 웨어러블 장치 전체에 강한 진행을 주거나 오디오를 동반하는 햅틱 피드백 중 하나 이상)을 출력하여 사용자에게 경각심을 제공할 수도 있다.
다양한 실시예에 따르면, 상기 장치 및 방법에서　상기 제1 햅틱 피드백 발생 조건은 설정된 출력위치에서 사용자 입력이 소정 시간 이상 발생한 경우(예: 터치 홀드나 터치 드래그 혹은 호버링 유지 중 하나 이상), 또는 제2 햅틱 피드백이 발생한 이후에 상기 출력위치에서 사용자 입력이 감지된 경우 중 적어도 하나를 포함할 수 있다.도 20은 다양한 실시예에 따른 입력 물체별 햅틱 정보 운용과 관련한 도면이다.
도 20을 참조하면, 앞서 다양한 실시예들에서 설명한 바와 같이 터치감지 장치를 이용하여 정보를 입력하는 방법에 있어서 전자 장치 100은 터치 입력을 수행하는 물체를 인식하고, 해당 물체의 종류에 따라 다른 햅틱 피드백을 지원할 수 있다. 터치 입력 도구 인식 방법과 관련하여, 전자 장치 100은 터치 시 표면의 충격음이나 진동을 감지하고, 입력된 신호의 패턴을 분석하여 기존에 저장된 패턴 데이터베이스로부터 가장 유사한 패턴을 가진 물체가 무엇인지 분석하여 해당 물체로 인식할 수 있다. 다양한 실시예에 따르면, 전자 장치 100은 상태 2010에서와 같이 손톱(nail), 손가락 관절(knuckle), 손가락 끝(tip), 손가락 패드 영역(pad)에 따라 충격음이나 진동 등이 서로 다른 패턴을 검출할 수 있다. 또한 전자 장치 100은 상태 2020 또는 상태 2030 에서와 같이 손톱 끝으로 터치하는 경우(2021)와 손가락 끝으로 터치하는 경우, 손가락 패드로 터치하는 경우(2031), 혹은 두 가지 모두가 동시에 터치될 경우(예: 손톱끝과 손가락 끝이 동시 터치됨 (2022)) 서로 다른 충격음이나 진동 검출을 수행할 수 있다. 또한 전자 장치 100은 상태 2040에서와 같이 펜의 펜 팁(pen tip)으로 터치 하는 경우(2041)와 펜 뒷부분(예: 나무나 고무 재질)으로 터치하는 경우(2042)에 각각 충격음이나 진동을 다르게 검출할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 전자 펜(예: 스타일러스 펜)을 이용하는 경우, 펜마다 고유의 ID를 부여하고 전자 장치 100이 이를 감지하여 입력 물체의 종류를 판단할 수 있다. 이를 위해 전자 장치 100은 saw sensor나 rf-id, IrDA, Bluetooth 등의 무선장치를 활용할 수도 있고, 유선으로 연결된 고유의 장치들의 고유 일련번호 등을 활용할 수도 있다. 상술한 바와 같이 전자 장치 100이 입력되는 물체에 따라서 서로 다른 강도, 주파수 등의 특성을 가진 햅틱 피드백을 제공하는 경우, 사용자는 입력되는 물체를 햅틱 피드백에 의해 인식할 수도 있다.
또한 입력되는 물체가 다르더라도 유사한 햅틱 피드백을 느낄 수 있도록 기본 햅틱 피드백을 다양한 입력 물체에 동일하게 제공할 수 있다. 이 동작에서 전자 장치 100은 입력 물체별 햅틱 피드백의 주파수나 진동 강도 등을 변경시켜 동일한 햅틱 피드백을 제공할 수도 있다. 따라서 다양한 실시예에서 햅틱 정보 운용 방법은 입력수단에 따른 햅틱 피드백 변환 정보를 설정하는 동작을 더 포함할 수 있다.
상술한 바와 같이 다양한 실시예에 따르면, 전자 장치 및 방법은 입력물체에 따라 햅틱 피드백 변환 정보를 설정하는 동작, 소정의 레이아웃을 구성하고 레이아웃에 따라 구성요소를 배치하는 동작, 상기 레이아웃에 의해 배치된 구성요소의 영역에서 입력 이벤트가 발생하였음을 감지하는 동작, 입력수단을 감지하는 동작, 상기 입력수단에 따라 햅틱 피드백 변환 정보를 설정하는 동작, 해당 입력 이벤트 발생 위치에 대응하는 햅틱 레이아웃에 따라 상기 피드백 변환 정보를 이용하여 변환된 햅틱 피드백을 설정하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 상기 입력수단은 손가락 관절, 손가락 끝, 손톱, 펜촉, 펜, 데이터글로브의 뭉툭한 부위 중 적어도 하나를 판별하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력수단 감지를 위하여, 입력감지 장치에 입력감지 장치에 상기 입력수단과 접촉이 일어날 때 발생하는 충격음 혹은 진동을 음향입력장치 혹은 진동입력장치를 통해 메모리에 버퍼링하는 동작, 버퍼링된 충격음 혹은 진동을 분석하여 고유의 식별 패턴을 생성하고 저장하는 동작, 입력된 식별 패턴을 기저장된 식별 패턴과 비교하여 가장 유사한 패턴을 가진 물체로 판단하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 상기 입력 수단 감지를 위하여, 입력수단에 고유의 ID 부여 및 식별을 위하여 saw sensor나 rf-id, IrDA, Bluetooth 중 적어도 하나의 무선신호에 고유 ID를 부여하는 동작 혹은 유선으로 연결되는 입력수단에 고유 식별자를 부여하고, 이를 판독하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 방법은　상기 변환된 햅틱 피드백 정보를 전달할 외부 장치를 식별하는 동작 및 상기 변환된 햅틱 피드백 정보를 와이파이, 블루투스, 지그비, ieee802, LiFi, BLE 중 적어도 하나의 무선 네트워크를 이용하여 상기 외부 장치로 전송하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은　판별된 입력 수단에 따라 입력되는 제스처, 입력강도, 입력 위치, 입력 속도, 입력 면적에 따라 다른 햅틱 피드백을 설정하는 동작을 더 포함할 수 있다.
상기 전자 장치 100은 스마트 폰, 태블릿, 노트북, PMP, 손목시계, 목걸이, 벨트, 신발, 모자, 안경, HMD 중 적어도 하나일 수 있다.
도 21은 다양한 실시예에 따른 터치 영역별 햅틱 정보 운용과 관련한 도면이다.
도 21을 참조하면, 상태 2110 및 상태 2130은 손가락 접촉면에 대한 피드백의 제공 영역의 실시 예들을 도시한다. 예컨대 바닥에 놓인 태블릿이나 스마트 폰의 터치스크린에서, 손가락으로 가상 키를 누를 때, 햅틱 지원 모듈 170은 상태 2110에서와 같이 손가락 접촉영역과 같거나 거의 유사한 영역에 햅틱 피드백을 제공할 수도 있고, 상태 2130과 같이 접촉영역 중 일부 영역에만 햅틱 피드백을 제공하도록 제어할 수 있다.
상태 2120은 물리적인 키보드에서 손가락의 접촉면의 일 례를 나타낸다. 물리적인 키보드는 키보드의 상단이 높고, 하단이 낮은 형태이며, 이에 배열된 키들도 키의 표면도 키보드 각도에 따라 경사진 형태이다. 이로 인해 키에 접촉되는 손가락 표면은 평면위에 손이 닿는 상태 2110에 비해 손가락 패드(pad)보다는 손가락 끝(tip) 영역에 더 근접하게 된다.
햅틱 지원 모듈 170은 상태 2130에서와 같이 전자 장치 100이 지면을 기준으로 수평각도로 배치된 경우에도 일정 각도 기울어져 있는 것처럼 사용자에게 촉감을 주기 위하여 입력 물체와 전자 장치 100이 접촉한 영역에서 상대적으로 상단 영역에 햅틱 피드백을 제공할 수 있다. 이를 통해 햅틱 지원 모듈 170은 실제 접촉면보다 손가락 끝 영역에 햅틱 피드백을 출력하여 물리적 키보드 사용 느낌을 제공할 수 있다. 일 실시예에 따르면, 햅틱 지원 모듈 170의 햅틱 운용 방법은 가상 키보드의 가상적인 기울기를 설정하는 동작과 이 기울기에 따라 접촉 영역의 모양과 위치를 조절하는 동작, 그리고 조절된 접촉 영역에 햅틱 피드백을 설정하는 동작을 설정할 수 있다. 다른 일 실시예에 따르면, 햅틱 운용 방법은 햅틱 피드백을 설정할 소정의 상대적인 면적, 위치, 비율, 형상의 속성 중 하나 이상을 미리 지정하여 저장하는 동작과, 접촉 영역이 판별되는 동작, 그리고 판별된 접촉 영역에 근거하여 햅틱 피드백을 설정할 영역과 햅틱 피드백의 종류를 지정하는 동작을 설정할 수도 있다. 일 실시예에 따르면, 햅틱 운용 방법은, 가상 키보드의 레이아웃에서 발생한 입력 이벤트 영역(예: 손가락 터치 영역) 중 가상으로 지정한 기울기가 상대적으로 높은 방향(예: 일정 기울기를 가진 전자 장치 또는 일정 기울기를 가지도록 배치된 전자 장치에서 지면을 기준으로 기울기가 높은 방향 또는 일정 기울기를 가지도록 가상으로 표시된 가상 키보드에서 기울기가 상대적으로 높게 배치되는 특정 가상 키 영역 중 상단부 영역)에 햅틱 피드백이 치우쳐 출력되도록 처리할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 자이로 센서 또는 가속도 센서 등을 이용하여 전자 장치 100의 기울어짐 각도를 검출할 수 있다. 햅틱 지원 모듈 170은 기울어짐 각도의 크기에 대응하여 터치 영역에서의 햅틱 피드백이 출력되는 영역을 조정할 수 있다. 예컨대, 햅틱 지원 모듈 170은 전자 장치의 기울어짐에 대응하여 햅틱 피드백이 터치 영역의 가장자리에 치우쳐 출력되도록 제어할 수 있다.
도 22는 다양한 실시예에 따른 터치 영역 검출 및 그에 따른 햅틱 정보 운용과 관련한 도면이다.
도 22를 참조하면, 다양한 실시예에 따르면, 전자 장치 100은 디스플레이 150 영역에 화면 정보를 출력하는 표시 패널 상에 배치된 적어도 하나의 키 오브젝트들 2221, 2223, 2225, 각각의 키 오브젝트들 2221, 2223, 2225 각각에 매핑되거나 각각에 최소한 하나 이상 포함된 터치 소자들, 터치 소자들 사이에 배치된 적어도 하나의 광센서 2211을 포함할 수 있다. 터치 소자들은 각 키 오브젝트들 2221, 2223, 2225에 매핑되도록 배치될 수 있다. 광센서 2211은 매트릭스 혹은 슬릿(slit) 형태로 배치된 터치 소자들의 경계 영역 사이에 적어도 하나가 배치될 수 있다. 한 실시예에 따르면, 광센서 2211은 매트릭스 혹은 슬릿 형태로 배치된 터치 소자들의 경계 영역에 매트릭스 혹은 슬릿 형태로 배치될 수 있다. 도면에서는 광센서 2211 중 일부를 도시한 것이다. 전자 장치 100은 광센서 2211이 획득하는 이미지 정보를 수집하고, 수집된 이미지 정보 처리를 수행할 수 있는 영상 처리 모듈을 포함할 수 있다. 영상 처리 모듈은 예컨대 햅틱 지원 모듈 170에 포함되도록 배치되거나 또는 AP(application processor)에 포함되거나 또는 CP(call processor)에 포함될 수 있다. 다양한 실시예에 따르면, 영상 처리 모듈은 카메라 모듈에 포함될 수도 있다.
다양한 실시예에 따르면, 전자 장치 100은 정전압 방식 터치 센서를 포함하고, 각 셀(cell)에서 입력된 터치 이벤트 2212에 의한 정전압 값들의 분포를 분석하여, 정전압 값이 가장 넓게 분포한 키 영역이 선택된 것으로 인식할 수 있다. 또는 전자 장치 100은 터치 이벤트 2212가 발생할 때, 해당 포인트 위치와 함께 호버링 또는 광센서 내장 LCD(embedded optical sensor LCD)를 이용하여 근접한 손가락 끝 이미지를 검출할 수 있다. 일 실시예에 따르면 전자 장치 100은 터치 이벤트 2212에 대응하는 이미지 영역이 가장 넓게 겹쳐지는 키 오브젝트를 선택한 것으로 인식할 수 있다. 이 동작에서 전자 장치 100은 광센서 내장 LCD를 이용하여 손가락 끝의 이미지를 인식할 때 일정 거리 이내 근접한 손가락 끝의 이미지 영역의 밝기(intensity) 값 비교를 수행하여 이미지 인식을 수행할 수 있다. 인식된 이미지에 대응하는 면적을 기반으로 전자 장치 100은 햅틱 피드백 출력을 지원할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 광센서 2211을 이용하여 오입력 처리를 보정하거나 처리할 수 있다. 예컨대, 전자 장치 100은 특정 터치 이벤트 2212 입력을 오입력으로 처리하는 동작(예: 특정 키 입력 이후 백스페이스 키 입력이 발생하는 빈도수로 판단)이 지속적으로 발생하는 경우 해당 키 영역의 레이아웃, 햅틱 레이아웃 중 적어도 하나를 수정할 수 있다. 한 실시예에 따르면, 전자 장치 100은 지점 2221, 지점 2223, 지점 2212 사이에 터치 이벤트 2212가 발생하면, 전자 장치 100은 광센서 2211이 촬영한 이미지를 분석하여 가장 넓게 이미지가 분포된 지점 예컨대 지점 2212가 선택된 것으로 판단할 수 있다. 이에 대응하여, 햅틱 지원 모듈 170은 지점 2212에 할당된 햅틱 정보를 기반으로 특정 햅틱 피드백을 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 에러 수정을 수행하지 않고, 에러 발생에 대응하는 소정의 햅틱 피드백을 제공할 수 있다. 또는 햅틱 지원 모듈 170은 GUI적으로 지점 2212에 해당하는 C 버튼의 영역이 순간적으로 터치 포인트를 포함하도록 커지면서 C가 입력되었음을 알려줄 수도 있다.
도 23은 다양한 실시예에 따른 가상 현실에서의 햅틱 정보 운용과 관련한 도면이다.
도 23을 참조하면, 다양한 실시예에 따르면, 전자 장치 100은 HMD(Head Mounted Display) 장치 100a 및 데이터 글로브 102c를 포함할 수 있다. HMD 장치 100a와 데이터 글로브 102c는 서로 유선 또는 무선 중 적어도 하나의 방식으로 통신 채널을 형성할 수 있다. 예컨대, 데이터 글로브 102c는 가속도 센서(accelerometer), 자이로(gyro) 센서, 중력 센서 중 적어도 하나를 기반으로 자신의 위치 정보 또는 움직임 정보 중 적어도 하나를 HMD 장치 100a에 제공할 수 있다. 데이터 글로브 102c는 햅틱 모듈 180을 포함할 수 있다. 데이터 글로브 102c는 가상 물체들 2311, 2313, 2315에 대해 부드러움, 거친 정도, 매끄러움 등을 표현하기 위하여 다양한 종류의 햅틱 센서를 포함하는 햅틱 모듈 180을 포함할 수 있다. 햅틱 모듈 180은 데이터 글로브 102c의 손가락부분과 관절에 배치되어 햅틱 정보에 대응하는 햅틱 피드백 출력을 수행할 수 있다. 또한 데이터 글로브 102c는 햅틱 지원 모듈 170을 포함할 수도 있다. 또는 햅틱 지원 모듈 170을 포함하는 HMD 장치 100a로부터 햅틱 모듈 180 구동과 관련한 햅틱 정보를 수신하고, 햅틱 정보에 대응하는 햅틱 피드백 또는 force feedback 중 적어도 하나를 출력할 수 있다.
HMD 장치 100a는 카메라 및 영상 표시 장치를 포함하고, 데이터 글로브 102c가 제공한 정보를 기반으로 영상에 데이터 글로브 102c를 표시할 수 있다. 이 동작에서 HMD 장치 100a는 증강 현실 또는 가상 현실 중 어느 하나를 제공할 수 있다. 다양한 실시예에 따르면, HMD 장치 100a도 햅틱 모듈 180을 포함하고 일정 햅틱 피드백을 출력할 수도 있다.
다양한 실시예에 따르면, HMD 장치 100a는 VR(Virtual Reality) 또는 AR(Augmented Reality)을 구성하는 적어도 하나의 가상 물체들 2311, 2313, 2315가 가상 공간 2310 상에 배치된 환경에서 데이터 글로브 102c에 의한 가상 공간 2310 제어를 지원할 수 있다. 이와 관련하여, HMD 장치 100a는 가상 공간 2310에 배치된 가상 물체들 2311, 2313, 2315에 대해 적어도 하나의 햅틱 정보를 할당할 수 있다. HMD 장치 100a는 데이터 글로브 102c에 대응하는 글로브 가상 객체 2321, 2323을 가상 공간 2310 상에 제공할 수 있다. HMD 장치 100a는 데이터 글로브 102c로부터 제공되는 움직임 정보 또는 상태 정보에 따라 데이터 글로브 102c의 가상 공간 2310 상의 위치나 상태를 조정할 수 있다. 이 동작에서 HMD 장치 100a는 데이터 글로브 102c의 위치 또는 상태 중 적어도 하나와 관련하여 특정 햅틱 피드백 출력을 제공할 수 있다. 글로브 가상 객체 2321, 2323은 데이터 글로브 102c의 개수에 대응하여 복수개가 마련될 수 있다. 각각의 글로브 가상 객체 2321, 2323은 독립적으로 또는 서로 연동하여 특정 햅틱 피드백을 출력할 수 있다. 예컨대, 글로브 가상 객체 2321, 2323 중 글로브 가상 객체 2321이 특정 가상 물체들 2311, 2313, 2315와 접촉되는 경우 HMD 장치 100a는 글로브 가상 객체 2321에 대응하는 데이터 글로브 102c 중 어느 한 쪽에 해당 햅틱 정보를 제공할 수 있다. 또는 HMD 장치 100a는 햅틱 정보를 데이터 글로브 102c 전체에 전송할 수도 있다.
다양한 실시예에 따르면, 데이터 글로브 102c에 대응하는 글로브 가상 객체 2321, 2323이 복수개인 환경에서, 하나의 글로브 가상 객체 2321을 이용하여 가상 물체들 2311, 2313, 2315의 탐색을 수행하는 경우, HMD 장치 100a는 제1 입력 모드 또는 탐색 모드를 지원할 수 있다. 예컨대, HMD 장치 100a는 글로브 가상 객체 2321을 이용하여 가상 물체들 2311, 2313, 2315를 접촉하거나 근접된 위치에 글로브 가상 객체 2321을 배치하더라도, 별도의 기능 실행을 수행하지 않도록 제어할 수 있다. 글로브 가상 객체 2321과 글로브 가상 객체 2323이 특정 가상 물체에 동시 중첩되는 경우 HMD 장치 100a는 해당 가상 물체와 관련한 기능 실행 모드 또는 제2 입력 모드를 수행하도록 제어할 수 있다. 상술한 동작에서 HMD 장치 100a는 글로브 가상 객체 2321을 이용한 탐색 모드에서는 글로브 가상 객체 2321에 대응하는 데이터 글로브 102c의 한쪽에만 특정 햅틱 정보를 제공할 수 있다. 다양한 실시예에 따르면, 글로브 가상 객체 2323의 가상 물체 접촉과 관련하여, HMD 장치 100a는 탐색 모드(예: 글로브 가상 객체가 접촉된 또는 일정 거리 이내 위치한 가상 물체에 대한 위치 탐색 환경)를 지원할 수 있다. 또는 HMD 장치 100a는 글로브 가상 객체 2323에 의한 가상 물체 접촉과 관련하여 해당 가상 물체에 할당된 기능 실행 모드로 동작하도록 제어할 수도 있다.
HMD 장치 100a는 가상 물체들 2311, 2313, 2315가 배치되는 (x, y)곡면의 가상 평면을 포함하는 가상 공간 2310을 제공할 수 있다. 여기서HMD 장치 100a는 해당 곡면의 가장자리를 경계 영역으로 설정할 수 있다. HMD 장치 2310은 데이터 글로브 102c에 대응하는 글로브 가상 객체 2321, 2323이 곡면의 경계 영역 바깥으로 소정 거리이상 벗어날 경우 제1 햅틱 정보를 데이터 글로브 102c에 전달할 수 있다. HMD 장치 100a는 글로브 가상 객체 2321, 2323이 가상 물체들 2311, 2313, 2315 중 어느 하나와 중첩되는 경우 제2 햅틱 정보를 데이터 글로브 102c에 전달할 수 있다. 이 동작에서 HMD 장치 100a는 실행 중인 기능에 대응하여 복수개의 가상 물체들 2311, 2313, 2315를 가상 공간 2310 상에 배치할 수 있다. HMD 장치 100a는 각각의 가상 물체들 2311, 2313, 2315에 대하여 서로 다른 햅틱 정보를 할당할 수 있다. HMD 장치 100a는 데이터 글로브 102c와 중첩되는 가상 물체들 2311, 2313, 2315에 할당된 햅틱 정보를 데이터 글로브 102c에 전달할 수 있다. 데이터 글로브 102c는 각각의 가상 물체들 2311, 2313, 2315에 할당된 햅틱 정보에 대응하는 햅틱 피드백을 출력할 수 있다.
다양한 실시예에 따르면, HMD 장치 100a는 복수개의 가상 공간 2310을 제공할 수도 있다. 예컨대, HMD 장치 100a는 하나의 평면으로 표시되는 가상 공간 2310을 z축 방향으로 복수개로 겹쳐지도록 배치할 수 있다. Z축 방향으로 복수개가 배치된 가상 공간 2310에는 적어도 하나의 가상 물체가 배치될 수 있다. 또는 가상 물체의 배치가 없는 가상 공간이 존재할 수도 있다. HMD 장치 2310은 글로브 가상 객체 2321, 2323의 움직임에 따라 접촉되는 가상 공간별로 서로 다른 햅틱 피드백이 제공되도록 데이터 글로브 102c를 제어할 수 있다. 상술한 가상 물체들 2311, 2313, 2315는 2D 또는 3D 형태를 가질 수 있다. 가상 공간 2310 상에 배치된 가상 물체들 2311, 2313, 2315는 임의의 3차원 물체, 예를 들어 직육면체, 구, 원뿔, 피라미드 등 다양한 형태의 표현될 수 있고, 해당 3D 객체의 표면의 일부가 표시될 수 있다. HMD 장치 100a는 가상 물체들 2311, 2313, 2315에 대하여 에지 부분과 같이 질감이 거칠거나 날카롭거나 형상이 변하는 부분을 느낄 수 있도록 해당하는 햅틱 정보를 가상 물체들의 일정 부위별로 할당할 수 있다. 예컨대, HMD 장치 100a는 꼭짓점, 변, 모서리, 면 중 적어도 일부 단위로 동일한 또는 서로 다른 햅틱 정보를 할당할 수 있다.
가상 물체들 2311, 2313, 2315의 위치를 검색하는 제1 입력모드나 탐색모드는 데이터 글로브 102c에 해당하는 글로브 가상 객체 2321, 2323이 이동하거나 가상 물체들 2311, 2313, 2315의 표면에 접촉 혹은 근접 시 실행될 수 있다. 가상 물체들 2311, 2313, 2315와 관련한 기능 실행 또는 정보 입력을 지원하는 제2 입력모드는 제1 입력 모드 또는 탐색 모드에서 검색된 가상 물체들 2311, 2313, 2315에 대하여 해당 가상 물체들 2311, 2313, 2315에 대한 접촉이나 근접이 일정 시간 유지되거나 데이터 글로브 102c의 특정 움직임 또는 상태에 대응하여 구동될 수 있다.
도 24는 다양한 실시예에 따른 입력 에러 정정과 관련한 햅틱 정보 운용 방법을 도시한다.
도 24를 참조하면, 다양한 실시예에 따른 에러 정정 관련 햅틱 정보 운용 방법은, 동작 2401에서 햅틱 지원 모듈 170이 설정에 따라 또는 이벤트 발생에 대응하여 햅틱 기능 실행(예: 화면 정보 분석 결과, 입력 정보 분석 결과, 또는 실행 정보 분석 결과에 따라 햅틱 정보를 할당하여 출력하는 기능 또는 할당된 햅틱 정보를 출력하는 기능)을 수행할 수 있다.
동작 2403에서 햅틱 지원 모듈 170은 입력 정보 분석을 수행할 수 있다. 이와 관련하여, 햅틱 지원 모듈 170은 입출력 인터페이스 140을 통해 입력되는 입력 정보를 분석할 수 있다. 예컨대, 햅틱 지원 모듈 170은 입력된 문자 정보에 대한 맞춤법 검사를 수행할 수 있다. 동작 2405에서 햅틱 지원 모듈 170은 입력 정보 분석에 대하여 에러 발생 여부를 확인할 수 있다.
에러 발생이 있는 경우, 동작 2407에서 햅틱 지원 모듈 170은 에러 관련 햅틱 정보 출력을 제어할 수 있다. 에러 발생이 없는 경우, 동작 2409에서 햅틱 지원 모듈 170은 입력 정보 관련 햅틱 정보 출력을 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 입력 정보와 관련된 햅틱 정보가 없는 경우, 햅틱 정보 출력을 수행하지 않을 수도 있다.
동작 2411에서 햅틱 지원 모듈 170은 기능 종료 관련 이벤트가 있는지 확인할 수 있다. 햅틱 지원 모듈 170은 기능 종료 관련 이벤트가 없는 경우 동작 2403으로 분기하여 이하 동작을 재수행할 수 있다. 햅틱 지원 모듈 170은 기능 종료 관련 이벤트가 있으면, 햅틱 기능 실행을 종료하도록 제어할 수 있다. 추가로 또는 대체적으로 햅틱 지원 모듈 170은 햅틱 기능 실행 종료 후 지정된 스케줄 정보에 따른 전자 장치 100의 기능 실행을 지원하거나 또는 슬립 모드 천이를 제어할 수 있다.
상술한 에러 정정과 관련하여, 한 실시예에 따르면, 햅틱 지원 모듈 170은 키를 입력에 대응하여 특정 멜로디를 출력하도록 제어할 수 있다. 이에 따라, 키 입력 속도가 변경되면 햅틱 지원 모듈 170은 그에 대응하여 멜로디를 변경할 수 있다. 예컨대, 햅틱 지원 모듈 170은 키 입력에 대하여 피아노 건반을 매핑할 수 있다. 햅틱 지원 모듈 170은 특정 키 입력이 발생하면 해당 피아노 건반에 대응하는 음을 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 키 입력 속도가 빨라지면 해당하는 멜로디 출력을 빠르게 수행하도록 제어하고, 키 입력 속도가 느려지면 해당하는 멜로디를 느리게 출력하도록 제어할 수 있다. 멜로디 또는 피아노 건반 매핑 등은 사용자 설정 변경에 대응하여 조정될 수 있다.
햅틱 지원 모듈 170은 키 입력 과정에서 오타 발생을 검출하고, 오타 발생 시 이를 분석하여 설정된 멜로디와는 다른 음이나 멜로디를 특정 햅틱 피드백 출력과 함께 제공하도록 제어할 수 있다. 사용자는 익숙한 멜로디로 된 오디오 피드백 또는 햅틱 피드백 중 적어도 하나를 청취하면서 키 입력을 수행하다가, 오타 발생 시 달라진 오디오 피드백 또는 햅틱 피드백을 통해 오타 발생을 직관적으로 인지할 수 있다. 햅틱 지원 모듈 170은 오타 부분에 대한 추천 단어를 출력하거나 오타 부분을 주변 입력 정보와 구분(예: 하이라이트 처리)하여 오타 인식 또는 수정이 보다 용이하도록 지원할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 문자 완성 후 또는 문단이나 페이지에 정보 입력이 완료된 이후 오디오 피드백 또는 햅틱 피드백 중 적어도 하나를 제공하도록 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 오타 인식 기능이 실행되면, 오타가 발생한 단어나 구문에 대하여 하이라이트 표시, 밑줄 표시, 색상변환, 크기변환 중 적어도 하나를 제공할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 오타가 발생한 문장, 단어, 문자 중 적어도 하나에 특정 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 해당 오타가 포함된 영역을 선택하거나 지시하는 터치 이벤트 또는 호버링 이벤트가 발생하면, 해당 햅틱 정보에 대응하는 햅틱 피드백을 출력하도록 제어할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 오타가 발생한 영역(예: 오타가 포함된 문단이나, 문장, 단어, 문자 등) 검색과 관련한 탐색 모드 혹은 제1 입력모드를 제공할 수 있다. 햅틱 지원 모듈 170은 탐색 모드 또는 제1 입력 모드에서 오타가 발생한 영역 검출과 관련한 햅틱 피드백 출력을 제어할 수 있다. 햅틱 지원 모듈 170은 오타 발생 영역 내에서 설정된 이벤트(예: 일정 시간 터치나 호버링이 유지되는 이벤트, 특정 제스처 입력에 대응하는 이벤트)가 발생하면 제2 입력 모드 전환을 제어할 수 있다. 제2 입력 모드로 전환되면, 햅틱 지원 모듈 170은 오타 수정과 관련하여 추천 단어 리스트를 제공하거나, 가상 입력 오브젝트를 출력하도록 제어할 수 있다.
상술한 동작을 기반으로 햅틱 지원 모듈 170은 많은 수의 글자들이 포함된 화면에서 플릭, 드래깅, 호버링 등과 같은 터치 제스처를 기반으로 오타 검색을 등을 용이하게 수행할 수 있다. 이와 관련하여, 햅틱 지원 모듈 170은 오타가 발생한 영역과 오타가 없는 영역에 서로 다른 햅틱 피드백을 제공하거나, 오타가 발생한 문단이나 단어를 포함하는 영역의 테두리를 경계 영역으로 설정하여 또 다른 햅틱 피드백이 출력되도록 제어할 수 있다. 햅틱 지원 모듈 170은 오타가 없는 영역에 이벤트(예: 터치나 호버링 이벤트)가 발생하면, 오타 위치를 안내하는 방향성 햅틱 피드백(예: 터치가 발생한 지점에서 오타가 발생한 영역을 지시하는 방향)을 지원할 수도 있다.
상술한 바와 같이, 다양한 실시예에 따른 전자 장치 및 방법은 서비스 모드에 따라 소정의 레이아웃을 구성하고 레이아웃에 따라 구성요소를 배치하는 동작, 서비스 모드에 따라 둘 이상의 그룹으로 구성요소들을 구분하는 동작, 각각의 그룹에 대해 서로 다른 햅틱 피드백을 설정하는 햅틱 레이아웃 설정 동작, 상기 레이아웃에 의해 배치된 구성요소의 영역에서 입력 이벤트가 발생하였음을 감지하는 동작, 해당 입력 이벤트 발생 위치에 대응하는 햅틱 레이아웃에 따라 해당하는 소정의 햅틱 피드백을 발생시키는 동작을 포함할 수 있다.
다양한 실시예에 따르면,　상기 입력은 문자 입력이며, 상기 전자 장치 및 방법은 적어도 하나의 문자로 구성된 문자열에 오자 혹은 기설정되지 않은 단어가 입력되었음을 판단하는 동작, 오자 혹은 미설정 단어를 구성요소로서 상기 레이아웃과 상기 햅틱레이아웃에 추가하는 동작을 설정할 수 있다.
다양한 실시예에 따르면,　장치 및 방법은 상기 햅틱 레이아웃에서 상기 오자나 미설정 단어가 위치한 영역을 제외한 나머지 영역은 햅틱 피드백을 비활성화하는 동작을 설정할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 문자 입력마다 소정의 멜로디 순서 혹은 소정의 햅틱 피드백 순서에 따라 오디오 혹은 진동 중 적어도 하나가 출력되는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 문자 입력에서, 적어도 하나의 문자로 구성된 문자열에 오자 혹은 기설정되지 않은 단어가 입력되었음을 판단하는 동작, 오자 혹은 미설정 단어 발생 경우 화음이 맞지 않는 멜로디 혹은 진동 길이, 리듬이나 주파수가 맞지 않는 햅틱 피드백을 발생하는 동작을 포함할 수 있다.
도 25는 다양한 실시예에 따른 화면 정보 관련 햅틱 정보 운용을 도시한다.
도 25를 참조하면, 전자 장치 100은 디스플레이 150 상에 적어도 하나의 오브젝트를 포함하는 화면 정보를 출력할 수 있다. 예컨대, 전자 장치 100은 화면을 구성하는 레이아웃 상에 배너 오브젝트, 광고 오브젝트 등을 출력할 수 있다. 디스플레이 150에 출력된 오브젝트는 다양한 질감이나 촉감과 관련한 정보를 포함할 수 있다. 예컨대, 오브젝트는 종이나 천에 정보가 인쇄된 이미지 형태, 금속판에 돋움으로 새겨지거나 나무판에 새겨지는 이미지 형태 등일 수 있다. 햅틱 지원 모듈 170은 오브젝트의 내용 정보에 대응하여 상술한 이미지 형태를 분석하고, 이를 오브젝트의 재질로 인식할 수 있다. 예를 들어 햅틱 지원 모듈 170은 전자책에 대하여 종이 재질로 인식할 수 있다. 여기서 햅틱 지원 모듈 170은 전자책의 종이 분석에 대응하여 매끄러운 느낌, 거친 느낌 등을 위치가 영역 또는 이미지 분석 결과에 대응하여 다르게 인식할 수 있다. 햅틱 지원 모듈 170은 분석 결과에 대응하는 햅틱 정보를 해당 오브젝트에 할당할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 디스플레이 150에 출력된 오브젝트가 옷과 관련한 광고 이미지인 경우 해당 옷의 재질이나 설명을 기반으로 해당 오브젝트에 대한 재질 인식을 수행할 수 있다. 햅틱 지원 모듈 170은 재질 인식에 기반하여 대응되는 햅틱 정보를 해당 오브젝트에 할당할 수 있다. 이 동작에서, 햅틱 지원 모듈 170은 특정 오브젝트와 관련된 링크 정보 예컨대, 웹 페이지에서 추출된 XML이나 HTML 형식의 텍스트 정보, 광고 설명 정보 등을 문자 파싱 및 문자 분석을 수행하고, 이를 기반으로 해당 오브젝트에 관한 재질 인식을 수행할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 검색 기능을 통해 입력된 키워드 및 해당 키워드 관련 정보를 기반으로 검색 결과에 대한 촉감이나 느낌을 추정할 수 있다. 예컨대, 검색 기능으로 해변 이름이 검색되는 경우, 햅틱 지원 모듈 170은 해변과 관련된 물이나 모래 등의 질감이나 촉감을 해당 검색 결과에 부여할 수 있다. 햅틱 지원 모듈 170은 직접적 혹은 간접적인 오브젝트 관련 정보를 애플리케이션, 문서 파싱, 이미지 분석 등을 통해서 파악함으로써 오브젝트에 대한 햅틱 레이아웃을 설정 또는 변경할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 문서에서 키워드 검색에 대응하여 햅틱 피드백 또는 시각 정보 피드백 중 적어도 하나를 제공할 수 있다. 햅틱 지원 모듈 170은 터치스크린 형태의 디스플레이 150에 터치 이벤트가 발생하면, 탐색 모드 지원을 기반으로 검색 결과에 대응하는 키워드와 터치 이벤트 간의 거리에 대응하여 특정 햅틱 피드백을 출력하도록 제어할 수 있다. 햅틱 지원 모듈 170은 일정 크기 이상의 터치 압력, 터치 면적, 터치 시간, 터치 제스처 형태 중 적어도 하나와 관련한 이벤트 발생에 대응하여 검색된 키워드와 관련한 기능 실행을 제어할 수 있다. 예컨대, 햅틱 지원 모듈 170은 선택된 키워드와 관련한 웹사이트 연결이나 해당 키워드를 검색엔진에 자동으로 전달할 수 있다.
햅틱 지원 모듈 170은 도시된 바와 같이 다양한 키워드에 대해서 상술한 다양한 실시예들을 적용할 수 있다. 예컨대, 워드 클라우드 기능에 의해 키워드들이 표시된 경우 햅틱 지원 모듈 170은 각 키워드들에 대하여 중요도(키워드의 입력 빈도, 입력 시점, 출현 빈도 중 적어도 하나)에 따라 햅틱 피드백을 달리 할 수 있다. 예를 들어 전자 장치 100은 웹 페이지, 논문, 특허, 연설문, 기사 등 적어도 하나 문서의 키워드들을 분석하여 사용빈도나 주제 등에 따라 주요한 키워드들을 지정된 적합도나 중요도에 따라 색상, 크기 등으로 강조하여 표시할 수 있다. 다양한 실시 예에 따르면, 햅틱 지원 모듈 170은 입력된 키워드 또는 상기 키워드 검색 결과에 해당하는 오브젝트에 지정된 햅틱 피드백을 출력하도록 설정된 정보를 할당할 수 있다.
햅틱 지원 모듈 170은 검출된 키워드들의 중요도에 따라 해당 키워드가 표시된 영역마다 특정 햅틱 정보들을 할당할 수 있다. 예컨대, 햅틱 지원 모듈 170은 키워드 2510에 제1 햅틱 정보를 할당하고, 키워드 2520에 제2 햅틱 정보를 할당할 수 있다. 제1 햅틱 정보 또는 제2 햅틱 정보는 해당 키워드의 중요도에 대응하여 강도나 주파수 등이 다를 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 표시된 문서 등에서 터치 등의 입력을 통해 선택한 키워드를 TTS(Text-to-Speech) 기능을 기반으로 출력할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 각각의 키워드들의 경계 영역에서 서로 다른 햅틱 피드백을 출력하도록 제어하여 키워드들 간의 구분 인식을 제공할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 특정 키워드 선택(또는 키워드에 대응하는 오브젝트 선택)이 지정된 시간 이상, 지정된 압력 이상, 지정된 터치 면적 이상, 또는 지정된 전하량 이상의 입력 신호를 통해 발생하면 키워드와 관련한 기능 실행을 제어할 수 있다. 다양한 실시예에 따르면, 팝업창에서 OK와 Cancel 버튼들이 보일 때, 햅틱 지원 모듈 170은 각 버튼들에 대응하는 영역에 서로 다른 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 탐색 모드에서 서로 다른 햅틱 정보 기반의 햅틱 피드백을 통해 버튼을 구분할 수 있도록 지원할 수 있다. 햅틱 지원 모듈 170은 탐색 모드 이후 특정 버튼의 선택과 관련한 입력 신호가 발생하면, 해당 버튼에 할당된 기능 실행을 제어할 수 있다. 다양한 실시예에 따르면, 사용자는 주머니 등에 전자 장치 100을 보관한 경우에 전자 장치 100을 꺼내지 않고 탐색 모드에서 햅틱 피드백을 이용하여 특정 오브젝트를 구분할 수 있다. 그리고 사용자는 오브젝트 선택에 따른 기능 실행을 제어할 수 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 정보 검색을 위한 입력동작을 포함하고, 상기 햅틱 레이아웃 설정동작은 검색된 정보에 해당하는 적어도 하나의 구성요소 영역에서 햅틱 피드백이 발생하도록 햅틱 레이아웃을 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 입력동작은 정보 검색을 위해 가상키보드를 통한 문자입력, 터치 스크린이나 터치 패드 상의 필기인식, 음성인식 중 적어도 하나의 동작을 통해 검색하고자 하는 단어, 키워드, 문장 중 하나 이상을 입력하는 동작을 수행할 수 있다.
다양한 실시예에 따르면, 검색된 정보는 문자, 이미지, 가상 버튼, 메뉴, 리스트 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 검색된 정보는 사람 이미지(예: 얼굴 이미지, 사람의 실루엣), 동물 이미지, 식물 이미지 중 적어도 하나를 포함할 수 있다. 한 예로, 여러 사람이 포함된 단체 사진 이미지 조회 중 특정한 사람의 이름을 상기 입력동작을 통해 입력하면 해당하는 사람의 얼굴 영역에 터치 입력 신호가 발생하였을 때 햅틱 지원 모듈은 그에 대응하는 햅틱 피드백을 제공하도록 설정할 수 있다. 또 다른 예로 상기 사람 얼굴 영역과 터치 신호가 발생한 영역이 서로 다른 경우, 햅틱 지원 모듈은 해당 터치 신호가 발생한 영역에 사람 얼굴 영역을 지시하는 방향성 햅틱 피드백을 제공하거나, 두 영역간 거리에 따라 다른 강도를 가진 햅틱 피드백을 출력하도록 설정할 수도 있다. 따라서 상기 두 영역이 상이한 경우에는 쉽게 상기 사람 얼굴 영역을 찾기 용이하게 할 수 있으며, 상기 얼굴 영역에서 입력이 발생하면 또 다른 햅틱 피드백을 제공할 수도 있다.
다양한 실시예에 따르면, 상기 장치 및 방법은 정보 검색 시 입력된 정보와 유사도 또는 신뢰도를 계산하는 동작, 검색된 정보가 복수개인 경우, 구성요소 각각의 유사도에 따라 햅틱 피드백의 강도, 질감, 패턴을 달리 설정하는 동작을 포함할 수 있다. 여기서 유사도 또는 신뢰도는 키워드와 검색 결과 간의 단어 매칭 비율 등에 의해 결정될 수 있다. 다양한 실시 예에 따르면, 유사도 또는 신뢰도는 키워드가 해당 검색 결과물(예: 검색 결과에 대응하는 오브젝트)에서 출현하는 빈도에 의해 결정될 수 있다.
다양한 실시예에 따르면, 상기 구성요소의 내용을 판별하고 이의 내용에 따라 햅틱 레이아웃의 해당 영역에 적합한 질감을 부여하는 동작을 포함할 수 있다.
다양한 실시예에 따르면,　상기 레이아웃은 문서, 스프레드시트, 전자책, word cloud, 이미지 중 적어도 하나를 포함할 수 있다.　　
도 26은 다양한 실시예에 따른 파노라마 관련 햅틱 정보 운용을 도시한다.
도 26을 참조하면, 전자 장치 100은 상태 2610에서와 같이 디스플레이 150 영역에 파노라마 이미지 또는 3D 구형(sphere type) 이미지, 혹은 3D 지도(map)에 해당하는 화면 정보 2601을 출력할 수 있다. 디스플레이 150 영역에는 화면 정보 2601의 일부 이미지에 해당하는 서브 화면 정보 2611이 출력될 수 있다. 다양한 실시 예에 따르면, 햅틱 지원 모듈 170은 목표 오브젝트 2622가 배치된 위치에 대한 지시 정보 2640을 서브 화면 정보 2611에 표시할 수 있다.
다양한 실시예에 따르면, 특정 검색 정보가 입력되고, 해당 검색 정보에 대응하는 목표 오브젝트 2622가 검색되면, 전자 장치 100의 디스플레이 150은 상태 2620에서와 같이 화면 정보 2601 중 목표 오브젝트 2622가 포함된 서브 화면 정보 2621을 표시할 수 있다. 또는 햅틱 지원 모듈 170은 지시 정보 2640을 터치하는 이벤트가 발생하면 상태 2620에서와 같이 서브 화면 정보 2611을 서브 화면 정보 2621로 변경하도록 제어할 수 있다. 햅틱 지원 모듈 170은 서브 화면 정보 2621에서도 목표 오브젝트 2622에 대한 인지를 지원하기 위하여 지시 정보 2641을 출력할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 검색 정보가 입력되면, 검색 정보에 대응하는 화면 정보 2601을 수집하고, 화면 정보 2601 중 검색 정보와 관련한 서브 화면 정보 2621을 디스플레이 150에 출력하도록 제어할 수도 있다. 일 실시예에 따르면, 전자 장치 100은 현재 조회 중인 화면을 변경하는 동작(예: 서브 화면 정보 2611에서 검색 정보와 관련한 서브 화면 정보 2621까지의 화면 이동하거나 줌 인 또는 줌 아웃하는 동작 중 적어도 하나의 영상 효과를 제공하는 동작)을 제공할 수 있다.
다른 실시예에 따르면, 또는 전자 장치 100은 화면 정보 2601을 수집하고, 디폴트로 정의된 서브 화면 정보 2611을 디스플레이 150에 출력할 수 있다. 전자 장치 100은 서브 화면 정보 2611 출력 이후 검색 정보와 관련한 목표 오브젝트 2622가 포함된 서브 화면 정보 2621 출력 상태로 변경할 수 있다. 이 동작에서 햅틱 지원 모듈 170은 목표 오브젝트 2622에 제1 햅틱 정보를 할당할 수 있다. 다양한 실시예에 따르면, 햅틱 지원 모듈 170은 서브 화면 정보 2611에서 특정 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 서브 화면 정보 2621에 서브 화면 정보 2611에 할당된 햅틱 정보와 다른 햅틱 정보를 할당할 수 있다. 햅틱 지원 모듈 170은 서브 화면 정보 2621의 특정 지점에 터치가 발생하면, 터치 지점의 위치와 목표 오브젝트 2622의 위치에 따라 방향성 햅틱 피드백을 출력하도록 제어할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 목표 오브젝트 2622를 선택하는 이벤트가 발생하면, 상태 2630에서와 같이 목표 오브젝트 2622에 할당된 기능 실행 정보 2632를 출력하도록 제어할 수 있다. 여기서 전자 장치 100은 목표 오브젝트 2622에 대한 지시 정보 2642를 유지하거나 또는 디스플레이 150에서 제거할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 검색 정보로 입력된 지역명을 기반으로 해당 지역에 대응하는 이미지(예: 화면 정보 2601)를 수집할 수 있다. 또는 전자 장치 100은 현재 장치가 있는 위치를 인식(예: GPS나 무선 기지국으로부터 cell망 정보를 취합하여 인식)한 후 2D 지도, 3D 지도, 파노라마 이미지, 3D 구형으로 모델링된 이미지 중 적어도 하나(예: 화면 정보 2601)를 제공하는 서버 장치나 타 전자 장치로부터 수집할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 특정 지역 이름이나 건물, 상점의 이름, 주소, 전화번호, 사람이름, 이메일 주소, 전자계정 주소와 관련한 목표 오브젝트의 정보를 검색할 수 있다. 전자 장치 100은 검색된 정보에 대응하는 이미지(예: 화면 정보 2601)를 출력하고, 해당 이미지에서 검색 정보와 관련한 목표 오브젝트가 배치된 영역(예: 서브 화면 정보 2611에서 특정 위치)을 표시할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 제1 검색 정보에 대응하는 이미지(예: 화면 정보 2601)를 수집하여 출력하고, 제2 검색 정보 입력에 대응하여 목표 오브젝트 2622 검색을 수행할 수 있다. 이 동작에서 전자 장치 100은 이미지 조회와 관련한 메뉴나 리스트를 제공할 수 있다. 전자 장치 100은 메모리 130에 저장되어 있는 이미지 혹은 네트워크에 연결된 서버 장치 106에 있는 이미지를 검색할 수 있다. 여기서 이미지는 앞서 언급한 바와 같이, 2D 이미지 지도, 3D 이미지 지도, 파노라마 이미지, 3D 구형 파노라마 이미지, 비디오 이미지 등을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치 100은 현재 위치와 방향 정보를 인식하고, 이를 기반으로 2차원 혹은 3차원 공간상에 정렬된 이미지 정보를 제공할 수 있다. 예컨대, 전자 장치 100은 특정한 목표 오브젝트(건물, 지역, 사물, 사람위치 등)에 대한 정보가 입력되면, 전자 장치 100은 2차원 또는 3차원 정렬된 이미지 정보 상에서 네비게이션 정보를 제공하거나 해당 이미지 정보 상에서 목표 오브젝트에 대응하는 위치나 방향을 표시(예: 화살표 표시, 파노라마 이미지의 thumbnail 표시, 이미지 오버레이 중 하나 이상)할 수 있다. 또한 전자 장치 100은 해당 목표 오브젝트에 대응하는 이미지 영역 위에서 사용자 입력이 발생하면, 입력에 의해 선택된 목표 오브젝트와 관련한 기능, 예를 들어 상세 정보 제공, 링크를 통한 예약, 전화연결, 메시지 보내기 등의 기능을 제공할 수도 있다.
파노라마 이미지나 지도 이미지와 같이 이미지가 크거나 표현하는 공간이 3D인 경우에는 목표 오브젝트는 현재 표시되고 있는 이미지 영역 외에 존재할 수도 있고, 다른 물체의 뒤에 가려질 수도 있다. 또한 특정 이미지 상에서 여러 물체 오브젝트들에 대한 정보가 표시되어 있을 수 있다. 이와 관련하여, 햅틱 지원 모듈 170은 목표 오브젝트의 위치를 디스플레이를 통해 표시(OSD(on screen display) 형식이나 증강현실, 가상 현실 등의 기법을 이용)하고, 이와 함께 햅틱 정보를 목표 오브젝트에 할당하여 목표 오브젝트 검색을 용이하게 하도록 지원할 수 있다.
다양한 실시예에 따르면, 햅틱 지원 모듈 170은 현재 표시된 이미지(예: 화면 정보 2601)에서 검색 정보에 대응하는 목표 오브젝트의 영역이 포함되어 있지 않으면, 목표 오브젝트와의 상대적인 위치를 계산할 수 있다. 햅틱 지원 모듈 170은 목표 오브젝트가 이미지 상에 배치된 위치를 포함하는 서브 오브젝트를 표시할 수 있도록 가이드하기 위한 햅틱 피드백을 제공할 수 있다. 예를 들어, 호버링, 터치 등의 사용자 입력이 서브 화면 정보 2611 상에서 감지되면, 햅틱 지원 모듈 170은 제1 햅틱 피드백을 통해 사용자 입력이 발생한 영역으로부터 목표 오브젝트가 포함된 제 2 서브 오브젝트(2621) 방향을 지시하는 햅틱 피드백을 출력하도록 제어할 수 있다. 이때, 해당 방향을 알려주는 오브젝트(화살표, 메시지, AR이나 VR 객체)가 서브 화면 정보 2611에 함께 표시될 수 있다. 제1 햅틱 피드백은 방향성을 주거나 거리 차이에 따라 강도나 패턴, 주기, 주파수 중 한 가지 이상이 다르게 설정될 수 있다. 사용자는 드래깅이나 flick, 시선추적, 음성입력, 단말기의 지향방향을 바꾸는 모션 등을 통해 명령을 입력하여 목표 오브젝트가 포함된 제2 서브 오브젝트를 표시하도록 장치 운용을 수행할 수 있다.
햅틱 지원 모듈 170은 목표 오브젝트 영역이 포함된 서브 화면 정보 2621이 표시되면, 제2의 햅틱 피드백을 설정하여 목표 오브젝트의 위치 판별을 지원할 수 있다. 예컨대, 햅틱 지원 모듈 170은 목표 오브젝트 2622가 포함된 일정 영역은 제2 햅틱 정보를 할당하고, 그 이외 영역에는 제1 햅틱 정보를 할당할 수 있다. 또는 햅틱 지원 모듈 170은 목표 오브젝트 2622가 포함된 일정 영역에만 햅틱 정보를 할당할 수도 있다. 목표 오브젝트 영역 중 일부나 전체가 다른 이미지나 물체에 가려질 경우, 햅틱 지원 모듈 170은 가려진 부분에 제3 햅틱 정보를 할당할 수도 있다. 예를 들어 제3 햅틱 정보는 제2 햅틱 정보와 진동수나 강도, 패턴, 주파수, 주기가 다르게 설정될 수 있다.
해당 목표 오브젝트 영역에서 사용자 입력이 감지되었을 때, 햅틱 지원 모듈 170은 사용자 입력의 종류나 상태 등에 따라서 제2 햅틱 정보에 따른 제2 햅틱 피드백 또는 제3 햅틱 정보에 따른 제3 햅틱 피드백 중 어느 하나를 출력하도록 제어할 수 있다. 또는 햅틱 지원 모듈 170은 해당 목표 오브젝트에 할당된 특정 기능 실행을 제어할 수 있다. 예를 들어 햅틱 지원 모듈 170은 드래깅을 통해 목표 오브젝트에 진입하면 설정된 햅틱 피드백을 제공하고, 일정 시간 이상 해당 목표 오브젝트 영역에서 입력이 유지되거나 혹은 설정된 제스처 예컨대 탭이 발생하거나 더블 탭이 발생한 경우 목표 오브젝트에 설정된 기능을 실행하도록 제어할 수 있다.
목표 오브젝트는 복수개일 수 있으며, 햅틱 지원 모듈 170은 지정된 기준에 따라 각각의 목표 오브젝트에 대해 가중치를 부여하여 중요도를 평가할 수도 있다. 예를 들어 전자 장치 100이 있는 현재 위치에서 이탈리안 레스토랑을 검색한 경우, 햅틱 지원 모듈 170은 여러 개의 목표 오브젝트 표시를 제어할 수 있다. 이때, 햅틱 지원 모듈 170은 현재 위치에서 목표 오브젝트까지의 거리, 목표 오브젝트들의 상품평 정보, 네티즌의 추천 수, 인기도 등에 따라 각각의 목표 오브젝트에 대해 중요도를 평가할 수 있다. 햅틱 지원 모듈 170은 평가 결과에 따라 각 목표 오브젝트들의 등급을 할당하고, 등급에 따라 햅틱 피드백을 서로 다르게 설정할 수 있다. 예를 들어 햅틱 지원 모듈 170은 중요도가 높은 목표 오브젝트 영역에서 사용자 입력이 감지되면 상대적으로 강하거나 주기가 빠른 햅틱 피드백을 제공하고, 중요도가 낮은 목표 오브젝트 영역에는 상대적으로 약하거나 주기가 느린 햅틱 피드백을 제공할 수 있다. 또한 해당 목표 오브젝트 영역에 소정의 사용자 입력이 감지되면 별도의 기능이 실행될 수 있을 경우 햅틱 지원 모듈 170은 이전과 다르게 설정된 햅틱 피드백을 제공할 수도 있다. 목표 오브젝트들이 같은 이미지 영역에 겹쳐진 경우 햅틱 지원 모듈 170은 겹쳐진 수에 따라 더 강하거나 빠른 햅틱 피드백을 제공할 수도 있다.
햅틱 지원 모듈 170은 목표 오브젝트의 특성에 따라 다양한 햅틱 정보를 할당할 수 있다. 예를 들어 햅틱 지원 모듈 170은 목표 오브젝트의 이미지 분석 또는 목표 오브젝트와 관련한 다양한 웹 정보 기반의 목표 오브젝트 분석을 수행할 수 있다. 또는 햅틱 지원 모듈 170은 사용자 입력에 대응하여 이미지의 각 영역별 햅틱 정보 할당을 지원할 수 있다. 또는 햅틱 지원 모듈 170은 이미지의 내용을 색상, 형상, 위치 정보, 명세 정보 등을 이용하여 분석하고, 그에 대응하는 햅틱 정보를 설정할 수도 있다. 질감 분석과 관련하여, 햅틱 지원 모듈 170은 비디오와 이미지 분석 기법, MPEG-7 기반 이미지 분석, GIS(Geographic Information System) 기반 수집된 정보 확인을 수행하거나 또는 해당 분석을 수행한 전자 장치로부터 분석 정보를 수집할 수 있다.
햅틱 지원 모듈 170은 해당 분석 결과를 토대로 목표 오브젝트가 유리 건물의 경우 벽돌 건물에 비해 매끄러운 질감에 해당하는 햅틱 정보를 할당할 수 있다. 또한, 햅틱 지원 모듈 170은 목표 오브젝트가 강물이나 바다인 경우 끈적이는 질감에 해당하는 햅틱 정보, 해변가인 경우 모래 질감에 해당하는 햅틱 정보를 할당할 수 있다.
목표 오브젝트의 이미지 영역이 지정된 크기 이하인 경우 햅틱 지원 모듈 170은 표시된 영역보다 큰 영역에 햅틱 정보를 할당하고, 햅틱 피드백 출력을 제어할 수 있다. 햅틱 지원 모듈 170은 이미지 조회 시 축소, 확대, 회전 등에 대응하여 서로 다른 햅틱피드백을 제공할 수 있으며, 영역별 다른 햅틱 정보를 할당할 수도 있다.
상술한 바와 같이, 다양한 실시예에 따른 장치 및 방법은 기저장된 이미지(예: 화면 정보 또는 화면 정보에 포함된 적어도 하나의 오브젝트)를 선택하여 이미지를 조회하는 동작, 적어도 하나의 목표 정보(예: 목표 오브젝트)를 설정하는 동작, 목표 정보와 관련한 방향, 위치 정보를 토대로, 이미지 상에서 해당 목표의 이미지 영역을 설정하는 동작, 현재 조회 중인 이미지 영역과 해당 목표 이미지 영역간의 관계를 계산하는 동작, 계산된 관계에 따라 해당 목표 이미지의 영역을 표시하거나 방향을 알려주는 부가 정보를 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 사용자의 입력을 감지하고 입력이 감지된 영역의 위치를 판단하는 동작, 감지된 영역 위치가 목표 이미지 영역인 경우, 제1 햅틱 피드백을 발생하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 감지된 영역 위치가 목표 이미지 영역 이외인 경우, 제2 햅틱 피드백을 발생하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 제2 햅틱 피드백은 입력이 감지된 영역으로부터 목표 이미지 영역까지의 방향이나 거리 중 적어도 하나를 지시하기 위하여 햅틱 패턴, 강도, 발생 주기 중 적어도 하나를 기반으로 제공될 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 제1 햅틱 피드백과 제2 햅틱 피드백은 감지된 영역에서 발생하는 동작, 목표 이미지 영역(목표 오브젝트 영역)의 크기가 지정된 제1 크기보다 작은 경우, 제2 크기 이상으로 설정하는 동작, 목표 이미지 영역이 이미지상의 다른 물체에 가려지는 경우 가려진 부분에 다른 햅틱 정보를 할당하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 목표 정보와 관련한 재질 속성 정보를 얻고, 목표 이미지 영역의 햅틱 피드백의 질감, 종류, 강도, 패턴 중 적어도 하나를 설정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법에서 상기 이미지는 파노라마 이미지, 360도 구형 이미지, 반원형 이미지, 3차원 지도, 2차원 지도 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 이미지를 조회하는 동작은 사용자의 입력 동작 혹은 전자기기의 방향과 위치를 인식하는 동작 중 적어도 하나에 의해 수행되며, 입력되거나 인식된 정보에 해당하거나 소정 거리 이내이거나 소정 방향에 해당하는 이미지가 추천되거나 자동 선택되어 조회될 수 있다.
다양한 실시예에 따르면, 장치 및 방법은 상기 사용자 입력은 음성입력, 필기 인식, 사진촬영에 의한 영상인식 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 발명의 다양한 실시예에 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 발명의 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 적어도 하나의 프로세서 (예: 상기 프로세서 120)에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 130이 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서120에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 적어도 하나의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시예의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나를 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 원본 영상의 크기 변환 비율 정보를 획득하는 동작, 상기 비율 정보를 기반으로 상기 원본 영상의 데이터 변환 및 크기 변환에 적용할 계수 정보를 획득하는 동작 및 상기 계수 정보를 상기 원본 영상의 적어도 일부 데이터에 적용하여 상기 크기 변환 비율에 대응하는 영상 처리 데이터를 획득하는 동작을 포함할 수 있다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 실시예에 따른 의 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 다양한 실시예에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 발명의 다양한 실시예에 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 발명의 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 적어도 하나의 프로세서 (예: 상기 프로세서 120)에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 130이 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서120에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 적어도 하나의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시예의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 적어도 하나를 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 실시예에 따른 의 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.
10 : 장치 운용 시스템
100, 102, 104 : 전자 장치
110 : 버스
120 : 프로세서 130 : 메모리
140 : 입출력 인터페이스 150 : 디스플레이
160 : 통신 인터페이스 170 : 햅틱 지원 모듈
180 : 햅틱 모듈 106 : 서버 장치
162 : 네트워크

Claims (91)

  1. 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석 동작;
    상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 할당하는 동작;
    이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 동작;을 포함하는 햅틱 정보 운용 방법.
  2. 제1항에 있어서,
    상기 화면 정보 분석 동작은
    화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트를 검출하는 동작;
    상기 오브젝트별로 서로 다른 햅틱 정보를 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  3. 제2항에 있어서,
    상기 할당하는 동작은
    상기 오브젝트의 경계 영역을 검출하는 동작;
    상기 경계 영역과, 상기 경계 영역 이외의 영역에 서로 다른 햅틱 정보를 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  4. 제2항에 있어서,
    상기 할당하는 동작은
    상기 오브젝트의 경계 영역에 제1 햅틱 정보를 할당하는 동작;
    상기 오브젝트의 내측에 제2 햅틱 정보를 할당하는 동작;
    상기 오브젝트의 외측에 제3 햅틱 정보를 할당하거나 또는 햅틱 정보를 미할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  5. 제2항에 있어서,
    상기 오브젝트들 중 특정 오브젝트 선택에 대응하여 다른 오브젝트들에 할당된 햅틱 정보를 변경하는 동작;이 더 설정된 햅틱 정보 운용 방법.
  6. 제1항에 있어서,
    상기 할당하는 동작은
    상기 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트 형상에 대응하는 햅틱 정보를 할당하는 동작;
    상기 화면에 출력된 또는 화면에 출력될 적어도 하나의 오브젝트의 내용을 분석하여 상기 오브젝트의 재질에 따른 햅틱 정보를 할당하는 동작;
    상기 오브젝트와 관련한 설명 정보에 대응하는 햅틱 정보를 할당하는 동작; 중 적어도 하나가 설정된 햅틱 정보 운용 방법.
  7. 제1항에 있어서,
    상기 입력 정보 분석 동작은
    입력 물체의 종류를 분석하는 동작;
    상기 입력 물체에 의해 발생하는 입력 신호의 종류를 분석하는 동작;
    상기 입력 신호의 상태를 분석하는 동작; 중 적어도 하나가 설정된 햅틱 정보 운용 방법.
  8. 제7항에 있어서,
    상기 할당하는 동작은
    상기 입력 물체별로 서로 다른 햅틱 정보를 할당하는 동작;
    상기 입력 신호의 종류에 따라 서로 다른 햅틱 정보를 할당하는 동작;
    상기 입력 신호의 상태에 따라 서로 다른 햅틱 정보를 할당하는 동작; 중 적어도 하나가 설정된 햅틱 정보 운용 방법.
  9. 제1항에 있어서,
    상기 실행 정보 분석 동작은
    특정 기능 실행에 따라 수집된 실행 정보를 확인하는 동작;
    상기 실행 정보별로 서로 다른 햅틱 정보를 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  10. 제1항에 있어서,
    상기 이벤트 발생 시 전자 장치의 배치 상태를 확인하는 동작;
    상기 전자 장치의 배치 상태에 따라 상기 이벤트 발생과 관련한 터치 영역에서의 상기 햅틱 피드백 출력 지점을 다르게 설정하는 동작;이 더 설정된 햅틱 정보 운용 방법.
  11. 제1항에 있어서,
    상기 출력하는 동작은
    상기 화면 정보 분석 결과에 따라 검출된 오브젝트 내에서의 이벤트 발생 위치, 이벤트 신호의 강도, 이벤트 발생 지점과 오브젝트 간의 근접도, 이벤트 유지 시간 중 적어도 하나에 대응하여 서로 다른 햅틱 이벤트가 출력되는 동작;이 설정된 햅틱 정보 운용 방법.
  12. 제11항에 있어서,
    상기 출력하는 동작은
    상기 오브젝트 일정 영역과 상기 오브젝트의 경계 영역에서 출력되는 햅틱 피드백을 서로 다르게 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  13. 제11항에 있어서,
    상기 출력하는 동작은
    상기 오브젝트에 가해지는 이벤트 신호강도가 지정된 제 1 크기인경우 햅틱 피드백 출력을 억제하는 동작;
    상기 오브젝트에 가해지는 이벤트 신호강도가 지정된 제 1 크기와 다른 경우 지정된 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  14. 제11항에 있어서,
    상기 오브젝트에 가해지는 신호강도가 지정된 제 2 크기인 경우 상기 오브젝트에 설정된 기능을 실행하는 동작이 설정된 햅틱 정보 운용 방법.
  15. 제1항에 있어서,
    상기 출력하는 동작은
    상기 화면 정보 분석 결과에 따라 검출된 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 지정된 참조 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  16. 제15항에 있어서,
    상기 참조 햅틱 피드백을 출력하는 동작은
    상기 오브젝트가 배치된 영역을 지시하는 방향성 햅틱 피드백을 출력하는 동작;
    지정된 크기 이하의 햅틱 피드백을 출력하는 동작; 중 적어도 하나가 설정된 햅틱 정보 운용 방법.
  17. 제15항에 있어서,
    상기 출력하는 동작은
    상기 제1 이벤트의 이동 속도가 지정된 속도 이상인 경우 상기 제1 이벤트의 현재 위치와 상기 오브젝트와의 거리 및 상기 이동 속도에 대응하여 상기 오브젝트에 대응하는 햅틱 피드백을 출력 시점을 조절하는 동작;이 설정된 햅틱 정보 운용 방법.
  18. 제15항에 있어서,
    상기 출력하는 동작은
    상기 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 햅틱 피드백 출력을 억제하는 동작;
    상기 오브젝트 상에서 제1 이벤트가 수신되면 상기 지정된 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  19. 제15항에 있어서,
    상기 오브젝트 상에서 상기 제1 이벤트 또는 상기 제1 이벤트와 다른 제2 이벤트가 수신되면, 상기 오브젝트에 대응하는 기능을 실행하는 동작;을 더 포함하는 햅틱 정보 운용 방법.
  20. 제1항에 있어서,
    상기 할당하는 동작은
    상기 전자 장치의 움직임 방향 또는 파지 위치 중 적어도 하나에 대응하여 디스플레이의 일정 위치에 적어도 하나의 오브젝트가 표시되면, 상기 오브젝트의 출력 위치에 대응하여 다른 햅틱 피드백이 출력되도록 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  21. 제20항에 있어서,
    상기 할당하는 동작은
    상기 오브젝트 내에 포함된 복수의 영역들에 서로 다른 햅틱 피드백이 출력되도록 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  22. 제20항에 있어서,
    상기 출력하는 동작은
    상기 오브젝트 이외의 영역에서 이벤트가 발생할 경우, 상기 이벤트 위치에서 상기 오브젝트가 위치한 방향을 지시하는 방향 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  23. 제1항에 있어서,
    상기 출력하는 동작은
    상기 햅틱 피드백에 대응하는 정보를 타 전자 장치에 전송하는 동작;이 설정된 햅틱 정보 운용 방법.
  24. 제23항에 있어서,
    상기 햅틱 피드백을 출력과 관련하여 디스플레이를 턴-오프 상태로 전환하거나 턴-오프 상태를 유지하는 동작;이 설정된 햅틱 정보 운용 방법.
  25. 제1항에 있어서,
    상기 출력하는 동작은
    전자 장치의 착용이 감지되면 신체와 접촉된 상기 전자 장치의 영역에 지정된 햅틱 피드백을 출력하는 동작;
    전자 장치의 착용이 감지되면 상기 전자 장치의 적어도 일부 영역에 지정된 햅틱 피드백이 전달되도록 출력하는 동작;
    지정된 지리적 위치영역에 전자 장치가 진입한 것을 감지하는 경우 지정된 햅틱 피드백을 출력하는 동작; 중 적어도 하나가 설정된 햅틱 정보 운용 방법.
  26. 제25항에 있어서,
    상기 출력하는 동작은
    상기 전자 장치가 지정된 위치를 벗어나거나 상기 전자 장치 착용이 해제되면 상기 햅틱 피드백 출력을 종료하는 동작;이 설정된 햅틱 정보 운용 방법.
  27. 제1항에 있어서,
    상기 출력하는 동작은
    수집된 센서 신호를 기반으로 수집된 정보와 설정된 목표치의 비교에 따라 적어도 하나의 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  28. 제27항에 있어서,
    상기 출력하는 동작은
    상기 전자 장치의 디스플레이 영역 또는 베젤 영역 중 적어도 한 곳에서 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  29. 제28항에 있어서,
    상기 출력하는 동작은
    상기 목표치와의 비교에 따른 달성률의 크기에 대응하여 서로 다른 형태의 햅틱 피드백을 출력하는 동작;
    상기 목표치와의 비교에 따른 달성률의 크기에 대응하여 햅틱 피드백의 출력 위치를 다르게 하는 동작; 중 적어도 하나가 설정된 햅틱 정보 운용 방법.
  30. 제1항에 있어서,
    상기 출력하는 동작은
    현재 수집된 센서 신호 또는 일정 기간 누적된 센서 신호에 대응하여 지정된 특정 형태의 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  31. 제30항에 있어서,
    상기 출력하는 동작은
    센서 신호 기반으로 검출된 속도를 조정하도록 가이드하는 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  32. 제31항에 있어서,
    상기 출력하는 동작은
    상기 속도를 높이도록 하는 안내에 대응하여 햅틱 피드백의 강도 또는 빈도수 중 적어도 하나가 조정된 햅틱 피드백을 출력하는 동작;
    상기 속도를 낮추도록 하는 안내에 대응하여 햅틱 피드백의 강도 또는 빈도수 중 적어도 하나가 조정된 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  33. 제1항에 있어서,
    상기 출력하는 동작은
    상기 실행 정보 분석 결과에 대응하여 획득된 시간 정보와 관련한 적어도 하나의 방향성을 가진 햅틱 피드백을 출력하는 동작;
    상기 실행 정보 분석 결과에 대응하여 획득된 숙면도 크기에 대응하는 햅틱 피드백을 출력하는 동작;
    상기 실행 정보 분석 결과에 대응하여 획득된 스트레스 지수 크기에 대응하는 햅틱 피드백을 출력하는 동작;
    상기 실행 정보 분석 결과에 대응하여 획득된 정서 상태 지수 크기에 대응하는 햅틱 피드백을 출력하는 동작; 중 적어도 하나가 설정된 햅틱 정보 운용 방법.
  34. 제1항에 있어서,
    상기 할당하는 동작은
    입력된 키워드 또는 상기 키워드 검색 결과에 해당하는 오브젝트에 지정된 햅틱 피드백을 출력하도록 설정된 정보를 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  35. 제34항에 있어서,
    상기 할당하는 동작은
    상기 키워드 입력 빈도에 대응하여 키워드별로 서로 다른 햅틱 피드백을 출력하도록 설정된 정보를 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  36. 제34항에 있어서,
    상기 오브젝트 선택하는 이벤트의 지속 시간, 압력 크기, 터치 면적, 또는 전하량 크기 중 적어도 하나에 대응하여 키워드와 관련한 기능 또는 상기 오브젝트와 관련한 기능을 실행하는 동작;이 설정된 햅틱 정보 운용 방법.
  37. 제34항에 있어서,
    상기 할당하는 동작은
    상기 키워드 관련 문자 입력, 터치 스크린이나 터치 패드 상의 필기인식, 음성인식 중 적어도 하나의 동작에 대응하여 상기 키워드와 관련한 햅틱 피드백을 다르게 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  38. 제34항에 있어서,
    상기 할당하는 동작은
    상기 오브젝트가 복수개인 경우 키워드와 상기 오브젝트 간의 유사도 또는 신뢰도에 대응하여 서로 다른 햅틱 피드백을 상기 오브젝트에 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  39. 제1항에 있어서,
    상기 할당하는 동작은
    전체 화면 영역 중 현재 디스플레이 표시되지 않은 영역에 배치된 목표 오브젝트를 지시하는 방향성 햅틱 피드백을 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  40. 제39항에 있어서,
    상기 할당하는 동작은
    상기 디스플레이에 표시된 적어도 하나의 오브젝트에 상기 방향성 햅틱 피드백을 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  41. 제39항에 있어서,
    상기 할당하는 동작은
    상기 분석 결과에 대응하여 상기 목표 오브젝트 종류에 따라 서로 다른 햅틱 피드백을 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  42. 제39항에 있어서,
    상기 할당하는 동작은
    상기 목표 오브젝트가 다른 오브젝트에 의해 가려진 경우, 상기 목표 오브젝트가 노출된 경우, 상기 목표 오브젝트의 크기, 상기 목표 오브젝트의 위치 중 적어도 하나에 대응하여 서로 다른 햅틱 피드백을 할당하는 동작;이 설정된 햅틱 정보 운용 방법.
  43. 제39항에 있어서,
    상기 출력하는 동작은
    상기 이벤트 발생 위치와 상기 목표 오브젝트 간의 거리에 대응하여 서로 다른 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  44. 제1항에 있어서,
    전체 화면 영역 중 검색과 관련한 목표 오브젝트가 포함된 화면 영역을 디폴트로 디스플레이에 표시하는 동작;이 설정된 햅틱 정보 운용 방법.
  45. 제1항에 있어서,
    상기 출력하는 동작은
    상기 디스플레이 표시된 화면 영역 변경과 관련한 이벤트 종류에 대응하여 서로 다른 햅틱 피드백을 출력하는 동작;이 설정된 햅틱 정보 운용 방법.
  46. 화면 정보 분석, 입력 정보 분석, 또는 실행 정보 분석 중 적어도 하나를 수행하는 분석하고, 상기 분석 결과에 따라 적어도 하나의 햅틱 정보를 할당하는 햅틱 지원 모듈;
    이벤트 발생에 대응하여 상기 햅틱 정보에 대응하는 햅틱 피드백을 출력하는 햅틱 모듈;을 포함하는 전자 장치.
  47. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    화면에 출력된 또는 화면에 출력할 적어도 하나의 오브젝트를 검출하고, 상기 오브젝트별로 서로 다른 햅틱 정보를 출력하도록 설정된 전자 장치.
  48. 제47항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트의 경계 영역과, 상기 경계 영역 이외의 영역에서 서로 다른 햅틱 정보를 출력하도록 설정된 전자 장치.
  49. 제47항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트의 경계 영역에 제1 햅틱 정보를 할당하고, 상기 오브젝트의 내측에 제2 햅틱 정보를 할당하고, 상기 오브젝트의 외측에 제3 햅틱 정보를 할당하거나 또는 햅틱 정보를 미할당하도록 설정된 전자 장치.
  50. 제47항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트들 중 특정 오브젝트 선택에 대응하여 다른 오브젝트들에 할당된 햅틱 정보를 변경하도록 설정된 전자 장치.
  51. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    상기 화면에 출력된 또는 화면에 출력될 오브젝트의 형상, 오브젝트가 표시되는 이미지와 관련한 재질, 오브젝트와 관련한 설명 정보 중 적어도 하나에 대응하는 햅틱 정보를 할당하도록 설정된 전자 장치.
  52. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    입력 물체의 종류, 상기 입력 물체에 의해 발생하는 입력 신호의 종류, 상기 입력 신호의 상태 중 적어도 하나에 따라 서로 다른 햅틱 정보를 출력하도록 설정된 전자 장치.
  53. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    특정 기능 실행에 따라 수집된 실행 정보별로 서로 다른 햅틱 정보를 출력하도록 설정된 전자 장치.
  54. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    타 전자 장치에서 실행된 헬스 케어 기능과 관련한 실행 정보를 수신하고, 수신된 실행 정보의 종류별로 서로 다른 햅틱 정보를 출력하도록 설정된 전자 장치.
  55. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    상기 이벤트 발생 시 전자 장치의 배치 상태를 확인하고, 상기 전자 장치의 배치 상태에 따라 상기 이벤트 발생과 관련한 터치 영역에서의 상기 햅틱 정보에 대응하는 햅틱 피드백 출력 지점을 다르게 하도록 설정된 전자 장치.
  56. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    특정 오브젝트를 검색하는 동작;
    상기 이벤트 발생과 관련한 터치 영역에서 검색된 오브젝트의 위치에 대응하는 햅틱 피드백 정보를 설정하는 전자장치.
  57. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    상기 화면 정보 분석 결과에 따라 검출된 오브젝트 내에서의 이벤트 발생 위치, 이벤트의 신호 강도, 이벤트 유지 시간, 이벤트 압력의 크기, 이벤트 발생과 관련한 입력 물체와 터치 패널 간의 높이, 이벤트 발생 지점과 오브젝트 간의 근접도 중 적어도 하나에 대응하여 서로 다른 햅틱 이벤트가 출력되도록 설정된 전자 장치.
  58. 제57항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트 일정 영역과 상기 오브젝트의 경계 영역에서 출력되는 햅틱 피드백을 서로 다르게 출력하도록 설정된 전자 장치.
  59. 제57항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트에 가해지는 압력이 지정된 제1 크기인 경우 햅틱 피드백 출력을 억제하도록 설정하거나, 상기 오브젝트에 가해지는 압력이 지정된 제1 크기와 다른 경우 지정된 햅틱 피드백을 출력하도록 설정된 전자 장치.
  60. 제57항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트에 가해지는 압력이 지정된 값 이상인 경우 상기 오브젝트에 설정된 기능을 실행하도록 설정된 전자 장치.
  61. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    상기 화면 정보 분석 결과에 따라 검출된 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 지정된 참조 햅틱 피드백을 출력하도록 설정된 설정된 전자 장치.
  62. 제61항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트가 배치된 영역을 지시하는 방향성 햅틱 피드백 또는 지정된 크기 이하의 햅틱 피드백 중 적어도 하나를 출력하도록 설정된 전자 장치.
  63. 제61항에 있어서,
    상기 햅틱 지원 모듈은
    상기 제1 이벤트의 이동 속도가 지정된 속도 이상인 경우 상기 제1 이벤트의 현재 위치와 상기 오브젝트와의 거리 또는 상기 이동 속도 중 적어도 하나에 대응하여 상기 오브젝트에 대응하는 햅틱 피드백을 출력 시점을 조절하도록 설정된 전자 장치.
  64. 제61항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트가 배치된 영역 이외의 영역에서 제1 이벤트가 수신되면, 햅틱 피드백 출력을 억제하도록 설정하고, 상기 오브젝트 상에서 제1 이벤트가 수신되면 상기 지정된 햅틱 피드백을 출력하도록 설정된 전자 장치.
  65. 제61항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트 상에서 상기 제1 이벤트 또는 상기 제1 이벤트와 다른 제2 이벤트가 수신되면, 상기 오브젝트에 대응하는 기능을 실행하도록 설정된 전자 장치.
  66. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    상기 전자 장치의 움직임 방향 또는 파지 위치 중 적어도 하나에 대응하여 디스플레이의 일정 위치에 적어도 하나의 오브젝트가 표시되면, 상기 오브젝트의 출력 위치에 대응하여 다른 햅틱 피드백이 출력되도록 설정된 전자 장치.
  67. 제66항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트 내에 포함된 복수의 영역들에 서로 다른 햅틱 피드백이 출력되도록 설정된 전자 장치.
  68. 제66항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트 이외의 영역에서 이벤트가 발생할 경우, 상기 이벤트 위치에서 상기 오브젝트가 위치한 방향을 지시하는 방향 햅틱 피드백을 출력하도록 설정된 전자 장치.
  69. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    상기 햅틱 피드백에 대응하는 정보를 타 전자 장치에 전송하도록 설정된 전자 장치.
  70. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    상기 햅틱 피드백을 출력과 관련하여 디스플레이를 턴-오프 상태로 전환하거나 턴-오프 상태를 유지하도록 설정된 전자 장치.
  71. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    전자 장치의 착용이 감지되면 착용 감지된 영역 또는 상기 전자 장치 전체에 지정된 햅틱 피드백을 출력하도록 설정하며, 지정된 위치에 전자 장치가 진입하는 경우 지정된 햅틱 피드백을 출력하도록 설정된 전자 장치.
  72. 제71항에 있어서,
    상기 햅틱 지원 모듈은
    상기 전자 장치가 지정된 위치를 벗어나거나 상기 전자 장치 착용이 해제되면 상기 햅틱 피드백 출력을 종료하도록 설정된 전자 장치.
  73. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    수집된 센서 신호를 기반으로 수집된 정보와 설정된 목표치의 비교에 따라 적어도 하나의 햅틱 피드백을 출력하도록 설정된 전자 장치.
  74. 제73항에 있어서,
    상기 햅틱 지원 모듈은
    상기 전자 장치의 디스플레이 영역 또는 베젤 영역 중 적어도 한 곳에서 햅틱 피드백을 출력하도록 설정된 전자 장치.
  75. 제73항에 있어서,
    상기 햅틱 지원 모듈은
    상기 목표치와의 비교에 따른 달성률의 크기에 대응하여 형태 또는 위치 중 적어도 하나가 다른 햅틱 피드백을 출력하도록 설정된 전자 장치.
  76. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    현재 수집된 센서 신호 또는 일정 기간 누적된 센서 신호에 대응하여 지정된 특정 형태의 햅틱 피드백을 출력하도록 설정된 전자 장치.
  77. 제76항에 있어서,
    상기 햅틱 지원 모듈은
    센서 신호 기반으로 검출된 속도를 조정하도록 가이드하는 햅틱 피드백을 출력하도록 설정된 전자 장치.
  78. 제77항에 있어서,
    상기 햅틱 지원 모듈은
    상기 속도를 높이거나 또는 낮추도록 하는 안내에 대응하여 햅틱의 크기 또는 빈도수 중 적어도 하나가 조정된 햅틱 피드백을 출력하도록 설정된 전자 장치.
  79. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    상기 실행 정보 분석 결과에 대응하여 획득된 시간 정보와 관련한 적어도 하나의 방향성을 가진 햅틱 피드백, 상기 실행 정보 분석 결과에 대응하여 획득된 숙면도 크기에 대응하는 햅틱 피드백, 상기 실행 정보 분석 결과에 대응하여 획득된 스트레스 지수 크기에 대응하는 햅틱 피드백 중 적어도 하나를 출력하도록 설정된 전자 장치.
  80. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    입력된 키워드 또는 상기 키워드 검색 결과에 해당하는 오브젝트에 지정된 햅틱 피드백을 출력하도록 설정된 전자 장치.
  81. 제80항에 있어서,
    상기 햅틱 지원 모듈은
    상기 키워드 입력 빈도에 대응하여 키워드별로 서로 다른 햅틱 피드백을 출력하도록 설정된 전자 장치.
  82. 제80항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트 선택하는 이벤트의 지속 시간, 압력 크기, 터치 면적, 또는 전하량 크기 중 적어도 하나에 대응하여 키워드와 관련한 기능 또는 상기 오브젝트와 관련한 기능을 실행하도록 설정된 전자 장치.
  83. 제80항에 있어서,
    상기 햅틱 지원 모듈은
    상기 키워드 관련 문자 입력, 터치 스크린이나 터치 패드 상의 필기인식, 음성인식 중 적어도 하나의 동작에 대응하여 상기 키워드와 관련한 햅틱 피드백을 다르게 출력하도록 설정된 전자 장치.
  84. 제80항에 있어서,
    상기 햅틱 지원 모듈은
    상기 오브젝트가 복수개인 경우 키워드와 상기 오브젝트 간의 유사도 또는 신뢰도에 대응하여 서로 다른 햅틱 피드백을 상기 오브젝트에 할당하도록 설정된 전자 장치.
  85. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    전체 화면 영역 중 현재 디스플레이 표시되지 않은 영역에 배치된 목표 오브젝트를 지시하는 방향성 햅틱 피드백을 할당하도록 설정된 전자 장치.
  86. 제85항에 있어서,
    상기 햅틱 지원 모듈은
    상기 디스플레이에 표시된 적어도 하나의 오브젝트에 상기 방향성 햅틱 피드백을 할당하도록 설정된 전자 장치.
  87. 제85항에 있어서,
    상기 햅틱 지원 모듈은
    상기 분석 결과에 대응하여 상기 목표 오브젝트 종류에 따라 서로 다른 햅틱 피드백을 할당하도록 설정된 전자 장치.
  88. 제85항에 있어서,
    상기 햅틱 지원 모듈은
    상기 목표 오브젝트가 다른 오브젝트에 의해 가려진 경우, 상기 목표 오브젝트가 노출된 경우, 상기 목표 오브젝트의 크기, 상기 목표 오브젝트의 위치 중 적어도 하나에 대응하여 서로 다른 햅틱 피드백을 할당하도록 설정된 전자 장치.
  89. 제85항에 있어서,
    상기 햅틱 지원 모듈은
    상기 이벤트 발생 위치와 상기 목표 오브젝트 간의 거리에 대응하여 서로 다른 햅틱 피드백을 출력하도록 설정된 전자 장치.
  90. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    전체 화면 영역 중 검색과 관련한 목표 오브젝트가 포함된 화면 영역을 디폴트로 디스플레이에 표시하도록 설정된 전자 장치.
  91. 제46항에 있어서,
    상기 햅틱 지원 모듈은
    상기 디스플레이 표시된 화면 영역 변경과 관련한 이벤트 종류에 대응하여 서로 다른 햅틱 피드백을 출력하도록 설정된 전자 장치.
KR1020140044929A 2014-04-15 2014-04-15 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치 KR20150118813A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140044929A KR20150118813A (ko) 2014-04-15 2014-04-15 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US14/686,056 US20150293592A1 (en) 2014-04-15 2015-04-14 Haptic information management method and electronic device supporting the same
EP15163697.4A EP2933709A3 (en) 2014-04-15 2015-04-15 Haptic information management method and electronic device supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140044929A KR20150118813A (ko) 2014-04-15 2014-04-15 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20150118813A true KR20150118813A (ko) 2015-10-23

Family

ID=52875044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140044929A KR20150118813A (ko) 2014-04-15 2014-04-15 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치

Country Status (3)

Country Link
US (1) US20150293592A1 (ko)
EP (1) EP2933709A3 (ko)
KR (1) KR20150118813A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110566A (ko) * 2017-01-26 2019-09-30 디-박스 테크놀러지스 인코포레이트 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐
KR20200103521A (ko) * 2019-12-05 2020-09-02 신경식 햅틱 그리퍼 및 햅틱 그리퍼의 동작 방법
WO2020256285A1 (ko) * 2019-06-19 2020-12-24 삼성전자 주식회사 사용자 입력에 대응되는 피드백의 속성을 조정하는 전자 장치 및 방법
CN112534380A (zh) * 2018-08-29 2021-03-19 阿尔卑斯阿尔派株式会社 输入装置、控制方法以及程序
US11493995B2 (en) 2021-03-24 2022-11-08 International Business Machines Corporation Tactile user interactions for personalized interactions
WO2023128104A1 (ko) * 2021-12-31 2023-07-06 주식회사 씨케이머티리얼즈랩 촉각 키보드 및 촉각 입력 장치
KR20230103812A (ko) * 2021-12-31 2023-07-07 주식회사 씨케이머티리얼즈랩 촉각 키보드 및 촉각 입력 장치
CN112534380B (zh) * 2018-08-29 2024-05-17 阿尔卑斯阿尔派株式会社 输入装置、控制方法以及存储介质

Families Citing this family (219)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9009612B2 (en) 2009-06-07 2015-04-14 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US8914075B2 (en) * 2010-09-17 2014-12-16 Blackberry Limited Electronic device including actuator and method of controlling same for providing tactile output
KR102027601B1 (ko) 2011-10-18 2019-10-01 카네기 멜론 유니버시티 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) * 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) * 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9753436B2 (en) 2013-06-11 2017-09-05 Apple Inc. Rotary input mechanism for an electronic device
EP3014400B1 (en) 2013-08-09 2020-06-03 Apple Inc. Tactile switch for an electronic device
KR20180128091A (ko) 2013-09-03 2018-11-30 애플 인크. 자기 특성을 갖는 사용자 인터페이스 객체를 조작하는 사용자 인터페이스
KR102095533B1 (ko) * 2013-10-02 2020-03-31 삼성전자주식회사 알림 정보를 선택적으로 제공하기 위한 전자 장치 및 방법
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US10048802B2 (en) 2014-02-12 2018-08-14 Apple Inc. Rejection of false turns of rotary inputs for electronic devices
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US9589539B2 (en) * 2014-04-24 2017-03-07 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
US10248862B2 (en) 2014-07-23 2019-04-02 Ebay Inc. Use of camera metadata for recommendations
US9690381B2 (en) * 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR102130259B1 (ko) 2014-09-02 2020-07-03 애플 인크. 웨어러블 전자 디바이스
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
CN108133742B (zh) 2014-09-02 2020-04-14 苹果公司 身体活动和健身监视器
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US9794653B2 (en) 2014-09-27 2017-10-17 Valencell, Inc. Methods and apparatus for improving signal quality in wearable biometric monitoring devices
WO2016053901A1 (en) 2014-09-30 2016-04-07 Apple Inc Configurable force-sensitive input structures for electronic devices
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
FR3026867A1 (fr) * 2014-10-02 2016-04-08 Dav Dispositif et procede de commande pour vehicule automobile
US20160113574A1 (en) * 2014-10-23 2016-04-28 Ossong International Co., Ltd. Electronic device for calculating physical energy consumption
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9612664B2 (en) * 2014-12-01 2017-04-04 Logitech Europe S.A. Keyboard with touch sensitive element
US9971406B2 (en) 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US9720515B2 (en) * 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9612661B2 (en) * 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
MX2017010252A (es) 2015-02-20 2018-03-07 Ultrahaptics Ip Ltd Mejoras de algoritmos en un sistema haptico.
MX2017010254A (es) 2015-02-20 2018-03-07 Ultrahaptics Ip Ltd Percepciones en un sistema haptico.
US20160259416A1 (en) * 2015-03-03 2016-09-08 Immersion Corporation Wearable device surface haptics interaction
JP6386952B2 (ja) * 2015-03-18 2018-09-05 アルプス電気株式会社 電子機器及び振動制御方法
JP6468027B2 (ja) * 2015-03-27 2019-02-13 ブラザー工業株式会社 通信機器とそのためのコンピュータプログラム
KR102352172B1 (ko) * 2015-04-08 2022-01-17 삼성전자주식회사 전자 장치들의 연동 방법 및 장치
CN104866135B (zh) * 2015-04-27 2017-03-08 努比亚技术有限公司 一种利用触屏边框输入数字符号的方法及装置
US9442575B1 (en) * 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
KR101630430B1 (ko) * 2015-06-29 2016-06-13 박동현 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
US20170010695A1 (en) * 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc Enhanced multi-touch input detection
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
EP4327731A3 (en) 2015-08-20 2024-05-15 Apple Inc. Exercise-based watch face
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US9711015B2 (en) * 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events
US10416776B2 (en) 2015-09-24 2019-09-17 International Business Machines Corporation Input device interaction
US20170102697A1 (en) * 2015-10-08 2017-04-13 General Motors Llc Selecting a vehicle function to control using a wearable electronic device
US10137777B2 (en) 2015-11-03 2018-11-27 GM Global Technology Operations LLC Systems and methods for vehicle system control based on physiological traits
US20170132821A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Caption generation for visual media
US10088906B2 (en) * 2015-11-10 2018-10-02 Joyhaptics Oy Method and apparatus for recognizing swipe operation of a user on a user interface
US9857596B2 (en) * 2015-11-10 2018-01-02 Oculus Vr, Llc Strap assembly with flex circuit for a head mounted display
US9923930B2 (en) 2015-11-19 2018-03-20 Bank Of America Corporation Selectively enabling and disabling biometric authentication based on mobile device state information
US10152125B2 (en) * 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
US10001882B2 (en) * 2015-12-02 2018-06-19 Rapt Ip Limited Vibrated waveguide surface for optical touch detection
CN105446646B (zh) * 2015-12-11 2019-01-11 小米科技有限责任公司 基于虚拟键盘的内容输入方法、装置及触控设备
KR102530469B1 (ko) 2016-01-08 2023-05-09 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
CN107219765B (zh) * 2016-03-21 2020-12-04 美的集团股份有限公司 智能家居设备的控制装置及控制方法
US10579216B2 (en) 2016-03-28 2020-03-03 Microsoft Technology Licensing, Llc Applications for multi-touch input detection
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US11216119B2 (en) 2016-06-12 2022-01-04 Apple Inc. Displaying a predetermined view of an application
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670580A1 (en) * 2016-06-12 2018-01-02 Apple Inc Wrist-based tactile time feedback for non-sighted users
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10318004B2 (en) * 2016-06-29 2019-06-11 Alex Shtraym Apparatus and method for providing feedback at a predetermined distance
US10517021B2 (en) 2016-06-30 2019-12-24 Evolve Cellular Inc. Long term evolution-primary WiFi (LTE-PW)
US9947305B2 (en) * 2016-07-01 2018-04-17 Intel Corporation Bi-directional music synchronization using haptic devices
US10061399B2 (en) 2016-07-15 2018-08-28 Apple Inc. Capacitive gap sensor ring for an input device
JP7248568B2 (ja) * 2016-07-22 2023-03-29 ハーマン インターナショナル インダストリーズ インコーポレイテッド 触覚による操縦誘導システム
CN107659898A (zh) * 2016-07-25 2018-02-02 中兴通讯股份有限公司 一种可见光无线通信方法、设备及系统
US10019097B2 (en) 2016-07-25 2018-07-10 Apple Inc. Force-detecting input structure
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
JP2018022438A (ja) * 2016-08-05 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
DK201670728A1 (en) * 2016-09-06 2018-03-19 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button
DK201670720A1 (en) * 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
KR102560029B1 (ko) * 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
DE102016217551A1 (de) 2016-09-14 2018-03-15 Volkswagen Aktiengesellschaft Bediensystem für ein Kraftfahrzeug sowie Bedienvorrichtung und tragbare Rückmeldungsvorrichtung sowie Verfahren zum Betreiben eines derartigen Bediensystems
US9817511B1 (en) * 2016-09-16 2017-11-14 International Business Machines Corporation Reaching any touch screen portion with one hand
US10871860B1 (en) 2016-09-19 2020-12-22 Apple Inc. Flexible sensor configured to detect user inputs
US10736543B2 (en) 2016-09-22 2020-08-11 Apple Inc. Workout monitor interface
DE102016218824A1 (de) * 2016-09-29 2018-03-29 Siemens Aktiengesellschaft Bedienungsvorrichtung, Arbeitskleidung und Maschine
JP6205043B1 (ja) * 2016-10-12 2017-09-27 レノボ・シンガポール・プライベート・リミテッド キーボード、情報処理装置、フィードバック方法、及びプログラム
KR102568925B1 (ko) * 2016-10-25 2023-08-22 엘지디스플레이 주식회사 터치센서를 구비하는 표시장치 및 그에 대한 터치감지방법
US10853651B2 (en) * 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
CN108605165A (zh) * 2016-10-31 2018-09-28 华为技术有限公司 在电子设备中生成视频缩略图的方法及电子设备
KR20180052330A (ko) * 2016-11-10 2018-05-18 삼성전자주식회사 햅틱 효과를 제공하기 위한 방법 및 그 전자 장치
US10078370B2 (en) * 2016-11-23 2018-09-18 Immersion Corporation Devices and methods for modifying haptic effects
KR20180062174A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US11175738B2 (en) * 2016-12-13 2021-11-16 Immersion Corporation Systems and methods for proximity-based haptic feedback
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
RU177468U1 (ru) * 2017-04-07 2018-02-26 Общество с ограниченной ответственностью (ООО) "Браслет безопасности" Носимый медицинский телеметрический прибор
JP6496345B2 (ja) * 2017-04-13 2019-04-03 ファナック株式会社 数値制御装置
JP2018182616A (ja) * 2017-04-18 2018-11-15 京セラ株式会社 電子機器、制御方法、およびプログラム
US10388034B2 (en) * 2017-04-24 2019-08-20 International Business Machines Corporation Augmenting web content to improve user experience
US10845955B2 (en) 2017-05-15 2020-11-24 Apple Inc. Displaying a scrollable list of affordances associated with physical activities
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
CA3006939A1 (en) * 2017-06-01 2018-12-01 Monroe Solutions Group Inc. Systems and methods for establishing telepresence of a remote user
WO2019000153A1 (en) * 2017-06-26 2019-01-03 Orange METHOD FOR DISPLAYING A VIRTUAL KEYBOARD ON A MOBILE TERMINAL SCREEN
US10915174B1 (en) * 2017-07-20 2021-02-09 Apple Inc. Electronic devices with directional haptic output
EP3659011B1 (en) 2017-07-27 2022-09-21 Telefonaktiebolaget LM Ericsson (PUBL) Improved perception of haptic objects
US10768747B2 (en) * 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US10732676B2 (en) 2017-09-06 2020-08-04 Apple Inc. Illuminated device enclosure with dynamic trackpad
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10977910B1 (en) * 2017-09-06 2021-04-13 Apple Inc. Tactile outputs for input structures of electronic devices
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10394342B2 (en) * 2017-09-27 2019-08-27 Facebook Technologies, Llc Apparatuses, systems, and methods for representing user interactions with real-world input devices in a virtual space
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
CN111052042B (zh) 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
WO2019075134A1 (en) * 2017-10-10 2019-04-18 Baudisch, Patrick HAPTIC DEVICE FOR BLIND USERS TO REAL-TIME INTERACTION IN VIRTUAL WORLDS
US11435829B2 (en) 2017-10-26 2022-09-06 Weft Co. Communication device and method using haptic actuator
KR102502889B1 (ko) * 2017-11-03 2023-02-24 삼성전자 주식회사 시간 정보를 제공하는 전자 장치 및 전자 장치의 동작 방법
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
JP6836198B2 (ja) * 2017-12-12 2021-02-24 株式会社デンソー 入力装置
JP7136554B2 (ja) 2017-12-18 2022-09-13 国立大学法人信州大学 把持装置、学習装置、プログラム、把持システム、及び学習方法
JP7007177B2 (ja) * 2017-12-20 2022-01-24 マクセル株式会社 端末機器、本人認証システムおよび本人認証方法
WO2019122916A1 (en) 2017-12-22 2019-06-27 Ultrahaptics Limited Minimizing unwanted responses in haptic systems
CN108073285B (zh) * 2018-01-02 2021-05-18 联想(北京)有限公司 一种电子设备及控制方法
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10649531B2 (en) * 2018-02-01 2020-05-12 Microsoft Technology Licensing, Llc Haptic effect on a touch input surface
JP2019153143A (ja) * 2018-03-05 2019-09-12 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム
JP2019159781A (ja) * 2018-03-13 2019-09-19 株式会社デンソー 触覚呈示制御装置
US10852832B2 (en) 2018-03-21 2020-12-01 JANUS Research Group, Inc. Systems and methods for positional tracking in a virtual reality system
CA3098642C (en) 2018-05-02 2022-04-19 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
DK201870378A1 (en) 2018-05-07 2020-01-13 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
JP6765394B2 (ja) * 2018-05-22 2020-10-07 京セラ株式会社 測定装置及び測定装置の制御方法
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US11360440B2 (en) 2018-06-25 2022-06-14 Apple Inc. Crown for an electronic watch
CN108900602B (zh) * 2018-06-27 2021-08-10 郑州云海信息技术有限公司 一种虚拟链接建立方法及相关装置
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10599222B2 (en) * 2018-07-12 2020-03-24 International Business Machines Corporation Haptic feedback in networked components
US11561515B2 (en) 2018-08-02 2023-01-24 Apple Inc. Crown for an electronic watch
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
CN211293787U (zh) 2018-08-24 2020-08-18 苹果公司 电子表
CN209625187U (zh) 2018-08-30 2019-11-12 苹果公司 电子手表和电子设备
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10953307B2 (en) 2018-09-28 2021-03-23 Apple Inc. Swim tracking and notifications for wearable devices
KR102489222B1 (ko) * 2018-09-28 2023-01-17 엘지디스플레이 주식회사 롤러블 표시장치
EP3860426A4 (en) * 2018-10-02 2022-12-07 Convergascent LLC ENDOSCOPE WITH INERTIAL MEASUREMENTS AND/OR HAPTIC INPUT CONTROLS
JP7280682B2 (ja) * 2018-10-24 2023-05-24 東芝テック株式会社 サイン入力装置、決済端末、プログラム、サイン入力方法
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
CN110291506B (zh) * 2018-11-30 2023-08-18 创新先进技术有限公司 区块链网络测试平台
US11055913B2 (en) * 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
EP3906462A2 (en) * 2019-01-04 2021-11-10 Ultrahaptics IP Ltd Mid-air haptic textures
WO2020145934A1 (en) * 2019-01-07 2020-07-16 Google Llc Haptic output for trackpad controlled using force signal and sense signal
KR20200092665A (ko) * 2019-01-25 2020-08-04 삼성전자주식회사 생체신호 측정용 텍스쳐 인터페이스 및 이를 포함한 생체신호 측정장치
US11194299B1 (en) * 2019-02-12 2021-12-07 Apple Inc. Variable frictional feedback device for a digital crown of an electronic watch
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11094483B2 (en) * 2019-03-21 2021-08-17 Apple Inc. Keyboard with adjustable feedback
US20220137803A1 (en) * 2019-03-26 2022-05-05 Kabushiki Kaisha Tokai Rika Denki Seisakusho Control device, system, and progam
US11397497B2 (en) * 2019-04-04 2022-07-26 Knowles Electonics, Llc System and method for detecting tactile interaction based on surface variations of a tactile interface
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
US11131967B2 (en) 2019-05-06 2021-09-28 Apple Inc. Clock faces for an electronic device
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US20200379570A1 (en) 2019-05-31 2020-12-03 Apple Inc. Haptics application programming interface
CN113892077A (zh) 2019-06-01 2022-01-04 苹果公司 多模式活动跟踪用户界面
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
CN110286738B (zh) * 2019-06-29 2021-06-08 Oppo广东移动通信有限公司 指纹采集方法及相关产品
CN114007515A (zh) * 2019-07-03 2022-02-01 索尼集团公司 显示装置、显示方法和超声诊断系统
US11132058B1 (en) * 2019-09-12 2021-09-28 Facebook Technologies, Llc Spatially offset haptic feedback
US20210081047A1 (en) * 2019-09-13 2021-03-18 Apple Inc. Head-Mounted Display With Haptic Output
JP7423951B2 (ja) * 2019-09-19 2024-01-30 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
KR20220080737A (ko) 2019-10-13 2022-06-14 울트라립 리미티드 가상 마이크로폰들에 의한 동적 캡핑
JP2021067998A (ja) * 2019-10-18 2021-04-30 株式会社東海理化電機製作所 制御装置、プログラム、及びシステム
WO2021076889A1 (en) * 2019-10-18 2021-04-22 Trustees Of Dartmouth College System, apparatus, and method for eyes-free text entry
JP2021067877A (ja) * 2019-10-25 2021-04-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11209902B2 (en) * 2020-01-09 2021-12-28 Lenovo (Singapore) Pte. Ltd. Controlling input focus based on eye gaze
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
DK202070613A1 (en) 2020-02-14 2021-10-15 Apple Inc User interfaces for workout content
WO2021183122A1 (en) * 2020-03-11 2021-09-16 Google Llc Controlling haptic response to contact
US11928259B2 (en) 2020-03-12 2024-03-12 Google Llc Controlling haptic feedback based on proximity of contact to sensor
US11550268B2 (en) 2020-06-02 2023-01-10 Apple Inc. Switch module for electronic crown assembly
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
KR20220022344A (ko) * 2020-08-18 2022-02-25 현대자동차주식회사 입력에 따른 피드백 제공 장치 및 방법
US11886639B2 (en) 2020-09-17 2024-01-30 Ultraleap Limited Ultrahapticons
US11334166B2 (en) 2020-09-30 2022-05-17 International Business Machines Corporation Multi-sensory notifications
CN112653791B (zh) * 2020-12-21 2022-11-08 维沃移动通信有限公司 来电接听方法、装置、电子设备及可读存储介质
KR20230124083A (ko) * 2020-12-31 2023-08-24 스냅 인코포레이티드 햅틱 피드백 응답을 갖는 통신 인터페이스
US20220317774A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Real-time communication interface with haptic and audio feedback response
CN112905018B (zh) * 2021-04-09 2024-04-16 京东方科技集团股份有限公司 一种显示设备
WO2022245669A1 (en) 2021-05-15 2022-11-24 Apple Inc. User interfaces for group workouts
CN115686232A (zh) * 2021-07-30 2023-02-03 致伸科技股份有限公司 应用于周边装置中的功能参数切换存储电路与操作方法
CN113673376B (zh) * 2021-08-03 2023-09-01 北京奇艺世纪科技有限公司 弹幕生成方法、装置、计算机设备和存储介质
US20230126452A1 (en) * 2021-10-22 2023-04-27 International Business Machines Corporation Keypad security
US11954256B2 (en) * 2021-12-17 2024-04-09 Google Llc Haptic interface for computing devices
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information
US11977729B2 (en) 2022-06-05 2024-05-07 Apple Inc. Physical activity information user interfaces
CN117298590A (zh) * 2022-06-21 2023-12-29 腾讯科技（深圳）有限公司 一种虚拟现实的交互方法、相关装置、设备以及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0322875D0 (en) * 2003-09-30 2003-10-29 British Telecomm Haptics transmission systems
US8774767B2 (en) * 2007-07-19 2014-07-08 Samsung Electronics Co., Ltd. Method and apparatus for providing phonebook using image in a portable terminal
US20090280860A1 (en) * 2008-05-12 2009-11-12 Sony Ericsson Mobile Communications Ab Mobile phone with directional force feedback and method
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
CN103154954B (zh) * 2010-08-09 2018-06-05 耐克创新有限合伙公司 用于记录和追踪运动活动的系统和方法
JP5733409B2 (ja) 2011-09-27 2015-06-10 Ｊｆｅスチール株式会社 無方向性電磁鋼板
TWI453652B (zh) * 2011-10-05 2014-09-21 Quanta Comp Inc 虛擬觸覺回饋方法及其電子裝置
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
WO2014049392A1 (en) * 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
US20140098038A1 (en) * 2012-10-10 2014-04-10 Microsoft Corporation Multi-function configurable haptic device
US9285880B2 (en) * 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110566A (ko) * 2017-01-26 2019-09-30 디-박스 테크놀러지스 인코포레이트 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐
CN112534380A (zh) * 2018-08-29 2021-03-19 阿尔卑斯阿尔派株式会社 输入装置、控制方法以及程序
CN112534380B (zh) * 2018-08-29 2024-05-17 阿尔卑斯阿尔派株式会社 输入装置、控制方法以及存储介质
WO2020256285A1 (ko) * 2019-06-19 2020-12-24 삼성전자 주식회사 사용자 입력에 대응되는 피드백의 속성을 조정하는 전자 장치 및 방법
KR20200103521A (ko) * 2019-12-05 2020-09-02 신경식 햅틱 그리퍼 및 햅틱 그리퍼의 동작 방법
US11493995B2 (en) 2021-03-24 2022-11-08 International Business Machines Corporation Tactile user interactions for personalized interactions
WO2023128104A1 (ko) * 2021-12-31 2023-07-06 주식회사 씨케이머티리얼즈랩 촉각 키보드 및 촉각 입력 장치
KR20230103812A (ko) * 2021-12-31 2023-07-07 주식회사 씨케이머티리얼즈랩 촉각 키보드 및 촉각 입력 장치

Also Published As

Publication number Publication date
US20150293592A1 (en) 2015-10-15
EP2933709A3 (en) 2015-10-28
EP2933709A2 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
KR20150118813A (ko) 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US11977411B2 (en) Methods and systems for adding respective complications on a user interface
US10394328B2 (en) Feedback providing method and electronic device for supporting the same
Lee et al. Interaction methods for smart glasses: A survey
US20240111333A1 (en) Continuity of applications across devices
US11331007B2 (en) Workout monitor interface
US11360558B2 (en) Computer systems with finger devices
CN106233240B (zh) 交互式显示器上的文本输入
KR102302439B1 (ko) 전자 장치
US20200379610A1 (en) Increasing the relevance of new available information
US10552004B2 (en) Method for providing application, and electronic device therefor
KR102471977B1 (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
US20200356224A1 (en) Using an illustration to show the passing of time
US10097494B2 (en) Apparatus and method for providing information
CN106133748B (zh) 用于基于指纹传感器输入来操纵用户界面的设备、方法和图形用户界面
US20180089166A1 (en) User interface for providing text prediction
KR102285699B1 (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
CN110347214A (zh) 可折叠电子设备及其界面交互方法
JP2017513126A (ja) リング形コンピューティングデバイスのための装置及び方法
CN108076217A (zh) 用于显示使用图标的应用的执行屏幕的电子装置和方法
US11778421B2 (en) User interfaces for tracking and finding items
CN110476189A (zh) 用于在电子装置中提供增强现实功能的方法和设备
Yoon et al. Lightful user interaction on smart wearables
Bergström et al. Human--Computer interaction on the skin
US20240062634A1 (en) Generating tactile output sequences associated with an object

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid