KR20140036846A - 국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법 - Google Patents

국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법 Download PDF

Info

Publication number
KR20140036846A
KR20140036846A KR1020120103475A KR20120103475A KR20140036846A KR 20140036846 A KR20140036846 A KR 20140036846A KR 1020120103475 A KR1020120103475 A KR 1020120103475A KR 20120103475 A KR20120103475 A KR 20120103475A KR 20140036846 A KR20140036846 A KR 20140036846A
Authority
KR
South Korea
Prior art keywords
screen
feedback
user
feedback effect
user terminal
Prior art date
Application number
KR1020120103475A
Other languages
English (en)
Inventor
정지현
고준호
이창수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120103475A priority Critical patent/KR20140036846A/ko
Priority to IN2728DEN2015 priority patent/IN2015DN02728A/en
Priority to EP13839955.5A priority patent/EP2898396A4/en
Priority to PCT/KR2013/008448 priority patent/WO2014046482A1/en
Priority to US14/029,169 priority patent/US20140082490A1/en
Priority to RU2015114577A priority patent/RU2015114577A/ru
Priority to CN201380048677.6A priority patent/CN104641322B/zh
Publication of KR20140036846A publication Critical patent/KR20140036846A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 단말 장치가 개시된다. 본 장치는, 플렉서블한 특성을 가지며, UI 화면을 디스플레이하는 디스플레이부, 디스플레이부의 전체 영역 내에서 국부적으로 피드백 효과를 제공하기 위한 피드백 제공부, UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단되면, 디스플레이부의 전체 영역 중 적어도 한 영역에 피드백 효과를 국부적으로 제공하도록 피드백 제공부를 제어하는 제어부를 포함한다. 이에 따라, 사용자가 용이하게 UI 화면을 이용할 수 있게 된다.

Description

국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법 {USER TERMINAL DEVICE FOR PROVIDING LOCAL FEEDBACK AND METHOD THEREOF }
본 발명은 사용자 단말 장치 및 그 방법에 대한 것으로, 보다 상세하게는 UI 화면에서 국부적으로 피드백 효과를 제공하는 사용자 단말 장치 및 그 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치가 개발되고 있다. 특히, TV, PC, 랩탑 컴퓨터, 태블릿 PC, 휴대폰, MP3 플레이어 등과 같은 사용자 단말 장치들은 대부분의 가정에서 사용될 정도로 보급율이 높다.
최근에 사용되는 사용자 단말 장치들은 대부분 디스플레이 수단을 구비하고 있다. 이러한 사용자 단말 장치들은 전체 장치의 사이즈는 줄이면서, 반대로 디스플레이 수단은 가능한 한 커지도록 설계되는 추세이다. 이에 따라, 실제 버튼은 가능한 한 생략되고, 대신에 디스플레이 수단에 입력 화면을 디스플레이하여 사용자가 선택할 수 있도록 구현된다. 소프트 키보드가 그 대표적인 예이다.
사용자 단말 장치들은 검색 영역, 문자 창, 메일 창 등이 터치되면 소프트 키보드와 같은 입력 화면을 디스플레이할 수도 있고, 워드와 같은 프로그램이 실행되면 입력 화면을 자동으로 디스플레이할 수도 있다.
이러한 소프트 키보드는 사용자 단말 장치에 구비된 디스플레이 수단의 사이즈나, 가로 세로 비율 등에 따라 다양하게 배치될 수 있다. 가령, 실제 컴퓨터 키보드처럼 숫자 키, 문자 키 등이 배치될 수 있다. 또는, 각 키마다 복수의 문자가 할당되어 해당 키의 선택 횟수에 따라 특정 문자가 선택되는 형태로 입력 화면이 구성될 수도 있다.
하지만, 소프트 키보드와 같은 입력 화면은 평평한 디스플레이 수단에 디스플레이되는 화면이므로, 사용자는 정확한 입력을 위해서 항상 입력 화면을 주시하여야 한다는 문제점이 있었다. 따라서, 실제 컴퓨터 키보드 처럼 사용하기에는 어려움이 있었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, UI 화면에 국부적으로 피드백 효과를 제공할 수 있는 사용자 단말 장치 및 그 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 사용자 단말 장치는, 플렉서블한 특성을 가지며, UI 화면을 디스플레이하는 디스플레이부, 상기 디스플레이부의 전체 영역 내에서 국부적으로 피드백 효과를 제공하기 위한 피드백 제공부, 상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단되면, 상기 디스플레이부의 전체 영역 중 적어도 한 영역에 상기 피드백 효과를 국부적으로 제공하도록 상기 피드백 제공부를 제어하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 UI 화면 내의 특정 키가 표시된 지점에 대응되는 디스플레이 부 영역에 상기 피드백 효과를 제공하도록 상기 피드백 제공부를 제어할 수 있다.
상기 UI 화면은 복수의 키를 포함하는 소프트 키보드를 포함할 수 있다. 이 경우, 상기 제어부는, 상기 복수의 키 중에서 손가락 정렬 위치를 특정하기 위한 적어도 하나의 가이드 키가 표시된 지점에 대응되는 디스플레이부 영역에 상기 피드백 효과를 제공하도록 상기 피드백 제공부를 제어할 수 있다.
또는, 사용자 단말 장치는, 사용자 접근을 센싱하는 접근 감지 센서를 더 포함할 수도 있다. 이 경우, 상기 제어부는, 상기 UI 화면이 디스플레이된 상태에서 상기 UI 화면에 대한 상기 사용자 접근이 감지되면 상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단할 수 있다.
또는, 사용자 단말 장치는, 상기 UI 화면에 대한 사용자 터치를 감지하는 터치 감지 센서를 더 포함할 수도 있다. 이 경우, 상기 제어부는, 상기 UI 화면이 기 설정된 압력 크기 미만의 압력으로 터치되면 상기 UI 화면 내에서 특정 키가 표시된 지점에 대응되는 디스플레이 부 영역에 제1 피드백 효과를 제공하도록 상기 피드백 제공부를 제어할 수도 있다.
또는, 상기 UI 화면은 복수의 키를 포함하는 소프트 키보드를 포함하고, 상기 특정 키는 상기 복수의 키 중에서 손가락 정렬 위치를 특정하기 위한 적어도 하나의 가이드 키이며, 상기 제어부는, 상기 UI 화면이 상기 압력 크기 이상의 압력으로 터치되면, 터치 지점에 대응되는 디스플레이 부 영역에 제2 피드백 효과를 제공하도록 상기 피드백 제공부를 제어할 수도 있다.
한편, 상기 피드백 제공부는, 상기 사용자 단말 장치 내에서 분산 배치되며, 상기 디스플레이부의 표면을 국부적으로 변형시켜 햅틱 피드백 효과를 제공하는 복수의 압전체를 포함할 수 있다.
그리고, 상기 피드백 효과는, 진동, 돌출 변형, 함몰 변형 중 하나가 될 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 사용자 단말 장치의 피드백 제공 방법은, 플렉서블한 특성을 가지는 디스플레이부 상에 UI 화면을 디스플레이하는 단계, 상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단되면, 상기 디스플레이부의 전체 영역 중 적어도 한 영역에 국부적으로 피드백 효과를 제공하는 피드백 단계를 포함한다.
여기서, 상기 피드백 효과는, 상기 UI 화면 내의 특정 키가 표시된 지점에 대응되는 디스플레이 부 영역에 제공될 수 있다.
여기서, 상기 UI 화면은 복수의 키를 포함하는 소프트 키보드를 포함할 수 있다. 상기 피드백 효과는, 상기 복수의 키 중에서 손가락 정렬 위치를 특정하기 위한 적어도 하나의 가이드 키가 표시된 지점에 대응되는 디스플레이 부 영역에 제공될 수 있다.
그리고, 상기 피드백 단계는, 상기 UI 화면이 디스플레이된 상태에서 상기 UI 화면에 대한 사용자의 접근이 감지되면, 상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단할 수 있다.
또는, 상기 피드백 단계는, 상기 UI 화면이 기 설정된 압력 크기 미만의 압력으로 터치되면 상기 UI 화면 내의 특정 키가 표시된 지점에 대응되는 디스플레이 부 영역에 제1 피드백 효과를 제공하는 단계를 포함할 수도 있다.
여기서, 상기 UI 화면은 복수의 키를 포함하는 키보드 화면이고, 상기 특정 키는 상기 복수의 키 중에서 손가락 정렬 위치를 특정하기 위한 적어도 하나의 가이드 키가 될 수 있다. 이 경우, 상기 피드백 단계는, 상기 UI 화면이 상기 압력 크기 이상의 압력으로 터치되면, 터치 지점에 대응되는 디스플레이 부 영역에 제2 피드백 효과를 제공하는 단계를 더 포함할 수 있다.
그리고, 상기 피드백 단계는, 상기 UI 화면이 사용자 입력 가능한 UI 화면인 경우, 상기 UI 화면이 디스플레이되면 상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 자동 판단할 수 있다.
한편, 상기 피드백 단계는, 상기 사용자 단말 장치 내에서 분산 배치된 복수의 압전체 중에서, 상기 적어도 한 영역에 배치된 적어도 하나의 압전체를 선택적으로 구동시켜, 상기 디스플레이부의 표면을 국부적으로 변형시키는 햅틱 피드백 효과를 제공할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, UI 화면에 국부적으로 피드백 효과를 제공할 수 있다. 이에 따라, 사용자는 UI 화면의 구조를 용이하게 인식할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 2는 본 발명의 일 실시 예에 따른 피드백 제공 방법을 설명하기 위한 흐름도,
도 3은 함몰 변형 및 돌출 변형 형태의 피드백 효과가 제공된 상태를 나타내는 도면,
도 4는 진동 형태의 피드백 효과가 제공되는 UI 화면의 일 예를 나타내는 도면,
도 5는 가이드 위치에 피드백 효과가 제공되는 UI 화면의 다른 예를 나타내는 도면,
도 6은 피드백 제공부에 사용되는 압전체 구성 및 그 동작을 설명하기 위한 도면,
도 7은 피드백 제공부의 구성을 설명하기 위한 도면,
도 8은 도 7의 단면 구성의 일 예를 나타내는 도면,
도 9 및 도 10은 압전체의 다양한 구성 및 그 구동 원리를 설명하기 위한 도면,
도 11은 복수의 압전체 및 그 구동 회로의 일 예를 나타내는 도면,
도 12는 본 발명의 다른 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 13은 도 12의 사용자 단말 장치에서의 피드백 제공 방법을 설명하기 위한 흐름도,
도 14는 사용자 접근에 의해 국부적 피드백 효과가 제공되는 UI 화면의 일 예를 나타내는 도면,
도 15는 본 발명의 또 다른 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도,
도 16은 도 15의 사용자 단말 장치에서의 피드백 제공 방법을 설명하기 위한 흐름도,
도 17은 사용자의 터치에 따라 다양한 피드백 효과가 제공되는 UI 화면의 일 예를 나타내는 도면,
도 18은 본 발명의 다양한 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도, 그리고,
도 19는 도 18의 사용자 단말 장치에서 사용 가능한 프로그램 구성을 나타내는 도면이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다. 사용자 단말 장치(100)는 휴대폰, PDA, 전자 액자, 전자 책, 전자 수첩, MP3 플레이어, 태블릿 PC, 랩탑 컴퓨터(laptop computer), 모니터, 키오스크, 테이블 PC 등과 같은 다양한 유형의 장치로 구현될 수 있다.
도 1에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 제어부(120), 피드백 제공부(130)를 포함한다.
디스플레이부(110)는 UI 화면을 디스플레이하기 위한 구성요소이다. UI(User Interface) 화면이란, 다양한 어플리케이션의 실행에 의해 생성되는 어플리케이션화면, 소프트 키보드나 각종 키가 표시되는 입력 화면, 각종 메인 메뉴가 표시되는 메인 화면, 각종 아이콘이 표시되는 아이콘 표시 화면, 잠금 상태를 알리는 잠금 화면 등이 될 수 있다.
제어부(120)는 사용자 단말 장치(100)에 설치된 각종 어플리케이션이나 펌웨어 등을 실행시켜 상술한 UI 화면을 생성한 후, 디스플레이부(110)를 통해 디스플레이할 수 있다.
피드백 제공부(130)는 디스플레이부(110)의 전체 영역 내에서 국부적으로 피드백 효과를 제공하기 위한 구성요소이다. 피드백 효과는 디스플레이부(110)의 표면을 변형시키는 햅틱 피드백 효과가 될 수 있다. 구체적으로는, 진동, 돌출 변형, 함몰 변형 등이 될 수 있다. 국부적인 진동(local vibration)이란 디스플레이부(110)의 일부 영역이 떨리는 효과를 의미하고, 국부적인 돌출 변형이란 디스플레이부(110)의 일부 영역이 볼록하게 솟아 오르는 효과를 의미하며, 국부적인 함몰 변형이란 디스플레이부 일부 영역이 오목하게 내려가는 효과를 의미한다. 또는, 사용자가 가하는 힘에 대한 반작용으로 이루어지는 형상 변형이 햅틱 피드백 효과로 제공될 수도 있다. 즉, 평판 상태에서 사용자가 힘을 가하면 그 힘의 방향의 반대 방향으로 표면이 솟아 오르거나 함몰 되는 피드백 효과가 발생할 수도 있다. 이하에서는 이러한 피드백 효과도 돌출 변형 또는 함몰 변형의 일 예로 포함시켜 설명한다.
이상과 같은 압전 피드백 효과를 제공하기 위해서 디스플레이부(110)의 전체 또는 일부는 플렉서블한 특성을 가질 수 있다. 디스플레이부(110) 전체가 플렉서블한 특성을 가지는 경우, 사용자 단말 장치(100)는 플렉서블 장치로 명명될 수도 있다. 디스플레이부(110)의 구성 에에 대해서는 후술하는 부분에서 구체적으로 설명한다.
제어부(120)는 특정 조건이 충족되면, 디스플레이부(110)의 전체 영역 중 적어도 한 영역에 피드백 효과를 국부적으로 제공하도록 피드백 제공부(130)를 제어할 수 있다. 구체적으로는, 제어부(120)는 특정 유형의 UI 화면이 디스플레이되기만 하면, 그 UI 화면 내에서 정해진 영역에 자동으로 국부적인 피드백 효과를 제공하도록 피드백 제공부(130)를 제어할 수 있다. 또는, 제어부(120)는 UI 화면이 디스플레이된 상태에서 사용자가 UI 화면에 대해 입력 의도가 있는 것으로 판단되면, 그 사용자의 입력 의도에 따라 정해지는 영역에 국부적인 피드백 효과를 제공하도록 피드백 제공부(130)를 제어한다. 이에 따라, 사용자는 UI 화면을 보지 않고도, 촉각을 통해 UI 화면 내에서의 각종 객체의 배치 형태와 같은 구성을 용이하게 인식할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 피드백 제공 방법을 설명하기 위한 흐름도이다. 도 2에 따르면, 사용자 단말 장치(100)는 디스플레이부 상에 UI 화면을 디스플레이한다(S210).
사용자 단말 장치(100)는 UI 화면이 디스플레이된 상태에서 사용자의 입력 의도가 있는지 여부를 판단한다(S220). 입력 의도의 판단 방법은 다양하게 구현될 수 있다. 즉, 특정 UI 화면이 디스플레이되면 사용자의 입력 의도를 자동으로 인정할 수도 있고, 사용자의 접근이나 터치 등이 있을 때 입력 의도가 있다고 판단할 수 있다.
사용자 단말 장치(100)는 사용자의 입력 의도가 판단되면, 국부적으로 피드백 효과를 제공한다(S230).
도 3은 함몰 변형 및 돌출 변형 형태의 피드백 효과가 제공된 상태를 나타내는 도면이다. 도 3에 따르면, 디스플레이부(110)내에서 일 영역(10)의 표면은 볼록하게 변형되고, 다른 영역(20)의 표면은 오목하게 변형되는 것을 나타낸다. 제어부(120)는, 디스플레이부(110)에 UI 화면이 표시되면, 그 UI 화면 내에서 특정 키가 표시된 지점에 대응되는 디스플레이부 영역에 국부적으로 피드백 효과를 제공하도록 피드백 제공부(130)를 제어한다.
도 4는 진동 형태의 피드백 효과가 제공된 상태를 나타내는 도면이다. 도 4에 따르면, 복수 개의 아이콘을 포함하는 아이콘 표시 화면(300)이 표시된 상태에서 적어도 하나의 아이콘에서만 진동이 발생할 수 있다. 도 4에서는 제10번 아이콘에서만 진동이 일어나는 것처럼 도시하였으나, 한 번에 여러 개의 아이콘에서 진동이 발생할 수도 있다. 또한, 도 4에서는 아이콘 표시 화면(300)을 UI 화면의 예로 도시하였으나, 다른 유형의 UI 화면에서도 진동 형태의 피드백 효과가 제공될 수 있다. 제어부(120)는 아이콘들 중에서 피드백 효과가 제공될 아이콘을 선택적으로 결정할 수 있다. 가령, 제어부(120)는 사용자의 손가락이나 터치 펜이 접근하거나 터치되는 아이콘이 표시되는 지점을 선택적으로 진동시키도록, 피드백 제공부(130)를 제어할 수 있다. 또는, 제어부(120)는 UI 화면 내에서 기준이 될 수 있는 위치의 아이콘이 표시되는 지점을 선택적으로 진동 시키도록 피드백 제공부(130)를 제어할 수도 있다. 그 밖에, 제어부(120)는 사용자가 자주 선택하거나 가장 최근에 선택한 아이콘, 신규 업데이트 소식이 있는 아이콘 등과 같이 특정 조건을 충족하는 아이콘이 표시되는 지점을 선택적으로 진동시키도록 피드백 제공부(130)를 제어할 수도 있다.
도 5는 소프트 키보드와 같은 입력 수단을 포함하는 UI 화면 및 그 UI 화면에서의 피드백 제공 방법을 설명하기 위한 도면이다. 도 5에 따르면, 사용자 단말 장치(100)의 디스플레이부(110)에는 입력 창(410) 및 소프트 키보드(420)를 포함하는 UI 화면(400)이 디스플레이된다.
소프트 키보드(420)에는 다수의 키가 표시된다. 사용자가 소프트 키보드(420)를 통해 각종 키를 선택하면, 그 선택된 키에 대응되는 문자나 숫자 등이 입력 창(410)에 표시될 수 있다.
소프트 키보드(420)에 표시되는 키들은 실제 키보드와 같은 배치 패턴에 따라 배치될 수 있다. 실제 키보드는 복수의 문자 키, 숫자 키, 방향 키, 스페이스 바, 엔터 키 등을 포함하는 것이 일반적이다. 사용자는 양 손을 키보드 상에 올린 상태에서 키보드 상의 키를 선택하게 된다. 이 때, 사용자가 키보드를 보지 않고도 손가락을 키보드 상의 정 위치에 정렬시킬 수 있도록 문자 키들 중에서 F와 J 키에는 볼록한 마크를 형성한다. 즉, F와 J키는 손가락 정렬 위치를 특정하기 위한 가이드 키가 된다. 제어부(120)는 소프트 키보드(420) 내에서 F 키(421)와, J 키(422)를 가이드 키로 선택한다. 제어부(120)는 그 가이드 키가 표시되는 디스플레이 부 영역에 국부적으로 피드백 효과를 제공하도록 피드백 제공부(130)를 제어한다.
도 5에서는 F와 J 키와 같은 가이드 키에 대해서만 피드백 효과가 발생하는 것으로 도시하였으나, 엔터 키나 스페이스 바와 같이 자주 사용하는 키에 대해서도 피드백 효과를 제공할 수도 있다. 또한, 가이드 키는 소프트 키보드(420)의 키 개수나 배치 패턴에 따라 F나 J 키 이외의 다른 키로 설정될 수도 있다.
국부적으로 햅틱 피드백 효과를 제공하기 위해서 피드백 제공부(130)는 복수의 압전체를 포함할 수 있다.
각 압전체들은 유니몰프(unimorph) 형, 바이몰프(bimorph) 형 등과 같이 다양한 형태로 구현될 수 있다.
유니몰프 형이란 하나의 압전층이 디스크 형태의 메탈층 상에 적층된 형태를 의미한다. 유니몰프 형태의 압전체의 메탈층과 압전층은 각각 원형이나, 기타 다각형으로 구현될 수 있다. 압전층은 압전 세라믹이나 압전 폴리머로 이루어질 수 있다. 압전 세라믹으로는 PZT, PbTiO3, BaTiO3 등과 같은 다양한 종류의 재질이 사용될 수 있다. 유니몰프 압전체에서 하부 압전층에 더 큰 전위를 가지는 제1 극성의 구동신호가 인가되면 하부의 압전층이 팽창된다. 이에 따라, 가장자리 영역이 위쪽으로 올라가고 중심 영역이 아래쪽으로 내려가는 형태로 변형될 수 있다. 반면, 하부 압전층에 더 작은 전위를 가지는 제2 극성의 구동 신호가 인가되면, 압전층이 축소되므로 반대 방향으로 변형된다.
바이몰프 형이란 두 개의 압전층이 순차적으로 적층된 형태를 의미한다. 적층형이란 세라믹스 시트에 금속 전극 재를 인쇄하여 여러 장을 압착한 후 내부에 전극을 포함시켜 소결하여 제작하는 형태를 의미한다.
도 6은 바이몰프 형태의 압전층의 구성을 나타내는 도면이다. 도 6에 따르면, 하나의 압전체(131)는 상부 압전층(131(a)) 및 하부 압전층(131(b))을 포함한다. 상부 압전층(131(a)) 및 하부 압전층(131(b)) 각각은 제1 극성의 구동 신호가 인가되면 연장되고, 반대인 제2 극성의 구동 신호가 인가되면 축소되는 특징이 있다. 제1 극성은 +극성이고, 제2 극성은 - 극성이고, 구동 신호는 전압 파형일 수 있다.
도 6에 도시된 바와 같이, 제1 구동 전압이 인가되면 제1 압전층(131(a))이 연장되고 제2 압전층(131(b))이 축소된다. 이에 따라, 압전체(131)는 제2 압전층(131(b)) 측으로 휘어지게 된다. 반대로, 제2 구동 전압이 인가되면 제1 압전층(131(a))이 축소되고 제2 압전층(131(b))이 연장된다. 이에 따라 압전체(131)는 제1 압전층(131(a)) 측으로 휘어지게 된다.
한편, 도 6에서는 두 개의 압전층이 바로 적층된 구조를 도시하였으나, 압전층 사이에는 중간층이 더 포함될 수도 있다. 이에 대해서는 후술하는 부분에서 구체적인 도면과 함께 설명한다.
도 7은 사용자 단말 장치(100) 내에서 복수의 압전체(131-1 ~ 131-n)가 분산 배치된 형태를 나타낸다. 도 7에서는, 가로 방향으로 4개의 압전체가 배치되고, 세로 방향으로 7개의 압전체가 배치되어, 총 28개의 압전체를 포함하는 사용자 단말 장치(100)를 도시하였다. 각 압전체(131-1 ~ 131-n)들은 서로 일정 간격으로 이격되어, 격리 벽으로 분리된 셀들에 각각 배치된다. 도 7에서는 각 압전체(131-1 ~ 131-n)들의 평면 형태가 원형인 것처럼 도시되었으나, 압전체(131-1 ~ 131-n)들은 바 형태나 사각형, 기타 다양한 형상으로 구현될 수 있다. 사용자 단말 장치(100)는 각 셀 내의 압전체(131-1 ~ 131-n)들 중에서, 국부적으로 변형할 영역에 배치된 압전체만을 선택적으로 구동시켜 피드백 효과를 제공할 수 있다.
도 8은 도 7의 사용자 단말 장치(100)의 단면 구성의 일 예를 나타내는 도면이다. 구체적으로는, 도 8은 도 7에서 A1-A2를 자른 단면도를 나타낸다. 도 8에 따르면, 사용자 단말 장치(100)의 디스플레이부(110)는 제1 보호층(111), 디스플레이 패널(112), 구동부(113), 백라이트 유닛(114), 기판(115)을 포함한다.
제1 보호층(111)은 디스플레이 패널(112)을 보호하는 기능을 한다. 예를 들어, 제1 보호층(111)에는 ZrO, CeO2, Th O2 등의 재료가 이용될 수 있다. 제1 보호층(111)은 투명한 필름 형태로 제작되어 디스플레이 패널(112) 표면 전체를 덮을 수 있다.
디스플레이 패널(112)은 LCD(Liquid Crystal Display), OLED(Organic Light-Emitting Diode), EPD(electrophoretic display), ECD(electrochromic display), PDP(Plasma display Panel) 등으로 구현될 수도 있다. LCD로 구현될 경우에는, 도 8에 도시된 바와 같이 백라이트 유닛(114)이 사용될 수 있다. 백라이트 유닛(114)은 램프나 LED와 같은 광원이 직하형 또는 에지형으로 배치되어, 디스플레이 패널(112) 방향으로 백라이트를 제공한다.
구동부(113)는 디스플레이 패널(112)을 구동시키는 기능을 한다. 구체적으로, 구동부(113)는 디스플레이 패널(112)을 구성하는 복수의 화소에 구동 전압을 인가한다. 구동부(113)는 a-si TFT(Thin Film Transistor), LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등으로 구현될 수 있다. 구동부(113)는 디스플레이 패널(112)의 구현 형태에 따라 다양한 형태로 구현될 수 있다. 일 예로, 디스플레이 패널(112)은 복수의 화소 셀로 이루어진 유기 발광체 및 그 유기 발광체의 양면을 덮는 전극층으로 이루어질 수 있다. 이 경우, 구동부(113)는 디스플레이 패널(112)의 각 화소 셀에 대응되는 복수의 트랜지스터를 포함할 수 있다. 각 트랜지스터는 전기 신호가 인가되면 연결된 화소 셀을 발광시킨다. 이에 따라, 디스플레이 패널(112)에 영상이 표시될 수 있다. 그 밖에, 도 8에서는 도시하지 않았으나 컬러 필터도 더 포함될 수 있다. 도 8의 디스플레이부(110)의 각 구성요소들은 탄소가 포함된 유기물 재질로 또는 포일(foil) 등으로 얇게 제작되어, 플렉서블한 특성을 가질 수 있다. 이에 따라, 하부의 압전체(131-1 ~ 131-n) 중 적어도 하나가 구동되어 형상이 변형되면, 그 압전체의 변형에 연동하여 디스플레이부(110)의 표면도 함께 변형될 수 있다.
기판(115)은 이들 구성 요소들을 지지하는 역할을 한다. 기판(115)은 PI(Polyimide), PC(Polycarbonite), PET(Polyethyleneterephtalate), PES(Polyethersulfone), PEN(Polythylenenaphthalate), FRP(Fiber Reinforced Plastic) 등과 같은 다양한 재질로 구현되는 플라스틱 기판일 수 있다.
디스플레이부(110) 하부에는 피드백 제공부(130)가 마련될 수 있다. 피드백 제공부(130)에는 복수의 압전체(131-1 ~ 131-n)가 마련되고, 각 압전체(131-1 ~ 131-n)들은 격리 벽(isolation wall)(132)에 의해 구분된 복수의 셀(133)에 각각 탑재된다. 셀(133) 내부는 공기(air)로 채워지거나, 그 밖의 다양한 유전 물질로 채워질 수 있다. 셀(133) 하부는 제2 보호층(134)에 의해 패키징된다. 각 압전체(131-1 ~ 131-n) 들로 연결되는 전기 회로 패턴은 기판(115)에 마련될 수도 있고, 제2 보호층(134)에 마련될 수도 있다. 제2 보호층(134)도 제1 보호층(111)과 유사한 재질로 제작될 수 있다.
도 9 및 도 10은 압전체의 다양한 구성 예 및 그 구동 방법을 설명하기 위한 도면이다.
도 9에 따르면, 압전체(131)는 제1 전극(1031), 제1 압전층(1032), 제2 전극(1033), 중간층(1034), 제3 전극(1035), 제2 압전층(1036), 제4 전극(1037)을 포함한다. 도 9는 복수의 압전층을 포함하는 바이몰프 압전체의 일 예를 나타낸다. 도 9에 따르면, 제1 압전층(1032)의 상하부 표면과, 제2 압전층(1036)의 상하부 표면에 각각 전극들이 배치된다. 중간층(1034)은 플렉서블한 특성을 가지는 탄성체 재질로 이루어질 수 있다. 각 압전층과 중간층의 길이는 실험을 통해 측정된 데이터에 기초하여, 전압에 따라 최대 변위로 변형되는 길이로 결정될 수 있다.
도 9에 도시된 바와 같이 제1 전극(1031)과 제4 전극(1037)에 + 전압이 인가되고, 제2 전극(1033)과 제3 전극(1035)에 - 전압이 인가되면 제1 압전층(1032)에는 + 극성의 전계가 형성된다. 이에 따라 제1 압전층(1032) 내부의 압전 물질은 전계 방향에 따라 분극하여 결정의 길이가 늘어나게 된다. 즉, 제1 압전층(1032)은 길이 방향으로 연장되게 된다. 반면, 제2 압전층(1036)에는 -극성의 전계가 형성된다. 이에 따라, 길이 방향으로 축소하게 된다. 결과적으로, 도 9에 도시된 바와 같이, 압전체(131)는 제1 압전층(1032) 쪽이 볼록해지도록 휘어지게 된다.
도 10은 압전체(131) 상부 및 하부에 전극이 마련된 형태를 나타낸다. 도 10에 따르면, 압전체(131)는 제1 전극(1131), 제1 압전층(1132), 중간층(1133), 제2 압전층(1134), 제2 전극(1135)을 포함한다.
도 10에 도시된 바와 같이 제1 전극(1131)에 + 신호가 인가되고 제2 전극(1134)에 - 신호가 인가되면, 제1 압전층(1132)은 연장되고 제2 압전층(1134)은 축소된다. 이에 따라, 압전체(131)는 아래 방향으로 휘어지게 된다.
한편, 각 압전층에 개별적으로 구동신호를 인가하기 위하여, 전극 패턴이 마련될 수 있다. 전극 패턴은 각 압전층에 연결된 전극과 사용자 단말 장치(100)의 내부 전원을 전기적으로 연결하기 위한 패턴을 의미한다.
도 11은 전극 패턴의 일 예를 나타낸다. 도 11에 따르면, 피드백 제공부(130)는 매트릭스 형태로 배치된 복수의 압전체(131-1 ~ 131-9)를 포함한다. 도 11에서는 바(bar) 형태의 압전체(131-1 ~ 131-9)가 도시되었다.
각 압전체(131-1 ~ 131-9) 내의 제1 압전층에는 상부 회로 라인(1230-1 ~ 1230-9)이 각각 연결된다. 각 상부 회로 라인(1230-1 ~ 1230-9)에는 상부 전극 패드(1210-1 ~ 1210-9)가 연결된다.
또한, 각 압전체(131-1 ~ 131-9) 내의 제2 압전층에는 하부 회로 라인(1240-1 ~ 1240-9)이 각각 연결된다. 각 하부 회로 라인(1240-1 ~ 1240-9)에는 하부 전극 패드(1220-1 ~ 1220-9)가 각각 연결된다.
제어부(120)는 상부 전극 패드, 하부 전극 패드들 중에서 변형시키고자 하는 위치의 압전체에 연결된 전극 패드들로 구동 신호를 인가하여, 국부적인 피드백 효과를 제공하도록 할 수 있다. 제어부(120)가 제1 구동 신호를 하나의 압전체에 인가하면, 그 압전체가 위쪽으로 휘어지면서 디스플레이부(110)의 표면이 위쪽으로 돌출되는 돌출 변형이 이루어진다. 반대로 제어부(120)가 제2 구동 신호를 인가하면 그 압전체가 아래쪽으로 휘어지면서 디스플레이부(110)의 표면이 아래쪽으로 함몰되는 함몰 변형이 이루어진다. 또는, 제어부(120)는 압전체의 양단에 교류 전압을 인가하여 진동 효과를 일으키거나, 제1 구동 신호 및 제2 구동 신호를 짧은 시간 내에 교번적으로 반복 인가하여 진동 효과를 일으킬 수도 있다.
도 11에 도시된 바와 같이, 압전체(131-1 ~ 131-9)가 바 형태로 이루어진 경우에는, 압전체(131-1 ~ 131-9)의 일단 또는 양단이 기판(115)에 고정되어, 고정되지 않은 부분에서 변위가 이루어지도록 설계될 수 있다. 가령, 압전체(131-1 ~ 131-9)의 일단이 고정된 경우에는 타단이 위쪽으로 또는 아래쪽으로 휘어질 수 있다. 또는 바 형태의 압전체에서 양단이 고정된 경우에는 압전체의 중심부가 위쪽으로 볼록해지도록 휘어지거나, 아래쪽으로 오목하게 휘어질 수 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다. 도 12에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 제어부(120), 피드백 제공부(130), 접근감지센서(140)를 포함한다. 디스플레이부(110), 제어부(120), 피드백 제공부(130)의 기본적인 구성 및 동작에 대해서는 도 1에서 설명한 바 있으므로, 중복되는 설명은 생략한다.
접근 감지 센서(140)는 사용자 접근을 센싱하기 위한 구성요소이다. 접근 감지 센서(140)는 IR(Infra Red) 센서, 포토 다이오드, 카메라 등과 같은 다양한 종류의 센서를 포함할 수 있다. 접근 감지 센서(140)가 카메라를 포함하는 실시 예의 경우에는, 카메라는 사용자를 지속적으로 촬상할 수 있다. 제어부(120)는 촬상된 영상을 분석하여 그 영상 내에서의 사용자의 손과 같은 객체 영역의 면적을 계산한다. 이에 따라, 제어부(120)는 이전 영상보다 현재 영상에서의 객체 영역의 면적이 더 커지게 되면 사용자가 사용자 단말 장치(100)의 디스플레이부(110) 방향으로 접근하고 있다고 판단할 수 있다. 또는, IR(Infra Red) 센서나 포토 다이오드가 사용되는 경우에는, 제어부(120)는 IR 신호나 광 신호가 발산된 후 사용자의 손과 같은 객체로부터 반사되는 반사 신호의 수신 시간을 측정하여, 사용자와의 거리 변화를 산출한다. 이에 따라, 사용자가 접근하고 있는지 멀어지고 있는지 판단할 수 있다.
제어부(120)는 UI 화면이 디스플레이부(110)에 디스플레이된 상태에서, UI 화면에 대한 사용자 접근이 감지되면, UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단한다. 입력 의도가 있다고 판단되면, 제어부(120)는 UI 화면 내에서 국부적으로 피드백 효과가 제공될 수 있도록 피드백 제공부(130)를 제어한다.
도 13은 도 12의 디스플레이 장치에서 수행되는 피드백 제공 방법을 설명하기 위한 흐름도이다. 도 13에 따르면, UI 화면이 디스플레이된 상태에서(S1310), UI 화면에 대한 사용자의 접근이 감지되면(S1320), 사용자 단말 장치는 사용자의 입력 의도가 있다고 판단한다(S1330). 접근 감지 방법은 상술한 바와 같이 다양한 센서를 이용하여 수행될 수 있으며, 그 밖에 다양한 공지 센싱 기술이 사용될 수도 있다. 사용자 단말 장치는 사용자 입력 의도가 있다고 판단된 경우에는 국부적으로 피드백 효과를 제공한다(S1340). 여기서의 피드백 효과는 상술한 바와 같은 다양한 유형의 압전 피드백 효과가 될 수 있으며, 실시 예에 따라서는 시각적 피드백 효과도 추가될 수 있다. 시각적 피드백 효과란 UI 화면 내의 특정 영역을 주변보다 더 밝게 표시하거나, 특정 영역에 표시되는 이미지를 확대 또는 변형시키는 등의 다양한 이미지 처리를 제공하는 것을 의미한다. 압전 피드백 효과를 제공하기 위한 구성에 대해서는 상술한 부분에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
도 14는 도 12 및 도 13의 실시 예에서 디스플레이부를 통해 표시되는 UI 화면의 일 예 및 그 피드백 제공 방법을 설명하기 위한 도면이다. 도 14에 따르면, 사용자 단말 장치(100)는 입력 창(1410) 및 소프트 키보드(1420)를 포함하는 UI 화면(1400)이 디스플레이된다. 소프트 키보드(1420)는 상술한 바와 같이 실제 키보드와 유사한 형태로 키가 배치될 수 있다.
제어부(120)는 메일, 메신저, 문자, 문서 작업 등과 같이 사용자 입력을 요하는 기능이 실행되면, 도 14와 같이 소프트 키보드(1420)를 포함하는 UI 화면(1400)을 디스플레이할 수 있다. 일반적인 상태에서는 제어부(120)는 소프트 키보드(1420)가 표시된 디스플레이부(110)의 표면이 평판 상태를 유지하도록 할 수 있다. 한편, 도 14에 도시된 바와 같이 사용자가 양 손을 소프트 키보드(1420) 상에 올리게 되면, 접근 감지 센서(140)는 사용자의 양 손의 접근을 감지하여 제어부(120)로 통지한다. 제어부(120)는 접근 감지 신호가 수신되면, 소프트 키보드(1420) 내에서 가이드 키에 해당하는 F와 J키(1421, 1422)에서 국부적으로 피드백 효과가 제공되도록 피드백 제공부(130)를 제어한다. 도 14에서는 국부적 진동 효과가 발생하는 상태를 도시하였으나, 함몰 변형이나 돌출 변형이 발생할 수도 있음은 물론이다.
한편, 도 14에서는 사용자 접근이 감지되었을 경우에 정해진 위치의 키, 즉, 가이드 키에 대해서만 국부적으로 피드백 효과가 발생하는 것을 설명하였으나, 피드백 효과가 발생하는 지점은 사용자 접근 방향에 따라 달라질 수 있다. 즉, 제어부(120)는 사용자의 움직임 방향을 분석하여, UI 화면 내에서 어느 지점을 향하고 있는지 판단할 수 있다. 가령, 접근 감지 센서(140)가 카메라를 포함하고 있는 경우, 각 촬상 이미지를 비교하여 사용자의 움직임 방향을 판단한다. 그리고, 카메라의 촬상 각도를 기준으로 사용자가 UI 화면 내에서 어느 지점을 향하고 있는지를 판단한다. 제어부(120)는 판단 결과에 따라 사용자가 향하는 지점에서 국부적으로 피드백 효과를 제공하도록 피드백 제공부(130)를 제어할 수 있다.
도 14는 태블릿 PC의 화면 구성 예를 도시하였으나, 상술한 바와 같이 사용자 단말 장치는 태블릿 PC 이외에도 다양한 유형의 전자 장치로 구현될 수 있다. 디스플레이 패널의 가로 세로 비율, 크기, 형태 등은 전자 장치의 유형에 따라 다르게 구현된다. 따라서, 소프트 키보드 화면의 가로 세로 비율과, 크기, 형태 역시 전자 장치의 특성에 맞게 설계될 수 있다. 도 14 이외의 다른 도면에 도시된 화면 구성 역시 구현 예에 따라 다양한 형태로 구현될 수 있음은 물론이다.
도 15는 본 발명의 또 다른 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다. 도 15에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 제어부(120), 피드백 제공부(130), 터치 감지 센서(150)를 포함한다. 디스플레이부(110), 제어부(120), 피드백 제공부(130)의 기본적인 구성 및 동작에 대해서는 도 1에서 설명한 바 있으므로, 중복되는 설명은 생략한다.
터치 감지 센서(150)는 디스플레이부(110)의 표면에 대한 사용자 터치를 감지하기 위한 구성요소이다. 터치 감지 센서(150)는 정전식 또는 감압식으로 구현될 수 있다. 정전식은 디스플레이부(110) 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이부(110) 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 디스플레이부(110)에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 이상과 같이 터치 감지 센서(150)는 다양한 형태로 구현될 수 있다.
제어부(120)는 터치 좌표가 인식되면, 그 터치 좌표와 화면 표시 좌표를 비교한다. 이에 따라, 터치 지점에 표시된 화면 객체를 확인하고, 그 화면 객체에 대응되는 동작을 실행할 수 있다.
한편, 제어부(120)는 터치 강도에 따라 상이한 동작을 수행할 수 있다. 가령, UI 화면이 기 설정된 압력 크기 미만의 압력으로 터치되면 해당 UI 화면에 대한 사용 의도가 있다고 판단한다. 이에 따라, UI 화면 내에서 특정 키가 표시된 지점에 대응되는 디스플레이 부(110) 영역에 제1 피드백 효과를 제공하도록 피드백 제공부(130)를 제어한다. 여기서 특정 키란 터치 지점에 표시된 키가 아니라 가이드 키나, 기준 키, 선호 키 등이 될 수 있다.
가령, 상술한 바와 같이, 소프트 키보드를 포함하는 UI 화면이 디스플레이된 경우, 사용자는 소프트 키보드에 손을 올려놓을 수 있다. 이에 따라, 소프트 키보드 내에서 임의의 키들이 가볍게 터치될 수 있다. 제어부(120)는 각 키들이 터치되더라도 그 강도가 기 설정된 압력 크기 미만이면 해당 키에 따른 문자나 숫자 입력 등을 수행하지 않고 대신에 F 및 J 키와 같은 가이드 키에서 국부적으로 제1 피드백 효과를 제공하도록 피드백 제공부(130)를 제어한다. 제1 피드백 효과는 사용자가 손가락을 올려 놓은 상태에서 쉽게 감지할 수 있도록 진동 효과로 구현될 수 있으나, 이에 한정되지 않고 돌출 변형이나 함몰 변형 형태로 제공될 수 있다.
한편, 제어부(120)는 UI 화면이 기 설정된 압력 크기 이상의 압력으로 터치되면, 터치 지점에 대응되는 디스플레이 부(110) 영역에 제2 피드백 효과를 제공하도록 피드백 제공부(130)를 제어할 수 있다. 즉, 일반적으로 손가락 정렬 과정에서 무의식적으로 터치할 때 감지되는 압력보다, 사용자가 입력 의도를 가지고 키를 누를 때의 압력이 크게 측정된다. 반복 실험을 수행하게 되면, 입력 의도를 가지고 터치할 때의 압력과, 입력 의도 없이 터치할 때의 압력 간의 경계 값이 결정될 수 있다. 이러한 경계 값이 사용자 단말 장치에 저장되어, 기준 압력 크기로 활용될 수 있다.
제어부(120)는 다수의 손가락이 화면 상에 올라왔을 때 그 압력을 감지하여 그 때의 압력을 기준 압력으로 설정할 수 있다. 이후에는 그 압력보다 큰 압력의 힘이 감지되었을 때의 터치를 입력으로 판단한다.
제1 피드백 효과와 제2 피드백 효과의 형태 및 강도는 개별적으로 설정될 수 있다. 가령, 제1 피드백 효과가 돌출 변형이나 함몰 변형 형태로 제공되었다면, 제2 피드백 효과는 진동 형태로 제공될 수 있다. 반면, 제1 피드백 효과 및 제2 피드백 효과가 모두 진동 형태로 제공되면서, 제2 피드백 효과의 진동 강도가 더 세게 설정될 수 있다. 또는, 제1 피드백 효과와 제2 피드백 효과의 진동 패턴 자체가 다르게 설정될 수도 있다. 가령, 가이드 키인 F와 J키에서는 단발성의 진동이 이루어지고, 사용자가 일정 압력 크기 이상의 압력으로 터치한 키에서는 상대적으로 긴 시간 동안 여진이 느껴지도록 다발성 진동을 제공할 수 있다.
제어부(120)는 설정 값에 따라 제1 피드백 효과 및 제2 피드백 효과를 각각 제공하도록 피드백 제공부(130)를 제어할 수 있다. 한편, 제어부(120)는 UI 화면이 연속적으로 사용되고 있다고 판단되는 경우에는, 사용자 혼란을 막기 위해서 제1 피드백 효과는 제거하고 제2 피드백 효과만을 제공하도록 하거나, 제1 및 제2 피드백 효과 모두 제거하도록 피드백 제공부(130)를 제어할 수도 있다. 연속적으로 사용하는지 여부는 매 터치 시의 시간 간격이 기 설정된 단위 시간 이내인지 여부를 판단하여,
한편, 도 15의 실시 예에서는 기 설정된 기준 압력 크기에 기초하여 제1 피드백 효과를 제공할 지 제2 피드백 효과를 제공할 지 여부를 판단하는 것으로 설명하였으나, 이와 다른 실시 예에서는 터치 지점의 개수에 따라 판단할 수도 있다. 가령, 상술한 예와 같이 소프트 키보드가 표시되는 경우에는, 좌측 손가락 4개 및 우측 손가락 4개가 각각 대응되는 키 위에 놓이는 것이 기본 자세로 설정될 수 있다. 이 경우에는, 총 8개의 지점에서 터치가 이루어진다. 따라서, 제어부(120)는 터치 지점이 8개 이상으로 감지되면 정렬 상태라고 판단하고 제1 피드백 효과를 자동으로 제공할 수 있다. 소프트 키보드 사용 중인 동안에는 디스플레이부(110) 표면에서 모든 손가락이 떨어졌다가 다시 표면에 닿을 때마다 제1 피드백 효과를 제공하여 줄 수도 있다.
상술한 소프트 키보드 예에서 가이드 키는 F, J키로 설명하였으나, 가이드 키 자체는 사용자의 편의에 따라 변경할 수도 있고, 추가, 삭제할 수도 있다.
도 16은 도 15의 실시 예에 따른 피드백 제공 방법을 설명하기 위한 흐름도이다. 도 16에 따르면, UI 화면이 디스플레이 된 상태에서(S1610), 터치가 감지되면(S1620), 터치 강도를 확인한다. 이에 따라, 기 설정된 압력 크기 미만의 압력으로 터치되었다고 판단되면, 정해진 위치에 국부적으로 제1 피드백 효과를 제공한다(S1640). 반대로, 기 설정된 압력 크기 이상의 압력으로 터치되었다고 판단되면, 사용자 단말 장치는 그 터치 지점에 국부적으로 제2 피드백 효과를 제공한다(S1650). 제2 피드백 효과가 발생하면 사용자는 자신의 터치가 정상적으로 인식되었다고 판단할 수 있게 된다. 이에 따라, 사용자가 UI 화면의 구성을 촉각만으로 용이하게 파악할 수 있으면서, 동시에 터치 조작의 정확성을 용이하게 파악할 수 있게 된다.
한편, 상술한 실시 예들에서는 접근 감지 센서와 터치 감지 센서가 각각 개별적으로 사용된 실시 예들을 도시하였으나, 이들 센서는 함께 사용될 수도 있다.
도 17은 접근 감지 센서와 터치 감지 센서를 모두 포함하는 사용자 단말 장치에서의 동작을 설명하기 위한 도면이다. 도 17에 따르면, UI 화면의 일 예로 웹 페이지 화면(1700)을 도시하였다. 웹 페이지 화면(1700)에서는 각종 이미지, 텍스트 등과 같은 객체(1710 ~ 1750)들이 표시된다. 이들 객체(1710 ~ 1750)들은 마크업 언어로 작성되어 구분인식될 수 있다. 사용자 단말 장치의 제어부(120)는 접근 감지 센서(140)를 이용하여 사용자가 웹 페이지 화면(1700)으로 접근하는지 여부를 판단한다. 판단 결과, 접근한다면, 그 접근되는 위치에 표시된 객체에 대해 국부적으로 피드백 효과를 제공한다. 도 17의 예에서는 제1 객체(1710) 측으로 접근하는 경우를 먼저 도시하였다. 이에 따라 제1 객체(1710) 부분이 볼록하게 솟아 오르는 피드백 효과가 제공된다. 이러한 상태에서 사용자가 우측으로 손가락을 이동시키면 제2 객체(1720) 부분이 볼록하게 솟아 오르는 피드백 효과가 제공된다.
이러한 상태에서 사용자가 제2 객체(1720)를 터치(T)하게 되면, 터치에 따라 제2 객체(1720)가 아래 쪽으로 오목하게 내려가는 함몰 변형이 발생한다. 이 후에, 제2 객체(1720)에 대응되는 화면(1760)으로 전환되면서 함몰 변형 상태가 해제된다. 도 17에서는 웹 페이지 화면을 기준으로 설명하였으나, 그 밖의 다른 유형의 UI 화면에 대해서도 사용자 접근 및 터치에 따라 피드백 효과를 선택적으로 제공할 수 있음은 물론이다.
도 18은 본 발명의 다양한 실시 예에 따른 사용자 단말 장치에서 갖출 수 있는 구성요소들을 종합적으로 설명하기 위한 블럭도이다. 도 18에 따르면, 사용자 단말 장치(100)는 복수의 압전체(131-1 ~ 131-n) 및 구동부(135)를 포함하는 피드백 제공부(130), 디스플레이부(110), 제어부(120), 센서부(160), 통신부(170), 비디오 처리부(191), 오디오 처리부(192), 저장부(180), 버튼(192), 스피커(193), 인터페이습(194-1 ~ 194-m), 카메라(195), 마이크(196)를 포함한다.
피드백 제공부(130)는 복수의 압전체(131-1 ~ 110-n) 및 구동회로부(135)를 포함한다.
복수의 압전체(131-1 ~ 131-n)의 구조 및 구동 방법에 대해서는 상술한 부분에서 구체적으로 설명하였으므로, 중복 설명은 생략한다.
구동회로부(135)는 복수의 압전체(110-1 ~ 110-n)에 대해 구동 신호를 인가하기 위한 구성이다. 구동회로부(135)는 배터리(미도시)로부터 제공되는 전원을 이용하여, 다양한 크기 및 극성의 구동 신호를 생성할 수 있다. 구동 신호는 펄스 신호 형태로 생성될 수 있다.
디스플레이부(110)는 전체 또는 일부가 플렉서블한 재질로 이루어져, 제어부(120)의 제어에 따라 다양한 디스플레이 동작을 수행한다.
센서부(160)는 적어도 하나 이상의 센서를 포함한다. 구체적으로는, 센서부(160)는 접근 감지 센서, 터치 감지 센서 이외에도 지자기 센서, 자이로 센서, 가속도 센서, 압력 센서, 벤드 센서 등과 같은 다양한 유형의 센서를 더 포함할 수도 있다.
지자기 센서는 사용자 단말 장치(100)의 회전 상태 및 이동 방향 등을 감지하기 위한 센서이다. 자이로 센서는 사용자 단말 장치(100)의 회전각을 감지하기 위한 센서이다. 가속도 센서는 사용자 단말 장치(100)의 기울어진 정도를 감지하기 위한 센서이다. 압력 센서는 사용자가 터치 조작을 하거나, 사용자 단말 장치(100)를 구부리는 조작을 할 때 사용자 단말 장치(100)에 가해지는 압력의 크기를 감지하여 제어부(120)로 제공하는 센서이다. 압력 센서는 디스플레이부(110)에 내장되어 압력의 크기에 대응되는 전기 신호를 출력하는 압전 필름(piezo film)을 포함할 수 있다. 벤드 센서는 사용자 단말 장치가 구부러지는 것을 감지하기 위한 센서이다. 벤드 센서는 복수의 스트레인 게이지로 구현될 수 있다. 스트레인 게이지는 가해지는 힘의 크기에 따라 저항이 크게 변하는 금속 또는 반도체를 이용하여, 그 저항치 변화에 따라 측정 대상물의 표면의 변형을 감지하는 것이다. 일반적으로 금속과 같은 재료는 외부로부터의 힘에 따라 길이가 늘어나면 저항치가 증가하고, 길이가 줄어들면 저항치가 감소하는 특성이 있다. 따라서, 저항치 변화를 감지하면 벤딩이 이루어졌는지 여부를 판단할 수 있다. 벤드 센서는 사용자 단말 장치(100) 자체가 플렉서블한 특성을 가질 경우, 즉, 플렉서블 장치로 구현되었을 때 포함될 수 있다.
제어부(120)는 센서부(160)에 의해 센싱되는 상태 값에 따라 사용자 단말 장치의 동작을 제어할 수 있다. 구체적으로는, 접근 감지 센서, 터치 감지 센서, 압력 센서 등의 센싱 값에 기초하여 상술한 바와 같이 국부적으로 피드백 효과를 제공하도록 피드백 제공부(130)를 제어할 수 있다.
통신부(170)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(170)는 와이파이칩(171), 블루투스 칩(172), NFC칩(173), 무선 통신 칩(174) 등과 같은 다양한 통신 칩을 포함한다.
와이파이 칩(171), 블루투스 칩(172), NFC 칩(173)은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩(173)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩(171)이나 블루투스 칩(172)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(174)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
통신부(170)를 구비한 경우, 제어부(120)는 외부 단말 장치나 액세스 포인트 등과 통신을 수행하여 각종 메시지를 송수신할 수 있다. 메시지에는 피드백 효과를 줄 수 있는 데이터가 포함될 수 있다. 가령, 이미지나 텍스트, 사진 등과 같은 다양한 객체를 포함하는 메시지의 경우, 그 메시지 내에서 특정 객체만을 국부적으로 돌출, 함몰, 진동시키기 위한 좌표 정보, 피드백 특성 정보 등이 포함될 수 있다.
설명의 편의 상 이러한 데이터를 햅틱 메이킹 데이터(haptic making data), 이러한 데이터를 포함하는 메시지를 햅틱 메이킹 메시지(haptic making message)라 명명한다. 제어부(120)는 외부 단말 장치로부터 햅틱 메이킹 메시지가 수신되면, 그 메시지 내의 햅틱 메이킹 데이터에서 지정한 객체에 대해 국부적으로 피드백 효과를 제공하도록 피드백 제공부(130)를 제어한다.
제어부(120)는 송신할 메시지에 대해서 햅틱 메이킹 데이터를 부가할 수도 있다. 구체적으로는, 메시지 작성 UI 내에 피드백 효과 설정을 위한 메뉴를 함께 표시할 수 있다. 이에 따라, 해당 메뉴를 이용하여 피드백 효과를 설정하면, 그 설정 값에 기초하여 햅틱 메이킹 데이터를 생성하고, 생성된 데이터를 포함하는 메시지를 외부 장치로 전송한다.
비디오 처리부(190)는 비디오 데이터에 대한 처리를 수행하는 구성요소이다. 비디오 처리부(190)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 비디오 처리부(190)에서 처리된 비디오 데이터는 디스플레이부(110)를 통해 디스플레이된다.
오디오 처리부(191)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(191)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
오디오 처리부(191) 및 비디오 처리부(190)는 멀티미디어 컨텐츠나 DMB 방송 신호 등을 처리하여 재생하기 위해 사용된다.
스피커(193)는 오디오 처리부(191)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.
버튼(192)은 사용자 단말 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
카메라(195)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(195)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.
마이크(196)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 제어부(120)는 마이크(196)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(180)에 저장할 수 있다.
카메라(195) 및 마이크(196)가 마련된 경우, 제어부(120)는 마이크(196)를 통해 입력되는 사용자 음성이나 카메라(195)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 사용자 단말 장치(100)는 터치나 버튼 선택 이외에도, 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(120)는 카메라(195)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 제어부(120)는 마이크(196)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다. 상술한 바와 같이 사용자 단말 장치(100)가 플렉서블 장치로 구현되고, 벤드 센서를 포함하고 있는 경우, 벤딩 조작에 따라 사용자 단말 장치(100)의 동작을 제어할 수도 있다. 즉, 제어부(120)는 기 설정된 벤딩 조작이 이루어지면, 그 벤딩 조작에 대응되는 동작을 수행할 수 있다.
그 밖에, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 인터페이스(194-1 ~ 194-m)들이 더 포함될 수도 있다. 또한, 도시하지는 않았으나, 사용자 단말 장치(100)는 전원부(미도시)도 더 포함한다. 전원부는 사용자 단말 장치(100)의 각 구성요소들로 전원을 공급하는 구성요소이다. 구동 회로부(135)는 전원부로부터 제공되는 전압을 변환하여 각 압전체들에 대한 구동 신호를 생성하여 제공할 수 있다.
저장부(180)는 사용자 단말 장치(100)의 동작에 사용되는 각종 프로그램 및 데이터가 저장되는 구성요소이다. 제어부(120)는 저장부(180)에 저장된 각종 프로그램을 실행시켜 다양한 UI 화면을 생성할 수 있다.
제어부(120)는 저장부(180)에 저장된 각종 프로그램을 이용하여 플렉서블 장치(1000)의 동작을 전반적으로 제어한다.
제어부(120)는 ROM(Read Only Memory)(121), RAM(Random Access Memory)(122), CPU(Central Processing Unit)(123), GPU(Graphic Processing Unit)(124), 시스템 버스(125)를 포함한다.
ROM(121), RAM(122), CPU(123), GPU(124)는 시스템 버스(125)를 통해 서로 연결될 수 있다.
CPU(123)는 저장부(180)에 액세스하여, 저장부(180)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(180)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(121)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(121)에 저장된 명령어에 따라 저장부(180)에 저장된 O/S를 RAM(122)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 사용자 명령을 대기한다. 사용자는 버튼(192) 조작이나 사용자 터치 조작, 모션 입력, 음성 입력 등과 같은 다양한 입력 방식에 따라 각종 사용자 명령을 입력할 수 있다.
CPU(123)는 사용자 명령에 대응되는 프로그램을 RAM(122)에 복사하고, RAM(122)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다. CPU(123)는 UI 화면을 생성하여야 하는 상황이 발생하면, 해당 UI 화면을 생성하기 위한 제어 신호를 CPU(124)로 제공한다.
GPU(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 UI 화면을 생성한다. 상술한 바와 같이 UI 화면은 바탕 화면이나, 아이콘 표시 화면, 소프트 키보드 화면, 웹 페이지 화면 등과 같은 다양한 종류가 될 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(110)의 디스플레이 영역 내에 표시된다.
CPU(123)는 UI 화면의 종류에 따라 상술한 바와 같은 국부적인 피드백 효과를 제공하도록 피드백 제공부(130)를 제어한다. 실시 예에 따라서, CPU(123)는 센서부(160)의 감지 결과를 고려하여 피드백 효과를 제공할 수도 있다.
피드백 효과 제공 기능은 사용자 설정 메뉴를 통해 사용자가 설정할 수 있다. CPU(123)는 사용자 설정 값을 저장부(180)에 저장한다. 그리고, CPU(123)는 부팅 과정에서 사용자 설정 값을 내부 레지스터에 세팅하여, 사용한다. 사용자 설정 값은, 국부적인 피드백 효과를 제공할 지 여부, 피드백 효과의 종류, 피드백 효과를 제공할 위치 등과 같이 다양한 항목에 대한 설정 값을 포함한다. 피드백 효과의 종류란 진동, 돌출, 함몰 등과 같은 형태를 의미한다.
이상과 같은, 사용자 설정 값은 사용자 별로 상이하게 설정되어 저장될 수 있다. 가령, 진동 효과의 경우 진동 주파수 또는 진동 패턴을 사용자 별로 상이하게 설정할 수도 있다.
CPU(123)는 사용자 로그인이 이루어지면, 그 사용자에 대응되는 사용자 설정 값을 저장부(180)로부터 로딩하여 사용할 수 있다. 가령, A라는 사용자에 대해서는 소프트 키보드 화면 내에서 F, J키에 대해서만 제1 진동 주파수로 진동 효과를 제공하고, B라는 사용자에 대해서는 소프트 키보드 화면 내에서 스페이스바, 엔터키, F, J키에 대해서 제2 진동 주파수로 진동 효과를 제공할 수 있다. 즉, 같은 어플리케이션에서도 사용자에 따라 가이드 키의 위치, 피드백 효과의 종류, 피드백 강도 등이 변경될 수 있다.
한편, 도 18은 사용자 단말 장치가 통신 기능, 방송 수신 기능, 동영상 재생 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 18에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
상술한 바와 같이 제어부(120)는 저장부(180)에 저장된 프로그램을 실행시켜, 다양한 동작을 수행할 수 있다.
도 19는 저장부(180)에 저장된 소프트웨어의 구성을 설명하기 위한 도면이다. 도 19에 따르면, 저장부(180)에는 베이스 모듈(181), 센싱 모듈(182), 통신 모듈(183), 프리젠테이션 모듈(184), 웹 브라우저 모듈(185), 서비스 모듈(186)을 포함하는 소프트웨어가 저장될 수 있다.
베이스 모듈(181)이란 사용자 단말 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다.
베이스 모듈(181)은 스토리지 모듈(181-1), 위치 기반 모듈(181-2), 보안 모듈(181-3), 네트워크 모듈(181-4) 등을 포함한다.
스토리지 모듈(181-1)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. CPU(123)는 스토리지 모듈(181-1)을 이용하여 저장부(180) 내의 데이터베이스에 액세스하여, 각종 데이터를 독출할 수 있다. 위치 기반 모듈(181-2)이란 GPS 칩 등과 같은 각종 하드웨어와 연동하여 위치 기반 서비스를 지원하는 프로그램 모듈이다. 보안 모듈(181-3)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈(181-4)이란 네트워크 연결을 지원하기 위한 모듈로 DNET 모듈, UPnP 모듈 등을 포함한다.
센싱 모듈(182)은 센서부(160)에 포함된 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다. 구체적으로는, 터치가 이루어진 지점의 좌표값, 터치 이동 방향, 이동 속도, 이동 거리 등과 같은 조작 속성을 검출하는 동작을 수행하는 프로그램 모듈이다. 그 밖에, 경우에 따라서는, 센싱 모듈(182)은 회전 인식 모듈, 음성 인식 모듈, 터치 인식 모듈, 접근 감지 모듈, 모션 인식 모듈, 벤딩 인식 모듈 등을 포함할 수 있다. 제어부(120)는 터치 인식 모듈이나 접근 감지 모듈에 의해 사용자의 접근이나 터치가 감지되면, 그 감지 결과에 기초하여 UI 화면에서 국부적인 피드백 효과를 제공할 지 여부를 판단할 수 있다.
통신 모듈(183)은 외부 장치와 통신을 수행하기 위한 모듈이다. 통신 모듈(183)은 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈(183-1), 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈 등을 포함하는 전화 모듈(183-2)을 포함할 수 있다. 통신 모듈(183)은 외부 장치로부터 수신되는 메시지를 파싱하여, 햅틱 메이킹 데이터를 검출한다. CPU(123)는 통신 모듈(183)의 실행에 의해 검출되는 햅틱 메이킹 데이터를 분석한다. CPU(123)는 햅틱 메이킹 데이터에 따라 국부적인 피드백 효과를 제공하도록 피드백 제공부(130)를 제어한다. 통신 모듈(183)은 외부 장치로 전송할 메시지 작성 과정에서 피드백 효과를 부여하기 위한 메뉴가 선택되면, 외부 장치가 그 피드백 효과를 제공할 수 있도록 햅틱 메이킹 데이터를 생성하여, 해당 메시지에 부가한다. 이에 따라, 외부 장치로 햅틱 메이킹 메시지를 전송하여 줄 수도 있다.
프리젠테이션 모듈(184)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(184)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈(184-1), UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈(184-2)을 포함한다. 멀티미디어 모듈(184-1)은 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행한다. UI 렌더링 모듈(184-2)은 이미지를 조합하는 이미지 합성기(Image Compositor module), 이미지를 디스플레이할 화면상의 좌표를 조합하여 생성하는 좌표 조합 모듈, 하드웨어로부터 각종 이벤트를 수신하는 X11 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다. CPU(123)는 프리젠테이션 모듈(184)을 실행시켜, 각종 UI 화면을 렌더링한다. CPU(123)는 UI 화면 내에서 가이드 키에 해당하는 키의 위치 좌표를 피드백 제공부(130)로 제공한다. 피드백 제공부(130) 내의 구동 회로부(135)는 그 위치 좌표에 대응되는 압전체에 구동 신호를 인가하여, 국부적인 피드백 효과를 제공한다.
웹 브라우저 모듈(185)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 웹 브라우저 모듈(185)은 웹 페이지를 구성하는 웹 뷰(web view) 모듈, 다운로드를 수행하는 다운로드 에이전트 모듈, 북마크 모듈, 웹킷(Webkit) 모듈 등과 같은 다양한 모듈을 포함할 수 있다. CPU(123)는 웹 브라우저 모듈(185)을 실행시켜 웹 페이지 화면을 생성할 수 있다. CPU(123)는 웹 페이지 화면 내에서 기 설정된 조건에 부합되는 객체의 위치 좌표를 피드백 제공부(130)로 제공한다. 피드백 제공부(130) 내의 구동 회로부(135)는 그 위치 좌표에 대응되는 압전체에 구동 신호를 인가하여, 국부적인 피드백 효과를 제공한다.
서비스 모듈(186)이란 각종 사용자 조작이 이루어졌을 경우, 그 조작 내용에 매칭되는 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다. 가령, 서비스 모듈(186)은 워드 프로그램이나, 전자 책 프로그램, 달력 프로그램, 게임 프로그램, 일정 관리 프로그램, 알람 관리 프로그램, 컨텐츠 재생 프로그램, 네비게이션 프로그램, 위젯 프로그램 등을 포함할 수 있다. 이들 프로그램들 중에서 국부적인 피드백 효과를 수반하는 프로그램이 실행될 때에는, 제어부(120)는 그 프로그램에 대응되는 UI 화면을 디스플레이하도록 디스플레이부(110)를 제어한다. 그리고, 제어부(120)는 상술한 다양한 실시 예에서 설명한 바와 같이 UI 화면 내에서 국부적인 피드백 효과를 제공하도록 피드백 제공부(130)를 제어한다. UI 화면의 예와 그 UI 화면 내에서의 피드백 제공 예들에 대해서는 상술한 부분에서 구체적으로 설명하였으므로, 중복 설명은 생략한다.
도 19에서는 다양한 프로그램 모듈들을 도시하였으나, 도시된 각종 프로그램 모듈들은 사용자 단말 장치(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다.
한편, 상술한 다양한 실시 예들에서는 압전 피드백 효과가 국부적으로 제공되는 것을 중심으로 설명하였으나, 압전 피드백 효과 이외에 다양한 피드백 효과가 국부적으로 제공될 수도 있다. 가령, 피드백 제공부(130)는 사용자 단말 장치(100) 내에 배치된 복수의 히터를 포함할 수 있다. 이에 따라, 특정 영역에 배치된 히터만을 선택적으로 구동시켜, 그 영역에서만 열이 감지될 수 있도록 구현할 수도 있다. 즉, 온도를 이용한 피드백 효과를 제공하는 실시 예로 변형될 수도 있다.
또는, 소리나 빛을 이용한 피드백 효과를 제공할 수도 있다. 소리를 이용하여 피드백 효과를 제공하는 실시 예에서는, 사용자가 특정 영역, 예를 들어, 가이드 키에 손가락을 올리고 있는 동안에만 특정 소리가 출력되도록 구현될 수 있다. 반면, 빛을 이용하여 피드백 효과를 제공하는 실시 예에서는, 특정 영역, 예를 들어, 가이드 키 부분의 휘도만을 주변 영역보다 밝게 조정할 수도 있고, 사용자가 해당 키에 손가락을 올리고 있는 동안에만 사용자 단말 장치에 구비된 LED와 같은 소자가 점등되도록 구현될 수도 있다. 이러한 피드백 효과들은 상술한 압전 피드백 효과와 개별적으로 또는 함께 조합되어 제공될 수도 있음은 물론이다.
상술한 다양한 실시 예들에 따른 사용자 단말 장치의 피드백 제공 방법은 소프트웨어로 코딩되어 각종 장치에 탑재될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, 플렉서블한 특성을 가지는 디스플레이부 상에 UI 화면을 디스플레이하는 단계, UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단되면, 디스플레이부의 전체 영역 중 적어도 한 영역에 국부적으로 피드백 효과를 제공하는 피드백 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체가 설치될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 디스플레이부 120 : 제어부
130 : 피드백 제공부

Claims (16)

  1. 사용자 단말 장치에 있어서,
    플렉서블한 특성을 가지며, UI 화면을 디스플레이하는 디스플레이부;
    상기 디스플레이부의 전체 영역 내에서 국부적으로 피드백 효과를 제공하기 위한 피드백 제공부;
    상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단되면, 상기 디스플레이부의 전체 영역 중 적어도 한 영역에 상기 피드백 효과를 국부적으로 제공하도록 상기 피드백 제공부를 제어하는 제어부;를 포함하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 UI 화면 내의 특정 키가 표시된 지점에 대응되는 디스플레이 부 영역에 상기 피드백 효과를 제공하도록 상기 피드백 제공부를 제어하는 것을 특징으로 하는 사용자 단말 장치.
  3. 제1항에 있어서,
    상기 UI 화면은 복수의 키를 포함하는 소프트 키보드를 포함하며,
    상기 제어부는,
    상기 복수의 키 중에서 손가락 정렬 위치를 특정하기 위한 적어도 하나의 가이드 키가 표시된 지점에 대응되는 디스플레이부 영역에 상기 피드백 효과를 제공하도록 상기 피드백 제공부를 제어하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제1항에 있어서,
    사용자 접근을 센싱하는 접근 감지 센서;를 더 포함하며,
    상기 제어부는, 상기 UI 화면이 디스플레이된 상태에서 상기 UI 화면에 대한 상기 사용자 접근이 감지되면 상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단하는 것을 특징으로 하는 사용자 단말 장치.
  5. 제1항에 있어서,
    상기 UI 화면에 대한 사용자 터치를 감지하는 터치 감지 센서;를 더 포함하며,
    상기 제어부는,
    상기 UI 화면이 기 설정된 압력 크기 미만의 압력으로 터치되면 상기 UI 화면 내에서 특정 키가 표시된 지점에 대응되는 디스플레이 부 영역에 제1 피드백 효과를 제공하도록 상기 피드백 제공부를 제어하는 것을 특징으로 하는 사용자 단말 장치.
  6. 제5항에 있어서,
    상기 UI 화면은 복수의 키를 포함하는 소프트 키보드를 포함하고,
    상기 특정 키는 상기 복수의 키 중에서 손가락 정렬 위치를 특정하기 위한 적어도 하나의 가이드 키이며,
    상기 제어부는,
    상기 UI 화면이 상기 압력 크기 이상의 압력으로 터치되면, 터치 지점에 대응되는 디스플레이 부 영역에 제2 피드백 효과를 제공하도록 상기 피드백 제공부를 제어하는 것을 특징으로 하는 사용자 단말 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 피드백 제공부는,
    상기 사용자 단말 장치 내에서 분산 배치되며, 상기 디스플레이부의 표면을 국부적으로 변형시켜 햅틱 피드백 효과를 제공하는 복수의 압전체를 포함하는 것을 특징으로 하는 사용자 단말 장치.
  8. 제7항에 있어서,
    상기 피드백 효과는,
    진동, 돌출 변형, 함몰 변형 중 하나인 것을 특징으로 하는 사용자 단말 장치.
  9. 사용자 단말 장치의 피드백 제공 방법에 있어서,
    플렉서블한 특성을 가지는 디스플레이부 상에 UI 화면을 디스플레이하는 단계;
    상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단되면, 상기 디스플레이부의 전체 영역 중 적어도 한 영역에 국부적으로 피드백 효과를 제공하는 피드백 단계;를 포함하는 피드백 제공 방법.
  10. 제9항에 있어서,
    상기 피드백 효과는, 상기 UI 화면 내의 특정 키가 표시된 지점에 대응되는 디스플레이 부 영역에 제공되는 것을 특징으로 하는 피드백 제공 방법.
  11. 제9항에 있어서,
    상기 UI 화면은 복수의 키를 포함하는 소프트 키보드를 포함하며,
    상기 피드백 효과는, 상기 복수의 키 중에서 손가락 정렬 위치를 특정하기 위한 적어도 하나의 가이드 키가 표시된 지점에 대응되는 디스플레이 부 영역에 제공되는 것을 특징으로 하는 피드백 제공 방법.
  12. 제9항에 있어서,
    상기 피드백 단계는,
    상기 UI 화면이 디스플레이된 상태에서 상기 UI 화면에 대한 사용자의 접근이 감지되면, 상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 판단하는 것을 특징으로 하는 피드백 제공 방법.
  13. 제9항에 있어서,
    상기 피드백 단계는,
    상기 UI 화면이 기 설정된 압력 크기 미만의 압력으로 터치되면 상기 UI 화면 내의 특정 키가 표시된 지점에 대응되는 디스플레이 부 영역에 제1 피드백 효과를 제공하는 단계를 포함하는 것을 특징으로 하는 피드백 제공 방법.
  14. 제13항에 있어서,
    상기 UI 화면은 복수의 키를 포함하는 키보드 화면이고,
    상기 특정 키는 상기 복수의 키 중에서 손가락 정렬 위치를 특정하기 위한 적어도 하나의 가이드 키이며,
    상기 피드백 단계는,
    상기 UI 화면이 상기 압력 크기 이상의 압력으로 터치되면, 터치 지점에 대응되는 디스플레이 부 영역에 제2 피드백 효과를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 피드백 제공 방법.
  15. 제9항에 있어서,
    상기 피드백 단계는,
    상기 UI 화면이 사용자 입력 가능한 UI 화면인 경우, 상기 UI 화면이 디스플레이되면 상기 UI 화면에 대한 사용자의 입력 의도가 있는 것으로 자동 판단하는 것을 특징으로 하는 피드백 제공 방법.
  16. 제9항 내지 제15항 중 어느 한 항에 있어서,
    상기 피드백 단계는,
    상기 사용자 단말 장치 내에서 분산 배치된 복수의 압전체 중에서, 상기 적어도 한 영역에 배치된 적어도 하나의 압전체를 선택적으로 구동시켜, 상기 디스플레이부의 표면을 국부적으로 변형시키는 햅틱 피드백 효과를 제공하는 것을 특징으로 하는 피드백 제공 방법.



KR1020120103475A 2012-09-18 2012-09-18 국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법 KR20140036846A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020120103475A KR20140036846A (ko) 2012-09-18 2012-09-18 국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법
IN2728DEN2015 IN2015DN02728A (ko) 2012-09-18 2013-09-17
EP13839955.5A EP2898396A4 (en) 2012-09-18 2013-09-17 USER DEVICE FOR PROVIDING LOCAL FEEDBACKS AND METHOD THEREFOR
PCT/KR2013/008448 WO2014046482A1 (en) 2012-09-18 2013-09-17 User terminal apparatus for providing local feedback and method thereof
US14/029,169 US20140082490A1 (en) 2012-09-18 2013-09-17 User terminal apparatus for providing local feedback and method thereof
RU2015114577A RU2015114577A (ru) 2012-09-18 2013-09-17 Пользовательское терминальное устройство для предоставления локальной обратной связи и способ для этого
CN201380048677.6A CN104641322B (zh) 2012-09-18 2013-09-17 用于提供局部反馈的用户终端装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120103475A KR20140036846A (ko) 2012-09-18 2012-09-18 국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20140036846A true KR20140036846A (ko) 2014-03-26

Family

ID=50275805

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120103475A KR20140036846A (ko) 2012-09-18 2012-09-18 국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법

Country Status (7)

Country Link
US (1) US20140082490A1 (ko)
EP (1) EP2898396A4 (ko)
KR (1) KR20140036846A (ko)
CN (1) CN104641322B (ko)
IN (1) IN2015DN02728A (ko)
RU (1) RU2015114577A (ko)
WO (1) WO2014046482A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478105A (zh) * 2016-07-01 2019-03-15 伟创力有限责任公司 柔性显示器上的局部触觉反馈

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9449772B2 (en) 2012-10-30 2016-09-20 Apple Inc. Low-travel key mechanisms using butterfly hinges
US9502193B2 (en) 2012-10-30 2016-11-22 Apple Inc. Low-travel key mechanisms using butterfly hinges
US9710069B2 (en) 2012-10-30 2017-07-18 Apple Inc. Flexible printed circuit having flex tails upon which keyboard keycaps are coupled
CN109375713A (zh) 2013-02-06 2019-02-22 苹果公司 具有可动态调整的外观和功能的输入/输出设备
EP3005392B1 (en) 2013-05-27 2017-06-21 Apple Inc. Low travel switch assembly
US9908310B2 (en) 2013-07-10 2018-03-06 Apple Inc. Electronic device with a reduced friction surface
TWI578359B (zh) * 2013-07-24 2017-04-11 達方電子股份有限公司 按鍵、鍵盤及其力反饋方法
US9652040B2 (en) 2013-08-08 2017-05-16 Apple Inc. Sculpted waveforms with no or reduced unforced response
KR20150034861A (ko) * 2013-09-25 2015-04-06 한국전자통신연구원 피드백 제공 모듈, 장치 및 방법
US9779592B1 (en) 2013-09-26 2017-10-03 Apple Inc. Geared haptic feedback element
US9928950B2 (en) 2013-09-27 2018-03-27 Apple Inc. Polarized magnetic actuators for haptic response
CN105579928A (zh) 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
WO2015047364A1 (en) 2013-09-29 2015-04-02 Pearl Capital Developments Llc Devices and methods for creating haptic effects
EP3014396A1 (en) 2013-09-30 2016-05-04 Apple Inc. Keycaps with reduced thickness
US10236760B2 (en) 2013-09-30 2019-03-19 Apple Inc. Magnetic actuators for haptic response
WO2015047606A1 (en) 2013-09-30 2015-04-02 Apple Inc. Keycaps having reduced thickness
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US9904428B2 (en) * 2013-11-21 2018-02-27 3M Innovative Properties Company Multi-layer piezoelectric polymer film devices and methods
CN105814510B (zh) 2013-12-10 2019-06-07 苹果公司 具有触觉响应的带体附接机构
US9501912B1 (en) 2014-01-27 2016-11-22 Apple Inc. Haptic feedback device with a rotating mass of variable eccentricity
AU2014391723B2 (en) 2014-04-21 2018-04-05 Apple Inc. Apportionment of forces for multi-touch input devices of electronic devices
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
WO2016025890A1 (en) 2014-08-15 2016-02-18 Apple Inc. Fabric keyboard
FR3024912B1 (fr) * 2014-08-18 2018-09-28 Inside Vision Dispositif notamment pour afficheur destine a des malvoyants et afficheur comportant un tel dispositif
US10082880B1 (en) 2014-08-28 2018-09-25 Apple Inc. System level features of a keyboard
KR102143310B1 (ko) 2014-09-02 2020-08-28 애플 인크. 햅틱 통지
WO2016053910A1 (en) 2014-09-30 2016-04-07 Apple Inc. Key and switch housing for keyboard assembly
US20160179213A1 (en) * 2014-12-23 2016-06-23 Intel Corporation Electroactive layer of a flexible input device
KR20170108046A (ko) * 2015-01-30 2017-09-26 임머숀 코퍼레이션 정전 햅틱 액추에이터, 및 정전 햅틱 액추에이터를 갖는 사용자 인터페이스
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) * 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
EP3295466B1 (en) 2015-05-13 2023-11-29 Apple Inc. Keyboard assemblies having reduced thicknesses and method of forming keyboard assemblies
EP3295467A1 (en) 2015-05-13 2018-03-21 Apple Inc. Keyboard for electronic device
US9997304B2 (en) 2015-05-13 2018-06-12 Apple Inc. Uniform illumination of keys
CN206322622U (zh) 2015-05-13 2017-07-11 苹果公司 电子装置和键机构
CN104965585B (zh) * 2015-06-02 2019-01-25 百度在线网络技术（北京）有限公司 一种模拟视觉物理反馈的方法与装置
US9934915B2 (en) 2015-06-10 2018-04-03 Apple Inc. Reduced layer keyboard stack-up
EP3314369B1 (en) 2015-06-26 2021-07-21 SABIC Global Technologies B.V. Electromechanical actuators for haptic feedback in electronic devices
CN107925333B (zh) 2015-09-08 2020-10-23 苹果公司 用于在电子设备中使用的线性致动器
US9971084B2 (en) 2015-09-28 2018-05-15 Apple Inc. Illumination structure for uniform illumination of keys
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
US20170285748A1 (en) * 2016-04-04 2017-10-05 Essential Products, Inc. Localized haptic feedback by electronic devices
CN109313496B (zh) * 2016-06-09 2021-11-09 艾托有限公司 压电触摸装置
US10353485B1 (en) 2016-07-27 2019-07-16 Apple Inc. Multifunction input device with an embedded capacitive sensing layer
US10115544B2 (en) 2016-08-08 2018-10-30 Apple Inc. Singulated keyboard assemblies and methods for assembling a keyboard
US10755877B1 (en) 2016-08-29 2020-08-25 Apple Inc. Keyboard for an electronic device
US11500538B2 (en) 2016-09-13 2022-11-15 Apple Inc. Keyless keyboard with force sensing and haptic feedback
US10564724B1 (en) * 2016-09-20 2020-02-18 Apple Inc. Touch-based input device with haptic feedback
US10591993B2 (en) * 2016-09-21 2020-03-17 Apple Inc. Haptic structure for providing localized haptic output
CN106547463A (zh) * 2016-10-11 2017-03-29 奇酷互联网络科技（深圳）有限公司 终端设备及其操作方法
JP6205043B1 (ja) * 2016-10-12 2017-09-27 レノボ・シンガポール・プライベート・リミテッド キーボード、情報処理装置、フィードバック方法、及びプログラム
CN106371615A (zh) * 2016-11-23 2017-02-01 苏州攀特电陶科技股份有限公司 触觉反馈模块及按钮
CN107277229A (zh) * 2017-05-26 2017-10-20 努比亚技术有限公司 一种信息输入方法、终端及计算机可读存储介质
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
WO2019023357A1 (en) 2017-07-26 2019-01-31 Apple Inc. COMPUTER WITH KEYBOARD
TWI689846B (zh) 2018-02-14 2020-04-01 元太科技工業股份有限公司 輸入裝置及其顯示符號之方法
CN110196650A (zh) * 2018-02-27 2019-09-03 深圳富泰宏精密工业有限公司 通过压电阵列实现触摸反馈及声音输出的电子装置
CN109165002B (zh) * 2018-07-09 2022-01-11 Oppo广东移动通信有限公司 屏幕发声方法、装置、电子装置以及存储介质
CN108845710B (zh) * 2018-07-27 2021-09-07 上海天马微电子有限公司 触控面板及其驱动方法、触控装置
CN109326221B (zh) * 2018-09-25 2021-09-28 上海天马微电子有限公司 显示装置和显示装置的触觉反馈显示方法
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
KR102662671B1 (ko) 2019-03-29 2024-04-30 엘지디스플레이 주식회사 표시 장치
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11797091B2 (en) * 2021-06-24 2023-10-24 Microsoft Technology Licensing, Llc Computing device with haptic trackpad
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
WO2023120809A1 (en) * 2021-12-22 2023-06-29 Samsung Electronics Co., Ltd. Methods and systems for identification of an unintended touch at a user interface of a device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831923B2 (en) * 2006-11-28 2010-11-09 International Business Machines Corporation Providing visual keyboard guides according to a programmable set of keys
US9823833B2 (en) * 2007-06-05 2017-11-21 Immersion Corporation Method and apparatus for haptic enabled flexible touch sensitive surface
US7952498B2 (en) * 2007-06-29 2011-05-31 Verizon Patent And Licensing Inc. Haptic computer interface
US8432365B2 (en) 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
GB2463012A (en) * 2008-08-27 2010-03-03 Roke Manor Research Touch sensitive display with an actuator grid providing soft key feedback
KR101472021B1 (ko) * 2008-09-02 2014-12-24 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
KR20100065640A (ko) * 2008-12-08 2010-06-17 삼성전자주식회사 터치스크린의 햅틱 피드백 방법
US20100156793A1 (en) 2008-12-19 2010-06-24 Ozias Orin M System and Method For An Information Handling System Touchscreen Keyboard
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
KR101598335B1 (ko) * 2009-06-11 2016-02-29 엘지전자 주식회사 휴대 단말기 및 그 동작방법
US8451255B2 (en) * 2010-05-14 2013-05-28 Arnett Ryan Weber Method of providing tactile feedback and electronic device
WO2012044279A1 (en) * 2010-09-28 2012-04-05 Hewlett-Packard Development Company, L.P. Haptic keyboard for a touch-enabled display
US20130275907A1 (en) 2010-10-14 2013-10-17 University of Technology ,Sydney Virtual keyboard
US20120113008A1 (en) * 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478105A (zh) * 2016-07-01 2019-03-15 伟创力有限责任公司 柔性显示器上的局部触觉反馈
KR20220044620A (ko) * 2016-07-01 2022-04-08 플렉스트로닉스 에이피, 엘엘씨 플렉서블 디스플레이들 상의 국부화된 햅틱 피드백
US11797088B2 (en) 2016-07-01 2023-10-24 Flextronics Ap, Llc. Localized haptic feedback on flexible displays

Also Published As

Publication number Publication date
IN2015DN02728A (ko) 2015-09-04
EP2898396A4 (en) 2016-02-17
WO2014046482A1 (en) 2014-03-27
CN104641322B (zh) 2018-05-25
US20140082490A1 (en) 2014-03-20
CN104641322A (zh) 2015-05-20
RU2015114577A (ru) 2016-11-10
EP2898396A1 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
KR20140036846A (ko) 국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법
US10985310B2 (en) Flexible device and operating methods thereof
JP5705243B2 (ja) 電子機器及び電子機器の制御方法
AU2015205902B2 (en) Flexible display apparatus and operating method thereof
US8717151B2 (en) Devices and methods for presenting information to a user on a tactile output surface of a mobile device
KR102028717B1 (ko) 플렉서블 장치 및 그의 제어 방법
US9158405B2 (en) Electronic device including touch-sensitive display and method of controlling same
EP2843506B1 (en) Electronic device including touch-sensitive display and method of detecting touches
US20170102810A1 (en) Electronic apparatus
US9465446B2 (en) Electronic device including mechanical keyboard having touch sensors for detecting touches and actuation of mechanical keys
US10503257B2 (en) Portable electronic device and method of providing haptic feedback
JP2015106174A (ja) 電子機器
US8866747B2 (en) Electronic device and method of character selection
JP2015106173A (ja) 電子機器
EP2674838A1 (en) Electronic device including touch-sensitive display and method of controlling same
EP2778857A1 (en) Electronic device including touch-sensitive keyboard and method of controlling same
KR20150082141A (ko) 터치 감지형 디스플레이를 포함하는 전자 디바이스 및 터치 검출 방법
JP2015121995A (ja) 電子機器
JP2015121996A (ja) 電子機器
KR20140042700A (ko) 터치 감지 디스플레이
CA2789744A1 (en) Electronic device and method of character selection
CA2845397A1 (en) Electronic device including touch-sensitive keyboard and method of controlling same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment