KR102036632B1 - 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체 - Google Patents

Abstract

본 발명은 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 관한 것이다.

Description

촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체 {Method, Device, and Computer-Readable Medium for Controlling Tactile Interface Device}

본 발명은 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 관한 것이다.

정보화 사회에서는 컴퓨터를 이용한 정보습득 및 활용이 필수적이며, 이러한 추세는 일반인 뿐만 아니라 시각장애인에게도 마찬가지이다.

시각장애인의 정보화 수준을 향상시키기 위해서는 그들도 정상인과 유사한 수준으로 정보를 습득하고 활용할 수 있도록 해줘야 하는데, 이는 시각장애인의 일상생활을 보다 편리하게 하고 스스로 정보를 습득하고 활용할 수 있게 해준다는 점에서 중요하다. 또한 이를 통하여 궁극적으로는 시각장애인에게 다양한 교육기회를 제공하여 사회진출 및 참여의 기회를 확대시킴으로써 그들의 복지를 한층 향상시킬 수 있다는 점에서 매우 중요하다고 할 수 있다.

하지만, 현재의 컴퓨터를 사용하는 일반적 방식은 주로 모니터를 통해 출력되는 시각적 정보를 눈으로 인지하고 이에 대하여 키보드, 마우스, 혹은 터치패드 등의 입력도구를 이용하여 정보를 입력하는 방식을 사용하고 있다. 따라서, 시각을 쓸 수 없는 시각장애인이 일반인과 동일한 수준으로 컴퓨터의 출력정보를 인지하고 이에 대한 즉각적인 정보입력과 같은 상호작용을 하는 데에는 큰 한계가 있을 수 밖에 없다. 결과적으로 시각적 장애는 컴퓨터 사용에 있어서의 효율성을 현저히 저하시켜 컴퓨터를 통한 정보습득 및 활용의 기회를 크게 빼앗게 된다.

이러한 시각장애인의 컴퓨터 사용에 있어서의 어려움을 해결하기 위하여 청각, 촉각 등을 사용해 시각적 정보를 인지하고 이를 통해 컴퓨터와 상호작용을 할 수 있도록 다양한 기술들이 개발되어 왔다. 그 대표적인 기술로서, 청각을 통해 시각장애인의 컴퓨터 사용을 보조하는 스크린 리더가 있다. 이는 컴퓨터 화면에 출력되는 내용과 자신이 입력한 키보드 정보를 음성으로 출력하여 컴퓨터를 사용할 수 있도록 도와주는 장치 혹은 소프트웨어이다.

하지만 스크린 리더는 출력화면에 대한 2차원의 공간적 위치정보 없이 한 줄로 이어진 선형화된 정보만으로 출력화면의 Graphic User Interface (GUI) 요소들을 탐색하므로 화면 출력정보 인지에 어려움이 따르며, 특히 출력화면에 포함된 정보가 많으면 많을수록 그 어려움은 현저히 증가하게 된다. 또한 문자나 GUI 요소들 이외에 그림, 도표 등과 같은 다양한 그래픽 정보들에 대해서는 스크린 리더가 텍스트 기반의 간단한 묘사적 설명만을 음성으로 제공하기 때문에 시각장애인이 그래픽 정보를 이해하고 이에 대한 상호작용을 하는 데에 큰 어려움을 가지게 된다.

또 다른 관련 기술로는 점자셀을 통하여 문자정보를 촉각으로 전달해주는 점자정보단말기가 있다. 이는 시각장애인에게 유용한 컴퓨터의 몇몇 기능들을 제공하여 독립적인 장치로 사용되는 방식과 스크린 리더가 분석하는 컴퓨터 화면의 텍스트 정보를 점자로 출력해주는 화면출력 보조장치로 사용하는 방식이 있다. 두 가지 방식 모두 컴퓨터와의 효율적 상호작용을 위한 인터페이스 역할 보다는, 컴퓨터 대용으로 컴퓨터의 몇 몇 제한된 기능들만을 수행하는 대체 기기의 역할을 하거나 혹은 문자정보를 점자로 출력해주는 출력보조 장치의 역할 만을 하게 된다. 특히, 점자 출력에 특화된 점자정보단말기는 스크린 리더와 마찬가지로 그래픽 정보를 표현할 수 없다는 문제점을 가지고 있다.

한국공개특허번호 10-2012-0063982

본 발명의 목적은 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체를 제공하는 것이다.

상기와 같은 과제를 해결하기 위하여 본 발명은, 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치에 전기적으로 연결된 전자장치로서, 상기 전자장치는 상기 전자장치 내부에서 실행되는 어플리케이션과 상기 촉각 인터페이스장치의 상호간의 입출력을 제어하는 입출력제어부를 포함하고, 상기 촉각 인터페이스장치는 촉각에 의한 촉각 그래픽을 제공할 수 있고, 상기 입출력제어부는 상기 촉각 인터페이스장치로부터의 입력을 상기 어플리케이션으로의 입력으로 변환하는 입력변환부; 및 상기 어플리케이션으로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환부를 포함하는, 전자장치를 제공한다.

본 발명에서는, 상기 입력변환부는, 상기 촉각 인터페이스장치로부터 입력되는 키입력을 상기 어플리케이션으로 입력할 수 있는 형태로 변환하는 키변환부; 및 상기 촉각 인터페이스장치로부터 입력되는 터치입력을 상기 어플리케이션으로 입력할 수 있는 형태로 변환하는 제스처판별부;를 포함할 수 있다.

본 발명에서는, 상기 제스처판별부는 상기 터치입력이 기설정된 제스처 중 어느 하나에 해당하는 지 여부를 판별하고, 제스처로 판별되는 경우 판별된 제스처에 해당하는 명령어로 상기 터치입력을 변환할 수 있다.

본 발명에서는, 상기 입력변환부는, 상기 촉각 인터페이스장치에서 입력되는 입력좌표를 상기 어플리케이션에서의 입력좌표로 변환하는 좌표매핑부;를 더 포함할 수 있다.

본 발명에서는, 상기 출력변환부는, 상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환하는 촉각그래픽변환부를 포함하고, 상기 촉각 인터페이스장치에 의해 제공되는 상기 촉각 그래픽은 상기 촉각그래픽데이터로부터 구현될 수 있다.

본 발명에서는, 상기 출력변환부는, 상기 어플리케이션에서 출력되는 정보를 음성정보로 변환하는 TTS변환부를 더 포함할 수 있다.

본 발명에서는, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정될 수 있다.

본 발명에서는, 상기 촉각그래픽변환부는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각그래픽데이터를 생성할 수 있다.

본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 레이어 중 하나는 상기 어플리케이션으로부터 출력되는 상기 그래픽디스플레이의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 표시할 수 있다.

본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 포커스부분영역은 상기 복수의 레이어에 대응할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명은 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치에 전기적으로 연결된 전자장치로서, 상기 전자장치는 상기 전자장치 내부에서 실행되는 어플리케이션; 및 상기 어플리케이션으로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환부를 포함하고, 상기 촉각 인터페이스장치는 촉각에 의한 촉각 그래픽을 제공할 수 있는, 전자장치를 제공한다.

본 발명에서는, 상기 출력변환부는, 상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환하는 촉각그래픽변환부를 포함하고, 상기 촉각 인터페이스장치에 의해 제공되는 상기 촉각 그래픽은 상기 촉각그래픽데이터로부터 구현될 수 있다.

본 발명에서는, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정될 수 있다.

본 발명에서는, 상기 촉각그래픽변환부는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각그래픽데이터를 생성할 수 있다.

본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 레이어 중 하나는 상기 어플리케이션으로부터 출력되는 상기 그래픽디스플레이의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 표시할 수 있다.

본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 포커스부분영역은 상기 복수의 레이어에 대응할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명은 내부에서 실행되는 어플리케이션을 포함하는 전자장치에 전기적으로 연결되고, 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서, 상기 촉각 인터페이스장치로부터의 입력을 상기 어플리케이션으로의 입력으로 변환하는 입력변환단계; 및 상기 어플리케이션으로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환단계를 포함하고, 상기 촉각 인터페이스장치는 촉각에 의한 촉각 그래픽을 제공할 수 있는, 촉각 인터페이스장치를 제어하는 방법을 제공한다.

본 발명에서는, 상기 입력변환단계는, 촉각 인터페이스장치에서 입력된 입력정보를 수신하는 입력정보수신단계; 상기 입력정보의 카테고리를 구분하는 구분하는 입력정보카테고리구분단계; 상기 카테고리에 따라 상기 입력정보를 상기 어플리케이션에 입력할 수 있는 형태로 변환하는 입력정보변환단계;를 포함할 수 있다.

본 발명에서는, 상기 카테고리는 키입력, 터치입력 중 1 이상을 포함할 수 있다.

본 발명에서는, 상기 입력정보의 카테고리가 터치입력인 경우, 상기 입력정보변환단계는 상기 터치입력이 기설정된 복수의 제스처 중 어느 하나와 매칭이 되는 지 여부를 판단하고, 매칭이 되는 경우에 응답하여, 상기 입력정보를 매칭된 제스처에 대응되는 상기 어플리케이션으로 입력가능한 명령어로 변환할 수 있다.

본 발명에서는, 상기 입력정보의 카테고리가 터치입력인 경우, 상기 입력정보변환단계는 상기 터치입력이 입력좌표의 입력에 해당하는 지 여부를 판단하고, 상기 터치입력이 입력좌표에 해당하는 경우, 촉각 인터페이스장치에서 입력되는 입력좌표를 상기 어플리케이션에서의 입력좌표로 변환할 수 있다.

본 발명에서는, 상기 출력변환단계는 상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환하는 촉각그래픽변환단계를 포함할 수 있다.

본 발명에서는, 상기 촉각그래픽변환단계는, 상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 결정하는 포커스영역결정단계; 상기 포커스영역을 복수의 포커스부분영역으로 구분하는 포커스부분영역구분단계; 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 촉각그래픽엘리먼트변환단계; 및 상기 촉각그래픽엘리먼트를 포함하는 촉각그래픽데이터를 생성하는 촉각그래픽데이터생성단계;를 포함할 수 있다.

본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 레이어 중 하나는 상기 어플리케이션으로부터 출력되는 상기 그래픽디스플레이의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 표시할 수 있다.

본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 포커스부분영역은 상기 복수의 레이어에 대응할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명은 전자장치의 어플리케이션에 의하여 출력되는 그래픽디스플레이를 촉각에 의한 촉각 그래픽으로 변환하는 방법으로서, 상기 방법은 상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환하는, 촉각 그래픽으로 변환하는 방법을 제공한다.

본 발명에서는, 상기 방법은, 상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 결정하는 포커스영역결정단계; 상기 포커스영역을 복수의 포커스부분영역으로 구분하는 포커스부분영역구분단계; 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 촉각그래픽엘리먼트변환단계; 및 상기 촉각그래픽엘리먼트를 포함하는 촉각그래픽데이터를 생성하는 촉각그래픽데이터생성단계;를 포함할 수 있다.

본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 레이어 중 적어도 하나는 상기 어플리케이션으로부터 출력되는 상기 그래픽디스플레이의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 표시할 수 있다.

본 발명에서는, 상기 복수의 레이어 중 적어도 하나는 상기 어플리케이션으로부터 출력되는 촉각그래픽엘리먼트에 대한 세부정보를 점자형태로 표시할 수 있다.

본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 포커스부분영역은 상기 복수의 레이어에 대응할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명은 컴퓨터-판독가능 매체로서,

상기 컴퓨터-판독가능 매체는, 컴퓨터로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은: 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치로부터의 입력을 전자장치에서 실행되는 어플리케이션으로의 입력으로 변환하는 입력변환단계; 및 상기 어플리케이션으로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환단계를 포함하는, 컴퓨터-판독가능 매체를 제공한다.

본 발명에서는, 상기 어플리케이션은 그래픽 입력, 편집, 및 저장의 기능을 수행할 수 있는 어플리케이션일 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명은 컴퓨터-판독가능 매체로서,

상기 컴퓨터-판독가능 매체는, 컴퓨터로 하여금 이하의 단계를 수행하도록 하는 명령들을 저장하며, 상기 단계는: 전자장치 내부에서 실행되는 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환하는 단계를 포함하는, 컴퓨터-판독가능 매체를 제공한다.

본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인들로 하여금 실시간으로 촉각적으로 디스플레이되는 사항들을 직관적으로 인지할 수 있게 하는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인들로 하여금 촉각적으로 정보를 인지하면서 동시에 인지된 정보에 기반하여 즉각적으로 입력을 할 수 있는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 터치 및 제스처 인식이 가능한 촉각 디스플레이를 기반으로 시각장애인이 컴퓨터의 화면출력 정보를 점자, 음성 및 촉각 그래픽의 형태로 인지하고 이에 대한 즉각적이고 직관적 정보입력을 할 수 있게 하여 일반인과 매우 유사한 방식으로 컴퓨터를 효율적으로 사용할 수 있게 하는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 OS의 다양한 기능들과 다양한 어플리케이션 소프트웨어 들을 사용할 수 있도록 쉽게 확장이 가능하다는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인들에게 종래의 스크린리더 등의 장치와 비교시 현저히 향상된 작업 수행속도 및 편의성을 제공할 수 있는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인들이 스크린리더로는 수행하기 어려운 그래픽 관련 작업들을 편리하게 수행할 수 있는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 의하면, WINDOWS^TM 의 보조프로그램에 해당하는 '그림판'과 같은 프로그램도 시각장애인이 이용할 수 있다. 시각장애인은 상기 제2 레이어를 통하여 선을 포함하는 그림을 입력하고, 실시간으로 촉각을 이용하여 자신이 그린 그림을 인지할 수 있고, 인지된 그림정보에 기초하여 계속적으로 그림을 완성해나갈 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인의 컴퓨터 활용능력을 크게 향상시키고, 시각장애인용 컴퓨터 하드웨어 및 소프트웨어 시장을 확대할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치의 내부 구조를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 입체적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부를 입체적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 핀구동모듈을 예들을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 핀구동모듈의 예의 단면을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 입력센싱부의 평면을 개략적으로 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 입력센싱부의 측면을 개략적으로 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 촉각 인터페이스방법의 단계를 개략적으로 도시하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 입력센싱단계의 세부단계를 개략적으로 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 촉각 인터페이스장치의 사용예를 도시하는 도면이다.
도 13은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 전자장치와 촉각 인터페이스장치의 연결예를 개략적으로 도시하는 도면이다.
도 14는 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 전자장치의 내부 구조를 개략적으로 도시하는 도면이다.
도 15는 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법의 단계를 개략적으로 도시하는 도면이다.
도 16은 본 발명의 일 실시예에 따른 입력변환단계의 과정들을 개략적으로 도시하는 도면이다.
도 17은 본 발명의 일 실시예에 따른 출력변환단계의 과정들을 개략적으로 도시하는 도면이다.
도 18은 본 발명의 일 실시예에 따른 촉각그래픽변환단계의 과정들을 개략적으로 도시하는 도면이다.
도 19는 본 발명의 일 실시예에 따른 촉각그래픽을 개략적으로 도시하는 도면이다.
도 20은 본 발명의 일 실시예에 따른 촉각아이콘들의 테이블을 도시하는 도면이다.
도 21은 전자장치의 표시화면의 제1 예를 도시하는 도면이다.
도 22는 도 21에 도시된 표시화면의 제1 예를 본 발명의 일 실시예에 따라 촉각그래픽으로 변환하여 출력한 촉각그래픽을 도시하는 도면이다.
도 23은 전자장치의 표시화면의 제2 예를 도시하는 도면이다.
도 24는 도 23에 도시된 표시화면의 제2 예를 본 발명의 일 실시예에 따라 촉각그래픽으로 변환하여 출력한 촉각그래픽을 도시하는 도면이다.
도 25는 본 발명의 일 실시예에 따른 촉각 인터페이스장치로 시각장애인이 그림을 그리는 과정을 개략적으로 도시하는 도면이다.

다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에서 명백하게 다른 내용을 지시하지 않는 “한”과, “상기”와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다. 따라서, 일 예로, “컴포넌트 표면(component surface)”은 하나 혹은 그 이상의 컴포넌트 표면들을 포함한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

촉각 인터페이스장치

이하에서는 본 발명에 따른 방법, 장치 및 컴퓨터-판독가능 매체에서 제어 대상이 되는 촉각 인터페이스장치의 일예에 대하여 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.

도 1에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 사용자단말기(A)와 유선적 혹은 무선적으로 접속되어, 데이터를 송수신할 수 있게 구성되고, 예를 들어 촉각 인터페이스장치(1000)는 사용자단말기(A)로부터의 그래픽 신호를 전송받아 촉각정보를 제공할 수 있다. 다만, 본 발명은 도 1과 달리 외부의 사용자 단말기 없이 촉각 인터페이스장치(1000) 자체가 독자적인 운영체제에 의하여 동작하고, 촉각 인터페이스장치(1000) 내부의 프로그램 및 내부의 메모리에 기초한 동작에 의하여 촉각 인터페이스장치(1000)가 작동할 수도 있다. 다만, 이 경우에도, 촉각 인터페이스장치(1000)에 통신기능이 구비될 수도 있다.

한편, 상기 사용자단말기(A)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등이 될 수 있다.

본 발명의 일실시예에 따른 촉각 인터페이스장치(1000)는 도 1 혹은 도 3에 도시된 바와 같이, 외부장치접속부(1100), 촉각디스플레이부(1200), 입력센싱부(1300), 키보드부(1400), 제어부(1500), 및 스피커부(1600)를 포함한다. 촉각디스플레이부(1200)는 컴퓨터가 모니터로 출력하는 시각 그래픽을 촉각 그래픽으로 변환하여 출력한다.

한편, 상기 입력센싱부(1300)는 촉각디스플레이부(1200)와 결합되는 형태가 바람직하다. 이와 같은 입력센싱부(1300)는 촉각디스플레이부(1200)에서 출력된 촉각정보 혹은 촉각 그래픽 에 대한 시각장애인의 손가락 터치와 미리 정해진 다양한 제스처들을 인식하여 컴퓨터에 입력신호를 전달한다. 한편 키보드부(1400)는, 바람직하게는 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드임이 바람직하다.

점자키보드는 기존에 널리 쓰이고 있는 점자키보드와 마찬가지로 점자를 입력 받아 촉각 인터페이스장치(1000) 혹은 촉각 인터페이스장치(1000)에 연결된 사용자 단말기에 전달한다. 점자키보드는 1~6점, 백스페이스, 스페이스, 엔터 버튼으로 구성되며, 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키보드는 동시에 눌린 버튼의 정보를 전송할 수 있다. 전송된 점자정보는 촉각 인터페이스장치(1000) 내부의 소프트웨어 혹은 사용자단말기의 소프트웨어를 통하여 일반문자(general character)로 점역된다.

따라서, 시각장애인을 위한 컴퓨터 입출력 기능을 위하여, 촉각디스플레이부(1200)는 일반 컴퓨터의 모니터와 같은 역할을 수행하고, 입력센싱부(1300)는 마우스 혹은 태블릿 PC의 터치스크린과 같은 역할을 수행하며, 키보드부(1400), 혹은 바람직하게는 점자키보드는 일반 컴퓨터의 키보드의 역할을 수행하게 된다.

도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)의 내부 구조를 개략적으로 도시한 도면이다.

본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)는 접속된 외부장치로부터 전송받은 데이터 혹은 상기 촉각 인터페이스장치(1000) 내부에서 생성된 데이터에 기초하여, 복수의 핀으로 사용자에게 촉각정보를 제공하는 촉각디스플레이부(1200); 사용자 입력을 센싱하는 입력센싱부(1300); 외부장치와 접속할 수 있는 외부장치접속부(1100); 사용자로부터 키입력 형태로 정보를 입력받을 수 있는 키보드부(1400); 외부로 사운드 출력을 할 수 있는 스피커부(1600); 및 상기 촉각디스플레이부(1200), 상기 입력센싱부(1300), 상기 외부장치접속부(1100), 상기 키보드부(1400), 및 상기 스피커부(1600)의 작동을 제어하는 제어부(1500);를 포함한다.

상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀로 촉각정보를 제공하고, 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다. 바람직하게는 상기 촉각픽셀은 2차원으로 촉각정보를 제공한다.

이와 같은 촉각디스플레이부(1200)는, 외부의 사용자단말기로부터 전송받은 데이터에 기초거나 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 데이터를 입력받는 표시데이터수신부(1210); 상기 데이터를 촉각디스플레이데이터로 변환하는 촉각데이터변환부(1220); 및 상기 촉각디스플레이데이터에 의하여 구동하는 복수의 핀구동모듈(1230); 및 촉각디스플레이부(1200)를 구동하는 전원을 공급받는 구동전원공급부(1240);를 포함하고, 입력받은 데이터에 기초하여 촉각정보 혹은 촉각 그래픽을 제공한다.

한편, 상기 입력센싱부(1300)는, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱한다.

구체적으로, 상기 입력센싱부(1300)는 위치감지모듈(1310); 및 위치결정부(1320)를 포함하고, 상기 위치감지모듈(1310)은 복수의 광에미터 및 복수의 수광센서를 포함하고, 상기 위치결정부(1320)는 상기 복수의 수광센서의 센싱 데이터로부터 사용자 입력을 센싱한다.

바람직하게는 상기 입력센싱부(1300)에서 사용되는 광은 적외선이고, 상기 광은 일정 단면에 조사하는 형태로 에미팅됨이 바람직하다.

이와 같은 입력센싱부(1300)는 상기 촉각디스플레이부(1200) 혹은 상기 촉각디스플레이부(1200)의 핀구동모듈(1230)에 인접하게, 혹은 더욱 바람직하게는 결합되어 배치된다. 따라서, 사용자는 촉각디스플레이부(1200)로부터 제공되는 촉각정보 혹은 촉각 그래픽을 촉각으로서 인지하고 바로 촉각디스플레이 상에서 입력 혹은 제스처 등을 수행할 수 있다.

다만, 사용자가 상기 입력센싱부(1300)로 입력을 수행하는 경우, 사용자의 손가락이 촉각디스플레이부(1200)의 핀구동모듈(1230)에 강하게 접촉이 되어 핀구동모듈(1230)이 손상되는 것을 방지하기 위하여, 상기 입력센싱부(1300)의 상기 위치감지모듈(1310)은 상기 핀구동모듈(1230)로부터 이격되어 배치됨이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역으로부터 이격되어 있음이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 핀구동모듈(1230)이 상승하였을 때 높이보다 높은 높이에 배치됨이 바람직하다.

한편, 상기 복수의 광에미터는 제1축 및 제2축을 따라 배치되어 있고, 상기 복수의 수광센서는 제1축 및 제2축을 따라 배치되어 있는 것이 바람직하고, 상기 복수의 수광센서는 상기 복수의 광에미터에 대응되도록 배치됨이 더욱 바람직하다.

상기 외부장치접속부(1100)는 무선통신을 수행할 수 있는 통신모듈부(1110) 및 유선적으로 상기 외부장치와 접속할 수 있는 유선연결부(1120) 중 1 이상을 포함한다. 상기 통신모듈부(1110)는 블루투스(bluetooth) 통신 모듈, 지그비(zigbee) 통신 모듈, 적외선 통신 모듈, BLE(bluetooth low energy) 통신 모듈, 오디오 통신 모듈, LTE(long term evolution) 통신 모듈, 및 WiFi 통신 모듈, IrDA 기반의 적외선 통신 모듈, 무선 랜(WLAN), 와이브로(WiBro) 모듈, 무선 USB(Wireless USB) 모듈, 중 적어도 하나를 포함한다. 한편, 상기 유선연결부(1120)는 USB(Universal Serial Bus) 인터페이스를 이용한 연결모듈을 포함하는 것이 바람직하고, 이외의 데이터의 송수신을 수행할 수 있는 유선연결모듈이 이에 해당한다.

한편, 상기 스피커부(1600)는 촉각 인터페이스장치(1000)에서 촉각 디스플레이되는 정보, 문자정보, 혹은 상기 입력센싱부(1300)에 의하여 입력된 정보에 반응하여 출력되는 정보를 음성으로 읽어주는 기능을 수행할 수 있다.

상기 제어부(1500)는 상기 촉각 인터페이스장치의 전체적인 작동이나, 상기 외부장치접속부(1100); 상기 키보드부(1400); 혹은 상기 스피커부(1600)의 작동을 제어한다. 예를 들어, 외부의 사용자 단말기로부터 데이터가 수신되는 경우 이를 촉각디스플레이부(1200)의 표시데이터수신부(1210)로 송신하고, 촉각디스플레이부(1200)의 작동을 명령한다. 혹은, 상기 입력센싱부(1300)로부터 사용자의 입력이 입력되는 경우, 제어부(1500)에서 입력을 처리하거나 혹은 상기 외부장치접속부(1100)를 통하여 연결된 사용자 단말기(A)로 입력신호를 전송한다.

만약, 상기 촉각 디스플레이장치가 외부의 사용자 단말기와 접속되는 경우가 아니라, 자체적인 OS 와 어플리케이션으로 작동되는 경우, 자체적인 연산이 가능한 수준의 CPU 및 메모리 장치를 포함하고, 독립적으로 작동할 수 있다. 독립적으로 작동가능한 경우에도, 상기 촉각 디스플레이장치는 외부와 통신을 수행할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)를 입체적으로 도시한 도면이다.

도 3에 도시된 바와 같이, 본 발명에 따른 촉각 인터페이스장치(1000)는 외부로 노출된 촉각디스플레이부(1200)의 구성요소, 구체적으로는 복수의 핀구동모듈(1230)로 픽셀형태의 촉각디스플레이를 제공한다. 이와 같은 촉각디스플레이부(1200)에 의하여 사용자는 촉각디스플레이부(1200)의 복수의 핀구동모듈(1230)을 촉각적으로 인지할 수 있다.

한편, 사용자는 촉각적으로 촉각디스플레이를 인지하면서 동시에 상기 입력센싱부(1300)를 통하여 터치입력으로 명령 등을 입력할 수 있다. 여기서 '터치입력'은 협의로 해석되지 않고, 촉각디스플레이부의 핀구동모듈의 최상측의 핀을 살짝 터치하면서 입력하는 입력 및 상기 핀구동모듈의 최상측의 핀을 터치하지 않는 형태의 입력을 모두 포함한다.

바람직하게는, 사용자가 상기 입력센싱부(1300)로 입력을 수행하는 경우, 사용자의 손가락이 촉각디스플레이부(1200)의 핀구동모듈(1230)에 강하게 접촉이 되어 핀구동모듈(1230)이 손상되는 것을 방지하기 위하여, 바람직하게는, 본 발명에서의 입력센싱부(1300)는 일반적인 터치디스플레이에서 사용되는 촉각핀 표면의 정전용량 (electric capacity) 변화를 감지하는 정전용량 방식과는 달리 촉각핀들에 대한 터치와 관련없이 동작, 입력, 제스처 등이 인식 될 수 있도록 광 센싱기반, 더욱 바람직하게는 적외선 센싱기반의 비접촉 인식 방식을 도입하였다. 즉, 바람직하게는, 상기 입력센싱부는 비접촉방식으로 수행된다.

본 명세서에서 비접촉방식의 센싱, 혹은 비접촉방식의 인식은 센싱을 하는 요소 혹은 센서에 물리적인 접촉을 하지 않더라도, 센싱을 하는 요소 혹은 센서가 물리적 동작 혹은 물리적 형태를 인식할 수 센싱방법을 지칭하고, 이러한 예로서 본 발명의 일 실시예에서는 적외선 센싱기반의 인식 방식을 사용한다.

또한, 도 3에 도시된 바와 같이 상기 입력센싱부(1300)의 상기 위치감지모듈(1310)은 상기 핀구동모듈(1230)로부터 이격되어 배치됨이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역으로부터 이격되어 있음이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 핀구동모듈(1230)이 상승하였을 때 높이보다 높은 높이에 배치됨이 바람직하다.

한편, 사용자는 구체적인 정보를 입력하기 위하여, 예를 들어 텍스트 정보를 입력하기 위하여 키보드부(1400)를 통하여, 상기 촉각 인터페이스장치(1000)에 정보 입력을 수행할 수 있다.

또한, 텍스트의 음성 혹은 사운드 정보를 사용자에게 출력하기 위하여, 상기 촉각 인터페이스장치(1000)는 스피커부(1600)를 통하여 사용자에게 음성정보를 출력할 수 있다.

도 3에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 유선연결부(1120)를 통하여 외부의 사용자단말기에 접속하거나 혹은 통신모듈부(1110)를 통하여 무선통신으로 외부의 사용자단말기에 접속할 수 있다. 이 경우, 사용자단말기에서의 GUI 요소들을 촉각 인터페이스장치(1000)에서 촉각적으로 표시하고, 사용자는 GUI 요소들에 대한 반응 혹은 입력을 상기 입력센싱부(1300) 혹은 키보드를 통하여 입력할 수 있다. 또한, 사용자가 상기 입력센싱부(1300)를 통하여 입력한 명령에 따라서, 상기 촉각 인터페이스장치(1000)는 상기 촉각디스플레이부(1200) 혹은 스피커부(1600)에 따라 출력을 할 수도 있기 때문에, 시각장애인의 경우 그래픽 화면 기반의 PC 등의 사용자 단말기를 보다 직관적으로 이용할 수 있다.

또한, 이와 같은 촉각 인터페이스장치(1000)는 단순히 시각장애인이 촉각정보를 인지하는 것에 한정되는 것이 아니라, 촉각정보를 인지하고 그에 따라 직관적으로 촉각 인터페이스장치(1000)에 명령 등의 입력을 수행할 수 있고, 이는 결과적으로 그래픽 화면 기반의 PC 등의 사용자 단말기를 일반인과 같은 편의성으로 사용할 수 있는 효과를 발휘할 수 있다.

도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부(1200)를 입체적으로 도시한 도면이다.

상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀을 표시 혹은 제공할 수 있다. 도 4에서는 2차원의 촉각픽셀을 제공할 수 있는 촉각디스플레이부(1200)의 일 예를 도시한다. 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다.

구체적으로, 상기 촉각픽셀은 복수의 핀구동모듈 그룹에 의하여 표시되고, 각각의 상기 핀구동모듈 그룹은 복수의 핀구동모듈(1230)로 이루어진다. 혹은 전체의 핀구동모듈이 하나의 핀구동모듈 그룹을 구성할 수도 있다.

구체적으로, 상기 촉각디스플레이부(1200)는 마스터보드(1250); 상기 마스터보드(1250)에 전기적으로 접속되고, 촉각디스플레이를 위한 1차데이터를 수신하는 표시데이터수신부(1210); 상기 표시데이터수신부(1210)로부터 전송받은 상기 1차데이터를 촉각디스플레이를 위한 데이터로 변환하는, 촉각데이터변환부(1220); 상기 마스터보드(1250)에 전기적으로 접속되는 복수의 슬레이브보드(1260); 및 상기 복수의 슬레이브보드(1260) 각각의 외면에 배치된 복수의 핀구동모듈(1230); 및 상기 마스터보드(1250)를 통하여 위의 구성요소들에게 구동전원을 공급하는 구동전원공급부(1240)를 포함한다.

상기 구동전원공급부(1240)는 외부로부터 공급받은 전원을 상기 마스터보드(1250)에 입력하는 형태임이 바람직하다.

한편, 상기 촉각데이터변환부(1220)는 상기 마스터보드(1250)에 배치되는 제1 촉각데이터변환부(1221); 및 상기 슬레이브보드(1260)에 배치되는 제2 촉각데이터변환부(1222)를 포함하고, 상기 제1 촉각데이터변환부(1221)는 상기 1차데이터를 각각의 슬레이브보드(1260)에 대한 촉각데이터로서의 2차데이터로 변환하고, 상기 제2 촉각데이터변환부(1222)는 상기 2차데이터를 각각의 슬레이브보드(1260)에 배치된 복수의 핀구동모듈(1230)의 그룹을 구동하기 위한 3차데이터로 변환한다.

상기 촉각디스플레이부(1200)는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 장치이다. 본 발명과 같은 촉각디스플레이부(1200)는, 전압을 인가하면 핀이 상승하고 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조를 가진다.

따라서, 본 발명에서와 같은 촉각디스플레이부(1200)는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.

상기 마스터보드(1250)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 수신하고, 이를 제1 촉각데이터변환부(1221)로 전달한다. 상기 표시데이터수신부(1210)는 UART (universal asynchronous receiver/transmitter)임이 바람직하고, 상기 제1 촉각데이터변환부(1221)는 MCU (Micro Controller Unit)임이 바람직하다.

바람직하게는, 상기 제1 촉각데이터변환부(1221)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 분석하고, 이를 복수의 슬레이브보드(1260)로 전달한다. 이와 같은 전달에 있어서, 상기 제1 촉각데이터변환부(1221)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.

혹은, 상기 제1 촉각데이터변환부(1221)는 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.

혹은 상기 제1 촉각데이터변환부(1221) 없이, 상기 표시데이터수신부(1210)를 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.

이후, 슬레이브보드(1260)에 내장된 제2 촉각데이터변환부(1222)는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 상기 제1 촉각데이터변환부(1221)로부터 전달받은 데이터 혹은 상기 표시데이터수신부(1210)를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.

이와 같은 동작신호에 따라 핀구동모듈(1230)의 핀은 상하 운동을 할 수 있고, 바람직하게는 핀 간격 및 상승 높이는 1 mm ~ 10 mm의 범위에 있다.

도 5는 본 발명의 일 실시예에 따른 핀구동모듈(1230)을 예들을 도시한 도면이다.

이하에서는, 도 5(A) 및 도 5(B)에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.

도 5(A)에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234);을 포함한다.

바람직하게는, 상기 트랜스듀서(1231)는 복수의 압전세라믹 및 탄성체를 포함하고, 전원이 인가되는 경우 압전세라믹의 팽창/수축에 의한 진동을 선형으로 변환하여 상기 이동체(1233)를 상하로 이동시키고, 트랜스듀셔를 제어함으로써 상기 이동체(1233)의 움직임을 제어할 수 있다.

이하에서는, 도 5(C) 및 도 5(D)에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.

도 5(C)에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234); 및 상기 샤프트(1232)를 감싸고 상기 핀(1234)의 일단이 삽입되는 케이싱부(1235)를 포함한다.

바람직하게는, 상기 트랜스듀서(1231)는 복수의 압전세라믹 및 탄성체를 포함하고, 전원이 인가되는 경우 압전세라믹의 팽창/수축에 의한 진동을 선형으로 변환하여 상기 이동체(1233)를 상하로 이동시키고, 트랜스듀셔를 제어함으로써 상기 이동체(1233)의 움직임을 제어할 수 있다.

도 6은 본 발명의 일 실시예에 따른 핀구동모듈(1230)의 예의 단면을 도시한 도면이다.

도 6에 도시된 바와 같이, 핀구동모듈(1230)의 트랜스듀서(1231)는 하우징(1231.1);하우징(1231.1) 내부에 배치되는 제1 압전세라믹(1231.2), 제2 압전세라믹(1231.4); 및 상기 제1 압전세라믹 및 제2 압전세라믹 사이에 배치된 탄성부재(1231.3)를 포함한다.

한편, 이동체(1233)는 이동체본체(1233.1) 및 상기 이동체본체(1233.1)의 내부에 배치되는 고무링(1233.2)을 포함한다.

이와 같은 구조에서 트랜스듀서(1231)의 제1 압전세라믹(1231.2) 및 제2 압전세라믹(1231.4)에 인가되는 전압을 제어함으로써 상기 이동체(1233)의 상하운동을 효율적으로 제어할 수 있다.

도 7은 본 발명의 일 실시예에 따른 입력센싱부(1300)의 평면을 개략적으로 도시한 도면이다.

본 발명의 일 실시예에 따른 입력센싱부(1300)는 촉각디스플레이부(1200)에 의하여 출력된 촉각 그래픽에 대한 시각장애인들의 직관적인 상호작용 및 다양한 정보입력을 수행할 수 있다. 또한, 입력센싱부(1300)는 촉각디스플레이부(1200)에 손가락 터치인식장치를 결합하여 손가락 터치 및 손가락 제스처 인식 기능을 추가할 수 있다.

본 발명에 따른 촉각 인터페이스장치(1000)는 태블릿 PC 등에서와 같은 일반적인 터치 디스플레이와는 달리 촉각핀들의 물리적인 상승에 의해 촉각 그래픽을 표현하고, 촉각핀들에 자기유지력(force gauge)을 초과하는 과도한 압력의 터치 동작이 가해지는 경우 출력된 촉각 그래픽 혹은 촉각정보가 훼손되어 정보인지에 혼란을 줄 수 있다.

따라서, 바람직하게는, 본 발명에서의 입력센싱부(1300)는 일반적인 터치디스플레이에서 사용되는 촉각핀 표면의 정전용량 (electric capacity) 변화를 감지하는 정전용량 방식과는 달리 촉각핀들에 대한 터치와 관계없이 동작, 입력, 제스처 등이 인식 될 수 있도록 광 센싱기반, 더욱 바람직하게는 적외선 센싱기반의 비접촉 인식 방식을 도입하였다. 즉, 바람직하게는, 상기 입력센싱부는 비접촉방식으로 수행된다.

본 명세서에서 비접촉방식의 센싱, 혹은 비접촉방식의 인식은 센싱을 하는 요소 혹은 센서에 물리적인 접촉을 하지 않더라도, 센싱을 하는 요소 혹은 센서가 물리적 동작 혹은 물리적 형태를 인식할 수 센싱방법을 지칭하고, 이러한 예로서 본 발명의 일 실시예에서는 적외선 센싱기반의 인식 방식을 사용한다.

이와 같은 본 발명의 입력센싱부(1300)에 따르면, 상승된 촉각셀 핀들의 최대 높이보다 약간 높게 적외선 빔들이 투사될 수 있도록 설계하여, 촉각핀들의 상하운동과 관계 없이 출력된 촉각 그래픽 위에 가벼운 터치만으로 핀들의 상승상태를 훼손하지 않고 빠른 속도로 터치동작을 인식할 수 있는 효과를 발휘할 수 있다.

또한, 촉각 핀들의 물리적인 걸림 없이 쓸기 (Swipe), 회전 등 다양한 터치기반 제스처들을 인식할 수 있어 시각장애인과 컴퓨터간의 상호작용을 한층 더 다양화 시킬 수 있다. 이와 같은 입력센싱부(1300)의 또 다른 장점으로는 분리가능한 방식으로 설계되어 기존의 다른 촉각 디스플레이들과도 쉽게 결합될 수 있어 확장성이 높아질 수 있는 효과를 발휘할 수 있다.

상기 입력센싱부(1300)는, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱한다.

여기서, 에미팅된 광의 센싱값이 변화하는 경우는 에미팅되는 광이 차단되어 광을 센싱하지 못하는 경우뿐만 아니라, 에미팅되는 광의 세기가 약해지는 것을 센싱하는 경우를 모두 포함한다.

바람직하게는 상기 입력센싱부(1300)에서 사용되는 광은 적외선이고, 광을 광을 일정 단면에 조사하는 형태로 광을 에미팅함이 바람직하다.

상기 입력센싱부(1300)는 상기 입력센싱부(1300)는 위치감지모듈(1310); 및 위치결정부(1320)를 포함하고, 상기 위치감지모듈(1310)은 복수의 광에미터 및 복수의 수광센서를 포함하고, 상기 위치결정부(1320)는 상기 복수의 수광센서의 센싱 데이터로부터 사용자 입력을 센싱한다.

구체적으로, 상기 위치감지모듈(1310)은 제1축 광에미터(1311), 제2축 광에미터(1312), 제1축 수광센서(1313), 및 제2축 수광센서(1314)를 포함함이 바람직하다. 이와 같은 광에미터 및 수광센서의 구성으로 2차원의 촉각디스플레이 혹은 촉각픽셀을 구현할 수 있다.

상기 제1축 수광센서(1313)는 제1축 광에미터(1311)의 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 배치되어 있고, 상기 제2축 수광센서(1314)는 제2축 광에미터(1312)의 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 배치되어 있다.

바람직하게는, 상기 복수의 제1축 수광센서(1313)는 각각 복수의 제1축 광에미터(1311)에 대응되도록 배치됨이 바람직하다. 예를들어, 제1축에 있어서 1번, 2번 3번, 4번 광에미터가 구비되는 경우, 1번 광에미터에 대응하는 1번 수광센서, 2번 광에미터에 대응하는 2번 수광센서, 3번 광에미터에 대응하는 3번 수광센서, 4번 광에미터에 대응하는 4번 수광센서를 구비함이 바람직하고, 하나의 수광센서는 대응되는 하나의 광에미터에서 에미팅되는 광을 센싱할 수 있음이 바람직하다. 이와 같은 배치에서는 제1축 광에미터(1311)의 개수 x 제2축 광에미터(1312)의 개수가 센싱할 수 있는 촉각픽셀의 해상도가 된다.

도 8은 본 발명의 일 실시예에 따른 입력센싱부(1300)의 측면을 개략적으로 도시한 도면이다.

도 8에 도시된 바와 같이, 사용자의 손가락에 의하여 광에미터에 의하여 에미팅되는 광이 차단되는 경우, 대응하는 수광 센서에는 수신되는 광의 센싱값에 변화가 생기게 되고, 이를 기초로 사용자의 입력을 계산한다.

이와 같은 입력센싱부(1300)의 광에미터 및 수광센서는 상기 촉각디스플레이부(1200) 혹은 상기 촉각디스플레이부(1200)의 핀구동모듈(1230)에 인접하게, 혹은 더욱 바람직하게는 결합되어 배치된다. 따라서, 사용자는 촉각디스플레이부(1200)로부터 제공되는 촉각정보 혹은 촉각 그래픽을 촉각으로서 인지하고 바로 촉각디스플레이 상에서 입력 혹은 제스처 등을 수행할 수 있다.

다만, 사용자가 상기 입력센싱부(1300)로 입력을 수행하는 경우, 사용자의 손가락이 촉각디스플레이부(1200)의 핀구동모듈(1230)에 강하게 접촉이 되어 핀구동모듈(1230)이 손상되는 것을 방지하기 위하여, 상기 입력센싱부(1300)의 상기 위치감지모듈(1310)은 상기 핀구동모듈(1230)로부터 이격되어 배치됨이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 상기 핀구동모듈(1230)의 작동영역으로부터 이격되어 있음이 바람직하다. 혹은, 사용자가 입력센싱부(1300)에 입력할 수 있는 영역은 핀구동모듈(1230)이 상승하였을 때 높이보다 높은 높이에 배치됨이 바람직하다.

구체적으로, 상기 핀구동모듈(1230)의 핀들이 상하 운동을 할 수 있는 홀을 복수로 구비하는 캡레이어(1201)로부터 핀의 최대상승 높이(H1)는 캡레이어(1201)로부터 광에미터의 높이, 더욱 바람직하게는 캡레이어로부터 광에미터로부터 조사되는 광의 최하단 영역까지의 높이(H2)보다 낮음이 바람직하다.

도 9는 본 발명의 일 실시예에 따른 촉각 인터페이스방법의 단계를 개략적으로 도시하는 도면이다.

본 발명의 일 실시예에 따른 사용자와 상호작용을 할 수 있는 촉각 인터페이스방법은 접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 1차 데이터에 기초하여, 복수의 핀에 의하여 사용자에게 촉각정보를 제공하는 디스플레이를 정보를 제공하는 촉각디스플레이단계(S10); 및 비접촉 방식으로 사용자 입력을 센싱하는 입력센싱단계(S20);를 포함한다.

바람직하게는, 상기 촉각디스플레이단계 및 상기 입력센싱단계는 실시간으로 수행됨으로써, 단순히 시각장애인이 촉각정보를 인지하는 것에 한정되는 것이 아니라, 촉각정보를 인지하고 이에 반응하여 실시간으로 직관적으로 촉각 인터페이스장치(1000)에 명령 등의 입력을 수행할 수 있고, 이는 결과적으로 그래픽 화면 기반의 PC 등의 사용자 단말기를 일반인과 같은 편의성으로 사용할 수 있는 효과를 발휘할 수 있다.

도 10은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.

상기 촉각디스플레이단계(S10)는, 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀으로 표시되는 촉각픽셀에 의하여 촉각정보를 제공한다.

구체적으로 촉각디스플레이단계는 접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 1차 데이터를 수신하는 1차데이터수신단계(S11);

슬레이브보드(1260)의 개수, 각 슬레이브보드(1260)에서 표현할 수 있는 촉각픽셀의 개수 등의 슬레이브보드(1260) 정보를 로드하는 슬레이브보드정보로드단계(S12);

로드된 상기 슬레이브보드(1260) 정보에 따라 상기 1차 데이터를 2차 데이터로 변환하는 2차데이터변환단계(S13);

변환된 상기 2차 데이터를 각각의 슬레이브보드(1260)로 전송하는 슬레이브보드전송단계(S14);

각각의 슬레이브보드(1260)에서 상기 2차 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이의 구동신호로서의 3차 데이터로 변환하는 3차데이터변환단계(S15);

생성된 상기 구동신호로 각각의 핀구동모듈(1230)을 구동하는 핀구동단계(S16)을 포함한다.

상기 촉각디스플레이단계는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 단계이다. 본 발명에서와 같은 촉각디스플레이단계는 전압을 인가하면 핀이 상승하고, 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조로 구현할 수 있다.

따라서, 본 발명에서와 같은 촉각디스플레이단계는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.

상기 1차데이터수신단계(S11)은 마스터보드(1250)에서 수행되고, 외부로부터 입력된 촉각 그래픽 데이터를 수신하고, UART (universal asynchronous receiver/transmitter) 모듈을 통하여 수행됨이 바람직하다.

한편, 상기 슬레이브보드정보로드단계(S12) 및 상기 2차데이터변환단계(S13)은 상기 마스터보드(1250)에 전기적으로 접속되는 MCU (Micro Controller Unit)에 의하여 수행됨이 바람직하다.

바람직하게는, 상기 2차데이터변환단계(S13)는 상기 1차데이터수신단계(S11)을 통해 입력된 촉각 그래픽 데이터를 분석한다. 이후 슬레이브보드전송단계(S14)는 분석된 상기 촉각 그래픽 데이터를 슬레이브보드(1260)로 전달한다.

이와 같은 상기 2차데이터변환단계(S13) 및 슬레이브보드전송단계(S14)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.

혹은, 상기 2차데이터변환단계(S13)은 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.

혹은 상기 2차데이터변환단계(S13) 없이, 상기 1차데이터수신단계(S11)을 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.

이후, 슬레이브보드(1260)에 내장된 처리장치에 의하여, 3차데이터변환단계(S15)가 수행된다. 3차데이터변환단계는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 전달받은 데이터를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.

상기 복수의 슬레이브보드(1260)는 단일의 마스터보드(1250) 상에 배치되어 있고, 상기 마스터보드(1250)에 전기적으로 접속되어 있는 것이 바람직하다.

도 11은 본 발명의 일 실시예에 따른 입력센싱단계의 세부단계를 개략적으로 도시하는 도면이다.

상기 입력센싱단계는 촉각정보를 제공하는 인터페이싱장치에서 사용자의 입력을 센싱하는 방법으로서, 복수의 광을 에미팅(emitting)하고, 에미팅된 복수의 광을 센싱하고, 물리적인 차단으로 에미팅된 광의 센싱값이 변화하는 경우, 변화된 센싱값을 갖는 광의 위치정보로부터 사용자 입력을 센싱한다. 이와 같은 입력센싱방법은 촉각디스플레이부(1200)에 의하여 출력된 촉각 그래픽에 대한 시각장애인들의 직관적인 상호작용 및 다양한 정보입력를 수행할 수 있다. 또한, 입력센싱부(1300)는 촉각디스플레이부(1200)에 손가락 터치인식장치를 결합하여 손가락 터치 및 손가락 제스처 인식 기능을 추가할 수 있다.

구체적으로, 상기 입력센싱단계는,

복수의 광을 에미팅(emitting)하는 광에미팅단계(S21);

각각의 복수의 광에 대하여, 광이 에미팅되는 위치로부터 에미팅되는 방향으로 기설정된 거리로 이격된 위치에서 광을 센싱하는 광센싱단계(S22);

센싱값에 변화가 있는 수광센서의 정보를 로드하는 광센서정보로드단계(S23); 및

상기 광센싱단계에서 센싱된 결과를 기초로 사용자의 입력을 계산하는 사용자입력계산단계(S24);를 포함한다.

한편, 상기 광에미팅단계는 제1축을 따라 배치된 복수의 제1축 광에미터(1311) 및 제2축을 따라 배치된 복수의 제2축 광에미터(1312)로부터 복수의 광을 에미팅하고, 상기 광센싱단계는 복수의 상기 제1축 광에미터(1311)에 대응하는 제1축 수광센서(1313) 및 복수의 상기 제2축 광에미터(1312)에 대응하는 제2축 수광센서(1314)에 의하여 복수의 광을 센싱한다.

또한, 상기 사용자입력계산단계는 복수의 상기 제1축 수광센서(1313) 및 복수의 상기 제2축 수광센서(1314)의 수신광량의 변화값을 기초로 사용자의 입력을 계산하는, 사용자의 입력을 센싱한다.

본 발명에 따른 촉각 인터페이스장치(1000)는 태블릿 PC 등에서와 같은 일반적인 터치 디스플레이와는 달리 촉각핀들의 물리적인 상승에 의해 촉각 그래픽을 표현하고, 촉각핀들에 자기유지력(force gauge)을 초과하는 과도한 압력의 터치 동작이 가해지는 경우 출력된 촉각 그래픽 혹은 촉각정보가 훼손되어 정보인지에 혼란을 줄 수 있다.

따라서, 본 발명에서의 입력센싱단계는 일반적인 터치디스플레이에서 사용되는 촉각핀 표면의 정전용량 (electric capacity) 변화를 감지하는 정전용량 방식과는 달리 촉각핀들 위에서 터치동작이 인식 될 수 있도록 광 센싱기반, 더욱 바람직하게는 적외선 센싱기반의 비접촉 인식 방식을 도입하였다.

이와 같은 본 발명의 입력센싱단계에 따르면, 상승된 촉각셀 핀들의 최대 높이보다 약간 높게 적외선 빔들이 투사될 수 있도록 설계하여, 촉각핀들의 상하운동과 관계 없이 출력된 촉각 그래픽 위에 가벼운 터치만으로 핀들의 상승상태를 훼손하지 않고 빠른 속도로 터치동작을 인식할 수 있는 효과를 발휘할 수 있다.

또한, 촉각 핀들의 물리적인 걸림 없이 쓸기 (Swipe), 회전 등 다양한 터치기반 제스처들을 인식할 수 있어 시각장애인과 컴퓨터간의 상호작용을 한층 더 다양화 시킬 수 있다.

도 12는 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)의 사용예를 도시하는 도면이다.

도 12에 도시된 바와 같이, 본 발명의 일 실시예에 따르면 손가락 움직임에 따라 실시간으로 핀이 상승하며 자유롭게 그래픽을 그릴 수 있는 자유 그리기 기능을 수행할 수 있고, 실시간으로 촉각디스플레이 혹은 촉각정보를 확인하면서 사용자는 자신이 이전에 그린 그래픽을 쉽게 인지하면서 그래픽을 그릴 수 있다.

따라서, 본 발명의 일 실시예에 따른 촉각 디스플레이장치는 정상시력의 일반인들이 모니터를 통해 시각정보를 인지하고 마우스(혹은 tablet PC의 터치스크린)와 키보드를 통하여 정보를 입력하는 일반적인 컴퓨터 사용방식과 매우 유사한 방식으로 시각장애인들이 촉각을 이용하여 보다 쉽고 직관적으로 컴퓨터와 상호작용(interaction) 할 수 있다.

위와 같이 전술한 촉각 인터페이스 장치는 후술하는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 있어서 일 예로 이용될 수 있는 촉각 인터페이스장치로서 설명된 것이고, 후술하는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 대한 설명에서는 위에서 상술한 내용에 한정되지 않고, 그 자체의 발명의 내용에 따라서 최광의로 해석되어야 할 것이다.

촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체

이하에서는 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 대하여 설명하도록 한다.

도 13은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 전자장치(B)와 촉각 인터페이스장치(1000)의 연결예를 개략적으로 도시하는 도면이다.

본 발명의 전자장치(B)에 연결된 촉각 인터페이스장치(1000)는 도 13에서는 전술한 촉각 인터페이스장치와 동일한 구성요소를 갖는 것으로 도시되었지만, 이는 하나의 예에 불과할 뿐, 본 발명에서는 이에 한정되지 않는다. 이하에서 서술하는 본 발명의 촉각 인터페이스장치를 제어하는 전자장치(B)에 연결된 촉각 인터페이스장치는 촉각 그래픽을 제공할 수 있는 임의의 인터페이스장치, 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치, 및 촉각 그래픽을 출력할 수 있는 전자장치(B)를 모두 포함한다.

도 13에 도시된 바와 같이 전자장치(B)는 촉각 인터페이스장치와 연결되어 있고, 이와 같은 연결은 유선적 연결 혹은 무선적 연결을 모두 포함하는 연결이다.

상기 전자장치(B)는 도 1에서 도시된 전술한 사용자단말기(A)를 포함한다. 따라서, 상기 전자장치(B)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등에 해당할 수 있고, 바람직하게는 PC류이다. 이와 같은 전자장치(B)는 1 이상의 프로세서 및 메모리를 포함하고, 선택적으로 모니터 등의 디스플레이장치에 연결되어 있거나 자체적인 디스플레이모듈이 구비될 수도 있다.

혹은, 상기 전자장치(B)는 상기 촉각 인터페이스장치와 결합된 형태일 수도 있다. 이 경우, 사용자의 입장에서는 촉각인터페이스장치와 이를 제어하는 전자장치(B)를 하나의 장치로 인식할 수도 있다. 이와 같이 결합된 형태의 장치의 경우 상기 전자장치(B)와 상기 촉각 인터페이스장치는 프로세서와 메모리를 공유하는 형태일 수도 있다.

본 발명에 따른 상기 전자장치(B)는 상기 전자장치(B) 내부에서 실행되는 어플리케이션(3000)과 상기 촉각 인터페이스장치의 상호간의 입출력을 제어하는 입출력제어부(2000)를 포함한다.

상기 어플리케이션(3000)은 OS에서 기본적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어 WINDOWS^TM 에서의 탐색기), OS에서 보조적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어, WINDOWS^TM 에서의 그림판), OS와 별도적으로 설치되어 독자적인 기능을 수행하는 어플리케이션 (예를들어, MS WORD^TM), 웹상으로 실행되는 독자적인 기능을 수행하는 어플리케이션, 스마트폰의 앱, 혹은 특정 기기에서만 작동할 수 있는 어플리케이션을 포함하는 용어이다. 즉, 상기 어플리케이션(3000)은 실행가능한 명령어들을 가지는 프로그램들을 포괄적으로 지칭한다.

일반적인 사용자라면 상기 전자장치(B)에서 상기 어플리케이션(3000)을 실행시키고, 상기 어플리케이션(3000)과 마우스, 키보드, 및 모니터 혹은 터치패드 등으로 상호작용을 할 수 있지만, 이와 같은 일반적인 장치들은 시각장애인이 인식하기 어려운 그래픽 정보를 중심으로 상호작용이 이루어진다.

따라서, 본 발명의 발명자는 상기 전자장치(B)의 어플리케이션(3000)을 시각장애인이 이용하기 위하여, 상기 어플리케이션(3000)의 인터페이스 혹은 입출력을 시각장애인이 이용할 수 있는 형태로 변환 제어하는 발명을 도출하였다. 또한, 본 발명의 촉각 인터페이스장치의 제어방법은 시각장애인에 대한 목적 뿐만 아니라 차량, 비행장치 등의 다른 장치에서의 촉각정보를 활용한 입출력 시스템 및 PC 등의 사용에 있어서 보조적으로 활용할 수 있는 입출력 시스템에도 적용될 수 있다.

본 발명에 따르면, 상기 입출력제어부(2000)는 상기 어플리케이션(3000)의 입출력을 상기 시각장애인이 이용할 수 있는 형태로 변환하고, 이를 촉각 인터페이스장치에서 구현하고, 사용자는 상기 촉각 인터페이스장치를 통하여 상기 어플리케이션(3000)을 보다 직관적이고 편리하게 이용할 수 있다. 특히, 촉각 인터페이스장치(1000)는 촉각정보를 이용하여 사용자에게 정보를 전달하고, 또한 촉각적인 입력 혹은 터치입력을 통하여 사용자로부터 정보 혹은 명령을 입력 받을 수 있는 장치이기 때문에, 시각장애인으로 하여금 불편함 없이 상기 어플리케이션(3000)을 이용할 수 있도록 할 수 있다.

도 14는 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 전자장치(B)의 내부 구조를 개략적으로 도시하는 도면이다. 도 14에 도시된 바와 같이, 상기 입출력제어부(2000)는 상기 촉각 인터페이스장치로부터의 입력을 상기 어플리케이션(3000)으로의 입력으로 변환하는 입력변환부(2100); 및 상기 어플리케이션(3000)으로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환부(2200)를 포함한다.

바람직하게는, 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 장치에서는 어플리케이션(3000)으로부터의 출력정보를 촉각 디스플레이 형태로 표시하는 동작에 추가적으로 촉각 인터페이스장치로부터 입력받은 정보를 상기 어플리케이션(3000)에서 이용할 수 있는 형태로 변환하여 상기 어플리케이션(3000)에 입력하는 동작을 수행할 수 있다.

즉, 본 발명에 따르면 사용자는 수동적으로 정보를 받는 것이 아니라 인지한 정보에 기초하여 직관적으로 정보를 입력하고, 상기 입출력제어부(2000)는 이와 같이 입력된 정보를 상기 어플리케이션(3000)에 입력가능한 형태로 변환함으로써, 시각장애인인 사용자로 일반적인 사용자와 유사한 수준으로 상기 어플리케이션(3000)을 이용할 수 있도록 한다. 이와 같은 입출력제어부(2000)에 의하여 상기 도 12에서와 같이 시각장애인도 촉각적으로 입력을 하여 그림을 그리는 어플리케이션(3000)을 이용할 수 있다.

한편, 상기 입력변환부(2100)는, 상기 촉각 인터페이스장치로부터 입력되는 키입력을 상기 어플리케이션(3000)으로 입력할 수 있는 형태로 변환하는 키변환부(2110); 상기 촉각 인터페이스장치로부터 입력되는 터치입력을 상기 어플리케이션(3000)으로 입력할 수 있는 형태로 변환하는 제스처판별부(2120); 및 상기 촉각 인터페이스장치에서 터치입력 등에 의하여 입력되는 입력좌표를 상기 어플리케이션(3000)에서의 입력좌표로 변환하는 좌표매핑부(2130);를 포함한다.

바람직하게는, 상기 촉각 인터페이스장치로부터 수신된 상기 키변환부(2110)에서 변환되는 입력은 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드에 의한 입력이다.

점자키보드는 기존에 널리 쓰이고 있는 점자키보드와 마찬가지로 점자를 입력 받아 촉각 인터페이스장치 혹은 촉각 인터페이스장치에 연결된 사용자 단말기에 전달한다. 점자키보드는 1~6점, 백스페이스, 스페이스, 엔터 버튼으로 구성되며, 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키보드는 동시에 눌린 버튼의 정보를 전송할 수 있다.

이 경우, 상기 키변환부(2110)는 점자키보드 입력을 일반문자(general character)로 점역한다.

한편, 상기 제스처판별부(2120)는 상기 터치입력이 기설정된 제스처 중 어느 하나에 해당하는 지 여부를 판별하고, 제스처로 판별되는 경우 판별된 제스처에 해당하는 명령어로 상기 터치입력을 변환한다.

여기서, 상기 터치입력은 도 7 및 도 8에 도시된 비접촉식 광기반 센싱에 의한 입력, 태블릿PC, 스마트폰 등에서 일반적으로 이용되는 정전용량 변화에 의한 터치인식에 의한 입력을 모두 포함하는 입력형태를 지칭한다. 바꾸어 말해, 상기 터치입력은 키입력 형태가 아니라 사용자의 신체로 직접 입력하는 형태의 입력을 모두 포함한다.

여기서, 상기 기설정된 제스처의 예는 하기의 표 1과 같다.

[표 1]

제스처 종류 어플리케이션 입력

Single tap 터치한 위치에 있는 GUI element의 종류와 텍스트를 점자와 음성으로 출력

Double tap 마우스의 더블클릭과 같은 기능

Long tap after tap 마우스의 우클릭과 같은 기능

Panning after tap 상/하/좌/우 스크롤

Drawing circle after tap 확대(시계방향)/축소(반시계방향)

촉각 인터페이스장치와 전자기기 간의 상호작용은 1차적으로 터치입력의 제스처 인식 기능을 통해 이루어지며, 시각장애인들에게 익숙하고 직관적인 컴퓨터 조작을 위해 상기 표 1 과 같은 다양한 터치 동작들을 정의하여 특정 동작을 인식한 후 전자기기 혹은 전자기기의 어플리케이션(3000)에 입력신호로 전달하는 것이 바람직하다.

예를들어, 싱글 탭 (single tap) 제스처는 터치한 위치에 있는 촉각 아이콘에 대하여 GUI (Graphic User Interface) 엘리먼트의 종류와 해당 텍스트를 점자와 음성으로 출력한다. 예를들어, 시각장애인이 촉각 그래픽에 의하여 인지되는 촉각 아이콘을 손가락을 쓰는 (swipe) 동작을 통해 인지하고 상기 촉각 아이콘에 대해 싱글 탭 제스처를 수행함으로써 해당 GUI 엘리먼트에 포커스를 이동시킨다. 또한, 이러한 탭 제스처는 선택하는 GUI 엘리먼트의 세부정보, 예를들어 텍스트 정보를 촉각 인터페이스장치의 촉각 그래픽을 표시하는 레이어 중 하나에 점자로 출력함과 동시에 TTS 기반의 음성으로도 출력할 수도 있다.

표 1에서의 나머지 제스처들에 해당하는 Double tap, Long tap after tap, Panning after tap, Drawing circle after tap 모두 tap 동작을 한 번 수행한 후 연이어 tap, long tap, panning, drawing the circle 제스처를 수행하는 것으로 정의된다. 이는 시각장애인의 촉각 그래픽을 인지를 위한 손가락 쓸기 동작과 정의된 제스처가 혼동되어 인식되지 않기 위해 이와 같이 정의된 것이다. Double tap 제스처는 같은 위치에서 빠르게 두 번 터치하는 동작으로 GUI 엘리먼트의 디폴트 동작(default action)을 실행시키는 마우스의 좌 더블클릭과 같은 기능을 가진다. Long tap after tap 제스처는 탭을 한 번 수행한 후 같은 위치에서 탭하여 일정한 시간 동안 계속 터치하고 있는 동작으로 마우스의 우 클릭과 같은 기능을 가진다. Panning after tap 제스처는 탭을 한 번 수행한 후 같은 위치에서 다시 터치하여 Panning 동작을 수행하는 동작으로 Panning 방향에 따라 상/하/좌/우 스크롤 기능을 가진다. Drawing circle after tap 제스처는 탭을 한 번 수행한 후 같은 위치에서 빠르게 다시 터치하여 원을 그리는 동작으로 시계방향일 경우 화면 확대기능, 반 시계 방향일 경우 화면 축소기능을 가진다.

한편, 상기 좌표매핑부(2130)는 상기 촉각 인터페이스장치에서의 좌표 혹은 입력좌표를 입력좌표를 상기 어플리케이션(3000)에서의 좌표로 변환하기 위함이다.

후술하는 바와 같이, 전자기기가 PC인 경우 PC의 모니터 표시화면의 GUI 엘리먼트들을 재구성하여 출력되는 촉각 그래픽에는 촉각 아이콘들이 구현되어 있다. 이와 같은 촉각 아이콘은 상기 모니터 표시화면과 공간적으로 1:1 매칭이 되지 않기 때문에, 상기 촉각 인터페이스장치에서의 터치입력이 발생한 입력좌표를 그대로 사용할 경우 어떤 GUI 엘리먼트에 대한 이벤트가 발생되었는지를 전자기기의 어플리케이션(3000)에서는 판별할 수 없다.

바람직하게는, 좌표매핑부(2130)의 좌표매핑 기능은 현재 촉각 그래픽으로 출력되고 있는 촉각 아이콘 객체와 실제 어플리케이션(3000)을 구동하는 경우 모니터 표시화면에 출력되는 GUI 엘리먼트를 매핑시키기 위한 기능으로 매핑 테이블을 구성하여 인식된 터치좌표를 매핑한다.

촉각 인터페이스장치에서 표시되는 촉각 그래픽과 상기 어플리케이션(3000)이 일반적으로 실행될 때의 표시화면은 해상도, 구성, 위치에 있어서 상이할 수 있고, 이 경우 촉각 인터페이스장치에서 입력한 명령이 제한없이 상기 어플리케이션(3000)에 입력되기 위해서는 상기 촉각 인터페이스에서의 입력좌표가 상기 어플리케이션(3000)에서의 입력좌표로 변환 혹은 매핑되어야 하고, 이는 상기 좌표매핑부(2130)에 의하여 수행된다. 이와 같은 좌표매핑부(2130)에 의하여 사용자는 어플리케이션(3000)의 기능의 축소 혹은 간략화 없이 어플리케이션(3000)의 기능을 일반적인 사용자 수준으로 사용할 수 있다.

예를들어, 사용자가 어플리케이션(3000)에서 'A'라는 명령을 실행하기 위하여(예를들어 윈도우 바탕화면에서 내문서 폴더를 여는 경우), 상기 촉각 인터페이스장치에서 상기 'A'에 해당하는 지점에서 Double Tab을 수행하는 경우 (상기 표 1 참조), 상기 좌표매핑부(2130)는 상기 촉각 인터페이스장치에서의 상기 지점의 좌표를 연결된 어플리케이션(3000)의 'A' 아이콘의 좌표에 매핑하고, 이에 따라 상기 어플리케이션(3000)에서의 'A' 명령이 실행될 수 있다.

이와 같이, 상기 입력변환부(2100)는 촉각 인터페이스장치의 터치입력에 대한 제스처를 인식하는 터치 제스처 인식 기능, 터치인식 장치에서 입력된 터치좌표에 해당하는 GUI 엘리먼트를 알려주는 좌표매핑 기능, 그리고 점자키보드로부터 입력되는 점자정보를 일반 문자로 변환하는 역 점역 기능을 수행할 수 있다.

한편, 상기 출력변환부(2200)는, 상기 어플리케이션(3000)으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환하는 촉각그래픽변환부(2210)를 포함하고, 상기 촉각 인터페이스장치에 의해 제공되는 상기 촉각 그래픽은 상기 촉각그래픽데이터로부터 구현될 수 있다.

본 명세서에서, 상기 “그래픽디스플레이”는 상기 어플리케이션이 모니터 등의 일반적인 시각적 디스플레이 장치로 출력하는 시각적화면, 시각적화면에 포함되는 시각적요소, 혹은 이들을 구현하는 데이터를 포함하는 개념을 지칭한다. 한편, 상기 출력변환부(2200)는, 상기 어플리케이션(3000)에서 출력되는 정보를 음성정보로 변환하는 TTS변환부(2220)를 더 포함한다. 바람직하게는, 상기 TTS변환부(2220)는 상기 촉각 인터페이스장치로부터의 입력에 의하여 지칭되는 촉각 엘리먼트에 대한 텍스트 형태의 세부정보를 음성으로 변환하는 것을 수행한다.

한편, 실제 어플리케이션(3000)을 구동하는 경우 모니터 표시화면에 출력되는 모든 GUI 엘리먼트들을 촉각 그래픽으로 변환하여 이를 촉각 인터페이스장치에 출력하는 경우, 사용자가 촉각 그래픽을 이해하는 데 어려움이 발생할 수 있다.

따라서 본 발명의 일 실시예에 따르면, 상기 어플리케이션(3000)으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환한다. 즉 사용자에 의하여 포커싱되는 영역에 해당하는 포커스영역만을 혹은 포커스영역을 중심으로 촉각그래픽데이터로 변환하고 이를 촉각 그래픽으로 표시함으로써 사용자는 현재 포커싱되는 영역만을 빠르고 편리하게 인지할 수 있고, 사용자의 인지 및 입력에 있어서의 오류를 제거할 수 있다.

한편, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정된다. 예를들어, 사용자가 터치입력으로 촉각 인터페이스장치에서의 입력좌표를 이동시키고 탭 등의 제스처에 의하여 해당 입력좌표의 영역에 포커싱이 되는 경우, 이와 같은 사용자의 입력들에 의하여 상기 포커싱영역이 결정된다.

한편, 상기 촉각그래픽변환부(2210)는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각그래픽데이터를 생성한다.

도 20은 이와 같은 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 기설정된 변환규칙의 예를 도시한다.

예를들어, 도 20에서 표시엘리먼트(GUI엘리먼트)가 'Button'에 해당하는 경우, 어플리케이션(3000)의 실제 화면에 출력되는 형태는 도 20에서 Visual Design이라는 항목에 표시된 형태의 GUI이다. 그리고 이와 같은 'Button'에 대한 표시엘리먼트를 도 20에 도시된 변환규칙에 따라서, 촉각 아이콘으로 변환하고, 변환된 촉각 아이콘을 상기 촉각 인터페이스장치에서 촉각 그래픽으로 구현한다. 한편, 사용자의 촉각 인터페이스장치에서의 입력, 바람직하게는 제스처 형태의 입력에 의하여 상기 촉각 아이콘에 대한 세부 정보를 촉각 인터페이스장치의 점자형태의 촉각 그래픽 혹은 상기 TTS변환에 의한 음성으로 사용자가 인식할 수도 있다.

도 19는 본 발명의 일 실시예에 따른 촉각그래픽(4000)을 개략적으로 도시하는 도면이다. 상기 촉각 그래픽은 복수의 레이어를 포함하고, 도 19에서는 상기 복수의 레이어는 제1 레이어(4100), 제2 레이어(4200), 및 제3 레이어(4300)를 포함한다.

상기 복수의 포커스부분영역은 각각 상기 복수의 레이어에 대응한다. 즉, 상기 어플리케이션(3000)으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역은 복수의 포커스부분영역으로 구성되어 있고, 이와 같은 복수의 포커스부분영역의 각각은 상기 복수의 레이어 각각에 대응한다. 따라서, 상기 촉각그래픽변환부(2210)는 포커스부분영역 혹은 레이어 별로 그래픽디스플레이를 촉각 그래픽으로 변환한다.

상기 제1 레이어(4100)는 화면 컨트롤 영역으로서, 현재 촉각 인터페이스장치에서 출력되는 촉각 그래픽의 타이틀을 지칭하는 아이콘, '이전', '확인', '취소', '닫기'와 같은 화면전환을 위한 버튼들의 촉각 아이콘 중 1 이상으로 구성될 수 있다. 즉, 제1 레이어(4100)는 상기 어플리케이션(3000)으로부터 출력되는 상기 그래픽디스플레이의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 포함한다.

상기 제2 레이어(4200)는 메인 화면 영역으로 버튼, 메뉴, 폴더, 그래픽 정보 등에 대한 촉각 그래픽이 제공되는 레이어이다. 사용자는 제2 레이어(4200)를 통하여 그리기 입력을 수행하거나, 그래픽 정보를 인지하거나, GUI 요소들을 인지하거나, 사용자의 컨트롤 입력을 수행할 수 있다.

상기 제3 레이어(4300)는 상기 어플리케이션(3000)으로부터 출력되는 촉각그래픽엘리먼트에 대한 세부정보를 점자형태로 표시하는 레이어이다. 사용자는 상기 제3 레이어(4300)로 출력되는 점자를 인지함으로써 촉각 엘리먼트들에 대한 세부 정보를 확인할 수 있다. 전술한 바와 같이, 이와 같은 세부정보의 확인은 상기 TTS변환부(2220)에 의하여 변환된 음성에 의하여도 이루어질 수 있다.

이상과 같은 촉각 인터페이스장치 및 이를 제어하는 전자장치(B)에 의하면, WINDOWS^TM 의 보조프로그램에 해당하는 '그림판'과 같은 프로그램도 시각장애인이 이용할 수 있다. 시각장애인은 상기 제2 레이어(4200)를 통하여 선을 포함하는 그림을 입력하고, 실시간으로 촉각을 이용하여 자신이 그린 그림을 인지할 수 있고, 인지된 그림정보에 기초하여 계속적으로 그림을 완성해나갈 수 있다.

한편, 전술한 촉각 인터페이스장치 및 이를 제어하는 전자기기는 출력 및 입력이 가능한 촉각 인터페이스장치 및 이에 대한 제어의 양상에서 실시예가 서술되었으나, 본 발명은 이에 한정되지 않고, 출력만 가능한 촉각 인터페이스장치 혹은 입력만 가능한 촉각인터페이스 장치에 대한 제어방법, 장치, 및 컴퓨터-판독가능 저장매체에 대한 발명도 포함한다.

도 15는 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법의 단계를 개략적으로 도시하는 도면이다.

도 15에 도시된 바와 같이 내부에서 실행되는 어플리케이션(3000)을 포함하는 전자장치(B)에 전기적으로 연결되고, 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법은, 상기 촉각 인터페이스장치로부터의 입력을 상기 어플리케이션(3000)으로의 입력으로 변환하는 입력변환단계(S100); 및 상기 어플리케이션(3000)으로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환단계(S200)를 포함한다.

상기 촉각 인터페이스장치는 촉각에 의한 촉각 그래픽을 제공할 수 있고, 상기 입력변환단계(S100) 및 상기 출력변환단계(S200)는 동시적으로 수행됨이 바람직하다. 구체적으로 사용자는 상기 출력변환단계(S200)에 의하여 출력된 촉각 그래픽을 인지하고, 이에 따라 입력을 수행하고, 사용자의 입력을 어플리케이션(3000)에 입력할 수 있는 형태로 상기 입력변환단계(S100)에서 변환함이 바람직하다.

여기서, 상기 전자장치(B)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등에 해당할 수 있고, 바람직하게는 PC류이다. 이와 같은 전자장치(B)는 1 이상의 프로세서 및 메모리를 포함하고, 선택적으로 모니터 등의 디스플레이장치에 연결되어 있거나 자체적인 디스플레이모듈이 구비될 수도 있다.

혹은, 상기 전자장치(B)는 상기 촉각 인터페이스장치와 결합된 형태일 수도 있다. 이 경우, 사용자의 입장에서는 촉각인터페이스장치와 이를 제어하는 전자장치(B)를 하나의 장치로 인식할 수도 있다. 이와 같이 결합된 형태의 장치의 경우 상기 전자장치(B)와 상기 촉각 인터페이스장치는 프로세서와 메모리를 공유하는 형태일 수도 있다.

상기 어플리케이션은 OS에서 기본적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어 WINDOWS^TM 에서의 탐색기), OS에서 보조적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어, WINDOWS^TM 에서의 그림판), OS와 별도적으로 설치되어 독자적인 기능을 수행하는 어플리케이션 (예를들어, MS WORD^TM), 웹상으로 실행되는 독자적인 기능을 수행하는 어플리케이션, 스마트폰의 앱, 혹은 특정 기기에서만 작동할 수 있는 어플리케이션을 포함하는 용어이다. 즉, 상기 어플리케이션은 실행가능한 명령어들을 가지는 프로그램들을 포괄적으로 지칭한다.

도 16은 본 발명의 일 실시예에 따른 입력변환단계(S100)의 과정들을 개략적으로 도시하는 도면이다.

상기 입력변환단계(S100)는, 촉각 인터페이스장치에서 입력된 입력정보를 수신하는 입력정보수신단계(S110); 상기 입력정보의 카테고리를 구분하는 구분하는 입력정보카테고리구분단계(S120); 상기 카테고리에 따라 상기 입력정보를 상기 어플리케이션(3000)에 입력할 수 있는 형태로 변환하는 입력정보변환단계(S130); 및 변환된 입력정보를 어플리케이션에 전송하는 입력정보전송단계(S140)를 포함한다.

한편, 상기 카테고리는 키입력, 터치입력 중 1 이상을 포함한다.

상기 키입력은 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드에 의한 입력이다. 점자키보드는 기존에 널리 쓰이고 있는 점자키보드와 마찬가지로 점자를 입력 받아 촉각 인터페이스장치 혹은 촉각 인터페이스장치에 연결된 사용자 단말기에 전달한다. 점자키보드는 1~6점, 백스페이스, 스페이스, 엔터 버튼으로 구성되며, 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키보드는 동시에 눌린 버튼의 정보를 전송할 수 있다.

상기 터치입력은 도 7 및 도 8에 도시된 비접촉식 광기반 센싱에 의한 입력, 태블릿PC, 스마트폰 등에서 일반적으로 이용되는 정전용량 변화에 의한 터치인식에 의한 입력을 모두 포함하는 입력형태를 지칭한다. 바꾸어말해, 상기 터치입력은 키입력 형태가 아니라 사용자의 신체로 직접 입력하는 형태의 입력을 모두 포함한다.

한편, 상기 입력정보의 카테고리가 터치입력인 경우, 상기 입력정보변환단계(S130)는 상기 터치입력이 기설정된 복수의 제스처 중 어느 하나와 매칭이 되는 지 여부를 판단하고, 매칭이 되는 경우에 응답하여, 상기 입력정보를 매칭된 제스처에 대응되는 상기 어플리케이션(3000)으로 입력가능한 명령어로 변환한다.

여기서, 상기 기설정된 제스처의 예로서는 전술한 표 1과 같다.

촉각 인터페이스장치와 전자기기 간의 상호작용은 1차적으로 터치입력의 제스처 인식 기능을 통해 이루어지며, 시각장애인들에게 익숙하고 직관적인 컴퓨터 조작을 위해 상기 표 1 과 같은 다양한 터치 동작들을 정의하여 특정 동작을 인식한 후 전자기기 혹은 전자기기의 어플리케이션(3000)에 입력신호로 전달하는 것이 바람직하다.

예를들어, 싱글 탭 (single tap) 제스처는 터치한 위치에 있는 촉각 아이콘에 대하여 GUI (Graphic User Interface) 엘리먼트의 종류와 해당 텍스트를 점자와 음성으로 출력한다. 예를들어, 시각장애인이 촉각 그래픽에 의하여 인지되는 촉각 아이콘을 손가락을 쓰는 (swipe) 동작을 통해 인지하고 상기 촉각 아이콘에 대해 싱글 탭 제스처를 수행함으로써 해당 GUI 엘리먼트에 포커스를 이동시킨다. 또한, 이러한 탭 제스처는 선택하는 GUI 엘리먼트의 세부정보, 예를들어 텍스트 정보를 촉각 인터페이스장치의 촉각 그래픽을 표시하는 레이어 중 하나에 점자로 출력함과 동시에 TTS 기반의 음성으로도 출력할 수도 있다.

표 1에서의 나머지 제스처들에 해당하는 Double tap, Long tap after tap, Panning after tap, Drawing circle after tap 모두 tap 동작을 한 번 수행한 후 연이어 tap, long tap, panning, drawing the circle 제스처를 수행하는 것으로 정의된다. 이는 시각장애인의 촉각 그래픽을 인지를 위한 손가락 쓸기 동작과 정의된 제스처가 혼동되어 인식되지 않기 위해 이와 같이 정의된 것이다. Double tap 제스처는 같은 위치에서 빠르게 두 번 터치하는 동작으로 GUI 엘리먼트의 디폴트 동작(default action)을 실행시키는 마우스의 좌 더블클릭과 같은 기능을 가진다. Long tap after tap 제스처는 탭을 한 번 수행한 후 같은 위치에서 탭하여 일정한 시간 동안 계속 터치하고 있는 동작으로 마우스의 우 클릭과 같은 기능을 가진다. Panning after tap 제스처는 탭을 한 번 수행한 후 같은 위치에서 다시 터치하여 Panning 동작을 수행하는 동작으로 Panning 방향에 따라 상/하/좌/우 스크롤 기능을 가진다. Drawing circle after tap 제스처는 탭을 한 번 수행한 후 같은 위치에서 빠르게 다시 터치하여 원을 그리는 동작으로 시계방향일 경우 화면 확대기능, 반 시계 방향일 경우 화면 축소기능을 가진다.

상기 입력정보의 카테고리가 터치입력인 경우, 상기 입력정보변환단계(S130)는 상기 터치입력이 입력좌표의 입력에 해당하는 지 여부를 판단하고, 상기 터치입력이 입력좌표에 해당하는 경우, 촉각 인터페이스장치에서 입력되는 입력좌표를 상기 어플리케이션(3000)에서의 입력좌표로 변환한다.

상기와 같은 좌표에 대한 입력정보변환단계(S130)는 상기 촉각 인터페이스장치에서의 좌표 혹은 입력좌표를 입력좌표를 상기 어플리케이션(3000)에서의 좌표로 변환하기 위함이다.

전자기기가 PC인 경우 PC의 모니터 표시화면의 GUI 엘리먼트들을 재구성하여 출력되는 촉각 그래픽에는 촉각 아이콘들이 구현되어 있다. 이와 같은 촉각 아이콘은 상기 모니터 표시화면과 공간적으로 1:1 매칭이 되지 않기 때문에, 상기 촉각 인터페이스장치에서의 터치입력이 발생한 입력좌표를 그대로 사용할 경우 어떤 GUI 엘리먼트에 대한 이벤트가 발생되었는지를 전자기기의 어플리케이션(3000)에서는 판별할 수 없다. 좌표에 대한 입력정보변환단계(S130)는 실질적으로 좌표매핑 기능에 해당한다. 즉, 현재 촉각 그래픽으로 출력되고 있는 촉각 아이콘 객체와 실제 어플리케이션(3000)을 구동하는 경우 모니터 표시화면에 출력되는 GUI 엘리먼트를 매핑시키기 위한 기능으로 매핑 테이블을 구성하여 인식된 터치좌표를 매핑한다.

촉각 인터페이스장치에서 표시되는 촉각 그래픽과 상기 어플리케이션(3000)이 일반적으로 실행될 때의 표시화면은 해상도, 구성, 위치에 있어서 상이할 수 있고, 이 경우 촉각 인터페이스장치에서 입력한 명령이 제한없이 상기 어플리케이션(3000)에 입력되기 위해서는 상기 촉각 인터페이스에서의 입력좌표가 상기 어플리케이션(3000)에서의 입력좌표로 변환 혹은 매핑되어야 하고, 이는 상기 입력정보변환단계(S130)에 의하여 수행된다. 이와 같은 단계에 의하여 사용자는 어플리케이션(3000)의 기능의 축소 혹은 간략화 없이 어플리케이션(3000)의 기능을 일반적인 사용자 수준으로 사용할 수 있다.

예를들어, 사용자가 어플리케이션(3000)에서 'A'라는 명령을 실행하기 위하여(예를들어 윈도우 바탕화면에서 내문서 폴더를 여는 경우), 상기 촉각 인터페이스장치에서 상기 'A'에 해당하는 지점에서 Double Tab을 수행하는 경우 (상기 표 1 참조), 상기 좌표매핑부(2130)는 상기 촉각 인터페이스장치에서의 상기 지점의 좌표를 연결된 어플리케이션(3000)의 'A' 아이콘의 좌표에 매핑하고, 이에 따라 상기 어플리케이션(3000)에서의 'A' 명령이 실행될 수 있다.

이와 같이, 상기 입력정보변환단계(S130)에 의하여 촉각 인터페이스장치의 터치입력에 대한 제스처를 인식하는 터치 제스처 인식 기능, 터치인식 장치에서 입력된 터치좌표에 해당하는 GUI 엘리먼트를 알려주는 좌표매핑 기능, 그리고 점자키보드로부터 입력되는 점자정보를 일반 문자로 변환하는 역 점역 기능을 수행할 수 있다.

도 17은 본 발명의 일 실시예에 따른 출력변환단계(S200)의 과정들을 개략적으로 도시하는 도면이다. 상기 출력변환단계(S200)는 상기 어플리케이션(3000)으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환하는 단계이다.

상기 출력변환단계(S200)는,

상기 어플리케이션(3000)으로부터 그래픽디스플레이의 출력정보를 수신하는 단계(S210);

상기 어플리케이션(3000)에 의하여 표시되는 그래픽디스플레이가 변경되었는지를 판별하는 단계(S220);

상기 어플리케이션(3000)에 의하여 표시되는 그래픽디스플레이를 촉각그래픽데이터로 변환하는 촉각그래픽변환단계(S230); 및

상기 촉각그래픽데이터를 촉각 인터페이스장치로 전송하는 단계(S240)를 포함한다.

도 18은 본 발명의 일 실시예에 따른 촉각그래픽변환단계(S230)의 과정들을 개략적으로 도시하는 도면이다.

실제 어플리케이션(3000)을 구동하는 경우 모니터 표시화면에 출력되는 모든 GUI 엘리먼트들을 촉각 그래픽으로 변환하여 이를 촉각 인터페이스장치에 출력하는 경우, 사용자가 촉각 그래픽을 이해하는 데 어려움이 발생할 수 있다.

따라서 본 발명의 일 실시예에 따르면, 상기 촉각그래픽변환단계(S230)는 상기 어플리케이션(3000)으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환함이 바람직하다. 즉, 사용자에 의하여 포커싱되는 영역에 해당하는 포커스영역만을 혹은 포커스영역을 중심으로 촉각그래픽데이터로 변환하고 이를 촉각 그래픽으로 표시함으로써 사용자는 현재 포커싱되는 영역만을 빠르고 편리하게 인지할 수 있고, 사용자의 인지 및 입력에 있어서의 오류를 제거할 수 있다.

한편, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정된다. 예를들어, 사용자가 터치입력으로 촉각 인터페이스장치에서의 입력좌표를 이동시키고 탭 등의 제스처에 의하여 해당 입력좌표의 영역에 포커싱이 되는 경우, 이와 같은 사용자의 입력들에 의하여 상기 포커싱영역이 결정된다.

본 발명의 일 실시예에 따르면 상기 촉각그래픽변환단계(S230)는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각그래픽데이터를 생성한다.

도 18에 도시된 바와 같이, 상기 어플리케이션(3000)에 의하여 표시되는 그래픽디스플레이를 촉각그래픽데이터로 변환하는 촉각그래픽변환단계(S230)는 상기 어플리케이션(3000)으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 결정하는 포커스영역결정단계(S231);

상기 포커스영역을 복수의 포커스부분영역으로 구분하는 포커스부분영역구분단계(S232);

기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 촉각그래픽엘리먼트변환단계(S233); 및

상기 촉각그래픽엘리먼트를 포함하는 촉각그래픽데이터를 생성하는 촉각그래픽데이터생성단계(S234);를 포함한다.

도 20은 이와 같은 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 기설정된 변환규칙의 예를 도시한다.

예를들어, 도 20에서 표시엘리먼트(GUI엘리먼트)가 'Button'에 해당하는 경우, 어플리케이션(3000)의 실제 화면에 출력되는 형태는 도 20에서 Visual Design이라는 항목에 표시된 형태의 GUI이다. 그리고 이와 같은 'Button'에 대한 표시엘리먼트를 도 20에 도시된 변환규칙에 따라서, 촉각 아이콘으로 변환하고, 변환된 촉각 아이콘을 상기 촉각 인터페이스장치에서 촉각 그래픽으로 구현한다. 한편, 사용자의 촉각 인터페이스장치에서의 입력, 바람직하게는 제스처 형태의 입력에 의하여 상기 촉각 아이콘에 대한 세부 정보를 촉각 인터페이스장치의 점자형태의 촉각 그래픽 혹은 상기 TTS변환에 의한 음성으로 사용자가 인식할 수도 있다.

도 19는 본 발명의 일 실시예에 따른 촉각그래픽을 개략적으로 도시하는 도면이다. 상기 촉각 그래픽은 복수의 레이어를 포함하고, 도 19에서는 상기 복수의 레이어는 제1 레이어(4100), 제2 레이어(4200), 및 제3 레이어(4300)를 포함한다.

상기 복수의 포커스부분영역은 각각 상기 복수의 레이어에 대응한다. 즉, 상기 어플리케이션(3000)으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역은 복수의 포커스부분영역으로 구성되어 있고, 이와 같은 복수의 포커스부분영역의 각각은 상기 복수의 레이어 각각에 대응한다. 따라서, 상기 촉각그래픽변환부(2210)는 포커스부분영역 혹은 레이어 별로 그래픽디스플레이를 촉각 그래픽으로 변환한다.

상기 제1 레이어(4100)는 화면 컨트롤 영역으로서, 현재 촉각 인터페이스장치에서 출력되는 촉각 그래픽의 타이틀을 지칭하는 아이콘, '이전', '확인', '취소', '닫기'와 같은 화면전환을 위한 버튼들의 촉각 아이콘 중 1 이상으로 구성될 수 있다. 즉, 제1 레이어(4100)는 상기 어플리케이션(3000)으로부터 출력되는 상기 그래픽디스플레이의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 포함한다.

상기 제2 레이어(4200)는 메인 화면 영역으로 버튼, 메뉴, 폴더, 그래픽 정보 등에 대한 촉각 그래픽이 제공되는 레이어이다. 사용자는 제2 레이어(4200)를 통하여 그리기 입력을 수행하거나, 그래픽 정보를 인지하거나, GUI 요소들을 인지하거나, 사용자의 컨트롤 입력을 수행할 수 있다.

상기 제3 레이어(4300)는 상기 어플리케이션(3000)으로부터 출력되는 촉각그래픽엘리먼트에 대한 세부정보를 점자형태로 표시하는 레이어이다. 사용자는 상기 제3 레이어(4300)로 출력되는 점자를 인지함으로써 촉각 엘리먼트들에 대한 세부 정보를 확인할 수 있다. 전술한 바와 같이, 이와 같은 세부정보의 확인은 상기 TTS변환부(2220)에 의하여 변환된 음성에 의하여도 이루어질 수 있다.

이상과 같은 촉각 인터페이스장치를 제어하는 방법에 의하면, WINDOWS^TM 의 보조프로그램에 해당하는 '그림판'과 같은 프로그램도 시각장애인이 이용할 수 있다. 시각장애인은 상기 제2 레이어(4200)를 통하여 선을 포함하는 그림을 입력하고, 실시간으로 촉각을 이용하여 자신이 그린 그림을 인지할 수 있고, 인지된 그림정보에 기초하여 계속적으로 그림을 완성해나갈 수 있다.

한편, 전술한 촉각 인터페이스장치를 제어하는 방법은 출력 및 입력이 가능한 촉각 인터페이스장치 및 이에 대한 제어의 양상에서 실시예가 서술되었으나, 본 발명은 이에 한정되지 않고, 출력만 가능한 촉각 인터페이스장치 혹은 입력만 가능한 촉각인터페이스 장치에 대한 제어방법을 포함한다.

이하에서는, 본 발명에 의한 촉각 인터페이스장치를 제어하는 방법에 의하여 변환되는 어플리케이션(3000)에서 출력되는 그래픽디스플레이에 대한 실시예들에 대하여 설명하도록 한다. 이하에서의 설명에서는 도 20에 도시된 그래픽디스플레이의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 기설정된 변환규칙을 적용하도록 한다.

도 21은 전자장치(B)의 표시화면(그래픽디스플레이)의 제1 예를 도시하는 도면이다.

도 21에서 포커스영역은 상기 어플리케이션이 실행되는 창에 해당하고, 포커스부분영역은 (1), (2), (3), (4)를 포함하는 제1 포커스부분영역 및 (5)를 포함하는 제2 포커스부분영역으로 나누어질 수 있다.

상기 (1)은 본 어플리케이션의 타이틀에 해당하고, 상기 (2)는 본 어플리케이션의 메뉴바에 해당하고, 상기 (3)은 본 어플리케이션의 '최소화'버튼에 해당하고, 상기 (4)는 본 어플리케이션의 '닫기'버튼에 해당하고, 상기 (5)는 본 어플리케이션에서 표시하는 객체들을 표시하는 창에 해당한다.

도 22는 도 21에 도시된 표시화면의 제1 예를 본 발명의 일 실시예에 따라 촉각그래픽으로 변환하여 출력한 촉각그래픽을 도시하는 도면이다.

상기 (1), (2), (3), 및 (4)를 포함하는 제1 포커스부분영역은 촉각 그래픽의 상단의 레이어(제1 레이어(4100))로 변환 혹은 매핑되고, 상기 (5)를 포함하는 제2 포커스부분영역은 촉각 그래픽의 중단의 레이어(제2 레이어(4200))로 변환 혹은 매핑된다. 전술한 바와 같이 매핑시의 변환규칙은 상기 도 20에 도시된 규칙에 따른다.

한편, 촉각 그래픽의 하단의 레이어는 상기 제1 레이어(4100) 및 제2 레이어(4200)에서 사용자가 터치입력 혹은 지칭한 촉각 아이콘의 텍스트 정보를 점자형태로 나타내는 레이어에 해당한다.

예를들어 (1) 영역은 타이틀에 해당하고, 이는 도 20에 도시된 변환규칙에 의하여 기설정된 촉각 아이콘으로 변환되어, 촉각 그래픽의 제1 레이어(4100)에 구현된다. 이에 대해 사용자가 상기 (1) 영역에 해당하는 촉각 아이콘에 탭 등의 제스처를 취하는 경우, 상기 제3 레이어(4300)에서는 상기 타이틀의 세부정보에 해당하는 “Haptic Editor”를 점자형태로 출력한다.

도 23은 전자장치(B)의 표시화면(그래픽디스플레이)의 제2 예를 도시하는 도면이다.

도 23의 그래픽디스플레이는 상기 도 21에 도시된 어플리케이션에서 (2) 영역에 해당하는 메뉴바를 선택하고, 이 중 'Page Control'을 입력 혹은 선택 했을 때의 그래픽디스플레이이다.

이 경우, 포커스영역은 상기 도 23에서 “Focused area”로 지칭되는 영역에 해당하고, 포커스부분영역은 (1)을 포함하는 제1 포커스부분영역 및 (2) 내지 (6)을 포함하는 제2 포커스부분영역으로 나누어질 수 있다.

상기 (1)은 메뉴바에서 선택한 타이틀에 해당하고, 상기 (2) 내지 (6)은 해당 타이틀 내에서 선택할 수 있는 서브메뉴에 해당한다.

도 24는 도 23에 도시된 표시화면의 제2 예를 본 발명의 일 실시예에 따라 촉각그래픽으로 변환하여 출력한 촉각그래픽을 도시하는 도면이다.

상기 (1), (7)을 포함하는 제1 포커스부분영역은 촉각 그래픽의 상단의 레이어(제1 레이어(4100))로 변환 혹은 매핑되고, 상기 (2) 내지 (6)을 포함하는 제2 포커스부분영역은 촉각 그래픽의 중단의 레이어(제2 레이어(4200))로 변환 혹은 매핑된다. 전술한 바와 같이 매핑시의 변환규칙은 상기 도 20에 도시된 규칙에 따른다. 한편 (7)은 '뒤로가기'버튼에 대한 촉각 아이콘으로서, 실제로 어플리케이션의 그래픽디스플레이에는 포함되어 있지 않지만, 본 발명에 따른 제어방법에서 사용자의 편의성을 확대시키기 위하여 자체적으로 생성한 아이콘에 해당한다.

한편, 촉각 그래픽의 하단의 레이어는 상기 제1 레이어(4100) 및 제2 레이어(4200)에서 사용자가 터치입력 혹은 지칭한 촉각 아이콘의 텍스트 정보를 점자형태로 나타내는 레이어에 해당한다.

예를들어 (1) 영역은 타이틀에 해당하고, 이는 도 20에 도시된 변환규칙에 의하여 기설정된 촉각 아이콘으로 변환되어, 촉각 그래픽의 제1 레이어(4100)에 구현된다. 이에 대해 사용자가 상기 (1) 영역에 해당하는 촉각 아이콘에 탭 등의 제스처를 취하는 경우, 상기 제3 레이어(4300)에서는 상기 타이틀의 세부정보에 해당하는 “Page Control”을 점자형태로 출력한다.

도 25는 본 발명의 일 실시예에 따른 촉각 인터페이스장치로 시각장애인이 그림을 그리는 과정을 개략적으로 도시하는 도면이다.

본 발명에서와 같은 촉각 인터페이스장치 및 이를 제어하는 전자장치(B)에 의하면, WINDOWS^TM 의 보조프로그램에 해당하는 '그림판'과 같은 프로그램도 시각장애인이 이용할 수 있다. 즉, 상기 어플리케이션이 그래픽 입력, 편집, 및 저장의 기능을 수행할 수 있는 어플리케이션인 경우, 기존의 시각장애인들이 활용하지 못하였던 컴퓨팅 장치에서 실행되는 그래픽 입력 및 이와 관련된 기능을 시각장애인이 활용할 수 있다. 구체적으로, 시각장애인은 상기 제2 레이어(4200)를 통하여 선을 포함하는 그림을 입력하고, 실시간으로 촉각을 이용하여 자신이 그린 그림을 인지할 수 있고, 인지된 그림정보에 기초하여 계속적으로 그림을 완성해 나갈 수 있다. 즉, 본 발명의 일 실시예에 따르면 시각장애인도 그래픽 입력, 편집, 및 저장을 용이하게 컴퓨터로 수행할 수 있다.

본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인들로 하여금 실시간으로 촉각적으로 디스플레이되는 사항들을 직관적으로 인지할 수 있게 하는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인들로 하여금 촉각적으로 정보를 인지하면서 동시에 인지된 정보에 기반하여 즉각적으로 입력을 할 수 있는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 터치 및 제스처 인식이 가능한 촉각 디스플레이를 기반으로 시각장애인이 컴퓨터의 화면출력 정보를 점자, 음성 및 촉각 그래픽의 형태로 인지하고 이에 대한 즉각적이고 직관적 정보입력을 할 수 있게 하여 일반인과 매우 유사한 방식으로 컴퓨터를 효율적으로 사용할 수 있게 하는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 OS의 다양한 기능들과 다양한 어플리케이션 소프트웨어 들을 사용할 수 있도록 쉽게 확장이 가능하다는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인들에게 종래의 스크린리더 등의 장치와 비교시 현저히 향상된 작업 수행속도 및 편의성을 제공할 수 있는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인들이 스크린리더로는 수행하기 어려운 그래픽 관련 작업들을 편리하게 수행할 수 있는 효과를 발휘할 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 의하면, WINDOWS^TM 의 보조프로그램에 해당하는 '그림판'과 같은 프로그램도 시각장애인이 이용할 수 있다. 시각장애인은 상기 제2 레이어를 통하여 선을 포함하는 그림을 입력하고, 실시간으로 촉각을 이용하여 자신이 그린 그림을 인지할 수 있고, 인지된 그림정보에 기초하여 계속적으로 그림을 완성해나갈 수 있다.

또한, 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체는 시각장애인의 컴퓨터 활용능력을 크게 향상시키고, 시각장애인용 컴퓨터 하드웨어 및 소프트웨어 시장을 확대할 수 있는 효과를 발휘할 수 있다.

하나 이상의 예시적인 구현에서, 여기서 제시된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 통해 구현될 수 있다. 소프트웨어로 구현되는 경우, 상기 기능들은 컴퓨터 판독가능한 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나, 또는 이들을 통해 전송될 수 있다. 컴퓨터 판독가능한 매체는 컴퓨터 저장 매체 및 일 장소에서 다른 장소로 컴퓨터 프로그램의 이전을 용이하게 하기 위한 임의의 매체를 포함하는 통신매체를 포함한다. 저장 매체는 범용 컴퓨터 또는 특수 목적의 컴퓨터에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 예를 들어, 이러한 컴퓨터 판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크저장 매체, 자기 디스크 저장 매체 또는 다른 자기 저장 장치들, 또는 명령 또는 데이터 구조의 형태로 요구되는 프로그램 코드 수단을 저장하는데 사용될 수 있고, 범용 컴퓨터, 특수목적의 컴퓨터, 범용 프로세서, 또는 특별한 프로세서에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.

또한, 임의의 연결 수단이 컴퓨터 판독가능한 매체로 간주될 수 있다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 라인(DSL), 또는 적외선 라디오, 및 마이크로웨이브와 같은 무선 기술들을 통해 전송되는 경우, 이러한 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선 라디오, 및 마이크로웨이브와 같은 무선 기술들이 이러한 매체의 정의 내에 포함될 수 있다. 여기서 사용되는 disk 및 disc은 컴팩트 disc(CD), 레이저 disc, 광 disc, DVD, 플로피 disk, 및 블루-레

이 disc를 포함하며, 여기서 disk는 데이터를 자기적으로 재생하지만, disc은 레이저를 통해 광학적으로 데이터를 재생한다. 상기 조합들 역시 컴퓨터 판독가능한 매체의 범위 내에 포함될 수 있다.

통상의 기술자는 상술한 다양한 예시적인 엘리먼트, 컴포넌트, 논리블록, 모듈 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 조합으로서 구현될 수 있음을 잘 이해할 것이다. 하드웨어 및 소프트웨어의 상호 호환성을 명확히 하기 위해, 다양한 예시적인 소자들, 블록, 모듈 및 단계들이 그들의 기능적 관점에서 기술되었다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지는 특정 애플리케이션 및 전체 시스템에 대해 부가된 설계 제한들에 의존한다. 당업자는 이러한 기능들을 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현할 수 있지만, 이러한 구현 결정이 본 발명의 영역을 벗어나는 것은 아니다.

본 명세서에서 기재되는 다양한 예시적인 논리 블록들 및 모듈들은 범용 프로세서, 디지털 신호 처리기(DSP), 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 프로그램어블 논리 디바이스, 이산 게이트 또는 트랜지스터 논리, 이산 하드웨어 컴포넌트들 또는 여기서 기재되는 기능들을 구현하도록 설계되는 임의의 조합을 통해 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로 프로세서 일 수 있지만; 대안적 실시예에서, 이러한 프로세서는 기존 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수 있다. 프로세서는 예를 들어, DSP 및 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서, 또는 이러한 구성들의 조합과 같이 계산 장치들의 조합으로서 구현될 수 있다.

하드웨어 구현에 대하여, 여기에서 개시되는 양상들과 관련하여 설명되는 프로세싱 유닛들의 다양한 예시적인 로직들, 로직 블록들 및 모듈들은, 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 처리기들(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그래밍 가능한 로직 디바이스(PLD)들, 필드 프로그래밍 가능한 게이트 어레이(FPGA)들, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 범용 목적의 프로세서들, 제어기들, 마이크로-컨트롤러들, 마이크로프로세서들, 여기에서 설명되는 기능들을 수행하도록 설계되는 다른 전자 유닛들, 또는 이들의 조합에서 구현될 수 있다. 범용-목적 프로세서는 마이크로프로세서일 수 있지만, 대안적으로, 임의의 기존의 프로세서, 제어기, 마이크로컨트롤러, 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합(예컨대, DSP 및 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 관련된 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 적절한 구성)으로 구현될 수 있다. 추가적으로, 적어도 하나의 프로세서는 여기에서 설명되는 단계들 및/또는 동작들 중 하나 이상을 구현할 수 있는 하나 이상의 모듈들을 포함할 수 있다.

게다가, 여기에서 설명되는 다양한 양상들 또는 특징들은 표준 프로그래밍 및/또는 엔지니어링 기법들을 사용하는 방법, 장치, 또는 제조물로서 구현될 수 있다. 또한, 여기에서 개시되는 양상들과 관련하여 설명되는 방법 또는 알고리즘의 단계들 및/또는 동작들은 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이들의 조합으로 직접 구현될 수 있다. 추가적으로, 몇몇의 양상들에서, 방법 또는 알고리즘의 단계들 또는 동작들은 기계-판독가능 매체, 또는 컴퓨터-판독가능 매체 상의 코드들 또는 명령들의 세트의 적어도 하나의 또는 임의의 조합으로서 존재할 수 있으며, 이는 컴퓨터 프로그램 물건으로 통합될 수 있다. 여기에서 사용되는 용어 제조물은 임의의 적절한 컴퓨터-판독가능 디바이스 또는 매체로부터 액세스 가능한 컴퓨터 프로그램을 포함하도록 의도된다.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

Claims (8)

1. 내부에서 실행되는 어플리케이션을 포함하는 전자장치에 전기적으로 연결되고, 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서,
   상기 촉각 인터페이스장치로부터의 입력을 상기 어플리케이션으로의 입력으로 변환하는 입력변환단계; 및
   상기 어플리케이션으로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환단계를 포함하고,
   상기 촉각 인터페이스장치는 촉각에 의한 촉각 그래픽을 제공할 수 있고,
   상기 입력변환단계는,
   상기 입력이 터치입력인 경우, 상기 터치입력이 기설정된 복수의 제스처 중 어느 하나와 매칭이 되는 지 여부를 판단하고,
   매칭이 되는 경우에 응답하여, 상기 입력을 매칭된 제스처에 대응되는 상기 어플리케이션으로 입력가능한 명령어로 변환하고,
   상기 출력변환단계는 상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 촉각그래픽데이터로 변환하는 촉각그래픽변환단계를 포함하고,
   상기 촉각그래픽변환단계는,
   상기 어플리케이션으로부터 출력되는 그래픽디스플레이의 일부를 포함하는 포커스영역을 결정하는 포커스영역결정단계;
   상기 포커스영역을 복수의 포커스부분영역으로 구분하는 포커스부분영역구분단계;
   기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각그래픽엘리먼트로 변환하는 촉각그래픽엘리먼트변환단계; 및
   상기 촉각그래픽엘리먼트를 포함하는 촉각그래픽데이터를 생성하는 촉각그래픽데이터생성단계;를 포함하고,
   상기 포커스영역은 사용자의 이전의 입력 중 1 이상에 의하여 결정되는, 촉각 인터페이스장치를 제어하는 방법.
   
2. 삭제
3. 삭제
4. 청구항 1에 있어서,
   상기 촉각 그래픽은 복수의 레이어를 포함하고,
   상기 복수의 포커스부분영역은 상기 복수의 레이어에 대응하고,
   상기 복수의 레이어 중 하나는 사용자가 터치입력으로 지칭한 촉각그래픽엘리먼트의 텍스트 정보를 점자형태로 나타내는 레이어인, 촉각 인터페이스장치를 제어하는 방법.
   
5. 삭제
6. 삭제
7. 삭제
8. 삭제

Images