KR102208635B1 - System and method for supporting feedback settings for interaction type - Google Patents

System and method for supporting feedback settings for interaction type Download PDF

Info

Publication number
KR102208635B1
KR102208635B1 KR1020190005125A KR20190005125A KR102208635B1 KR 102208635 B1 KR102208635 B1 KR 102208635B1 KR 1020190005125 A KR1020190005125 A KR 1020190005125A KR 20190005125 A KR20190005125 A KR 20190005125A KR 102208635 B1 KR102208635 B1 KR 102208635B1
Authority
KR
South Korea
Prior art keywords
interaction type
interaction
feedback
setting
unit
Prior art date
Application number
KR1020190005125A
Other languages
Korean (ko)
Other versions
KR20200088620A (en
Inventor
박정민
이중재
Original Assignee
한국과학기술연구원
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, 재단법인 실감교류인체감응솔루션연구단 filed Critical 한국과학기술연구원
Priority to KR1020190005125A priority Critical patent/KR102208635B1/en
Publication of KR20200088620A publication Critical patent/KR20200088620A/en
Application granted granted Critical
Publication of KR102208635B1 publication Critical patent/KR102208635B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

인터랙션 타입의 피드백 설정을 지원하는 시스템이 제공된다. 인터랙션 타입의 피드백 설정을 지원하는 시스템은 복수의 인터랙션 타입 중 인식 유닛에서 인식된 사용자 행위를 추론 유닛이 추론한 결과에 따른 인터랙션 타입을 선택하여 지원하는 사용자 인터페이스에 적용되는 인터랙션 타입의 피드백 설정을 지원하는 시스템으로, 복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호 및 상기 선택된 적어도 하나 이상의 인터랙션 타입에 대해 피드백 기능 설정을 요청하는 신호에 따라 소스 코드 데이터를 자동으로 생성하는 인터랙션 타입 시각화부; 및 상기 소스 코드 데이터에 대해 상기 피드백 기능 설정을 위한 수정 기능을 제공하는 피드백 기능 설정부를 포함한다.A system that supports interaction-type feedback configuration is provided. The system that supports the feedback setting of the interaction type supports the feedback setting of the interaction type applied to the user interface that supports the user behavior recognized by the recognition unit among a plurality of interaction types by selecting an interaction type based on the inference result of the inference unit. A system comprising: an interaction type visualization unit for automatically generating source code data according to a signal for selecting at least one interaction type from among a plurality of interaction types and a signal for requesting feedback function setting for the selected at least one interaction type; And a feedback function setting unit providing a correction function for setting the feedback function with respect to the source code data.

Description

인터랙션 타입의 피드백 설정을 지원하는 시스템 및 방법{System and method for supporting feedback settings for interaction type}System and method for supporting feedback settings for interaction type {System and method for supporting feedback settings for interaction type}

인터랙션 타입의 피드백 설정을 지원하는 시스템 및 방법에 관한 것으로, 보다 구체적으로, 사용자의 필요에 따라 인터랙션 타입에 다양한 피드백 기능을 설정하거나, 변경할 수 있는 인터랙션 타입의 피드백 설정을 지원하는 시스템 및 방법에 관한 것이다.It relates to a system and method for supporting the feedback setting of an interaction type, and more specifically, to a system and method for supporting the feedback setting of an interaction type that can be changed or set various feedback functions according to the user's needs. will be.

[국가지원 연구개발에 대한 설명][Explanation of nationally supported R&D]

본 연구는 한국연구재단의 관리 하에 과학기술정보통신부의 글로벌프론티어지원(R&D) 사업의 "원격 사용자간 협업을 위한 손 기반 Seamless CoUI 기술 개발에 관한 연구"(과제 고유번호: 1711073470, 세부과제번호: 2011-0031425)의 지원에 의하여 이루어진 것이다.This study is under the management of the National Research Foundation of Korea, "A Study on the Development of Hand-Based Seamless CoUI Technology for Collaboration between Remote Users" of the Global Frontier Support (R&D) Project of the Ministry of Science and ICT. 2011-0031425).

최근 사용자들은 컴퓨터 기술과 장비의 급속한 발전과 더불어 다양한 제품 개발이 이루어짐에 따라 이전과는 다른 다양한 인터랙션을 경험하고 있다. 지금까지 사람과 컴퓨터 간의 효율적이고 개선된 인터랙션(상호작용)을 위한 연구는 꾸준히 진행되어 왔으며, 향후에는 제스처 등의 행위를 기반으로 하여 사용자가 가상 공간에서 3차원 물체와 인터랙션하는 자연스러운 사용자 인터페이스(NUI, Natural User Interface) 분야가 계속해서 발전할 것으로 예측되고 있다.Recently, users are experiencing a variety of interactions different from before as various products are developed along with the rapid development of computer technology and equipment. Until now, research for efficient and improved interaction (interaction) between humans and computers has been steadily progressing, and in the future, a natural user interface (NUI) in which users interact with 3D objects in virtual space based on actions such as gestures. , Natural User Interface) field is expected to continue to develop.

종래, 기존의 인식 모듈 계층(Layer) 위에, 추상화 계층(Abstraction Layer)을 추가하고, 인식 알고리즘들의 결과에 대한 인식 추론(Perceptual Inference)을 사용함으로써 인식 알고리즘 및 어플리케이션에 관련하여 느슨하게 결합된 구현을 가능하게 한 인터랙션 타입을 이용한 사용자 인터페이스가 제안되었다. 즉, 가상 공간에서 수행되는 사용자의 인터랙션은 인터랙션 타입으로 미리 정의되고, 분류될 수 있다. 인터랙션 타입은 인터랙션의 최소 의미 단위로 정의 및 분류될 수 있다. 사용자의 제스처, 음성 등의 사용자 행위를 인식 유닛을 통해 획득하고, 추론 유닛의 알고리즘을 통해 사용자 행위에 대한 인식 결과를 결정하고, 상기 추론 결과에 따라 제공된 인터랙션 타입 중에서 적절한 인터랙션 타입이 선택된다. 선택된 인터랙션 타입에 따라 가상공간의 인터랙션이 수행된다. Conventionally, by adding an abstraction layer on top of the existing recognition module layer and using perceptual inference on the results of recognition algorithms, it is possible to implement a loosely coupled implementation in relation to recognition algorithms and applications. A user interface using the type of interaction that has been made has been proposed. That is, the user's interaction performed in the virtual space may be predefined and classified as an interaction type. The interaction type may be defined and classified as a minimum semantic unit of the interaction. User actions such as gestures and voices of the user are acquired through a recognition unit, a recognition result for the user action is determined through an algorithm of an inference unit, and an appropriate interaction type is selected from among the provided interaction types according to the inference result. The virtual space interaction is performed according to the selected interaction type.

이러한, 인터랙션 타입을 이용한 사용자 인터페이스에서, 인터랙션 타입이 선택되거나, 발생되는 상황에서 피드백 기능이 부가될 수 있다. 예시적으로, 블록을 한손으로 잡는 인터랙션 타입에서, 블록이 정상적으로 잡혀지는 상황에 대한 보상으로 사운드 효과 또는 블록의 색상 변경 등이 피드백 기능이 사용자에게 제공될 수 있다. 즉, 피드백 기능은 인터랙션 타입을 통한 사용자 인터페이스에서 조작의 결과에 맞는 시청각적 반응을 제공하는 것으로 인터랙션이 적절히 수행되고 있는 지를 판단할 수 있는 기준이며 되며, 3차원 공간내에서의 상호 작용에 대한 사용자의 몰입감을 높일 수 있다. In such a user interface using an interaction type, an interaction type may be selected, or a feedback function may be added in a situation in which the interaction type is generated. For example, in an interaction type in which a block is held with one hand, a feedback function such as a sound effect or a color change of a block may be provided to the user as a compensation for a situation in which the block is normally held. In other words, the feedback function provides an audiovisual response that is appropriate for the result of manipulation in the user interface through the interaction type, and is a criterion for determining whether the interaction is properly performed, and the user for interaction in the 3D space You can increase your immersion.

본 발명의 발명자는 이러한 인터랙션 타입에 상술한 피드백 기능을 용이하게 설정을 지원하는 시스템 및 방법을 개발하기에 이르렀다.The inventors of the present invention have come to develop a system and method that supports easily setting the above-described feedback function to such an interaction type.

10-1567995 (2015.11.04)10-1567995 (2015.11.04)

본 발명은 사용자의 필요에 따라 인터랙션 타입의 피드백 기능을 설정하거나, 변경하는 것을 지원하는 시스템 및 방법을 제공한다.The present invention provides a system and method that supports setting or changing an interaction type feedback function according to a user's need.

본 발명의 일 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템은 복수의 인터랙션 타입 중 인식 유닛에서 인식된 사용자 행위를 추론 유닛이 추론한 결과에 따른 인터랙션 타입을 선택하여 지원하는 사용자 인터페이스에 적용되는 인터랙션 타입의 피드백 설정을 지원하는 시스템으로, 복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호 및 상기 선택된 적어도 하나 이상의 인터랙션 타입에 대해 피드백 기능 설정을 요청하는 신호에 따라 소스 코드 데이터를 자동으로 생성하는 인터랙션 타입 시각화부; 및 상기 소스 코드 데이터에 대해 상기 피드백 기능 설정을 위한 수정 기능을 제공하는 피드백 기능 설정부를 포함한다.A system supporting feedback setting of an interaction type according to an embodiment of the present invention is applied to a user interface that supports user actions recognized by a recognition unit among a plurality of interaction types by selecting an interaction type based on a result of inference by the inference unit. A system that supports feedback setting of an interaction type to be used, and source code data is automatically generated according to a signal for selecting at least one or more interaction types among a plurality of interaction types and a signal for requesting feedback function setting for the selected at least one or more interaction types. An interaction type visualization unit that is generated by using; And a feedback function setting unit providing a correction function for setting the feedback function with respect to the source code data.

본 발명의 다른 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 방법은 복수의 인터랙션 타입 중 인식 유닛에서 인식된 사용자 행위를 추론 유닛이 추론한 결과에 따른 인터랙션 타입을 선택하여 지원하는 사용자 인터페이스에 적용되는 인터랙션 타입의 피드백 설정을 지원하는 시스템의 인터랙션 타입의 피드백 설정을 지원하는 방법으로, 복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호를 수신하는 단계; 상기 선택된 적어도 하나 이상의 인터랙션 타입에 대해 피드백 기능 설정을 요청하는 신호를 수신하고, 상기 피드백 기능 설정을 요청하는 신호에 따라 소스 코드 데이터를 자동으로 생성하는 단계; 및 상기 소스 코드 데이터에 대해 상기 피드백 기능이 설정되는 단계를 포함한다.A method of supporting feedback setting of an interaction type according to another embodiment of the present invention is applied to a user interface that supports a user action recognized by a recognition unit among a plurality of interaction types by selecting an interaction type based on a result of inference by the inference unit. What is claimed is: 1. A method of supporting feedback setting of an interaction type of a system supporting setting of a feedback of an interaction type to be set, the method comprising: receiving a signal for selecting at least one interaction type from among a plurality of interaction types; Receiving a signal for requesting feedback function setting for the selected at least one or more interaction types, and automatically generating source code data according to the signal for requesting feedback function setting; And setting the feedback function for the source code data.

본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 상기 인터랙션 타입의 피드백 설정을 지원하는 방법을 실행하도록 매체에 저장된다.A computer program according to another embodiment of the present invention is stored in a medium to execute a method for supporting the interaction type feedback setting by being combined with hardware.

본 발명의 다른 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템 및 방법은 인터랙션 타입의 정보, 추론 유닛 정보, 인식 유닛 정보 및 연결 관계를 시각화하여 화면에 표시하여, 인터랙션 타입의 특성의 분석을 용이하게 한다. 이에 따라 인터랙션 타입 각각에 대한 특성을 고려하여, 피드백 기능을 설정할 인터랙션 타입이 결정될 수 있다.The system and method for supporting the feedback setting of the interaction type according to another embodiment of the present invention visualizes the information of the interaction type, the reasoning unit information, the recognition unit information, and the connection relationship, and displays them on the screen, so that the analysis of the characteristics of the interaction type is performed. To facilitate. Accordingly, an interaction type for setting a feedback function may be determined in consideration of characteristics of each interaction type.

또한, 본 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템 및 방법은 피드백 설정을 원하는 적어도 하나 이상의 인터랙션 타입에 대한 용이한 선택을 제공한다.In addition, the system and method supporting feedback setting of an interaction type according to the present embodiment provides easy selection of at least one interaction type for which feedback setting is desired.

또한, 인터랙션 타입에 대한 소스 코드를 자동으로 생성하며, 소스 코드의 피드백 기능만을 선택적으로 입력하는 것을 제공할 수 있다. In addition, it is possible to automatically generate a source code for an interaction type, and provide selective input of only a feedback function of the source code.

인터랙션의 최소 의미 단위인 각 인터랙션 타입에 피드백을 설정할 수 있게 되므로, 단위 인터랙션 별로 피드백을 부여할 수 있다. Since feedback can be set for each interaction type, which is the smallest semantic unit of interaction, feedback can be given for each unit interaction.

도 1은 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이다.
도 2는 본 발명의 일 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템의 블록도이다.
도 3a 내지 도 3c는 인터랙션 타입 시각화부의 기본 화면을 예시적으로 도시한 것이다.
도 4a 내지 도 4d는 인터랙션 타입 시각화부의 동작 화면을 예시적으로 도시한 것이다.
도 5a 및 도 5b는 소스 코드 데이터의 예시적인 화면을 도시한 것이다.
도 6은 본 발명의 다른 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 방법의 순서도이다.1 is an exemplary view showing a virtual space according to an embodiment of the present invention.
2 is a block diagram of a system supporting configuration of an interaction type feedback according to an embodiment of the present invention.
3A to 3C illustrate a basic screen of an interaction type visualization unit by way of example.
4A to 4D illustrate exemplary operation screens of an interaction type visualization unit.
5A and 5B illustrate exemplary screens of source code data.
6 is a flowchart of a method of supporting feedback setting of an interaction type according to another embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE INVENTION The detailed description of the present invention described below refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail enough to enable a person skilled in the art to practice the present invention. The various embodiments of the present invention are different from each other, but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the present invention in relation to one embodiment. Further, the position or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description to be described below is not described in a limiting sense, and the scope of the present invention is limited only by the appended claims along with all scopes equivalent to those claimed by the claims. Like reference numerals in the drawings refer to the same or similar functions in various aspects.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in the present specification have selected general terms that are currently widely used as possible while considering functions, but this may vary according to the intention or custom of a technician working in the art, or the emergence of new technologies. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in the description of the corresponding specification. Accordingly, terms used in the present specification should be interpreted based on the actual meaning of the term and the entire contents of the present specification, not a simple name of the term.

도 1은 본 발명의 일 실시예에 따른 가상 공간을 나타낸 예시도이다. 1 is an exemplary view showing a virtual space according to an embodiment of the present invention.

도 1을 참조하면, 가상 공간은 적어도 한 명 이상의 사용자가 참여할 수 있는 가상 공간 콘텐츠를 포함할 수 있다. 가상 공간은 소정의 물리량을 가진 복수의 가상 모델이 구현될 수 있다. 가상 모델은 가상 공간상에서 사용자의 신체 일부 또는 실제 물체와 근사하게 물리적인 운동을 수행하도록 구현될 수 있다. 가상 모델은 그래픽 정보와 물리 정보를 포함할 수 있다. 여기서, 그래픽 정보는 가상 모델을 가상 공간에 렌더링하기 위한 정보일 수 있으며, 물리 정보는 가상 물체의 물리 법칙을 적용하기 위한 물리량 및 다른 물리 정보를 가진 가상 물체와의 접촉을 인식하는 접촉 포인트 등에 관한 정보일 수 있다. 예시적으로, 가상 물체의 접촉 포인트는 메쉬 형태로 구성될 수 있으며, 가상 물체간의 접촉은 이러한 메쉬 포인트의 접촉으로 인식될 수 있다. 가상 공간은 가상 블록을 활용한 블록 놀이가 가능한 공간일 수 있으나, 이에 한정되는 것은 아니며 체스 게임을 수행할 수 있는 게임 공간 또는 사무 업무를 처리하는 가상 오피스일 수도 있다. 이러한 가상 공간은 가상 공간 제공 시스템을 통해 제공될 수 있다. 즉, 본 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템은 가상 공간 제공 시스템에 적용되는 인터페이스의 응용 개발을 지원하는 시스템일 수 있다.Referring to FIG. 1, the virtual space may include virtual space content in which at least one or more users can participate. In the virtual space, a plurality of virtual models having a predetermined physical quantity may be implemented. The virtual model may be implemented to perform a physical motion approximating a user's body part or an actual object in a virtual space. The virtual model may include graphic information and physical information. Here, the graphic information may be information for rendering a virtual model in a virtual space, and the physical information is a contact point for recognizing a contact with a virtual object having a physical quantity and other physical information for applying the physical law of the virtual object. It could be information. For example, a contact point of a virtual object may be configured in a mesh shape, and a contact between virtual objects may be recognized as a contact of the mesh point. The virtual space may be a space in which block play using virtual blocks is possible, but is not limited thereto, and may be a game space in which a chess game can be performed or a virtual office that processes office work. Such a virtual space may be provided through a virtual space providing system. That is, the system supporting the feedback setting of the interaction type according to the present embodiment may be a system supporting application development of an interface applied to the virtual space providing system.

가상 공간 제공 시스템이 제공하는 가상공간에서 발생할 수 있는 인터랙션은 인터랙션 타입(Interaction type)으로 미리 분류될 수 있다. 인터랙션 타입은 인터랙션의 최소 의미 단위로 정의 및 분류될 수 있다. 인터랙션 타입은 인터랙션을 기술(Descript)할 수 있는 상위 레벨의 추상적 설명(High-level abstract description)을 의미할 수 있다. 인터랙션 타입은 인식의 레벨뿐만 아니라, 해석, 의도 및 행동에 관련된 다른 레벨들이 포함될 수 있다. 인터랙션 타입은 단순히 사람의 제스처를 인식하여 발생되는 사람과 가상 물체 사이의 상호작용을 의미하는 것이 아니라, 사람이 가상 물체에 부여한 의미 있는 행위 상태가 정의된 것으로 볼 수 있다.Interactions that may occur in a virtual space provided by the virtual space providing system may be classified in advance into an interaction type. The interaction type may be defined and classified as a minimum semantic unit of the interaction. The interaction type may mean a high-level abstract description capable of describing the interaction. The interaction type may include not only the level of perception, but also other levels related to interpretation, intention and behavior. The interaction type does not simply mean an interaction between a person and a virtual object that occurs by recognizing a person's gesture, but it can be viewed as defining a meaningful state of action that a person gives to the virtual object.

예시적으로, 사용자가 특정 물체를 조작하는 경우 정의될 수 있는 인터랙션 타입은 접근(Approach), 물러남(Withdraw), 응시(Eye Gaze), 잡기(Grasp), 이동(Translation) 및 회전(Rotation) 등을 포함할 수 있다. 또한, 가상 공간 상에서 특정 사용자가 다른 사용자에게 설명을 하는 경우 정의될 수 있는 인터랙션 타입은 가리킴(Pointing), 기호(Ideograph) 및 응시(Eye Gaze) 등을 포함할 수 있다.For example, when a user manipulates a specific object, the interaction types that can be defined are Approach, Withdraw, Eye Gaze, Grasp, Translation, and Rotation. It may include. In addition, when a specific user explains to another user in a virtual space, interaction types that can be defined may include pointing, ideograph, and eye gaze.

이러한, 인터랙션 타입은 사용자 인터페이스로써 사용자에게 제공될 수 있다. 사용자의 제스처, 음성 등의 사용자 행위를 인식 유닛을 통해 획득하고, 사용자 입력에 대한 인식 결과를 추론 유닛의 복수의 알고리즘을 통해 추론하여, 복수의 인터랙션 타입 중에서, 가장 적절한 인터랙션 타입이 가상 공간 제공 시스템에 구현된다.Such an interaction type may be provided to a user as a user interface. A system that acquires user actions such as gestures and voices of the user through a recognition unit, and infers the recognition result of the user input through a plurality of algorithms of the inference unit, and among the plurality of interaction types, the most appropriate interaction type is a virtual space providing system. Is implemented in

인식 유닛은 사용자의 동작을 인식하는 장치, 시스템을 의미한다. 예시적으로, 인식 유닛은 사용자의 손가락을 추적하는 장치(Fingertip Tracker), 사용자의 머리를 추적하는 장치(Head Tracker) 등일 수 있으나, 이에 한정되는 것은 아니다. 추론 유닛은 인식 유닛에 의해 인식된 결과의 의미를 추론하기 위한 알고리즘에 해당한다. 인식 유닛과 추론 유닛은 대응 관계가 정의되어 있으며, 추론 유닛은 특정 인터랙션 타입과도 대응 관계를 형성할 수 있다. 즉, 추론 유닛은 대응된 인식 유닛에서 인식된 결과를 추론하여 사용자의 특정 인터랙션을 수행하였는지 여부를 결정할 수 있다. 추론 결과에 따라 결정된 인터랙션 타입에 따른 인터랙션이 가상 공간에 반영될 수 있다. 예시적으로, 핑거팁 트래커(인식 유닛)는 손가락의 변화를 추적한 결과를 Grasp 인터랙션 타입과 관계된 IUGrasp(추론 유닛)에 제공한다. IUGrasp(추론 유닛)는 인식 결과로부터 추론하여 Grasp 인터랙션이 발생되었는지 여부를 결정한다. IUGrasp(추론 유닛)의 추론 결과에 따라 Grasp 인터랙션 타입이 결정되어 잡는 동작이 가상 공간에 반영된다. 또한, 추론 유닛은 다른 추론 유닛과 대응 관계를 형성할 수 있다. 즉, 선행하는 추론 유닛은 후행하는 추론 유닛이 추론 하는 동작 여부를 파악하기 위한 전제일 수 있다. 예시적으로, 특정 물체를 임의의 구멍에 끼워넣기 위해서 물체는 잡는 동작이 선행하여야 하므로, IUGrasp(추론 유닛)은 Adjust 인터랙션 타입과 관계된 IUAdjust(추론 유닛)에 선행하는 추론 유닛일 수 있다.The recognition unit refers to a device or system that recognizes a user's motion. For example, the recognition unit may be a device that tracks a user's finger (Fingertip Tracker), a device that tracks the user's head (Head Tracker), but is not limited thereto. The inference unit corresponds to an algorithm for inferring the meaning of a result recognized by the recognition unit. A correspondence relationship is defined between the recognition unit and the reasoning unit, and the reasoning unit may also form a correspondence relationship with a specific interaction type. That is, the inference unit may infer a result recognized by the corresponding recognition unit to determine whether a specific interaction of the user has been performed. The interaction according to the interaction type determined according to the inference result may be reflected in the virtual space. For example, the finger tip tracker (recognition unit) provides the result of tracking the change of the finger to the IUGrasp (inference unit) related to the Grasp interaction type. The IUGrasp (inference unit) infers from the recognition result and determines whether a Grasp interaction has occurred. The Grasp interaction type is determined according to the inference result of the IUGrasp (inference unit), and the grabbing motion is reflected in the virtual space. Also, the reasoning unit may form a corresponding relationship with another reasoning unit. That is, the preceding inference unit may be a prerequisite for determining whether or not the following inference unit infers. For example, in order to insert a specific object into an arbitrary hole, the object must be grabbed beforehand, so the IUGrasp (inference unit) may be a reasoning unit preceding the IUAdjust (inference unit) related to the Adjust interaction type.

또한, 인터랙션 타입에 적합한 피드백이 설정될 수 있으며, 특정한 상황에서 피드백이 사용자에게 제공될 수 있다. 예시적으로, 블록을 한손으로 잡는 인터랙션 타입에서, 블록이 정상적으로 잡혀지는 상황에 대한 보상으로 사운드 효과 또는 블록의 색상 변경 등의 피드백이 사용자에게 제공될 수 있다. 즉, 피드백은 인터랙션 타입을 통한 사용자 인터페이스에서 조작의 결과에 적절한 시청각적 반응을 제공하는 것으로 인터랙션이 적절히 수행되고 있는지를 판단할 수 있는 기준이며 되며, 3차원 공간내에서의 상호 작용에 대한 사용자의 몰입감을 보다 높일 수 있다.In addition, feedback suitable for the interaction type may be set, and feedback may be provided to the user in a specific situation. For example, in an interaction type in which a block is held with one hand, feedback such as a sound effect or a color change of the block may be provided to the user as a compensation for a situation in which the block is normally held. In other words, feedback is a criterion for determining whether an interaction is properly performed by providing an appropriate audio-visual response to the result of an operation in the user interface through the interaction type. You can increase your sense of immersion.

즉, 가상공간 내에서 효과적인 상호 작용을 위해서 다양한 종류의 인터랙션 타입을 개발하는 것뿐만 아니라, 인터랙션 타입에 대한 피드백을 다양하게 제공하는 것은 인터랙션 타입의 피드백 설정을 지원하는 시스템에 요구되는 중요한 기능에 해당한다. 이하, 본 발명의 일 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템에 대해 보다 상세히 설명하도록 한다.In other words, not only developing various types of interaction types for effective interaction in a virtual space, but also providing various feedbacks for interaction types corresponds to an important function required for a system that supports interaction type feedback settings. do. Hereinafter, a system that supports feedback setting of an interaction type according to an embodiment of the present invention will be described in more detail.

도 2는 본 발명의 일 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템의 블록도이다. 도 3a 내지 도 3c는 인터랙션 타입 시각화부의 기본 화면을 예시적으로 도시한 것이다. 도 4a 내지 도 4d는 인터랙션 타입 시각화부의 동작 화면을 예시적으로 도시한 것이다. 도 5a 및 도 5b는 소스 코드 데이터의 예시적인 화면을 도시한 것이다. 2 is a block diagram of a system supporting configuration of an interaction type feedback according to an embodiment of the present invention. 3A to 3C are exemplary basic screens of an interaction type visualization unit. 4A to 4D illustrate exemplary operation screens of an interaction type visualization unit. 5A and 5B illustrate exemplary screens of source code data.

도 2 내지 도 5b를 참조하면, 본 발명의 일 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템(10)은 인터랙션 타입 시각화부(100), 피드백 기능 설정부(110) 및 데이터 베이스부(120)를 포함한다.2 to 5B, a system 10 supporting an interaction type feedback setting according to an embodiment of the present invention includes an interaction type visualization unit 100, a feedback function setting unit 110, and a database unit ( 120).

실시예들에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템(10) 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 발명의 일 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템(10)의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭한다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 인터랙션 타입 시각화부(100)는, 인터랙션 타입을 시각화하여 화면에 표시하기 위한 하드웨어 및 이를 위한 소프트웨어의 조합을 지칭할 수 있다. 또한, 본 명세서에서 인터랙션 타입의 피드백 설정을 지원하는 시스템(10)을 구성하는 각 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 즉, 도 2에서 인터랙션 타입의 피드백 설정을 지원하는 시스템(10)의 각 부는 서로 구분되는 별개의 블록으로 도시되었으나, 이는 인터랙션 타입의 피드백 설정을 지원하는 시스템(10)을 이에 의해 실행되는 동작에 의해 기능적으로 구분한 것이다. 실시예에 따라서는 전술한 각 부 중 일부 또는 전부가 동일한 하나의 장치 내에 집적화될 수 있으며, 또는 하나 이상의 부가 다른 부와 물리적으로 구분되는 별개의 장치로 구현될 수도 있다. 예컨대, 각각의 부는 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결된 컴포넌트들일 수도 있다.The system 10 supporting the feedback setting of the interaction type according to the embodiments and each device or unit constituting the same may have an aspect that is entirely hardware, or partially hardware and partially software. For example, each component of the system 10 supporting the interaction type feedback setting according to an embodiment of the present invention refers to a combination of hardware and software driven by the hardware. The hardware may be a data processing device including a CPU (Central Processing Unit) or another processor. In addition, software driven by hardware may refer to an executing process, an object, an executable file, a thread of execution, a program, and the like. For example, the interaction type visualization unit 100 may refer to a combination of hardware and software for visualizing the interaction type and displaying it on a screen. In addition, in the present specification, each unit constituting the system 10 supporting the interaction type feedback setting is not intended to refer to a separate component that is physically classified. That is, in FIG. 2, each unit of the system 10 supporting the interaction type feedback setting is shown as a separate block, which is distinguished from each other, but this means that the system 10 supporting the interaction type feedback setting is It is functionally classified by Depending on the embodiment, some or all of the above-described units may be integrated into the same single device, or one or more units may be implemented as separate devices that are physically separated from other units. For example, each unit may be components that are communicatively connected to each other in a distributed computing environment.

인터랙션 타입 시각화부(100)는 인터랙션 타입(Interaction Type) 정보를 화면부에 표시한다. 인터랙션 타입의 피드백 설정을 지원하는 시스템(10)은 인터랙션 타입 시각화부(100)의 동작 상태를 표시하는 화면부(미도시) 및 사용자의 입력 신호를 수신하는 입력부(미도시)를 더 포함한다. 화면부는 디스플레이 장치일 수 있고, 입력부는 마우스, 키보드 등과 같은 입력 장치일 수 있으나, 이에 한정되는 것은 아니다. The interaction type visualization unit 100 displays interaction type information on the screen. The system 10 supporting the interaction type feedback setting further includes a screen unit (not shown) for displaying the operation state of the interaction type visualization unit 100 and an input unit (not shown) for receiving an input signal from a user. The screen unit may be a display device, and the input unit may be an input device such as a mouse or a keyboard, but is not limited thereto.

인터랙션 타입 시각화부(100)는 인터랙션 타입(Interaction Type) 정보, 인식 유닛 정보, 추론 유닛 정보를 화면에 시각화하여 표시할 수 있다. 인터랙션 타입 시각화부(100)는 피드백 기능을 설정할 인터랙션 타입에 대한 작업 공간을 제공할 수 있다. 인터랙션 타입 시각화부(100)를 통해 선택된 적어도 하나 이상의 인터랙션 타입은 피드백 기능이 함께 설정될 수 있다. 인터랙션 타입 시각화부(100)는 인터랙션 타입의 아이콘, 추론 유닛의 아이콘, 인식 유닛의 아이콘이 표시되는 제1 윈도우 및 인터랙션 타입, 인식 유닛, 추론 유닛의 연결 관계를 도시되는 제2 윈도우를 제공한다. 제1 윈도우와 제2 윈도우는 화면부에 구획된 별도의 영역으로 각각 표시될 수 있다. 또한, 제1 윈도우는 인터랙션 타입 정보를 표시하는 인터랙션 타입 탭, 추론 유닛 정보를 표시하는 추론 유닛 탭, 인식 유닛 정보를 표시하는 인식 유닛 탭을 포함한다. 각 탭을 선택함에 따라 대응되는 정보가 화면에 표시될 수 있다. 인터랙션 타입, 인식 유닛, 추론 유닛에 대한 정보는 데이터베이스(120)에 미리 저장된 정보로부터 독출(read-out)될 수 있다. The interaction type visualization unit 100 may visualize and display interaction type information, recognition unit information, and reasoning unit information on a screen. The interaction type visualization unit 100 may provide a work space for an interaction type for setting a feedback function. At least one or more interaction types selected through the interaction type visualization unit 100 may have a feedback function set together. The interaction type visualization unit 100 provides a first window in which an icon of an interaction type, an icon of an inference unit, an icon of a recognition unit is displayed, and a second window showing a connection relationship between an interaction type, a recognition unit, and an inference unit. The first window and the second window may be displayed as separate areas partitioned on the screen. In addition, the first window includes an interaction type tab that displays interaction type information, an inference unit tab that displays inference unit information, and a recognition unit tab that displays recognition unit information. As each tab is selected, corresponding information may be displayed on the screen. Information about the interaction type, recognition unit, and inference unit may be read out from information previously stored in the database 120.

도 3a는 인터랙션 타입 탭이 선택된 화면을 도시하며, 도 3a에 도시된 바와 같이, 인터랙션 타입은 Adjust, Grasp, Approach, Handover, Attach, Look At, Detach, Lift Down 등이 있으며, 이러한 인터랙션 타입(Interaction Type) 정보는 시각화된 정보로 화면에 표시될 수 있다. 인터랙션 타입 정보는 적어도 인터랙션 타입의 명칭, 관계가 형성된 추론 유닛에 대한 정보 및 해당 인터랙션을 나타내는 아이콘을 포함한다.3A shows a screen in which the interaction type tab is selected, and as shown in FIG. 3A, the interaction type includes Adjust, Grasp, Approach, Handover, Attach, Look At, Detach, Lift Down, etc., and such an interaction type (Interaction Type) information may be displayed on the screen as visualized information. The interaction type information includes at least the name of the interaction type, information on the inference unit in which the relationship is formed, and an icon representing the corresponding interaction.

또한, 도 3b는 추론 유닛 탭이 선택된 화면을 도시하며, 도 3b에 도시된 바와 같이, 추론 유닛(Inference Unit) 정보도 시각화된 정보로 화면에 표시될 수 있다. 추론 유닛 정보는 적어도 추론 유닛의 명칭, 관계가 형성된 인터랙션 타입, 인식 유닛에 대한 정보, 추론 알고리즘에 대한 정보, 해당 추론 유닛을 나타내는 아이콘을 포함한다. In addition, FIG. 3B shows a screen in which the inference unit tab is selected, and as shown in FIG. 3B, inference unit information may also be displayed on the screen as visualized information. The reasoning unit information includes at least the name of the reasoning unit, the interaction type in which the relationship is formed, information about the recognition unit, information about the reasoning algorithm, and an icon representing the corresponding reasoning unit.

그리고, 도 3c는 인식 유닛 탭이 선택된 화면을 도시하며, 도 3c에 도시된 바와 같이, 인식 유닛(Perception Unit) 정보도 시각화되어 화면에 표시될 수 있다. 인식 유닛 정보는 적어도 인식 유닛의 명칭, 관계가 형성된 추론 유닛에 대한 정보, 인식 유닛을 나타내는 아이콘을 포함한다.In addition, FIG. 3C shows a screen in which the recognition unit tab is selected, and as shown in FIG. 3C, perception unit information may also be visualized and displayed on the screen. The recognition unit information includes at least the name of the recognition unit, information on the inference unit in which the relationship is formed, and an icon representing the recognition unit.

본 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템(10)을 사용하는 사용자는 시각화된 인터랙션 타입의 정보, 추론 유닛 정보, 인식 유닛 정보를 통해 용이하게 인터랙션 타입 각각에 대한 특성을 파악할 수 있다. 따라서, 인터랙션 타입 각각에 대한 특성을 고려하여, 각 인터랙션 타입에 적합한 피드백을 설정할 수 있다. A user who uses the system 10 supporting the interaction type feedback setting according to the present embodiment can easily grasp the characteristics of each interaction type through the visualized interaction type information, inference unit information, and recognition unit information. . Accordingly, it is possible to set a suitable feedback for each interaction type in consideration of the characteristics of each interaction type.

또한, 본 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템(10)은 피드백 설정을 원하는 인터랙션 타입에 대한 용이한 선택을 제공한다. 즉, 제1 윈도우에 표시된 아이콘을 선택함으로써 피드백 설정을 원하는 인터랙션 타입이 선택될 수 있다. 사용자는 인터랙션 타입의 아이콘, 추론 유닛의 아이콘, 인식 유닛의 아이콘 중 적어도 하나 이상을 선택하는 신호를 입력부를 통해 인터랙션 타입 시각화부(100)에 제공할 수 있다. 제2 윈도우는 제1 윈도우에서 선택된 아이콘에 대응하는 인터랙션 타입, 인식 유닛, 추론 유닛을 표시하며, 이들 간의 연관 관계도 표시할 수 있다.In addition, the system 10 supporting feedback setting of an interaction type according to the present embodiment provides easy selection of an interaction type for which feedback setting is desired. That is, by selecting an icon displayed in the first window, an interaction type for which a feedback setting is desired may be selected. The user may provide a signal for selecting at least one of an icon of an interaction type, an icon of an inference unit, and an icon of a recognition unit to the interaction type visualization unit 100 through an input unit. The second window displays an interaction type, a recognition unit, and an inference unit corresponding to the icon selected in the first window, and may also display a relationship between them.

도 4a 내지 도 4c는 제1 윈도우에 표시된 인터랙션 타입의 아이콘 중 피드백 설정을 원하는 복수의 인터랙션 타입을 차례대로 선택하는 과정을 도시한다.4A to 4C illustrate a process of sequentially selecting a plurality of interaction types for which feedback is desired from among the interaction type icons displayed in the first window.

도 4a는 제1 윈도우에 표시된 인터랙션 타입의 아이콘 중 ITypeBiPull이 선택된 동작 화면을 예시적으로 도시한 것이다. ITypeBiPull이 선택됨에 따라 이에 대응되는 인터랙션 타입(Bi-Pull, 양손으로 잡고 당기는 동작), 인식 유닛(Head Tracker), 추론 유닛(IUBi-Grasp, IUBi-Pull)이 제2 윈도우에 표시되며, 이들의 연관 관계도 표시된다. 4A is an exemplary diagram illustrating an operation screen in which ITypeBiPull is selected among the icons of the interaction type displayed on the first window. As ITypeBiPull is selected, the corresponding interaction type (Bi-Pull, an action to hold and pull with both hands), recognition unit (Head Tracker), and inference unit (IUBi-Grasp, IUBi-Pull) is displayed in the second window. Associations are also displayed.

도 4b는 제1 윈도우에 표시된 인터랙션 타입의 아이콘 중 ITypeLiftUp이 선택된 동작 화면을 예시적으로 도시한 것이다. ITypeLiftUp이 선택됨에 따라 이에 대응되는 인터랙션 타입(Lift Up), 인식 유닛(3GearHand Tracker), 추론 유닛(IUGrasp, IULiftUp)이 제2 윈도우에 표시되며, 이들의 연관 관계도 표시된다. 여기서, 제2 윈도우는 기 선택된 인터랙션 타입의 아이콘에 대응하는 인터랙션 타입(Bi-Pull, 양손으로 잡고 당기는 동작), 인식 유닛(3GearHand Tracker), 추론 유닛(IUBi-Grasp, IUBi-Pull)을 계속 표시할 수 있다. 즉, ITypeLiftUp이 선택되더라도 ITypeBiPull에 대응하는 인터랙션 타입, 인식 유닛, 추론 유닛은 제2 윈도우에 계속하여 표시될 수 있다. 또한, 선택된 인터랙션 타입의 아이콘에서 중복되는 인식 유닛, 추론 유닛이 있는 경우, 중복하여 표시하지 않고 종래 표시된 상태에서 연결 관계만을 도시할 수 있다. 즉, 도 4b에 도시된 바와 같이, ITypeBiPull, ITypeLiftUp은 동일한 인식 유닛(3GearHand Tracker)에서 시작되는 인터랙션 타입일 수 있는 바, 인식 유닛(3GearHand Tracker)는 중복되지 않고 하나만 표시될 수 있다.4B is an exemplary diagram illustrating an operation screen in which ITypeLiftUp is selected from among the interaction type icons displayed in the first window. As ITypeLiftUp is selected, the corresponding interaction type (Lift Up), recognition unit (3GearHand Tracker), and inference unit (IUGrasp, IULiftUp) are displayed in the second window, and their associations are also displayed. Here, the second window continues to display the interaction type (Bi-Pull, an action of holding and pulling with both hands), the recognition unit (3GearHand Tracker), and the reasoning unit (IUBi-Grasp, IUBi-Pull) corresponding to the icon of the previously selected interaction type. can do. That is, even if ITypeLiftUp is selected, the interaction type, recognition unit, and inference unit corresponding to ITypeBiPull may be continuously displayed in the second window. In addition, when there are overlapping recognition units and inference units in the selected interaction type icon, only the connection relationship may be shown in a conventionally displayed state without overlapping display. That is, as shown in FIG. 4B, ITypeBiPull and ITypeLiftUp may be interaction types starting from the same recognition unit (3GearHand Tracker), and only one recognition unit (3GearHand Tracker) may be displayed without overlapping.

도 4c는 제1 윈도우에 표시된 인터랙션 타입의 아이콘 중 ITypeInterPGrasp이 선택된 동작 화면을 예시적으로 도시한 것이다. ITypeInterPGrasp이 선택됨에 따라 이에 대응되는 인터랙션 타입, 인식 유닛(3GearHand Tracker), 추론 유닛(IUInterP Grasp)이 제2 윈도우에 표시되며, 이들의 연관 관계도 표시된다. 상술한 바와 같이, 종래 선택된 ITypeLiftUp, ITypeBiPull에 각각 대응되는 인터랙션 타입, 인식 유닛, 추론 유닛은 제2 윈도우에 계속하여 표시되며, 중복되는 인식 유닛, 추론 유닛은 종래 표시된 유닛이 활용된다.4C is an exemplary diagram illustrating an operation screen in which ITypeInterPGrasp is selected from among the interaction type icons displayed in the first window. As ITypeInterPGrasp is selected, the corresponding interaction type, recognition unit (3GearHand Tracker), and inference unit (IUInterP Grasp) are displayed in the second window, and their associations are also displayed. As described above, the interaction type, recognition unit, and inference unit corresponding to the conventionally selected ITypeLiftUp and ITypeBiPull, respectively, are continuously displayed in the second window, and the overlapping recognition units and inference units are conventionally displayed units.

즉, 사용자는 제2 윈도우에 도시되는 선택된 아이콘에 대응하는 인터랙션 타입, 인식 유닛, 추론 유닛들의 연관 관계 및 특성을 보다 용이하게 확인할 수 있으며, 이러한 정보를 바탕으로 인터랙션 타입에 설정할 피드백 기능이 설정될 수 있다.That is, the user can more easily check the relationship and characteristics of the interaction type, recognition unit, and inference unit corresponding to the selected icon shown in the second window, and a feedback function to be set for the interaction type can be set based on this information. I can.

인터랙션 타입 시각화부(100)는 복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호 및 상기 선택된 적어도 하나 이상의 인터랙션 타입에 대해 피드백 기능 설정을 요청하는 신호에 따라 소스 코드 데이터를 자동으로 생성할 수 있다. 피드백 기능을 설정할 인터랙션 타입에 대한 선택이 완료된 경우, 사용자는 피드백 기능 설정을 요청하는 신호를 입력부를 통해 인터랙션 타입 시각화부(100)에 제공할 수 있다. 도 4d에 도시된 바와 같이, 피드백 기능 설정을 요청하는 신호는 툴바에 설정된 생성 버튼(G 버튼)을 클릭하면 팝업 윈도우가 생성될 수 있다. 팝업 윈도우는 생성될 소스 코드 데이터의 명칭을 입력하고, 유형을 선택하는 것을 요청할 수 있다. 명칭의 입력과 유형의 선택 이후, 팝업 윈도우의 생성(Generate) 버튼을 클릭함에 따라, 소스 코드 데이터가 생성될 수 있다. 인터랙션 타입 시각화부(100)이 제공하는 시스템 환경은 XML 기반의 환경일 수 있으며, 인터랙션 타입 시각화부(100)는 XML로 정의된 인터페이스 정의 문서를 해석하여 인터랙션 응용의 구현에 필요한 소스 코드 데이터를 자동으로 생성할 수 있다. 생성된 소스 코드 데이터는 데이터베이스(120)에 저장될 수 있다.The interaction type visualization unit 100 may automatically generate source code data according to a signal for selecting at least one or more interaction types among a plurality of interaction types and a signal for requesting feedback function setting for the selected at least one or more interaction types. have. When the selection of the interaction type for setting the feedback function is completed, the user may provide a signal requesting the setting of the feedback function to the interaction type visualization unit 100 through the input unit. As shown in FIG. 4D, a pop-up window may be generated when a signal for requesting feedback function setting is clicked on a generating button (G button) set in a toolbar. The pop-up window may request to input the name of the source code data to be generated and select a type. After inputting a name and selecting a type, source code data may be generated by clicking the Generate button of a pop-up window. The system environment provided by the interaction type visualization unit 100 may be an XML-based environment, and the interaction type visualization unit 100 automatically analyzes the interface definition document defined in XML to automatically generate source code data necessary for the implementation of the interaction application. Can be created with The generated source code data may be stored in the database 120.

피드백 기능 설정부(110)는 소스 코드 데이터에 대해 피드백 기능 설정을 위한 수정 기능을 제공한다. 피드백 기능 설정부(110)는 인터랙션 타입 시각화부(100)에서 생성된 소스 코드 데이터를 호출하여 화면에 표시할 수 있으며, 소스 코드에 대한 수정 기능을 제공한다. 구체적으로, 피드백 기능 설정부(110)는 소스 코드에 피드백 기능을 새로 입력하거나 수정하는 기능을 제공한다.The feedback function setting unit 110 provides a correction function for setting a feedback function for source code data. The feedback function setting unit 110 may call and display the source code data generated by the interaction type visualization unit 100 on a screen, and provide a function to modify the source code. Specifically, the feedback function setting unit 110 provides a function of newly inputting or modifying a feedback function in the source code.

소스 코드 데이터는 선택된 인터랙션 타입의 Handler인 인터랙션 타입 함수를 포함할 수 있다. 선택된 인터랙션 타입이 복수인 경우, 소스 코드 데이터는 선택된 복수의 인터랙션 타입 각각의 함수를 포함할 수 있다. 도 5a는 ITypeGrasp이 선택된 소스 코드 데이터를 호출한 예시적인 화면이며, 소스 코드 데이터는 ITypeGrasp 함수를 포함할 수 있다. 피드백 기능은 ITypeGrasp 함수 내에 입력될 수 있다. The source code data may include an interaction type function that is a Handler of the selected interaction type. When there are a plurality of selected interaction types, the source code data may include functions of each of the selected plurality of interaction types. 5A is an exemplary screen in which ITypeGrasp calls the selected source code data, and the source code data may include an ITypeGrasp function. The feedback function can be input into the ITypeGrasp function.

피드백 기능 설정부(110)에서 제공하는 수정 화면을 통해 사용자는 ITypeGrasp 함수 내에 피드백 기능을 입력할 수 있다. 도 5b는 OnITypeBiPull 함수의 내부에 PlaySoundEffect(5)라는 피드백 기능을 설정한 소스 코드 데이터의 예시적인 화면이다. 소스 코드 내에 복수의 인터랙션 타입 함수 내에 피드백 기능은 각각 입력될 수 있다. 즉, 복수의 인터랙션 타입 함수에 입력되는 피드백 및 피드백의 속성은 사용자의 입력에 따라 달라질 수 있다. 또한, 인터랙션 타입 함수에 피드백 기능이 종래 설정된 상태인 경우, 사용자는 해당 피드백 기능을 삭제하고 이와 다른 피드백 기능을 새로 입력할 수도 있다. 피드백 기능 설정부(110)는 사용자의 입력이 완료된 이후 피드백 기능이 반영된 인터랙션 타입 데이터를 생성할 수 있다.The user may input a feedback function in the ITypeGrasp function through the correction screen provided by the feedback function setting unit 110. 5B is an exemplary screen of source code data in which a feedback function called PlaySoundEffect(5) is set inside an OnITypeBiPull function. Each of the feedback functions may be input into a plurality of interaction type functions in the source code. That is, feedback input to the plurality of interaction type functions and properties of the feedback may vary according to user input. In addition, when the feedback function is previously set in the interaction type function, the user may delete the feedback function and newly input a different feedback function. The feedback function setting unit 110 may generate interaction type data reflecting the feedback function after the user's input is completed.

데이터 베이스부(120)는 인터랙션 타입 시각화부(100)에서 생성된 소스 코드 데이터 및 피드백 기능 설정부(110)에서 생성된 피드백 기능이 반영된 인터랙션 타입 데이터를 저장한다. 데이터 베이스부(120)는 가상 공간 제공 시스템과 연결될 수 있으며, 피드백 기능이 반영된 인터랙션 타입은 가상 공간 제공 시스템에 반영될 수 있다. The database unit 120 stores source code data generated by the interaction type visualization unit 100 and interaction type data reflecting the feedback function generated by the feedback function setting unit 110. The database unit 120 may be connected to the virtual space providing system, and the interaction type reflecting the feedback function may be reflected in the virtual space providing system.

본 발명의 다른 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템은 인터랙션 타입의 정보, 추론 유닛 정보, 인식 유닛 정보 및 연결 관계를 시각화하여 화면에 표시하여, 인터랙션 타입의 특성의 분석을 용이하게 한다. 이에 따라 인터랙션 타입 각각에 대한 특성을 고려하여, 각 인터랙션 타입에 적합한 피드백을 설정할 수 있다. The system supporting the feedback setting of the interaction type according to another embodiment of the present invention visualizes the information of the interaction type, the reasoning unit information, the recognition unit information, and the connection relationship, and displays it on the screen to facilitate analysis of the characteristics of the interaction type. do. Accordingly, it is possible to set a suitable feedback for each interaction type in consideration of the characteristics of each interaction type.

또한, 본 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템은 피드백 설정을 원하는 적어도 하나 이상의 인터랙션 타입에 대한 용이한 선택을 제공한다.In addition, the system supporting feedback setting of an interaction type according to the present embodiment provides easy selection of at least one interaction type for which feedback setting is desired.

또한, 인터랙션 타입에 대한 소스 코드를 자동으로 생성하며, 소스 코드에 피드백 기능 만을 선택적으로 입력하는 것을 제공할 수 있다. 이에 따라, 인터랙션 타입의 피드백 설정이 지원될 수 있다.In addition, it is possible to automatically generate the source code for the interaction type, and provide selective input of only the feedback function to the source code. Accordingly, feedback setting of an interaction type may be supported.

도 6은 본 발명의 다른 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 방법의 순서도이다. 본 실시예에 따른 방법은 도 2 내지 도 5b에 따른 인터랙션 타입의 피드백 설정을 지원하는 시스템에서 수행되는 인터랙션 타입의 피드백 설정을 지원하는 방법으로 중복되는 설명은 생략한다.6 is a flowchart of a method of supporting feedback setting of an interaction type according to another embodiment of the present invention. The method according to the present embodiment is a method of supporting the feedback setting of the interaction type performed in the system supporting the feedback setting of the interaction type according to FIGS. 2 to 5B, and a duplicate description will be omitted.

도 6을 참조하면, 본 실시예에 따른 인터랙션 타입의 피드백 설정을 지원하는 방법은 복수의 인터랙션 타입 중 인식 유닛에서 인식된 사용자 행위를 추론 유닛이 추론한 결과에 따른 인터랙션 타입을 선택하여 지원하는 사용자 인터페이스에 적용되는 인터랙션 타입의 피드백 설정을 지원하는 시스템의 인터랙션 타입의 피드백 설정을 지원하는 방법으로, 복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호를 수신하는 단계(S100), 상기 선택된 적어도 하나 이상의 인터랙션 타입에 대해 피드백 기능 설정을 요청하는 신호를 수신하고, 상기 피드백 기능 설정을 요청하는 신호에 따라 소스 코드 데이터를 자동으로 생성하는 단계(S110) 및 상기 소스 코드 데이터에 대해 상기 피드백 기능이 설정되는 단계(S120)를 포함한다.Referring to FIG. 6, the method for supporting feedback setting of an interaction type according to the present embodiment is a user who supports by selecting an interaction type based on a result of inferring a user behavior recognized by a recognition unit among a plurality of interaction types. A method of supporting feedback setting of an interaction type of a system that supports feedback setting of an interaction type applied to an interface, receiving a signal for selecting at least one or more interaction types among a plurality of interaction types (S100), the selected at least Receiving a signal for requesting feedback function setting for one or more interaction types, automatically generating source code data according to the signal for requesting feedback function setting (S110), and the feedback function for the source code data It includes a step (S120) to be set.

먼저, 복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호를 수신한다(S100).First, a signal for selecting at least one interaction type from among a plurality of interaction types is received (S100).

복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호를 수신하는 단계(S100)는 인터랙션 타입 시각화부(100)에서 수행된다. 인터랙션 타입 시각화부(100)는 인터랙션 타입(Interaction Type) 정보, 인식 유닛 정보, 추론 유닛 정보를 화면에 시각화하여 표시할 수 있다. 인터랙션 타입 시각화부(100)는 피드백 기능을 설정할 인터랙션 타입에 대한 작업 공간을 제공할 수 있다. 인터랙션 타입 시각화부(100)를 통해 선택된 적어도 하나 이상의 인터랙션 타입은 피드백 기능이 함께 설정될 수 있다. 인터랙션 타입 시각화부(100)는 인터랙션 타입의 아이콘, 추론 유닛의 아이콘, 인식 유닛의 아이콘이 표시되는 제1 윈도우 및 인터랙션 타입, 인식 유닛, 추론 유닛의 연결 관계를 도시되는 제2 윈도우를 제공한다. 제1 윈도우와 제2 윈도우는 화면부에 구획된 별도의 영역으로 각각 표시될 수 있다. 또한, 제1 윈도우는 인터랙션 타입 정보를 표시하는 인터랙션 타입 탭, 추론 유닛 정보를 표시하는 추론 유닛 탭, 인식 유닛 정보를 표시하는 인식 유닛 탭을 포함한다. 각 탭을 선택함에 따라 대응되는 정보가 화면에 표시될 수 있다. 인터랙션 타입, 인식 유닛, 추론 유닛에 대한 정보는 데이터베이스(120)에 미리 저장된 정보로부터 독출(read-out)될 수 있다. 즉, 제1 윈도우에 표시된 아이콘을 선택함으로써 피드백 설정을 원하는 인터랙션 타입이 선택될 수 있다. 사용자는 인터랙션 타입의 아이콘, 추론 유닛의 아이콘, 인식 유닛의 아이콘 중 적어도 하나 이상을 선택하는 신호를 입력부를 통해 인터랙션 타입 시각화부(100)에 제공할 수 있다. 상기 적어도 하나 이상의 인터랙션 타입을 선택하는 신호는 상기 인터랙션 타입 아이콘이 선택되는 신호일 수 있다. The step S100 of receiving a signal for selecting at least one interaction type from among the plurality of interaction types is performed by the interaction type visualization unit 100. The interaction type visualization unit 100 may visualize and display interaction type information, recognition unit information, and reasoning unit information on a screen. The interaction type visualization unit 100 may provide a work space for an interaction type for setting a feedback function. At least one or more interaction types selected through the interaction type visualization unit 100 may have a feedback function set together. The interaction type visualization unit 100 provides a first window in which an icon of an interaction type, an icon of an inference unit, an icon of a recognition unit is displayed, and a second window showing a connection relationship between an interaction type, a recognition unit, and an inference unit. The first window and the second window may be displayed as separate areas partitioned on the screen. In addition, the first window includes an interaction type tab that displays interaction type information, an inference unit tab that displays inference unit information, and a recognition unit tab that displays recognition unit information. As each tab is selected, corresponding information may be displayed on the screen. Information about the interaction type, recognition unit, and inference unit may be read out from information previously stored in the database 120. That is, by selecting an icon displayed in the first window, an interaction type for which a feedback setting is desired may be selected. The user may provide a signal for selecting at least one of an icon of an interaction type, an icon of an inference unit, and an icon of a recognition unit to the interaction type visualization unit 100 through an input unit. The signal for selecting the at least one or more interaction types may be a signal for selecting the interaction type icon.

다음으로, 상기 선택된 적어도 하나 이상의 인터랙션 타입에 대해 피드백 기능 설정을 요청하는 신호를 수신하고, 상기 피드백 기능 설정을 요청하는 신호에 따라 소스 코드 데이터를 자동으로 생성한다(S110).Next, a signal for requesting feedback function setting for the selected at least one interaction type is received, and source code data is automatically generated according to the signal for requesting feedback function setting (S110).

피드백 기능을 설정할 인터랙션 타입에 대한 선택이 완료된 경우, 사용자는 피드백 기능 설정을 요청하는 신호를 입력부를 통해 인터랙션 타입 시각화부(100)에 제공할 수 있다. 피드백 기능 설정을 요청하는 신호는 툴바에 설정된 생성 버튼(G 버튼)을 클릭하면 팝업 윈도우가 생성될 수 있다. 팝업 윈도우는 생성될 소스 코드 데이터의 명칭을 입력하고, 유형을 선택하는 것을 요청할 수 있다. 명칭의 입력과 유형의 선택 이후, 팝업 윈도우의 생성(Generate) 버튼을 클릭함에 따라, 소스 코드 데이터가 생성될 수 있다. 인터랙션 타입 시각화부(100)이 제공하는 시스템 환경은 XML 기반의 환경일 수 있으며, 인터랙션 타입 시각화부(100)는 XML로 정의된 인터페이스 정의 문서를 해석하여 인터랙션 응용의 구현에 필요한 소스 코드 데이터를 자동으로 생성할 수 있다. 생성된 소스 코드 데이터는 데이터베이스(120)에 저장될 수 있다.When the selection of the interaction type for setting the feedback function is completed, the user may provide a signal requesting the setting of the feedback function to the interaction type visualization unit 100 through the input unit. A pop-up window may be generated when a signal for requesting a feedback function setting is clicked on a generating button (G button) set in a toolbar. The pop-up window may request to input the name of the source code data to be generated and select a type. After inputting a name and selecting a type, source code data may be generated by clicking the Generate button of a pop-up window. The system environment provided by the interaction type visualization unit 100 may be an XML-based environment, and the interaction type visualization unit 100 automatically analyzes the interface definition document defined in XML to automatically generate source code data necessary for the implementation of the interaction application. Can be created with The generated source code data may be stored in the database 120.

소스 코드 데이터에 대해 피드백 기능이 설정된다(S120).A feedback function is set for the source code data (S120).

피드백 기능 설정부(110)는 소스 코드 데이터에 대해 피드백 기능 설정을 위한 수정 기능을 제공한다. 피드백 기능 설정부(110)는 인터랙션 타입 시각화부(100)에서 생성된 소스 코드 데이터를 호출하여 화면에 표시할 수 있으며, 소스 코드에 대한 수정 기능을 제공한다. 구체적으로, 피드백 기능 설정부(110)는 소스 코드에 피드백 기능을 새로 입력하는 기능을 제공한다. 또한, 피드백 기능 설정부(110)는 소스 코드에 설정된 피드백 기능을 변경하는 것도 제공할 수 있다. 소스 코드 데이터는 선택된 인터랙션 타입의 함수를 포함하며, 상기 피드백 기능은 상기 선택된 인터랙션 타입의 함수 내에 입력될 수 있다. 인터랙션 타입이 복수로 선택된 경우, 상기 소스 코드 데이터는 선택된 복수의 인터랙션 타입에 대응하는 복수의 인터랙션 타입 함수를 포함하며, 상기 피드백 기능은 복수의 인터랙션 타입 함수 내에 각각 입력될 수 있다. The feedback function setting unit 110 provides a correction function for setting a feedback function for source code data. The feedback function setting unit 110 may call and display the source code data generated by the interaction type visualization unit 100 on a screen, and provide a function to modify the source code. Specifically, the feedback function setting unit 110 provides a function of newly entering a feedback function in the source code. In addition, the feedback function setting unit 110 may also provide for changing the feedback function set in the source code. The source code data includes a function of the selected interaction type, and the feedback function may be input into the function of the selected interaction type. When a plurality of interaction types are selected, the source code data includes a plurality of interaction type functions corresponding to a plurality of selected interaction types, and the feedback function may be input into a plurality of interaction type functions, respectively.

이상에서 설명한 실시예들에 따른 인터랙션 타입의 피드백 설정을 지원하는 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 인터랙션 타입의 피드백 설정을 지원하는 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.The operation by the method for supporting the feedback setting of the interaction type according to the embodiments described above may be implemented at least partially as a computer program and recorded on a computer-readable recording medium. A program for implementing an operation by a method of supporting an interaction type feedback setting according to embodiments is recorded, and the computer-readable recording medium includes all types of recording devices in which data that can be read by a computer is stored. do. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, and optical data storage devices. In addition, the computer-readable recording medium may be distributed over a computer system connected through a network, and computer-readable codes may be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing this embodiment may be easily understood by those skilled in the art to which this embodiment belongs.

이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments, the present invention should not be construed as being limited by these embodiments or drawings, and those skilled in the art will have the spirit and scope of the present invention described in the following claims. It will be understood that various modifications and changes can be made to the present invention within the range not departing from.

10: 인터랙션 타입의 피드백 설정을 지원하는 시스템
100: 인터랙션 타입 시각화부
110: 피드백 기능 설정부
120: 데이터 베이스부10: A system that supports interaction type feedback setting
100: interaction type visualization unit
110: feedback function setting unit
120: database unit

Claims (13)

복수의 인터랙션 타입 중 인식 유닛에서 인식된 사용자 행위를 추론 유닛이 추론한 결과에 따른 인터랙션 타입을 선택하여 지원하는 사용자 인터페이스에 적용되는 인터랙션 타입의 피드백 설정을 지원하는 시스템으로,
복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호 및 상기 선택된 적어도 하나 이상의 인터랙션 타입에 대해 피드백 기능 설정을 요청하는 신호에 따라 소스 코드 데이터를 자동으로 생성하는 인터랙션 타입 시각화부; 및
상기 소스 코드 데이터에 대해 상기 피드백 기능 설정을 위한 수정 기능을 제공하는 피드백 기능 설정부를 포함하고,
상기 인터랙션 타입 시각화부는 인터랙션 타입 정보, 추론 유닛 정보, 인식 유닛 정보 및 상기 인터랙션 타입, 상기 추론 유닛 및 상기 인식 유닛의 연결 관계를 나타내는 구조도를 표시하며,
상기 인터랙션 타입 정보, 상기 추론 유닛 정보 및 상기 인식 유닛 정보는 제1 윈도우에 표시되고, 상기 연결 관계를 나타내는 구조도는 제2 윈도우에 표시되는 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 시스템.A system that supports feedback setting of an interaction type applied to a user interface that supports user behavior by selecting an interaction type based on a result of inferring a user behavior recognized by a recognition unit among a plurality of interaction types,
An interaction type visualization unit for automatically generating source code data according to a signal for selecting at least one interaction type among a plurality of interaction types and a signal for requesting a feedback function setting for the selected at least one interaction type; And
A feedback function setting unit providing a correction function for setting the feedback function with respect to the source code data,
The interaction type visualization unit displays interaction type information, reasoning unit information, recognition unit information, and a structural diagram showing a connection relationship between the interaction type, the reasoning unit and the recognition unit,
The interaction type information, the inference unit information, and the recognition unit information are displayed in a first window, and a structural diagram indicating the connection relationship is displayed in a second window. 삭제delete 제1 항에 있어서,
상기 인터랙션 타입 정보는 상기 제1 윈도우에 표시되는 인터랙션 타입 아이콘을 포함하며,
상기 적어도 하나 이상의 인터랙션 타입을 선택하는 신호는 상기 인터랙션 타입 아이콘이 선택되는 신호인 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 시스템.The method of claim 1,
The interaction type information includes an interaction type icon displayed on the first window,
The system for supporting feedback setting of an interaction type, wherein the signal for selecting the at least one interaction type is a signal for selecting the interaction type icon. 제1 항에 있어서,
상기 인터랙션 타입 시각화부는 XML로 정의된 인터페이스 정의 문서를 해석하여 인터랙션 응용의 구현에 필요한 소스 코드 데이터를 자동으로 생성하는 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 시스템.The method of claim 1,
The interaction type visualization unit interprets an interface definition document defined in XML and automatically generates source code data necessary for implementing an interaction application. A system supporting feedback setting of an interaction type, characterized in that. 제1 항에 있어서,
상기 소스 코드 데이터는 선택된 인터랙션 타입의 함수를 포함하며, 상기 피드백 기능은 상기 선택된 인터랙션 타입의 함수 내에 입력되는 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 시스템.The method of claim 1,
The source code data includes a function of a selected interaction type, and the feedback function is input into a function of the selected interaction type. 제5 항에 있어서,
상기 인터랙션 타입이 복수로 선택된 경우, 상기 소스 코드 데이터는 선택된 복수의 인터랙션 타입에 대응하는 복수의 인터랙션 타입 함수를 포함하며, 상기 피드백 기능은 복수의 인터랙션 타입 함수 내에 각각 입력되는 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 시스템.The method of claim 5,
When the plurality of interaction types are selected, the source code data includes a plurality of interaction type functions corresponding to the selected plurality of interaction types, and the feedback function is input into a plurality of interaction type functions, respectively. System that supports setting of feedback. 복수의 인터랙션 타입 중 인식 유닛에서 인식된 사용자 행위를 추론 유닛이 추론한 결과에 따른 인터랙션 타입을 선택하여 지원하는 사용자 인터페이스에 적용되는 인터랙션 타입의 피드백 설정을 지원하는 시스템의 인터랙션 타입의 피드백 설정을 지원하는 방법으로,
복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호를 수신하는 단계;
상기 선택된 적어도 하나 이상의 인터랙션 타입에 대해 피드백 기능 설정을 요청하는 신호를 수신하고, 상기 피드백 기능 설정을 요청하는 신호에 따라 소스 코드 데이터를 자동으로 생성하는 단계; 및
상기 소스 코드 데이터에 대해 상기 피드백 기능이 설정되는 단계를 포함하고,
복수의 인터랙션 타입 중 적어도 하나 이상의 인터랙션 타입을 선택하는 신호를 수신하는 단계는, 상기 인터랙션 타입 시각화부는 인터랙션 타입 정보, 추론 유닛 정보, 인식 유닛 정보 및 상기 인터랙션 타입, 상기 추론 유닛 및 상기 인식 유닛의 연결 관계를 나타내는 구조도를 표시하는 것을 포함하고,
상기 인터랙션 타입 정보, 상기 추론 유닛 정보 및 상기 인식 유닛 정보는 제1 윈도우에 표시되고, 상기 연결 관계를 나타내는 구조도는 제2 윈도우에 표시되는 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 방법.Supports the feedback setting of the interaction type of the system that supports the feedback setting of the interaction type applied to the supporting user interface by selecting the interaction type based on the result of the reasoning unit inferring the user behavior recognized by the recognition unit among a plurality of interaction types. In a way,
Receiving a signal for selecting at least one or more interaction types from among a plurality of interaction types;
Receiving a signal for requesting setting of a feedback function for the selected at least one interaction type, and automatically generating source code data according to the signal for requesting setting of the feedback function; And
Including the step of setting the feedback function for the source code data,
Receiving a signal for selecting at least one interaction type from among a plurality of interaction types, wherein the interaction type visualization unit connects the interaction type information, inference unit information, recognition unit information and the interaction type, the inference unit and the recognition unit. Including displaying a structural diagram representing the relationship,
The interaction type information, the inference unit information, and the recognition unit information are displayed in a first window, and a structural diagram representing the connection relationship is displayed in a second window. 삭제delete 제7 항에 있어서,
상기 인터랙션 타입 정보는 상기 제1 윈도우에 표시되는 인터랙션 타입 아이콘을 포함하며,
상기 적어도 하나 이상의 인터랙션 타입을 선택하는 신호는 상기 인터랙션 타입 아이콘이 선택되는 신호인 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 방법.The method of claim 7,
The interaction type information includes an interaction type icon displayed on the first window,
The method for supporting feedback setting of an interaction type, characterized in that the signal for selecting the at least one or more interaction types is a signal for selecting the interaction type icon. 제7 항에 있어서,
상기 피드백 기능 설정을 요청하는 신호에 따라 소스 코드 데이터를 자동으로 생성하는 단계는,
XML로 정의된 인터페이스 정의 문서를 해석하여 인터랙션 응용의 구현에 필요한 소스 코드 데이터를 자동으로 생성하는 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 인터랙션 타입의 피드백 설정을 지원하는 방법.The method of claim 7,
The step of automatically generating source code data according to the signal for requesting the feedback function setting,
A method of supporting feedback configuration of an interaction type that supports feedback configuration of an interaction type, characterized by automatically generating source code data necessary for implementing an interaction application by analyzing an interface definition document defined in XML. 제7 항에 있어서,
상기 소스 코드 데이터는 선택된 인터랙션 타입의 함수를 포함하며, 상기 피드백 기능은 상기 선택된 인터랙션 타입의 함수 내에 입력되는 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 방법.The method of claim 7,
The source code data includes a function of a selected interaction type, and the feedback function is input into a function of the selected interaction type. 제11 항에 있어서,
상기 인터랙션 타입이 복수로 선택된 경우, 상기 소스 코드 데이터는 선택된 복수의 인터랙션 타입에 대응하는 복수의 인터랙션 타입 함수를 포함하며, 상기 피드백 기능은 복수의 인터랙션 타입 함수 내에 각각 입력되는 것을 특징으로 하는 인터랙션 타입의 피드백 설정을 지원하는 방법.The method of claim 11,
When the plurality of interaction types are selected, the source code data includes a plurality of interaction type functions corresponding to the selected plurality of interaction types, and the feedback function is input into a plurality of interaction type functions, respectively. To support your feedback settings. 하드웨어와 결합되어 제7 항, 제9 항 내지 제12 항 중 어느 한 항에 따른 인터랙션 타입의 피드백 설정을 지원하는 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.A computer program stored in a medium to be combined with hardware to execute a method for supporting setting of an interaction type feedback according to any one of claims 7 and 9 to 12.
KR1020190005125A 2019-01-15 2019-01-15 System and method for supporting feedback settings for interaction type KR102208635B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190005125A KR102208635B1 (en) 2019-01-15 2019-01-15 System and method for supporting feedback settings for interaction type

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190005125A KR102208635B1 (en) 2019-01-15 2019-01-15 System and method for supporting feedback settings for interaction type

Publications (2)

Publication Number Publication Date
KR20200088620A KR20200088620A (en) 2020-07-23
KR102208635B1 true KR102208635B1 (en) 2021-01-28

Family

ID=71894369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190005125A KR102208635B1 (en) 2019-01-15 2019-01-15 System and method for supporting feedback settings for interaction type

Country Status (1)

Country Link
KR (1) KR102208635B1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552384B1 (en) * 2013-02-18 2015-09-14 박시현 System for authoring multimedia contents interactively and method thereof
KR101567995B1 (en) 2014-10-07 2015-11-10 한국과학기술연구원 Method, appratus and computer-readable recording medium for providing user interface which enalbes interaction

Also Published As

Publication number Publication date
KR20200088620A (en) 2020-07-23

Similar Documents

Publication Publication Date Title
CN109074166B (en) Changing application states using neural data
Cockburn et al. Supporting novice to expert transitions in user interfaces
Kim Human-computer interaction: fundamentals and practice
US10552183B2 (en) Tailoring user interface presentations based on user state
US10878619B2 (en) Using perspective to visualize data
Malacria et al. Promoting hotkey use through rehearsal with exposehk
CN106462488A (en) Performance optimization tip presentation during debugging
Moyle et al. The design and evaluation of a flick gesture for'back'and'forward'in web browsers
Ludolph Model-based user interface design: Successive transformations of a task/object model
Xia et al. Iteratively designing gesture vocabularies: A survey and analysis of best practices in the HCI literature
US20170205946A1 (en) Reducing control response latency with defined cross-control behavior
Evangelista Belo et al. Auit–the adaptive user interfaces toolkit for designing xr applications
Dingli et al. Interacting with intelligent digital twins
US11662883B2 (en) Adaptable user input interface
Jolak et al. OctoBubbles: A Multi-view interactive environment for concurrent visualization and synchronization of UML models and code
KR102208635B1 (en) System and method for supporting feedback settings for interaction type
US20180090027A1 (en) Interactive tutorial support for input options at computing devices
Hartmann Challenges in Developing User-Adaptive Intelligent User Interfaces.
Silva et al. AgeCI: HCI and age diversity
Aceituno et al. The design, use, and performance of edge-scrolling techniques
KR102130064B1 (en) System and method for supporting interaction type application development
CN111696546A (en) Using a multimodal interface to facilitate discovery of spoken commands
Mallas et al. Users’ Opinions When Drawing with an Eye Tracker
KR102072440B1 (en) Virtual space interface system for automatically providing interaction types and method for providing the same
Chueke Perceptible affordances and feedforward for gestural interfaces: Assessing effectiveness of gesture acquisition with unfamiliar interactions

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right