KR101851356B1 - Method for providing intelligent user interface by 3D digital actor - Google Patents

Method for providing intelligent user interface by 3D digital actor Download PDF

Info

Publication number
KR101851356B1
KR101851356B1 KR1020160116385A KR20160116385A KR101851356B1 KR 101851356 B1 KR101851356 B1 KR 101851356B1 KR 1020160116385 A KR1020160116385 A KR 1020160116385A KR 20160116385 A KR20160116385 A KR 20160116385A KR 101851356 B1 KR101851356 B1 KR 101851356B1
Authority
KR
South Korea
Prior art keywords
digital actor
digital
actor
information
electronic device
Prior art date
Application number
KR1020160116385A
Other languages
Korean (ko)
Other versions
KR20180028717A (en
Inventor
박홍식
Original Assignee
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단 filed Critical 동서대학교산학협력단
Priority to KR1020160116385A priority Critical patent/KR101851356B1/en
Publication of KR20180028717A publication Critical patent/KR20180028717A/en
Application granted granted Critical
Publication of KR101851356B1 publication Critical patent/KR101851356B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법을 제공한다. 이와 같은 본 발명에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법은 과거 실존 인물, 현재 실존 인물, 신화/종교/문학/영화 등의 문화컨텐츠를 통해 재현된 가상 인물, 기타 가상 인물을 캐릭터 풀(character pool)로 하여 생성되는 3D 디지털액터가 컴퓨터/노트북/스마트 폰/스마트 패드/HMD와 같은 전자기기에서 사용자 인터페이스(UI:user interface)로 활용되도록 함으로써 다양화된 가상 캐릭터를 실생활에 활용할 수 있는 동시에 전자기기 사용시 흥미유발과 몰입도 증대를 도모할 수 있으며, 특히 3D 디지털액터가 사용자의 음성/동작/표정 등에 실시간 반응하여 반응동작이나 반응메시지를 표현하는 지능형 인터랙티브 UI가 구현되도록 함으로써 입체적이고 다이나믹한 UI를 제공할 수 있고, 이를 통해 전자기기 사용시 흥미유발과 몰입도를 극대화시킬 수 있으며, 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터가 사용자맞춤식으로 생성되도록 함으로써 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있는 동시에 사용자와 3D 디지털액터 간 상호작용이 사실적으로 구현될 수 있고, 이와 더불어 전자기기에 현재 디스플레이되고 있는 컨텐츠의 특성에 대응하여 3D 디지털액터가 능동적으로 특정 행위를 수행하도록 함으로써 3D 디지털액터가 UX/UF가 접목된 일종의 지능형 디지털 사이보그로 구현될 수 있으며, 전자기기에 설치된 운영체제나 응용프로그램의 운용을 위한 질문이나 시스템관리 업무를 위한 질문을 통해 전자기기의 각종 기능을 인간 상호간 업무처리 방식으로 수행할 수 있는 기술적 특징을 갖는다.The present invention provides a method for providing an intelligent user interface by a 3D digital actor. The method of providing an intelligent user interface by the 3D digital actor according to the present invention is a method of providing an intelligent user interface by using a character pool (a virtual person), a virtual person reproduced through cultural contents such as a past actual person, a present real person, a myth / religion / literature / character pool is used as a user interface (UI) in an electronic device such as a computer / notebook / smart phone / smart pad / HMD so that various virtual characters can be utilized in real life At the same time, it is possible to increase interest inducement and immersion in using electronic devices. In particular, 3D digital actor realizes intelligent interactive UI expressing reaction action or response message by real-time response to user's voice / motion / It is possible to provide a UI, and it is possible to provide a user interface And 3D digital actors having various characteristics based on age, emotion state, personality, nationality, race, and the like can be customized according to a user's taste, The interaction between the user and the 3D digital actor can be realistically realized and the 3D digital actor can actively perform a specific action corresponding to the characteristic of the content currently displayed on the electronic device, Actor can be implemented as a kind of intelligent digital cyborg with UX / UF. Through the question for operation of operating system or application program installed in electronic equipment, and the question for system management, Techniques that can be done in a way Has the.

Description

3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법{Method for providing intelligent user interface by 3D digital actor}Technical Field [0001] The present invention relates to a method for providing an intelligent user interface by a 3D digital actor,

본 발명은 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에 관한 것으로, 좀더 구체적으로는 과거 실존 인물, 현재 실존 인물, 신화/종교/문학/영화 등의 문화컨텐츠를 통해 재현된 가상 인물, 기타 가상 인물을 캐릭터 풀(character pool)로 하여 생성되는 3D 디지털액터가 컴퓨터/노트북/스마트 폰/스마트 패드/HMD와 같은 전자기기에서 사용자 인터페이스(UI:user interface)로 활용되도록 함으로써 다양화된 가상 캐릭터를 실생활에 활용할 수 있는 동시에 전자기기 사용시 흥미유발과 몰입도 증대를 도모할 수 있으며, 특히 3D 디지털액터가 사용자의 음성/동작/표정 등에 실시간 반응하여 반응동작이나 반응메시지를 표현하는 지능형 인터랙티브 UI가 구현되도록 함으로써 입체적이고 다이나믹한 UI를 제공할 수 있고, 이를 통해 전자기기 사용시 흥미유발과 몰입도를 극대화시킬 수 있으며, 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터가 사용자맞춤식으로 생성되도록 함으로써 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있는 동시에 사용자와 3D 디지털액터 간 상호작용이 사실적으로 구현될 수 있고, 이와 더불어 전자기기에 현재 디스플레이되고 있는 컨텐츠의 특성에 대응하여 3D 디지털액터가 능동적으로 특정 행위를 수행하도록 함으로써 3D 디지털액터가 UX(user experience)/UF(user feeling)가 접목된 일종의 지능형 디지털 사이보그로 구현될 수 있으며, 전자기기에 설치된 운영체제나 응용프로그램의 운용을 위한 질문이나 시스템관리 업무를 위한 질문을 통해 전자기기의 각종 기능을 인간 상호간 업무처리 방식으로 수행할 수 있는 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에 관한 것이다.
The present invention relates to a method of providing an intelligent user interface by a 3D digital actor, and more particularly, to a method of providing an intelligent user interface by 3D digital actors, A 3D digital actor generated by using a character pool as a character pool is utilized as a user interface (UI) in an electronic device such as a computer / notebook / smart phone / smart pad / HMD, So that the 3D digital actor can respond in real time to the user's voice / motion / facial expressions, thereby realizing an intelligent interactive UI expressing the reaction action or the response message. A stereoscopic and dynamic UI can be provided. Thus, it is possible to provide an interesting It is possible to maximize the number of feet and immersion and to create customized 3D digital actors with various characteristics based on age group, emotion state, personality, nationality, race, etc. according to user's taste, Various demands of individual users can be effectively accommodated, the interaction between the user and the 3D digital actor can be realized realistically, and in addition, the 3D digital actor can actively perform specific actions in response to the characteristics of the content currently displayed in the electronic device The 3D digital actor can be implemented as a kind of intelligent digital cyborg that is combined with UX (user experience) / UF (user feeling), and can be implemented as a question or system management task for operating an operating system or an application program installed in an electronic device Through the questionnaire, various functions of the electronic device are inter- That can be performed by re-approach relates to an intelligent user interface providing method according to the 3D digital actor.

컴퓨터 그래픽 기술이 발전하면서 인터넷 커뮤니티 상의 아바타와 같은 캐릭터, 3차원 애니메이션, 영화의 특수효과 등의 디지털 콘텐츠 분야에서 다양한 캐릭터 애니메이션 기술이 개발되고 있다.
As computer graphics technology has developed, various character animation techniques have been developed in digital contents fields such as avatars such as avatars on the Internet community, 3D animations, and special effects of movies.

이러한 가상 캐릭터의 모션 생성에 관한 기술로서, 대한민국 특허출원공개 제2002-15234호(공개일 : 2002년 2월 27일)에는 "가상 캐릭터의 실시간 동작변환 방법"이 공개되어 있으며, 상기 선행 특허는 실시간으로 크기가 다른 가상 캐릭터를 제어하는 기술에 관한 것이다.As a technique related to the motion generation of such a virtual character, Korean Patent Application Publication No. 2002-15234 (published on Feb. 27, 2002) discloses "a method for converting a virtual character's real-time motion" The present invention relates to a technique for controlling a virtual character having a different size in real time.

또한, 대한민국 특허출원공개 제2001-57880호(공개일 : 2001년 7월 5일)에는 "보행 동작 변형 애니메이션 방법"이 공개되어 있으며, 상기 선행 특허는 모션 캡쳐를 이용하여 생성된 보행 동작과 관련된 모션 데이터를 보행주기, 순환, 다리길이, 방향전환, 보폭 등의 인자들을 이용하여 변형하는 기술에 관한 것이다.Korean Patent Application Laid-Open Publication No. 2001-57880 (published on July 5, 2001) discloses a " method for animating a walking motion variation ", which is related to a walking motion generated using motion capturing The present invention relates to a technique of transforming motion data by using factors such as a walking cycle, a circulation, a leg length, a direction change, and a stride.

대한민국 특허출원공개 제2002-57447호(공개일 : 2002년 7월 11일)에는 "3D 캐릭터의 직접 조정을 이용한 3D 애니메이션 영화 제작 방법"이 공개되어 있으며, 상기 선행 특허는 동영상 제작을 위해 3차원 캐릭터를 이용하여 외곽선을 추출하고 2차원 영상에서 그 사이를 자동으로 연결하여 중간에 필요한 동작을 프레임으로 생성하는 기술에 관한 것이다.Korean Patent Application Publication No. 2002-57447 (published on July 11, 2002) discloses a "3D animation film production method using direct adjustment of a 3D character ", and the above- The present invention relates to a technique of extracting an outline by using a character and automatically connecting the two-dimensional image with each other to generate an operation required in the middle as a frame.

대한민국 특허출원공개 제2001-25161호(공개일 : 2001년 4월 6일)에는 "감정 처리가 가능한 아바타 메이커 구현 방법"이 공개되어 있으며, 상기 선행 특허는 사용자가 입력한 자연어를 기반으로 가상 캐릭터의 얼굴 표정 및 입 모양을 제어하는 기술에 관한 것이다.Korean Patent Application Laid-Open Publication No. 2001-25161 (published on April 6, 2001) discloses "a method for implementing an avatar maker capable of emotional processing ", and the prior patent discloses a virtual character The present invention relates to a technique for controlling facial expressions and mouth shapes.

대한민국 특허출원공개 제2000-26404호(공개일 : 2000년 5월 15일)에는 "가상현실 캐릭터의 실시간 제어 시스템"이 공개되어 있으며, 상기 선행 특허는 고가의 모션캡쳐 시스템을 사용하지 않고 가상 캐릭터를 실시간으로 제어할 수 있도록 하기 위하여 낮은 수준에서 입력 장치와의 매핑을 통해 캐릭터의 움직임을 생성하는 기술에 관한 것이다.Korean Patent Application Publication No. 2000-26404 (published on May 15, 2000) discloses a "real-time control system of a virtual reality character ", and the prior patent discloses a virtual character recognition system that does not use an expensive motion capture system, The present invention relates to a technique of generating a motion of a character through mapping with an input device at a low level so as to control the motion of the character in real time.

대한민국 특허출원공개 제2002-22885호(공개일 : 2002년 3월 28일)에는 "가상 캐릭터 생성 시스템 및 방법과 가상 캐릭터 서비스 방법"이 공개되어 있으며, 상기 선행 특허는 사용자의 형상 및 모션을 촬영하여 획득되는 동화상에 의해 가상 캐릭터의 형태를 재현하고, 그 가상 캐릭터가 온라인 및 오프라인의 컴퓨터 환경에서 다기능을 갖도록 하는 에이전트 프로그램을 합성하는 기술에 관한 것이다.
Korean Patent Application Publication No. 2002-22885 (published on March 28, 2002) discloses a system and method for creating a virtual character and a virtual character service method. The present invention relates to a technique of reproducing an aspect of a virtual character by a moving image acquired by a moving image obtained by a moving image, and synthesizing an agent program that makes the virtual character have a multifunctionality in on-line and off-line computer environments.

그러나 상기와 같은 종래기술의 경우 가상 캐릭터를 다양하게 구현하는데 한계가 있었으며, 가상 캐릭터가 애니메이션 제작이나 각종 디스플레이장치 등에서 단순하게 보조적으로 안내정보를 제공하는 것이 일반적이었다.
However, in the conventional art as described above, there are limitations to various implementations of virtual characters, and it has been common that virtual characters simply provide supplementary guidance information in animation production and various display devices.

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

대한민국 특허출원공개 제2002-15234호 "가상 캐릭터의 실시간 동작변환 방법"Korean Patent Application Publication No. 2002-15234 "Method for converting real-time motion of virtual character" 대한민국 특허출원공개 제2001-57880호 "보행 동작 변형 애니메이션 방법"Korean Patent Application Laid-open No. 2001-57880 entitled " 대한민국 특허출원공개 제2002-57447호 "3D 캐릭터의 직접 조정을 이용한 3D 애니메이션 영화 제작 방법Korean Patent Application Publication No. 2002-57447 "A method of producing a 3D animation film using direct adjustment of a 3D character 대한민국 특허출원공개 제2001-25161호 "감정 처리가 가능한 아바타 메이커 구현 방법"Korean Patent Application Laid-Open No. 2001-25161 entitled " Method for Implementing an Avatar-Maker capable of Emotion Processing " 대한민국 특허출원공개 제2000-26404호 "가상현실 캐릭터의 실시간 제어 시스템"Korean Patent Application Publication No. 2000-26404 entitled "Real-Time Control System of Virtual Reality Character" 대한민국 특허출원공개 제2002-22885호 "가상 캐릭터 생성 시스템 및 방법과 가상 캐릭터 서비스 방법"Korean Patent Application Publication No. 2002-22885 "Virtual Character Creation System and Method and Virtual Character Service Method"

따라서 본 발명은 이와 같은 종래 기술의 문제점을 개선하여, 3D 디지털액터가 과거 실존 인물, 현재 실존 인물, 신화/종교/문학/영화 등의 문화컨텐츠를 통해 재현된 가상 인물, 기타 가상 인물을 캐릭터 풀(character pool)로 하여 생성되고, 정보 입출력을 위한 기본 안내메시지/기본 안내동작이 3D 디지털액터와 연동되어 설정되어 각종 전자기기(컴퓨터/노트북/스마트 폰/스마트 패드/HMD 등)에서 3D 디지털액터가 사용자 인터페이스(UI:user interface)로 활용되도록 함으로써 다양화된 가상 캐릭터를 실생활에 활용할 수 있는 동시에 전자기기 사용시 흥미유발과 몰입도 증대를 도모할 수 있는 새로운 형태의 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법을 제공하는 것을 목적으로 한다.
Accordingly, the present invention improves the problems of the related art, so that the 3D digital actor can display virtual characters reproduced through cultural contents such as past, present, and myths / religious / literary / and a basic guiding message / basic guiding action for information input / output is generated by interlocking with the 3D digital actor, so that the 3D digital actor can be set in various electronic devices (computer / laptop / smart phone / smart pad / HMD etc.) Can be utilized as a user interface (UI), thereby enabling diversified virtual characters to be utilized in real life. At the same time, an intelligent user interface And a method of providing the same.

특히 본 발명은 사용자의 음성/동작/표정 등의 입력정보에 대응하는 3D 디지털액터의 반응메시지/반응동작이 설정되어 사용자와 3D 디지털액터가 서로 상호작용할 수 있도록 함으로써 입체적이고 다이나믹한 지능형 인터랙티브 UI를 제공할 수 있으며, 이를 통해 전자기기 사용시 흥미유발과 몰입도를 극대화시킬 수 있는 새로운 형태의 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법을 제공하는 것을 목적으로 한다.
In particular, the present invention provides a stereoscopic and dynamic intelligent interactive UI by allowing a user and a 3D digital actor to interact with each other by setting a response message / response operation of a 3D digital actor corresponding to input information such as a user's voice / action / facial expression It is another object of the present invention to provide a method of providing an intelligent user interface by a new type of 3D digital actor capable of maximizing interest inducement and immersion when using electronic devices.

또한 본 발명은 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터가 사용자맞춤식으로 생성되도록 함으로써 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있을 뿐만 아니라 사용자와 3D 디지털액터 간 상호작용이 사실적으로 구현될 수 있는 새로운 형태의 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법을 제공하는 것을 목적으로 한다.
In addition, the present invention allows a 3D digital actor having various characteristics based on age, emotion state, personality, nationality, and race to be custom-created, thereby effectively accommodating different users' needs and individual diverse needs And a method for providing an intelligent user interface by a new type of 3D digital actor in which interaction between a user and a 3D digital actor can be realized realistically.

그리고 본 발명은 전자기기에 현재 디스플레이되고 있는 컨텐츠 특성 별로 3D 디지털액터의 능동 행위패턴이 설정되어 3D 디지털액터가 출력 컨텐츠 맞춤식으로 능동적인 특정행위를 수행하도록 함으로써 3D 디지털액터가 UX/UF가 접목된 일종의 지능형 디지털 사이보그로 구현될 수 있는 새로운 형태의 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법을 제공하는 것을 목적으로 한다.
According to the present invention, an active behavior pattern of a 3D digital actor is set according to a content characteristic currently displayed in an electronic device, so that a 3D digital actor performs a specific action actively and customarily in output content, It is an object of the present invention to provide a method for providing an intelligent user interface by a new type of 3D digital actor that can be implemented as a kind of intelligent digital cyborg.

이와 더불어 본 발명은, 전자기기에 설치된 운영체제나 응용프로그램의 운용을 위한 질문이나 시스템관리 업무를 위한 질문이 설정되어 사용자와 3D 디지털액터 간 상호대화를 통해 전자기기의 각종 기능이 인간 상호간 업무처리 방식으로 처리될 수 있는 새로운 형태의 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법을 제공하는 것을 목적으로 한다.
In addition, according to the present invention, a question for operating an operating system or an application program installed in an electronic device or a question for a system management task is set up, and various functions of the electronic device are processed through a mutual interaction between a user and a 3D digital actor The present invention provides a method of providing an intelligent user interface by a 3D digital actor of a new type that can be processed by a 3D digital actor.

상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 과거 실존 인물, 현재 실존 인물, 가상 인물 중에서 선정되는 3D 디지털액터의 기초 형상정보, 양태이미지 정보, 동작 영상정보가 CG 디지털 정보로 전자기기(100)에 설정되는 한편, 3D 디지털액터의 행동특성 정보, 언어특성 정보, 반응특성 정보를 포함하는 액터 특성정보가 전자기기(100)에 설정되는 3D 디지털액터 정보설정단계와; 전자기기(100)에서의 정보 입출력을 위한 기본 안내메시지와 기본 안내동작이 3D 디지털액터와 연동되어 설정되되, 기본 안내메시지는 3D 디지털액터의 언어 표현으로 출력되도록 설정되고, 기본 안내동작은 3D 디지털액터의 동작 표현으로 출력되도록 설정되는 3D 디지털액터 UI 설정단계와; 전자기기(100)로 입력되는 입력정보에 대응하는 3D 디지털액터의 반응메시지와 반응동작이 전자기기(100)에 설정되되, 3D 디지털액터의 반응동작은 기본 안내동작에 대한 편집으로 생성되는 3D 디지털액터 반응패턴 설정단계와; 사용자의 전자기기 사용시 3D 디지털액터가 전자기기(100)의 출력장치(130)에 디스플레이되고, 3D 디지털액터가 기본 안내동작을 구현하면서 기본 안내메시지를 언어 표현으로 사용자에게 전달하는 3D 디지털액터 UI 수행단계와; 입력정보가 전자기기(100)에 의해 수신되되, 입력정보는 입력장치(110)의 조작에 의한 조작신호, 사용자의 음성에 의한 음성신호, 사용자의 동작에 의한 동작신호, 사용자의 표정에 의한 표정신호 군 중에서 선택된 어느 하나인 전자기기 입력정보 수신단계와; 입력정보에 대응하는 3D 디지털액터 반응정보가 상기 3D 디지털액터 반응패턴 설정단계에서 설정되는 정보로부터 산출되고, 산출된 3D 디지털액터 반응정보에 맞추어 3D 디지털액터의 반응메시지와 반응동작이 전자기기(100)의 출력장치(130)를 통해 출력되는 3D 디지털액터 반응단계와; 입력정보에 대응하는 출력정보가 전자기기(100)에 의해 생성되어 출력되는 출력정보 산출단계를 포함하는 것을 특징으로 하는 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법을 제공한다.
According to an aspect of the present invention, there is provided a digital still camera comprising: 3D digital actor basic shape information, mode image information, and motion image information selected from a past existent person, a current existent person, and a virtual person, A 3D digital actor information setting step of setting the actor characteristic information including the behavior characteristic information, the language characteristic information and the reaction characteristic information of the 3D digital actor in the electronic device 100, which is set in the electronic device 100; The basic guidance message for inputting and outputting information in the electronic device 100 and the basic guidance operation are set to be interlocked with the 3D digital actor, the basic guidance message is set to be output in the language representation of the 3D digital actor, A 3D digital actor UI setting step of setting an output of the actor as an action representation; A response message and a reaction operation of the 3D digital actor corresponding to the input information input to the electronic device 100 are set in the electronic device 100. The reaction action of the 3D digital actor is a 3D digital An actor reaction pattern setting step; A 3D digital actor UI is displayed on the output device 130 of the electronic device 100 when the user uses the electronic device and a 3D digital actor UI for delivering the basic guidance message in a language representation to the user while the 3D digital actor implements the basic guiding action ; The input information is received by the electronic device 100, and the input information includes an operation signal by an operation of the input device 110, an audio signal by a user's voice, an operation signal by a user's operation, An electronic device input information receiving step of receiving electronic device input information; The 3D digital actor response information corresponding to the input information is calculated from the information set in the 3D digital actor response pattern setting step and the response message and the reaction operation of the 3D digital actor are transmitted to the electronic device 100 A 3D digital actor reaction step of outputting via the output device 130 of the 3D digital actor; And an output information calculation step of outputting information corresponding to the input information by the electronic device 100 and outputting the output information.

이와 같은 본 발명에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에서 상기 3D 디지털액터 정보설정단계는 복수의 3D 디지털액터에 대한 정보설정이 수행되도록 하되, 각 3D 디지털액터의 기초 형상정보, 양태이미지 정보, 동작 영상정보 및 액터 특성정보는 해당 3D 디지털액터의 연령 대, 감정상태 별로 구분되게 설정될 수 있다.
In the method of providing an intelligent user interface by the 3D digital actor, the 3D digital actor information setting step may be performed such that information setting for a plurality of 3D digital actors is performed, and basic shape information of each 3D digital actor, The information, the motion picture information, and the actor characteristic information can be set to be classified according to the age and emotion state of the corresponding 3D digital actor.

이와 같은 본 발명에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에서 상기 3D 디지털액터 정보설정단계는 성격 특성, 국적 특성, 인종 특성 중에서 선택된 어느 하나를 기준으로 서로 다른 특성의 3D 디지털액터를 복수로 생성시킬 수 있다.
In the method of providing an intelligent user interface by the 3D digital actor according to the present invention, the 3D digital actor information setting step may include a plurality of 3D digital actors having different characteristics based on any one of personality characteristics, nationality characteristics, Can be generated.

이와 같은 본 발명에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에서 상기 3D 디지털액터 UI 설정단계와 3D 디지털액터 반응패턴 설정단계는, 3D 디지털액터에게 설정되어 있는 특성정보에 맞추어진 음성 패턴으로 기본 안내메시지와 반응메시지가 출력되도록 기본 안내메시지와 반응메시지를 설정하게 될 수 있다.
The 3D digital actor UI setting step and the 3D digital actor response pattern setting step in the method of providing an intelligent user interface by the 3D digital actor according to the present invention may include the steps of: A basic guidance message and a response message may be set so that a guidance message and a response message are output.

이와 같은 본 발명에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에서 상기 3D 디지털액터 UI 설정단계는, 전자기기(100)에 설치된 운영체제(OS)와 응용프로그램의 운용시 사용자 입력값이 요구되는 프로세스에서 사용자 입력값 생성을 위한 사용자 동작을 유도하기 위한 질문메시지와 질문동작이 기본 안내메시지와 기본 안내동작으로서 3D 디지털액터와 연동되어 설정되도록 하되, 질문메시지는 3D 디지털액터의 언어 표현으로 출력되도록 설정되도록 하고, 질문동작은 3D 디지털액터의 동작 표현으로 출력되도록 설정되도록 하되, 사용자 입력값은 마우스에 의한 신호입력과 키보드에 의한 신호입력을 포함하는 입력장치(110)의 조작에 의한 조작신호, 사용자의 음성에 의한 음성신호, 사용자의 동작에 의한 동작신호, 사용자의 표정에 의한 표정신호 군 중에서 선택된 어느 하나일 수 있다.
In the method of providing an intelligent user interface by the 3D digital actor according to the present invention, the step of setting the 3D digital actor UI includes a process of requesting a user input value when operating an application program and an operating system installed in the electronic device 100 A question message and a query operation for inducing a user action for generating a user input value are set to be interlocked with a 3D digital actor as a basic guidance message and a basic guidance operation, The user input value is set to be an operation signal by an operation of the input device 110 including a signal input by a mouse and a signal input by a keyboard, A voice signal by voice of the user, an operation signal by the user's operation, It may be any one selected from the facial expression signal group.

이와 같은 본 발명에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에서 상기 3D 디지털액터 UI 설정단계는, 전자기기(100)에 설치된 운영체제(OS)의 운용에 필요한 시스템관리 업무 프로세스를 수행하기 위한 시스템관리 업무진행용 질문메시지와 질문동작이 기본 안내메시지와 기본 안내동작으로서 3D 디지털액터와 연동되어 설정되도록 할 수 있다.
In the method of providing an intelligent user interface by the 3D digital actor according to the present invention, the step of setting the 3D digital actor UI includes a system for performing a system management business process necessary for operating an OS installed in the electronic device 100 The interrogation message and the inquiry operation can be set to be interlocked with the 3D digital actor as the basic guidance message and the basic guiding operation.

이와 같은 본 발명에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법은 전자기기(100)의 디스플레이 패널(131)에 현재 출력되어 있는 컨텐츠의 특성에 대응하는 3D 디지털액터의 능동 행위패턴이 기본 안내메시지와 기본 안내동작으로서 설정되되, 3D 디지털액터의 능동 행위패턴에는 출력 컨텐츠 특성별 질문메시지, 출력 컨텐츠 특성별 질문동작, 사용자 답변 특성별 반응메시지, 사용자 답변 특성별 반응동작, 사용자 답변 특성별 컨텐츠 운용행위가 포함되는 전자기기 출력컨텐츠 특성별 3D 디지털액터 능동 행위패턴 설정단계를 포함하고,The method of providing an intelligent user interface by the 3D digital actor according to the present invention is characterized in that the active behavior pattern of the 3D digital actor corresponding to the characteristic of the content currently displayed on the display panel 131 of the electronic device 100 is the basic guidance message The active behavior pattern of the 3D digital actor includes a question message per output content characteristic, a question behavior per output content characteristic, a response message per user response characteristic, a response behavior per user response characteristic, a content management by user response characteristic, And setting an active behavior pattern of a 3D digital actor according to an electronic device output content characteristic,

상기 3D 디지털액터 UI 수행단계는, 전자기기(100)의 디스플레이 패널(131)에 현재 디스플레이되고 있는 컨텐츠의 특성을 검출하여 컨텐츠 특성에 대응하는 3D 디지털액터의 능동 행위패턴이 수행되도록 하여, 3D 디지털액터가 해당 전자기기(100)의 기능을 인간 상호간 업무처리 방식으로 수행하는 지능형 디지털 사이보그로 구현되도록 할 수 있다.
The step of performing the 3D digital actor UI may include detecting a characteristic of the content currently displayed on the display panel 131 of the electronic device 100 so that the active behavior pattern of the 3D digital actor corresponding to the content characteristic is performed, The actor can be implemented as an intelligent digital cyborg that performs the function of the electronic device 100 in a mutual human-service processing manner.

이와 같은 본 발명에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에서 상기 3D 디지털액터 정보설정단계는, 디지털액터로 구현될 인물이 과거 실존 인물, 현재 실존 인물, 가상 인물 중에서 선정되어 액터 식별정보 DB에 설정되는 디지털액터 인물정보 설정단계와; 선정 인물의 기초 형상정보가 액터 기초형상정보 DB에 저장되는 디지털액터 형상정보 저장단계와; 관리자에 의해 선택되는 디지털액터의 양태이미지가 생성되어 액터 양태이미지 DB에 저장되되, 상기 디지털액터의 양태이미지는 기초 형상정보를 바탕으로 하여 액터 이미지편집 프로그램에 의해 생성되는 디지털액터 양태이미지 생성단계와; 관리자에 의해 선택되는 디지털액터의 동작 영상이 생성되어 액터 동작 DB에 저장되되, 상기 디지털액터의 동작 영상은 기초 형상정보를 바탕으로 하여 액터 동작편집 프로그램에 의해 생성되는 디지털액터 동작 생성단계와; 디지털액터로 구현될 인물로 선정된 인물의 행동특성 정보, 언어특성 정보, 반응특성 정보가 컴퓨터장치의 액터 특성정보 DB에 저장되는 디지털액터 특성정보 저장단계를 포함하고, 상기 디지털액터 양태이미지 생성단계의 액터 이미지편집 프로그램은 선정 인물의 기초 형상정보, 행동특성 정보, 반응특성 정보를 바탕으로 한 해당 디지털액터의 양태이미지를 생성하여 액터 양태이미지 DB에 저장하게 되고, 상기 디지털액터 동작 생성단계의 액터 동작편집 프로그램은 선정 인물의 기초 형상정보, 행동특성 정보, 반응특성 정보를 바탕으로 한 해당 디지털액터의 동작 영상을 생성하여 액터 동작 DB에 저장하게 되는 구성으로 이루어질 수 있다.
In the method of providing an intelligent user interface by a 3D digital actor according to the present invention, the 3D digital actor information setting step may include a step of setting the 3D digital actor information to be a digital actor, which is selected from a past actual person, A digital actor person information setting step of setting the digital actor person information; A digital actor shape information storing step in which basic shape information of a selected person is stored in an actor basic shape information DB; An aspect image of a digital actor selected by an administrator is generated and stored in an actor aspect image DB, the aspect image of the digital actor being generated by an actor image editing program based on the base shape information, ; An operation image of a digital actor selected by an administrator is generated and stored in an actor operation DB, the operation image of the digital actor is generated by an actor operation editing program based on basic shape information; A digital actor characteristic image storing step in which behavior characteristic information of a person selected as a person to be implemented by a digital actor, language characteristic information, and reaction characteristic information are stored in an actor characteristic information DB of a computer device, The actor image editing program of the actor image editing program generates an aspect image of the digital actor based on the basic shape information, the behavior characteristic information, and the response characteristic information of the selected person and stores the image in the actor aspect image DB, The action editing program may be configured to generate an action image of the corresponding digital actor based on the basic shape information, the behavior characteristic information, and the reaction characteristic information of the selected person, and store the generated action image in the actor action DB.

본 발명에 의한 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에 의하면, 다양화된 가상 캐릭터를 실생활에 활용할 수 있고, 전자기기 사용시 흥미유발과 몰입도를 극대화시킬 수 있는 효과가 있다. 특히 본 발명에 의한 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에 의하면, 사용자의 음성/동작/표정 등에 실시간 반응하여 반응동작이나 반응메시지를 표현하는 지능형 인터랙티브 UI가 구현되므로, 입체적이고 다이나믹한 UI를 구현할 수 있는 효과가 있다. 또한 본 발명에 의한 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에 의하면, 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터가 사용자맞춤식으로 생성되므로, 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 수용될 수 있을 뿐만 아니라 사용자와 3D 디지털액터 간 상호작용이 사실적으로 구현될 수 있는 효과가 있다.According to the method of providing an intelligent user interface by the 3D digital actor according to the present invention, diversified virtual characters can be utilized in real life, and interest and enthusiasm can be maximized when using electronic devices. Particularly, according to the method of providing an intelligent user interface by the 3D digital actor according to the present invention, an intelligent interactive UI expressing a reaction operation or a response message is realized by real-time response to user's voice / action / facial expression, There is an effect that can be implemented. According to the method for providing an intelligent user interface by the 3D digital actor according to the present invention, a 3D digital actor having various characteristics based on age group, emotion state, personality, nationality, race, Therefore, not only the demands of users different from each other but also the diverse demands of individual users can be accommodated, and the interaction between the user and the 3D digital actor can be realized realistically.

그리고 본 발명에 의한 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에 의하면, 전자기기의 출력 컨텐츠에 대응하는 3D 디지털액터의 능동행위가 수행되므로, 3D 디지털액터가 UX/UF가 접목된 일종의 지능형 디지털 사이보그로 구현될 수 있고, 이와 더불어 전자기기에 설치된 운영체제나 응용프로그램의 운용을 위한 질문이나 시스템관리 업무를 위한 질문을 통해 전자기기의 각종 기능이 인간 상호간 업무처리 방식으로 수행될 수 있는 효과가 있다.
According to the method for providing an intelligent user interface by the 3D digital actor according to the present invention, since the active action of the 3D digital actor corresponding to the output contents of the electronic device is performed, the 3D digital actor is a kind of intelligent digital cyborg In addition, various functions of the electronic device can be performed through the inter-human task processing method through a question for the operation of the operating system or an application program installed in the electronic device or a question for the system management task.

도 1은 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법의 순서 블록도;
도 2는 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법이 구현되는 전자기기의 구성 블록도;
도 3은 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법에서 이용되는 3D 디지털액터의 다양한 양태이미지 예시도;
도 4의 (a)와 (b)는 전자기기의 디스플레이패널 상에 디스플레이되는 3D 디지털액터의 형상 라인 예시도;
도 5는 전자기기 출력컨텐츠 특성별 3D 디지털액터 능동 행위패턴 설정단계가 추가된 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법의 순서 블록도;
도 6은 본 발명의 실시예에 따른 3D 디지털액터 정보설정단계의 순서 블록도이다.1 is a sequence block diagram of a method for providing an intelligent user interface by a 3D digital actor according to an embodiment of the present invention;
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and apparatus for providing an intelligent user interface by a 3D digital actor.
3 illustrates various aspects of an image of a 3D digital actor used in a method of providing an intelligent user interface by a 3D digital actor according to an embodiment of the present invention;
Figures 4 (a) and 4 (b) are examples of a shape line of a 3D digital actor being displayed on a display panel of an electronic device;
FIG. 5 is a sequence block diagram of a method for providing an intelligent user interface by a 3D digital actor according to an embodiment of the present invention, in which a step of setting an active behavior pattern of a 3D digital actor according to an output characteristic of an electronic device is added;
6 is a sequence block diagram of a 3D digital actor information setting step according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면 도 1 내지 도 6에 의거하여 상세히 설명한다. 한편, 도면과 상세한 설명에서 일반적인 디지털액터, 가상 인물 생성방법, 데이터베이스, 이미지편집 프로그램, 동작편집 프로그램, 전자기기, 사용자 인터페이스, 지능형 사용자 인터페이스, 운영체제, 응용프로그램 등으로부터 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings 1 to 6. On the other hand, in the drawings and detailed description, it can be easily understood that workers in this field can easily recognize from a digital operator, a virtual person generation method, a database, an image editing program, a motion editing program, an electronic device, a user interface, an intelligent user interface, an operating system, The configurations and acts that may be performed are either simplified or omitted. In the drawings and specification, there are shown in the drawings and will not be described in detail, and only the technical features related to the present invention are shown or described only briefly. Respectively.

본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법은 도 1에서와 같이 3D 디지털액터 정보설정단계, 3D 디지털액터 UI 설정단계, 3D 디지털액터 반응패턴 설정단계, 3D 디지털액터 UI 수행단계, 전자기기 입력정보 수신단계, 3D 디지털액터 반응단계, 출력정보 산출단계를 포함하는 구성으로 이루어지는 것으로, 도 2에서와 같이 컴퓨터, 노트북, 스마트 폰, 스마트 패드, HMD 등의 각종 전자기기(100)에서 정보 입출력을 안내하기 위한 UI가 3D 디지털액터에 의해 구현되도록 하는 것이다.
A method of providing an intelligent user interface by a 3D digital actor according to an embodiment of the present invention includes: setting a 3D digital actor information, setting a 3D digital actor UI, setting a 3D digital actor response pattern, and performing a 3D digital actor UI The electronic device input information receiving step, the 3D digital actor reaction step, and the output information calculating step. As shown in FIG. 2, the electronic device 100 includes a computer, a notebook, a smartphone, a smart pad, The UI for guiding the information input / output is implemented by the 3D digital actor.

한편 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법이 적용되는 전자기기(100)는 일정크기 이상의 연산처리 성능을 갖는 CPU가 탑재되는 것이다. 이에 따라, 3D 디지털액터 UI 수행단계, 전자기기 입력정보 수신단계, 3D 디지털액터 반응단계, 출력정보 산출단계에서의 사용자와 3D 디지털액터 간 상호작용 및 3D 디지털액터의 반응메시지/반응 동작 구현 과정에서 요구되는 복잡한 연산과 많은 연산량이 일정크기 이상의 연산처리 성능을 갖는 CPU를 통해 신속하고 안정되게 처리될 수 있게 된다.Meanwhile, the electronic device 100 to which the method for providing an intelligent user interface by the 3D digital actor according to the embodiment of the present invention is applied is equipped with a CPU having an arithmetic processing capability of a predetermined size or more. Accordingly, in the process of implementing the 3D digital actor UI, the step of receiving the input information of the electronic device, the step of reacting the 3D digital actor, the step of interacting with the user and the 3D digital actor in the step of calculating the output information, The required complex operations and a large amount of computation can be processed quickly and stably through the CPU having the processing performance of a certain size or more.

3D 디지털액터 정보설정단계는 과거 실존 인물, 현재 실존 인물, 가상 인물 중에서 선정되는 3D 디지털액터의 기초 형상정보, 양태이미지 정보, 동작 영상정보가 CG 디지털 정보로 전자기기(100)에 설정되는 한편, 3D 디지털액터의 행동특성 정보, 언어특성 정보, 반응특성 정보를 포함하는 액터 특성정보가 전자기기(100)에 설정되는 단계이다. 여기서 3D 디지털액터로 선정될 수 있는 가상 인물에는 신화, 종교, 문학, 영화와 같은 문화컨텐츠에서 이미 재현되었던 가상 인물이 포함될 수 있으며, 이외의 다양한 가상 인물이 3D 디지털액터로 선정될 수 있다. 즉 3D 디지털액터의 선정을 위한 캐릭터 풀(character pool)에는 과거 실존 인물, 현재 실존 인물, 신화/종교/문학/영화 등의 문화컨텐츠를 통해 재현된 가상 인물, 기타 가상 인물이 포함될 수 있다.
In the 3D digital actor information setting step, basic shape information, 3D image information, and motion image information of a 3D digital actor selected from past existent person, present existent person, and virtual person are set as CG digital information in the electronic device 100, Actor characteristic information including behavioral characteristic information, language characteristic characteristic information, and reaction characteristic information of the 3D digital actor is set in the electronic device 100. Virtual characters that can be selected here as 3D digital actors can include virtual characters that have already been reproduced in cultural contents such as myths, religions, literature, and movies, and a variety of other virtual characters can be selected as 3D digital actors. That is, the character pool for selection of a 3D digital actor may include virtual characters reproduced through past cultural figures such as existent person, current present person, myth / religion / literature / film, and other virtual person.

여기서 본 발명의 실시예에 따른 3D 디지털액터 정보설정단계는 전술(前述)된 캐릭터 풀에서 복수의 3D 디지털액터가 선정되도록 하고, 각 3D 디지털액터에 대한 정보설정이 수행되도록 하여 사용자의 선택 폭이 넓어질 수 있도록 한다.Here, in the 3D digital actor information setting step according to the embodiment of the present invention, a plurality of 3D digital actors are selected from the character pool described above (described above), information setting for each 3D digital actor is performed, So that it can be widened.

그리고 본 발명의 실시예에 따른 3D 디지털액터 정보설정단계는 각 3D 디지털액터의 기초 형상정보, 양태이미지 정보, 동작 영상정보 및 액터 특성정보가 해당 3D 디지털액터의 연령 대와 감정상태 별로 구분되게 설정되도록 한다. 이를 통해 특정 3D 디지털액터가 영유아, 어린이, 10대, 20대, 30대, 40대, 50대, 60대, 70대 등의 연령 대 별로 구현되도록 하거나, 도 3에서와 같이 기쁜 감정상태, 화난 감정상태, 슬픈 감정상태, 즐거운 감정상태, 지루한 감정상태, 고통스러운 감정상태 등의 감정상태 별로 구현되도록 할 수 있다.The 3D digital actor information setting step according to the embodiment of the present invention sets the basic shape information, the mode image information, the motion image information, and the actor characteristic information of each 3D digital actor to be separated according to the age and the emotion state of the corresponding 3D digital actor . This allows a specific 3D digital actor to be implemented for each age group of infants, children, teenagers, 20s, 30s, 40s, 50s, 60s, 70s, etc., An emotional state, a sad emotional state, a pleasant emotional state, a boring emotional state, and a painful emotional state.

또한 본 발명의 실시예에 따른 3D 디지털액터 정보설정단계는 무뚝뚝한 성격/수줍음이 많은 성격/애교가 많은 성격 등의 성격 특성, 한국/일본/중국/러시아/미국/영국/프랑스/이집트/이란 등의 국적 특성, 황인종/흑인종/백인종 등의 인종 특성 등을 기준으로 서로 다른 특성의 3D 디지털액터를 복수로 생성시키게 된다.
In addition, the 3D digital actor information setting step according to the embodiment of the present invention may include a character characteristic such as a blunt personality / shy personality / a lot of personality characteristic, Korea / Japan / China / Russia / USA / UK / France / Egypt / Iran , And a plurality of 3D digital actors having different characteristics on the basis of the race characteristics such as the nationality characteristic of the Chinese character, the Chinese characters of the Chinese character,

3D 디지털액터 UI 설정단계는 전자기기(100)에서의 정보 입출력을 위한 기본 안내메시지와 기본 안내동작이 3D 디지털액터와 연동되어 설정되도록 하는 단계이다. 여기서 기본 안내메시지는 3D 디지털액터의 언어 표현으로 출력되도록 설정되는데, 3D 디지털액터의 언어 표현은 3D 디지털액터가 자신의 음성으로 말하는 것과, 전자기기(100)의 디스플레이 패널(131) 화면창에 문자로 표시되는 것을 포함한다. 그리고 기본 안내동작은 3D 디지털액터의 동작 표현으로 출력되도록 설정된다.
The 3D digital actor UI setting step is a step for setting a basic guiding message for inputting and outputting information in the electronic device 100 and a basic guiding operation interlocking with the 3D digital actor. Here, the basic guidance message is set to be output in the language representation of the 3D digital actor. The language representation of the 3D digital actor is a representation of the 3D digital actor in its own voice, a character in the display window 131 of the electronic device 100 . And the basic guiding operation is set to be output as an operation representation of the 3D digital actor.

한편 본 발명의 실시예에 따른 3D 디지털액터 UI 설정단계는 3D 디지털액터가 종래의 가상캐릭터 UI와 달리 지능화된 질의응답 및 반응 패턴을 보일 수 있도록 하는데, 이를 위하여 전자기기(100)에 설치된 운영체제(OS)와 응용프로그램의 운용시 사용자 입력값이 요구되는 프로세스에서 사용자 입력값 생성을 위한 사용자 동작을 유도하기 위한 질문메시지와 질문동작이 기본 안내메시지와 기본 안내동작으로서 3D 디지털액터와 연동되어 설정되도록 한다. 여기서 질문메시지는 3D 디지털액터의 언어 표현으로 출력되도록 설정되도록 하고, 질문동작은 3D 디지털액터의 동작 표현으로 출력되도록 설정되도록 한다. 사용자 입력값은 마우스에 의한 신호입력과 키보드에 의한 신호입력을 포함하는 입력장치(110)의 조작에 의한 조작신호, 사용자의 음성에 의한 음성신호, 사용자의 동작에 의한 동작신호, 사용자의 표정에 의한 표정신호 등이 될 수 있다.
Meanwhile, in the 3D digital actor UI setting step according to the embodiment of the present invention, the 3D digital actor can display an intelligent query response and a reaction pattern unlike the conventional virtual character UI. To this end, an operating system OS) and a query message and a query operation for inducing a user action for generating a user input value in a process requiring a user input value when the application program is operated are set to be interlocked with a 3D digital actor as a basic guidance message and a basic guiding action do. Here, the question message is set to be output in the language representation of the 3D digital actor, and the question operation is set to be output in the operation representation of the 3D digital actor. The user input values include an operation signal by an operation of the input device 110 including a signal input by a mouse and a signal input by a keyboard, a voice signal by a user's voice, an operation signal by a user's operation, And the like.

예를 들어 사용자가 전자기기(100)를 통해 메일 작성업무를 수행하는 경우, 3D 디지털액터가 현재 작성되는 메일 내용을 분석하여 메일 작성의 완료로 추정할 수 있는 어구나 문장이 검출되면, 메일 작성 완료로 판단한 다음, "저장 할까요?", "누구에게 메일을 보낼까요" 등의 음성을 출력할 수 있다.
For example, when a user performs a mail composition job through the electronic device 100, if the 3D digital actor analyzes the content of the mail currently being created and detects a word or a sentence that can be estimated as completion of mail composition, After completion of the determination, it is possible to output a voice such as "Do you want to save?" Or "Who to send mail to".

또한 본 발명의 실시예에 따른 3D 디지털액터 UI 설정단계, 전자기기(100)에 설치된 운영체제(OS)의 운용에 필요한 시스템관리 업무 프로세스를 수행하기 위한 시스템관리 업무진행용 질문메시지와 질문동작이 기본 안내메시지와 기본 안내동작으로서 3D 디지털액터와 연동되어 설정되도록 한다. 이를 통해 기본적 시스템관리 업무를 사용자와의 상호대화를 통해 수행할 수 있게 되며, 전자기기(100)에 설치된 시스템 운영체제(OS) 자체가 3D 디지털액터를 매개로 사용자와 직접적인 대면을 통해 전자기기 운영을 위한 각종 기능을 수행할 수 있게 된다. 여기서 전자기기(100)에 설치된 시스템 운영체제(OS)와 연동되는 3D 디지털액터는 기능(업무) 특성이나 사용자 취향 별로 다양한 형태를 가지도록 설정되거나 선택될 수 있다.
In addition, a 3D digital actor UI setting step according to an embodiment of the present invention, a system management task inquiry message and a question operation for performing a system management business process necessary for operating an operating system (OS) installed in the electronic device 100, And is set to be interlocked with the 3D digital actor as a guide message and basic guiding operation. In this way, the basic system management work can be performed through mutual communication with the user, and the system operating system (OS) installed in the electronic apparatus 100 itself can operate the electronic apparatus through the 3D digital actor Various functions can be performed. Here, the 3D digital actor interlocked with a system operating system (OS) installed in the electronic device 100 may be set or selected to have various forms according to function (business) characteristics or user taste.

3D 디지털액터 반응패턴 설정단계는 전자기기(100)로 입력되는 입력정보에 대응하는 3D 디지털액터의 반응메시지와 반응동작이 전자기기(100)에 설정되는 단계이다. 여기서 입력정보는 입력장치(110)의 조작에 의한 조작신호, 사용자의 음성에 의한 음성신호, 사용자의 동작에 의한 동작신호, 사용자의 표정에 의한 표정신호 등이 될 수 있다. 입력장치(110)의 조작에 의한 조작신호의 경우 해당 조작신호에 연동되어 있는 기계어나 자연어에 대응하는 반응메시지와 반응동작이 설정될 수 있다. 사용자의 음성에 의한 음성신호의 경우 해당 음성이 표현하고 있는 메시지, 음성 크기/음성 톤 등의 음성 특성에 대응하는 반응메시지와 반응동작이 설정될 수 있다. 사용자의 동작에 의한 동작신호의 경우 해당 동작이 표현하고 있는 메시지, 동작 크기/동작 속도 등의 동작 특성에 대응하는 반응메시지와 반응동작이 설정될 수 있다. 사용자의 표정에 의한 표정신호의 경우 해당 표정이 표현하고 있는 메시지, 표정의 변화 여부, 표정의 변화속도 등에 대응하는 반응메시지와 반응동작이 설정될 수 있다. The 3D digital actor response pattern setting step is a step in which the response message of the 3D digital actor corresponding to the input information input to the electronic device 100 and the reaction operation are set in the electronic device 100. Here, the input information may be an operation signal by an operation of the input device 110, a voice signal by a user's voice, an operation signal by a user's operation, a facial expression signal by a user's facial expression, or the like. In the case of an operation signal by the operation of the input device 110, a reaction message and a reaction operation corresponding to a machine language or a natural language linked to the operation signal may be set. In the case of a voice signal by the user's voice, a response message corresponding to voice characteristics such as a message represented by the voice, a voice size / voice tone, and a reaction operation can be set. In the case of an operation signal based on an operation of a user, a response message and a reaction operation corresponding to operation characteristics such as a message represented by the operation, an operation size / operation speed, and the like may be set. In the case of a facial expression signal by a user's facial expression, a response message and a reaction operation corresponding to the message represented by the facial expression, whether the facial expression changes, or the rate of change of the facial expression can be set.

여기서 3D 디지털액터의 반응동작은 3D 디지털액터의 기본 안내동작에 대한 편집으로 생성될 수 있다.
Here, the reaction operation of the 3D digital actor can be created by editing the basic guiding operation of the 3D digital actor.

본 발명의 실시예에 따른 3D 디지털액터 UI 설정단계와 3D 디지털액터 반응패턴 설정단계는 3D 디지털액터에게 설정되어 있는 특성정보에 맞추어진 음성 패턴으로 기본 안내메시지와 반응메시지가 출력되도록 기본 안내메시지와 반응메시지를 설정하게 한다. 3D 디지털액터에게 설정되어 있는 특성정보에는 연령 대와 감정상태, 성격 특성, 국적 특성, 인종 특성 등이 포함된다.
The 3D digital actor UI setting step and the 3D digital actor response pattern setting step according to the embodiment of the present invention may include a basic guiding message and a response message to output a basic guiding message and a response message in a voice pattern adapted to the characteristic information set in the 3D digital actor, Set up a response message. Characteristic information set for 3D digital actors includes age, emotional state, personality characteristics, nationality characteristics, and race characteristics.

3D 디지털액터 UI 수행단계는 사용자의 전자기기 사용시 도 4에서와 같이 3D 디지털액터가 전자기기(100)의 출력장치(130)에 디스플레이되고, 3D 디지털액터가 기본 안내동작을 구현하면서 기본 안내메시지를 언어 표현으로 사용자에게 전달하는 단계이다. 3D 디지털액터는 도 2에서와 같이 출력장치(130)를 이루는 디스플레이 패널(131)를 통해 디스플레이되는 한편 스피커(132)를 통해 기본 안내메시지나 반응메시지를 음성으로 출력하게 된다. 이를 통해 3D 디지털액터가 UI 기능을 수행하게 된다.
In the 3D digital actor UI performing step, when the user uses the electronic device, the 3D digital actor is displayed on the output device 130 of the electronic device 100 as shown in FIG. 4, And delivering it to the user in a language expression. The 3D digital actors are displayed through the display panel 131 constituting the output device 130 as shown in FIG. 2, and output a basic guidance message or a response message through the speaker 132 by voice. This allows 3D digital actors to perform UI functions.

전자기기 입력정보 수신단계는 입력정보가 전자기기(100)에 의해 수신되는 단계이다. 여기서 입력정보에는 입력장치(110)의 조작에 의한 조작신호, 사용자의 음성에 의한 음성신호, 사용자의 동작에 의한 동작신호, 사용자의 표정에 의한 표정신호 등이 포함될 수 있다. 음성신호, 동작신호, 표정신호의 수신을 위하여 전자기기(100)에는 정보인식장치(120)가 설치되는데, 정보인식장치(120)에는 음성인식 유닛(121), 모션인식 유닛(122), 페이셜정보 인식 유닛(123)이 포함될 수 있다.
The electronic device input information receiving step is a step in which input information is received by the electronic device 100. [ Here, the input information may include an operation signal by an operation of the input device 110, a voice signal by a user's voice, an operation signal by a user's operation, a facial expression signal by a user's facial expression, and the like. An information recognition apparatus 120 is installed in the electronic apparatus 100 for receiving a voice signal, an operation signal and a facial expression signal. The information recognition apparatus 120 is provided with a voice recognition unit 121, a motion recognition unit 122, An information recognition unit 123 may be included.

3D 디지털액터 반응단계는 입력정보에 대응하는 3D 디지털액터 반응정보가 3D 디지털액터 반응패턴 설정단계에서 설정되는 정보로부터 산출되고, 산출된 3D 디지털액터 반응정보에 맞추어 3D 디지털액터의 반응메시지와 반응동작이 전자기기(100)의 출력장치(130)를 통해 출력되는 단계이다. 이를 통해 사용자와 3D 디지털액터는 상호작용하는 동시에 대화를 수행하면서 정보 입출력의 요청 및 정보 입출력의 제공이 진행되도록 한다.
In the 3D digital actor reaction step, the 3D digital actor reaction information corresponding to the input information is calculated from the information set in the 3D digital actor reaction pattern setting step, and the 3D digital actor response message and response operation Is output through the output device 130 of the electronic device 100. [ This enables the user and the 3D digital actor to interact with each other while simultaneously conducting the information input / output request and information input / output.

출력정보 산출단계는 입력정보에 대응하는 출력정보가 전자기기(100)에 의해 생성되어 출력되는 단계이다.
The output information calculation step is a step in which the output information corresponding to the input information is generated and output by the electronic device 100. [

한편 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법은 도 5에서와 같이 전자기기 출력컨텐츠 특성별 3D 디지털액터 능동 행위패턴 설정단계가 수행되도록 하는데, 전자기기 출력컨텐츠 특성별 3D 디지털액터 능동 행위패턴 설정단계는 전자기기(100)의 디스플레이 패널(131)에 현재 출력되어 있는 컨텐츠의 특성에 대응하는 3D 디지털액터의 능동 행위패턴이 기본 안내메시지와 기본 안내동작으로서 설정되는 단계이다. 여기서 3D 디지털액터의 능동 행위패턴에는 출력 컨텐츠 특성별 질문메시지, 출력 컨텐츠 특성별 질문동작, 사용자 답변 특성별 반응메시지, 사용자 답변 특성별 반응동작, 사용자 답변 특성별 컨텐츠 운용행위가 포함될 수 있다. Meanwhile, a method of providing an intelligent user interface by a 3D digital actor according to an embodiment of the present invention may be performed in a step of setting an active behavior pattern of a 3D digital actor according to an output content characteristic of an electronic device as shown in FIG. 5, In the step of setting the active actor pattern of the digital actor, the active behavior pattern of the 3D digital actor corresponding to the characteristic of the content currently displayed on the display panel 131 of the electronic device 100 is set as the basic guidance message and the basic guidance operation . Here, the active behavior pattern of the 3D digital actor may include a question message for each output content characteristic, a question behavior for each output content characteristic, a response message for each user response characteristic, a reaction behavior for each user response characteristic, and a content operation for each user response characteristic.

이에 대응하여 본 발명의 실시예에 따른 3D 디지털액터 UI 수행단계는 전자기기(100)의 디스플레이 패널(131)에 현재 디스플레이되고 있는 컨텐츠의 특성을 검출하여 컨텐츠 특성에 대응하는 3D 디지털액터의 능동 행위패턴이 수행되도록 할 수 있다. 이를 통해 3D 디지털액터는 전자기기(100)의 기능을 인간 상호간 업무처리 방식으로 수행하는 지능형 디지털 사이보그로 구현될 수 있게 된다.
In response to this, the step of performing the 3D digital actor UI according to the embodiment of the present invention detects the characteristic of the content currently displayed on the display panel 131 of the electronic device 100, Pattern can be performed. Accordingly, the 3D digital actor can be implemented as an intelligent digital cyborg that performs the function of the electronic device 100 in a human interactions processing manner.

예를 들어 사용자가 전자기기(100)를 통해 메일 확인업무를 수행하는 경우, 3D 디지털액터가 "메일을 읽어드릴까요?"라는 음성을 출력한 다음, 사용자가 동의하면 전자기기(100)의 디스플레이 패널(131)에 현재 디스플레이되고 있는 메일 내용을 음성으로 읽을 수 있다. 또한 전자기기(100)의 디스플레이 패널(131)에 현재 텍스트가 디스플레이되어 있을 경우에도 3D 디지털액터가 "화면에 표시된 텍스트 내용을 읽어드릴까요?"라는 음성을 출력한 다음, 사용자가 동의하면 전자기기(100)의 디스플레이 패널(131)에 현재 디스플레이되고 있는 텍스트 내용을 음성으로 읽을 수 있다.
For example, when the user performs the mail checking job through the electronic device 100, the 3D digital actor outputs a voice message "Would you like to read the mail?" The contents of the mail currently displayed on the panel 131 can be read out by voice. Also, when the current text is displayed on the display panel 131 of the electronic device 100, the 3D digital actor outputs a voice "Would you like to read the text displayed on the screen?" The text contents currently displayed on the display panel 131 of the display device 100 can be read aloud.

한편 본 발명의 실시예에 따른 3D 디지털액터 정보설정단계는 본 발명자에 의해 출원된 특허출원번호 제10-2015-0059715호 "영상컨텐츠 적용 디지털액터의 운용방법"에 기재되어 있는 3D 디지털액터 관련구성을 적용하여 3D 디지털액터를 생성하고, 3D 디지털액터의 구현을 위한 각종 설정을 수행할 수 있다.
Meanwhile, the step of setting 3D digital actor information according to the embodiment of the present invention is a step of setting a 3D digital actor related configuration described in Patent Application No. 10-2015-0059715 " To create a 3D digital actor, and to perform various settings for implementing the 3D digital actor.

즉 본 발명의 실시예에 따른 3D 디지털액터 정보설정단계는 도 3에서와 같이 디지털액터 인물정보 설정단계, 디지털액터 형상정보 저장단계, 디지털액터 양태이미지 생성단계, 디지털액터 동작 생성단계, 디지털액터 특성정보 저장단계를 거쳐 수행된다.That is, the 3D digital actor information setting step according to the embodiment of the present invention may include setting the digital actor figure information, storing the digital actor shape information, generating the digital actor mode image, Information storage step.

디지털액터 인물정보 설정단계는 디지털액터로 구현될 인물이 과거 실존 인물, 현재 실존 인물, 가상 인물 중에서 선정되어 액터 식별정보 DB에 설정되는 단계이다.In the digital actor person information setting step, the person to be implemented by the digital actor is selected from the past existing person, current present person, and virtual person, and is set in the actor identification information DB.

디지털액터 형상정보 저장단계는 선정 인물의 기초 형상정보가 액터 기초형상정보 DB에 저장되는 단계이다.The digital actor shape information storing step is a step in which basic shape information of the selected person is stored in the actor basic shape information DB.

디지털액터 양태이미지 생성단계는 관리자에 의해 선택되는 디지털액터의 양태이미지가 생성되어 액터 양태이미지 DB에 저장되는 단계이다. 디지털액터의 양태이미지는 기초 형상정보를 바탕으로 하여 액터 이미지편집 프로그램에 의해 생성될 수 있다. 여기서 액터 이미지편집 프로그램은 선정 인물의 기초 형상정보, 행동특성 정보, 반응특성 정보를 바탕으로 한 해당 디지털액터의 양태이미지를 생성하여 액터 양태이미지 DB에 저장하게 된다.The digital actor aspect image generation step is a step in which an image of the state of the digital actor selected by the manager is generated and stored in the actor aspect image DB. An image of the dynamic image of the digital actor can be generated by the actor image editing program based on the basic shape information. Here, the actor image editing program generates an image of the dynamic image of the corresponding digital actor based on the basic shape information, the behavior characteristic information, and the response characteristic information of the selected person, and stores the image in the actor image DB.

디지털액터 동작 생성단계는 관리자에 의해 선택되는 디지털액터의 동작 영상이 생성되어 액터 동작 DB에 저장되는 단계이다. 디지털액터의 동작 영상은 기초 형상정보를 바탕으로 하여 액터 동작편집 프로그램에 의해 생성될 수 있다. 여기서 액터 동작편집 프로그램은 선정 인물의 기초 형상정보, 행동특성 정보, 반응특성 정보를 바탕으로 한 해당 디지털액터의 동작 영상을 생성하여 액터 동작 DB에 저장하게 된다.In the digital actor operation generation step, an operation image of the digital actor selected by the administrator is generated and stored in the actor operation DB. The motion image of the digital actor can be generated by the actor motion editing program based on the basic shape information. Here, the actor operation editing program creates an operation image of the corresponding digital actor based on the basic shape information, the behavior characteristic information, and the reaction characteristic information of the selected person, and stores it in the actor operation DB.

디지털액터 특성정보 저장단계는 디지털액터로 구현될 인물로 선정된 인물의 행동특성 정보, 언어특성 정보, 반응특성 정보가 컴퓨터장치의 액터 특성정보 DB에 저장되는 단계이다.
In the digital actor characteristic information storage step, the behavior characteristic information, the language characteristic information, and the reaction characteristic information of a person selected as a person to be implemented by the digital actor are stored in the actor characteristic information DB of the computer device.

상기와 같이 구성된 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법은 3D 디지털액터가 과거 실존 인물, 현재 실존 인물, 신화/종교/문학/영화 등의 문화컨텐츠를 통해 재현된 가상 인물, 기타 가상 인물을 캐릭터 풀(character pool)로 하여 생성되고, 정보 입출력을 위한 기본 안내메시지/기본 안내동작이 3D 디지털액터와 연동되어 설정되어 각종 전자기기(컴퓨터/노트북/스마트 폰/스마트 패드/HMD 등)에서 3D 디지털액터가 사용자 인터페이스(UI:user interface)로 활용되도록 하므로, 다양화된 가상 캐릭터를 실생활에 활용할 수 있는 동시에 전자기기 사용시 흥미유발과 몰입도 증대를 도모할 수 있게 된다. 특히 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법은 사용자의 음성/동작/표정 등의 입력정보에 대응하는 3D 디지털액터의 반응메시지/반응동작이 설정되어 사용자와 3D 디지털액터가 서로 상호작용할 수 있도록 하므로, 입체적이고 다이나믹한 지능형 인터랙티브 UI를 제공할 수 있으며, 이를 통해 전자기기 사용시 흥미유발과 몰입도를 극대화시킬 수 있게 된다.The method for providing an intelligent user interface by the 3D digital actor according to the embodiment of the present invention configured as described above is characterized in that the 3D digital actor is a 3D virtual actor that is composed of the virtual reality And other virtual characters are created as a character pool, and a basic guidance message / basic guidance operation for information input / output is interlocked with the 3D digital actor, and various electronic devices (computer / notebook / smartphone / smart pad / HMD, etc.), 3D digital actors are utilized as a user interface (UI), so that diversified virtual characters can be utilized in real life, and at the same time, interest and immersion can be increased in the use of electronic devices. Particularly, in the method of providing an intelligent user interface by 3D digital actors according to an embodiment of the present invention, a response message / response operation of a 3D digital actor corresponding to input information such as a user's voice / operation / facial expression is set, So that it is possible to provide stereoscopic and dynamic intelligent interactive UI, thereby maximizing interest inducement and immersion when using electronic devices.

또한 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법은 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터가 사용자맞춤식으로 생성되도록 하므로, 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있을 뿐만 아니라 사용자와 3D 디지털액터 간 상호작용이 사실적으로 구현될 수 있게 된다.In addition, a method for providing an intelligent user interface by 3D digital actors according to an embodiment of the present invention is to customize a 3D digital actor having various characteristics based on age, emotion state, personality, nationality, race, Not only the different users' needs and individual diverse needs can be effectively accommodated, but also the interaction between the user and the 3D digital actor can be realized realistically.

그리고 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법은 전자기기(100)에 현재 디스플레이되고 있는 컨텐츠 특성 별로 3D 디지털액터의 능동 행위패턴이 설정되어 3D 디지털액터가 출력 컨텐츠 맞춤식으로 능동적인 특정행위를 수행하도록 하므로, 3D 디지털액터가 UX/UF가 접목된 일종의 지능형 디지털 사이보그로 구현될 수 있게 된다. 이와 더불어 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법은 전자기기(100)에 설치된 운영체제나 응용프로그램의 운용을 위한 질문이나 시스템관리 업무를 위한 질문이 설정되어 사용자와 3D 디지털액터 간 상호대화를 통해 전자기기의 각종 기능이 인간 상호간 업무처리 방식으로 처리될 수 있게 한다.
In the method of providing an intelligent user interface by 3D digital actors according to an embodiment of the present invention, an active behavior pattern of a 3D digital actor is set for each content characteristic currently displayed in the electronic device 100, The 3D digital actor can be implemented as a kind of intelligent digital cyborg that is combined with UX / UF. In addition, a method for providing an intelligent user interface by a 3D digital actor according to an embodiment of the present invention sets up a question for operation of an operating system or an application program installed in the electronic device 100 or a question for a system management task, Through the mutual interaction among the actors, various functions of the electronic device can be processed by the mutual business processing method.

상술한 바와 같은, 본 발명의 실시예에 따른 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.
Although the method of providing an intelligent user interface by the 3D digital actor according to the embodiment of the present invention as described above has been described with reference to the above description and drawings, the present invention is merely illustrative and is not limitative of the scope of the present invention It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention.

100 : 전자기기
110 : 입력장치
120 : 정보인식장치
121 : 음성인식 유닛
122 : 모션인식 유닛
123 : 페이셜정보 인식 유닛
130 : 출력장치
131 : 디스플레이 패널
132 : 스피커100: Electronic device
110: input device
120: Information recognition device
121: Voice recognition unit
122: Motion recognition unit
123: facial information recognition unit
130: Output device
131: Display panel
132: Speaker

Claims (8)

과거 실존 인물, 현재 실존 인물, 가상 인물 중에서 선정되는 복수의 3D 디지털액터의 기초 형상정보, 양태이미지 정보, 동작 영상정보가 CG 디지털 정보로 전자기기(100)에 설정되는 한편, 각 3D 디지털액터의 행동특성 정보, 언어특성 정보, 반응특성 정보를 포함하는 액터 특성정보가 해당 3D 디지털액터의 연령 대, 감정상태 별로 구분되게 설정되고, 성격 특성, 국적 특성, 인종 특성 중에서 선택된 어느 하나를 기준으로 서로 다른 특성이 전자기기(100)에 설정되어 복수의 3D 디지털액터를 생성시키는 3D 디지털액터 정보설정단계와;
전자기기(100)에 설치된 운영체제(OS)의 운용에 필요한 시스템관리 업무 프로세스를 수행하기 위한 시스템관리 업무진행 프로그램과 응용프로그램의 운용시 사용자 입력값이 요구되는 프로세스에서 사용자 입력값 생성을 위한 사용자 동작을 유도하기 위한 질문메시지와 질문동작이 기본 안내메시지와 기본 안내동작이 3D 디지털액터와 연동되어 설정되되, 기본 안내메시지는 3D 디지털액터에게 설정되어 있는 특성정보에 맞추어진 음성 패턴으로 3D 디지털액터의 언어 표현으로 출력되도록 설정되고, 기본 안내동작은 3D 디지털액터의 동작 표현으로 출력되도록 설정되며, 질문메시지는 3D 디지털액터의 언어 표현으로 출력되도록 설정되도록 하고, 질문동작은 3D 디지털액터의 동작 표현으로 출력되도록 설정되도록 하되, 사용자 입력값은 마우스에 의한 신호입력과 키보드에 의한 신호입력을 포함하는 입력장치(110)의 조작에 의한 조작신호, 사용자의 음성에 의한 음성신호, 사용자의 동작에 의한 동작신호, 사용자의 표정에 의한 표정신호 군 중에서 선택된 어느 하나로 설정되는 3D 디지털액터 UI 설정단계와;
3D 디지털액터에게 설정되어 있는 특성정보에 맞추어진 음성 패턴으로 전자기기(100)로 입력되는 입력정보에 대응하는 3D 디지털액터의 반응메시지와 반응동작이 전자기기(100)에 설정되되, 3D 디지털액터의 반응동작은 기본 안내동작에 대한 편집으로 생성되는 3D 디지털액터 반응패턴 설정단계와;
3D 디지털액터의 능동 행위패턴에는 출력 컨텐츠 특성별 질문메시지, 출력 컨텐츠 특성별 질문동작, 사용자 답변 특성별 반응메시지, 사용자 답변 특성별 반응동작, 사용자 답변 특성별 컨텐츠 운용행위가 포함되는 전자기기 출력컨텐츠 특성별 3D 디지털액터 능동 행위패턴 설정단계와;
사용자의 전자기기 사용시 3D 디지털액터가 전자기기(100)의 출력장치(130)에 디스플레이되고, 3D 디지털액터가 기본 안내동작을 구현하면서 기본 안내메시지를 언어 표현으로 사용자에게 전달하고, 전자기기(100)의 디스플레이 패널(131)에 현재 디스플레이되고 있는 컨텐츠의 특성을 검출하여 컨텐츠 특성에 대응하는 3D 디지털액터의 능동 행위패턴이 수행되도록 하여, 3D 디지털액터가 해당 전자기기(100)의 기능을 인간 상호간 업무처리 방식으로 수행하는 지능형 디지털 사이보그로 구현되는 3D 디지털액터 UI 수행단계와;
입력정보가 전자기기(100)에 의해 수신되되, 입력정보는 입력장치(110)의 조작에 의한 조작신호, 사용자의 음성에 의한 음성신호, 사용자의 동작에 의한 동작신호, 사용자의 표정에 의한 표정신호 군 중에서 선택된 어느 하나인 전자기기 입력정보 수신단계와;
입력정보에 대응하는 3D 디지털액터 반응정보가 상기 3D 디지털액터 반응패턴 설정단계에서 설정되는 정보로부터 산출되고, 산출된 3D 디지털액터 반응정보에 맞추어 3D 디지털액터의 반응메시지와 반응동작이 전자기기(100)의 출력장치(130)를 통해 출력되는 3D 디지털액터 반응단계와;
입력정보에 대응하는 출력정보가 전자기기(100)에 의해 생성되어 출력되는 출력정보 산출단계를 포함하는 것을 특징으로 하는 3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법.A plurality of 3D digital actor basic shape information, stereoscopic image information, and motion image information selected from a past actual person, a current real person, and a virtual person are set as CG digital information in the electronic device 100, and each 3D digital actor Actor characteristic information including behavior characteristic information, language characteristic information, and reaction characteristic information is set to be classified by age group and emotion state of the corresponding 3D digital actor, and based on any one of personality characteristic, nationality characteristic, and race characteristic, A 3D digital actor information setting step in which other characteristics are set in the electronic device 100 to generate a plurality of 3D digital actors;
A system management job progress program for performing a system management job process required for operating an operating system installed in the electronic device 100 and a user operation for generating a user input value in a process in which a user input value is required when operating an application program The basic guidance message and the basic guiding action are set to be interlocked with the 3D digital actor, and the basic guiding message is set as a voice pattern adapted to the characteristic information set for the 3D digital actor, And the basic guiding operation is set to be outputted as the operation representation of the 3D digital actor, the question message is set to be outputted as the language representation of the 3D digital actor, and the query operation is set to be outputted as the operation representation of the 3D digital actor The user input value is set by the mouse An operation signal by an operation of the input device 110 including a signal input and a signal input by a keyboard, an audio signal by a user's voice, an operation signal by a user's operation, and a facial expression signal group Setting a 3D digital actor UI to be set to one;
The response message and the reaction operation of the 3D digital actor corresponding to the input information input to the electronic device 100 in the voice pattern adapted to the characteristic information set to the 3D digital actor are set in the electronic device 100, A 3D digital actor reaction pattern setting step of generating a 3D digital actor reaction pattern by editing the basic guiding action;
The active behavior pattern of the 3D digital actor includes a question message for each output content characteristic, a question behavior for each output content characteristic, a response message for each user response characteristic, a response behavior for each user response characteristic, Setting a 3D digital actor active behavior pattern for each property;
A 3D digital actor is displayed on the output device 130 of the electronic device 100 when the user uses the electronic device and the 3D digital actor transmits the basic guidance message to the user in a language representation while implementing the basic guiding action, The 3D digital actor detects the characteristic of the content currently displayed on the display panel 131 of the 3D digital actor to perform the active behavior pattern of the 3D digital actor corresponding to the content characteristic, A 3D digital actor UI implementation step implemented as an intelligent digital cyborg performed in a business processing manner;
The input information is received by the electronic device 100, and the input information includes an operation signal by an operation of the input device 110, an audio signal by a user's voice, an operation signal by a user's operation, An electronic device input information receiving step of receiving electronic device input information;
The 3D digital actor response information corresponding to the input information is calculated from the information set in the 3D digital actor response pattern setting step and the response message and the reaction operation of the 3D digital actor are transmitted to the electronic device 100 A 3D digital actor reaction step of outputting via the output device 130 of the 3D digital actor;
And an output information calculation step of outputting information corresponding to the input information by the electronic device (100) and outputting the output information. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020160116385A 2016-09-09 2016-09-09 Method for providing intelligent user interface by 3D digital actor KR101851356B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160116385A KR101851356B1 (en) 2016-09-09 2016-09-09 Method for providing intelligent user interface by 3D digital actor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160116385A KR101851356B1 (en) 2016-09-09 2016-09-09 Method for providing intelligent user interface by 3D digital actor

Publications (2)

Publication Number Publication Date
KR20180028717A KR20180028717A (en) 2018-03-19
KR101851356B1 true KR101851356B1 (en) 2018-04-23

Family

ID=61910995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160116385A KR101851356B1 (en) 2016-09-09 2016-09-09 Method for providing intelligent user interface by 3D digital actor

Country Status (1)

Country Link
KR (1) KR101851356B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11848012B2 (en) 2018-09-19 2023-12-19 Samsung Electronics Co., Ltd. System and method for providing voice assistant service
KR20240009332A (en) 2022-07-13 2024-01-22 주식회사 데이터몬스터즈 Apparatus and method of providing virtual search function for fashion product based on 3dimensional

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3101001A1 (en) * 2018-07-19 2020-01-23 Soul Machines Limited Machine interaction
KR20210111953A (en) * 2020-03-03 2021-09-14 주식회사 코아소프트 Customer reaction apparatus using digital signage
KR102394981B1 (en) * 2020-08-19 2022-05-04 동서대학교 산학협력단 Digital actor management system by replacement or linkage of real-world object based on VR-AR-MR
KR102555012B1 (en) * 2020-12-16 2023-07-12 동서대학교 산학협력단 Digital actor management system for offline advertizing and promotion
KR102581583B1 (en) * 2021-05-03 2023-09-25 주식회사 모드랩 Digital signage apparatus
KR102575820B1 (en) * 2021-11-15 2023-09-06 동서대학교 산학협력단 Digital actor management system for exercise trainer
KR102575821B1 (en) * 2021-11-15 2023-09-06 동서대학교 산학협력단 Digital actor management system for EMAIL software
KR102575822B1 (en) * 2021-11-15 2023-09-06 동서대학교 산학협력단 Digital actor management system for Home automation
KR102584816B1 (en) * 2023-03-23 2023-10-11 뉴럴엔진 주식회사 Unmanned Cafe System with Artificial Intelligence and Digital Humans, and Operating Method Thereby

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11848012B2 (en) 2018-09-19 2023-12-19 Samsung Electronics Co., Ltd. System and method for providing voice assistant service
KR20240009332A (en) 2022-07-13 2024-01-22 주식회사 데이터몬스터즈 Apparatus and method of providing virtual search function for fashion product based on 3dimensional

Also Published As

Publication number Publication date
KR20180028717A (en) 2018-03-19

Similar Documents

Publication Publication Date Title
KR101851356B1 (en) Method for providing intelligent user interface by 3D digital actor
JP7084457B2 (en) Image generation methods, generators, electronic devices, computer-readable media and computer programs
US9747495B2 (en) Systems and methods for creating and distributing modifiable animated video messages
KR101894573B1 (en) Smart phone interface management system by 3D digital actor
KR101306221B1 (en) Method and apparatus for providing moving picture using 3d user avatar
KR20180071833A (en) Computer interface management system by 3D digital actor
JP7031009B2 (en) Avatar generator and computer program
WO2013120851A1 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
KR20210028198A (en) Avatar animation
KR101977893B1 (en) Digital actor managing method for image contents
US20230130535A1 (en) User Representations in Artificial Reality
WO2017219967A1 (en) Virtual keyboard generation method and apparatus
CN111862280A (en) Virtual role control method, system, medium, and electronic device
CN113766168A (en) Interactive processing method, device, terminal and medium
US11430158B2 (en) Intelligent real-time multiple-user augmented reality content management and data analytics system
KR101694303B1 (en) Apparatus and method for generating editable visual object
CN109445573A (en) A kind of method and apparatus for avatar image interactive
KR102026172B1 (en) Method and system for artificial intelligence coversation using object personification and object context
US10909754B1 (en) Visual scripting for multi-dimensional elements
KR102390615B1 (en) Method and system for generating and sharing realistic 3d character model
CN110604918B (en) Interface element adjustment method and device, storage medium and electronic equipment
KR20140078083A (en) Method of manufacturing cartoon contents for augemented reality and apparatus performing the same
CN112686990A (en) Three-dimensional model display method and device, storage medium and computer equipment
KR102553789B1 (en) Digital actor management system for application software
KR102579892B1 (en) Apparatus providing guide information based on augmented reality content and method thereof

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant