KR102553789B1 - Digital actor management system for application software - Google Patents

Digital actor management system for application software Download PDF

Info

Publication number
KR102553789B1
KR102553789B1 KR1020200175949A KR20200175949A KR102553789B1 KR 102553789 B1 KR102553789 B1 KR 102553789B1 KR 1020200175949 A KR1020200175949 A KR 1020200175949A KR 20200175949 A KR20200175949 A KR 20200175949A KR 102553789 B1 KR102553789 B1 KR 102553789B1
Authority
KR
South Korea
Prior art keywords
information
digital actor
user
software
application software
Prior art date
Application number
KR1020200175949A
Other languages
Korean (ko)
Other versions
KR20220085947A (en
Inventor
박홍식
Original Assignee
동서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교 산학협력단 filed Critical 동서대학교 산학협력단
Priority to KR1020200175949A priority Critical patent/KR102553789B1/en
Publication of KR20220085947A publication Critical patent/KR20220085947A/en
Application granted granted Critical
Publication of KR102553789B1 publication Critical patent/KR102553789B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 응용 소프트웨어 조작 디지털액터 운용시스템을 제공한다. 이와 같은 본 발명에 따른 응용 소프트웨어 조작 디지털액터 운용시스템은 컴퓨터 프로그램이나 스마트폰 애플리케이션 등의 응용 소프트웨어에 디지털액터가 할당되어 사용자와 디지털액터 간 대화나 사용자의 신체언어에 대한 디지털액터의 반응 등에 의한 상호 소통으로 소프트웨어 조작이 디지털액터를 매개로 수행되도록 함으로써 소프트웨어 조작을 위한 사용자의 물리적 행위가 불필요해져 사용자의 편의가 향상될 수 있고, 몸이 불편한 사용자도 각종 응용 소프트웨어를 간편하고 용이하게 조작하여 사용할 수 있게 될 뿐만 아니라, 쌍방향 소통의 다이나믹한 사용자경험과 디지털액터에 의해 인간화된 인터페이스를 제공받으면서 물질적인 전자적-기계적 환경 속에서도 정서적 안정감을 획득할 수 있는 한편, 응용 소프트웨어의 메뉴항목이나 실행단계 각각에 구분되게 디지털액터가 할당되도록 함으로써 사용자의 응용 소프트웨어 사용에 대한 집중도와 흥미를 유발시켜 소프트웨어 활용도 증대를 도모할 수 있는 기술적 특징을 갖는다.The present invention provides a digital actor operating system for operating application software. In the application software manipulation digital actor operating system according to the present invention, a digital actor is assigned to application software such as a computer program or a smartphone application, and interaction between the user and the digital actor or the digital actor's response to the user's body language By enabling software manipulation to be performed through a digital actor through communication, the user's physical actions for software manipulation are unnecessary, which can improve user convenience and enable users with disabilities to operate and use various application software simply and easily. In addition, while being provided with a dynamic user experience of interactive communication and a humanized interface by digital actors, a sense of emotional stability can be obtained even in a material electronic-mechanical environment, while each of the menu items or execution steps of the application software is divided It has a technical feature that can promote the increase in software utilization by inducing concentration and interest in the use of application software by users by assigning digital actors as much as possible.

Description

응용 소프트웨어 조작 디지털액터 운용시스템{Digital actor management system for application software}Digital actor management system for application software}

본 발명은 응용 소프트웨어 조작 디지털액터 운용시스템에 관한 것으로, 좀더 구체적으로는 컴퓨터 프로그램이나 스마트폰 애플리케이션 등의 응용 소프트웨어에 디지털액터가 할당되어 사용자와 디지털액터 간 대화나 사용자의 신체언어에 대한 디지털액터의 반응 등에 의한 상호 소통으로 소프트웨어 조작이 디지털액터를 매개로 수행되도록 함으로써 소프트웨어 조작을 위한 사용자의 물리적 행위가 불필요해져 사용자의 편의가 향상될 수 있고, 몸이 불편한 사용자도 각종 응용 소프트웨어를 간편하고 용이하게 조작하여 사용할 수 있게 될 뿐만 아니라, 쌍방향 소통의 다이나믹한 사용자경험과 디지털액터에 의해 인간화된 인터페이스를 제공받으면서 물질적인 전자적-기계적 환경 속에서도 정서적 안정감을 획득할 수 있는 한편, 응용 소프트웨어의 메뉴항목이나 실행단계 각각에 구분되게 디지털액터가 할당되도록 함으로써 사용자의 응용 소프트웨어 사용에 대한 집중도와 흥미를 유발시켜 소프트웨어 활용도 증대를 도모할 수 있는 응용 소프트웨어 조작 디지털액터 운용시스템에 관한 것이다.The present invention relates to a digital actor operating system for manipulating application software, and more specifically, a digital actor is assigned to application software such as a computer program or a smartphone application to provide a dialogue between a user and a digital actor or a digital actor for a user's body language. By allowing software manipulation to be performed through a digital actor through mutual communication through reactions, the user's physical actions for software manipulation are unnecessary, which can improve user convenience and make it easy and convenient for users with disabilities to use various application software. Not only can it be manipulated and used, but it can acquire a sense of emotional stability even in a material electronic-mechanical environment while being provided with a humanized interface by digital actors and a dynamic user experience of interactive communication, while menu items or execution of application software The present invention relates to a digital actor operating system for manipulating application software that can increase the usability of software by inducing concentration and interest in the use of application software by users by assigning digital actors to each step separately.

컴퓨터 그래픽 기술이 발전하면서 인터넷 커뮤니티 상의 아바타와 같은 캐릭터, 3차원 애니메이션, 영화의 특수효과 등의 디지털 콘텐츠 분야에서 다양한 캐릭터 애니메이션 기술이 개발되고 있다.As computer graphics technology develops, various character animation technologies are being developed in the field of digital contents, such as characters such as avatars in the Internet community, 3D animation, and special effects of movies.

그러나 상기와 같은 종래기술의 경우 가상 캐릭터를 다양하게 구현하는데 한계가 있었으며, 가상 캐릭터가 애니메이션 제작이나 각종 디스플레이장치 등에서 단순하게 보조적으로 안내정보를 제공하는 것이 일반적이었다.However, in the case of the prior art as described above, there was a limit to various implementations of virtual characters, and it was common for virtual characters to simply and auxiliaryly provide guide information in animation production or various display devices.

이에 따라 본 발명자에 의해 대한민국 등록특허공보 등록번호 제10-1894573호 "3D 디지털 액터형 스마트폰 인터페이스 운용시스템", 공개특허공보 공개번호 제10-2018-0071833호 "3D 디지털 액터형 컴퓨터 인터페이스 운용시스템" 등의 기술개발이 이루어졌다.Accordingly, the inventors of the Republic of Korea Registered Patent Publication No. 10-1894573 "3D digital actor type smartphone interface operating system", Publication Patent Publication No. 10-2018-0071833 "3D digital actor type computer interface operating system" “Technical development has been made.

이와 같이 개발된 디지털액터 기반의 인터페이스 운용시스템은, 현실의 인간과 구분되지 않을 정도의 사실감으로 구현된 3D 디지털액터가 스마트 폰/컴퓨터의 화면창에 디스플레이된 3D 가상공간 내에 위치하면서 영상인식/음성인식/스마트폰 움직임인식을 기반으로 한 사용자와의 상호 대화나 사용자의 동작/표정 자동인식 등을 기반으로 한 능동적인 리액션/피드백 동작과 음성 발화를 가상적으로 수행하는 과정을 통해 사용자 인터페이스(user interface) 기능을 수행하게 됨으로써 디지털 환경의 인공성을 인간화시킬 수 있는 동시에, 스마트 폰/컴퓨터 이용시 사용자의 흥미유발과 즐거움을 극대화시킬 수 있고, 이와 더불어 사용자의 취향에 따라 연령 대, 감정상태, 성격, 국적, 인종 등을 기준으로 다양한 특성을 갖는 3D 디지털액터를 사용자맞춤식으로 생성하게 됨으로써 서로 상이한 사용자들의 요구와 개인별 다양한 요구들이 효과적으로 수용될 수 있도록 한다.The interface operating system based on the digital actor developed in this way allows the 3D digital actor, realized with a sense of realism to be indistinguishable from real humans, to be located in the 3D virtual space displayed on the screen of a smartphone/computer, and to provide image recognition/voice recognition. User interface (user interface) through the process of virtually performing active reaction/feedback operation and voice speech based on mutual conversation with the user based on recognition/smartphone motion recognition or automatic recognition of the user's motion/expression ) function, it is possible to humanize the artificiality of the digital environment, and at the same time to maximize the user's interest and enjoyment when using a smartphone / computer. By creating customized 3D digital actors with various characteristics based on nationality, race, etc., the needs of different users and various individual needs can be effectively accommodated.

그러나 상기 디지털액터 기반의 인터페이스 운용시스템도 스마트폰/컴퓨터의 인터페이스에 한정되는 구성이어서 디지털액터를 다양하게 활용할 수 있는 시스템의 개발이 요구되는 실정이었다.However, since the digital actor-based interface operating system is also limited to the interface of a smartphone/computer, the development of a system that can utilize digital actors in various ways has been required.

대한민국 등록특허공보 등록번호 제10-1894573호 "3D 디지털 액터형 스마트폰 인터페이스 운용시스템"Republic of Korea Registered Patent Publication No. 10-1894573 "3D digital actor type smartphone interface operating system" 대한민국 공개특허공보 공개번호 제10-2018-0071833호 "3D 디지털 액터형 컴퓨터 인터페이스 운용시스템"Republic of Korea Patent Publication Publication No. 10-2018-0071833 "3D digital actor type computer interface operating system"

따라서 본 발명은 이와 같은 종래 기술의 문제점을 개선하여, 응용 소프트웨어, 디지털액터 출력단말기, 카메라, 발화정보 검출모듈, 소프트웨어조작 디지털액터 운용모듈, 관리자 단말기가 서로 연동되면서 응용 소프트웨어(컴퓨터 프로그램, 스마트폰 애플리케이션 등)에 디지털액터가 할당되고, 사용자와 디지털액터 간 대화나 사용자의 신체언어에 대한 디지털액터의 반응 등에 의한 상호 소통으로 소프트웨어 조작이 디지털액터를 매개로 수행되도록 함으로써 소프트웨어 조작을 위한 사용자의 물리적 행위가 불필요해져 사용자의 편의가 향상될 수 있고, 몸이 불편한 사용자도 각종 응용 소프트웨어를 간편하고 용이하게 조작하여 사용할 수 있게 될 뿐만 아니라, 쌍방향 소통의 다이나믹한 사용자경험과 디지털액터에 의해 인간화된 인터페이스를 제공받으면서 물질적인 전자적-기계적 환경 속에서도 정서적 안정감을 획득할 수 있는 새로운 형태의 응용 소프트웨어 조작 디지털액터 운용시스템을 제공하는 것을 목적으로 한다.Therefore, the present invention improves the problems of the prior art, and the application software (computer program, smartphone Applications, etc.) are assigned digital actors, and software manipulation is performed through the digital actor through mutual communication such as conversation between the user and the digital actor or the digital actor's response to the user's body language. Users' convenience can be improved as no action is required, and users with disabilities can easily and conveniently manipulate and use various application software, as well as a dynamic user experience of interactive communication and a humanized interface by digital actors. The purpose is to provide a new type of application software manipulation digital actor operating system that can acquire emotional stability even in a material electronic-mechanical environment while receiving

또한 본 발명은 응용 소프트웨어의 메뉴항목이나 실행단계 각각에 구분되게 디지털액터가 할당되도록 함으로써 사용자의 응용 소프트웨어 사용에 대한 집중도와 흥미를 유발시켜 소프트웨어 활용도 증대를 도모할 수 있는 새로운 형태의 응용 소프트웨어 조작 디지털액터 운용시스템을 제공하는 것을 목적으로 한다.In addition, the present invention is a new type of application software operation digital that can increase the use of software by arousing the user's concentration and interest in using application software by assigning digital actors to each menu item or execution step of application software. Its purpose is to provide an actor operating system.

상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 전자기기(10)에 설치되고, 하나 이상의 메뉴항목으로 구성되고, 메뉴항목의 선택에 연동되는 하나 이상의 실행단계로 구현되는 응용 소프트웨어(30); 상기 전자기기(10)와 사용자 단말기(20) 중에서 선택된 어느 하나이고, 사용자의 응용 소프트웨어 선택동작에 따라 디지털액터 활성화신호를 생성하게 되며, 디지털액터 활성화신호 생성시 소프트웨어조작 디지털액터를 가상현실(VR), 증강현실(AR), 홀로그램 출력에 의한 혼합현실(MR) 중에서 선택된 어느 하나로 구현하게 되는 디지털액터 출력단말기(100); 상기 전자기기(10)와 사용자 단말기(20) 중에서 선택된 어느 하나에 설치되어 사용자 영상정보를 생성하는 카메라(200); 상기 전자기기(10)와 사용자 단말기(20) 중에서 선택된 어느 하나에 설치되어 사용자 발화정보를 검출하는 발화정보 검출모듈(200'); 상기 전자기기(10)와 사용자 단말기(20) 중에서 선택된 어느 하나에 설치되며, 상기 응용 소프트웨어(30)에 소프트웨어조작 디지털액터를 할당하고, 소프트웨어조작 디지털액터 운용정보의 설정, 관리, 운용을 수행하되, 상기 소프트웨어조작 디지털액터 운용정보는 디지털액터 프로토타입정보, 디지털액터 확장 운용정보, 디지털액터 초기 조작안내용 액팅정보, 디지털액터 리액팅정보를 포함하고, 디지털액터 활성화 시작모드에서 상기 디지털액터 초기 조작안내용 액팅정보를 상기 디지털액터 출력단말기(100)로 전달하여 출력되도록 하는 한편, 소프트웨어 진행모드에서 상기 카메라(200)와 발화정보 검출모듈(200')로부터 사용자 영상정보와 사용자 발화정보를 전달받게 되며, 사용자 영상정보와 사용자 발화정보로부터 사용자 동작특성정보와 사용자 조작명령정보를 검출하여 해당 사용자 동작특성정보와 사용자 조작명령정보에 대응하는 디지털액터 리액팅정보를 상기 디지털액터 출력단말기(100)로 전달하여 출력되도록 하며, 상기 사용자 동작특성정보와 사용자 조작명령정보에 대응하는 응용소프트웨어 조작신호를 생성하여 상기 응용 소프트웨어(30)를 조작하게 되는 소프트웨어조작 디지털액터 운용모듈(300); 상기 소프트웨어조작 디지털액터 운용모듈(300)에 연결되어 소프트웨어조작 디지털액터 운용정보의 설정과 관리를 수행하는 관리자 단말기(400);를 포함하는 구성으로 이루어지고, 상기 소프트웨어조작 디지털액터 운용모듈(300)은, 응용 소프트웨어 종류정보와 상기 응용소프트웨어에서 자주 사용되는 메뉴항목, 해당 메뉴항목의 사용패턴 및 응용 소프트웨어를 사용하는 시간대를 포함하는 사용자 응용소프트웨어 이용특성정보가 등록되는 정보등록유닛(310); 상기 응용 소프트웨어 종류정보에 맞추어진 소프트웨어조작 디지털액터 운용정보가 자체 초기 설정되거나 디지털액터 제공서버(500)로부터 전달되어 초기 설정되는 디지털액터 운용정보 설정유닛(320); 사용자 응용소프트웨어 이용특성정보에 따라 소프트웨어조작 디지털액터 운용정보를 편집하는 디지털액터 운용정보 편집유닛(330); 상기 카메라(200)와 발화정보 검출모듈(200')로부터 전달되는 사용자 영상정보와 사용자 발화정보로부터 사용자 동작특성정보와 사용자 조작명령정보를 검출하고, 사용자 동작특성정보와 사용자 조작명령정보에 대응하는 디지털액터 리액팅정보를 상기 디지털액터 운용정보 편집유닛(330)에 의해 편집된 소프트웨어조작 디지털액터 운용정보로부터 생성시키는 디지털액터 리액팅정보 생성유닛(340); 상기 디지털액터 운용정보 편집유닛(330)에 의해 편집된 소프트웨어조작 디지털액터 운용정보를 상기 디지털액터 출력단말기(100)로 전송하는 디지털액터 운용정보 전송유닛(350);을 포함하는 구성으로 이루어지고, 상기 응용 소프트웨어(30)의 메뉴항목과 실행단계 각각에 소프트웨어조작 디지털액터가 할당되도록 하는 것을 특징으로 하는 응용 소프트웨어 조작 디지털액터 운용시스템을 제공한다.According to the characteristics of the present invention for achieving the above object, the present invention is installed in the electronic device 10, consists of one or more menu items, and is implemented as one or more execution steps linked to the selection of the menu item. (30); It is any one selected from the electronic device 10 and the user terminal 20, and generates a digital actor activation signal according to the user's application software selection operation. ), augmented reality (AR), digital actor output terminal 100 that is implemented as one selected from mixed reality (MR) by hologram output; A camera 200 installed in any one selected from among the electronic device 10 and the user terminal 20 to generate user image information; a speech information detection module 200' installed in any one selected from the electronic device 10 and the user terminal 20 to detect user speech information; It is installed in any one selected from the electronic device 10 and the user terminal 20, assigns a software manipulation digital actor to the application software 30, and performs setting, management, and operation of software manipulation digital actor operation information. , The software operation digital actor operation information includes digital actor prototype information, digital actor expansion operation information, digital actor initial operation guidance acting information, and digital actor reacting information, and in the digital actor activation start mode, the digital actor initial operation Acting information for guidance is delivered to the digital actor output terminal 100 to be output, while receiving user image information and user speech information from the camera 200 and speech information detection module 200' in software progress mode. and detects user motion characteristic information and user manipulation command information from user image information and user speech information, and transmits digital actor reacting information corresponding to the user motion characteristic information and user manipulation command information to the digital actor output terminal 100. A software manipulation digital actor operation module 300 that transmits and outputs, and generates an application software manipulation signal corresponding to the user operation characteristic information and the user manipulation command information to operate the application software 30; A manager terminal 400 connected to the software-manipulated digital actor operation module 300 to set and manage software-manipulated digital actor operation information; and the software-manipulated digital actor operation module 300 an information registration unit 310 in which user application software use characteristic information including application software type information, frequently used menu items in the application software, usage patterns of corresponding menu items, and time zones for using the application software is registered; A digital actor operation information setting unit 320 in which software operation digital actor operation information tailored to the application software type information is initially set by itself or transmitted from the digital actor providing server 500 to be initially set; a digital actor operation information editing unit 330 for editing software manipulation digital actor operation information according to user application software use characteristic information; Detecting user motion characteristic information and user manipulation command information from user image information and user speech information transmitted from the camera 200 and speech information detection module 200', and corresponding to the user motion characteristic information and user manipulation command information a digital actor reacting information generating unit 340 for generating digital actor reacting information from the software-operated digital actor operation information edited by the digital actor operation information editing unit 330; A digital actor operation information transmission unit 350 for transmitting the software-manipulated digital actor operation information edited by the digital actor operation information editing unit 330 to the digital actor output terminal 100; It provides an application software manipulation digital actor operating system characterized in that software manipulation digital actors are allocated to each of the menu items and execution steps of the application software 30.

삭제delete

이와 같은 본 발명에 따른 응용 소프트웨어 조작 디지털액터 운용시스템에서 상기 사용자 단말기(20)는 상기 전자기기(10)와 별도 구비되고, 상기 카메라(200)와 발화정보 검출모듈(200')이 설치되어 있는 가상현실 출력단말기(21), 증강현실 출력단말기(22), MR 출력단말기(23) 중에서 선택된 어느 하나일 수 있다.In the application software manipulation digital actor operating system according to the present invention, the user terminal 20 is provided separately from the electronic device 10, and the camera 200 and the speech information detection module 200' are installed. It may be any one selected from a virtual reality output terminal 21, an augmented reality output terminal 22, and an MR output terminal 23.

이와 같은 본 발명에 따른 응용 소프트웨어 조작 디지털액터 운용시스템에서 상기 관리자 단말기(400)는, 응용 소프트웨어 종류정보와 사용자 응용소프트웨어 이용특성정보를 상기 소프트웨어조작 디지털액터 운용모듈(300)에 등록하게 되고, 상기 소프트웨어조작 디지털액터 운용모듈(300)은 응용 소프트웨어 종류정보와 사용자 응용소프트웨어 이용특성정보에 따라 소프트웨어조작 디지털액터 운용정보를 설정하고 편집하여 상기 디지털액터 출력단말기(100)로 전송할 수 있다.In the application software manipulation digital actor operating system according to the present invention, the manager terminal 400 registers application software type information and user application software use characteristic information in the software manipulation digital actor operating module 300, The software-manipulating digital actor operation module 300 may set and edit the software-manipulated digital actor operation information according to application software type information and user application software usage characteristic information, and transmit the information to the digital actor output terminal 100.

삭제delete

본 발명에 의한 응용 소프트웨어 조작 디지털액터 운용시스템에 의하면, 컴퓨터 프로그램이나 스마트폰 애플리케이션 등의 응용 소프트웨어에 디지털액터가 할당되어 사용자와 디지털액터 간 대화나 사용자의 신체언어에 대한 디지털액터의 반응 등에 의한 상호 소통으로 소프트웨어 조작이 디지털액터를 매개로 수행되도록 하므로, 소프트웨어 조작을 위한 사용자의 물리적 행위가 불필요해져 사용자의 편의가 향상되고, 몸이 불편한 사용자도 각종 응용 소프트웨어를 간편하고 용이하게 조작하여 사용하게 될 뿐만 아니라, 쌍방향 소통의 다이나믹한 사용자경험과 디지털액터에 의해 인간화된 인터페이스를 제공받으면서 물질적인 전자적-기계적 환경 속에서도 정서적 안정감을 획득할 수 있는 효과가 있다. 또한 본 발명에 의한 응용 소프트웨어 조작 디지털액터 운용시스템에 의하면, 응용 소프트웨어의 메뉴항목이나 실행단계 각각에 구분되게 디지털액터가 할당되도록 하므로, 사용자의 응용 소프트웨어 사용에 대한 집중도와 흥미가 유발되고, 소프트웨어 활용도 증대가 도모되는 효과가 있다.According to the application software manipulation digital actor operating system according to the present invention, a digital actor is assigned to application software such as a computer program or a smartphone application, and interaction between the user and the digital actor or the digital actor's response to the user's body language Since software operation is performed through digital actors through communication, user's convenience is improved as the user's physical action for software operation is unnecessary, and users with disabilities can easily and conveniently manipulate and use various application software. In addition, while being provided with a dynamic user experience of interactive communication and a humanized interface by digital actors, there is an effect of obtaining emotional stability even in a material electronic-mechanical environment. In addition, according to the digital actor operating system for manipulating application software according to the present invention, digital actors are allocated to each menu item or execution step of application software separately, so that the user's concentration and interest in using application software are induced, and software utilization is improved. There is an effect of promoting an increase.

도 1은 본 발명의 실시예에 따른 응용 소프트웨어 조작 디지털액터 운용시스템의 구성 블록도;
도 2는 본 발명의 실시예에 따른 응용 소프트웨어 조작 디지털액터 운용시스템에서의 응용 소프트웨어와 소프트웨어조작 디지털액터의 연동 구조를 보여주기 위한 도면;
도 3은 본 발명의 실시예에 따른 소프트웨어조작 디지털액터 운용모듈의 구성 블록도이다.1 is a configuration block diagram of a digital actor operating system for operating application software according to an embodiment of the present invention;
Figure 2 is a diagram for showing the interlocking structure of application software and software-manipulated digital actors in the application software-manipulated digital actor operating system according to an embodiment of the present invention;
3 is a configuration block diagram of a software-manipulated digital actor operation module according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면 도 1 내지 도 3에 의거하여 상세히 설명한다. 한편, 도면과 상세한 설명에서 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.Hereinafter, an embodiment of the present invention will be described in detail based on the accompanying drawings FIGS. 1 to 3. On the other hand, in the drawings and detailed description, illustrations and references to configurations and operations that can be easily understood by those skilled in the art are simplified or omitted. In particular, in the drawings and detailed description, detailed descriptions and illustrations of specific technical configurations and actions of elements not directly related to the technical features of the present invention are omitted, and only the technical configurations related to the present invention are briefly shown or described. did

본 발명의 실시예에 따른 응용 소프트웨어 조작 디지털액터 운용시스템(1)은 도 1에서와 같이 응용 소프트웨어(30), 디지털액터 출력단말기(100), 카메라(200), 발화정보 검출모듈(200'), 소프트웨어조작 디지털액터 운용모듈(300), 관리자 단말기(400)를 포함하는 구성으로 이루어진다.Application software manipulation digital actor operating system 1 according to an embodiment of the present invention, as shown in FIG. 1, application software 30, digital actor output terminal 100, camera 200, speech information detection module 200 ' , a software-operated digital actor operation module 300, and a manager terminal 400.

응용 소프트웨어(30)는 전자기기(10)에 설치되는 것으로, 하나 이상의 메뉴항목으로 구성되고, 메뉴항목의 선택에 연동되는 하나 이상의 실행단계로 구현된다. 전자기기(10)는 데스크탑 컴퓨터, 노트북, 태블릿 PC, 스마트 폰, 스마트 패드, 각종 장치의 컨트롤 패널 등이 될 수 있다.The application software 30 is to be installed in the electronic device 10, and is composed of one or more menu items and implemented as one or more execution steps interlocked with the selection of the menu items. The electronic device 10 may be a desktop computer, a laptop computer, a tablet PC, a smart phone, a smart pad, or a control panel of various devices.

여기서 본 발명에 따른 응용 소프트웨어 조작 디지털액터 운용시스템(1)은 하나의 응용 소프트웨어(30)에 하나의 소프트웨어조작 디지털액터가 할당되도록 할 수도 있고, 도 2에서와 같이 응용 소프트웨어(30)의 메뉴항목과 실행단계 각각에 소프트웨어조작 디지털액터가 할당되도록 할 수도 있다.Here, the application software manipulation digital actor operating system 1 according to the present invention may assign one software manipulation digital actor to one application software 30, and as shown in FIG. 2, the menu items of the application software 30 It is also possible to assign software-manipulated digital actors to each of the steps and execution steps.

소프트웨어조작 디지털액터는 본 발명자에 의해 출원된 대한민국 등록특허공보 등록번호 제10-1780496호 "컴퓨터그래픽 툴에 의한 캐릭터 모델링 기반 3D 디지털액터 영상 구현방법", 등록번호 제10-1977893호 "영상컨텐츠 적용 디지털액터의 운용방법", 등록번호 제10-1851356호 "3D 디지털액터에 의한 지능형 사용자 인터페이스 제공방법", 등록번호 제10-1894573호 "3D 디지털 액터형 스마트폰 인터페이스 운용시스템", 공개특허공보 공개번호 제10-2018-0071833호 "3D 디지털 액터형 컴퓨터 인터페이스 운용시스템"에 개시되어 있는 디지털액터 구현기술로 제작되고 구현된다.The software-manipulated digital actor is applied to Korean Registered Patent Publication Registration No. 10-1780496 "Method of implementing 3D digital actor image based on character modeling by computer graphic tool", Registration No. 10-1977893 "video content applied by the present inventor. Digital Actor Operation Method", Registration No. 10-1851356 "Intelligent User Interface Provision Method by 3D Digital Actor", Registration No. 10-1894573 "3D Digital Actor Type Smartphone Interface Operating System", Disclosure of Patent Publication It is produced and implemented with the digital actor implementation technology disclosed in "3D Digital Actor Type Computer Interface Operating System" No. 10-2018-0071833.

디지털액터 출력단말기(100)는 사용자의 응용 소프트웨어 선택동작에 따라 디지털액터 활성화신호를 생성하고, 디지털액터 활성화신호 생성시 소프트웨어조작 디지털액터를 가상현실(VR), 증강현실(AR), 홀로그램 출력에 의한 혼합현실(MR) 중에서 선택된 어느 하나로 구현하게 된다. 이와 같은 디지털액터 출력단말기(100)는 응용 소프트웨어(30)가 설치된 전자기기(10) 자체일 수도 있고, 전자기기(10)와 별도 구비되는 사용자 단말기(20)일 수도 있다. 이와 같은 사용자 단말기(20)는 카메라(200)와 발화정보 검출모듈(200')이 설치되어 있는 가상현실 출력단말기(21), 증강현실 출력단말기(22), MR 출력단말기(23) 중에서 선택된 어느 하나일 수 있다.The digital actor output terminal 100 generates a digital actor activation signal according to the user's application software selection operation, and when the digital actor activation signal is generated, the software-manipulated digital actor is output to virtual reality (VR), augmented reality (AR), and hologram output. It is implemented as one selected from mixed reality (MR) by Such a digital actor output terminal 100 may be the electronic device 10 itself in which the application software 30 is installed, or may be a user terminal 20 provided separately from the electronic device 10. Such a user terminal 20 is any one selected from the virtual reality output terminal 21, the augmented reality output terminal 22, and the MR output terminal 23 in which the camera 200 and the speech information detection module 200' are installed. can be one

카메라(200)는 전자기기(10)나 사용자 단말기(20)에 설치되어 사용자 영상정보를 생성하게 된다. 발화정보 검출모듈(200')도 전자기기(10)나 사용자 단말기(20)에 설치되어 사용자 발화정보를 검출하게 된다. 발화정보 검출모듈(200')은 마이크로폰이 연결된 녹음장치로 구성될 수 있다.The camera 200 is installed in the electronic device 10 or the user terminal 20 to generate user image information. The speech information detection module 200' is also installed in the electronic device 10 or the user terminal 20 to detect user speech information. The speech information detection module 200' may be composed of a recording device to which a microphone is connected.

소프트웨어조작 디지털액터 운용모듈(300)은 전자기기(10)나 사용자 단말기(20)에 설치되는 것으로, 응용 소프트웨어(30)에 소프트웨어조작 디지털액터를 할당하고, 소프트웨어조작 디지털액터 운용정보의 설정, 관리, 운용을 수행하게 된다. 여기서 소프트웨어조작 디지털액터 운용모듈(300)은 응용 소프트웨어(30)의 메뉴항목과 실행단계 각각에 서로 다른 캐릭터의 소프트웨어조작 디지털액터가 할당되도록 할 수 있다. 한편 소프트웨어조작 디지털액터 운용정보는 디지털액터 프로토타입정보, 디지털액터 확장 운용정보, 디지털액터 초기 조작안내용 액팅정보, 디지털액터 리액팅정보를 포함한다.The software manipulation digital actor operation module 300 is installed in the electronic device 10 or the user terminal 20, assigns software manipulation digital actors to the application software 30, and sets and manages software manipulation digital actor operation information. , will perform the operation. Here, the software-manipulated digital actor operation module 300 can assign software-manipulated digital actors of different characters to each of the menu items and execution steps of the application software 30 . On the other hand, the software-manipulated digital actor operation information includes digital actor prototype information, digital actor extension operation information, acting information for initial operation guidance of digital actors, and digital actor reacting information.

소프트웨어조작 디지털액터 운용모듈(300)은 디지털액터 활성화 시작모드에서 디지털액터 초기 조작안내용 액팅정보를 디지털액터 출력단말기(100)로 전달하여 출력되도록 한다. 그리고 소프트웨어조작 디지털액터 운용모듈(300)은 소프트웨어 진행모드에서 카메라(200)와 발화정보 검출모듈(200')로부터 사용자 영상정보와 사용자 발화정보를 전달받게 되고, 사용자 영상정보와 사용자 발화정보로부터 사용자 동작특성정보와 사용자 조작명령정보를 검출하여 해당 사용자 동작특성정보와 사용자 조작명령정보에 대응하는 디지털액터 리액팅정보를 디지털액터 출력단말기(100)로 전달하여 출력되도록 하는데, 사용자 동작특성정보와 사용자 조작명령정보에 대응하는 응용소프트웨어 조작신호도 동시 생성하여 응용 소프트웨어(30)를 조작하게 된다. 이를 위하여 소프트웨어조작 디지털액터 운용모듈(300)은 응용 소프트웨어(30)가 설치된 전자기기(10)의 운영체제와 연동되게 설치되어 소프트웨어조작 디지털액터 운용모듈(300)의 응용소프트웨어 조작신호가 운영체제를 통해 응용 소프트웨어(30)로 전달되도록 한다.The software-manipulated digital actor operation module 300 transmits and outputs acting information for digital actor initial operation guidance to the digital actor output terminal 100 in the digital actor activation start mode. In addition, the software-manipulated digital actor operation module 300 receives user image information and user speech information from the camera 200 and speech information detection module 200' in the software progress mode, and the user image information and user speech information are transmitted to the user. Motion characteristic information and user operation command information are detected, and digital actor reacting information corresponding to the corresponding user motion characteristic information and user operation command information is transferred to the digital actor output terminal 100 to be output. An application software operation signal corresponding to the operation command information is also generated simultaneously to operate the application software 30 . To this end, the software-manipulating digital actor operating module 300 is installed to interlock with the operating system of the electronic device 10 in which the application software 30 is installed, and the application software manipulation signal of the software-manipulating digital actor operating module 300 is applied through the operating system. to be passed to the software 30.

한편 소프트웨어조작 디지털액터 운용모듈(300)은 응용 소프트웨어 종류정보와 사용자 응용소프트웨어 이용특성정보에 따라 소프트웨어조작 디지털액터 운용정보를 설정하고 편집하여 디지털액터 출력단말기(100)로 전송하게 된다. Meanwhile, the software-manipulated digital actor operation module 300 sets and edits the software-manipulated digital actor operation information according to application software type information and user application software use characteristic information, and transmits the information to the digital actor output terminal 100.

본 발명의 실시예에 따른 소프트웨어조작 디지털액터 운용모듈(300)은 도 3에서와 같이 정보등록유닛(310), 디지털액터 운용정보 설정유닛(320), 디지털액터 운용정보 편집유닛(330), 디지털액터 리액팅정보 생성유닛(340), 디지털액터 운용정보 전송유닛(350)을 포함하는 구성으로 이루어진다.As shown in FIG. 3, the software manipulation digital actor operation module 300 according to an embodiment of the present invention includes an information registration unit 310, a digital actor operation information setting unit 320, a digital actor operation information editing unit 330, a digital It consists of a configuration including an actor reacting information generation unit 340 and a digital actor operation information transmission unit 350.

정보등록유닛(310)은 응용 소프트웨어 종류정보와 사용자 응용소프트웨어 이용특성정보가 등록되는 유닛이다. 사용자 응용소프트웨어 이용특성정보에는 사용자가 응용 소프트웨어(30)에서 자주 사용하는 메뉴항목, 해당 메뉴항목의 사용패턴(예를 들어 캐드 소프트웨어를 도면보기 위주로 사용하거나, 음악재생 소프트웨어를 영어학습용으로 사용하면서 구간반복 기능을 주로 사용하는 것이 사용패턴이 될 수 있음), 응용 소프트웨어(30)를 사용하는 시간대 등이 포함될 수 있다.The information registration unit 310 is a unit in which application software type information and user application software use characteristic information are registered. The user application software use characteristic information includes menu items frequently used by the user in the application software 30, patterns of use of the menu items (for example, CAD software is mainly used for drawing, or music playback software is used for English learning) Mainly using the repetitive function may be a usage pattern), a time period during which the application software 30 is used, and the like.

디지털액터 운용정보 설정유닛(320)은 응용 소프트웨어 종류정보에 맞추어진 소프트웨어조작 디지털액터 운용정보가 자체 초기 설정되거나 디지털액터 제공서버(500)로부터 전달되어 초기 설정되는 유닛이다. 소프트웨어조작 디지털액터 운용정보는 본 출원자에 의해 출원된 특허출원번호 제10-2020-0103809호 "실세계/가상세계 객체 대체-연동형 디지털액터 운용시스템", 특허출원번호 제10-2020-0103810호 "VR-AR-MR 기반 디지털액터 운용시스템", 특허출원번호 제10-2020-호 "오프라인 광고-홍보 디지털액터 운용시스템"에 개시되어 있는 구성을 소프트웨어조작 디지털액터에 맞추어 적용함으로써 설정된다. The digital actor operation information setting unit 320 is a unit in which software operation digital actor operation information tailored to application software type information is initially set by itself or transmitted from the digital actor providing server 500 to be initially set. Software manipulation digital actor operation information is filed by the present applicant, Patent Application No. 10-2020-0103809 "Real world/virtual world object replacement-linked digital actor operation system", Patent Application No. 10-2020-0103810 " It is set by applying the configuration disclosed in “VR-AR-MR based Digital Actor Operating System” and Patent Application No. 10-2020- “Offline Advertising-PR Digital Actor Operating System” according to the software-operated digital actor.

디지털액터 운용정보 편집유닛(330)은 사용자 응용소프트웨어 이용특성정보에 따라 소프트웨어조작 디지털액터 운용정보를 편집하는 유닛이다. 즉 디지털액터 운용정보 편집유닛(330)은 사용자 응용소프트웨어 이용특성정보에 대응하여 소프트웨어조작 디지털액터의 발화내용을 맞춤식으로 생성하고, 소프트웨어조작 디지털액터의 행동, 표정, 제스춰도 맞춤식으로 생성하게 된다. 이와 같이 편집된 소프트웨어조작 디지털액터 운용정보로부터 디지털액터 초기 조작안내용 액팅정보와 디지털액터 리액팅정보가 산출된다.The digital actor operation information editing unit 330 is a unit that edits software operation digital actor operation information according to user application software usage characteristic information. In other words, the digital actor operation information editing unit 330 generates customized speech content of the software-manipulated digital actor in response to the user's application software usage characteristic information, and also generates the software-manipulated digital actor's behavior, expression, and gesture in a customized manner. Acting information for digital actor initial manipulation guide and digital actor reacting information are calculated from the edited software manipulation digital actor operation information.

디지털액터 리액팅정보 생성유닛(340)은 카메라(200)와 발화정보 검출모듈(200')로부터 전달되는 사용자 영상정보와 사용자 발화정보로부터 사용자 동작특성정보와 사용자 조작명령정보를 검출하고, 사용자 동작특성정보와 사용자 조작명령정보에 대응하는 디지털액터 리액팅정보를 디지털액터 운용정보 편집유닛(330)에 의해 편집된 소프트웨어조작 디지털액터 운용정보로부터 생성시키는 유닛이다. 여기서 사용자 동작특성정보는 사용자의 행동, 표정, 제스춰에 대한 의미론적 정보분석으로 검출되는 것으로, 사용자 동작특성정보는 설정개수의 동작특성 유형정보로 구성된다. 그리고 사용자 조작명령정보는 사용자 발화정보에 대한 의미론적 정보분석으로 검출된다.The digital actor reacting information generation unit 340 detects user motion characteristic information and user manipulation command information from the user image information and user speech information transmitted from the camera 200 and the speech information detection module 200', and the user motion A unit that generates digital actor reacting information corresponding to characteristic information and user operation command information from software operation digital actor operation information edited by the digital actor operation information editing unit 330 . Here, the user motion characteristic information is detected by semantic information analysis on the user's behavior, expression, and gesture, and the user motion characteristic information is composed of a set number of motion characteristic type information. Further, the user manipulation command information is detected through semantic information analysis on user speech information.

디지털액터 운용정보 전송유닛(350)은 디지털액터 운용정보 편집유닛(330)에 의해 편집된 소프트웨어조작 디지털액터 운용정보를 디지털액터 출력단말기(100)로 전송하는 유닛이다.The digital actor operation information transmission unit 350 is a unit that transmits the digital actor operation information edited by the digital actor operation information editing unit 330 to the digital actor output terminal 100 .

관리자 단말기(400)는 소프트웨어조작 디지털액터 운용모듈(300)에 연결되어 소프트웨어조작 디지털액터 운용정보의 설정과 관리를 수행한다. 여기서 관리자 단말기(400)는 응용 소프트웨어 종류정보와 사용자 응용소프트웨어 이용특성정보를 소프트웨어조작 디지털액터 운용모듈(300)에 등록할 수 있다.The manager terminal 400 is connected to the software-manipulated digital actor operation module 300 to set and manage software-manipulated digital actor operation information. Here, the manager terminal 400 may register application software type information and user application software use characteristic information in the software manipulation digital actor operation module 300 .

상기와 같이 구성된 본 발명의 실시예에 따른 응용 소프트웨어 조작 디지털액터 운용시스템(1)은 응용 소프트웨어(30), 디지털액터 출력단말기(100), 카메라(200), 발화정보 검출모듈(200'), 소프트웨어조작 디지털액터 운용모듈(300), 관리자 단말기(400)가 서로 연동되면서 응용 소프트웨어에 디지털액터가 할당되고, 사용자와 디지털액터 간 대화나 사용자의 신체언어에 대한 디지털액터의 반응 등에 의한 상호 소통으로 소프트웨어 조작이 디지털액터를 매개로 수행되도록 하므로, 소프트웨어 조작을 위한 사용자의 물리적 행위가 불필요해져 사용자의 편의가 향상될 수 있고, 몸이 불편한 사용자도 각종 응용 소프트웨어를 간편하고 용이하게 조작하여 사용할 수 있게 될 뿐만 아니라, 쌍방향 소통의 다이나믹한 사용자경험과 디지털액터에 의해 인간화된 인터페이스를 제공받으면서 물질적인 전자적-기계적 환경 속에서도 정서적 안정감을 획득할 수 있는 한편, 응용 소프트웨어의 메뉴항목이나 실행단계 각각에 구분되게 디지털액터가 할당되도록 함으로써 사용자의 응용 소프트웨어 사용에 대한 집중도와 흥미를 유발시켜 소프트웨어 활용도 증대를 도모할 수 있게 된다.The application software operating digital actor operating system 1 according to the embodiment of the present invention configured as described above includes the application software 30, the digital actor output terminal 100, the camera 200, the speech information detection module 200', As the software manipulation digital actor operation module 300 and the manager terminal 400 interlock with each other, a digital actor is assigned to the application software, and mutual communication is achieved through dialogue between the user and the digital actor or the response of the digital actor to the user's body language. Since the software operation is performed through a digital actor, the user's physical action for software operation is unnecessary, so the user's convenience can be improved, and the disabled user can conveniently and easily operate and use various application software. In addition, while being provided with a dynamic user experience of interactive communication and a humanized interface by digital actors, a sense of emotional stability can be obtained even in a material electronic-mechanical environment, while being differentiated for each menu item or execution step of application software By assigning digital actors, it is possible to increase the usability of the software by arousing the user's concentration and interest in using the application software.

상술한 바와 같은, 본 발명의 실시예에 따른 응용 소프트웨어 조작 디지털액터 운용시스템을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.As described above, the application software manipulation digital actor operating system according to the embodiment of the present invention has been shown according to the above description and drawings, but this is only an example and can be varied within the scope of the technical idea of the present invention. It will be appreciated by those skilled in the art that variations and modifications are possible.

1 : 응용 소프트웨어 조작 디지털액터 운용시스템
10 : 전자기기
20 : 사용자 단말기
21 : 가상현실 출력단말기
22 : 증강현실 출력단말기
23 : MR 출력단말기
30 : 응용 소프트웨어
100 : 디지털액터 출력단말기
200 : 카메라
200' : 발화정보 검출모듈
300 : 소프트웨어조작 디지털액터 운용모듈
310 : 정보등록유닛
320 : 디지털액터 운용정보 설정유닛
330 : 디지털액터 운용정보 편집유닛
340 : 디지털액터 리액팅정보 생성유닛
350 : 디지털액터 운용정보 전송유닛
400 : 관리자 단말기
500 : 디지털액터 제공서버1: Application software operation digital actor operating system
10: electronic devices
20: user terminal
21: virtual reality output terminal
22: augmented reality output terminal
23: MR output terminal
30: application software
100: digital actor output terminal
200: camera
200': Speech information detection module
300: Software operation digital actor operation module
310: information registration unit
320: Digital actor operation information setting unit
330: Digital actor operation information editing unit
340: digital actor reacting information generation unit
350: digital actor operation information transmission unit
400: manager terminal
500: Digital actor providing server

Claims (5)

전자기기(10)에 설치되고, 하나 이상의 메뉴항목으로 구성되고, 메뉴항목의 선택에 연동되는 하나 이상의 실행단계로 구현되는 응용 소프트웨어(30);
상기 전자기기(10)와 사용자 단말기(20) 중에서 선택된 어느 하나이고, 사용자의 응용 소프트웨어 선택동작에 따라 디지털액터 활성화신호를 생성하게 되며, 디지털액터 활성화신호 생성시 소프트웨어조작 디지털액터를 가상현실(VR), 증강현실(AR), 홀로그램 출력에 의한 혼합현실(MR) 중에서 선택된 어느 하나로 구현하게 되는 디지털액터 출력단말기(100);
상기 전자기기(10)와 사용자 단말기(20) 중에서 선택된 어느 하나에 설치되어 사용자 영상정보를 생성하는 카메라(200);
상기 전자기기(10)와 사용자 단말기(20) 중에서 선택된 어느 하나에 설치되어 사용자 발화정보를 검출하는 발화정보 검출모듈(200');
상기 전자기기(10)와 사용자 단말기(20) 중에서 선택된 어느 하나에 설치되며, 상기 응용 소프트웨어(30)에 소프트웨어조작 디지털액터를 할당하고, 소프트웨어조작 디지털액터 운용정보의 설정, 관리, 운용을 수행하되, 상기 소프트웨어조작 디지털액터 운용정보는 디지털액터 프로토타입정보, 디지털액터 확장 운용정보, 디지털액터 초기 조작안내용 액팅정보, 디지털액터 리액팅정보를 포함하고, 디지털액터 활성화 시작모드에서 상기 디지털액터 초기 조작안내용 액팅정보를 상기 디지털액터 출력단말기(100)로 전달하여 출력되도록 하는 한편, 소프트웨어 진행모드에서 상기 카메라(200)와 발화정보 검출모듈(200')로부터 사용자 영상정보와 사용자 발화정보를 전달받게 되며, 사용자 영상정보와 사용자 발화정보로부터 사용자 동작특성정보와 사용자 조작명령정보를 검출하여 해당 사용자 동작특성정보와 사용자 조작명령정보에 대응하는 디지털액터 리액팅정보를 상기 디지털액터 출력단말기(100)로 전달하여 출력되도록 하며, 상기 사용자 동작특성정보와 사용자 조작명령정보에 대응하는 응용소프트웨어 조작신호를 생성하여 상기 응용 소프트웨어(30)를 조작하게 되는 소프트웨어조작 디지털액터 운용모듈(300);
상기 소프트웨어조작 디지털액터 운용모듈(300)에 연결되어 소프트웨어조작 디지털액터 운용정보의 설정과 관리를 수행하는 관리자 단말기(400);를 포함하는 구성으로 이루어지고,
상기 소프트웨어조작 디지털액터 운용모듈(300)은,
응용 소프트웨어 종류정보와 상기 응용소프트웨어에서 자주 사용되는 메뉴항목, 해당 메뉴항목의 사용패턴 및 응용 소프트웨어를 사용하는 시간대를 포함하는 사용자 응용소프트웨어 이용특성정보가 등록되는 정보등록유닛(310);
상기 응용 소프트웨어 종류정보에 맞추어진 소프트웨어조작 디지털액터 운용정보가 자체 초기 설정되거나 디지털액터 제공서버(500)로부터 전달되어 초기 설정되는 디지털액터 운용정보 설정유닛(320);
사용자 응용소프트웨어 이용특성정보에 따라 소프트웨어조작 디지털액터 운용정보를 편집하는 디지털액터 운용정보 편집유닛(330);
상기 카메라(200)와 발화정보 검출모듈(200')로부터 전달되는 사용자 영상정보와 사용자 발화정보로부터 사용자 동작특성정보와 사용자 조작명령정보를 검출하고, 사용자 동작특성정보와 사용자 조작명령정보에 대응하는 디지털액터 리액팅정보를 상기 디지털액터 운용정보 편집유닛(330)에 의해 편집된 소프트웨어조작 디지털액터 운용정보로부터 생성시키는 디지털액터 리액팅정보 생성유닛(340);
상기 디지털액터 운용정보 편집유닛(330)에 의해 편집된 소프트웨어조작 디지털액터 운용정보를 상기 디지털액터 출력단말기(100)로 전송하는 디지털액터 운용정보 전송유닛(350);을 포함하는 구성으로 이루어지고,
상기 응용 소프트웨어(30)의 메뉴항목과 실행단계 각각에 소프트웨어조작 디지털액터가 할당되도록 하는 것을 특징으로 하는 응용 소프트웨어 조작 디지털액터 운용시스템.Application software 30 installed in the electronic device 10, composed of one or more menu items, and implemented as one or more execution steps interlocked with the selection of the menu items;
It is any one selected from the electronic device 10 and the user terminal 20, and generates a digital actor activation signal according to the user's application software selection operation. ), augmented reality (AR), digital actor output terminal 100 that is implemented as one selected from mixed reality (MR) by hologram output;
A camera 200 installed in any one selected from among the electronic device 10 and the user terminal 20 to generate user image information;
a speech information detection module 200' installed in any one selected from the electronic device 10 and the user terminal 20 to detect user speech information;
It is installed in any one selected from the electronic device 10 and the user terminal 20, assigns a software manipulation digital actor to the application software 30, and performs setting, management, and operation of software manipulation digital actor operation information. , The software operation digital actor operation information includes digital actor prototype information, digital actor expansion operation information, digital actor initial operation guidance acting information, and digital actor reacting information, and in the digital actor activation start mode, the digital actor initial operation Acting information for guidance is delivered to the digital actor output terminal 100 to be output, while receiving user image information and user speech information from the camera 200 and speech information detection module 200' in software progress mode. and detects user motion characteristic information and user manipulation command information from user image information and user speech information, and transmits digital actor reacting information corresponding to the user motion characteristic information and user manipulation command information to the digital actor output terminal 100. A software manipulation digital actor operation module 300 that transmits and outputs, and generates an application software manipulation signal corresponding to the user operation characteristic information and the user manipulation command information to operate the application software 30;
A manager terminal 400 connected to the software-manipulated digital actor operation module 300 to set and manage software-manipulated digital actor operation information;
The software manipulation digital actor operation module 300,
an information registration unit 310 in which user application software use characteristic information including application software type information, frequently used menu items in the application software, usage patterns of corresponding menu items, and time zones using the application software are registered;
A digital actor operation information setting unit 320 in which software operation digital actor operation information tailored to the application software type information is initially set by itself or transmitted from the digital actor providing server 500 to be initially set;
a digital actor operation information editing unit 330 for editing software manipulation digital actor operation information according to user application software use characteristic information;
Detecting user motion characteristic information and user manipulation command information from user image information and user speech information transmitted from the camera 200 and speech information detection module 200', and corresponding to the user motion characteristic information and user manipulation command information a digital actor reacting information generating unit 340 for generating digital actor reacting information from the software-operated digital actor operation information edited by the digital actor operation information editing unit 330;
A digital actor operation information transmission unit 350 for transmitting the software-manipulated digital actor operation information edited by the digital actor operation information editing unit 330 to the digital actor output terminal 100;
An application software manipulation digital actor operating system characterized in that a software manipulation digital actor is assigned to each of the menu items and execution steps of the application software (30). 삭제delete 제 1항에 있어서,
상기 사용자 단말기(20)는 상기 전자기기(10)와 별도 구비되고, 상기 카메라(200)와 발화정보 검출모듈(200')이 설치되어 있는 가상현실 출력단말기(21), 증강현실 출력단말기(22), MR 출력단말기(23) 중에서 선택된 어느 하나인 것을 특징으로 하는 응용 소프트웨어 조작 디지털액터 운용시스템.According to claim 1,
The user terminal 20 is provided separately from the electronic device 10 and includes a virtual reality output terminal 21 and an augmented reality output terminal 22 in which the camera 200 and the speech information detection module 200' are installed. ), an application software operating digital actor operating system, characterized in that any one selected from the MR output terminal (23). 제 1항에 있어서,
상기 관리자 단말기(400)는,
상기 응용 소프트웨어 종류정보와 사용자 응용소프트웨어 이용특성정보를 상기 소프트웨어조작 디지털액터 운용모듈(300)에 등록하게 되고,
상기 소프트웨어조작 디지털액터 운용모듈(300)은 응용 소프트웨어 종류정보와 사용자 응용소프트웨어 이용특성정보에 따라 소프트웨어조작 디지털액터 운용정보를 설정하고 편집하여 상기 디지털액터 출력단말기(100)로 전송하는 것을 특징으로 하는 응용 소프트웨어 조작 디지털액터 운용시스템.According to claim 1,
The manager terminal 400,
The application software type information and user application software use characteristic information are registered in the software manipulation digital actor operation module 300,
The software-manipulated digital actor operation module 300 sets and edits the software-manipulated digital actor operation information according to application software type information and user application software use characteristic information, and transmits it to the digital actor output terminal 100. Application software operation digital actor operating system. 삭제delete
KR1020200175949A 2020-12-16 2020-12-16 Digital actor management system for application software KR102553789B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200175949A KR102553789B1 (en) 2020-12-16 2020-12-16 Digital actor management system for application software

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200175949A KR102553789B1 (en) 2020-12-16 2020-12-16 Digital actor management system for application software

Publications (2)

Publication Number Publication Date
KR20220085947A KR20220085947A (en) 2022-06-23
KR102553789B1 true KR102553789B1 (en) 2023-07-07

Family

ID=82222098

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200175949A KR102553789B1 (en) 2020-12-16 2020-12-16 Digital actor management system for application software

Country Status (1)

Country Link
KR (1) KR102553789B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180071833A (en) 2016-12-20 2018-06-28 박홍식 Computer interface management system by 3D digital actor
KR101894573B1 (en) 2017-03-14 2018-09-04 박홍식 Smart phone interface management system by 3D digital actor
KR102417898B1 (en) * 2017-10-12 2022-07-07 현대자동차주식회사 Voice recognition of vehicle system for infering user intention and method for controlling thereof

Also Published As

Publication number Publication date
KR20220085947A (en) 2022-06-23

Similar Documents

Publication Publication Date Title
Leiva et al. Pronto: Rapid augmented reality video prototyping using sketches and enaction
KR101851356B1 (en) Method for providing intelligent user interface by 3D digital actor
US9984724B2 (en) System, apparatus and method for formatting a manuscript automatically
Zamborlin et al. Fluid gesture interaction design: Applications of continuous recognition for the design of modern gestural interfaces
US20130332859A1 (en) Method and user interface for creating an animated communication
Lee et al. Sketchexpress: Remixing animations for more effective crowd-powered prototyping of interactive interfaces
US20180311574A1 (en) Dual input multilayer keyboard
Ledo et al. Astral: Prototyping Mobile and Smart Object Interactive Behaviours Using Familiar Applications
Degraen et al. Weirding haptics: In-situ prototyping of vibrotactile feedback in virtual reality through vocalization
JP2024016167A (en) machine interaction
KR102553789B1 (en) Digital actor management system for application software
Bellucci et al. Welicit: a wizard of Oz tool for VR elicitation studies
KR102575821B1 (en) Digital actor management system for EMAIL software
Aziz et al. Inclusive Voice Interaction Techniques for Creative Object Positioning
KR102575822B1 (en) Digital actor management system for Home automation
Pfeiffer et al. Virtual prototyping of mixed reality interfaces with internet of things (IoT) connectivity
Davis et al. Multimodal Direct Manipulation in Video Conferencing: Challenges and Opportunities
Huang et al. Research on the Communication Mode of Mobile Applications Under the Human-Computer Interaction Mode
Oliphant Meemoo: Hackable web app framework
KR20230105375A (en) 3d image model implementation method, apparatus and systems for metaverse platform environment production
Hanser et al. Scenemaker: multimodal visualisation of natural language film scripts
Van de Broek et al. Perspective Chapter: Evolution of User Interface and User Experience in Mobile Augmented and Virtual Reality Applications
Wei The Success of Virtual Reality (VR) in the Gaming Industry
Hsu et al. U-Garden: An interactive control system for multimodal presentation in museum
Birliraki et al. Employing virtual humans for interaction, assistance and information provision in ambient intelligence environments

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant