KR102050377B1 - A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor - Google Patents
A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor Download PDFInfo
- Publication number
- KR102050377B1 KR102050377B1 KR1020190056071A KR20190056071A KR102050377B1 KR 102050377 B1 KR102050377 B1 KR 102050377B1 KR 1020190056071 A KR1020190056071 A KR 1020190056071A KR 20190056071 A KR20190056071 A KR 20190056071A KR 102050377 B1 KR102050377 B1 KR 102050377B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- task
- input
- pattern
- server
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 34
- 230000004044 response Effects 0.000 claims abstract description 67
- 230000009471 action Effects 0.000 claims abstract description 66
- 238000010586 diagram Methods 0.000 description 16
- 238000007781 pre-processing Methods 0.000 description 6
- 230000002730 additional effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 244000205754 Colocasia esculenta Species 0.000 description 1
- 235000006481 Colocasia esculenta Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3343—Query execution using phonetics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G06F17/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/50—
Abstract
본 발명은, 서드 파티(third party) 공급자들의 서비스 제공을 대행하는 협력적 퍼스널 어시스턴트(Collaborative Personal Assistant) 서버에 있어서, 복수의 외부 장치로부터 자연 언어 입력 패턴들 및 서비스 질의들을 포함하는 복수의 패턴 디스크립터를 수신하고, 상기 복수의 패턴 디스크립터를 저장하는 테스크 대행 데이터 베이스와, 상기 복수의 외부 장치 중 하나에 의해 실행 가능한 적어도 하나의 테스크의 실행을 필요로 하는 사용자의 입력을 획득하고, 상기 획득된 사용자의 입력에 기초하여 상기 복수의 패턴 디스크립터 중 적어도 하나의 패턴 디스크립터를 식별하는 문맥 추론부와, 상기 식별된 적어도 하나의 패턴 디스크립터에 대응하는 적어도 하나의 외부 장치에 질의 요청을 전송하고, 상기 적어도 하나의 외부 장치로부터 상기 질의 요청에 대한 응답으로 상기 적어도 하나의 테스크와 연관된 액션 리스트를 포함하는 최종 응답을 수신하는 테스크 대행부를 포함하고, 상기 자연 언어 입력 패턴들 각각은 상기 서비스 질의들 중 적어도 하나에 매핑되고, 상기 사용자의 입력은 음성 또는 텍스트의 형태이고, 상기 적어도 하나의 패턴 디스크립터는 상기 획득된 사용자의 입력과 매칭되는 자연 언어 입력 패턴을 포함하고, 상기 적어도 하나의 테스크는 상기 질의 요청에 기초하여 실행된다.The present invention relates to a collaborative personal assistant server for providing services of third party providers, comprising: a plurality of pattern descriptors including natural language input patterns and service queries from a plurality of external devices; And a user, which receives a task agent database for storing the plurality of pattern descriptors and an input of a user requiring execution of at least one task executable by one of the plurality of external devices, and obtaining the input. And transmits a query request to a context inference unit that identifies at least one pattern descriptor of the plurality of pattern descriptors, and at least one external device corresponding to the identified at least one pattern descriptor based on an input of the at least one pattern descriptor. For the query request from an external device A task agent for receiving a final response including a list of actions associated with the at least one task in response, each of the natural language input patterns mapped to at least one of the service queries, wherein the user's input is voice Or in the form of text, wherein the at least one pattern descriptor includes a natural language input pattern that matches the obtained user's input, wherein the at least one task is executed based on the query request.
Description
본 발명은 서드 파티 테스크 공급자(third party task provider)들의 서비스 제공을 대행하는 협력적 퍼스널 어시스턴트 시스템(Personal Assistant System) 및 그에 따른 방법에 관한 것이다.The present invention relates to a collaborative personal assistant system and method according to the service provision of third party task providers.
일반적으로 가상의(virtual) 퍼스널 어시스턴트(Personal Assistant, 이하, 'PA'라 칭함) 시스템은 사용자의 의도(intention)를 이해하고, 사용자 프로파일(user Profile) 및 컨텍스트(context) 정보를 러닝(learning) 및 적용(applying)함에 의해서 사용자들이 요구하는 테스크(task)를 수행한다. 상기 가상의 PA 시스템은 사용자의 질의에 응답하기 위한 자연 언어 프로세싱(natural language processing)을 사용하고, 추천(recommendation)들을 만들고 웹 서비스들의 확장 셋에서 요청들을 대행함에 의해서 해당 테스크에 상응하는 액션들을 수행한다.In general, a virtual personal assistant (hereinafter referred to as a 'PA') system understands the user's intention and learns user profile and context information. And performing tasks required by users by applying. The virtual PA system uses natural language processing to respond to a user's query, performs actions corresponding to that task by making recommendations and acting on behalf of requests in an extended set of web services. do.
도 1은 일반적인 가상의 PA 시스템의 구조도이다.1 is a structural diagram of a general virtual PA system.
도 1을 참조하면, 가상의 PA 시스템은 PA 서버(Server)(102)와, 네트워크(104)와, 사용자 장치(106) 및 서드 파티 테스크(Third Party Task) 서버(108)를 포함한다. 여기서, 상기 PA 서버(102)는 도면에 도시하지는 않았으나 3개의 기술적 구성소자들을 포함한다. 상기 기술적 구성소자들은 대화용 인터페이스(conversational interface)와, 퍼스널 컨텍스트 인식(awareness)부 및 서비스 대행부를 포함한다. 상기 대화용 인터페이스는 사용자로부터 휴먼 스피치(human speech) 또는 사용자가 타이핑한 텍스트(text) 형태의 질의 둘 다로부터 자연 언어 입력을 획득하는 대화 스타일(dialog-style) 자연 언어 사용자 인터페이스이다. 상기 PA 서버(102)는 퍼스널 컨텍스트들을 미리 인지하고 있다. 상기 퍼스널 컨텍스트들은 일 예로, 사용자가 현재 위치하거나, 거주하거나 근무하는 장소에 대한 정보를 포함할 수 있다. 상기PA 서버(102)는 해당 사용자에게 상기 서드 파티 테스크 서버(108)가 지원하는 서비스들의 제공을 대행한다. 여기서는 일 예로서, 서드 파티 테스크 서버가 하나인 경우를 도시하였으나, 상기 PA 서버(102)는 다수의 서드 파티 테스크 서버가 지원하는 서비스들의 제공을 대행할 수 있다. 상기 서드 파티 테스크 서버(108)가 지원하는 서비스들의 제공은 예를 들어, 작은 비즈니스(small business)/레스토랑들, 지역 이벤트들 및 영화 극장을 찾거나, 레스토랑 등을 예약하거나, 실제적인 질의들에 대한 대답을 수행(answering)하는 등의 동작들에 해당한다.Referring to FIG. 1, a virtual PA system includes a
일반적인 가상의 PA 시스템(100)은 상기 PA 서버(102), 사용자 장치(106) 및 상기 서드 파티 서버(108) 상에서 운용하는 PA 어플리케이션(application)으로 구성되어 있다. 상기 사용자 장치(106)는 퍼스널 디지털 어시스턴트(PDA: Personal Digital Assistant)와, 휴대 전화에 인터넷 통신과 정보 검색 등 컴퓨터 지원 기능을 추가한 지능형 단말기 예를 들어, 스마트 폰(Samrt Phone), 태블릿(tablet) 등이 될 수 있다.The general
도 2는 일반적인 가상의 PA 시스템의 동작에 대한 신호 흐름도이다.2 is a signal flow diagram for the operation of a typical virtual PA system.
도 2를 참조하면, 상기 가상의 PA 시스템은 사용자 장치(200)와, PA 서버(202) 및 외부의 서드 파티 테스크 서버(204)를 포함한다.Referring to FIG. 2, the virtual PA system includes a
206단계에서 상기 사용자 장치(200)는 사용자로부터 사용자 입력을 수신한다. 이때, 상기 사용자 입력은 휴먼 스피치(구술) 또는 문자화된 질의 형태로 입력될 수 있다. 그리고, 상기 사용자 장치(200)의 이동 운용체제(OS: Operation System) 또는 PA 어플리케이션은 스피치 투 텍스트(speech to text) 기술을 적용함에 의해서 텍스트로부터 구술된 휴면 스피치를 선처리할 것이다. In operation 206, the
208단계에서 상기 사용자 장치(200) 상에서 운용하는 PA 어플리케이션은 상기 사용자 입력으로부터 사용자 요청을 획득하고, 상기 사용자 요청을 상기 PA 서버(202)에게 송신한다. 상기 사용자 요청은 사용자 질의 및 일 예로, 상기 사용자 장치(200)의 위치와 같은 추가적인 컨텍스트 정보(장치의 위치 등)를 포함한다. 이때, 상기 사용자 질의는 텍스트화된 질의 형태 또는 구술된 질의 형태 모두 될 수 있다. In
일 예로, 하기 <표 1>은 상기 사용자 요청을 메시지 형태로 나타낸 표이다.For example, Table 1 below shows the user request in the form of a message.
하는 도메인을 식별하기 위한 퍼스널 컨텍스트 정보와 함께 수신된 상기 사용자 요청을 분석한다. 이때, '존재론(ontology)'과, '추론(inference)'및 '단일화된 모델링(unified modeling), 사전들(dictionaries) 및 대화 모델들(dialog models)을 지원하는 패턴 매칭'과 같은 인공 지능 기술들을 사용한다.Analyze the received user request along with personal context information to identify a domain to which the request is made. Artificial intelligence techniques such as 'ontology', 'inference' and 'pattern matching to support unified modeling, dictionaries and dialogue models' Use them.
그리고, 214단계에서 상기 PA 서버(202)는 상기 PA 어플리케이션의 응답으로서 중간 응답을 상기 사용자 장치(200)에게 송신한다. 상기 중간 응답은 사용자에게 문자 메시지 형태로 디스플레이되거나 말로 전달된다. 이러한, 중간 응답의 일 예로 "나는 오늘 너의 저녁 식사를 위한 한국 BBQ 레스토랑을 찾는 중이다"를 들 수 있다. 그러면, 216단계에서 상기 사용자 장치(200)는 하기 <표 2>의 메시지 형태로 상기 수신한 중간 응답을 디스플레이(display)한다.In
이후, 상기 PA 서버(202)는 상기 외부의 서드 파티 테스크 서버(204)에게 상기 사용자 요청이 요구하는 테스크를 수행하기 위해서, 이를 전달하기 위한 질의를 구성하고, 218단계에서 상기 구성된 질의를 상기 외부의 서드 파티 테스크 서버(204)에게 송신한다. 그러면, 220단계에서 상기 외부의 서드 파티 테스크 서버는 상기 질의에 상응하는 테스크를 포함하는 질의 응답을 상기 PA 서버(202)에게 전달한다. 이때, 상기 외부의 서드 파티 테스크 서버(204)가 상기 질의 응답으로 제공하는 테스크들이 다수 개일 경우, 224단계에서 상기 PA 서버(202)는 상기 테스크들 중 사용자에게 최종적으로 디스플레이될 아이템들을 한정하기 위해서 우선 순위를 결정하고, 결정된 우선 순위를 기반으로 선택된 아이템들로 구성된 최종 응답을 결정하고, 226단계에서 상기 최종 응답을 상기 사용자 장치(200)에게 송신한다. 그러면, 228단계에서 상기 사용자 장치(228)는 상기 최종 응답을 상기 사용자 장치(200)의 화면 상에 디스플레이한다.Thereafter, the
상기한 바와 같은 일반적인 가상의 PA 시스템은 사용자에게 서비스를 제공할 서드 파티 공급자의 수가 한정됨으로 인한 비유연성을 갖는다. 그리고, 해당 서드 파티 공급자가 제공할 수 있는 액션들(actions) 또는 서비스들이 다수 존재한다 하더라고 상기 가상의 PA 시스템은 해당 사용자가 요구한 액션들 또는 서비스들의 셋 이외에 다른 셋들을 제공하는 것이 불가능하다. The general virtual PA system as described above is inflexible due to the limited number of third party providers to provide services to users. And even though there are a number of actions or services that the third party provider can provide, the virtual PA system cannot provide other sets other than the set of actions or services required by the user.
일 예로, 사용자가 음악 관련 사이트인 서드 파티 테스크 서버에서 제공하는 서비스를 요청하는 경우를 가정하자. 이때, 상기 서드 파티 서버는 스트리밍(steaming), 뮤직 다운로드, 또는 구매(purchase) 서비스를 사용하여 음악을 플레이하는 등의 다양한 서비스 셋들을 제공한다. 그러나, 상기 가상 PA 시스템을 사용하는 사용자는 상기 가상의 PA 시스템을 통해서 제공될 수 있는 상기 서드 파티 서버의 서비스만을 사용할 수 있다. 예를 들어, 상기 가상의 PA 시스템이 제공하는 PA 어플리케이션이 사용자 장치 상에서 음악 플레이 어플리케이션을 수행하거나 음악 콘텐츠(contents)들을 플레이하기 위한 라이브러리(library)를 실행하는 동작을 지원하는 경우, 상기 PA 어플리케이션을 사용하는 사용자는 해당 콘텐츠들을 직접 접속(다운로드 또는 플레이)할 수 없다.For example, suppose a user requests a service provided by a third party task server, which is a music related site. In this case, the third party server provides various service sets such as streaming music, downloading music, or playing music using a purchase service. However, a user using the virtual PA system may use only the services of the third party server, which may be provided through the virtual PA system. For example, if the PA application provided by the virtual PA system supports an operation of executing a music play application or a library for playing music contents on a user device, the PA application is executed. The user cannot directly access (download or play) the contents.
만약, 상기 서드 파티 테스크 서버가 제공하는 액션들 중 사용자의 임시(temporary) 컨텍스트 정보가 요구되는 경우가 존재한다. 상기 액션들의 일 예로는, 유로 서비스나 해당 사용자 정보를 바탕으로 생성되는 타로 점, 예약 서비스 등이 될 수 있고, 임시 컨텍스트 정보는 위치 정보 또는 사용자 프로필 정보(전화 번호)등이 해당된다. 상기한 가상의 PA 시스템은 해당 사용자에게 임시 컨텍스트 정보가 요구될 경우, 상기 사용자에게 상기 임시 컨텍스트 정보를 서드 파티 테스크 서버에 제공할 수 있는 지에 대한 수락을 확인해야 하는 불편함이 있었다.If there is a case where temporary context information of the user is required among the actions provided by the third party task server. For example, the actions may include a taro point or a reservation service generated based on the euro service or corresponding user information, and the temporary context information may include location information or user profile information (telephone number). When the temporary PA information is requested from the user, the virtual PA system is inconvenient to confirm acceptance of whether the temporary context information can be provided to the third party task server.
본 발명은 서드 파티 테스크 공급자들의 서비스 제공을 대행하는 협력적 PA 시스템 및 그에 따른 방법을 제안한다.The present invention proposes a collaborative PA system and method according to the service provision of third party task providers.
본 발명은 협력적 PA 시스템은 다수의 서드 파티 테스크 서버들이 지원하는 서비스들의 제공을 대행하기 위한 인터페이스를 제안한다.The present invention proposes an interface for a cooperative PA system to provide for services provided by a plurality of third party task servers.
본 발명은 사용자 입력이 요구하는 테스크를 제공하는 서드 파티 테스크 서버를 통해서 제공할 수 있는 추가 서비스 및 액션들을 제공한다.The present invention provides additional services and actions that can be provided through third party task servers that provide the tasks required by user input.
본 발명은 협력적 PA 시스템은 해당 사용자의 사용자 입력에 상응하는 테스크가 수행되기 위해서 요구되는 퍼스널 프로파일들을 사용자의 허용에 따라 해당 서드 파티 테스크 서버로 전달한다.In the present invention, the cooperative PA system delivers the personal profiles required for the task corresponding to the user input of the user to be performed to the third party task server according to the user's permission.
본 개시의 실시 예에 따른 장치는 서드 파티(third party) 공급자들의 서비스 제공을 대행하는 협력적 퍼스널 어시스턴트(Collaborative Personal Assistant) 서버에 있어서, 복수의 외부 장치로부터 자연 언어 입력 패턴들 및 서비스 질의들을 포함하는 복수의 패턴 디스크립터를 수신하고, 상기 복수의 패턴 디스크립터를 저장하는 테스크 대행 데이터 베이스와, 상기 복수의 외부 장치 중 하나에 의해 실행 가능한 적어도 하나의 테스크의 실행을 필요로 하는 사용자의 입력을 획득하고, 상기 획득된 사용자의 입력에 기초하여 상기 복수의 패턴 디스크립터 중 적어도 하나의 패턴 디스크립터를 식별하는 문맥 추론부와, 상기 식별된 적어도 하나의 패턴 디스크립터에 대응하는 적어도 하나의 외부 장치에 질의 요청을 전송하고, 상기 적어도 하나의 외부 장치로부터 상기 질의 요청에 대한 응답으로 상기 적어도 하나의 테스크와 연관된 액션 리스트를 포함하는 최종 응답을 수신하는 테스크 대행부를 포함하고, 상기 자연 언어 입력 패턴들 각각은 상기 서비스 질의들 중 적어도 하나에 매핑되고, 상기 사용자의 입력은 음성 또는 텍스트의 형태이고, 상기 적어도 하나의 패턴 디스크립터는 상기 획득된 사용자의 입력과 매칭되는 자연 언어 입력 패턴을 포함하고, 상기 적어도 하나의 테스크는 상기 질의 요청에 기초하여 실행된다.An apparatus according to an embodiment of the present disclosure is a collaborative personal assistant server that provides service of third party providers, and includes natural language input patterns and service queries from a plurality of external devices. Receive a plurality of pattern descriptors, and obtain a task agent database for storing the plurality of pattern descriptors, and a user input requiring execution of at least one task executable by one of the plurality of external devices. A query request to a context inference unit identifying at least one pattern descriptor among the plurality of pattern descriptors based on the obtained user input, and a query request to at least one external device corresponding to the identified at least one pattern descriptor. From the at least one external device A task agent for receiving a final response including a list of actions associated with the at least one task in response to the query request, each of the natural language input patterns mapped to at least one of the service queries, The user's input is in the form of voice or text, the at least one pattern descriptor includes a natural language input pattern that matches the obtained user's input, and the at least one task is executed based on the query request.
본 개시의 실시 예에 따른 방법은, 협력적 퍼스널 어시스턴트(Collaborative Personal Assistant) 서버를 이용하여 서드 파티 공급자들의 서비스 제공을 대행하는 방법에 있어서, 복수의 외부 장치로부터 자연 언어 입력 패턴들 및 서비스 질의들을 포함하는 복수의 패턴 디스크립터를 수신하고, 상기 복수의 패턴 디스크립터를 저장하는 과정과, 상기 복수의 외부 장치 중 하나에 의해 실행 가능한 적어도 하나의 테스크의 실행을 필요로 하는 사용자의 입력을 획득하는 과정과, 상기 획득된 사용자의 입력에 기초하여 상기 복수의 패턴 디스크립터 중 적어도 하나의 패턴 디스크립터를 식별하는 과정과, 상기 식별된 적어도 하나의 패턴 디스크립터에 대응하는 적어도 하나의 외부 장치에 질의 요청을 전송하는 과정과, 상기 적어도 하나의 외부 장치로부터 상기 질의 요청에 대한 응답으로 상기 적어도 하나의 테스크와 연관된 액션 리스트를 포함하는 최종 응답을 수신하는 과정을 포함하고, 상기 자연 언어 입력 패턴들 각각은 상기 서비스 질의들 중 적어도 하나에 매핑되고, 상기 사용자의 입력은 음성 또는 텍스트의 형태이고, 상기 적어도 하나의 패턴 디스크립터는 상기 획득된 사용자의 입력과 매칭되는 자연 언어 입력 패턴을 포함하고, 상기 적어도 하나의 테스크는 상기 질의 요청에 기초하여 실행된다.According to an embodiment of the present disclosure, a method for providing service of a third party provider using a collaborative personal assistant server may include: receiving natural language input patterns and service queries from a plurality of external devices; Receiving a plurality of pattern descriptors, storing the plurality of pattern descriptors, acquiring a user input requiring execution of at least one task executable by one of the plurality of external devices; Identifying at least one pattern descriptor among the plurality of pattern descriptors based on the obtained user input, and transmitting a query request to at least one external device corresponding to the identified at least one pattern descriptor. And from the at least one external device, Receiving a final response including a list of actions associated with the at least one task in response to a request of, wherein each of the natural language input patterns is mapped to at least one of the service queries, The input is in the form of voice or text, the at least one pattern descriptor includes a natural language input pattern that matches the obtained user's input, and the at least one task is executed based on the query request.
본 발명은 서드 파티 테스크 공급자들의 서비스 제공을 대행하는 협력적 PA 시스템은 상기 협력적 PA 시스템이 사용자의 사용자 입력으로부터 상기 사용자 입력이 요구하는 테스크를 제공하는 서드 파티 테스크 서버 및 해당 테스크에 매칭되는 질의 명령들을 찾는 것을 돕기 위한 자연 언어 입력 패턴들을 서드 파티 테스크 대행부에 등록하기 위한 인터페이스를 제공함으로써, 사용자의 사용자 입력을 보다 체계적으로 인지하고, 상기 사용자 입력에 상응하는 테스크를 제공하는 서드 파티 테스크 서버를 보다 간단히 찾을 수 있는 효과가 있다. 그리고, 상기 협력적 PA 시스템은 사용자의 요구와 관계 없이, 사용자 입력이 요구하는 테스크를 제공하는 서드 파티 테스크 서버를 통해서 제공할 수 있는 추가 서비스 및 액션들을 제공함으로써, 한정된 서드 파티 테스크 서버의 제공으로 인한 비유선성의 한계를 극복할 수 있게 된다. 마지막으로, 미리 사용자의 퍼스널 프로파일 정보에 대한 사용 허용을 획득하고, 서드 파티 테스크 서버에게 전달함으로써, 해당 테스크를 해당 사용자에게 제공 시, 상기 사용자의 퍼스널 프로파일 정보를 요청 및 획득하는 절차를 수행하는 번거로움이 줄어들게 된다.The present invention provides a cooperative PA system for providing services of third party task providers, wherein the cooperative PA system provides a task that is matched to a third party task server and a corresponding task that provides a task required by the user input from a user's user input. A third party task server that provides an interface for registering natural language input patterns with third party task agencies to help locate commands, thereby more systematically recognizing user user input and providing a task corresponding to the user input. It is easier to find. In addition, the collaborative PA system provides additional services and actions that can be provided through a third party task server that provides a task required by a user input regardless of a user's request, thereby providing a limited third party task server. It is possible to overcome the limitations of non-linearity. Finally, by acquiring the user's permission to use the personal profile information in advance and delivering it to the third party task server, when providing the corresponding task to the user, the procedure for requesting and obtaining the user's personal profile information is performed. Reduction is reduced.
도 1은 일반적인 가상 퍼스널 어시스턴트 시스템의 구조도.
도 2는 일반적인 가상 PA 시스템의 동작에 대한 신호 흐름도.
도 3은 본 발명의 실시 예에 따른 협력적 PA 시스템의 구성도.
도 4a는 본 발명의 제1실시 예에 따른 협력적 PA 시스템의 신호 흐름도.
도 4b는 본 발명의 제1실시 예에 따라 사용자에게 제공되는 최종 응답의 일 예를 나타낸 도면.
도 5a는 본 발명의 제2실시 예에 따른 협력적 PA 시스템의 신호 흐름도의 일 예.
도 5b는 본 발명의 제2실시 예에 따른 협력적 PA 시스템의 서비스 대행 동작이 디스플레이된 사용자 장치의 화면의 일 예를 나타낸 도면.
도 6a는 본 발명의 제3실시 예에 따른 협력적 PA 시스템의 신호 흐름도의 일 예.
도 6b는 본 발명의 제3실시 예에 따라 사용자 프로파일의 공유를 위한 요청이 디스플레이된 사용자 장치의 화면의 일 예를 나타낸 도면.
도 7은 본 발명의 실시 예에 따라 PA 서버과 서드 파티 테스크 서버 간의 사용자 식별을 위한 선처리 절차의 신호 흐름도의 일 예.1 is a structural diagram of a general virtual personal assistant system.
2 is a signal flow diagram for operation of a typical virtual PA system.
3 is a block diagram of a cooperative PA system according to an embodiment of the present invention.
4A is a signal flow diagram of a cooperative PA system according to a first embodiment of the present invention.
4B illustrates an example of a final response provided to a user according to the first embodiment of the present invention.
5A is an example of a signal flow diagram of a cooperative PA system according to a second embodiment of the present invention.
5B is a diagram illustrating an example of a screen of a user device on which a service substitute operation of a cooperative PA system according to a second embodiment of the present invention is displayed;
6A is an example of a signal flow diagram of a cooperative PA system according to a third embodiment of the present invention.
6B illustrates an example of a screen of a user device on which a request for sharing a user profile is displayed according to a third embodiment of the present invention.
7 is an example of a signal flow diagram of a preprocessing procedure for user identification between a PA server and a third party task server according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that in the following description, only parts necessary for understanding the operation according to the present invention will be described, and descriptions of other parts will be omitted so as not to distract from the gist of the present invention.
본 발명은 서드 파티 공급자들의 서비스 제공을 대행하는 협력적 PA 시스템 및 그에 따른 방법을 제안한다. The present invention proposes a collaborative PA system and method according to the service provision of third party providers.
본 발명의 제1실시 예에 따른 협력적 PA 시스템은 다수의 서드 파티 테스크 서버들이 지원하는 서비스들의 제공을 대행하기 위한 인터페이스를 제공한다. 상기 인터페이스는 상기 협력적 PA 시스템이 사용자의 사용자 입력으로부터 상기 사용자 입력이 요구하는 테스크를 제공하는 서드 파티 테스크 서버 및 해당 테스크에 매칭되는 질의 명령들을 찾는 것을 돕기 위한 자연 언어 입력 패턴들을 서드 파티 테스크 대행부에 등록하기 위한 것이다. 이에 따라 본 발명에 따른 협렵적 PA 시스템은 상기 인터페이스를 통해서 상기 서드 파티 테스크 서버의 대행 동작을 수행하기 위한 기능들을 위한 질의를 자동적으로 생성하도록 형성된다.The cooperative PA system according to the first embodiment of the present invention provides an interface for providing services supported by a plurality of third party task servers. The interface is a third party task server that assists the collaborative PA system in finding a third party task server that provides a task required by the user input from a user input and natural language input patterns to match query commands that match the task. It is to register with the department. Accordingly, the collaborative PA system according to the present invention is configured to automatically generate a query for functions for performing an act of acting on the third party task server through the interface.
본 발명의 제2실시 예에 따른 협력적 PA 시스템은, 사용자의 요구와 관계 없이, 사용자 입력이 요구하는 테스크를 제공하는 서드 파티 테스크 서버를 통해서 제공할 수 있는 추가 서비스 및 액션들을 제공한다. 구체적으로, 상기 협력적 PA 시스템은 사용자 장치 상에서 사용자의 터치 또는 클릭 등의 추가 액션을 통해서 해당 서비스 이외의 추가 서비스를 제공받을 수 있는 액션 서비스 엔드 포인트 URL을 전달한다. 이에 따라 상기 협력적 PA 시스템은 플레이, 다운로드 등과 같은 프로그래밍 언어로부터 지시된 액션을 식별할 수 있는 문맥 추론부를 더 포함한다. 상기 문맥 추론부는 해당 콘첸트 객체에 대해 취해지는 액션을 식별하는 자연 언어 동사 단어들(verbal words)을포함하는 콘텐츠 객체 메타 데이터(contents object meta data)를 저장하고 있다.The cooperative PA system according to the second embodiment of the present invention provides additional services and actions that can be provided through a third party task server that provides a task required by a user input regardless of a user's request. Specifically, the cooperative PA system delivers an action service endpoint URL that can receive an additional service other than the corresponding service through an additional action such as a user's touch or click on the user device. Accordingly, the collaborative PA system further includes a context inference unit capable of identifying an action directed from a programming language such as play, download, and the like. The context inference unit stores content object meta data including natural language verb words that identify an action taken on the corresponding content object.
본 발명의 제3실시 예에 따른 협력적 PA 시스템은 해당 사용자의 사용자 입력에 상응하는 테스크가 수행되기 위해서 요구되는 퍼스널 프로파일들을 등록하기 위한 서드 파티 테스크 대행부를 제공한다. 상기 협력적 PA 시스템은 해당 사용자의 사용자 입력에 상응하는 결과를 검색하는 동작 동안 상기 사용자의 위치 또는 전화 번호와 같은 퍼스널 프로파일 정보를 공유하기 위한 사용자 허용을 획득한다. 그리고, 상기 협력적 PA 시스템은 상기 사용자가 요청한 테스크를 처리하기 위해서 상기 테스크를 제공하는 서드 파티 테스크 서버에게 상기 사용자의 퍼스널 프로파일 정보를 송신한다.The cooperative PA system according to the third embodiment of the present invention provides a third party task agent for registering personal profiles required for a task corresponding to a user input of a corresponding user. The collaborative PA system obtains a user permission to share personal profile information, such as the user's location or telephone number, during the operation of retrieving results corresponding to the user's user input. The collaborative PA system transmits the personal profile information of the user to a third party task server providing the task to process the task requested by the user.
도 3은 본 발명의 실시 예에 따른 협력적 PA 시스템의 구성도이다.3 is a block diagram of a cooperative PA system according to an embodiment of the present invention.
도 3을 참조하면, 협력적 PA 시스템(300)은 PA 서버(310)와, 사용자 장치(320)와, 네트워크(330) 및 서드 파티 테스크 서버(340)를 포함한다.Referring to FIG. 3, the
먼저, 상기 PA 서버(310)는 퍼스널 컨텍스트 데이터 베이스(DB: Data Base)(312)와, 채팅 로봇(316), 테스크 대행 DB(317), 자연 언어 처리부((NLP: Nature Language Processor)(313), 문맥 추론부(contextual reasoned), 테스크 대행 에이전트(task delegate agent)(315)를 포함한다. 상기 사용자 장치(320)는 퍼스널 어시스턴트 어플리케이션 및 이동 운영 체제(OS: Operation System)(324)를 포함한다. 그리고, 상기 서드 파티 테스크 서버(340)는 질의 처리부(342) 및 액션 처리부(344)를 포함한다. 여기서 상기 사용자 장치(320)와 서드 파티 테스크 서버(340)는 일반적인 사용자 장치 및 서드 파티 테스크 서버와 동일하게 동작하므로, 여기서는 그 상세한 설명을 생략하기로 한다.First, the
상기 문맥 추론부(314)는 사용자 요청을 만족시키는 테스크들의 도메인을 식별하기 위해서 해당 사용자의 퍼스널 컨텍스트 정보와 함께 수신된 사용자 입력을 분석한다. 상기 문맥 추론부(314)는 스피치 투 텍스트(speech to text) 기술을 적용함에 의해서 텍스트로부터 구술된 사용자 입력의 선처리(pre-processing)를 수행한다. 상기 문맥 추론부(314)가 상기 사용자 입력에 대응하는 테스크를 제공하는 도메인을 식별한다. 그러면, 상기 테스크 대행 에이전트(315)는 추론 또는 대화를 사용하여 획득한 상기 사용자 입력으로부터 추출된 정보 및 상기 사용자의 퍼스널 컨텍스트와 함께 구체화된 테스크를 수행한다. 상기 테스크 대행 DB(317)는 일 예로, 도 3의 서드 파티 테스크 서버(340)를 포함하는 다수의 서드 파티 테스크 서버들로부터 등록 정보를 저장한다. 상기 서드 파티 테스크 서버(340)는 지식 검색 엔진, 레스토랑 예약/검색 등과 같은 구체적인 서비스들을 지원하는 도메인을 공급하기 위해서 어플리케이션 프로그래밍 인터페이스를 공급하는 웹 서비스 공급자들을 나타낸다.The
이하, 본 발명의 실시 예들에 따른 동작은 설명의 편의상 PA 서버를 구성하는 세부 구성들 각각에 의해서 설명하지 않고, 상기 PA 서버 자체의 동작으로서 설명하기로 한다.Hereinafter, the operation according to the embodiments of the present invention will not be described by each of the detailed configurations constituting the PA server for convenience of description, but will be described as the operation of the PA server itself.
도 4a는 본 발명의 제1실시 예에 따른 협력적 PA 시스템의 신호 흐름도이다. 여기서는 사전에 등록된 자연 언어 입력 패턴들을 통해서 사용자 질의 및 대응하는 테스크가 제공된다. 여기서는 사용자가 PA 서버(402)가 제공하는 PA 어플리케이션을 통해서 사용자 입력이 요청되는 경우, 서드 파티 테스크 서버(404)가 상기 사용자 입력에 상응하는 테스크를 제공하는 경우를 가정한다.4A is a signal flowchart of a cooperative PA system according to a first embodiment of the present invention. Here, user queries and corresponding tasks are provided through natural language input patterns registered in advance. Herein, it is assumed that when a user input is requested through a PA application provided by the
도 4a를 참조하면, 406단계에서 서드 파티 테스크 서버(404)의 운용자는 상기 서드 파티 테스크 서버(404)가 지원하는 서비스들의 제공 대행을 위해서 자신이 제공하는 서비스들에 대한 사용자 입력인 질의를 위한 패턴 디스크립터(descriptor)의 등록 요청을 PA 서버(402)에게 송신한다. 상기 질의를 위한 패턴 디스크립터는 상기 PA 서버(402)가 포함하고 있는 테스크 대행 에이전트(도 3의 315에 해당함)의 대행 동작을 위한 웹 서비스 질의와, 상기 웹 서비스 질의에 매핑되는 자연 언어 입력 패턴들을 포함한다. 상기 PA 서버는 기 저장하고 있는 상기 자연 언어 입력 패턴들 중 하나와 사용자 입력이 매칭되는 경우, 상기 하나의 입력 패턴과 상기 자연 언어 입력 패턴에 매핑되는 웹 서비스 질의에 상응하는 테스크를 지원하는 서드 파티 테스크 서버의 대행 동작을 수행한다. 일 예로, 상기 질의를 위한 패턴 디스크립터는 하기 <표 3> 및 <표 4>와 같이 나타내어진다. 상기 질의를 위한 패턴 디스크립터는 해당 테스크를 위한 서비스의 카테고리 및 대행할 서드 파티 테스크 서버의 엔드 포인트URL(end point Uniform Resource Locator) 등을 포함한다.Referring to FIG. 4A, in
그러면, 408단계에서 상기 PA 서버(402)는 상기 질의를 위한 디스크립터를 등록한 후, 상기 서드 파티 테스크 서버(404)에게 등록 응답을 송신한다.Then, in
410단계에서 사용자는 사용자 장치 상의 PA 어플리케이션(400)을 구동시켜 사용자 입력을 상기 PA 서버(402)에게 전달한다. 여기서, 사용자 입력은 자연 언어 형태로 말 또는 텍스트 형태로 전달된다. 그러면, 412단계에서 상기 PA 서버(402)는 상기 사용자 입력이 서드 파티 테스크 서버의 대행 서비스를 요구하는 지 검사한다. 상기 검사 결과, 상기 사용자 입력이 상기 서드 파티 테스크 서버의 대행 서비스를 요구하는 경우, 기 등록된 상기 질의를 의한 패턴 디스크립터를 사용하여 상기 사용자 입력에 대한 문맥 추론을 수행한다. 구체적으로, 상기 PA 서버(402)는 기 저장하고 있는 상기 자연 언어 입력 패턴들 중 하나와 사용자 입력이 매칭되는 경우, 상기 하나의 입력 패턴과 상기 입력 패턴에 매핑되는 웹 서비스 질의에 상응하는 테스크를 지원하는 서드 파티 테스크 서버의 도메인을 식별한다. 414단계에서 상기 PA 서버(402)는 일 예로, '상기 식별된 도메인을 찾는 중임을 지시'하는 메시지 형태의 중간 응답(interim response)을 상기 PA 어플리케이션(400)을 통해서 사용자에게 전달한다.In
이후, 416단계에서 상기 PA 서버(402)의 테스크 대행 에이전트는 상기 사용자에 대한 퍼스널 프로파일 정보(일 예로, 상기 사용자 식별자를 요구하기 위한 질의 명령과 파라미터들을 포함함)를 질의 요청으로 구성하여 상기 서드 파티 테스크 서버(404)에게 송신한다. 그러면, 418단계에서 상기 서드 파티 테스크 서버(404)는 질의 응답을 상기 PA 서버(402)에게 송신한다. 상기 질의 응답은 상기 사용자 입력이 요구한 테스크를 지원하는 아이템 객체 및 상기 아이템 객체 별로 허용된 액션 셋들을 포함한다. 일 예로, 상기 질의 응답은 하기 <표 5> 내지 <표 7>과 같은 형태로 나타내어진다.Then, in
그리고, 420단계에서 상기 PA 서버(402)는 상기 PA 어플리케이션(400)을 통해서 상기 사용자 입력에 대한 최종 응답을 송신한다. 상기 최종 응답은 일 예로, 도 4b와 같은 형태로 나타내어진다.In
도 4b는 본 발명의 제1실시 예에 따라 사용자에게 제공되는 최종 응답의 일 예이다.4B is an example of a final response provided to a user according to the first embodiment of the present invention.
도 4b를 참조하면, 참조 번호 430의 'what can I do for you?'는 상기 PA 어플리케이션(400)이 사용자 장치 상에서 디스플레이된 질의의 일 예를 나타낸다. 참조 번호 435의 'Find cozy place for Korean BBQ'는 도 4a의 410단계에서 상기 PA 서버 (402)로 전달된 사용자 입력(410)을 텍스트 형태로 나타낸 일 예에 해당한다. Referring to FIG. 4B, 'what can I do for you?' At
참조 번호 440의 'Let me check the Korean~'은 도 4a의 414단계에서 PA 서버(402)가 상기 PA 어플리케이션(400)을 통해서 사용자에게 제공하는 중간 응답의 일 예를 나타낸다. 마지막으로, 참조 번호 445는 도 4a의 420단계에 해당하는 최종 응답의 일 예를 나타낸다. 구체적으로, 한국 BBQ를 위한 장소 요청을 요구하는 사용자 입력에 대한 2개의 최종 응답이 디스플레이된 상태이다. 그리고, 2개의 장소 각각에 대한 추가 액션 즉, 전화(call) 및 예약(reserve) 액션을 수행할 수 있는 액션 셋들이 함께 디스플레이된 형태이다.Reference numeral 440 'Let me check the Korean ~' represents an example of an intermediate response that the
도 5a는 본 발명의 제2실시 예에 따른 협력적 PA 시스템의 신호 흐름도의 일 예이다. 여기서는 PA 서버(502)가 사용자 입력이 요구하는 테스크를 제공하는 서드 파티 테스크 서버를 통해서 제공할 수 있는 추가 서비스 및 액션들의 셋을 사용자에게 제공한다. 이때, PA 서버는 사용자 장치 상에서 사용자의 터치 또는 클릭 등의 추가 액션을 통해서 해당 서비스 이외의 추가 서비스를 제공받을 수 있는 액션의 서비스 엔드 포인트 URL을 전달함에 의해서 해당 액션을 수행할 수 있게 한다. 추가적으로 문객 추론부가 미리 저장하고 있는 콘텐츠 객체 메타 데이터는 자연 언어 동사 단어들을 포함한다. 상기 단어들은 해당 콘텐츠 객체에 대해 수행할 수 있는 액션을 식별하기 위한 것이며, PA 서버가 자연 언어 문맥 추론을 통해서 플레이, 다운로드 등가 같은 프로그래밍 언어에서 해당 액션을 해석 및 식별할 수 있게 한다.5A is an example of a signal flow diagram of a cooperative PA system according to a second embodiment of the present invention. Here, the
도 5a를 참조하면, 506단계에서 사용자는 사용자 장치 상의 PA 어플리케이션(500)을 구동시켜 사용자 입력을 상기 PA 서버(502)에게 전달한다. 여기서, 사용자 입력은 자연 언어 형태로 말 또는 텍스트 형태로 전달된다. 그러면, 508단계에서 상기 PA 서버(502)는 해당 사용자 입력이 요구하는 질의가 서드 파티 테스크 서버의 대행을 요구하는 지 검사한다. 상기 검사 결과, 서드 파티 테스크 서버의 대행을 요구하는 질의에 해당하면, 도 4a에서 설명한 절차를 통해 저장하고 있는 질의를 위한 패턴 디스크립터들을 사용하여 상기 사용자 입력에 대한 문맥 추론을 수행한다. 구체적으로, 상기 PA 서버(502)는 기 저장하고 있는 상기 자연 언어 입력 패턴들 중 하나와 사용자 입력이 매칭되는 경우, 상기 하나의 입력 패턴과 상기 입력 패턴에 매핑되는 웹 서비스 질의에 상응하는 테스크를 지원하는 서드 파티 테스크 서버의 도메인을 식별한다. 그리고, 510단계에서 상기 PA 서버(502)는 일 예로, '상기 식별된 도메인을 찾는 중임을 지시'하는 메시지 형태의 중간 응답(interim response)을 상기 PA 어플리케이션(500)을 통해서 사용자에게 전달한다.Referring to FIG. 5A, in
이후, 512단계에서 상기 PA 서버(502)는 상기 사용자에 대한 퍼스널 프로파일 정보(일 예로, 상기 사용자 식별자를 요구하기 위한 질의 명령 및 파라미터들을 포함함)를 질의 요청으로 구성하고, 상기 질의에 매칭되는 상기 서드 파티 테스크 서버(504)에게 전달한다. 이때, 상기 파라미터들은 퍼스널 컨텍스트, 대화 컨텍스트 및 추론된 컨텍스트와 함께 상기 사용자 입력으로부터 구성된다. 이때, 상기 질의 요청은 해당 서드 파티 테스크 서버의 운용자가 사용자 및 상기 사용자가 가입한 액션 허용을 식별하기 위해서 상기 사용자의 퍼스널 프로파일 정보 일 예로, 사용자 식별자를 포함한다. 상기 질의 요청을 수신한 서드 파티 테스크 서버(504)는 514단계에서 상기 질의 요청에 상응하는 질의 응답을 상기 PA 서버(502)에게 전달한다. 구체적으로, 상기 서드 파티 테스크 서버(504)는 '상기 사용자가 자신의 서버에 가입하였는 지 여부'와, '상기 사용자가 가입된 경우, 상기 사용자 장치의 성능이 상기 사용자 입력에 대응하는 객체를 지원하는 지 여부'를 확인한다, 이후, 상기 서드 파티 테스크 서버(504)는 상기 사용자의 가입에 의해서 허용된 액션들의 리스트들을 상기 질의 응답에 포함시킨다. 그리고, 상기 허용된 액션들이 수행된 이후 다음으로 상기 사용자가 수행될 수 있는 추가 액션들을 더 포함시킬 수 있다. 상기 추가 액션들의 일 예로는 상기 PA 서버(502)를 통해서 상기 사용자에게 제시될 수 있는 자연 언어 텍스트와 함께 음악 플레이하는 액션 등이 해당한다. 구체적인 예로, 사용자가 음악 플레이 사이트인 서드 파티 테스크 공급자에게 가입되지 않은 경우를 가정하자. 이 경우, 상기 서드 파티 테스크 공급자는 상기 사용자에게 제공될 수 있는 '1분 동안 무료 듣기' 또는 '가입' 동작과 같은 액션의 리스트를 상기 PA 서버에게 송신한다. 그리고, 만약, 사용자가 '스트리밍 플레이'서비스에 가입되었으나, '다운로드 서비스'에는 가입하지 않은 경우, 상기 서드 파티 테스크 서버는 상기 PA 서버에게 '플레이'액션만을 송신한다. 그러나 만약, 상기 사용자가 '스트리밍 플레이'와 '다운로드 서비스' 둘 다에 가입된 경우, 상기 서드 파티 테스크 서버는 상기 PA 서버에게 상기 '스트리밍 플레이'및 '다운로드 서비스' 액션 둘 다를 송신한다.Thereafter, in
514단계에서 상기 PA 서버(502)는 상기 서드 파티 테스크 서버(504)로부터 질의 응답을 수신한 후, 퍼스널 컨텍스트 DB에 상기 질의 응답이 제공하는 액션들의 언어 키워드를 저장한다. 상기 저장 동작은 상기 저장된 키워드를 포함하는 추후 입력될 사용자 입력의 이해를 돕기 위한 것이다.After receiving the query response from the third
516단계에서 상기 PA 서버(502)는 상기 질의 응답에 포함된, 해당 테스크를 지원하는 아이템들의 우선 순위를 결정하고, 상기 결정된 아이템들로 구성되는 최종 응답을 상기 PA 어플리케이션(500)을 통해서 사용자에게 전달한다. 그러면, 518단계에서 상기 PA 어플리케이션(500)은 상기 최종 응답을 통해서 획득한 상기 아이템들과, 아이템별 사용자에게 허용된 액션들을 디스플레이할 수 있다. 그러면, 520단계에서 상기 사용자는 상기 PA 어플리케이션(500)을 통해서 상기 디스플레이된 액션들 중 하나를 선택하는, 제2사용자 입력을 입력한다. 이때, 입력 방식은 터치 또는 클릭 또는 스피킹 등에 해당한다. 522단계에서 상기 제2사용자 입력을 수신한 상기 PA 서버(502)는 저장된 퍼스널 컨텍스트 정보를 사용하여 상기 제2사용자 입력을 일 예로, '음악 플레이'로 해석한다. 그리고, 524단계에서 상기 PA 어플리케이션(500)을 통해서 상기 사용자에게 응답을 송신한다. 상기 응답은 상기 해석된 제2사용자 입력에 상응하는 예를 들어, 해당 사용자가 요청한 액션 및 URL 등의 콘텐츠 객체 식별자 등을 포함한다.In
이후, 526단계에서 상기 PA 어플리케이션(500)은 상기 응답을 통해서 획득한 엔드 포인트 URL에 의해서 식별된 일 예로, 상기 서드 파티 테스크 서버(504)에 접속할 수 있는 사용자 장치 상에서 음악 플레이 라이브러리 또는 음악 플레이 어플리케이션을 실행한다. 그리고, 이후 추가 액션을 위해서 528a단계에서 상기 PA 어플리케이션(500)은 상기 서드 파티 테스크 서버(504)에게 사용자 식별자 및 객체 식별자를 포함하는 액션 요청을 송신한다. 그러면, 528b단계에서 상기 서드 파티 테스크 서버(504)는 상기 PA 어플리케이션(500)을 통해서 상기 객체 식별자에 대응하는 해당 서비스 일 예로, 스트리밍 서비스를 상기 사용자에게 제공한다.Then, in
도 5b는 본 발명의 제2실시 예에 따른 협력적 PA 시스템의 서비스 대행 동작이 디스플레이된 사용자 장치의 화면의 일 예를 나타낸 도면이다.5B is a diagram illustrating an example of a screen of a user device on which a service substitute operation of a cooperative PA system according to a second embodiment of the present invention is displayed.
도 5b를 참조하면, 참조번호 501은 상기 PA 어플리케이션(500)의 시작 화면이다. 즉, 상기 PA 어플리케이션(500)은 사용자 입력을 요구하기 위한 질의 문장의 일 예로 "what can I help you with?"를 디스플레이한다. Referring to FIG. 5B,
상기 질의의 응답의 일 예인 'what is lonely?"는 도 5a의 506단계 즉, 제1사용자 입력에 해당한다. 여기서는 상기 질의의 응답을 문장으로 입력하는 경우를 일 예로서 도시하였으나, 상기 질의의 응답은 앞서 언급한 바와 같이 스피킹 형태로 사용자 장치에 입력될 수도 있다.An example of the response of the query is “what is lonely?” In
다음으로, 도 5b에서 상기 질의의 응답에 대한 답변으로 제공되는 디스크립션("Lonely is a music~ You can play or download the song.")은 도 5a의 508 단계의 문맥 추론의 결과로서 획득한 510단계의 중간 응답에 해당한다.Next, a description (“Lonely is a music ~ You can play or download the song.”) Provided as an answer to the response of the query in FIG. 5B is obtained as a result of contextual inference in
참조번호 515는 도 5a의 516단계의 최종 응답에 해당한다. 여기서는, 상기 질의 응답의 일 예로, 음원 제목 및 재생 시간 등의 음원 서비스를 제공하면서, 상기 사용자에게 허용되는 액션들 일 예로, 플레이 및 다운로드를 함께 제공한다.
이때, 사용자가 도 5a의 520단계에서의 제2사용자 입력을 통해서 특정 액션 일 예로 '플레이'가 선택된 경우를 가정하자. 그러면, 상기 PA 서버(500)는 상기 사용자 장치 상에 상기 액션의 선택에 대한 응답 일 예로, 'Could you play the song?'을 문장으로 디스플레이한다. 상기 응답은 도 5a의 524단계에 해당한다. 그리고, 상기 PA 어플리케이션(500)은 일 예로, 상기 사용자에게 음악 플레이를 제공한다는 문장 형태의 메시지("O.K. I will play the song 'lonely'")와 함께 해당 음악을 제공하며, 도 5a의 526단계에 해당한다.In this case, it is assumed that the user selects 'play' as a specific action through the second user input in
도 6a는 본 발명의 제3실시 예에 따른 협력적 PA 시스템의 신호 흐름도의 일 예이다. 본 발명의 제3실시 예에 따른 협력적 PA 시스템은 사용자의 요청에 상응하는 테스크, 이를 지원하는 객체를 제공하는 서드 파티 테스크 서버가 상기 객체를 제공하기 위해서 요구되는 퍼스널 프로파일들을 등록하는 대행 서비스를 제공한다. 즉, PA 서버가 사용자 입력에 따른 결과를 검색하는 동안, 사용자 프로파일 정보(예를 들어, 위치, 전화 번호 등)를 공유하기 위해서 사용자 허용을 획득하고, 해당 서드 파티 테스크 서버에게 상기 사용자 프로파일 정보를 전달함에 의해서, 사용자에 의해서 요청된 액션을 처리한다.6A is an example of a signal flow diagram of a cooperative PA system according to a third embodiment of the present invention. The cooperative PA system according to the third embodiment of the present invention provides a service corresponding to a request of a user, and a third party task server that provides an object supporting the agent, which registers personal profiles required to provide the object. to provide. That is, while the PA server retrieves the result according to the user input, the user permission is obtained to share the user profile information (for example, location, telephone number, etc.), and the user profile information is transmitted to the third party task server. By passing, process the action requested by the user.
도 6a를 참조하면, 606단계에서 사용자는 사용자 장치 상의 PA 어플리케이션(600)을 구동시켜 사용자 입력을 상기 PA 서버(602)에게 전달한다. 여기서, 사용자 입력은 자연 언어 형태로 말 또는 텍스트 형태로 전달된다. 그러면, 608단계에서 상기 PA 서버(602)는 해당 사용자 입력이 요구하는 질의가 서드 파티 테스크 서버의 대행을 요구하는 지 검사한다. Referring to FIG. 6A, in
상기 검사 결과, 서드 파티 테스크 서버의 대행을 요구하는 질의에 해당하면, 도 4a에서 설명한 절차를 통해 저장하고 있는 질의를 위한 패턴 디스크립터들을 사용하여 상기 사용자 입력에 대한 문맥 추론을 수행한다. 구체적으로, 상기 PA 서버(602)는 기 저장하고 있는 상기 자연 언어 입력 패턴들 중 하나와 사용자 입력이 매칭되는 경우, 상기 하나의 입력 패턴과 상기 입력 패턴에 매핑되는 웹 서비스 질의에 상응하는 테스크를 지원하는 서드 파티 테스크 서버의 도메인을 식별한다. 그리고, 610단계에서 상기 PA 서버(602)는 일 예로, '상기 식별된 도메인을 찾는 중임을 지시'하는 메시지 형태의 중간 응답(interim response)을 상기 PA 어플리케이션(600)을 통해서 사용자에게 전달한다.As a result of the check, if the query corresponds to a third party task server request, contextual inference of the user input is performed using pattern descriptors for the stored query through the procedure described with reference to FIG. 4A. Specifically, when the
이후, 612단계에서 상기 PA 서버(602)는 상기 사용자에 대한 퍼스널 정보 일 예로, 상기 사용자 식별자를 요구하기 위한 질의 명령 및 파라미터들을 질의 요청으로 구성하고, 상기 질의에 매칭되는 상기 서드 파티 테스크 서버(604)에게 전달한다. 상기 파라미터들은 퍼스널 컨텍스트, 대화 컨텍스트 및 추론된 컨텍스트와 함께 상기 사용자 입력으로부터 구성된다. 이때, 상기 질의 요청은 해당 서드 파티 공급자가 사용자 및 상기 사용자가 가입한 액션 허용을 식별하기 위해서 상기 사용자의 퍼스널 정보 일 예로 사용자 식별자를 포함한다. 상기 질의 요청을 수신한 서드 파티 테스크 서버(604)는 614단계에서 상기 질의 요청에 상응하는 질의 응답을 상기 PA 서버(602)에게 전달한다. 구체적으로, 상기 서드 파티 테스크 서버(604)는 상기 질의 요청에 의해서 요구되는 퍼스널 프로파일 정보를 포함하는 액션 디스크립터를 포함한다.Thereafter, in
상기 액션 디스크립터는 하기 <표 8>과 같이 나타내어 진다.The action descriptor is shown in Table 8 below.
616단계에서 상기 PA 서버(602)는 상기 사용자의 허용 요청과 함께 상기 질의에 대한 결과들에 상응하는 데이터들을 최종 응답으로서 상기 PA 어플리케이션(600)에게 전달한다. 그러면, 618단계에서 상기 PA 어플리케이션(600)은 사용자 장치의 화면을 통해서 상기 최종 응답에 포함된 콘텐츠 객체들을 상기 사용자에게 디스플레이한다.In
도 6b는 본 발명의 제3실시 예에 따라 사용자의 사용자 프로파일 정보를 공유하기 위한 요청이 디스플레이된 사용자 장치의 화면의 일 예를 나타낸 도면이다.6B is a diagram illustrating an example of a screen of a user device on which a request for sharing user profile information of a user is displayed according to a third embodiment of the present invention.
도 6b를 참조하면, 일 예로, 사용자 위치 근처의 한국 BBQ 레스토랑을 검사할 것("Let me check the Korean BBQ restaurant which is cozy you're your location")이라는 중간 응답을 디스플레이하고 있다. 상기 중간 응답은 도 6a의 610단계에 해당한다.Referring to FIG. 6B, as an example, an intermediate response is displayed indicating "Let me check the Korean BBQ restaurant which is cozy you're your location". The intermediate response corresponds to step 610 of FIG. 6A.
그리고, 상기 PA 서버(602)는 사용자 장치를 통해서 상기 중간 응답과 함께 검색된 레스토랑 정보 예를 들어, 명칭, 거리 및 전화번호 등과 사용자의 선택이 가능한 액션들을 포함하는 최종 응답을 디스플레이한다. 상기한 형태의 최종 응답은 도 6a의 618단계에 해당한다. 그리고, 일 예로, 상기 사용자의 선택이 가능한 액션들이 전화(Call) 및 예약(Reserve)를 포함할 경우, 상기 사용자가 '예약'을 선택한 경우를 가정하자.In addition, the
이때, 상기 PA 서버(602)는 상기 사용자는 상기 사용자의 선택이 가능한 액션들이 전화(Call) 및 예약(Reserve)과 함께 상기 사용자의 퍼스널 정보의 사용에 대한 요청을 함께 송신한다. At this time, the
만약, 620단계에서 상기 PA 어플리케이션(600)을 통해서 상기 사용자가 상기 요청에 대한 '허용'을 제2사용자 입력으로서 상기 PA 서버(602)에게 전달한 경우를 가정하자. 그러면, 상기 PA 서버(602)는 상기 제2사용자 입력의 수신에 대한 응답을 상기 PA 어플리케이션(600)을 통해서 송신한다. 그리고, 624단계에서 상기 PA 서버(602)는 상기 사용자가 요청한 액션과, 상기 액션에 요구되는 일 예로 전화 번호 또는 위치 정보 등의 퍼스널 프로파일 정보를 포함하는 액션 요청을 상기 서드 파티 테스크 서버(604)로 전달한다. 앞서 언급한 바와 같이 상기 사용자가 액션으로 '예약'을 선택하였으므로, 요구된 퍼스널 프로파일 정보는 사용자 전화 번호 또는 위치 정보 등이 포함될 수 있다. 그리고, 626a,b단계에서 상기 서드 파티 테스크 서버(604)는 상기 액션에 상응하는 사용자 응답을 상기 PA 서버(602)를 거쳐서 상기 PA 어플리케이션(600)에게 전달한다.In
도 7은 본 발명의 실시 예에 따라 PA 서버과 서드 파티 테스크 서버 간의 사용자 식별을 위한 선처리 절차의 신호 흐름도의 일 예이다. 여기서는, PA 서버가 사용자가 요구하는 테스크 및 콘텐트 객체에 대한 사용자의 허용을 인지하기 위해서 상기 PA 서버 및 서드 파티 테스크 서버 각각이 관리하는 사용자 정보를 연관시키는 선처리 절차가 수반되어야 한다. 일반적인 서드 파티 테스크 서버는 자신에게 가입한 사용자들의 식별자를 관리한다. 본 발명의 제2실시 예 내지 제3실시 예에서 상기 선처리 작업이 요구된다.7 is an example of a signal flow diagram of a preprocessing procedure for user identification between a PA server and a third party task server according to an embodiment of the present invention. Here, a preprocessing procedure must be involved in associating user information managed by each of the PA server and the third party task server in order for the PA server to recognize the user's permission for the tasks and content objects that the user requires. A typical third party task server manages the identifiers of users who subscribe to it. In the second to third embodiments of the present invention, the pretreatment operation is required.
상기 선처리 작업은 임의의 사용자가 임의의 서드 파티 테스크 서버에 가입하는 동안에 수행된다. 예를 들어, 상기 가입 절차 동안 서드 파티 테스크 서버가 사용자에게 PA 서버들의 목록을 보여주면, 상기 사용자는 상기 목록으로부터 하나의 PA 서버를 선택한다. 이때, 상기 서드 파티 테스크 서버는 상기 사용자에게 상기 PA 서버의 식별을 요청한다. 이를 통해서 상기 가입 절차 동안, 상기 서드 파티 서버는 해당 사용자가 연관된 PA 서버의 식별자를 획득할 수 있게 된다.The preprocessing operation is performed while any user subscribes to any third party task server. For example, if a third party task server shows the user a list of PA servers during the joining procedure, the user selects one PA server from the list. At this time, the third party task server requests the user to identify the PA server. This allows the third party server to obtain the identifier of the PA server with which the user is associated during the subscription procedure.
도 7을 참조하면, 706단계에서 사용자는 사용자 장치 상에 구동하는 PA 어플리케이션(700)을 통해서 서드 파티 테스크 서버(704)로의 가입 절차를 수행한다. 여기서는 상기 서드 파티 테스크 서버(704)가 1개인 경우를 일 예로서 설명하였으나, PA 서버(702)가 대행하고자 하는 서비스를 제공하는 서드 파티 테스크 서버들 각각에 대해서는 사용자 식별을 위한 선처리 절차가 수반되어야 할 것이다.Referring to FIG. 7, in
상기 가입 절차가 완료되면, 708단계에서 상기 서드 파티 테스크 서버(704)는 상기 PA 서버(702)에게 상기 서드 파티 테스크에 가입한 사용자들의 사용자 정보를 전달한다. 일 예로, 상기 서드 파티 테스크 서버(704)가 관리하는 상기 사용자 정보는 하기 <표 9>와 같이 나타내어진다.When the subscription procedure is completed, the third
한편, 상기 PA 서버(702)과 관리하는 사용자 정보들은 일 예로, 하기 <표 10>과 같이 나타내어 질 수 있다.Meanwhile, user information managed with the
상기한 바와 같은 협력적 PA 시스템은 사용자 입력에 상응하는 테스크 및 객체를 제공하는 서드 파티 테스크 서버의 서비스 동작을 대행함으로써, 해당 사용자가 상기 서드 파티 테스크 서버에 직접 접속하여 해당 테스크 및 객체를 획득하는 동작에 비해 불필요한 절차를 감소시키고, 기존의 문제점들을 해소할 수 있는 효과를 갖게 된다.The collaborative PA system as described above performs a service operation of a third party task server that provides a task and an object corresponding to a user input, so that the user directly accesses the third party task server to obtain the corresponding task and object. Compared to the operation, unnecessary procedures are reduced and existing problems can be solved.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by the equivalents of the claims.
Claims (12)
복수의 외부 장치로부터 자연 언어 입력 패턴들 및 서비스 질의들을 포함하는 복수의 패턴 디스크립터를 수신하고, 상기 복수의 패턴 디스크립터를 저장하는 테스크 대행 데이터 베이스와,
상기 복수의 외부 장치 중 하나에 의해 실행 가능한 적어도 하나의 테스크의 실행을 필요로 하는 사용자의 입력을 획득하고, 상기 획득된 사용자의 입력에 기초하여 상기 복수의 패턴 디스크립터 중 적어도 하나의 패턴 디스크립터를 식별하는 문맥 추론부와,
상기 식별된 적어도 하나의 패턴 디스크립터에 대응하는 적어도 하나의 외부 장치에 질의 요청을 전송하고, 상기 적어도 하나의 외부 장치로부터 상기 질의 요청에 대한 응답으로 상기 적어도 하나의 테스크와 연관된 액션 리스트를 포함하는 최종 응답을 수신하는 테스크 대행부를 포함하고,
상기 자연 언어 입력 패턴들 각각은 상기 서비스 질의들 중 적어도 하나에 매핑되고,
상기 사용자의 입력은 음성 또는 텍스트의 형태이고,
상기 적어도 하나의 패턴 디스크립터는 상기 획득된 사용자의 입력과 매칭되는 자연 언어 입력 패턴을 포함하고,
상기 적어도 하나의 테스크는 상기 질의 요청에 기초하여 실행되는 협력적 퍼스널 어시스턴트 서버.In the Collaborative Personal Assistant server for the provision of services of third party providers,
A task agency database that receives a plurality of pattern descriptors including natural language input patterns and service queries from a plurality of external devices, and stores the plurality of pattern descriptors;
Obtain input of a user requiring execution of at least one task executable by one of the plurality of external devices, and identify at least one pattern descriptor of the plurality of pattern descriptors based on the obtained user input Context Inference Department,
Sending a query request to at least one external device corresponding to the identified at least one pattern descriptor and including an action list associated with the at least one task in response to the query request from the at least one external device. Includes a task agent for receiving a response,
Each of the natural language input patterns is mapped to at least one of the service queries,
The user's input is in the form of voice or text,
The at least one pattern descriptor includes a natural language input pattern that matches the obtained user input,
And the at least one task is executed based on the query request.
상기 테스크 대행부는,
상기 획득된 사용자의 입력에 응답하여 텍스트 메시지의 형태인 중간 응답을 디스플레이하는 것을 특징으로 하는 협력적 퍼스널 어시스턴트 서버.The method of claim 1,
The task agent,
And displaying an intermediate response in the form of a text message in response to the obtained user input.
상기 액션 리스트는 상기 적어도 하나의 테스크와 연관된 추가 서비스 및 액션들을 포함하며,
상기 테스크 대행부는,
상기 적어도 하나의 테스크와 연관된 추가 서비스 및 액션들을 디스플레이하는 것을 특징으로 하는 협력적 퍼스널 어시스턴트 서버.The method of claim 1,
The action list includes additional services and actions associated with the at least one task,
The task agent,
Displaying additional services and actions associated with the at least one task.
상기 액션 리스트는,
상기 적어도 하나의 테스크를 지원하는 아이템들 및 상기 아이템들 각각에 허용된 동작 세트를 포함하는 협력적 퍼스널 어시스턴트 서버.The method of claim 1,
The action list is,
A collaborative personal assistant server comprising the items supporting the at least one task and a set of operations allowed for each of the items.
상기 테스크 대행부는,
상기 추가 서비스 및 액션들이 사용자의 개인 정보를 요구하는 경우, 사용자 장치에 상기 사용자의 개인 정보의 사용에 대한 수락 요청을 전송하고, 상기 사용자 장치로부터 상기 개인 정보의 사용에 대한 수락을 수신한 경우, 상기 적어도 하나의 외부 장치에 상기 사용자의 개인 정보를 전달하여, 상기 사용자 장치에 상기 추가 서비스 및 액션들을 제공함을 특징으로 하는 협력적 퍼스널 어시스턴트 서버.The method of claim 3,
The task agent,
When the additional services and actions require personal information of the user, when a request for acceptance of the use of the personal information of the user is transmitted to the user device, and when the acceptance of the use of the personal information is received from the user device, Delivering the personal information of the user to the at least one external device to provide the additional services and actions to the user device.
복수의 외부 장치로부터 자연 언어 입력 패턴들 및 서비스 질의들을 포함하는 복수의 패턴 디스크립터를 수신하고, 상기 복수의 패턴 디스크립터를 저장하는 과정과,
상기 복수의 외부 장치 중 하나에 의해 실행 가능한 적어도 하나의 테스크의 실행을 필요로 하는 사용자의 입력을 획득하는 과정과,
상기 획득된 사용자의 입력에 기초하여 상기 복수의 패턴 디스크립터 중 적어도 하나의 패턴 디스크립터를 식별하는 과정과,
상기 식별된 적어도 하나의 패턴 디스크립터에 대응하는 적어도 하나의 외부 장치에 질의 요청을 전송하는 과정과,
상기 적어도 하나의 외부 장치로부터 상기 질의 요청에 대한 응답으로 상기 적어도 하나의 테스크와 연관된 액션 리스트를 포함하는 최종 응답을 수신하는 과정을 포함하고,
상기 자연 언어 입력 패턴들 각각은 상기 서비스 질의들 중 적어도 하나에 매핑되고,
상기 사용자의 입력은 음성 또는 텍스트의 형태이고,
상기 적어도 하나의 패턴 디스크립터는 상기 획득된 사용자의 입력과 매칭되는 자연 언어 입력 패턴을 포함하고,
상기 적어도 하나의 테스크는 상기 질의 요청에 기초하여 실행되는 서드 파티 공급자들의 서비스 제공 대행 방법.In the method of acting to provide the services of third party providers using a Collaborative Personal Assistant server,
Receiving a plurality of pattern descriptors including natural language input patterns and service queries from a plurality of external devices, and storing the plurality of pattern descriptors;
Acquiring a user input requiring execution of at least one task executable by one of the plurality of external devices;
Identifying at least one pattern descriptor of the plurality of pattern descriptors based on the obtained user input;
Transmitting a query request to at least one external device corresponding to the identified at least one pattern descriptor;
Receiving a final response including the action list associated with the at least one task in response to the query request from the at least one external device,
Each of the natural language input patterns is mapped to at least one of the service queries,
The user's input is in the form of voice or text,
The at least one pattern descriptor includes a natural language input pattern that matches the obtained user input,
And wherein the at least one task is executed based on the query request.
상기 획득된 사용자의 입력에 응답하여 텍스트 메시지의 형태인 중간 응답을 디스플레이하는 과정을 더 포함하는 서드 파티 공급자들의 서비스 제공 대행 방법.The method of claim 6,
And displaying an intermediate response in the form of a text message in response to the obtained user's input.
상기 액션 리스트는 상기 적어도 하나의 테스크와 연관된 추가 서비스 및 액션들을 포함하며,
상기 적어도 하나의 테스크와 연관된 추가 서비스 및 액션들을 디스플레이하는 과정을 더 포함하는 것을 특징으로 하는 서드 파티 공급자들의 서비스 제공 대행 방법.The method of claim 6,
The action list includes additional services and actions associated with the at least one task,
And displaying the additional services and actions associated with the at least one task.
상기 액션 리스트는,
상기 적어도 하나의 테스크를 지원하는 아이템들 및 상기 아이템들 각각에 허용된 동작 세트를 더 포함하는 서드 파티 공급자들의 서비스 제공 대행 방법.The method of claim 6,
The action list is,
3. The method of claim 3, further comprising items supporting the at least one task and an operation set allowed for each of the items.
상기 추가 서비스 및 액션들이 사용자의 개인 정보를 요구하는 경우, 사용자 장치에 상기 사용자의 개인 정보의 사용에 대한 수락 요청을 전송하는 과정과,
상기 사용자 장치로부터 상기 개인 정보의 사용에 대한 수락을 수신한 경우, 상기 적어도 하나의 외부 장치에 상기 사용자의 개인 정보를 전달함에 의해서, 상기 사용자 장치에 상기 추가 서비스 및 액션들을 제공하는 과정을 더 포함하는 서드 파티 공급자들의 서비스 제공 대행 방법.The method of claim 8,
When the additional services and actions require personal information of the user, sending a request for acceptance of the use of the personal information of the user to a user device;
When receiving acceptance of the use of the personal information from the user device, providing the additional services and actions to the user device by transferring the personal information of the user to the at least one external device. How third party providers provide service.
상기 적어도 하나의 테스크와 연관된 액션 리스트에 관한 정보를 사용자 장치로 전송하는 과정을 포함하는 서드 파티 공급자들의 서비스 제공 대행 방법.The method of claim 6,
And providing information about an action list associated with the at least one task to a user device.
상기 적어도 하나의 테스크와 연관된 액션 리스트에 관한 정보는, 사용자 장치로부터의 입력에 대한 응답으로 상기 사용자 장치로 전송되어, 상기 사용자 장치 상에 표시되는 서드 파티 공급자들의 서비스 제공 대행 방법.The method of claim 6,
Information regarding an action list associated with the at least one task is transmitted to the user device in response to an input from the user device, and displayed on the user device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190056071A KR102050377B1 (en) | 2019-05-14 | 2019-05-14 | A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190056071A KR102050377B1 (en) | 2019-05-14 | 2019-05-14 | A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120027137A Division KR101980173B1 (en) | 2012-03-16 | 2012-03-16 | A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190152047A Division KR102091441B1 (en) | 2019-11-25 | 2019-11-25 | A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190056352A KR20190056352A (en) | 2019-05-24 |
KR102050377B1 true KR102050377B1 (en) | 2019-11-29 |
Family
ID=66680433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190056071A KR102050377B1 (en) | 2019-05-14 | 2019-05-14 | A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102050377B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120016678A1 (en) | 2010-01-18 | 2012-01-19 | Apple Inc. | Intelligent Automated Assistant |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020008517A (en) * | 2000-07-20 | 2002-01-31 | 구자홍 | Method for paying for the price in internet |
-
2019
- 2019-05-14 KR KR1020190056071A patent/KR102050377B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120016678A1 (en) | 2010-01-18 | 2012-01-19 | Apple Inc. | Intelligent Automated Assistant |
Also Published As
Publication number | Publication date |
---|---|
KR20190056352A (en) | 2019-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101980173B1 (en) | A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor | |
JP3703082B2 (en) | Conversational computing with interactive virtual machines | |
US9130900B2 (en) | Assistive agent | |
US9760566B2 (en) | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof | |
US20200334740A1 (en) | System and method for a hybrid conversational and graphical user interface | |
KR102428368B1 (en) | Initializing a conversation with an automated agent via selectable graphical element | |
JP6470246B2 (en) | User support system, user support program and user support method | |
JP5441455B2 (en) | Network-based service provision system | |
WO2013173352A2 (en) | Crowd sourcing information to fulfill user requests | |
JP2007108806A (en) | User matching server, user matching method, user matching program | |
US20170286133A1 (en) | One Step Task Completion | |
US20220358462A1 (en) | Context and rule based dynamic communication channels for collaboration between users | |
KR20210090133A (en) | Message service providing method for message service linking search service and message server and user device for performing the method | |
JP2021099862A (en) | Improvement of dialog with electronic chat interface | |
US20230325442A1 (en) | Free-form, automatically-generated conversational graphical user interfaces | |
Ben Njima et al. | Development of a mobile web services discovery and composition model | |
KR102050377B1 (en) | A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor | |
CN108984260B (en) | Method and apparatus for handling information | |
KR102091441B1 (en) | A collaborative personal assistant system for delegating providing of services supported by third party task providers and method therefor | |
CN109964457A (en) | The uniform resource identifier and Image Sharing shown for contextual information | |
JP2002163171A (en) | Device and system for supporting user | |
CN111190668B (en) | User Interface (UI) event response method and device, electronic equipment and storage medium | |
US20210264910A1 (en) | User-driven content generation for virtual assistant | |
JP2024508412A (en) | Generating natural language interfaces from graphical user interfaces | |
WO2021165990A1 (en) | A system and method for transmitting user specific data to devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |