WO2019066132A1 - User context-based authentication method having enhanced security, interactive ai agent system, and computer-readable recording medium - Google Patents

User context-based authentication method having enhanced security, interactive ai agent system, and computer-readable recording medium Download PDF

Info

Publication number
WO2019066132A1
WO2019066132A1 PCT/KR2017/012860 KR2017012860W WO2019066132A1 WO 2019066132 A1 WO2019066132 A1 WO 2019066132A1 KR 2017012860 W KR2017012860 W KR 2017012860W WO 2019066132 A1 WO2019066132 A1 WO 2019066132A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
question
present
answer
interactive
Prior art date
Application number
PCT/KR2017/012860
Other languages
French (fr)
Korean (ko)
Inventor
장세영
Original Assignee
주식회사 머니브레인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 머니브레인 filed Critical 주식회사 머니브레인
Priority to KR1020180009677A priority Critical patent/KR101949470B1/en
Priority to KR1020190016281A priority patent/KR20190038489A/en
Publication of WO2019066132A1 publication Critical patent/WO2019066132A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/23—Reliability checks, e.g. acknowledgments or fault reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint

Definitions

  • the present invention relates to user authentication of an interactive AI agent system, and more particularly to user authentication by authentication of a user's answer to a predetermined question or request generated based on a user context on an interactive AI agent system .
  • many interactive AI agent systems collect and / or manage information (e.g., user's personal information, history information, etc.) about each user, and provide information to each user We are providing the right service.
  • the interactive AI agent system utilized in the medical field or the financial field can collect and / or manage information requiring high security such as medical or financial information of the user.
  • many interactive AI agent systems require each user to be authenticated prior to providing some or all services.
  • Many interactive AI agent systems allow a user to input a predetermined word or the like (for example, a user identifier and a password) and to verify the inputted word or the like.
  • a predetermined word or the like for example, a user identifier and a password
  • the utilization characteristics for example, use by voice conversation, etc.
  • a method of authenticating a user performed by an interactive AI agent system includes obtaining user identification information; Retrieving user authentication data from the user database based on the user identification information, the user database including the characteristic data of each user, and the authentication data being generated based on the characteristic data of each user included in the user database A query / answer list containing one or more questions and one or more answers semantically associated with each question; Selecting one of the searched question / answer lists and providing the same to the user terminal; Receiving an answer to a query provided from a user terminal; And performing user authentication based on the received answer.
  • the characteristic data for each user includes at least one of a user's personal information, a user's previous conversation history, and a user's previous behavior record, and the question / One or more questions generated based on at least one of an included user's personal information, a user's previous conversation history, and a user's previous behavior record, and one or more answers semantically associated with each question.
  • performing the user authentication may comprise determining whether the received answer matches one or more answers semantically associated with the provided question on the question / answer list.
  • the step of determining whether the received answer corresponds to one or more responses semantically associated with the provided question on the question / answer list comprises the steps of: Comparing each of the one or more responses semantically associated with the query to each other to calculate a degree of similarity between the received answer and each of the one or more answers; And determining whether the user is authenticated based on the calculated similarity.
  • the behavior history of the user may include at least one of a purchase history of a user, an information retrieval history, and a service usage history.
  • a computer-readable medium having stored thereon one or more instructions for causing a computer to perform any one of the methods described above, ,
  • a computer-readable recording medium is provided.
  • an interactive AI agent system configured to provide user authentication.
  • the interactive AI agent system according to the present invention is characterized in that the user database including the user authentication data includes a characteristic data of each user and the user authentication data is based on characteristic data of each user included in the user database A query / answer list containing one or more generated questions and one or more answers semantically associated with each question; And a user authentication module, wherein the user authentication module obtains the user identification information, retrieves the question / answer list from the user database based on the user identification information, selects one of the retrieved question / answer lists To a user terminal, to receive a response to a query provided from the user terminal, and to perform user authentication based on the received response.
  • a user authentication method with higher security can be provided, which is free from the risk of leakage of a user identifier or a password.
  • user authentication can be performed in a natural conversation, thereby improving the user experience using the interactive AI agent system.
  • FIG. 1 is a schematic diagram of a system environment in which an interactive AI agent system may be implemented, according to one embodiment of the present invention.
  • FIG. 2 is a functional block diagram that schematically illustrates the functional configuration of the user terminal 102 of FIG. 1, in accordance with one embodiment of the present invention.
  • FIG. 3 is a functional block diagram that schematically illustrates the functional configuration of the interactive AI agent server 106 of FIG. 1, according to one embodiment of the present invention.
  • FIG. 4 is a flow diagram illustrating an exemplary operational flow for user authentication performed by an interactive AI agent system, in accordance with an embodiment of the present invention.
  • " module " or " module &quot means a functional part that performs at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software. Also, a plurality of "modules” or “sub-modules” may be integrated into at least one software module and implemented by at least one processor, except for "module” or “sub-module” have.
  • FIG. 1 is a schematic diagram of a system environment 100 in which an interactive AI agent system may be implemented, in accordance with one embodiment of the present invention.
  • the system environment 100 includes a plurality of user terminals 102a-102n, a communication network 104, an interactive AI agent server 106, and an external service server 108. As shown in FIG.
  • each of the plurality of user terminals 102a-102n may be any user electronic device having wired or wireless communication capability.
  • Each of the user terminals 102a-102n may be a variety of wired or wireless communication terminals, including, for example, a smart speaker, a music player, a game console, a digital TV, a set top box, a smart phone, a tablet PC, a desktop, a laptop, It is to be understood that the invention is not limited to any particular form.
  • each of the user terminals 102a-102n can communicate with the interactive AI agent server 106, i. E., Via the communication network 104, with the necessary information.
  • each of the user terminals 102a-102n can communicate with the external service server 108 through the communication network 104, that is, send and receive necessary information.
  • each of the user terminals 102a-102n may receive user input in the form of voice, text and / or touch from the outside, and may interact with an interactive AI agent server (E.g., providing a specific conversation response and / or providing a result) corresponding to the upper user input obtained through communication with the external service server 106 (e.g., the user terminal 102) and / or with the external service server 108 Execution of a specific task, etc.) to the user.
  • an interactive AI agent server E.g., providing a specific conversation response and / or providing a result
  • each of the user terminals 102a-102n may provide a dialog response as a result of an operation corresponding to a user input, in a visual, audible and / or tactile form (e.g., Images, symbols, emoticons, hyperlinks, animations, various notices, motion, haptic feedback, and the like), and the like.
  • a dialog response as a result of an operation corresponding to a user input, in a visual, audible and / or tactile form (e.g., Images, symbols, emoticons, hyperlinks, animations, various notices, motion, haptic feedback, and the like), and the like.
  • the communication network 104 may include any wired or wireless communication network, e.g., a TCP / IP communication network.
  • the communication network 104 may include, for example, a Wi-Fi network, a LAN network, a WAN network, an Internet network, and the like, and the present invention is not limited thereto.
  • the communication network 104 may be any of a variety of wired or wireless, such as Ethernet, GSM, EDGE, CDMA, TDMA, OFDM, Bluetooth, VoIP, Wi- May be implemented using a communication protocol.
  • the interactive AI agent server 106 may communicate with the user terminals 102a-102n via the communication network 104.
  • the interactive AI agent server 106 sends and receives necessary information to and from the user terminals 102a-102n via the communication network 104, The operation result corresponding to the user input, i.e., the user's intention, can be provided to the user.
  • the interactive AI agent server 106 includes at least some of the information obtained through communication with each of the user terminals 102a-102n over the communication network 104, e.g., And / or a behavior history (such as purchase of goods, information retrieval, history of use of various services, etc.).
  • the interactive AI agent server 106 may perform authentication procedures for the user through communication with the user terminals 102a-102n via the communication network 104.
  • the interactive AI agent server 106 is operable to determine, based on information recorded in association with each user terminal 102a-102n, e.g., a conversation history and / The authentication process regarding the user can be performed.
  • the interactive AI agent server 106 may initiate an authentication procedure for the user before providing the predetermined service requiring user authentication.
  • the interactive AI agent server 106 receives user natural language input in the form of speech, text, and / or touch from the user terminals 102a-102n, for example via the communication network 104 ,
  • the received natural language input may be processed based on previously prepared models to determine the intent of the user.
  • the interactive AI agent server 106 may cause a corresponding operation to be performed based on the determined user intention.
  • the interactive AI agent server 106 generates a specific control signal, e.g., to enable the user terminal 102a-102n to perform a particular task that is consistent with the user's intent, 102n.
  • the interactive AI agent server 106 may communicate with the external service server 102 via the communication network 104, for example, to allow the user terminals 102a-102n to perform certain tasks consistent with the user's intent.
  • Lt; RTI ID 0.0 > 108 < / RTI >
  • the interactive AI agent server 106 may generate and send a specific interactive response, e.g., consistent with the user's intent, to the user terminals 102a-102n.
  • the interactive AI agent server 106 generates a corresponding interactive response in the form of voice and / or text based on the determined user intention and sends the generated response to the communication network 104 To the user terminals 102a-102n.
  • the interactive response generated by the interactive AI agent server 106 may include other visual elements such as images, video, symbols, emoticons, etc., along with the natural language responses of the above- Or other auditory elements such as sound, or other tactile elements.
  • the same type of response (e. G., On the interactive AI agent server 106) is performed on the interactive AI agent server 106 according to the type of user input received on the user terminal 102a- (E.g., a voice response is generated if a voice input is given and a text response is generated if a text input is given), but the present invention is not limited thereto. It should be noted that according to another embodiment of the present invention, responses in the form of voice and / or text may be generated and provided irrespective of the type of user input.
  • the interactive AI agent server 106 may communicate with the external service server 108 via the communication network 104, as described above.
  • the external service server 108 may be, for example, a medical service server, a financial service server, a messaging service server, an online consultation center server, an online shopping mall server, an information search server, a map service server, a navigation service server, It is not.
  • an interactive response based on the user's intent which is transmitted from the interactive AI agent server 106 to the user terminals 102a-102n, It should be noted that this may include content.
  • the interactive AI agent server 106 is illustrated as being a separate physical server configured to communicate with the external service server 108 through the communication network 104, the present invention is not limited thereto. According to another embodiment of the present invention, it should be understood that the interactive AI agent server 106 may be included as part of various service servers such as a medical service server, a financial service server, an online consultation center server, or an online shopping mall server do.
  • the user terminal 102 includes a user input receiving module 202, a sensor module 204, a program memory module 206, a processing module 208, a communication module 210, 212).
  • the user input receiving module 202 may receive various types of input from a user, for example, a natural language input such as a voice input and / or a text input (and additionally, Can be received.
  • the user input receiving module 202 includes, for example, a microphone and an audio circuit, and can acquire a user audio input signal through a microphone and convert the obtained signal into audio data.
  • the user input receiving module 202 may include various types of input devices such as various pointing devices such as a mouse, a joystick, and a trackball, a keyboard, a touch panel, a touch screen, , And can acquire a text input and / or a touch input signal inputted from a user through these input devices.
  • the user input received at the user input receiving module 202 may be associated with user authentication, performing a predetermined task, such as executing a predetermined application, or retrieving certain information, The invention is not so limited.
  • the user input received at the user input receiving module 202 may require only a simple conversation response regardless of user authentication, predetermined application execution, or retrieval of information.
  • the user input received at the user input receiving module 202 may relate to a simple statement for unilateral communication.
  • the sensor module 204 includes one or more different types of sensors through which the status information of the user terminal 102, such as the physical state of the user terminal 102, Software and / or hardware status, or information regarding the environmental conditions of the user terminal 102, and the like.
  • the sensor module 204 may include an optical sensor, for example, and may sense the ambient light condition of the user terminal 102 through the optical sensor.
  • the sensor module 204 includes, for example, a movement sensor and can detect whether the corresponding user terminal 102 is moving through the movement sensor.
  • the sensor module 204 includes, for example, a velocity sensor and a GPS sensor, and through these sensors, the position and / or orientation of the corresponding user terminal 102 can be detected.
  • the sensor module 204 may include other various types of sensors, including temperature sensors, image sensors, pressure sensors, touch sensors, and the like.
  • the program memory module 206 may be any storage medium that stores various programs that may be executed on the user terminal 102, such as various application programs and related data.
  • program memory module 206 may include, for example, a telephone dialer application, an email application, an instant messaging application, a camera application, a music playback application, a video playback application, an image management application, , And data related to the execution of these programs.
  • the program memory module 206 may be configured to include various types of volatile or non-volatile memory such as DRAM, SRAM, DDR RAM, ROM, magnetic disk, optical disk, .
  • the processing module 208 may communicate with each component module of the user terminal 102 and perform various operations on the user terminal 102. According to one embodiment of the present invention, the processing module 208 can drive and execute various application programs on the program memory module 206. [ According to one embodiment of the present invention, the processing module 208 may receive signals from the user input receiving module 202 and the sensor module 204, if necessary, and perform appropriate processing on these signals have. According to one embodiment of the present invention, the processing module 208 may, if necessary, perform appropriate processing on signals received from the outside via the communication module 210.
  • the communication module 210 is configured to allow the user terminal 102 to communicate with the interactive AI agent server 106 and / or the external service server 108 via the communication network 104 of FIG. 1 Communication.
  • the communication module 212 may be configured to receive signals from, for example, the user input receiving module 202 and the sensor module 204 via the communication network 104 in accordance with a predetermined protocol, To server 106 and / or to external service server 108.
  • the communication module 210 may provide various signals received from the interactive AI agent server 106 and / or the external service server 108 via the communication network 104, e.g., voice and / Or a response signal including a natural language response in the form of a text, or various control signals, and perform appropriate processing according to a predetermined protocol.
  • signals received from the interactive AI agent server 106 and / or the external service server 108 via the communication network 104 e.g., voice and / Or a response signal including a natural language response in the form of a text, or various control signals, and perform appropriate processing according to a predetermined protocol.
  • the response output module 212 may output a response corresponding to a user input in various forms such as time, auditory, and / or tactile sense.
  • the response output module 212 may include, for example, a speaker or a headset and may provide an audible response, e.g., voice and / or acoustic response corresponding to user input, can do.
  • the response output module 212 includes various display devices such as a touch screen based on technology such as LCD, LED, OLED, QLED, and the like, Such as text, symbols, video, images, hyperlinks, animations, various notices, etc., to the user.
  • the response output module 212 includes a motion / haptic feedback generator, through which a tactile response, e.g., motion / haptic feedback, can be provided to the user.
  • a tactile response e.g., motion / haptic feedback
  • the response output module 212 may simultaneously provide any combination of two or more of a text response, a voice response, and a motion / haptic feedback corresponding to a user input.
  • FIG. 3 is a functional block diagram that schematically illustrates the functional configuration of the interactive AI agent server 106 of FIG. 1, according to one embodiment of the present invention.
  • the interactive agent server 106 includes a communication module 302, a Speech-To-Text (STT) module 304, a Natural Language Understanding (NLU) module 306 A dialogue understanding knowledge base 308, a user database 310, a user authentication module 312, a dialogue management module 314, a dialogue generation module 316, and a text-to-speech (TTS) (318).
  • STT Speech-To-Text
  • NLU Natural Language Understanding
  • the communication module 302 is configured to allow the interactive AI agent server 106 to communicate with the user terminal 102 and / or via the communication network 104, in accordance with any wired or wireless communication protocol, Thereby enabling communication with the external service server 108.
  • the communication module 302 includes a user input (e.g., including touch input, voice input and / or text input, etc.) transmitted from the user terminal 102 via the communication network 104 And is not limited thereby).
  • the user input may include a signal associated with user authentication, e.g., user identification information.
  • the user input may include user identification information including an identifier of the user terminal 102, for example.
  • the user input may be a voice or text input signal of an answer to a question related to user authentication.
  • the user input may be a request signal for a particular task execution or conversation response.
  • communication module 302 is coupled to user terminal 102, which has been transmitted from user terminal 102 via communication network 104, with or without user input, Status information can be received.
  • the state information may include various state information (e.g., the physical state of the user terminal 102, the software of the user terminal 102) related to the user terminal 102 at the time of user input And / or hardware state, environmental state information around the user terminal 102, etc.).
  • communication module 302 may also be configured to generate an interactive response (e. G., A native < / RTI > And / or control signals to the user terminal 102 via the communication network 104.
  • the user terminal 102 may be connected to the user terminal 102 via the network 104,
  • the STT module 304 may receive speech input from user input received via the communication module 302 and convert the received speech input into text data based on pattern matching and the like have. According to one embodiment of the present invention, the STT module 304 may extract a feature from a user's speech input to generate a feature vector sequence. According to an exemplary embodiment of the present invention, the STT module 304 may be implemented by a DTW (Dynamic Time Warping) method, an HMM model (Hidden Markov Model), a GMM model (Gaussian-Mixture Mode), a deep neural network model, For example, a sequence of words, based on various statistical models of the speech recognition results. According to one embodiment of the present invention, the STT module 304 can refer to each user characteristic data of the user database 310, which will be described later, when converting the received voice input into text data based on pattern matching .
  • DTW Dynamic Time Warping
  • HMM model Hidden Markov Model
  • GMM model Gaussian-Mixture Mode
  • the NLU module 306 may receive text input from the communication module 302 or the STT module 304.
  • the textual input received at the NLU module 306 may be transmitted to the user terminal 102 via the user text input or communication module 302 that has been received from the user terminal 102 via the communication network 104, For example, a sequence of words, generated by the STT module 304 from the user speech input received at the STT module 304.
  • the NLU module 306 may include status information associated with the user input, such as with or after receipt of the text input, e.g., status information of the user terminal 102 at the time of the user input And the like.
  • the status information may include various status information (e.g., the physical state of the user terminal 102, the software status of the user terminal 102) associated with the user terminal 102 at the time of user input and / And / or hardware state, environmental state information around the user terminal 102, etc.).
  • various status information e.g., the physical state of the user terminal 102, the software status of the user terminal 102 associated with the user terminal 102 at the time of user input and / And / or hardware state, environmental state information around the user terminal 102, etc.
  • the NLU module 306 may map the received text input to one or more user intents based on a dialog understanding knowledge base 308, which will be described later.
  • the user intent can be associated with a series of operations (s) that can be understood and performed by the interactive AI agent server 106 according to the user intention.
  • the NLU module 306 may refer to the status information described above in associating the received text input with one or more user intentions.
  • the NLU module 306 may refer to each user characteristic data of the user database 310, which will be described later, in mapping the received text input to one or more user intentions.
  • the conversation understanding knowledge base 308 may include, for example, a predefined ontology model.
  • an ontology model can be represented, for example, in a hierarchical structure between nodes, where each node is associated with an " intention " node corresponding to the user & Node (a sub-attribute node directly linked to an " intent " node or linked back to an " attribute " node of an " intent " node).
  • " attribute " nodes directly or indirectly linked to an " intention " node and its " intent " node may constitute one domain, and an ontology may be composed of such a set of domains .
  • the conversation understanding knowledge base 308 may be configured to include domains corresponding to all intents, for example, an interactive AI agent system that can understand and perform corresponding actions have.
  • the ontology model can be dynamically changed by addition or deletion of nodes or modification of relations between nodes.
  • the intention nodes and attribute nodes of each domain in the ontology model may be associated with words and / or phrases associated with corresponding user intents or attributes, respectively.
  • the conversation understanding knowledge base 308 includes an ontology model, which is composed of a hierarchy of nodes and a set of words and / or phrases associated with each node, , And the NLU module 306 can determine the user's intention based on the ontology model implemented in the lexical dictionary form.
  • the NLU module 306 upon receipt of a text input or a sequence of words, can determine which of the domains in the ontology model each word in the sequence is associated with, Based on such a determination, the corresponding domain, i.e. the user intent, can be determined.
  • the user database 310 may be a database that stores and manages user-specific data including authentication data for each user.
  • the characteristic data for each user included in the user database 310 may include, for example, personal information of the user, previous conversation / behavior record, pronunciation characteristic information of the user, A user's location, a set language, a contact / friend list, and various other user-specific information.
  • the authentication data of each user included in the user database includes other information in the user database 310 related to the user, such as personal information of the user, previous conversation history (e.g., (E.g., various conversation records of the user possessed by the AI agent system) and / or a behavior history (such as purchase of goods, information retrieval, and various other service utilization histories) have.
  • the question / answer list of the user database 310 for user authentication may include other information in the user database 310 related to the user, for example, And may be predefined and stored based on conversation history and / or behavior history, but the present invention is not limited thereto.
  • a question / answer list for the user authentication may be generated immediately on the basis of user characteristic data in the user database 310 according to a predetermined criterion You should know.
  • the STT module 304 may be configured to refer to each user characteristic data of the user database 310, e.g., pronunciation characteristics for each user, , More accurate text data can be obtained.
  • the NLU module 306 determines each user characteristic data of the user database 310, for example, characteristics or contexts of each user, .
  • the dialog generation module 316 may refer to user characteristic data of the user database 310 at the time of generating the conversation response.
  • a user database 310 for storing and managing characteristic data for each user is shown as being disposed in the interactive AI agent server 106, but the present invention is not limited thereto.
  • the user database 310 which stores and manages characteristic data for each user, may reside, for example, at the user terminal 102, and may include a user terminal 102 and an interactive AI agent server 106 As shown in FIG.
  • the user authentication module 312 may perform an authentication procedure for a user before providing a predetermined service.
  • a predetermined operation according to the intention of the user determined by the NLU module 306 requires user security authentication (for example, when a user requests a high security service A service using security information, or a service using user personal information)
  • the user authentication module 312 may proceed with the user security authentication procedure.
  • the user authentication module 312 may receive a user security authentication request from the user terminal 102a-102n and proceed with the user security authentication procedure based thereon.
  • the user authentication module 312 may acquire user identification information and perform a user authentication procedure based on the acquired user identification information.
  • the user authentication module 312 may receive a user voice input from the user terminal 102a-102n and obtain user identification information from the received user voice input.
  • the user authentication module 312 obtains, for example, a user identifier (user ID) and / or an identifier (terminal ID) of the user terminal from the user terminals 102a-102n, The user authentication process can be performed based on the information.
  • the user authentication module 312 may obtain user identification information in a variety of other ways.
  • the user authentication module 312 searches the user database 310 for authentication information related to the user, for example, a question / answer list for user authentication based on the acquired user identification information or the like .
  • the user authentication module 312 may provide the retrieved authentication information, for example, any question selected from the question / answer list for user authentication, in voice or text form during a conversation with the user, A response can be obtained from the user.
  • the user authentication module 312 determines whether the received answer is a question / answer For example, the answer received from the user may be compared with one or more predefined answers corresponding to the selected question on the above question / answer list, and whether the similarity between the two is higher than the threshold.
  • the dialogue management module 314 may generate a series of operational flows corresponding to the user intent determined by the NLU module 306.
  • the conversation management module 314 may perform certain actions based on a predetermined conversation flow management model, e.g., in response to the user's intent received from the NLU module 306, e.g., Or to perform a task execution, and to generate a corresponding detailed operation flow.
  • the dialog generation module 316 may generate an interaction response to be provided to the user based on the conversation flow generated by the conversation management module 314.
  • the dialog generation module 316 generates, in the generation of the dialog response, user characteristic data of the above-described user database 310 (e.g., the user's previous conversation history, A user's lexical preference, a user's location, a set language, a contact / friend list, a previous conversation record of the user for each user, etc.).
  • the TTS module 318 may receive an interactive response that is generated by the dialog generation module 316 to be transmitted to the user terminal 102.
  • the conversation response received at the TTS module 318 may be a natural word or a sequence of words having a textual form.
  • the TTS module 316 can convert the input of the above received text form into speech form according to various types of algorithms.
  • the interactive AI agent system is a client-server model between the user terminal 102 and the interactive AI agent server 106, And is based on a so-called " thin client-server model ", which delegates all other functions of the interactive AI agent system to the server, but the present invention is not limited thereto.
  • the interactive AI agent system may be implemented as a distributed application between the user terminal and the server, or as a stand-alone application installed on the user terminal .
  • the interactive AI agent system implements the functions of the interactive AI agent system distributed between the user terminal and the server according to an embodiment of the present invention
  • the distribution of each function of the interactive AI agent system between the client and the server is It should be understood that the invention may be otherwise embodied.
  • the specific module has been described as performing certain operations for convenience, the present invention is not limited thereto. According to another embodiment of the present invention, it is to be understood that the operations described as being performed by any particular module in the above description may be performed by separate and distinct modules, respectively.
  • FIG. 4 is a flow diagram illustrating an exemplary operational flow for user security authentication performed by an interactive AI agent system, in accordance with an embodiment of the present invention.
  • the interactive AI agent system may obtain user identification information.
  • the user identification information may be obtained, for example, from user input of a predetermined word or sentence registered in advance for user authentication.
  • the user identification information may be obtained, for example, from a voice or text input of a user identifier (user ID).
  • the user identification information may be obtained, for example, from a voice or text input of a word or sentence randomly selected by the user.
  • the interactive AI agent system can be obtained from an identifier (terminal ID) of the user terminal.
  • the user identification information can be obtained from a combination of the user input and the identifier of the user terminal.
  • the interactive AI agent system receives, from the user database 310, authentication data regarding the user, e.g., a predetermined number of user IDs for use in user security authentication, based on the user identification information obtained at step 402 You can search the question / answer list.
  • the authentication data of each user included in the user database 310 may be generated based on the user context as described above.
  • the predetermined question / answer list that may be included in the user database 310 for each user's security authentication may include other information in the user database 310 for that user, (E.g., user's personal information, friend information, etc.), previous conversation history (e.g., various conversation records of the user held by the interactive AI agent system, etc.) and / or behavior history (S) generated based on the information extracted from the purchase history, purchase history of goods, information retrieval, various other service usage history, etc.) and the answer (s) corresponding thereto in semantics.
  • previous conversation history e.g., various conversation records of the user held by the interactive AI agent system, etc.
  • S behavior history
  • the interactive AI agent system is configured to collect information about the user in accordance with a predetermined criterion during a conversation with the user, and to generate a question based on the information and a corresponding answer May be generated and stored in the user database 310 as data for user security authentication.
  • the predetermined criteria may include, for example, information displayed during a user conversation includes information about the user's family or intimate person (e.g., family name, friend name, (E.g., birthday, anniversary, family birthday, friend's birthday, other noteworthy dates, or any unusual events associated with them) associated with the user, product purchase information of the user (For example, favorite season, favorite color, etc.), and the like, but the present invention is not limited to this. It is not.
  • information displayed during a user conversation includes information about the user's family or intimate person (e.g., family name, friend name, (E.g., birthday, anniversary, family birthday, friend's birthday, other noteworthy dates, or any unusual events associated with them) associated with the user, product purchase information of the user (For example, favorite season, favorite color, etc.), and the like, but the present invention is not limited to this. It is not.
  • the interactive AI agent system is configured to receive, from a history of previous conversation / behavior with a user, various arbitrary criteria relating to information expected to be stored by the user as information specific to the user Specific information related to the user that has been repeatedly inputted over a predetermined number of times from the user's previous conversation / behavior history, etc.), extracts information that meets the criteria, And corresponding responses.
  • the interactive AI agent system may be configured to transmit data for user security authentication, for example, a question / answer list generated based on a user context, The user can be notified in advance that the question can be used for user authentication (but the present invention is not limited thereto).
  • data for user security authentication for example, a question / answer list generated based on a user context
  • the user can be notified in advance that the question can be used for user authentication (but the present invention is not limited thereto).
  • a question is generated as data for user security authentication based on information about a user
  • one or more answers (or answer patterns) may be automatically generated based on user characteristic data, e.g., information from previous conversation / behavior history, and the like.
  • the interactive AI agent system employs a question corresponding to the information obtained in the user context from the user database as a question which can be used, for example, for user security authentication, You can choose positive answers as answers. For example, if there is a record of a user's recent performance of a refrigerator that he / she likes, he / she will be able to answer questions such as "New refrigerator likes" and corresponding "Yes", “Very good", " And a positive answer.
  • the interactive AI agent system employs, as a question that can be used, for example, for user security authentication, to adopt a query that is contrary to the information obtained in the user context from the user database, You can choose negative answers as answers.
  • the interactive AI agent system may arbitrarily select one of the question / answer lists retrieved from the user database 310 at step 404 and provide the selected question to the user. Then, at step 408, the interactive AI agent system may receive a response from the user for the provided question. According to one embodiment of the present invention, the interactive AI agent system can receive voice and / or text responses input from the user via the user terminal.
  • the interactive AI agent system may determine whether the answer received from the user matches one or more answers (patterns) registered in response to the above provided question.
  • the interactive AI agent system determines whether the answer received from the user corresponds to a meaning registered in response to the question (for example, whether the answer is positive or negative) .
  • the interactive AI agent system can determine whether the degree of similarity between the answer received from the user and one or more answers registered corresponding to the query is equal to or greater than a threshold value.
  • an interactive AI agent system for example, analyzes an intention of a response received from a user by natural language analysis, and analyzes the intention of the answer received from the user, Or similar can be determined.
  • step 410 if it is determined that the received answer corresponds to the registered answer in response to the above provided question, then the procedure proceeds to step 412, where the interactive AI agent system receives the response from the user terminal (e.g., Smart speaker, etc.) to the user in voice or text form. If it is determined in step 410 that the received answer does not match the registered answer in response to the provided question, the process proceeds to step 414 where an output indicating the user authentication failure is provided to the user in voice or text form .
  • the user terminal e.g., Smart speaker, etc.
  • the interactive AI agent system performs the security authentication process from step 406 to step 410 a plurality of times, and if the authentication succeeds successively for a predetermined number of times or more, And proceed with the procedure.
  • the interactive AI agent system performs the security authentication process from step 406 to step 410 a plurality of times, and when the authentication fails for a predetermined number of times or more, it is determined that the user authentication fails can do.
  • a computer program according to an embodiment of the present invention may be stored in a storage medium readable by a computer processor or the like such as a nonvolatile memory such as EPROM, EEPROM, flash memory device, a magnetic disk such as an internal hard disk and a removable disk, CDROM disks, and the like. Also, the program code (s) may be implemented in assembly language or machine language. And all changes and modifications that fall within the true spirit and scope of the present invention are intended to be embraced by the following claims.

Abstract

A method by which an interactive AI agent system performs user authentication is provided. The method of the present invention comprises the steps of: acquiring user identification information; searching a user database for user authentication data on the basis of the user identification information, wherein the user database includes characteristic data of each user, and the authentication data includes a question/answer list including one or more questions generated on the basis of the characteristic data of each user included in the user database, and one or more answers semantically associated with each question; selecting one question from the searched for question/answer list so as to provide the question to a user terminal; receiving an answer to the question provided from the user terminal; and performing user authentication on the basis of the received answer.

Description

보안성을 강화한 사용자 문맥 기반 인증 방법, 대화형 AI 에이전트 시스템 및 컴퓨터 판독가능 기록 매체A user context based authentication method with enhanced security, an interactive AI agent system, and a computer readable recording medium
본 발명은, 대화형 AI 에이전트 시스템의 사용자 인증에 관한 것이며, 보다 구체적으로는 대화형 AI 에이전트 시스템 상에서의 사용자 문맥에 기반하여 생성된 소정의 질문 또는 요청에 대한 사용자 답변의 인증에 의한 사용자 인증 방법에 관한 것이다.The present invention relates to user authentication of an interactive AI agent system, and more particularly to user authentication by authentication of a user's answer to a predetermined question or request generated based on a user context on an interactive AI agent system .
근래, 인공지능 분야, 특히 자연어 이해 분야의 기술 발전에 따라, 전통적인 기계 중심의 명령 입출력 방식에 따른 기계 조작에서 벗어나, 사용자로 하여금, 보다 사람 친화적인 방식, 예컨대 음성 및/또는 텍스트 형태의 자연어를 매개로 한 대화 방식으로 기계를 조작하고 기계로부터 원하는 서비스를 얻을 수 있도록 하는 대화형 AI 에이전트 시스템의 개발 및 활용이 점차 늘어나고 있다. 그에 따라, 온라인 상담 센터나 온라인 쇼핑몰 등을 비롯한 (그러나 이에 한정되지 않은 더 많은) 다양한 분야에서, 사용자는 음성 및/또는 텍스트 형태의 자연어 대화를 통해, 대화형 AI 에이전트 시스템에게 원하는 서비스를 요청하고 그로부터 원하는 결과를 얻을 수 있게 되었다. Description of the Related Art [0002] In recent years, with the development of artificial intelligence fields, especially natural language understanding fields, it has become possible to move away from the machine operation according to the conventional machine-centered command input / output method and to allow users to use natural language in a more human-friendly manner such as voice and / Interactive AI agent systems are increasingly being developed and utilized to interactively manipulate machines and obtain desired services from machines. Accordingly, in various fields, including but not limited to, an online consultation center or an online shopping mall, a user may request a desired service from the interactive AI agent system through natural language conversation in voice and / or text form From there, you can get the results you want.
한편, 많은 대화형 AI 에이전트 시스템은, 각 사용자에 관한 정보(예컨대, 사용자의 개인 정보, 이력 정보 등)를 수집 및/또는 관리하고, 수집 및 관리되는 각 사용자에 관한 정보에 기초하여 각 사용자에 맞는 적합한 서비스를 제공하고 있다. 특히, 의료나 금융 분야 등에서 활용되는 대화형 AI 에이전트 시스템은, 사용자의 의료 또는 금융 정보 등 고도의 보안성이 요구되는 정보를 수집 및/또는 관리할 수 있다. 따라서, 많은 대화형 AI 에이전트 시스템은, 일부 또는 전체 서비스 제공에 앞서서, 각 사용자로 하여금 인증을 받도록 요구하고 있다.On the other hand, many interactive AI agent systems collect and / or manage information (e.g., user's personal information, history information, etc.) about each user, and provide information to each user We are providing the right service. In particular, the interactive AI agent system utilized in the medical field or the financial field can collect and / or manage information requiring high security such as medical or financial information of the user. Thus, many interactive AI agent systems require each user to be authenticated prior to providing some or all services.
많은 대화형 AI 에이전트 시스템은 사용자로 하여금 미리 정해진 소정의 단어 등(예컨대, 사용자 식별자 및 패스워드 등)을 입력하도록 하고 그 입력된 단어 등을 검증하는 방식으로 인증을 행하고 있다. 그러나, 인증을 위하여 미리 정해진 단어 등은 유출될 우려가 있고, 특히 대화형 AI 에이전트 시스템의 이용 특성(예컨대, 음성 대화에 의한 이용 등)을 고려할 때 그 유출의 우려는 더욱 커진다.Many interactive AI agent systems allow a user to input a predetermined word or the like (for example, a user identifier and a password) and to verify the inputted word or the like. However, there is a fear that a predetermined word or the like is leaked for authentication. In particular, when the utilization characteristics (for example, use by voice conversation, etc.) of the interactive AI agent system are taken into consideration,
따라서, 기존의 사용자 식별자 등에 의한 인증 방식을 보완하여 더 높은 보안성을 제공할 수 있는 사용자 인증 방법 등이 필요로 된다. Accordingly, there is a need for a user authentication method that can provide higher security by supplementing an authentication method using existing user identifiers and the like.
본 발명의 일 특징에 의하면, 대화형 AI 에이전트 시스템에 의해 수행되는 사용자 인증 방법이 제공된다. 본 발명의 방법은, 사용자 식별 정보를 획득하는 단계; 사용자 식별 정보에 기초하여, 사용자 데이터베이스로부터, 사용자 인증 데이터를 검색하는 단계 - 사용자 데이터베이스는, 각 사용자의 특징적 데이터를 포함하고, 인증 데이터는, 사용자 데이터베이스에 포함된 각 사용자의 특징적 데이터에 기초하여 생성된 하나 이상의 질문 및 각 질문마다 의미상 연관 지어진 하나 이상의 답변을 포함하는 질문/답변 리스트를 포함함 -; 검색된 질문/답변 리스트 중 하나의 질문을 선택하여 사용자 단말로 제공하는 단계; 사용자 단말로부터 제공된 질문에 대한 답변을 수신하는 단계; 및 수신된 답변에 기초하여, 사용자 인증을 수행하는 단계를 포함한다.According to one aspect of the present invention, a method of authenticating a user performed by an interactive AI agent system is provided. The method includes obtaining user identification information; Retrieving user authentication data from the user database based on the user identification information, the user database including the characteristic data of each user, and the authentication data being generated based on the characteristic data of each user included in the user database A query / answer list containing one or more questions and one or more answers semantically associated with each question; Selecting one of the searched question / answer lists and providing the same to the user terminal; Receiving an answer to a query provided from a user terminal; And performing user authentication based on the received answer.
본 발명의 일 실시예에 의하면, 각 사용자에 관한 특징적 데이터는, 사용자의 개인 정보, 사용자의 이전 대화 기록, 및 사용자의 이전 거동 기록 중 적어도 하나를 포함하고, 질문/답변 리스트는, 사용자 데이터베이스에 포함된 사용자의 개인 정보, 사용자의 이전 대화 기록, 및 사용자의 이전 거동 기록 중 적어도 하나에 기초하여 생성된 하나 이상의 질문 및 각 질문마다 의미상 연관 지어진 하나 이상의 답변을 포함할 수 있다.According to one embodiment of the present invention, the characteristic data for each user includes at least one of a user's personal information, a user's previous conversation history, and a user's previous behavior record, and the question / One or more questions generated based on at least one of an included user's personal information, a user's previous conversation history, and a user's previous behavior record, and one or more answers semantically associated with each question.
본 발명의 일 실시예에 의하면, 사용자 인증을 수행하는 단계는, 수신된 답변이, 질문/답변 리스트 상의, 제공된 질문에 의미상 연관 지어진 하나 이상의 답변과 부합하는지 판정하는 단계를 포함할 수 있다.According to one embodiment of the invention, performing the user authentication may comprise determining whether the received answer matches one or more answers semantically associated with the provided question on the question / answer list.
본 발명의 일 실시예에 의하면, 수신된 답변이, 질문/답변 리스트 상의, 제공된 질문에 의미상 연관 지어진 하나 이상의 답변과 부합하는지 판정하는 단계는, 수신된 답변을, 질문/답변 리스트 상의, 제공된 질문에 의미상 연관 지어진 하나 이상의 답변과 각각 비교하여, 수신된 답변과 하나 이상의 답변 각각 사이의 유사도를 산출하는 단계; 및 산출된 유사도에 기초하여, 사용자 인증 여부를 결정하는 단계를 포함할 수 있다.According to one embodiment of the present invention, the step of determining whether the received answer corresponds to one or more responses semantically associated with the provided question on the question / answer list comprises the steps of: Comparing each of the one or more responses semantically associated with the query to each other to calculate a degree of similarity between the received answer and each of the one or more answers; And determining whether the user is authenticated based on the calculated similarity.
본 발명의 일 실시예에 의하면, 사용자의 거동 이력은 사용자의 물품 구매 이력, 정보 검색 이력, 및 서비스 이용 이력 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present invention, the behavior history of the user may include at least one of a purchase history of a user, an information retrieval history, and a service usage history.
본 발명의 다른 특징에 의하면, 하나 이상의 명령어를 포함하는 컴퓨터 판독 가능 기록 매체로서, 하나 이상의 명령어는, 컴퓨터에 위해 실행되는 경우, 컴퓨터로 하여금, 전술한 방법들 중 어느 하나의 방법을 수행하게 하는, 컴퓨터 판독 가능 기록 매체가 제공된다.According to another aspect of the present invention there is provided a computer-readable medium having stored thereon one or more instructions for causing a computer to perform any one of the methods described above, , A computer-readable recording medium is provided.
본 발명의 또 다른 특징에 의하면, 사용자 인증을 제공하도록 구성된 대화형 AI 에이전트 시스템이 제공된다. 본 발명의 대화형 AI 에이전트 시스템은, 사용자 인증 데이터를 포함하는 사용자 데이터베이스 - 사용자 데이터베이스는, 각 사용자의 특징적 데이터를 포함하고, 사용자 인증 데이터는, 사용자 데이터베이스에 포함된 각 사용자의 특징적 데이터에 기초하여 생성된 하나 이상의 질문 및 각 질문마다 의미상 연관 지어진 하나 이상의 답변을 포함하는 질문/답변 리스트를 포함함 -; 및 사용자 인증 모듈을 포함하고, 사용자 인증 모듈은, 사용자 식별 정보를 획득하고, 사용자 식별 정보에 기초하여, 사용자 데이터베이스로부터 질문/답변 리스트를 검색하고, 검색된 질문/답변 리스트 중 하나의 질문을 선택하여 사용자 단말로 제공하고, 사용자 단말로부터 제공된 질문에 대한 답변을 수신하고, 수신된 답변에 기초하여, 사용자 인증을 수행하도록 구성된다.According to another aspect of the present invention, there is provided an interactive AI agent system configured to provide user authentication. The interactive AI agent system according to the present invention is characterized in that the user database including the user authentication data includes a characteristic data of each user and the user authentication data is based on characteristic data of each user included in the user database A query / answer list containing one or more generated questions and one or more answers semantically associated with each question; And a user authentication module, wherein the user authentication module obtains the user identification information, retrieves the question / answer list from the user database based on the user identification information, selects one of the retrieved question / answer lists To a user terminal, to receive a response to a query provided from the user terminal, and to perform user authentication based on the received response.
본 발명에 의하면, 사용자 식별자나 패스워드의 유출 위험으로부터 벗어나서, 더 높은 보안성을 갖춘 사용자 인증 방법이 제공될 수 있다. 본 발명에 의하면, 자연스러운 대화 중에서 사용자 인증이 이루어지도록 할 수 있고, 이로써 대화형 AI 에이전트 시스템을 이용하는 사용자 경험을 개선할 수 있다.According to the present invention, a user authentication method with higher security can be provided, which is free from the risk of leakage of a user identifier or a password. According to the present invention, user authentication can be performed in a natural conversation, thereby improving the user experience using the interactive AI agent system.
도 1은, 본 발명의 일 실시예에 따라, 대화형 AI 에이전트 시스템이 구현될 수 있는 시스템 환경을 개략적으로 도시한 도면이다.1 is a schematic diagram of a system environment in which an interactive AI agent system may be implemented, according to one embodiment of the present invention.
도 2는, 본 발명의 일 실시예에 따른, 도 1의 사용자 단말(102)의 기능적 구성을 개략적으로 도시한 기능 블록도이다.FIG. 2 is a functional block diagram that schematically illustrates the functional configuration of the user terminal 102 of FIG. 1, in accordance with one embodiment of the present invention.
도 3은, 본 발명의 일 실시예에 따른, 도 1의 대화형 AI 에이전트 서버(106)의 기능적 구성을 개략적으로 도시한 기능 블록도이다.FIG. 3 is a functional block diagram that schematically illustrates the functional configuration of the interactive AI agent server 106 of FIG. 1, according to one embodiment of the present invention.
도 4는, 본 발명의 일 실시예에 따른, 대화형 AI 에이전트 시스템에 의해 수행되는, 사용자 인증을 위한 예시적 동작 흐름을 보여주는 흐름도이다.4 is a flow diagram illustrating an exemplary operational flow for user authentication performed by an interactive AI agent system, in accordance with an embodiment of the present invention.
이하, 첨부 도면을 참조하여 본 발명의 실시예에 관하여 상세히 설명한다. 이하에서는, 본 발명의 요지를 불필요하게 흐릴 우려가 있다고 판단되는 경우, 이미 공지된 기능 및 구성에 관한 구체적인 설명을 생략한다. 또한, 이하에서 설명하는 내용은 어디까지나 본 발명의 일 실시예에 관한 것일 뿐 본 개시가 이로써 제한되는 것은 아님을 알아야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, when it is determined that there is a possibility that the gist of the present invention may be unnecessarily blurred, a detailed description of known functions and configurations will be omitted. In addition, it should be understood that the following description is only an embodiment of the present invention, and the present disclosure is not limited thereto.
본 개시에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 발명을 한정하려는 의도에서 사용된 것이 아니다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 개시에서 사용되는 "및/또는"이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는 '포함하다' 또는 '가지다' 등의 용어는 본 개시 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다.The terminology used in this disclosure is used only to describe a specific embodiment and is not used to limit the invention. For example, an element expressed in singular < Desc / Clms Page number 5 > terms should be understood as including a plurality of elements unless the context clearly dictates a singular value. It is to be understood that the term " and / or " as used in this disclosure encompasses any and all possible combinations of one or more of the listed items. It should be understood that the terms " comprises " or " having ", etc. used in the present disclosure are intended to specify that there exist features, numbers, steps, operations, elements, It is not intended to exclude the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof, by use.
본 발명의 실시예에 있어서 '모듈' 또는 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 또는 '부'는, 특정한 하드웨어로 구현될 필요가 있는 '모듈' 또는 '부'를 제외하고는, 적어도 하나의 소프트웨어 모듈로 일체화되어 적어도 하나의 프로세서에 의해 구현될 수 있다.As used herein, the term " module " or " module " means a functional part that performs at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software. Also, a plurality of "modules" or "sub-modules" may be integrated into at least one software module and implemented by at least one processor, except for "module" or "sub-module" have.
덧붙여, 달리 정의되지 않는 한 기술적 또는 과학적인 용어를 포함하여, 본 개시에서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의된 용어들은, 관련 기술의 문맥상 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 개시에서 명백하게 달리 정의하지 않는 한 과도하게 제한 또는 확장하여 해석되지 않는다는 점을 알아야 한다.In addition, all terms used in the present disclosure, including technical or scientific terms, unless otherwise defined, have the same meaning as commonly understood by one of ordinary skill in the art to which this disclosure belongs. It should be understood that commonly used predefined terms are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are not to be interpreted excessively or extensively unless explicitly defined otherwise in this disclosure .
이하, 첨부된 도면을 참조하여, 본 발명의 실시예에 대해 구체적으로 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은, 본 발명의 일 실시예에 따라, 대화형 AI 에이전트 시스템이 구현될 수 있는 시스템 환경(100)을 개략적으로 도시한 도면이다. 도시된 바에 의하면, 시스템 환경(100)은, 복수의 사용자 단말(102a-102n), 통신망(104), 대화형 AI 에이전트 서버(106), 및 외부 서비스 서버(108)를 포함한다.1 is a schematic diagram of a system environment 100 in which an interactive AI agent system may be implemented, in accordance with one embodiment of the present invention. The system environment 100 includes a plurality of user terminals 102a-102n, a communication network 104, an interactive AI agent server 106, and an external service server 108. As shown in FIG.
본 발명의 일 실시예에 의하면, 복수의 사용자 단말(102a-102n) 각각은 유선 또는 무선 통신 기능을 구비한 임의의 사용자 전자 장치일 수 있다. 사용자 단말(102a-102n) 각각은, 예컨대 스마트 스피커, 뮤직 플레이어, 게임 콘솔, 디지털 TV, 셋탑박스, 스마트 폰, 태블릿 PC, 데스크탑, 랩탑, PDA 등을 포함한 다양한 유선 또는 무선 통신 단말일 수 있으며, 특정 형태로 제한되지 않음을 알아야 한다. 본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n) 각각은, 통신망(104)을 통해서, 대화형 AI 에이전트 서버(106)와 통신, 즉 필요한 정보를 송수신할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n) 각각은, 통신망(104)을 통해서, 외부 서비스 서버(108)와 통신, 즉 필요한 정보를 송수신할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n) 각각은, 외부로부터 음성, 텍스트 및/또는 터치 형태의 사용자 입력을 수신할 수 있고, 통신망(104)을 통한 대화형 AI 에이전트 서버(106) 및/또는 외부 서비스 서버(108)와의 통신(및/또는 사용자 단말(102a-102n) 내 처리)을 통해 얻어진, 위 사용자 입력에 대응한 동작 결과(예컨대, 특정 대화 응답의 제공 및/또는 특정 태스크의 수행 등)를 사용자에게 제공할 수 있다.According to one embodiment of the present invention, each of the plurality of user terminals 102a-102n may be any user electronic device having wired or wireless communication capability. Each of the user terminals 102a-102n may be a variety of wired or wireless communication terminals, including, for example, a smart speaker, a music player, a game console, a digital TV, a set top box, a smart phone, a tablet PC, a desktop, a laptop, It is to be understood that the invention is not limited to any particular form. In accordance with one embodiment of the present invention, each of the user terminals 102a-102n can communicate with the interactive AI agent server 106, i. E., Via the communication network 104, with the necessary information. According to one embodiment of the present invention, each of the user terminals 102a-102n can communicate with the external service server 108 through the communication network 104, that is, send and receive necessary information. In accordance with one embodiment of the invention, each of the user terminals 102a-102n may receive user input in the form of voice, text and / or touch from the outside, and may interact with an interactive AI agent server (E.g., providing a specific conversation response and / or providing a result) corresponding to the upper user input obtained through communication with the external service server 106 (e.g., the user terminal 102) and / or with the external service server 108 Execution of a specific task, etc.) to the user.
본 발명의 실시예에 있어서, 사용자 입력에 대응한 동작으로서의 태스크 수행은, 예컨대 정보의 검색, 물품 구매, 메시지 작성, 이메일 작성, 전화 걸기, 음악 재생, 사진 촬영, 사용자 위치 탐색, 지도/내비게이션 서비스 등을 비롯한 각종 다양한 형태의 태스크(그러나 이로써 제한되는 것은 아님) 수행을 포함할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n) 각각은, 사용자 입력에 대응한 동작 결과로서의 대화 응답을, 시각, 청각 및/또는 촉각 형태(예컨대, 음성, 음향, 텍스트, 비디오, 이미지, 기호, 이모티콘, 하이퍼링크, 애니메이션, 각종 노티스, 모션, 햅틱 피드백 등을 포함할 수 있으며, 이로써 제한되는 것은 아님) 등 다양한 형태로써 사용자에게 제공할 수 있다.In the embodiment of the present invention, the task execution as an operation corresponding to a user input may be performed by, for example, searching for information, purchasing goods, composing a message, composing an email, dialing, music reproduction, photographing, And the like, as well as performing various various types of tasks (but not limited thereto). In accordance with one embodiment of the present invention, each of the user terminals 102a-102n may provide a dialog response as a result of an operation corresponding to a user input, in a visual, audible and / or tactile form (e.g., Images, symbols, emoticons, hyperlinks, animations, various notices, motion, haptic feedback, and the like), and the like.
본 발명의 일 실시예에 의하면, 통신망(104)은, 임의의 유선 또는 무선 통신망, 예컨대 TCP/IP 통신망을 포함할 수 있다. 본 발명의 일 실시예에 의하면, 통신망(104)은, 예컨대 Wi-Fi망, LAN망, WAN망, 인터넷망 등을 포함할 수 있으며, 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 일 실시예에 의하면, 통신망(104)은, 예컨대 이더넷, GSM, EDGE(Enhanced Data GSM Environment), CDMA, TDMA, OFDM, 블루투스, VoIP, Wi-MAX, Wibro 기타 임의의 다양한 유선 또는 무선 통신 프로토콜을 이용하여 구현될 수 있다.According to one embodiment of the present invention, the communication network 104 may include any wired or wireless communication network, e.g., a TCP / IP communication network. According to an embodiment of the present invention, the communication network 104 may include, for example, a Wi-Fi network, a LAN network, a WAN network, an Internet network, and the like, and the present invention is not limited thereto. In accordance with one embodiment of the present invention, the communication network 104 may be any of a variety of wired or wireless, such as Ethernet, GSM, EDGE, CDMA, TDMA, OFDM, Bluetooth, VoIP, Wi- May be implemented using a communication protocol.
본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 통신망(104)을 통해 사용자 단말(102a-102n)과 통신할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 통신망(104)을 통해 사용자 단말(102a-102n)과 필요한 정보를 송수신하고, 이를 통해 사용자 단말(102a-102n) 상에서 수신된 사용자 입력에 대응한, 즉 사용자 의도에 부합하는 동작 결과가, 사용자에게 제공되도록 동작할 수 있다. According to one embodiment of the present invention, the interactive AI agent server 106 may communicate with the user terminals 102a-102n via the communication network 104. [ In accordance with one embodiment of the present invention, the interactive AI agent server 106 sends and receives necessary information to and from the user terminals 102a-102n via the communication network 104, The operation result corresponding to the user input, i.e., the user's intention, can be provided to the user.
본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 통신망(104)을 통한 각각의 사용자 단말(102a-102n)과의 통신을 통해 획득된 정보의 적어도 일부, 예컨대 사용자 대화 이력 및/또는 거동 이력(물품 구매, 정보 검색, 기타 다양한 서비스 이용 이력 등) 등을 기록할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 통신망(104)을 통한 사용자 단말(102a-102n)과의 통신을 통해, 해당 사용자에 관한 인증 절차를 수행할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 각 사용자 단말(102a-102n)과 관련되어 기록된 정보, 예컨대 해당 사용자의 대화 이력 및/또는 거동 이력 등에 기초하여, 해당 사용자에 관한 인증 절차를 수행할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 사용자 인증이 필요한 소정의 서비스를 제공하기에 앞서서, 해당 사용자에 관한 인증 절차를 개시할 수 있다. In accordance with one embodiment of the present invention, the interactive AI agent server 106 includes at least some of the information obtained through communication with each of the user terminals 102a-102n over the communication network 104, e.g., And / or a behavior history (such as purchase of goods, information retrieval, history of use of various services, etc.). According to one embodiment of the present invention, the interactive AI agent server 106 may perform authentication procedures for the user through communication with the user terminals 102a-102n via the communication network 104. [ In accordance with one embodiment of the present invention, the interactive AI agent server 106 is operable to determine, based on information recorded in association with each user terminal 102a-102n, e.g., a conversation history and / The authentication process regarding the user can be performed. According to an embodiment of the present invention, the interactive AI agent server 106 may initiate an authentication procedure for the user before providing the predetermined service requiring user authentication.
본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 통신망(104)을 통해 사용자 단말(102a-102n)로부터 음성, 텍스트, 및/또는 터치 형태의 사용자 자연어 입력을 수신하고, 미리 준비된 모델들에 기초해서 그 수신된 자연어 입력을 처리하여 사용자의 의도(intent)를 결정할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 위 결정된 사용자 의도에 기초하여 대응하는 동작이 수행되도록 할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 사용자 단말(102a-102n)이 사용자 의도에 부합하는 특정한 태스크를 수행하도록 특정한 제어 신호를 생성하여 해당 사용자 단말(102a-102n)로 전송할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 사용자 단말(102a-102n)이 사용자 의도에 부합하는 특정한 태스크를 수행하게 하기 위하여, 통신망(104)을 통해 외부 서비스 서버(108)에 접속할 수 있다.In accordance with one embodiment of the present invention, the interactive AI agent server 106 receives user natural language input in the form of speech, text, and / or touch from the user terminals 102a-102n, for example via the communication network 104 , The received natural language input may be processed based on previously prepared models to determine the intent of the user. According to one embodiment of the present invention, the interactive AI agent server 106 may cause a corresponding operation to be performed based on the determined user intention. In accordance with one embodiment of the present invention, the interactive AI agent server 106 generates a specific control signal, e.g., to enable the user terminal 102a-102n to perform a particular task that is consistent with the user's intent, 102n. In accordance with one embodiment of the present invention, the interactive AI agent server 106 may communicate with the external service server 102 via the communication network 104, for example, to allow the user terminals 102a-102n to perform certain tasks consistent with the user's intent. Lt; RTI ID = 0.0 > 108 < / RTI >
본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 사용자 의도에 부합하는 특정한 대화 응답을 생성하여 사용자 단말(102a-102n)로 전송할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 위 결정된 사용자 의도에 기초하여, 대응하는 대화 응답을 음성 및/또는 텍스트 형태로써 생성하고, 생성된 응답을, 통신망(104)을 통해, 사용자 단말(102a-102n)로 전달할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)에 의해 생성되는 대화 응답은, 전술한 음성 및/또는 텍스트 형태의 자연어 응답과 함께, 이미지, 비디오, 기호, 이모티콘 등 다른 시각적 요소들이나, 음향 등의 다른 청각적 요소들이나, 기타 다른 촉각적 요소들을 포함할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 단말(102a-102n) 상에서 수신된 사용자 입력의 형태(예컨대, 음성 입력인지 아니면 텍스트 입력인지)에 따라, 대화형 AI 에이전트 서버(106) 상에서 동일한 형태의 응답이 생성될 수 있으며(예컨대, 음성 입력이 주어진 경우에는 음성 응답이 생성되고 텍스트 입력이 주어진 경우에는 텍스트 응답이 생성됨), 다만 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 다른 실시예에 의하면, 사용자 입력의 형태와 무관하게 음성 및/또는 텍스트 형태의 응답이 생성 및 제공될 수 있음을 알아야 한다.In accordance with one embodiment of the present invention, the interactive AI agent server 106 may generate and send a specific interactive response, e.g., consistent with the user's intent, to the user terminals 102a-102n. In accordance with one embodiment of the present invention, the interactive AI agent server 106 generates a corresponding interactive response in the form of voice and / or text based on the determined user intention and sends the generated response to the communication network 104 To the user terminals 102a-102n. According to one embodiment of the present invention, the interactive response generated by the interactive AI agent server 106 may include other visual elements such as images, video, symbols, emoticons, etc., along with the natural language responses of the above- Or other auditory elements such as sound, or other tactile elements. According to one embodiment of the present invention, the same type of response (e. G., On the interactive AI agent server 106) is performed on the interactive AI agent server 106 according to the type of user input received on the user terminal 102a- (E.g., a voice response is generated if a voice input is given and a text response is generated if a text input is given), but the present invention is not limited thereto. It should be noted that according to another embodiment of the present invention, responses in the form of voice and / or text may be generated and provided irrespective of the type of user input.
본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 앞서 언급한 바와 같이, 통신망(104)을 통해서 외부 서비스 서버(108)와 통신할 수 있다. 외부 서비스 서버(108)는, 예컨대 의료 서비스 서버, 금융 서비스 서버, 메시징 서비스 서버, 온라인 상담 센터 서버, 온라인 쇼핑몰 서버, 정보 검색 서버, 지도 서비스 서버, 네비게이션 서비스 서버 등일 수 있으며, 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 서버(106)로부터 사용자 단말(102a-102n)로 전달되는, 사용자 의도에 기초한 대화 응답은, 예컨대 외부 서비스 서버(108)로부터 검색 및 획득된 데이터 콘텐츠를 포함한 것일 수 있음을 알아야 한다.According to one embodiment of the present invention, the interactive AI agent server 106 may communicate with the external service server 108 via the communication network 104, as described above. The external service server 108 may be, for example, a medical service server, a financial service server, a messaging service server, an online consultation center server, an online shopping mall server, an information search server, a map service server, a navigation service server, It is not. In accordance with one embodiment of the present invention, an interactive response based on the user's intent, which is transmitted from the interactive AI agent server 106 to the user terminals 102a-102n, It should be noted that this may include content.
본 도면에서는, 대화형 AI 에이전트 서버(106)가 외부 서비스 서버(108)와 통신망(104)을 통해 통신 가능하게 구성된 별도의 물리 서버인 것으로 도시되어 있으나, 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 다른 실시예에 의하면, 대화형 AI 에이전트 서버(106)는, 예컨대 의료 서비스 서버, 금융 서비스 서버, 온라인 상담 센터 서버 또는 온라인 쇼핑몰 서버 등 각종 서비스 서버의 일부로 포함되어 구성될 수도 있음을 알아야 한다.Although the interactive AI agent server 106 is illustrated as being a separate physical server configured to communicate with the external service server 108 through the communication network 104, the present invention is not limited thereto. According to another embodiment of the present invention, it should be understood that the interactive AI agent server 106 may be included as part of various service servers such as a medical service server, a financial service server, an online consultation center server, or an online shopping mall server do.
도 2는, 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말(102)의 기능적 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 사용자 단말(102)은, 사용자 입력 수신 모듈(202), 센서 모듈(204), 프로그램 메모리 모듈(206), 프로세싱 모듈(208), 통신 모듈(210), 및 응답 출력 모듈(212)을 포함한다.2 is a functional block diagram that schematically illustrates the functional configuration of the user terminal 102 shown in FIG. 1, in accordance with one embodiment of the present invention. The user terminal 102 includes a user input receiving module 202, a sensor module 204, a program memory module 206, a processing module 208, a communication module 210, 212).
본 발명의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 사용자로부터 다양한 형태의 입력, 예컨대 음성 입력 및/또는 텍스트 입력 등의 자연어 입력(및 부가적으로 터치 입력 등의 다른 형태의 입력)을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 예컨대 마이크로폰 및 오디오 회로를 포함하며, 마이크로폰을 통해 사용자 음성 입력 신호를 획득하고 획득된 신호를 오디오 데이터로 변환할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)은, 예컨대 마우스, 조이스틱, 트랙볼 등의 각종 포인팅 장치, 키보드, 터치패널, 터치스크린, 스타일러스 등 다양한 형태의 입력 장치를 포함할 수 있고, 이들 입력 장치를 통해 사용자로부터 입력된 텍스트 입력 및/또는 터치 입력 신호를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력 수신 모듈(202)에서 수신되는 사용자 입력은, 사용자 인증이나, 소정의 태스크 수행, 예컨대 소정의 애플리케이션 실행, 또는 소정 정보의 검색 등과 연관될 수 있으나, 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 다른 실시예에 의하면, 사용자 입력 수신 모듈(202)에서 수신되는 사용자 입력은, 사용자 인증, 소정의 애플리케이션 실행, 또는 정보의 검색 등과는 무관하게 단순한 대화 응답 만을 필요로 하는 것일 수도 있다. 본 발명의 다른 실시예에 의하면, 사용자 입력 수신 모듈(202)에서 수신되는 사용자 입력은, 일방적 의사 전달을 위한 단순 진술에 관한 것일 수도 있다.According to an embodiment of the present invention, the user input receiving module 202 may receive various types of input from a user, for example, a natural language input such as a voice input and / or a text input (and additionally, Can be received. According to one embodiment of the present invention, the user input receiving module 202 includes, for example, a microphone and an audio circuit, and can acquire a user audio input signal through a microphone and convert the obtained signal into audio data. According to an embodiment of the present invention, the user input receiving module 202 may include various types of input devices such as various pointing devices such as a mouse, a joystick, and a trackball, a keyboard, a touch panel, a touch screen, , And can acquire a text input and / or a touch input signal inputted from a user through these input devices. In accordance with one embodiment of the present invention, the user input received at the user input receiving module 202 may be associated with user authentication, performing a predetermined task, such as executing a predetermined application, or retrieving certain information, The invention is not so limited. According to another embodiment of the present invention, the user input received at the user input receiving module 202 may require only a simple conversation response regardless of user authentication, predetermined application execution, or retrieval of information. According to another embodiment of the present invention, the user input received at the user input receiving module 202 may relate to a simple statement for unilateral communication.
본 발명의 일 실시예에 의하면, 센서 모듈(204)은 하나 이상의 서로 다른 유형의 센서를 포함하고, 이들 센서를 통해 사용자 단말(102)의 상태 정보, 예컨대 해당 사용자 단말(102)의 물리적 상태, 소프트웨어 및/또는 하드웨어 상태, 또는 사용자 단말(102)의 주위 환경 상태에 관한 정보 등을 획득할 수 있다. 본 발명의 일 실시예에 의하면, 센서 모듈(204)은, 예컨대 광 센서를 포함하고, 광 센서를 통해 해당 사용자 단말(102)의 주변 광 상태를 감지할 수 있다. 본 발명의 일 실시예에 의하면, 센서 모듈(204)은, 예컨대 이동 센서를 포함하고, 이동 센서를 통해 해당 사용자 단말(102)의 이동 상태 여부를 감지할 수 있다. 본 발명의 일 실시예에 의하면, 센서 모듈(204)은, 예컨대 속도 센서 및 GPS 센서를 포함하고, 이들 센서를 통해 해당 사용자 단말(102)의 위치 및/또는 배향 상태를 감지할 수 있다. 본 발명의 다른 실시예에 의하면, 센서 모듈(204)은 온도 센서, 이미지 센서, 압력 센서, 접촉 센서 등을 비롯한 다른 다양한 형태의 센서를 포함할 수 있음을 알아야 한다.In accordance with one embodiment of the present invention, the sensor module 204 includes one or more different types of sensors through which the status information of the user terminal 102, such as the physical state of the user terminal 102, Software and / or hardware status, or information regarding the environmental conditions of the user terminal 102, and the like. According to an embodiment of the present invention, the sensor module 204 may include an optical sensor, for example, and may sense the ambient light condition of the user terminal 102 through the optical sensor. According to an embodiment of the present invention, the sensor module 204 includes, for example, a movement sensor and can detect whether the corresponding user terminal 102 is moving through the movement sensor. According to one embodiment of the present invention, the sensor module 204 includes, for example, a velocity sensor and a GPS sensor, and through these sensors, the position and / or orientation of the corresponding user terminal 102 can be detected. In accordance with another embodiment of the present invention, it should be appreciated that the sensor module 204 may include other various types of sensors, including temperature sensors, image sensors, pressure sensors, touch sensors, and the like.
본 발명의 일 실시예에 의하면, 프로그램 메모리 모듈(206)은, 사용자 단말(102) 상에서 실행될 수 있는 각종 프로그램, 예컨대 각종 애플리케이션 프로그램 및 관련 데이터 등이 저장된 임의의 저장 매체일 수 있다. 본 발명의 일 실시예에 의하면, 프로그램 메모리 모듈(206)에는, 예컨대 전화 걸기 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 카메라 애플리케이션, 음악 재생 애플리케이션, 비디오 재생 애플리케이션, 이미지 관리 애플리케이션, 지도 애플리케이션, 브라우저 애플리케이션 등을 비롯한 다양한 애플리케이션 프로그램들과 이들 프로그램의 실행과 관련된 데이터들이 저장될 수 있다. 본 발명의 일 실시예에 의하면, 프로그램 메모리 모듈(206)은, DRAM, SRAM, DDR RAM, ROM, 자기 디스크, 광 디스크, 플래시 메모리 등 다양한 형태의 휘발성 또는 비휘발성 메모리를 포함하도록 구성될 수 있다.According to one embodiment of the present invention, the program memory module 206 may be any storage medium that stores various programs that may be executed on the user terminal 102, such as various application programs and related data. In accordance with one embodiment of the present invention, program memory module 206 may include, for example, a telephone dialer application, an email application, an instant messaging application, a camera application, a music playback application, a video playback application, an image management application, , And data related to the execution of these programs. According to one embodiment of the present invention, the program memory module 206 may be configured to include various types of volatile or non-volatile memory such as DRAM, SRAM, DDR RAM, ROM, magnetic disk, optical disk, .
본 발명의 일 실시예에 의하면, 프로세싱 모듈(208)은, 사용자 단말(102)의 각 컴포넌트 모듈과 통신하고 사용자 단말(102) 상에서 각종 연산을 수행할 수 있다. 본 발명의 일 실시예에 의하면, 프로세싱 모듈(208)은, 프로그램 메모리 모듈(206) 상의 각종 애플리케이션 프로그램을 구동 및 실행시킬 수 있다. 본 발명의 일 실시예에 의하면, 프로세싱 모듈(208)은, 필요한 경우, 사용자 입력 수신 모듈(202) 및 센서 모듈(204)에서 획득된 신호를 수신하고, 이들 신호에 관한 적절한 처리를 수행할 수 있다. 본 발명의 일 실시예에 의하면, 프로세싱 모듈(208)은, 필요한 경우, 통신 모듈(210)을 통해 외부로부터 수신되는 신호에 대해 적절한 처리를 수행할 수 있다.According to one embodiment of the present invention, the processing module 208 may communicate with each component module of the user terminal 102 and perform various operations on the user terminal 102. According to one embodiment of the present invention, the processing module 208 can drive and execute various application programs on the program memory module 206. [ According to one embodiment of the present invention, the processing module 208 may receive signals from the user input receiving module 202 and the sensor module 204, if necessary, and perform appropriate processing on these signals have. According to one embodiment of the present invention, the processing module 208 may, if necessary, perform appropriate processing on signals received from the outside via the communication module 210.
본 발명의 일 실시예에 의하면, 통신 모듈(210)은, 사용자 단말(102)이 도 1의 통신망(104)을 통하여, 대화형 AI 에이전트 서버(106) 및/또는 외부 서비스 서버(108)와 통신할 수 있게 한다. 본 발명의 일 실시예에 의하면, 통신 모듈(212)은, 예컨대 사용자 입력 수신 모듈(202) 및 센서 모듈(204) 상에서 획득된 신호가 소정의 프로토콜에 따라 통신망(104)을 통하여 대화형 AI 에이전트 서버(106) 및/또는 외부 서비스 서버(108)로 전송되도록 할 수 있다. 본 발명의 일 실시예에 의하면, 통신 모듈(210)은, 예컨대 통신망(104)을 통하여 대화형 AI 에이전트 서버(106) 및/또는 외부 서비스 서버(108)로부터 수신된 각종 신호, 예컨대 음성 및/또는 텍스트 형태의 자연어 응답을 포함한 응답 신호 또는 각종 제어 신호 등을 수신하고, 소정의 프로토콜에 따라 적절한 처리를 수행할 수 있다.According to one embodiment of the invention, the communication module 210 is configured to allow the user terminal 102 to communicate with the interactive AI agent server 106 and / or the external service server 108 via the communication network 104 of FIG. 1 Communication. According to one embodiment of the present invention, the communication module 212 may be configured to receive signals from, for example, the user input receiving module 202 and the sensor module 204 via the communication network 104 in accordance with a predetermined protocol, To server 106 and / or to external service server 108. [ In accordance with one embodiment of the present invention, the communication module 210 may provide various signals received from the interactive AI agent server 106 and / or the external service server 108 via the communication network 104, e.g., voice and / Or a response signal including a natural language response in the form of a text, or various control signals, and perform appropriate processing according to a predetermined protocol.
본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)은, 사용자 입력에 대응하는 응답을 시각, 청각 및/또는 촉각 등 다양한 형태로써 출력할 수 있다. 본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)은, 예컨대 스피커 또는 헤드셋을 포함하고, 사용자 입력에 대응하는 청각적 응답, 예컨대 음성 및/또는 음향 응답을 스피커 또는 헤드셋을 통해 사용자에게 제공할 수 있다. 본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)은, 예컨대 LCD, LED, OLED, QLED 등의 기술에 기초한 터치 스크린 등의 각종 디스플레이 장치를 포함하고, 이들 디스플레이 장치를 통해 사용자 입력에 대응하는 시각적 응답, 예컨대 텍스트, 기호, 비디오, 이미지, 하이퍼링크, 애니메이션, 각종 노티스 등을 사용자에게 제시할 수 있다. 본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)는 모션/햅틱 피드백 생성부를 포함하고, 이를 통해 촉각적 응답, 예컨대 모션/햅틱 피드백을 사용자에게 제공할 수 있다. 본 발명의 일 실시예에 의하면, 응답 출력 모듈(212)은, 사용자 입력에 대응하는 텍스트 응답, 음성 응답 및 모션/햅틱 피드백 중 임의의 두 개이상의 조합을 동시에 제공할 수 있음을 알아야 한다.According to an embodiment of the present invention, the response output module 212 may output a response corresponding to a user input in various forms such as time, auditory, and / or tactile sense. According to one embodiment of the present invention, the response output module 212 may include, for example, a speaker or a headset and may provide an audible response, e.g., voice and / or acoustic response corresponding to user input, can do. According to one embodiment of the present invention, the response output module 212 includes various display devices such as a touch screen based on technology such as LCD, LED, OLED, QLED, and the like, Such as text, symbols, video, images, hyperlinks, animations, various notices, etc., to the user. According to one embodiment of the present invention, the response output module 212 includes a motion / haptic feedback generator, through which a tactile response, e.g., motion / haptic feedback, can be provided to the user. In accordance with one embodiment of the present invention, it should be appreciated that the response output module 212 may simultaneously provide any combination of two or more of a text response, a voice response, and a motion / haptic feedback corresponding to a user input.
도 3은, 본 발명의 일 실시예에 따른, 도 1의 대화형 AI 에이전트 서버(106)의 기능적 구성을 개략적으로 도시한 기능 블록도이다. 도시된 바에 의하면, 대화형 에이전트 서버(106)는, 통신 모듈(302), 음성-텍스트 변환(Speech-To-Text; STT) 모듈(304), 자연어 이해(Natural Language Understanding; NLU) 모듈(306), 대화 이해 지식베이스(308), 사용자 데이터베이스(310), 사용자 인증 모듈(312), 대화 관리 모듈(314), 대화 생성 모듈(316), 및 음성 합성(Text-To-Speech; TTS) 모듈(318)을 포함한다.FIG. 3 is a functional block diagram that schematically illustrates the functional configuration of the interactive AI agent server 106 of FIG. 1, according to one embodiment of the present invention. The interactive agent server 106 includes a communication module 302, a Speech-To-Text (STT) module 304, a Natural Language Understanding (NLU) module 306 A dialogue understanding knowledge base 308, a user database 310, a user authentication module 312, a dialogue management module 314, a dialogue generation module 316, and a text-to-speech (TTS) (318).
본 발명의 일 실시예에 의하면, 통신 모듈(302)은, 소정의 유선 또는 무선 통신 프로토콜에 따라, 통신망(104)을 통하여, 대화형 AI 에이전트 서버(106)가 사용자 단말(102) 및/또는 외부 서비스 서버(108)와 통신할 수 있게 한다. 본 발명의 일 실시예에 의하면, 통신 모듈(302)은, 통신망(104)을 통해, 사용자 단말(102)로부터 전송되어 온, 사용자 입력(예컨대 터치 입력, 음성 입력 및/또는 텍스트 입력 등을 포함하며, 이로써 제한되지 않음)을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력은 사용자 인증과 관련된 신호, 예컨대 사용자 식별 정보를 포함할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력은, 예컨대 사용자 단말(102)의 식별자를 포함한 사용자 식별 정보를 포함할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력은 사용자 인증과 관련된 질문에 관한 답변의 음성 또는 텍스트 입력 신호일 수 있다. 본 발명의 일 실시예에 의하면, 사용자 입력은 특정한 태스크 실행 또는 대화 응답의 요청 신호일 수 있다. According to one embodiment of the present invention, the communication module 302 is configured to allow the interactive AI agent server 106 to communicate with the user terminal 102 and / or via the communication network 104, in accordance with any wired or wireless communication protocol, Thereby enabling communication with the external service server 108. According to one embodiment of the present invention, the communication module 302 includes a user input (e.g., including touch input, voice input and / or text input, etc.) transmitted from the user terminal 102 via the communication network 104 And is not limited thereby). According to one embodiment of the present invention, the user input may include a signal associated with user authentication, e.g., user identification information. According to one embodiment of the present invention, the user input may include user identification information including an identifier of the user terminal 102, for example. According to one embodiment of the present invention, the user input may be a voice or text input signal of an answer to a question related to user authentication. According to one embodiment of the present invention, the user input may be a request signal for a particular task execution or conversation response.
본 발명의 일 실시예에 의하면, 통신 모듈(302)은, 전술한 사용자 입력과 함께 또는 그와 별도로, 통신망(104)을 통해, 사용자 단말(102)로부터 전송되어 온, 사용자 단말(102)의 상태 정보를 수신할 수 있다. 본 발명의 일 실시예에 의하면, 상태 정보는, 예컨대 전술한 사용자 입력 당시의 해당 사용자 단말(102)에 관련된 여러가지 상태 정보(예컨대, 사용자 단말(102)의 물리적 상태, 사용자 단말(102)의 소프트웨어 및/또는 하드웨어 상태, 사용자 단말(102) 주위의 환경 상태 정보 등)일 수 있다. 본 발명의 일 실시예에 의하면, 통신 모듈(302)은, 또한, 위 수신된 사용자 입력에 대응하여 대화형 AI 에이전트 서버(106)에서 생성된 대화 응답(예컨대, 음성 및/또는 텍스트 형태의 자연어 대화 응답 등) 및/또는 제어 신호를, 통신망(104)을 통해, 사용자 단말(102)로 전달하기 위해 필요한 적절한 조치를 수행할 수 있다.In accordance with one embodiment of the present invention, communication module 302 is coupled to user terminal 102, which has been transmitted from user terminal 102 via communication network 104, with or without user input, Status information can be received. According to one embodiment of the present invention, the state information may include various state information (e.g., the physical state of the user terminal 102, the software of the user terminal 102) related to the user terminal 102 at the time of user input And / or hardware state, environmental state information around the user terminal 102, etc.). In accordance with one embodiment of the present invention, communication module 302 may also be configured to generate an interactive response (e. G., A native < / RTI > And / or control signals to the user terminal 102 via the communication network 104. The user terminal 102 may be connected to the user terminal 102 via the network 104,
본 발명의 일 실시예에 의하면, STT 모듈(304)은, 통신 모듈(302)을 통해 수신된 사용자 입력 중 음성 입력을 수신하고, 수신된 음성 입력을 패턴 매칭 등에 기초하여 텍스트 데이터로 변환할 수 있다. 본 발명의 일 실시예에 의하면, STT 모듈(304)은, 사용자의 음성 입력으로부터 특징을 추출하여 특징 벡터열을 생성할 수 있다. 본 발명의 일 실시예에 의하면, STT 모듈(304)은, DTW(Dynamic Time Warping) 방식이나 HMM 모델(Hidden Markov Model), GMM 모델(Gaussian-Mixture Mode), 딥 신경망 모델, n-gram 모델 등의 다양한 통계적 모델에 기초하여, 텍스트 인식 결과, 예컨대 단어들의 시퀀스를 생성할 수 있다. 본 발명의 일 실시예에 의하면, STT 모듈(304)은, 수신된 음성 입력을 패턴 매칭에 기초하여 텍스트 데이터로 변환할 때, 후술하는 사용자 데이터베이스(310)의 각 사용자 특징적 데이터를 참조할 수 있다.According to one embodiment of the present invention, the STT module 304 may receive speech input from user input received via the communication module 302 and convert the received speech input into text data based on pattern matching and the like have. According to one embodiment of the present invention, the STT module 304 may extract a feature from a user's speech input to generate a feature vector sequence. According to an exemplary embodiment of the present invention, the STT module 304 may be implemented by a DTW (Dynamic Time Warping) method, an HMM model (Hidden Markov Model), a GMM model (Gaussian-Mixture Mode), a deep neural network model, For example, a sequence of words, based on various statistical models of the speech recognition results. According to one embodiment of the present invention, the STT module 304 can refer to each user characteristic data of the user database 310, which will be described later, when converting the received voice input into text data based on pattern matching .
본 발명의 일 실시예에 의하면, NLU 모듈(306)은, 통신 모듈(302) 또는 STT 모듈(304)로부터 텍스트 입력을 수신할 수 있다. 본 발명의 일 실시예에 의하면, NLU 모듈(306)에서 수신되는 텍스트 입력은, 예컨대 통신 모듈(302)에서 통신망(104)을 통하여 사용자 단말(102)로부터 수신되었던 사용자 텍스트 입력 또는 통신 모듈(302)에서 수신된 사용자 음성 입력으로부터 STT 모듈(304)에서 생성된 텍스트 인식 결과, 예컨대 단어들의 시퀀스일 수 있다. 본 발명의 일 실시예에 의하면, NLU 모듈(306)은, 텍스트 입력을 수신하는 것과 함께 또는 그 이후에, 해당 사용자 입력과 연관된 상태 정보, 예컨대 해당 사용자 입력 당시의 사용자 단말(102)의 상태 정보 등을 수신할 수 있다. 전술한 바와 같이, 상태 정보는, 예컨대 사용자 단말(102)에서 사용자 음성 입력 및/또는 텍스트 입력 당시의 해당 사용자 단말(102)에 관련된 여러가지 상태 정보(예컨대, 사용자 단말(102)의 물리적 상태, 소프트웨어 및/또는 하드웨어 상태, 사용자 단말(102) 주위의 환경 상태 정보 등)일 수 있다.According to one embodiment of the present invention, the NLU module 306 may receive text input from the communication module 302 or the STT module 304. The textual input received at the NLU module 306 may be transmitted to the user terminal 102 via the user text input or communication module 302 that has been received from the user terminal 102 via the communication network 104, For example, a sequence of words, generated by the STT module 304 from the user speech input received at the STT module 304. [ In accordance with one embodiment of the present invention, the NLU module 306 may include status information associated with the user input, such as with or after receipt of the text input, e.g., status information of the user terminal 102 at the time of the user input And the like. As described above, the status information may include various status information (e.g., the physical state of the user terminal 102, the software status of the user terminal 102) associated with the user terminal 102 at the time of user input and / And / or hardware state, environmental state information around the user terminal 102, etc.).
본 발명의 일 실시예에 의하면, NLU 모듈(306)은, 후술하는 대화 이해 지식베이스(308)에 기초하여, 위 수신된 텍스트 입력을 하나 이상의 사용자 의도(intent)에 대응시킬 수 있다. 여기서 사용자 의도는, 그 사용자 의도에 따라 대화형 AI 에이전트 서버(106)에 의해 이해되고 수행될 수 있는 일련의 동작(들)과 연관될 수 있다. 본 발명의 일 실시예에 의하면, NLU 모듈(306)은, 수신된 텍스트 입력을 하나 이상의 사용자 의도에 대응시킴에 있어서 전술한 상태 정보를 참조할 수 있다. 본 발명의 일 실시예에 의하면, NLU 모듈(306)은, 수신된 텍스트 입력을 하나 이상의 사용자 의도에 대응시킴에 있어서 후술하는 사용자 데이터베이스(310)의 각 사용자 특징적 데이터를 참조할 수 있다.According to one embodiment of the present invention, the NLU module 306 may map the received text input to one or more user intents based on a dialog understanding knowledge base 308, which will be described later. Where the user intent can be associated with a series of operations (s) that can be understood and performed by the interactive AI agent server 106 according to the user intention. According to one embodiment of the present invention, the NLU module 306 may refer to the status information described above in associating the received text input with one or more user intentions. According to one embodiment of the present invention, the NLU module 306 may refer to each user characteristic data of the user database 310, which will be described later, in mapping the received text input to one or more user intentions.
본 발명의 일 실시예에 의하면, 대화 이해 지식베이스(308)는, 예컨대 미리 정의된 온톨로지 모델을 포함할 수 있다. 본 발명의 일 실시예에 의하면, 온톨로지 모델은, 예컨대 노드들 간의 계층 구조로 표현될 수 있는데, 각 노드는 사용자의 의도에 대응한 "의도" 노드 또는 "의도" 노드에 링크된 하위 "속성" 노드("의도" 노드에 직접 링크되거나 "의도" 노드의 "속성" 노드에 다시 링크된 하위 "속성" 노드) 중 하나일 수 있다. 본 발명의 일 실시예에 의하면, "의도" 노드와 그 "의도" 노드에 직접 또는 간접 링크된 "속성" 노드들은 하나의 도메인을 구성할 수 있고, 온톨로지는 이러한 도메인들의 집합으로 구성될 수 있다. 본 발명의 일 실시예에 의하면, 대화 이해 지식베이스(308)는, 예컨대 대화형 AI 에이전트 시스템이 이해하고 그에 대응한 동작을 수행할 수 있는 모든 의도들에 각각 대응하는 도메인들을 포함하도록 구성될 수 있다. 본 발명의 일 실시예에 의하면, 온톨로지 모델은, 노드의 추가나 삭제, 또는 노드 간의 관계의 수정 등에 의해 동적으로 변경될 수 있음을 알아야 한다.According to one embodiment of the present invention, the conversation understanding knowledge base 308 may include, for example, a predefined ontology model. According to one embodiment of the present invention, an ontology model can be represented, for example, in a hierarchical structure between nodes, where each node is associated with an " intention " node corresponding to the user & Node (a sub-attribute node directly linked to an " intent " node or linked back to an " attribute " node of an " intent " node). According to one embodiment of the present invention, " attribute " nodes directly or indirectly linked to an " intention " node and its " intent " node may constitute one domain, and an ontology may be composed of such a set of domains . According to one embodiment of the present invention, the conversation understanding knowledge base 308 may be configured to include domains corresponding to all intents, for example, an interactive AI agent system that can understand and perform corresponding actions have. According to one embodiment of the present invention, it should be noted that the ontology model can be dynamically changed by addition or deletion of nodes or modification of relations between nodes.
본 발명의 일 실시예에 의하면, 온톨로지 모델 내의 각 도메인의 의도 노드 및 속성 노드들은, 그에 대응하는 사용자 의도 또는 속성들에 관련된 단어들 및/또는 구절들과 각각 연관될 수 있다. 본 발명의 일 실시예에 의하면, 대화 이해 지식베이스(308)는, 온톨로지 모델을, 계층 구조의 노드들과, 각 노드 별로 연관된 단어들 및/또는 구절들의 집합으로 구성된, 예컨대 어휘 사전 형태(구체적으로 도시되지 않음)로 구현할 수 있고, NLU 모듈(306)은 이와 같이 어휘 사전 형태로 구현된 온톨로지 모델에 기초하여 사용자 의도를 결정할 수 있다. 예컨대, 본 발명의 일 실시예에 의하면, NLU 모듈(306)은, 텍스트 입력 또는 단어들의 시퀀스를 수신하면, 그 시퀀스 내의 각 단어들이 온톨로지 모델 내의 어떤 도메인의 어떤 노드들에 연관되는지 결정할 수 있고, 그러한 결정에 기초하여 대응하는 도메인, 즉 사용자 의도를 결정할 수 있다. According to one embodiment of the present invention, the intention nodes and attribute nodes of each domain in the ontology model may be associated with words and / or phrases associated with corresponding user intents or attributes, respectively. According to one embodiment of the present invention, the conversation understanding knowledge base 308 includes an ontology model, which is composed of a hierarchy of nodes and a set of words and / or phrases associated with each node, , And the NLU module 306 can determine the user's intention based on the ontology model implemented in the lexical dictionary form. For example, according to one embodiment of the present invention, the NLU module 306, upon receipt of a text input or a sequence of words, can determine which of the domains in the ontology model each word in the sequence is associated with, Based on such a determination, the corresponding domain, i.e. the user intent, can be determined.
본 발명의 일 실시예에 의하면, 사용자 데이터베이스(310)는, 각 사용자별 인증 데이터를 포함한 사용자 특징적 데이터를 저장 및 관리하는 데이터베이스일 수 있다. 본 발명의 일 실시예에 의하면, 사용자 데이터베이스(310)에 포함되는 각 사용자별 특징적 데이터는, 예컨대 각 사용자별로 해당 사용자의 개인 정보, 이전 대화/거동 기록, 사용자의 발음 특징 정보, 사용자 어휘 선호도, 사용자의 소재지, 설정 언어, 연락처/친구 목록, 기타 다양한 사용자 특징적 정보를 포함할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 데이터베이스(310)에 포함되는 각 사용자별 인증 데이터는, 예컨대 해당 사용자의 보안 인증에 이용될 수 있는, 하나 이상의 질문과 각 질문에 의미상 연관 지어진 하나 이상의 답변들로 이루어진 소정의 질문/답변 리스트를 포함할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 데이터베이스(310)에 포함된 각 사용자의 인증 데이터는 사용자 문맥에 기반하여 생성된 것일 수 있다. 본 발명의 일 실시예에 의하면, 사용자 데이터베이스에 포함된 각 사용자의 인증 데이터는, 해당 사용자에 관한 사용자 데이터베이스(310) 내의 다른 정보, 예컨대 해당 사용자의 개인 정보, 이전 대화 이력(예를 들어, 대화형 AI 에이전트 시스템이 보유한 해당 사용자의 각종 대화 기록 등) 및/또는 거동 이력(물품 구매, 정보 검색, 기타 다양한 서비스 이용 이력 등) 등으로부터 추출된 정보에 기초한 소정의 질문/답변 리스트를 포함할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 인증을 위한 사용자 데이터베이스(310)의 질문/답변 리스트는, 전술한 바와 같이 해당 사용자에 관한 사용자 데이터베이스(310) 내의 다른 정보, 예컨대 해당 사용자의 개인 정보, 이전 대화 이력 및/또는 거동 이력 등에 기초하여, 미리 정의 및 저장된 것일 수 있고, 다만 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 다른 실시예에 의하면, 사용자 인증 절차가 개시된 이후에 위 사용자 인증을 위한 질문/답변 리스트가 소정의 기준에 따라 사용자 데이터베이스(310) 내의 사용자 특징적 데이터에 기초하여 즉각적으로 생성될 수도 있음을 알아야 한다.According to an embodiment of the present invention, the user database 310 may be a database that stores and manages user-specific data including authentication data for each user. According to an embodiment of the present invention, the characteristic data for each user included in the user database 310 may include, for example, personal information of the user, previous conversation / behavior record, pronunciation characteristic information of the user, A user's location, a set language, a contact / friend list, and various other user-specific information. According to one embodiment of the present invention, the authentication data for each user included in the user database 310 may include one or more questions that can be used for security authentication of the user, one or more answers / RTI > < RTI ID = 0.0 > and / or < / RTI > According to an embodiment of the present invention, the authentication data of each user included in the user database 310 may be generated based on the user context. According to one embodiment of the present invention, the authentication data of each user included in the user database includes other information in the user database 310 related to the user, such as personal information of the user, previous conversation history (e.g., (E.g., various conversation records of the user possessed by the AI agent system) and / or a behavior history (such as purchase of goods, information retrieval, and various other service utilization histories) have. According to an embodiment of the present invention, the question / answer list of the user database 310 for user authentication may include other information in the user database 310 related to the user, for example, And may be predefined and stored based on conversation history and / or behavior history, but the present invention is not limited thereto. According to another embodiment of the present invention, after the user authentication procedure is started, a question / answer list for the user authentication may be generated immediately on the basis of user characteristic data in the user database 310 according to a predetermined criterion You should know.
본 발명의 일 실시예에 의하면, 전술한 바와 같이, STT 모듈(304)은, 음성 입력을 텍스트 데이터로 변환할 때 사용자 데이터베이스(310)의 각 사용자 특징적 데이터, 예컨대 각 사용자별 발음 특징을 참조함으로써, 보다 정확한 텍스트 데이터를 얻을 수 있다. 본 발명의 일 실시예에 의하면, NLU 모듈(306)은, 사용자 의도를 결정할 때 사용자 데이터베이스(310)의 각 사용자 특징적 데이터, 예컨대 각 사용자별 특징이나 맥락을 참조함으로써, 보다 정확한 사용자 의도 결정을 할 수 있다. 본 발명의 일 실시예에 의하면, 후술하는 바와 같이, 대화 생성 모듈(316)은, 대화 응답의 생성시, 사용자 데이터베이스(310)의 사용자 특징적 데이터를 참조할 수 있다.In accordance with one embodiment of the present invention, as described above, the STT module 304 may be configured to refer to each user characteristic data of the user database 310, e.g., pronunciation characteristics for each user, , More accurate text data can be obtained. According to one embodiment of the present invention, the NLU module 306 determines each user characteristic data of the user database 310, for example, characteristics or contexts of each user, . According to one embodiment of the present invention, as described below, the dialog generation module 316 may refer to user characteristic data of the user database 310 at the time of generating the conversation response.
본 도면에서는, 각 사용자별 특징적 데이터를 저장 및 관리하는 사용자 데이터베이스(310)가 대화형 AI 에이전트 서버(106)에 배치되는 것으로 도시되어 있으나, 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 다른 실시예에 의하면, 각 사용자별 특징적 데이터를 저장 및 관리하는 사용자 데이터베이스(310)는, 예컨대 사용자 단말(102)에 존재할 수도 있고, 사용자 단말(102) 및 대화형 AI 에이전트 서버(106)에 분산되어 배치될 수도 있음을 알아야 한다.In this figure, a user database 310 for storing and managing characteristic data for each user is shown as being disposed in the interactive AI agent server 106, but the present invention is not limited thereto. According to another embodiment of the present invention, the user database 310, which stores and manages characteristic data for each user, may reside, for example, at the user terminal 102, and may include a user terminal 102 and an interactive AI agent server 106 As shown in FIG.
본 발명의 일 실시예에 의하면, 사용자 인증 모듈(312)은, 소정의 서비스를 제공하기에 앞서서, 사용자에 관한 인증 절차를 수행할 수 있다. 본 발명의 일 실시예에 의하면, 예컨대 NLU 모듈(306)에 의해 결정된 사용자 의도에 따른 소정의 동작이 사용자 보안 인증을 필요로 하는 경우(예를 들어, 사용자가 의료 서비스나 금융 서비스 등과 같이 고도의 보안성 있는 정보를 이용하는 서비스 또는 사용자 개인 정보를 이용하는 서비스 등을 이용하고자 할 경우), 사용자 인증 모듈(312)이 사용자 보안 인증 절차를 진행할 수 있다. 본 발명의 다른 실시예에 의하면, 사용자 인증 모듈(312)은, 사용자 단말(102a-102n)로부터 사용자 보안 인증 요청을 수신하고, 그에 기초하여 사용자 보안 인증 절차를 진행할 수 있다.According to an embodiment of the present invention, the user authentication module 312 may perform an authentication procedure for a user before providing a predetermined service. According to an embodiment of the present invention, when a predetermined operation according to the intention of the user determined by the NLU module 306 requires user security authentication (for example, when a user requests a high security service A service using security information, or a service using user personal information), the user authentication module 312 may proceed with the user security authentication procedure. According to another embodiment of the present invention, the user authentication module 312 may receive a user security authentication request from the user terminal 102a-102n and proceed with the user security authentication procedure based thereon.
본 발명의 일 실시예에 의하면, 사용자 인증 모듈(312)은, 사용자 식별 정보를 획득하고, 획득된 사용자 식별 정보에 기초하여 사용자 인증 절차를 수행할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 인증 모듈(312)은, 사용자 단말(102a-102n)로부터 사용자 음성 입력을 수신하고 그 수신된 사용자 음성 입력으로부터 사용자 식별 정보를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 인증 모듈(312)은, 사용자 단말(102a-102n)로부터, 예컨대 사용자 식별자(사용자 ID) 및/또는 사용자 단말의 식별자(단말기 ID)를 획득하고, 획득된 정보에 기초하여 사용자 인증 절차를 수행할 수 있다. 본 발명의 다른 실시예에 의하면, 사용자 인증 모듈(312)은, 그 외 많은 다양한 방식을 통해서도 사용자 식별 정보를 획득할 수 있음을 알아야 한다.According to an embodiment of the present invention, the user authentication module 312 may acquire user identification information and perform a user authentication procedure based on the acquired user identification information. According to one embodiment of the present invention, the user authentication module 312 may receive a user voice input from the user terminal 102a-102n and obtain user identification information from the received user voice input. According to one embodiment of the present invention, the user authentication module 312 obtains, for example, a user identifier (user ID) and / or an identifier (terminal ID) of the user terminal from the user terminals 102a-102n, The user authentication process can be performed based on the information. In accordance with another embodiment of the present invention, it should be appreciated that the user authentication module 312 may obtain user identification information in a variety of other ways.
본 발명의 일 실시예에 의하면, 사용자 인증 모듈(312)은, 획득한 사용자 식별 정보 등에 기초하여 사용자 데이터베이스(310)로부터 해당 사용자에 관한 인증 정보, 예컨대 사용자 인증용 질문/답변 리스트 등을 검색할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 인증 모듈(312)은, 검색된 인증 정보, 예컨대 사용자 인증용 질문/답변 리스트로부터 선택된 임의의 질문을, 해당 사용자와의 대화 중에 음성 또는 텍스트 형태로 제공하고 그 사용자로부터 응답을 얻을 수 있다. 본 발명의 일 실시예에 의하면, 위 선택된 질문에 대한 답변이 사용자 단말(102a-102n)로부터 수신된 경우, 사용자 인증 모듈(312)은, 그 수신된 답변이 위 선택된 질문에 대응하는 질문/답변 리스트 상의 답변에 부합하는지, 예컨대 사용자로부터 수신된 답변을, 위 질문/답변 리스트 상에서 위 선택된 질문에 대응하여 미리 정의된 하나 이상의 답변과 비교하고, 양자간 유사도가 임계치 이상인지 확인할 수 있다.According to an embodiment of the present invention, the user authentication module 312 searches the user database 310 for authentication information related to the user, for example, a question / answer list for user authentication based on the acquired user identification information or the like . According to one embodiment of the present invention, the user authentication module 312 may provide the retrieved authentication information, for example, any question selected from the question / answer list for user authentication, in voice or text form during a conversation with the user, A response can be obtained from the user. According to one embodiment of the present invention, when an answer to the selected question is received from the user terminal 102a-102n, the user authentication module 312 determines whether the received answer is a question / answer For example, the answer received from the user may be compared with one or more predefined answers corresponding to the selected question on the above question / answer list, and whether the similarity between the two is higher than the threshold.
본 발명의 일 실시예에 의하면, 대화 관리 모듈(314)은, NLU 모듈(306)에 의해 결정된 사용자 의도에 따라, 그에 대응하는 일련의 동작 흐름을 생성할 수 있다. 본 발명의 일 실시예에 의하면, 대화 관리 모듈(314)은, 소정의 대화 흐름 관리 모델에 기초하여, 예컨대 NLU 모듈(306)로부터 수신된 사용자 의도에 대응하여 어떠한 동작, 예컨대 어떠한 대화 응답 및/또는 태스크 수행을 행하여야 할지를 결정하고, 그에 따른 세부 동작 흐름을 생성할 수 있다.According to one embodiment of the present invention, the dialogue management module 314 may generate a series of operational flows corresponding to the user intent determined by the NLU module 306. [ In accordance with one embodiment of the present invention, the conversation management module 314 may perform certain actions based on a predetermined conversation flow management model, e.g., in response to the user's intent received from the NLU module 306, e.g., Or to perform a task execution, and to generate a corresponding detailed operation flow.
본 발명의 일 실시예에 의하면, 대화 생성 모듈(316)은, 대화 관리 모듈(314) 에 의하여 생성된 대화 흐름에 기초하여 사용자에게 제공될 대화 응답을 생성할 수 있다. 본 발명의 일 실시예에 의하면, 대화 생성 모듈(316)은, 대화 응답의 생성에 있어서, 예컨대 전술한 사용자 데이터베이스(310)의 사용자 특징적 데이터(예컨대, 사용자의 이전 대화 기록, 사용자의 발음 특징 정보, 사용자 어휘 선호도, 사용자의 소재지, 설정 언어, 연락처/친구 목록, 각 사용자별로 해당 사용자의 이전 대화 기록 등)를 참조할 수 있다. In accordance with one embodiment of the invention, the dialog generation module 316 may generate an interaction response to be provided to the user based on the conversation flow generated by the conversation management module 314. In accordance with one embodiment of the present invention, the dialog generation module 316 generates, in the generation of the dialog response, user characteristic data of the above-described user database 310 (e.g., the user's previous conversation history, A user's lexical preference, a user's location, a set language, a contact / friend list, a previous conversation record of the user for each user, etc.).
본 발명의 일 실시예에 의하면, TTS 모듈(318)은, 대화 생성 모듈(316)에 의해 사용자 단말(102)로 전송되도록 생성된 대화 응답을 수신할 수 있다. TTS 모듈(318)에서 수신되는 대화 응답은 텍스트 형태를 갖는 자연어 또는 단어들의 시퀀스일 수 있다. 본 발명의 일 실시예에 의하면, TTS 모듈(316)은, 다양한 형태의 알고리즘에 따라, 위 수신된 텍스트 형태의 입력을 음성 형태로 변환할 수 있다.In accordance with one embodiment of the present invention, the TTS module 318 may receive an interactive response that is generated by the dialog generation module 316 to be transmitted to the user terminal 102. The conversation response received at the TTS module 318 may be a natural word or a sequence of words having a textual form. According to one embodiment of the present invention, the TTS module 316 can convert the input of the above received text form into speech form according to various types of algorithms.
도 1 내지 3을 참조하여 전술한 본 발명의 실시예에서는, 대화형 AI 에이전트 시스템이 사용자 단말(102)과 대화형 AI 에이전트 서버(106) 간의 클라이언트-서버 모델, 특히 클라이언트는 오로지 사용자 입출력 기능만을 제공하고 그 외 대화형 AI 에이전트 시스템의 다른 모든 기능들을 서버에 위임된, 소위 "씬 클라이언트-서버 모델"에 기초하여 구현된 것과 같이 설명되어 있으나, 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 다른 실시예에 의하면, 대화형 AI 에이전트 시스템은 그 기능들이 사용자 단말과 서버 사이에 분배되어 구현될 수 있고, 또는 그와 달리 사용자 단말 상에 설치된 독립형 애플리케이션으로 구현될 수도 있음을 알아야 한다. 또한, 본 발명의 일 실시예에 따라 대화형 AI 에이전트 시스템이 그 기능들을 사용자 단말과 서버 사이에 분배하여 구현하는 경우, 클라이언트와 서버 사이의 대화형 AI 에이전트 시스템의 각 기능의 분배는 실시예마다 달리 구현될 수 있음을 알아야 한다. 또한, 도 1 내지 3을 참조하여 전술한 본 발명의 실시예에서는, 편의상 특정 모듈이 소정의 동작들을 수행하는 것처럼 설명되었으나, 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 다른 실시예에 의하면, 위 설명에서 어느 특정 모듈에 의해 수행되는 것과 같이 설명된 동작들이, 그와 다른 별개의 모듈에 의해 각각 수행될 수 있음을 알아야 한다.In the embodiment of the present invention described above with reference to FIGS. 1 to 3, the interactive AI agent system is a client-server model between the user terminal 102 and the interactive AI agent server 106, And is based on a so-called " thin client-server model ", which delegates all other functions of the interactive AI agent system to the server, but the present invention is not limited thereto. According to another embodiment of the present invention, it should be understood that the interactive AI agent system may be implemented as a distributed application between the user terminal and the server, or as a stand-alone application installed on the user terminal . In addition, when the interactive AI agent system implements the functions of the interactive AI agent system distributed between the user terminal and the server according to an embodiment of the present invention, the distribution of each function of the interactive AI agent system between the client and the server is It should be understood that the invention may be otherwise embodied. In addition, although in the embodiments of the present invention described above with reference to FIGS. 1 to 3, the specific module has been described as performing certain operations for convenience, the present invention is not limited thereto. According to another embodiment of the present invention, it is to be understood that the operations described as being performed by any particular module in the above description may be performed by separate and distinct modules, respectively.
도 4는, 본 발명의 일 실시예에 따른, 대화형 AI 에이전트 시스템에 의해 수행되는, 사용자 보안 인증을 위한 예시적 동작 흐름을 보여주는 흐름도이다.4 is a flow diagram illustrating an exemplary operational flow for user security authentication performed by an interactive AI agent system, in accordance with an embodiment of the present invention.
단계(402)에서, 대화형 AI 에이전트 시스템은, 사용자 식별 정보를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 식별 정보는, 예컨대 사용자 인증을 위하여 미리 등록된 소정의 단어 또는 문장의 사용자 입력으로부터 획득될 수 있다. 본 발명의 일 실시예에 의하면, 사용자 식별 정보는, 예컨대 사용자 식별자(사용자 ID)의 음성 또는 텍스트 입력으로부터 획득될 수 있다. 본 발명의 다른 실시예에 의하면, 사용자 식별 정보는, 예컨대 사용자에 의하여 임의로 선택된 단어 또는 문장의 음성 또는 텍스트 입력으로부터 획득될 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 시스템은, 사용자 단말의 식별자(단말기 ID)로부터 획득될 수 있다. 본 발명의 일 실시예에 의하면, 사용자 식별 정보는, 사용자 입력 및 사용자 단말의 식별자의 결합으로부터 획득될 수 있다. In step 402, the interactive AI agent system may obtain user identification information. According to one embodiment of the present invention, the user identification information may be obtained, for example, from user input of a predetermined word or sentence registered in advance for user authentication. According to one embodiment of the present invention, the user identification information may be obtained, for example, from a voice or text input of a user identifier (user ID). According to another embodiment of the present invention, the user identification information may be obtained, for example, from a voice or text input of a word or sentence randomly selected by the user. According to one embodiment of the present invention, the interactive AI agent system can be obtained from an identifier (terminal ID) of the user terminal. According to an embodiment of the present invention, the user identification information can be obtained from a combination of the user input and the identifier of the user terminal.
단계(404)에서, 대화형 AI 에이전트 시스템은, 단계(402)에서 획득된 사용자 식별 정보에 기초하여, 사용자 데이터베이스(310)로부터, 사용자에 관한 인증 데이터, 예컨대 사용자 보안 인증에 이용하기 위한 소정의 질문/답변 리스트를 검색할 수 있다. 본 발명의 일 실시예에 의하면, 사용자 데이터베이스(310)에 포함된 각 사용자의 인증 데이터는, 전술한 바와 같이 사용자 문맥에 기반하여 생성된 것일 수 있다. 본 발명의 일 실시예에 의하면, 사용자 데이터베이스(310)에 포함된, 각 사용자의 보안 인증에 이용될 수 있는 소정의 질문/답변 리스트는, 해당 사용자에 관한 사용자 데이터베이스(310) 내의 다른 정보, 예컨대 해당 사용자의 개인 정보(예를 들어, 사용자의 개인 신상 정보, 친구 정보 등), 이전 대화 이력(예를 들어, 대화형 AI 에이전트 시스템이 보유한 해당 사용자의 각종 대화 기록 등) 및/또는 거동 이력(물품 구매, 정보 검색, 기타 다양한 서비스 이용 이력 등) 등으로부터 추출된 정보에 기초하여 생성된 질문(들)과 의미상 그에 대응하는 답변(들)을 포함할 수 있다. At step 404, the interactive AI agent system receives, from the user database 310, authentication data regarding the user, e.g., a predetermined number of user IDs for use in user security authentication, based on the user identification information obtained at step 402 You can search the question / answer list. According to an embodiment of the present invention, the authentication data of each user included in the user database 310 may be generated based on the user context as described above. According to one embodiment of the present invention, the predetermined question / answer list that may be included in the user database 310 for each user's security authentication may include other information in the user database 310 for that user, (E.g., user's personal information, friend information, etc.), previous conversation history (e.g., various conversation records of the user held by the interactive AI agent system, etc.) and / or behavior history (S) generated based on the information extracted from the purchase history, purchase history of goods, information retrieval, various other service usage history, etc.) and the answer (s) corresponding thereto in semantics.
본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 시스템은, 사용자와의 대화 중에, 소정의 기준에 따라, 해당 사용자에 관한 정보들을 수 집하고, 그러한 정보에 기초한 질문과 그에 대응하는 답변(들)을 생성하여 사용자 보안 인증을 위한 데이터로서 사용자 데이터베이스(310)에 저장할 수 있다. 본 발명의 일 실시예에 의하면, 위 소정의 기준은, 예컨대 사용자 대화 중에 나타난 정보가, 해당 사용자의 가족이나 친밀한 사람 등에 관한 정보(예컨대, 가족 이름, 친구 이름, 반려 동물 이름이나 특징, 또는 이들에 관련된 사건 등), 해당 사용자와 관련된 기념일 정보(예를 들어, 생일, 결혼 기념일, 가족 생일, 친구 생일, 기타 주목할 만한 날짜 또는 이들과 관련된 특이한 이벤트 등), 해당 사용자의 상품 구매 정보(예를 들어, 가장 최근의 음식 배달 주문 정보, 고가 물품 구매 정보 등), 해당 사용자의 취향 정보(예를 들어, 좋아하는 계절, 좋아하는 색깔 등) 등에 해당하는지 등일 수 있고, 다만 본 발명이 이로써 제한되는 것은 아니다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 시스템은, 사용자와의 이전 대화/거동 이력 등으로부터, 해당 사용자 특유의 정보로서 사용자가 기억하고 있을 것으로 기대되는 정보에 관한 임의의 다양한 기준(예컨대, 사용자의 이전 대화/거동 이력 등으로부터 소정 횟수 이상 반복하여 여 입력된 바 있는 사용자 관련 특유의 정보 등)을 설정하고, 그러한 기준에 부합하는 정보를 추출하여 추출된 정보로부터 사용자 보안 인증을 위한 질문과 그에 대응하는 답변들을 생성할 수 있다.According to one embodiment of the present invention, the interactive AI agent system is configured to collect information about the user in accordance with a predetermined criterion during a conversation with the user, and to generate a question based on the information and a corresponding answer May be generated and stored in the user database 310 as data for user security authentication. According to one embodiment of the present invention, the predetermined criteria may include, for example, information displayed during a user conversation includes information about the user's family or intimate person (e.g., family name, friend name, (E.g., birthday, anniversary, family birthday, friend's birthday, other noteworthy dates, or any unusual events associated with them) associated with the user, product purchase information of the user (For example, favorite season, favorite color, etc.), and the like, but the present invention is not limited to this. It is not. According to one embodiment of the present invention, the interactive AI agent system is configured to receive, from a history of previous conversation / behavior with a user, various arbitrary criteria relating to information expected to be stored by the user as information specific to the user Specific information related to the user that has been repeatedly inputted over a predetermined number of times from the user's previous conversation / behavior history, etc.), extracts information that meets the criteria, And corresponding responses.
본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 시스템은, 사용자 문맥에 기반하여 생성된 사용자 보안 인증을 위한 데이터, 예컨대 질문/답변 리스트를 사용자와의 대화 중에 (실제 인증 절차가 행하여 지는 시점이 아닌, 그에 앞선 임의의 시점에 미리) 생성한 경우, 사용자에게 이후 해당 질문이 사용자 인증에 이용될 수 있음을 미리 통지할 수 있다(그러나 본 발명이 이로써 제한되는 것은 아니다). 본 발명의 일 실시예에 의하면, 사용자에 관한 정보에 기초하여 사용자 보안 인증을 위한 데이터로서 질문을 생성한 경우, 그에 대응한 하나 이상의 답변들(또는 답변 패턴들)을 사용자 데이터베이스(310) 상의 관련된 사용자 특징적 데이터, 예컨대 이전 대화/거동 이력 등으로부터의 정보에 기초하여 자동으로 생성할 수 있다.According to an embodiment of the present invention, the interactive AI agent system may be configured to transmit data for user security authentication, for example, a question / answer list generated based on a user context, The user can be notified in advance that the question can be used for user authentication (but the present invention is not limited thereto). According to one embodiment of the present invention, when a question is generated as data for user security authentication based on information about a user, one or more answers (or answer patterns) And may be automatically generated based on user characteristic data, e.g., information from previous conversation / behavior history, and the like.
본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 시스템은, 예컨대 사용자 보안 인증을 위하여 이용될 수 있는 질문으로서, 사용자 데이터베이스로부터의 사용자 문맥에서 얻어진 정보에 상응하는 질문을 채택하고, 의미상 그에 대응하는 답변으로서 긍정적인 의미의 답변들을 선택할 수 있다. 예컨대, 사용자가 최근에 주문한 냉장고의 성능이 마음에 든다는 대화를 나눈 기록이 있다면 그에 기초하여 "새로 산 냉장고 좋아요"의 질문과 그에 대응한 "응", "아주 좋아", "쓸 만해" 등의 긍정적 답변 등을 선택하는 경우를 생각해 볼 수 있다. 본 발명의 다른 실시예에 의하면, 대화형 AI 에이전트 시스템은, 예컨대 사용자 보안 인증을 위하여 이용될 수 있는 질문으로서, 사용자 데이터베이스로부터의 사용자 문맥에서 얻어진 정보와 상반되는 질문을 채택하고, 의미상 그에 대응하는 답변으로서 부정적인 의미의 답변들을 선택할 수 있다. 예컨대 사용자의 '고양이' 이름이 '몽몽이'라는 정보를 획득한 경우 사용자 인증 데이터로서 "강아지 이름 몽몽이 맞죠?"라는 질문과 그에 대응한 "아니", "몽몽이는 강아지 아니고 내 고양이야", "아닌데" 등의 답변을 선택하거나, 10월10일이 사용자의 생일이라는 정보에 기초하여 "11월11일 당신 생일은 잘 보냈나요?"의 질문과 그에 대응한 "아니", "그 날은 내 생일이 아니야", "내 생일 10월10일야" 등의 답변을 선택하는 경우를 생각해 볼 수 있다(전술한 예는 단지 발명의 이해를 돕기 위한 예시적 목적에 의한 것일 뿐, 본 발명이 이로써 제한되는 것은 결코 아니다).According to one embodiment of the invention, the interactive AI agent system employs a question corresponding to the information obtained in the user context from the user database as a question which can be used, for example, for user security authentication, You can choose positive answers as answers. For example, if there is a record of a user's recent performance of a refrigerator that he / she likes, he / she will be able to answer questions such as "New refrigerator likes" and corresponding "Yes", "Very good", " And a positive answer. In accordance with another embodiment of the present invention, the interactive AI agent system employs, as a question that can be used, for example, for user security authentication, to adopt a query that is contrary to the information obtained in the user context from the user database, You can choose negative answers as answers. For example, if the user's name of 'cat' acquires the information 'Mong Mong Lee', the user authentication data is as follows: "Is it a dog name Mong Mong?" And corresponding "No", "Mong Mong is not a dog but my cat" "Or based on the information that the birthday of the user is October 10, the question" Did you send your birthday well on November 11? "And the corresponding" No "," That day is my birthday , "And" my birthday is October 10th. "(It should be noted that the above-mentioned examples are merely illustrative purposes for facilitating understanding of the invention, It is never a thing).
단계(406)에서, 대화형 AI 에이전트 시스템은, 단계(404)에서 사용자 데이터베이스(310)로부터 검색된 질문/답변 리스트 중 하나의 질문을 임의로 선택하고, 선택된 질문을 사용자에게 제공할 수 있다. 그런 다음, 단계(408)에서, 대화형 AI 에이전트 시스템은, 그 제공된 질문에 대한 사용자로부터의 답변을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 시스템은, 사용자 단말을 통하여 사용자로부터 입력된 음성 및/또는 텍스트 답변을 수신할 수 있다.At step 406, the interactive AI agent system may arbitrarily select one of the question / answer lists retrieved from the user database 310 at step 404 and provide the selected question to the user. Then, at step 408, the interactive AI agent system may receive a response from the user for the provided question. According to one embodiment of the present invention, the interactive AI agent system can receive voice and / or text responses input from the user via the user terminal.
그런 다음, 단계(410)에서, 대화형 AI 에이전트 시스템은, 사용자로부터 수신된 답변이 위 제공된 질문에 대응하여 등록된 하나 이상의 답변(패턴)과 부합하는 것인지 여부 등을 판정할 수 있다. 본 발명의 일 실시예에 의하면, 예컨대 대화형 AI 에이전트 시스템은, 사용자로부터 수신된 답변이 해당 질문에 대응하여 등록된 답변과 의미상 부합하는지(예컨대, 긍정 또는 부정적 의미의 일치 여부 등) 여부를 판정할 수 있다. 본 발명의 일 실시예에 의하면, 예컨대 대화형 AI 에이전트 시스템은, 사용자로부터 수신된 답변과 해당 질문에 대응하여 등록된 하나 이상의 답변의 유사도가 임계치 이상인지 판정할 수 있다. 본 발명의 일 실시예에 의하면, 예컨대 대화형 AI 에이전트 시스템은, 자연어 분석에 의해 사용자로부터 수신된 답변의 의도를 분석하고, 분석된 의도가 해당 질문에 대응하여 등록된 하나 이상의 답변과 의미상 일치 또는 유사한지 여부를 판정할 수 있다.Then, at step 410, the interactive AI agent system may determine whether the answer received from the user matches one or more answers (patterns) registered in response to the above provided question. According to one embodiment of the present invention, for example, the interactive AI agent system determines whether the answer received from the user corresponds to a meaning registered in response to the question (for example, whether the answer is positive or negative) . According to an embodiment of the present invention, for example, the interactive AI agent system can determine whether the degree of similarity between the answer received from the user and one or more answers registered corresponding to the query is equal to or greater than a threshold value. According to one embodiment of the present invention, an interactive AI agent system, for example, analyzes an intention of a response received from a user by natural language analysis, and analyzes the intention of the answer received from the user, Or similar can be determined.
단계(410)에서, 수신된 답변이 위 제공된 질문에 대응하여 등록된 답변에 부합한다고 판정된 경우, 절차는 단계(412)로 진행하고, 대화형 AI 에이전트 시스템은 사용자 단말(예컨대, 스마트폰, 스마트 스피커 등)을 통하여 사용자 인증 성공을 알리는 출력을 음성 또는 텍스트 형태로 사용자에게 제공할 수 있다. 단계(410)에서, 그 수신된 답변이, 제공된 질문에 대응하여 등록된 답변과 부합하는 것이 아니라고 판정된 경우, 단계(414)로 진행하여 사용자 인증 실패를 알리는 출력을 음성 또는 텍스트 형태로 사용자에게 제공할 수 있다. In step 410, if it is determined that the received answer corresponds to the registered answer in response to the above provided question, then the procedure proceeds to step 412, where the interactive AI agent system receives the response from the user terminal (e.g., Smart speaker, etc.) to the user in voice or text form. If it is determined in step 410 that the received answer does not match the registered answer in response to the provided question, the process proceeds to step 414 where an output indicating the user authentication failure is provided to the user in voice or text form .
본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 시스템은, 단계(406)에서 단계(410)에 이르는 보안 인증 과정을 복수 회 수행하고 소정 횟수 이상 인증에 연속하여 성공한 경우에 비로소 사용자 인증이 성공한 것으로 판정하고 절차를 진행할 수 있다. 본 발명의 일 실시예에 의하면, 대화형 AI 에이전트 시스템은, 단계(406)에서 단계(410)에 이르는 보안 인증 과정을 복수 회 수행하고 소정 횟수 이상 인증에 실패한 경우에 비로소 사용자 인증이 실패한 것으로 판정할 수 있다.According to an embodiment of the present invention, the interactive AI agent system performs the security authentication process from step 406 to step 410 a plurality of times, and if the authentication succeeds successively for a predetermined number of times or more, And proceed with the procedure. According to an embodiment of the present invention, the interactive AI agent system performs the security authentication process from step 406 to step 410 a plurality of times, and when the authentication fails for a predetermined number of times or more, it is determined that the user authentication fails can do.
당업자라면 알 수 있듯이, 본 발명이 본 명세서에 기술된 예시에 한정되는 것이 아니라 본 발명의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 재구성 및 대체될 수 있다. 본 명세서에 기술된 다양한 기술들은 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있음을 알아야 한다.As will be appreciated by those skilled in the art, the present invention is not limited to the examples described herein, but can be variously modified, rearranged, and replaced without departing from the scope of the present invention. It should be understood that the various techniques described herein may be implemented in hardware or software, or a combination of hardware and software.
본 발명의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨터 프로세서 등에 의해 판독 가능한 저장 매체, 예컨대 EPROM, EEPROM, 플래시 메모리장치와 같은 비휘발성 메모리, 내장형 하드 디스크와 착탈식 디스크 같은 자기 디스크, 광자기 디스크, 및 CDROM 디스크 등을 포함한 다양한 유형의 저장 매체에 저장된 형태로 구현될 수 있다. 또한, 프로그램 코드(들)는 어셈블리어나 기계어로 구현될 수 있다. 본 발명의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 이하의 특허청구범위에 의해 모두 포괄하고자 한다.A computer program according to an embodiment of the present invention may be stored in a storage medium readable by a computer processor or the like such as a nonvolatile memory such as EPROM, EEPROM, flash memory device, a magnetic disk such as an internal hard disk and a removable disk, CDROM disks, and the like. Also, the program code (s) may be implemented in assembly language or machine language. And all changes and modifications that fall within the true spirit and scope of the present invention are intended to be embraced by the following claims.

Claims (7)

  1. 대화형 AI 에이전트 시스템에 의해 수행되는 사용자 인증 방법으로서,A user authentication method performed by an interactive AI agent system,
    사용자 식별 정보를 획득하는 단계;Obtaining user identification information;
    상기 사용자 식별 정보에 기초하여, 사용자 데이터베이스로부터, 사용자 인증 데이터를 검색하는 단계 - 상기 사용자 데이터베이스는, 각 사용자의 특징적 데이터를 포함하고, 상기 인증 데이터는, 상기 사용자 데이터베이스에 포함된 상기 각 사용자의 상기 특징적 데이터에 기초하여 생성된 하나 이상의 질문 및 상기 각 질문마다 의미상 연관 지어진 하나 이상의 답변을 포함하는 질문/답변 리스트를 포함함 -;The method comprising: retrieving user authentication data from a user database based on the user identification information, the user database including characteristic data of each user; A query / answer list comprising one or more questions generated based on characteristic data and one or more answers semantically associated with each of the questions;
    상기 검색된 질문/답변 리스트 중 하나의 질문을 선택하여 사용자 단말로 제공하는 단계;Selecting one of the searched question / answer lists and providing the same to a user terminal;
    상기 사용자 단말로부터 상기 제공된 질문에 대한 답변을 수신하는 단계; 및Receiving an answer to the provided question from the user terminal; And
    상기 수신된 답변에 기초하여, 사용자 인증을 수행하는 단계Performing a user authentication based on the received answer
    를 포함하는 사용자 인증 방법.And a user authentication method.
  2. 제1항에 있어서,The method according to claim 1,
    상기 각 사용자에 관한 특징적 데이터는, 상기 사용자의 개인 정보, 상기 사용자의 이전 대화 기록, 및 상기 사용자의 이전 거동 기록 중 적어도 하나를 포함하고, 상기 질문/답변 리스트는, 상기 사용자 데이터베이스에 포함된 상기 사용자의 개인 정보, 상기 사용자의 이전 대화 기록, 및 상기 사용자의 이전 거동 기록 중 적어도 하나에 기초하여 생성된 하나 이상의 질문 및 상기 각 질문마다 의미상 연관 지어진 하나 이상의 답변을 포함하는, 사용자 인증 방법.Wherein the characteristic data for each user includes at least one of the user's personal information, the user's previous conversation record, and the user's previous behavior record, wherein the question / The one or more questions generated based on at least one of the user's personal information, the user's previous conversation history, and the user's previous behavior record, and one or more answers semantically associated with each of the questions.
  3. 제1항에 있어서,The method according to claim 1,
    상기 사용자 인증을 수행하는 단계는, Wherein the performing the user authentication comprises:
    상기 수신된 답변이, 상기 질문/답변 리스트 상의, 상기 제공된 질문에 의미상 연관 지어진 상기 하나 이상의 답변과 부합하는지 판정하는 단계를 포함하는, 사용자 인증 방법.And determining if the received answer matches the one or more answers semantically associated with the provided question on the question / answer list.
  4. 제3항에 있어서,The method of claim 3,
    상기 수신된 답변이, 상기 질문/답변 리스트 상의, 상기 제공된 질문에 의미상 연관 지어진 상기 하나 이상의 답변과 부합하는지 판정하는 단계는,Wherein the step of determining whether the received answer matches the one or more answers semantically associated with the provided question on the question /
    상기 수신된 답변을, 상기 질문/답변 리스트 상의, 상기 제공된 질문에 의미상 연관 지어진 상기 하나 이상의 답변과 각각 비교하여, 상기 수신된 답변과 상기 하나 이상의 답변 각각 사이의 유사도를 산출하는 단계; 및Comparing the received answer with each of the one or more answers semantically associated with the provided question on the question / answer list, respectively, to calculate a degree of similarity between the received answer and each of the one or more answers; And
    상기 산출된 유사도에 기초하여, 사용자 인증 여부를 결정하는 단계 Determining whether the user is authenticated based on the calculated similarity;
    를 포함하는 사용자 인증 방법.And a user authentication method.
  5. 제1항에 있어서,The method according to claim 1,
    상기 사용자의 거동 이력은 상기 사용자의 물품 구매 이력, 정보 검색 이력, 및 서비스 이용 이력 중 적어도 하나를 포함하는, 성문 인증 방법.Wherein the behavior history of the user includes at least one of a purchase history of the user, an information retrieval history, and a service usage history of the user.
  6. 하나 이상의 명령어를 포함하는 컴퓨터 판독 가능 기록 매체로서,A computer-readable medium having stored thereon one or more instructions,
    상기 하나 이상의 명령어는, 컴퓨터에 위해 실행되는 경우, 상기 컴퓨터로 하여금, 제1항 내지 제5항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 판독 가능 기록 매체.Wherein the one or more instructions cause the computer to perform the method of any one of claims 1 to 5 when executed on a computer.
  7. 사용자 인증을 제공하도록 구성된 대화형 AI 에이전트 시스템으로서,An interactive AI agent system configured to provide user authentication,
    사용자 인증 데이터를 포함하는 사용자 데이터베이스 - 상기 사용자 데이터베이스는, 각 사용자의 특징적 데이터를 포함하고, 상기 사용자 인증 데이터는, 상기 사용자 데이터베이스에 포함된 상기 각 사용자의 상기 특징적 데이터에 기초하여 생성된 하나 이상의 질문 및 상기 각 질문마다 의미상 연관 지어진 하나 이상의 답변을 포함하는 질문/답변 리스트를 포함함 -; 및A user database comprising user authentication data, the user database comprising characteristic data of each user, wherein the user authentication data comprises one or more questions generated based on the characteristic data of each user included in the user database And a question / answer list containing one or more answers semantically associated with each of the questions; And
    사용자 인증 모듈을 포함하고,A user authentication module,
    상기 사용자 인증 모듈은, Wherein the user authentication module comprises:
    사용자 식별 정보를 획득하고,Acquiring user identification information,
    상기 사용자 식별 정보에 기초하여, 상기 사용자 데이터베이스로부터 상기 질문/답변 리스트를 검색하고, Retrieving the question / answer list from the user database based on the user identification information,
    상기 검색된 질문/답변 리스트 중 하나의 질문을 선택하여 사용자 단말로 제공하고,Selects one of the searched question / answer lists and provides the same to the user terminal,
    상기 사용자 단말로부터 상기 제공된 질문에 대한 답변을 수신하고, Receiving an answer to the provided question from the user terminal,
    상기 수신된 답변에 기초하여, 사용자 인증을 수행하도록 구성된, And configured to perform user authentication based on the received answer,
    대화형 AI 에이전트 시스템.Interactive AI agent system.
PCT/KR2017/012860 2017-09-29 2017-11-14 User context-based authentication method having enhanced security, interactive ai agent system, and computer-readable recording medium WO2019066132A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180009677A KR101949470B1 (en) 2017-09-29 2018-01-26 Method, interactive ai agent system and computer readable recoding medium for providing user context-based authetication having enhanced security
KR1020190016281A KR20190038489A (en) 2017-09-29 2019-02-12 Method, interactive ai agent system and computer readable recoding medium for providing user context-based authetication having enhanced security

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170126907 2017-09-29
KR10-2017-0126907 2017-09-29

Publications (1)

Publication Number Publication Date
WO2019066132A1 true WO2019066132A1 (en) 2019-04-04

Family

ID=65902556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/012860 WO2019066132A1 (en) 2017-09-29 2017-11-14 User context-based authentication method having enhanced security, interactive ai agent system, and computer-readable recording medium

Country Status (2)

Country Link
KR (1) KR20190038489A (en)
WO (1) WO2019066132A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11617957B2 (en) 2018-12-06 2023-04-04 Samsung Electronics Co., Ltd. Electronic device for providing interactive game and operating method therefor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100786478B1 (en) * 2005-07-27 2007-12-17 서울신용평가정보 주식회사 System and Apparatus for verifing authenticity of a person useing customer behavior analysis information
KR20110067527A (en) * 2009-12-14 2011-06-22 코리아크레딧뷰로 (주) User authentication system, and method for verifying user thought using the same
JP2015170227A (en) * 2014-03-07 2015-09-28 株式会社日本総合研究所 Personal authentication system and cash management system
JP2016099684A (en) * 2014-11-18 2016-05-30 インターマン株式会社 Personal identification method and personal identification device using life log
KR101763275B1 (en) * 2016-12-08 2017-08-14 주식회사 펀디드 The method for customer certification using credit bereau information, the system thereof, and computer-readable recording medium for recording program executing the same method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100786478B1 (en) * 2005-07-27 2007-12-17 서울신용평가정보 주식회사 System and Apparatus for verifing authenticity of a person useing customer behavior analysis information
KR20110067527A (en) * 2009-12-14 2011-06-22 코리아크레딧뷰로 (주) User authentication system, and method for verifying user thought using the same
JP2015170227A (en) * 2014-03-07 2015-09-28 株式会社日本総合研究所 Personal authentication system and cash management system
JP2016099684A (en) * 2014-11-18 2016-05-30 インターマン株式会社 Personal identification method and personal identification device using life log
KR101763275B1 (en) * 2016-12-08 2017-08-14 주식회사 펀디드 The method for customer certification using credit bereau information, the system thereof, and computer-readable recording medium for recording program executing the same method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11617957B2 (en) 2018-12-06 2023-04-04 Samsung Electronics Co., Ltd. Electronic device for providing interactive game and operating method therefor

Also Published As

Publication number Publication date
KR20190038489A (en) 2019-04-08

Similar Documents

Publication Publication Date Title
US20200356928A1 (en) Collaborative personal assistant system for delegating provision of services by third party task providers and method therefor
KR101891492B1 (en) Method and computer device for providing contextual natural language conversation by modifying plain response, and computer readable recording medium
WO2019124647A1 (en) Method and computer apparatus for automatically building or updating hierarchical conversation flow management model for interactive ai agent system, and computer-readable recording medium
WO2019132135A1 (en) Interactive ai agent system and method for actively monitoring and intervening in dialogue session between users, and computer readable recording medium
WO2021034038A1 (en) Method and system for context association and personalization using a wake-word in virtual personal assistants
KR101891498B1 (en) Method, computer device and computer readable recording medium for multi domain service resolving the mixture of multi-domain intents in interactive ai agent system
WO2019147039A1 (en) Method for determining optimal conversation pattern for goal achievement at particular time point during conversation session associated with conversation understanding ai service system, method for determining goal achievement prediction probability, and computer-readable recording medium
KR102104294B1 (en) Sign language video chatbot application stored on computer-readable storage media
KR102120751B1 (en) Method and computer readable recording medium for providing answers based on hybrid hierarchical conversation flow model with conversation management model using machine learning
KR101949470B1 (en) Method, interactive ai agent system and computer readable recoding medium for providing user context-based authetication having enhanced security
JP2023531346A (en) Using a single request for multi-person calling in auxiliary systems
KR101959292B1 (en) Method and computer device for providing improved speech recognition based on context, and computer readable recording medium
WO2019143170A1 (en) Method for generating conversation template for conversation-understanding ai service system having predetermined goal, and computer readable recording medium
WO2019156537A1 (en) Interactive ai agent system and method for actively providing service related to security and like through dialogue session or separate session on basis of monitoring of dialogue session between users, and computer-readable recording medium
WO2019088638A1 (en) Method, computer device and computer readable recording medium for providing natural language conversation by timely providing substantial reply
WO2019156536A1 (en) Method and computer device for constructing or updating knowledge base model for interactive ai agent system by labeling identifiable, yet non-learnable, data from among learning data, and computer-readable recording medium
WO2019088383A1 (en) Method and computer device for providing natural language conversation by providing interjection response in timely manner, and computer-readable recording medium
WO2019168235A1 (en) Method and interactive ai agent system for providing intent determination on basis of analysis of same type of multiple pieces of entity information, and computer-readable recording medium
KR20190103951A (en) Method, computer device and computer readable recording medium for building or updating knowledgebase models for interactive ai agent systen, by labeling identifiable but not-learnable data in training data set
WO2019066132A1 (en) User context-based authentication method having enhanced security, interactive ai agent system, and computer-readable recording medium
EP4327198A1 (en) Multi-device mediation for assistant systems
WO2019103569A1 (en) Method for improving performance of voice recognition on basis of context, computer apparatus, and computer-readable recording medium
WO2019098638A1 (en) Method, interactive ai agent system and computer readable recording medium for providing semantic-free user voiceprint authentication having enhanced security
KR20190056967A (en) Method, interactive ai agent system and computer readable recoding medium for providing semantic-free user voiceprint authentication having enhanced security
KR102120749B1 (en) Method and computer readable recording medium for storing bookmark information to provide bookmark search service based on keyword

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17926847

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17926847

Country of ref document: EP

Kind code of ref document: A1