DE202022106224U1

DE202022106224U1 - A system for voice commands by virtual assistants using deep learning

Info

Publication number: DE202022106224U1
Application number: DE202022106224.2U
Authority: DE
Original assignee: Abhilashi Univ; Abhilashi University; Gmr Institute Of Tech; Gmr Institute Of Technology; Quantum Univ; Quantum University
Current assignee: Abhilashi Univ; Abhilashi University; Gmr Institute Of Tech; Gmr Institute Of Technology; Quantum Univ; Quantum University
Priority date: 2022-11-05
Filing date: 2022-11-05
Publication date: 2022-11-28
Anticipated expiration: 2032-11-06

Abstract

Ein System zur Sprachsteuerung durch virtuelle Assistenten unter Verwendung von Deep Learning, wobei das System umfasst:
ein lernendes Verarbeitungsmodell zur Durchführung des semantischen Parsing, das dann auf das Problem der vollständigen Umstellung der regulären Sprache angewandt wird, um ein Aktivitätsprogramm für Mandelhelfer zu starten; und
ein einschichtiges seq2seq-Verarbeitungsmodell, das mit Überlegungsschicht ausgeführt und mit Satzstrukturbeschränkungen und verschiedenen RNN-Zellen untersucht wird, wobei sein aktueller Datensatz ausgenutzt wird und der Vorbereitungssatz durch Ausprobieren verschiedener Dinge auf verschiedene Weise erweitert wird.

A system for voice control by virtual assistants using deep learning, the system comprising:
a learning processing model to perform the semantic parsing, which is then applied to the full regular language conversion problem to launch an activity program for almond helpers; and
a single layer seq2seq processing model running with consideration layer and explored with sentence structure constraints and different RNN cells, exploiting its current data set and expanding the prepare set in different ways by trying different things.

Description

BEREICH DER ERFINDUNGFIELD OF THE INVENTION

Die vorliegende Offenbarung bezieht sich auf den Bereich der Entwicklung eines Sprachsteuerungssystems. Insbesondere bezieht sich die vorliegende Offenbarung auf ein System zur Sprachsteuerung durch virtuelle Assistenten unter Verwendung von Deep Learning.The present disclosure relates to the field of developing a voice control system. More particularly, the present disclosure relates to a virtual assistant voice control system using deep learning.

HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION

Die Basistaktik verwendet eine Informationssatz-Sprachstruktur, die physisch gezeigt oder gelehrt werden kann. Diese Methode erfordert viele Informationen über die Infosätze, hat aber eine sehr hohe Trefferquote. Außerdem erhält sie nur geringe Bewertungen, da schlecht strukturierte Sätze nicht richtig verdaut werden können.The basic tactic uses an information sentence language structure that can be physically demonstrated or taught. This method requires a lot of information about the info records, but has a very high hit rate. Also, it gets low ratings because poorly structured sentences cannot be properly digested.

Der nächste Schritt ist die freie Gruppierung, bei der die Informationsphrase als eine Sammlung etymologischer Komponenten behandelt wird, die einen zuverlässigen Strukturgenerator antreiben. Dieser Generator kann entweder die gültige hierarchische Struktur vorhersagen, wie in KRISP und den daran angelehnten Arbeiten, oder das Programm von Grund auf kompositorisch zusammensetzen, wie in unseren Fällen und in verschiedenen Arbeiten im Zusammenhang mit SEMPRE.The next step is free grouping, where the information phrase is treated as a collection of etymological components driving a reliable structure generator. This generator can either predict the valid hierarchical structure, as in KRISP and related works, or compose the program from scratch, as in our cases and in various works related to SEMPER.

Obwohl diese Methode gut angesehen ist und keine riesigen Datensätze erfordert, geht dies auf Kosten der Genauigkeit, wenn hierarchische Indikatoren oder phonetische Vermutungen bei der Verwendung von Base-up-Generatoren verwendet werden. Das semantische Parsing als maschinelle Interpretation schließlich nutzt ein Sukzessionsmodell des Informationssatzes und sagt entweder die Abfolge von kohärenten Struktur-AST-Hubs in bestimmten Reihenfolgen oder die Gruppierung von Token voraus, die die Ausgabe prägen werden.Although this method is well regarded and does not require huge datasets, it comes at the expense of accuracy when using hierarchical indicators or phonetic guesses when using base-up generators. Finally, semantic parsing as machine interpretation uses a succession model of the information set and predicts either the succession of coherent structure AST hubs in specific orders or the grouping of tokens that will shape the output.

In Anbetracht der vorangegangenen Diskussion wird deutlich, dass ein System für die Sprachsteuerung durch virtuelle Assistenten unter Verwendung von Deep Learning benötigt wird.In view of the previous discussion, it becomes clear that a system for voice control by virtual assistants using deep learning is needed.

ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Die vorliegende Offenlegung bezieht sich auf ein System für Sprachbefehle durch virtuelle Assistenten, die tiefes Lernen verwenden. Die Sprachbefehle durch virtuelle Assistenten, die tiefes Lernen verwenden, sind ein Hilfsmittel, das die Grenze der Endkundenverbindung ist, aufgrund der unendlichen Anordnung von Fähigkeiten über verschiedene Administratoren. Die Standard-Sprachpraktiken sollten auf diese Weise verbessert werden, um das Niveau der Kraft und Raffinesse, die Kunden von persönlichen Assistenten verlangen, zu erreichen. Ein kürzlich entwickeltes tiefgreifendes Lernmodell für semantisches Parsing wird in der vorliegenden Veröffentlichung erforscht und dann auf das Problem der vollständigen Umstellung der Standardsprache zur Aktivierung von Aktivitätsprogrammen für den Almond-Helfer angewendet. Ein einschichtiges seq2seq-Modell mit einer Betrachtungsschicht wird in der vorliegenden Offenlegung implementiert, und auch Satzstrukturbeschränkungen und die Verwendung mehrerer RNN-Zellen werden untersucht. Der aktuelle Datensatz wurde ausgenutzt und verschiedene Dinge mit verschiedenen Möglichkeiten der Erweiterung der Vorbereitung Sets wurden versucht. Die Ergebnisse zeigten, dass der Parser in der vorliegenden Offenlegung zeigt gemischte Ergebnisse auf verschiedenen Mandel-Test-Sets, und führen besser im Vergleich zu den Schneide auf technische Benchmarks um rund 10% noch weniger Glück auf sensible Client-Informationen um rund 16%. Zusätzlich wird gezeigt, dass der vorgeschlagene Parser genauso gut oder besser als das aktuelle Almond-Framework ist, was die Erweiterbarkeit für Spekulationen angeht. Um das Framework zum Laufen zu bringen, sobald es auf unseren Benchmarks mit SEMPRE mithalten kann, muss die Frage der Benutzerfreundlichkeit angegangen werden, da unser Parser im Gegensatz zu SEMPRE dem Kunden nicht die Entscheidung überlässt, den Partner zu korrigieren. Das Problem der Online-Erweiterbarkeit muss ebenfalls angegangen werden. Im derzeitigen Rahmen kann sich der Parser an das Fehlen von Informationen für neue Geräte und neue Bereiche anpassen, aber er kann dies nicht in einem internetbasierten Design tun und muss ohne jegliche Vorbereitung auf einen größeren Ergebnisraum vorbereitet werden.The present disclosure relates to a system for voice commands by virtual assistants using deep learning. The voice commands through virtual assistants using deep learning is a tool that is the limit of end-customer connection due to the infinite array of skills across different administrators. Standard language practices should be enhanced in this way to achieve the level of power and sophistication clients demand from personal assistants. A recently developed deep learning model for semantic parsing is explored in the present paper and then applied to the problem of completely switching the default language to activate activity programs for the Almond helper. A single layer seq2seq model with a view layer is implemented in the present disclosure, and sentence structure constraints and the use of multiple RNN cells are also explored. The current dataset was exploited and various things were attempted with various ways of expanding the preparation sets. Results showed that the parser in the present disclosure shows mixed results on different Mandel test sets, and perform better compared to the cutting edge on technical benchmarks by around 10%, even less fortunate on sensitive client information by around 16%. Additionally, it is shown that the proposed parser is as good as or better than the current Almond framework in terms of extensibility for speculation. In order to get the framework up and running once it can compete with SEMPER on our benchmarks, the usability issue needs to be addressed because, unlike SEMPER, our parser does not leave the choice to the customer to fix the partner. The issue of online extensibility also needs to be addressed. In the current framework, the parser can adapt to the lack of information for new devices and new areas, but it cannot do this in an internet-based design and must be prepared for a larger result space without any preparation.

Die vorliegende Offenlegung zielt darauf ab, ein System zur Sprachsteuerung durch virtuelle Assistenten unter Verwendung von Deep Learning bereitzustellen. Das System umfasst: ein lernendes Verarbeitungsmodell zur Durchführung von sematischem Parsing, das dann auf das Problem des vollständigen Umschaltens von regulärer Sprache angewandt wird, um ein Aktivitätsprogramm für Mandelhelfer auszulösen; und ein einschichtiges seq2seq-Verarbeitungsmodell, das mit einer Betrachtungsschicht ausgeführt und mit Satzstrukturbeschränkungen und verschiedenen RNN-Zellen untersucht wird, wobei sein aktueller Datensatz genutzt wird und der Vorbereitungssatz durch das Ausprobieren verschiedener Dinge auf unterschiedliche Weise erweitert wird.The present disclosure aims to provide a system for voice control by virtual assistants using deep learning. The system includes: a learning processing model for performing sematic parsing, which is then applied to the regular language full switching problem to trigger a tonsil helper activity program; and a single layer seq2seq processing model running with a view layer and examined with sentence structure constraints and different RNN cells, taking advantage of its current data set and expanding the prepare set by trying different things in different ways.

Ein Ziel der vorliegenden Offenbarung ist es, ein System für die Sprachsteuerung durch virtuelle Assistenten unter Verwendung von Deep Learning bereitzustellen.An objective of the present disclosure is to provide a system for voice control by virtual assistants using deep learning.

Ein weiteres Ziel der vorliegenden Offenbarung ist es, reguläre Sprachverfahren so bereitzustellen, dass sie mit dem Grad an Kraft und Raffinesse, den die Kunden von den Hilfskräften erwarten, weiterentwickelt werden können.Another object of the present disclosure is to provide regular language methods so that they can be evolved with the level of power and sophistication that customers expect from the helpers.

Ein weiteres Ziel der vorliegenden Offenlegung ist es, aktuelle tiefgreifende Lernmodelle für semantisches Parsing zu erforschen und sie dann auf das Problem der vollständigen Umstellung der regulären Sprache anzuwenden, um ein Aktivitätsprogramm für mandelartige Helfer zu starten.Another aim of the present disclosure is to explore current deep learning models for semantic parsing and then apply them to the problem of full regular language conversion to start an activity program for almond-like helpers.

Ein weiteres Ziel der vorliegenden Offenlegung ist es, ein einschichtiges seq2seq-Modell mit der Betrachtungsschicht bereitzustellen und die Satzstrukturbegrenzung und verschiedene RNN-Zellen zu untersuchen, wobei der aktuelle Datensatz genutzt wird.Another goal of the present disclosure is to provide a single layer seq2seq model with the view layer and examine the sentence structure boundary and different RNN cells using the current dataset.

Ein weiteres Ziel der vorliegenden Offenlegung ist es, das Problem der Benutzerfreundlichkeit zu lösen, da der vorgeschlagene Parser dem Kunden nicht die Möglichkeit gibt, den Partner zu korrigieren.Another aim of the present disclosure is to solve the usability problem, since the proposed parser does not give the customer the possibility to correct the partner.

Zur weiteren Verdeutlichung der Vorteile und Merkmale der vorliegenden Offenbarung wird eine genauere Beschreibung der Erfindung durch Bezugnahme auf bestimmte Ausführungsformen gegeben, die in den beigefügten Figuren dargestellt sind. Es wird davon ausgegangen, dass diese Figuren nur typische Ausführungsformen der Erfindung darstellen und daher nicht als Einschränkung des Umfangs der Erfindung zu betrachten sind. Die Erfindung wird mit zusätzlicher Spezifität und Detail mit den beigefügten Figuren beschrieben und erläutert werden.In order to further clarify the advantages and features of the present disclosure, a more detailed description of the invention is provided by reference to specific embodiments that are illustrated in the accompanying figures. It is understood that these figures represent only typical embodiments of the invention and therefore should not be considered as limiting the scope of the invention. The invention will be described and illustrated with additional specificity and detail with the accompanying figures.

Figurenlistecharacter list

Diese und andere Merkmale, Aspekte und Vorteile der vorliegenden Offenbarung werden besser verstanden, wenn die folgende detaillierte Beschreibung unter Bezugnahme auf die beigefügten Figuren gelesen wird, in denen gleiche Zeichen gleiche Teile in den Figuren darstellen, wobei:

1 ein Blockdiagramm eines Systems zur Sprachsteuerung durch virtuelle Assistenten unter Verwendung von Deep Learning gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt;
2 ein Arbeitsablaufdiagramm des Anmeldevorgangs durch den Benutzer in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zeigt; und
3 ein Workflow-Diagramm von Sprachbefehlen durch virtuelle Assistenten unter Verwendung von Deep Learning gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.

These and other features, aspects, and advantages of the present disclosure will be better understood when the following detailed description is read with reference to the accompanying figures, in which like characters represent like parts throughout the figures, wherein:

1 10 shows a block diagram of a system for voice control by virtual assistants using deep learning according to an embodiment of the present disclosure;
2 Figure 12 shows a workflow diagram of the user sign-up process in accordance with an embodiment of the present disclosure; and
3 12 shows a workflow diagram of voice commands by virtual assistants using deep learning according to an embodiment of the present disclosure.

Der Fachmann wird verstehen, dass die Elemente in den Figuren der Einfachheit halber dargestellt sind und nicht unbedingt maßstabsgetreu gezeichnet wurden. Die Flussdiagramme veranschaulichen beispielsweise das Verfahren anhand der wichtigsten Schritte, um das Verständnis der Aspekte der vorliegenden Offenbarung zu verbessern. Darüber hinaus kann es sein, dass eine oder mehrere Komponenten der Vorrichtung in den Figuren durch herkömmliche Symbole dargestellt sind, und dass die Figuren nur die spezifischen Details zeigen, die für das Verständnis der Ausführungsformen der vorliegenden Offenbarung relevant sind, um die Figuren nicht mit Details zu überfrachten, die für Fachleute, die mit der vorliegenden Beschreibung vertraut sind, leicht erkennbar sind.Those skilled in the art will understand that the elements in the figures are presented for simplicity and are not necessarily drawn to scale. For example, the flow charts illustrate the method of key steps to enhance understanding of aspects of the present disclosure. In addition, one or more components of the device may be represented in the figures by conventional symbols, and the figures only show the specific details relevant to understanding the embodiments of the present disclosure, not to encircle the figures with details to overload, which are easily recognizable to those skilled in the art familiar with the present description.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

Um das Verständnis der Erfindung zu fördern, wird nun auf die in den Figuren dargestellte Ausführungsform Bezug genommen und diese mit bestimmten Worten beschrieben. Es versteht sich jedoch von selbst, dass damit keine Einschränkung des Umfangs der Erfindung beabsichtigt ist, wobei solche Änderungen und weitere Modifikationen des dargestellten Systems und solche weiteren Anwendungen der darin dargestellten Grundsätze der Erfindung in Betracht gezogen werden, wie sie einem Fachmann auf dem Gebiet der Erfindung normalerweise einfallen würden.For the purposes of promoting an understanding of the invention, reference will now be made to the embodiment illustrated in the figures and specific language will be used to describe the same. It should be understood, however, that no limitation on the scope of the invention is intended, and such alterations and further modifications to the illustrated system and such further applications of the principles of the invention set forth therein are contemplated as would occur to those skilled in the art invention would normally come to mind.

Es versteht sich für den Fachmann von selbst, dass die vorstehende allgemeine Beschreibung und die folgende detaillierte Beschreibung beispielhaft und erläuternd für die Erfindung sind und diese nicht einschränken sollen.It will be understood by those skilled in the art that the foregoing general description and the following detailed description are exemplary and explanatory of the invention and are not intended to be limiting.

Wenn in dieser Beschreibung von „einem Aspekt“, „einem anderen Aspekt“ oder ähnlichem die Rede ist, bedeutet dies, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft, die im Zusammenhang mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform der vorliegenden Offenbarung enthalten ist. Daher können sich die Ausdrücke „in einer Ausführungsform“, „in einer anderen Ausführungsform“ und ähnliche Ausdrücke in dieser Beschreibung alle auf dieselbe Ausführungsform beziehen, müssen es aber nicht.When this specification refers to "an aspect," "another aspect," or the like, it means that a particular feature, structure, or characteristic described in connection with the embodiment is present in at least one embodiment included in the present disclosure. Therefore, the phrases "in one embodiment," "in another embodiment," and similar phrases throughout this specification may or may not all refer to the same embodiment.

Die Ausdrücke „umfasst“, „enthaltend“ oder andere Variationen davon sollen eine nicht ausschließliche Einbeziehung abdecken, so dass ein Verfahren oder eine Methode, die eine Liste von Schritten umfasst, nicht nur diese Schritte einschließt, sondern auch andere Schritte enthalten kann, die nicht ausdrücklich aufgeführt sind oder zu einem solchen Verfahren oder einer solchen Methode gehören. Ebenso schließen eine oder mehrere Vorrichtungen oder Teilsysteme oder Elemente oder Strukturen oder Komponenten, die mit „umfasst...a“ eingeleitet werden, nicht ohne weitere Einschränkungen die Existenz anderer Vorrichtungen oder anderer Teilsysteme oder anderer Elemente oder anderer Strukturen oder anderer Komponenten oder zusätzlicher Vorrichtungen oder zusätzlicher Teilsysteme oder zusätzlicher Elemente oder zusätzlicher Strukturen oder zusätzlicher Komponenten aus.The terms "comprises,""including," or other variations thereof are intended to cover non-exclusive inclusion, such that a method or method that includes a list of steps includes not only those steps, but may also include other steps that are not expressly stated or pertaining to any such process or method. Likewise close one or meh Other devices or subsystems or elements or structures or components introduced with "includes...a" do not, without further limitations, imply the existence of other devices or other subsystems or other elements or other structures or other components or additional devices or additional subsystems or additional elements or additional structures or additional components.

Sofern nicht anders definiert, haben alle hierin verwendeten technischen und wissenschaftlichen Begriffe die gleiche Bedeutung, wie sie von einem Fachmann auf dem Gebiet, zu dem diese Erfindung gehört, allgemein verstanden wird. Das System, die Methoden und die Beispiele, die hier angegeben werden, dienen nur der Veranschaulichung und sind nicht als Einschränkung gedacht.Unless otherwise defined, all technical and scientific terms used herein have the same meaning as commonly understood by one skilled in the art to which this invention pertains. The system, methods, and examples provided herein are for purposes of illustration only and are not intended to be limiting.

Ausführungsformen der vorliegenden Offenbarung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren im Detail beschrieben.Embodiments of the present disclosure are described in detail below with reference to the attached figures.

Die in dieser Spezifikation beschriebenen Funktionseinheiten werden als Geräte bezeichnet. Ein Gerät kann in programmierbaren Hardware-Geräten wie Prozessoren, digitalen Signalprozessoren, zentralen Verarbeitungseinheiten, feldprogrammierbaren Gate-Arrays, programmierbaren Logik-Arrays, programmierbaren Logik-Geräten, Cloud-Verarbeitungssystemen oder Ähnlichem implementiert sein. Die Geräte können auch in Software für die Ausführung durch verschiedene Arten von Prozessoren implementiert werden. Ein identifiziertes Gerät kann einen ausführbaren Code enthalten und kann beispielsweise einen oder mehrere physische oder logische Blöcke von Computeranweisungen umfassen, die beispielsweise als Objekt, Prozedur, Funktion oder anderes Konstrukt organisiert sein können. Die ausführbaren Daten eines identifizierten Geräts müssen jedoch nicht physisch zusammen liegen, sondern können aus verschiedenen, an unterschiedlichen Orten gespeicherten Anweisungen bestehen, die, wenn sie logisch zusammengefügt werden, das Gerät bilden und den angegebenen Zweck des Geräts erfüllen.The functional units described in this specification are referred to as devices. A device may be implemented in programmable hardware devices such as processors, digital signal processors, central processing units, field programmable gate arrays, programmable logic arrays, programmable logic devices, cloud processing systems, or the like. The devices can also be implemented in software for execution by various types of processors. An identified device may include executable code and may include, for example, one or more physical or logical blocks of computer instructions, which may be organized as, for example, an object, procedure, function, or other construct. However, the executable data of an identified device need not coexist physically, but may consist of various instructions stored in different locations which, when logically assembled, form the device and achieve the device's stated purpose.

Der ausführbare Code eines Geräts oder Moduls kann ein einzelner Befehl oder eine Vielzahl von Befehlen sein und kann sogar über mehrere verschiedene Codesegmente, verschiedene Anwendungen und mehrere Speichergeräte verteilt sein. In ähnlicher Weise können Betriebsdaten innerhalb des Geräts identifiziert und dargestellt werden, wobei sie in jeder geeigneten Form vorliegen und in jeder geeigneten Art von Datenstruktur organisiert sein können. Die Betriebsdaten können als ein einziger Datensatz gesammelt werden oder über verschiedene Orte, einschließlich verschiedener Speichergeräte, verteilt sein und können zumindest teilweise als elektronische Signale in einem System oder Netzwerk vorliegen.The executable code of a device or module can be a single instruction or a multitude of instructions, and can even be distributed across several different code segments, different applications, and multiple storage devices. Similarly, operational data may be identified and represented within the device and may be in any suitable form and organized in any suitable type of data structure. The operational data may be collected as a single set of data or distributed across various locations, including various storage devices, and may exist, at least in part, as electronic signals in a system or network.

Wenn in dieser Beschreibung von „einer ausgewählten Ausführungsform“, „einer Ausführungsform“ oder „einer Ausführungsform“ die Rede ist, bedeutet dies, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft, die im Zusammenhang mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform des offengelegten Gegenstands enthalten ist. Daher beziehen sich die Ausdrücke „eine ausgewählte Ausführungsform“, „in einer Ausführungsform“ oder „in einer Ausführungsform“ an verschiedenen Stellen in dieser Beschreibung nicht unbedingt auf dieselbe Ausführungsform.When this specification refers to "a selected embodiment," "an embodiment," or "an embodiment," it means that a particular feature, structure, or characteristic described in connection with the embodiment is at least one embodiment of the disclosed subject matter. As such, the phrases "a selected embodiment," "in one embodiment," or "in one embodiment" throughout this specification are not necessarily all referring to the same embodiment.

Darüber hinaus können die beschriebenen Merkmale, Strukturen oder Eigenschaften in jeder geeigneten Weise in einer oder mehreren Ausführungsformen kombiniert werden. In der folgenden Beschreibung werden zahlreiche spezifische Details angegeben, um ein umfassendes Verständnis der Ausführungsformen des offengelegten Gegenstands zu ermöglichen. Der Fachmann wird jedoch erkennen, dass der offengelegte Gegenstand auch ohne eines oder mehrere der spezifischen Details oder mit anderen Methoden, Komponenten, Materialien usw. ausgeführt werden kann. In anderen Fällen werden bekannte Strukturen, Materialien oder Vorgänge nicht im Detail gezeigt oder beschrieben, um zu vermeiden, dass Aspekte des offengelegten Gegenstandes verdeckt werden.Furthermore, the features, structures, or characteristics described may be combined in any suitable manner in one or more embodiments. In the following description, numerous specific details are provided in order to provide a thorough understanding of the embodiments of the disclosed subject matter. However, one skilled in the art will recognize that the disclosed subject matter may be practiced without one or more of the specific details, or using other methods, components, materials, etc. In other instances, well-known structures, materials, or operations are not shown or described in detail to avoid obscuring aspects of the disclosed subject matter.

Gemäß den beispielhaften Ausführungsformen können die offengelegten Computerprogramme oder -module auf viele beispielhafte Arten ausgeführt werden, beispielsweise als Anwendung, die im Speicher eines Geräts resident ist, oder als gehostete Anwendung, die auf einem Server ausgeführt wird und mit der Geräteanwendung oder dem Browser über eine Reihe von Standardprotokollen wie TCP/IP, HTTP, XML, SOAP, REST, JSON und anderen ausreichenden Protokollen kommuniziert. Die offengelegten Computerprogramme können in beispielhaften Programmiersprachen geschrieben werden, die vom Speicher auf dem Gerät oder von einem gehosteten Server ausgeführt werden, wie BASIC, COBOL, C, C++, Java, Pascal oder Skriptsprachen wie JavaScript, Python, Ruby, PHP, Perl oder andere ausreichende Programmiersprachen.According to the example embodiments, the disclosed computer programs or modules may be implemented in many example ways, such as as an application residing in the memory of a device or as a hosted application running on a server and connected to the device application or browser via a Communicates series of standard protocols like TCP/IP, HTTP, XML, SOAP, REST, JSON and other sufficient protocols. The disclosed computer programs may be written in example programming languages executed from memory on the device or from a hosted server, such as BASIC, COBOL, C, C++, Java, Pascal, or scripting languages such as JavaScript, Python, Ruby, PHP, Perl, or others sufficient programming languages.

Einige der offengelegten Ausführungsformen umfassen oder beinhalten die Datenübertragung über ein Netzwerk, z. B. die Übermittlung verschiedener Eingaben oder Dateien über das Netzwerk. Das Netzwerk kann beispielsweise das Internet, Wide Area Networks (WANs), Local Area Networks (LANs), analoge oder digitale drahtgebundene und drahtlose Telefonnetzwerke (z. B. PSTN, Integrated Services Digital Network (ISDN), ein zellulares Netzwerk und Digital Subscriber Line (xDSL)), Radio, Fernsehen, Kabel, Satellit und/oder andere Übertragungs- oder Tunnelmechanismen zur Übertragung von Daten umfassen. Das Netz kann mehrere Netze oder Teilnetze umfassen, von denen jedes z. B. einen drahtgebundenen oder drahtlosen Datenpfad enthalten kann. Das Netz kann ein leitungsvermitteltes Sprachnetz, ein paketvermitteltes Datennetz oder ein beliebiges anderes Netz für die Übertragung elektronischer Kommunikation umfassen. Das Netzwerk kann beispielsweise Netzwerke umfassen, die auf dem Internet-Protokoll (IP) oder dem asynchronen Übertragungsmodus (ATM) basieren, und es kann Sprache unterstützen, indem es z. B. VoIP, Voice-over-ATM oder andere vergleichbare Protokolle für die Sprachdatenkommunikation verwendet. In einer Implementierung umfasst das Netzwerk ein zellulares Telefonnetz, das so konfiguriert ist, dass es den Austausch von Text- oder SMS-Nachrichten ermöglicht.Some of the disclosed embodiments include or involve data transmission over a network, e.g. B. the transmission of various inputs or files over the network. The network can be, for example, the Internet, wide area networks (WANs), local area networks (LANs), analog or digital wired and wireless telephone networks (e.g., PSTN, Integrated Services Digital Network (ISDN), cellular network, and Digital Subscriber Line (xDSL)), radio, television, cable, satellite, and/or other transmission or tunneling mechanisms for transmitting data. The network may comprise several networks or sub-networks, each of which e.g. B. may include a wired or wireless data path. The network may comprise a circuit switched voice network, a packet switched data network or any other network for the transmission of electronic communications. The network may for example comprise Internet Protocol (IP) or Asynchronous Transfer Mode (ATM) based networks and may support voice e.g. B. VoIP, Voice-over-ATM or other comparable protocols for voice data communication. In one implementation, the network includes a cellular telephone network configured to allow the exchange of text or SMS messages.

Beispiele für ein Netzwerk sind unter anderem ein Personal Area Network (PAN), ein Storage Area Network (SAN), ein Home Area Network (HAN), ein Campus Area Network (CAN), ein Local Area Network (LAN), ein Wide Area Network (WAN), ein Metropolitan Area Network (MAN), ein Virtual Private Network (VPN), ein Enterprise Private Network (EPN), das Internet, ein Global Area Network (GAN) und so weiter.Examples of a network include a personal area network (PAN), a storage area network (SAN), a home area network (HAN), a campus area network (CAN), a local area network (LAN), a wide area Network (WAN), a Metropolitan Area Network (MAN), a Virtual Private Network (VPN), an Enterprise Private Network (EPN), the Internet, a Global Area Network (GAN), and so on.

1 zeigt ein Blockdiagramm eines Systems zur Sprachsteuerung durch virtuelle Assistenten unter Verwendung von Deep Learning gemäß einer Ausführungsform der vorliegenden Offenbarung. Das System 100 umfasst ein lernendes Verarbeitungsmodell 102 zur Durchführung von sematischem Parsing, das dann auf das Problem des vollständigen Umschaltens der regulären Sprache angewendet wird, um ein Aktivitätsprogramm für Mandelhelfer auszulösen. 1 10 shows a block diagram of a system for voice control by virtual assistants using deep learning according to an embodiment of the present disclosure. The system 100 includes a learning processing model 102 for performing sematic parsing, which is then applied to the full-toggle regular language toggling problem to trigger an almond helper activity program.

In einer Ausführungsform wird ein einschichtiges seq2seq-Verarbeitungsmodell 104 verwendet, das mit einer Betrachtungsschicht ausgeführt und mit Satzstrukturbeschränkungen und verschiedenen RNN-Zellen untersucht wird, wobei sein aktueller Datensatz 106 genutzt wird und der Vorbereitungssatz durch Ausprobieren verschiedener Dinge auf verschiedene Weise erweitert wird.In one embodiment, a single layer seq2seq processing model 104 is used, running with a view layer and examined with sentence structure constraints and different RNN cells, using its current dataset 106 and expanding the preparation set by trying different things in different ways.

In einer Ausführungsform fungieren Sprachbefehle durch virtuelle Assistenten, die Deep Learning nutzen, als nützliche Helfer.In one embodiment, voice commands act as useful helpers through virtual assistants utilizing deep learning.

In einer Ausführungsform wird eine Weiterentwicklung der regulären Sprachprozeduren so durchgeführt, dass sie mit dem Grad an Kraft und Raffinesse übereinstimmt, den die Kunden von den Hilfskräften erwarten.In one embodiment, an evolution of the regular language procedures is performed to match the level of power and sophistication that customers expect from the assistants.

In einer Ausführungsform werden ein Vorbereitungssatz 108 und ein Testsatz 110 erstellt, die für das Gehirnnetzwerk brauchbar sind bzw. echte Kundeninformationen veranschaulichen.In one embodiment, a preparation set 108 and a test set 110 are created that are useful for the brain network and illustrate real customer information, respectively.

In einer Ausführungsform besteht der Datensatz 106 aus Sätzen mit ihrem geklärten Sprachprogramm, die dann vorverarbeitet werden, um Streitwerte wie Zeichenketten, Zahlen und Hashtags zu unterscheiden, und dann mit einer außergewöhnlichen Symbolik ergänzt werden, die die Art und Anforderung in den Sätzen und im Programm anspricht.In one embodiment, data set 106 consists of sentences with their clarified language program, which are then pre-processed to distinguish issues such as strings, numbers, and hashtags, and then supplemented with unique symbology that reflects the nature and requirement in the sentences and program appeals.

In einer Ausführungsform wird ein vorbereitender Teil des Datensatzes durch die Konsolidierung verschiedener Datensätze entwickelt, die das Mandelprojekt erzielt hatIn one embodiment, a preliminary portion of the dataset is developed by consolidating various datasets that the Mandel project has achieved

In einer Ausführungsform können ein lernendes Verarbeitungsmodell (102) und das einschichtige seq2seq-Verarbeitungsmodell (104) in programmierbaren Hardwarevorrichtungen wie Prozessoren, digitalen Signalprozessoren, zentralen Verarbeitungseinheiten, feldprogrammierbaren Gate-Arrays, programmierbarer Array-Logik, programmierbaren Logikvorrichtungen, Cloud-Verarbeitungssystemen oder dergleichen implementiert werden.In one embodiment, a learning processing model (102) and the single-layer seq2seq processing model (104) can be implemented in programmable hardware devices such as processors, digital signal processors, central processing units, field programmable gate arrays, programmable array logic, programmable logic devices, cloud processing systems, or the like will.

In einer Ausführungsform, die Ausführung der Gruppierung zu Nachfolge-GehirnNetzwerk-Modell nitty gritty durchgeführt wird. Das Modell zielt darauf ab, die Eingabe in natürlicher Sprache (x) zu analysieren und das entsprechende Programm (y) vorherzusagen, das in einer kohärenten Struktur angesprochen wird. Das Modell nimmt x als Eingabe in Form einer Reihe von Wörtern (x = x0x1 - - - x|x|) entgegen und sagt y durch Token (y = y0y1 - - - ylyl) von links nach rechts voraus. Das Lernen wird von den Modellen in zwei Teile geteilt: einen Decoder, der die kodierten Daten verwendet, um herauszufinden, wie die Ergebnis-Token in der Abfolge yj erzeugt werden können, und einen Encoder, der x in eine Vektorrepräsentation Ex umwandelt, indem er Änderungen an den informationsgruppierenden Worteinbettungen we(x) vornimmt.In one embodiment, the execution of the grouping to successor brain network model is performed nitty gritty. The model aims to analyze the natural language input (x) and predict the corresponding program (y) addressed in a coherent structure. The model takes x as input in the form of a series of words (x = x0x1 - - - x|x|) and predicts y by tokens (y = y0y1 - - - ylyl) from left to right. Learning is split by the models into two parts: a decoder, which uses the encoded data to figure out how to generate the result tokens in the sequence yj, and an encoder, which converts x to a vector representation Ex by Makes changes to the information-grouping word embeddings we(x).

In einer Ausführungsform wurde gezeigt, dass die Gesamtgröße der Datensätze und die Anzahl der Grenzen im Vergleichsprogramm Indikatoren für die Komplexität des Programms sind. Geringfügige Hilfsaufträge, die von tatsächlichen Kunden erstellt werden würden, sind nicht in den Sammlungen IFTTT oder Generated informative enthalten. Einige lohnende Projekte sind in The Base and the Author enthalten, obwohl sie nur von einer kleinen Anzahl von Personen geschrieben wurden, die über fundierte Kenntnisse des Frameworks verfügen. Damit bleibt das Problem, eine Testgruppe zu finden, die aus echten Kunden besteht. Es wurde eine Reihe von Techniken angewandt, um Testsätze zu erhalten, die immer besser anwendbar sind, beginnend mit Informationen, die im Wesentlichen mit dem Vorbereitungsmaterial übereinstimmen, bis hin zu Informationen, die den tatsächlichen Kundeninformationen so ähnlich sind wie möglich.In one embodiment, it has been shown that the total size of the datasets and the number of bounds in the comparison program are indicators of the complexity of the program. Minor auxiliary jobs that would be created by actual customers are not included in the IFTTT or Generated Informational collections. A few worthwhile projects are included in The Base and the Author, although they are written by only a small number of people who have a working knowledge of the ver put. This leaves the problem of finding a test group made up of real customers. A number of techniques have been employed to obtain test sets that are increasingly applicable, starting with information that is essentially consistent with the prep material and ending with information that is as similar as possible to the actual customer information.

In einer Ausführungsform haben die verschiedenen Almond-Testsätze gezeigt, dass der vorgeschlagene Parser gemischte Ergebnisse zeigt. Er übertrifft den Spitzenreiter um etwa 10 % bei den entworfenen Benchmarks, während er bei realistischen Kundendaten um etwa 16 % unterdurchschnittlich abschneidet. Darüber hinaus wird gezeigt, dass der vorgeschlagene Parser genauso gut oder besser als das aktuelle Almond-Framework ist, was die Erweiterbarkeit auf Vermutungen angeht. Dies wird erwartet, wenn das Framework bei den vorgeschlagenen Benchmarks die gleiche Leistung wie SEMPRE erbringt; zu diesem Zeitpunkt wird es tatsächlich implementiert werden. Um dies zu erreichen, muss die Frage der Benutzerfreundlichkeit angegangen werden, denn im Gegensatz zu SEMPRE bietet der vorgeschlagene Parser dem Kunden nicht die Möglichkeit, den Partner zu wechseln. Das Problem der Online-Erweiterbarkeit muss ebenfalls angegangen werden. Im derzeitigen Rahmen kann sich der Parser an das Fehlen von Informationen für neue Geräte und neue Bereiche anpassen, aber er kann dies nicht in einem internetbasierten Design tun und muss ohne jegliche Vorbereitung auf einen größeren Ergebnisraum vorbereitet werden.In one embodiment, the various Almond test sets have shown that the proposed parser shows mixed results. It outperforms the leader by about 10% on the designed benchmarks, while underperforming by about 16% on real-world customer data. Furthermore, it is shown that the proposed parser is as good as or better than the current Almond framework in terms of guesswork extensibility. This is expected if the framework performs the same as SEMPER on the proposed benchmarks; at that point it will actually be implemented. In order to achieve this, the issue of usability must be addressed because, unlike SEMPER, the proposed parser does not offer the customer the possibility to switch partners. The issue of online extensibility also needs to be addressed. In the current framework, the parser can adapt to the lack of information for new devices and new areas, but it cannot do this in an internet-based design and must be prepared for a larger result space without any preparation.

2 zeigt ein Workflow-Diagramm des Anmeldevorgangs durch den Benutzer gemäß einer Ausführungsform der vorliegenden Offenbarung. Aus dem Diagramm ist ersichtlich, wie sich ein Benutzer erfolgreich anmelden kann. Wenn die Kennwort- und Benutzernamen-Authentifizierung erfolgreich ist, geht der Benutzer zur Multi-View-Gesichtserkennungs-Authentifizierung über, woraufhin sich der Benutzer erfolgreich angemeldet hat. 2 12 shows a workflow diagram of the user sign-up process, according to an embodiment of the present disclosure. The diagram shows how a user can successfully log in. If the password and username authentication succeeds, the user proceeds to multi-view face recognition authentication, after which the user is successfully logged in.

3 zeigt ein Workflow-Diagramm von Sprachbefehlen durch virtuelle Assistenten unter Verwendung von Deep Learning gemäß einer Ausführungsform der vorliegenden Offenbarung. Die Abbildung zeigt den Prozess der Sprachbefehle durch die virtuellen Assistenten unter Verwendung von Deep Learning. 3 12 shows a workflow diagram of voice commands by virtual assistants using deep learning according to an embodiment of the present disclosure. The figure shows the process of voice commands by the virtual assistants using deep learning.

Die Figuren und die vorangehende Beschreibung geben Beispiele für Ausführungsformen. Der Fachmann wird verstehen, dass eines oder mehrere der beschriebenen Elemente durchaus zu einem einzigen Funktionselement kombiniert werden können. Alternativ dazu können bestimmte Elemente in mehrere Funktionselemente aufgeteilt werden. Elemente aus einer Ausführungsform können einer anderen Ausführungsform hinzugefügt werden. So kann beispielsweise die Reihenfolge der hier beschriebenen Prozesse geändert werden und ist nicht auf die hier beschriebene Weise beschränkt. Darüber hinaus müssen die Aktionen eines Flussdiagramms nicht in der gezeigten Reihenfolge ausgeführt werden; auch müssen nicht unbedingt alle Aktionen durchgeführt werden. Auch können die Handlungen, die nicht von anderen Handlungen abhängig sind, parallel zu den anderen Handlungen ausgeführt werden. Der Umfang der Ausführungsformen ist durch diese spezifischen Beispiele keineswegs begrenzt. Zahlreiche Variationen sind möglich, unabhängig davon, ob sie in der Beschreibung explizit aufgeführt sind oder nicht, wie z. B. Unterschiede in der Struktur, den Abmessungen und der Verwendung von Materialien. Der Umfang der Ausführungsformen ist mindestens so groß wie in den folgenden Ansprüchen angegeben.The figures and the preceding description give examples of embodiments. Those skilled in the art will understand that one or more of the elements described may well be combined into a single functional element. Alternatively, certain elements can be broken down into multiple functional elements. Elements from one embodiment may be added to another embodiment. For example, the order of the processes described herein may be changed and is not limited to the manner described herein. Additionally, the actions of a flowchart need not be performed in the order shown; Also, not all actions have to be carried out. Also, the actions that are not dependent on other actions can be performed in parallel with the other actions. The scope of the embodiments is in no way limited by these specific examples. Numerous variations are possible, regardless of whether they are explicitly mentioned in the description or not, e.g. B. Differences in structure, dimensions and use of materials. The scope of the embodiments is at least as broad as indicated in the following claims.

Vorteile, andere Vorzüge und Problemlösungen wurden oben im Hinblick auf bestimmte Ausführungsformen beschrieben. Die Vorteile, Vorzüge, Problemlösungen und Komponenten, die dazu führen können, dass ein Vorteil, ein Nutzen oder eine Lösung auftritt oder ausgeprägter wird, sind jedoch nicht als kritisches, erforderliches oder wesentliches Merkmal oder Komponente eines oder aller Ansprüche zu verstehen.Advantages, other benefits, and solutions to problems have been described above with respect to particular embodiments. However, the benefits, advantages, problem solutions, and components that can cause an advantage, benefit, or solution to occur or become more pronounced are not to be construed as a critical, required, or essential feature or component of any or all claims.

BezugszeichenlisteReference List

100100: Ein System für die Sprachsteuerung durch virtuelle Assistenten unter Verwendung von Deep.A system for voice control by virtual assistants using Deep.
102102: Ein lernendes VerarbeitungsmodellA learning processing model
104104: Ein einschichtiges seq2seq-VerarbeitungsmodellA single tier seq2seq processing model
106106: Datensatzrecord
108108: Ein VorbereitungssatzA prep set
110110: Testsatztest set
202202: Benutzername-Passwort-AuthentifizierungUsername-Password Authentication
204204: Ist sie korrektIs she correct?
206206: Kann AIPAI nicht aktivierenCannot enable AIPAI
208208: Authentifizierung durch Gesichtserkennung mit mehreren AnsichtenFace recognition authentication with multiple views
210210: Ist die Gesichtserkennung erfolgreichIs face recognition successful?
212212: LOGIN ist erfolgreichLOGIN is successful
214214: NEINNO
216216: JAYES
302302: Gesundheitsdienstleister und Agenturenhealthcare providers and agencies
304304: Datenbank für NotfallinformationenEmergency Information Database
306306: Technologie-Anbietertechnology provider
308308: Sprachassistent (VA)Voice Assistant (VA)
310310: EndnutzerEnd User

Claims

system after claim 1 , in which voice commands are used as an aid by virtual assistants using deep learning.

system after claim 1 , evolving the regular language procedures in a manner consistent with the level of power and sophistication that clients have come to expect from auxiliaries.

system after claim 1 , constructing a preparatory set and a test set that are useful for the brain network and that represent real customer information, respectively.

system after claim 1 , where the record of sentences speaks with their clarified matter program, which is then preprocessed to distinguish items at issue such as strings, numbers, and hashtags, and then replaced with an exceptional symbol that addresses the type and requirement in the sentences and in the program .

system after claim 1 , where a preliminary part of the dataset is developed by consolidating various datasets obtained by the Mandel project.