DE202023103975U1

DE202023103975U1 - System for intelligently storing and retrieving data in data flows/tasks

Info

Publication number: DE202023103975U1
Application number: DE202023103975.8U
Authority: DE
Original assignee: Rubiscape Pvt Ltd
Current assignee: Rubiscape Pvt Ltd
Priority date: 2023-07-16
Filing date: 2023-07-16
Publication date: 2023-10-12
Anticipated expiration: 2033-07-17

Abstract

Ein System zum intelligenten Speichern und Abrufen von Daten im Datenfluss, bestehend aus:
eine Eingabeverarbeitungseinheit, die so konfiguriert ist, dass sie die Transaktion oder Aufgaben vorverarbeitet, wobei einige Transaktionen die Struktur der Eingabedaten intakt halten, während andere die Struktur der Eingabedaten irreversibel ändern ;
eine Flag-Verarbeitungseinheit, die so konfiguriert ist, dass sie ein Flag namens Carry-Forward-Flag einrichtet, das die Unterscheidung der Transaktionen erleichtert; Und
eine Transaktionsverarbeitungseinheit, die so konfiguriert ist, dass sie die Transaktionen verarbeitet, indem sie durch Implementierung eines rekursiven Algorithmus nur durch die Transaktion geänderte Daten in einem Cache-Speicher speichert.

A system for intelligent storage and retrieval of data in the data flow, consisting of:
an input processing unit configured to preprocess the transaction or tasks, where some transactions keep the structure of the input data intact while others irreversibly change the structure of the input data;
a flag processing unit configured to establish a flag called a carry-forward flag that facilitates distinction between transactions; And
a transaction processing unit configured to process the transactions by storing only data changed by the transaction in a cache memory by implementing a recursive algorithm.

Description

GEBIET DER ERFINDUNGFIELD OF THE INVENTION

Die vorliegende Offenbarung betrifft ein System zum intelligenten Speichern und Abrufen von Daten im Datenfluss. Insbesondere bezieht sich die vorliegende Offenbarung auf die Verbesserung der Datenabrufleistung durch die Verwendung von Zwischenspeicher/Cache während der Datenverarbeitung.The present disclosure relates to a system for intelligently storing and retrieving data in the data flow. In particular, the present disclosure relates to improving data retrieval performance through the use of buffering/cache during data processing.

HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION

Daten bestimmen heute jede Branche. Die richtigen Entscheidungen werden getroffen, wenn die richtigen Daten zum richtigen Zeitpunkt verfügbar sind. Für das Training und die Erstellung von Modellen für Workloads auf Basis von künstlicher Intelligenz (KI) und maschinellem Lernen (ML) sind riesige Datenmengen erforderlich. Damit diese Modelle kontinuierlich funktionieren, müssen wir auch kontinuierlich Daten nutzen.Data determines every industry today. The right decisions are made when the right data is available at the right time. Training and building models for artificial intelligence (AI) and machine learning (ML)-based workloads requires massive amounts of data. In order for these models to work continuously, we also need to continuously use data.

KI erfordert die Fähigkeit, große Datenmengen zu analysieren und zu speichern. Allerdings werden dadurch die Rechenleistung und die Datenspeicherung stärker beansprucht.AI requires the ability to analyze and store large amounts of data. However, this places greater demands on computing power and data storage.

Große Datenmengen und deren Speicherung behindern die Optimierungsfähigkeit der Verarbeitungsleistung und der Maschine. In Apps, die derzeit für die Datenorchestrierung zwischen Aktivitäten verwendet werden, werden Daten direkt gestreamt oder vollständig über den Cache übertragen. Die nächste Aufgabe empfängt alle Daten im Cache, wodurch die Datenredundanz erhöht wird.Large amounts of data and their storage hinder the ability to optimize processing performance and the machine. In apps currently used for data orchestration between activities, data is streamed directly or transferred entirely via cache. The next task receives all data in cache, increasing data redundancy.

Der herkömmliche Ansatz zur Datenverarbeitung weist verschiedene Einschränkungen auf, wie zum Beispiel: Erfordernis von mehr Ressourcen aufgrund der Datengröße für die Verarbeitung und Speicherung der Eingabe- und Ausgabedatenblöcke in jeder Phase; Bedarf an mehr Rechenleistung, wodurch die Gesamtleistung des Prozesses verringert wird; und Abhängigkeit der gesamten Ressourcen-, Rechenleistungs- und Zeitverschwendung von der bei der jeweiligen Transaktion verarbeiteten Datenmenge.The traditional approach to data processing has various limitations such as: requiring more resources due to the data size for processing and storing the input and output data blocks at each stage; Need for more computing power, reducing the overall performance of the process; and dependence of the total resource, computing power and time wasted on the amount of data processed in the respective transaction.

Um diese Einschränkungen zu überwinden, besteht daher ein Bedarf an einer effizienten und intelligenten Datenspeicherungs- und -abruftechnik, die zu einer geringeren Ressourcennutzung und damit zu einer schnelleren Datenverarbeitung führen kann.Therefore, to overcome these limitations, there is a need for an efficient and intelligent data storage and retrieval technique that can result in lower resource utilization and hence faster data processing.

Aus der vorstehenden Diskussion wird deutlich, dass ein Bedarf an einem System zur intelligenten Speicherung und zum Abruf von Daten im Datenfluss besteht.From the above discussion, it is clear that there is a need for a system for intelligent data storage and retrieval in data flow.

ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Die vorliegende Offenbarung betrifft ein System zum intelligenten Speichern und Abrufen von Daten im Datenfluss. Das vorgeschlagene System nutzt Zwischenspeicher/Cache während der Datenverarbeitung. Der herkömmliche Ansatz für die Datenspeicherung und den Datenabruf weist viele große Nachteile auf, z. B. erfordert er aufgrund der großen zu verarbeitenden Datenmenge mehr Ressourcen und benötigt mehr Rechenleistung, was zu einer Verringerung der Gesamtleistung führt. Diese Nachteile können jedoch überwunden werden, indem das vorgeschlagene System zur intelligenten Speicherung und zum Abruf von Daten verwendet wird, wobei für die Datenverarbeitung ein Zwischenspeicher oder Cache verwendet wird, was zu einer Reduzierung der für die Verarbeitung erforderlichen Ressourcen und Energie führt.The present disclosure relates to a system for intelligently storing and retrieving data in the data flow. The proposed system uses temporary storage/cache during data processing. The traditional approach to data storage and retrieval has many major disadvantages, such as: B. Due to the large amount of data to be processed, it requires more resources and requires more computing power, which leads to a reduction in overall performance. However, these disadvantages can be overcome by using the proposed system for intelligent data storage and retrieval, using a buffer or cache for data processing, resulting in a reduction in the resources and energy required for processing.

Es ist eine Aufgabe der Erfindung ein System zum intelligenten Speichern und Abrufen von Daten im Datenfluss bereitzustellen. Das System umfasst: eine Eingabeverarbeitungseinheit, die zur Vorverarbeitung der Transaktion oder Aufgaben konfiguriert ist, wobei einige Transaktionen die Struktur der Eingabedaten intakt halten, während andere die Struktur der Eingabedaten irreversibel ändern; eine Flag-Verarbeitungseinheit, die so konfiguriert ist, dass sie ein Flag namens Carry-Forward-Flag einrichtet, das die Unterscheidung der Transaktionen erleichtert; und eine Transaktionsverarbeitungseinheit, die so konfiguriert ist, dass sie die Transaktionen verarbeitet, indem sie durch Implementierung eines rekursiven Algorithmus nur durch die Transaktion geänderte Daten in einem Cache-Speicher speichert.It is an object of the invention to provide a system for intelligently storing and retrieving data in the data flow. The system includes: an input processing unit configured to preprocess the transaction or tasks, where some transactions keep the structure of the input data intact while others irreversibly change the structure of the input data; a flag processing unit configured to establish a flag called a carry-forward flag that facilitates distinction between transactions; and a transaction processing unit configured to process the transactions by storing only data changed by the transaction in a cache memory by implementing a recursive algorithm.

Ein Ziel der vorliegenden Offenbarung besteht darin, ein System zum intelligenten Speichern und Abrufen von Daten im Datenfluss bereitzustellen.An objective of the present disclosure is to provide a system for intelligently storing and retrieving data in the data flow.

Ein weiteres Ziel der vorliegenden Offenbarung besteht darin, im vorgeschlagenen intelligenten Ansatz Zwischenspeicher oder Cache für die Datenverarbeitung zu verwenden.Another aim of the present disclosure is to use intermediate memory or cache for data processing in the proposed intelligent approach.

Ein weiteres Ziel der vorliegenden Offenbarung besteht darin, einen Ansatz zur Differenzierung der Eingabetransaktionen oder -aufgaben bereitzustellen, indem ein Flag namens Carry-Forward-Flag (CF) eingerichtet wird.Another objective of the present disclosure is to provide an approach to differentiate the input transactions or tasks by establishing a flag called the carry forward flag (CF).

Ein weiteres Ziel der vorliegenden Offenbarung besteht darin, die Mängel des herkömmlichen Ansatzes zum Speichern und Abrufen von Daten zu überwinden.Another goal of the present disclosure is to overcome the shortcomings of the traditional approach to data storage and retrieval.

Um die Vorteile und Merkmale der vorliegenden Offenbarung weiter zu verdeutlichen, erfolgt eine detailliertere Beschreibung der Erfindung unter Bezugnahme auf spezifische Ausführungsformen davon, die in den beigefügten Zeichnungen dargestellt sind. Es versteht sich, dass diese Zeichnungen nur typische Ausführungsformen der Erfindung darstellen und daher nicht als deren Umfang einschränkend anzusehen sind. Die Erfindung wird anhand der beigefügten Zeichnungen genauer und detaillierter beschrieben und erläutert.In order to further illustrate the advantages and features of the present disclosure, a more detailed description of the invention will be made with reference to specific embodiments thereof shown in the accompanying drawings. It is understood that these drawings represent only typical embodiments of the invention and are therefore not to be viewed as limiting its scope. The invention is described and explained in more detail and in greater detail with reference to the accompanying drawings.

KURZBESCHREIBUNG DER FIGURENBRIEF DESCRIPTION OF THE FIGURES

Diese und andere Merkmale, Aspekte und Vorteile der vorliegenden Offenbarung werden besser verständlich, wenn die folgende detaillierte Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen gelesen wird, in denen in den Zeichnungen gleiche Bezugszeichen gleiche Teile darstellen, wobei:

1 veranschaulicht ein Blockdiagramm eines Systems zum intelligenten Speichern und Abrufen von Daten im Datenfluss gemäß einer Ausführungsform der vorliegenden Offenbarung;
2 veranschaulicht ein Blockdiagramm eines herkömmlichen Ansatzes zur Datenspeicherung und -übertragung gemäß einer Ausführungsform der vorliegenden Offenbarung;
3 zeigt ein Blockdiagramm des vorgeschlagenen intelligenten Ansatzes für die Datenspeicherung und -übertragung gemäß einer Ausführungsform der vorliegenden Offenbarung; Und
4A und 4B veranschaulichen zwei alternative Ausführungsformen des vorgeschlagenen Systems gemäß einer Ausführungsform der vorliegenden Offenbarung.

These and other features, aspects and advantages of the present disclosure will be better understood when the following detailed description is read with reference to the accompanying drawings, in which like reference numerals represent like parts throughout the drawings, in which:

1 illustrates a block diagram of a system for intelligently storing and retrieving data in the data flow according to an embodiment of the present disclosure;
2 illustrates a block diagram of a conventional approach to data storage and transmission in accordance with an embodiment of the present disclosure;
3 shows a block diagram of the proposed intelligent approach to data storage and transmission according to an embodiment of the present disclosure; And
4A and 4B illustrate two alternative embodiments of the proposed system in accordance with an embodiment of the present disclosure.

Darüber hinaus werden erfahrene Handwerker erkennen, dass Elemente in den Zeichnungen der Einfachheit halber dargestellt sind und möglicherweise nicht unbedingt maßstabsgetreu gezeichnet wurden. Beispielsweise veranschaulichen die Flussdiagramme die Methode anhand der wichtigsten Schritte, die dazu beitragen, das Verständnis von Aspekten der vorliegenden Offenbarung zu verbessern. Darüber hinaus können im Hinblick auf die Konstruktion des Geräts eine oder mehrere Komponenten des Geräts in den Zeichnungen durch herkömmliche Symbole dargestellt worden sein, und die Zeichnungen zeigen möglicherweise nur die spezifischen Details, die für das Verständnis der Ausführungsformen der vorliegenden Offenbarung relevant sind um die Zeichnungen nicht durch Details zu verdecken, die für den Durchschnittsfachmann auf dem Gebiet, der Nutzen aus der Beschreibung hierin zieht, leicht ersichtlich sind.Additionally, experienced craftsmen will recognize that elements in the drawings are presented for convenience and may not necessarily have been drawn to scale. For example, the flowcharts illustrate the method through key steps that help improve understanding of aspects of the present disclosure. Additionally, in view of the construction of the device, one or more components of the device may have been represented in the drawings by conventional symbols, and the drawings may show only the specific details relevant to understanding the embodiments of the present disclosure around the drawings not to be obscured by details that would be readily apparent to one of ordinary skill in the art who would benefit from the description herein.

DETAILLIERTE BESCHREIBUNG:DETAILED DESCRIPTION:

Um das Verständnis der Prinzipien der Erfindung zu fördern, wird nun auf die in den Zeichnungen dargestellte Ausführungsform Bezug genommen und für deren Beschreibung eine spezifische Sprache verwendet. Es versteht sich jedoch, dass dadurch keine Einschränkung des Umfangs der Erfindung beabsichtigt ist, da Änderungen und weitere Modifikationen des dargestellten Systems und weitere Anwendungen der darin dargestellten Prinzipien der Erfindung in Betracht gezogen werden, wie sie einem Fachmann normalerweise in den Sinn kommen würden in der Technik, auf die sich die Erfindung bezieht.In order to promote understanding of the principles of the invention, reference will now be made to the embodiment shown in the drawings and specific language will be used to describe the same. It is to be understood, however, that this is not intended to limit the scope of the invention, since changes and further modifications to the system illustrated and further applications of the principles of the invention set forth therein are contemplated as would normally occur to one skilled in the art Technology to which the invention relates.

Der Fachmann versteht, dass die vorstehende allgemeine Beschreibung und die folgende detaillierte Beschreibung beispielhaft und erläuternd für die Erfindung sind und diese nicht einschränken sollen.It will be understood by those skilled in the art that the foregoing general description and the following detailed description are exemplary and illustrative of the invention and are not intended to limit the same.

Verweise in dieser Spezifikation auf „einen Aspekt“, „einen anderen Aspekt“ oder eine ähnliche Sprache bedeuten, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder ein bestimmtes Merkmal, das in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform der vorliegenden Offenbarung enthalten ist. Daher beziehen sich die Formulierungen „in einer Ausführungsform“, „in einer anderen Ausführungsform“ und ähnliche Formulierungen in dieser Spezifikation möglicherweise, aber nicht unbedingt, auf dieselbe Ausführungsform.References in this specification to “an aspect,” “another aspect,” or similar language mean that a particular feature, structure, or characteristic described in connection with the embodiment is included in at least one embodiment of the present disclosure is included. Therefore, the phrases “in one embodiment,” “in another embodiment,” and similar phrases in this specification may, but not necessarily, refer to the same embodiment.

Die Begriffe „umfasst“, „umfassend“ oder andere Variationen davon sollen eine nicht ausschließliche Einbeziehung abdecken, sodass ein Prozess oder eine Methode, die eine Liste von Schritten umfasst, nicht nur diese Schritte umfasst, sondern möglicherweise andere Schritte nicht umfasst ausdrücklich aufgeführt oder diesem Prozess oder dieser Methode innewohnend sind. Ebenso schließen ein oder mehrere Geräte oder Subsysteme oder Elemente oder Strukturen oder Komponenten, denen „umfasst...a“ vorangestellt ist, nicht ohne weitere Einschränkungen die Existenz anderer Geräte oder anderer Subsysteme oder anderer Elemente oder anderer Strukturen aus andere Komponenten oder zusätzliche Geräte oder zusätzliche Subsysteme oder zusätzliche Elemente oder zusätzliche Strukturen oder zusätzliche Komponenten.The terms “includes,” “comprising,” or other variations thereof are intended to cover non-exclusive inclusion, such that a process or method that includes a list of steps not only includes those steps, but may include other steps not specifically listed or following this inherent in the process or method. Likewise, one or more devices or subsystems or elements or structures or components prefixed with "comprises...a" do not exclude, without further limitation, the existence of other devices or other subsystems or other elements or other structures from other components or additional devices or additional subsystems or additional elements or additional structures or additional components.

Sofern nicht anders definiert, haben alle hier verwendeten technischen und wissenschaftlichen Begriffe die gleiche Bedeutung, wie sie von einem Durchschnittsfachmann auf dem Gebiet, zu dem diese Erfindung gehört, allgemein verstanden werden. Das hier bereitgestellte System, die Methoden und Beispiele dienen nur der Veranschaulichung und sollen nicht einschränkend sein.Unless otherwise defined, all technical and scientific terms used herein have the same meaning as generally understood by one of ordinary skill in the art to which this invention pertains. The system provided here, the methods and examples are for illustrative purposes only and are not intended to be limiting.

Ausführungsformen der vorliegenden Offenbarung werden im Folgenden ausführlich unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.Embodiments of the present disclosure are described in detail below with reference to the accompanying drawings.

Die in dieser Spezifikation beschriebenen Funktionseinheiten sind als Geräte gekennzeichnet. Ein Gerät kann in programmierbaren Hardwaregeräten wie Prozessoren, digitalen Signalprozessoren, Zentraleinheiten, feldprogrammierbaren Gate-Arrays, programmierbarer Array-Logik, programmierbaren Logikgeräten, Cloud-Verarbeitungssystemen oder dergleichen implementiert werden. Die Geräte können auch in Software zur Ausführung durch verschiedene Prozessortypen implementiert werden. Ein identifiziertes Gerät kann ausführbaren Code enthalten und beispielsweise einen oder mehrere physische oder logische Blöcke von Computeranweisungen umfassen, die beispielsweise als Objekt, Prozedur, Funktion oder anderes Konstrukt organisiert sein können. Dennoch muss die ausführbare Datei eines identifizierten Geräts nicht physisch zusammen angeordnet sein, sondern kann aus unterschiedlichen, an unterschiedlichen Orten gespeicherten Anweisungen bestehen, die, wenn sie logisch zusammengefügt werden, das Gerät bilden und den angegebenen Zweck des Geräts erfüllen.The functional units described in this specification are identified as devices. A device may be implemented in programmable hardware devices such as processors, digital signal processors, central processing units, field programmable gate arrays, programmable array logic, programmable logic devices, cloud processing systems, or the like. The devices can also be implemented in software for execution by different types of processors. An identified device may contain executable code and, for example, include one or more physical or logical blocks of computer instructions, which may be organized, for example, as an object, procedure, function, or other construct. However, the executable file of an identified device does not have to be physically located together, but may consist of different instructions stored in different locations, which, when logically assembled, form the device and fulfill the stated purpose of the device.

Tatsächlich könnte ein ausführbarer Code eines Geräts oder Moduls eine einzelne Anweisung oder mehrere Anweisungen sein und sogar über mehrere verschiedene Codesegmente, zwischen verschiedenen Anwendungen und über mehrere Speichergeräte verteilt sein. In ähnlicher Weise können Betriebsdaten hier innerhalb des Geräts identifiziert und dargestellt werden und können in jeder geeigneten Form verkörpert und in jeder geeigneten Art von Datenstruktur organisiert werden. Die Betriebsdaten können als einzelner Datensatz erfasst oder über verschiedene Standorte, einschließlich verschiedener Speichergeräte, verteilt werden und können zumindest teilweise als elektronische Signale in einem System oder Netzwerk vorliegen.In fact, a device or module's executable code could be a single instruction or multiple instructions, and even distributed across several different code segments, between different applications and across multiple storage devices. Similarly, operational data may be identified and represented herein within the device and may be embodied in any suitable form and organized into any suitable type of data structure. The operational data may be collected as a single data set or distributed across various locations, including various storage devices, and may exist, at least in part, as electronic signals in a system or network.

Verweise in dieser Spezifikation auf „eine ausgewählte Ausführungsform“, „eine Ausführungsform“ oder „eine Ausführungsform“ bedeuten, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder ein bestimmtes Merkmal, das in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform des offenbarten Gegenstands enthalten ist. Daher beziehen sich die Ausdrücke „eine ausgewählte Ausführungsform“, „in einer Ausführungsform“ oder „in einer Ausführungsform“ an verschiedenen Stellen in dieser Spezifikation nicht unbedingt auf dieselbe Ausführungsform.References in this specification to “a selected embodiment,” “an embodiment,” or “an embodiment” mean that a particular feature, structure, or feature described in connection with the embodiment is disclosed in at least one embodiment of the Item is included. Therefore, the expressions “a selected embodiment,” “in one embodiment,” or “in one embodiment” used elsewhere in this specification do not necessarily refer to the same embodiment.

Darüber hinaus können die beschriebenen Merkmale, Strukturen oder Eigenschaften in einer oder mehreren Ausführungsformen auf jede geeignete Weise kombiniert werden. In der folgenden Beschreibung werden zahlreiche spezifische Details bereitgestellt, um ein umfassendes Verständnis der Ausführungsformen des offenbarten Gegenstands zu ermöglichen. Ein Fachmann auf dem betreffenden Gebiet wird jedoch erkennen, dass der offenbarte Gegenstand ohne eines oder mehrere der spezifischen Details oder mit anderen Methoden, Komponenten, Materialien usw. in die Praxis umgesetzt werden kann. In anderen Fällen können wohlbekannte Strukturen, Materialien, oder Vorgänge werden nicht im Detail gezeigt oder beschrieben, um Aspekte des offengelegten Gegenstands nicht zu verschleiern.Additionally, the features, structures, or properties described may be combined in any suitable manner in one or more embodiments. In the following description, numerous specific details are provided to provide a thorough understanding of embodiments of the disclosed subject matter. However, one skilled in the art will recognize that the disclosed subject matter may be practiced without one or more of the specific details or with other methods, components, materials, etc. In other cases, well-known structures, materials, or processes may not be shown or described in detail so as not to obscure aspects of the subject matter disclosed.

Gemäß den beispielhaften Ausführungsformen können die offenbarten Computerprogramme oder -module auf viele beispielhafte Arten ausgeführt werden, beispielsweise als Anwendung, die sich im Speicher eines Geräts befindet, oder als gehostete Anwendung, die auf einem Server ausgeführt wird und mit diesem kommuniziert Geräteanwendung oder Browser über eine Reihe von Standardprotokollen wie TCP/IP, HTTP, XML, SOAP, REST, JSON und andere ausreichende Protokolle. Die offenbarten Computerprogramme können in beispielhaften Programmiersprachen geschrieben sein, die aus dem Speicher des Geräts oder von einem gehosteten Server ausgeführt werden, wie etwa BASIC, COBOL, C, C++, Java, Pascal, oder Skriptsprachen wie JavaScript, Python, Ruby, PHP, Perl oder andere geeignete Programmiersprachen.According to exemplary embodiments, the disclosed computer programs or modules may be executed in many exemplary ways, for example, as an application residing in a device's memory or as a hosted application executing on and communicating with a server via a device application or browser Set of standard protocols such as TCP/IP, HTTP, XML, SOAP, REST, JSON and other sufficient protocols. The disclosed computer programs may be written in exemplary programming languages that are executed from the device's memory or from a hosted server, such as BASIC, COBOL, C, C++, Java, Pascal, or scripting languages such as JavaScript, Python, Ruby, PHP, Perl or other suitable programming languages.

Einige der offenbarten Ausführungsformen beinhalten oder beinhalten auf andere Weise die Datenübertragung über ein Netzwerk, beispielsweise die Übermittlung verschiedener Eingaben oder Dateien über das Netzwerk. Das Netzwerk kann beispielsweise eines oder mehrere der folgenden Elemente umfassen: Internet, Wide Area Networks (WANs), Local Area Networks (LANs), analoge oder digitale drahtgebundene und drahtlose Telefonnetzwerke (z. B. ein PSTN, Integrated Services Digital Network (ISDN)). , ein Mobilfunknetz und Digital Subscriber Line (xDSL), Radio, Fernsehen, Kabel, Satellit und/oder andere Übertragungs- oder Tunnelmechanismen zur Datenübertragung. Das Netzwerk kann mehrere Netzwerke oder Teilnetzwerke umfassen, von denen jedes beispielsweise einen drahtgebundenen oder drahtlosen Datenweg umfassen kann. Das Netzwerk kann ein leitungsvermitteltes Sprachnetzwerk, ein paketvermitteltes Datennetzwerk oder jedes andere Netzwerk umfassen, das elektronische Kommunikation übertragen kann. Das Netzwerk kann beispielsweise Netzwerke umfassen, die auf dem Internetprotokoll (IP) oder dem asynchronen Übertragungsmodus (ATM) basieren, und kann Sprache beispielsweise mithilfe von VoIP, Voice-over-ATM oder anderen vergleichbaren Protokollen unterstützen, die für Sprachdatenkommunikation verwendet werden. In einer Implementierung umfasst das Netzwerk ein Mobilfunknetz, das so konfiguriert ist, dass es den Austausch von Text- oder SMS-Nachrichten ermöglicht.Some of the disclosed embodiments involve or otherwise involve data transmission over a network, such as the transmission of various inputs or files over the network. The network may include, for example, one or more of the following: Internet, Wide Area Networks (WANs), Local Area Networks (LANs), analog or digital wired and wireless telephone networks (e.g. a PSTN, Integrated Services Digital Network (ISDN) ). , a cellular network and Digital Subscriber Line (xDSL), radio, television, cable, satellite and/or other transmission or tunneling mechanisms for data transmission. The network may include multiple networks or subnetworks, each of which may include, for example, a wired or wireless data path. The network may include a circuit-switched voice network, a packet-switched data network, or any other network capable of transmitting electronic communications. The For example, network may include networks based on Internet Protocol (IP) or Asynchronous Transfer Mode (ATM), and may support voice using, for example, VoIP, Voice over ATM, or other comparable protocols used for voice data communications. In one implementation, the network includes a cellular network configured to enable the exchange of text or SMS messages.

Beispiele für das Netzwerk sind unter anderem ein Personal Area Network (PAN), ein Storage Area Network (SAN), ein Home Area Network (HAN), ein Campus Area Network (CAN) und ein Local Area Network (LAN).), ein Wide Area Network (WAN), ein Metropolitan Area Network (MAN), ein Virtual Private Network (VPN), ein Enterprise Private Network (EPN), Internet, ein Global Area Network (GAN) und so weiter.Examples of the network include a Personal Area Network (PAN), a Storage Area Network (SAN), a Home Area Network (HAN), a Campus Area Network (CAN) and a Local Area Network (LAN).), a Wide Area Network (WAN), a Metropolitan Area Network (MAN), a Virtual Private Network (VPN), an Enterprise Private Network (EPN), Internet, a Global Area Network (GAN) and so on.

1 zeigt ein Blockdiagramm eines Systems zum intelligenten Speichern und Abrufen von Daten im Datenfluss gemäß einer Ausführungsform der vorliegenden Offenbarung. Das System (100) umfasst eine Eingabeverarbeitungseinheit (102), die zur Vorverarbeitung der Transaktion oder Aufgaben konfiguriert ist, wobei einige Transaktionen die Struktur der Eingabedaten intakt halten, während andere die Struktur der Eingabedaten irreversibel ändern. 1 shows a block diagram of a system for intelligently storing and retrieving data in the data flow according to an embodiment of the present disclosure. The system (100) includes an input processing unit (102) configured to preprocess the transaction or tasks, where some transactions keep the structure of the input data intact while others irreversibly change the structure of the input data.

In einer Ausführungsform ist eine Flag-Verarbeitungseinheit (104) so konfiguriert, dass sie ein Flag namens Carry-Forward-Flag einrichtet, das die Unterscheidung der Transaktionen erleichtert.In one embodiment, a flag processing unit (104) is configured to establish a flag called a carry-forward flag that facilitates distinction between transactions.

In einer Ausführungsform ist eine Transaktionsverarbeitungseinheit (106) so konfiguriert, dass sie die Transaktionen verarbeitet, indem sie durch Implementierung eines rekursiven Algorithmus nur durch die Transaktion geänderte Daten in einem Cache-Speicher speichert.In one embodiment, a transaction processing unit (106) is configured to process the transactions by storing only data changed by the transaction in a cache memory by implementing a recursive algorithm.

In einer Ausführungsform wird zunächst die Reihenfolge der Transaktionen oder Aufgaben notiert, wobei die meisten Transaktionen spaltenweise Daten verwenden.In one embodiment, the order of transactions or tasks is first noted, with most transactions using columnar data.

In einer Ausführungsform kann das Ändern der Datenstruktur das Löschen von Duplikatdaten, das Konvertieren von Daten von einem Format in ein anderes und das Filtern der Daten umfassen.In one embodiment, changing the data structure may include deleting duplicate data, converting data from one format to another, and filtering the data.

In einer Ausführungsform wird der Wert von CF auf 1 gesetzt, wenn eine Transaktion die Daten auf eine Weise verarbeitet hat, dass sie direkt mit der Eingabe korreliert werden können, und der Wert von CF wird auf 0 gesetzt, wenn eine Transaktion die Daten auf eine Weise verarbeitet, die dies nicht zulässt direkt mit der Eingabe korreliert sein.In one embodiment, the value of CF is set to 1 if a transaction has processed the data in a way that it can be directly correlated with the input, and the value of CF is set to 0 if a transaction has processed the data on a Processed in a way that does not allow it to be directly correlated with the input.

In einer Ausführungsform erfolgt eine Optimierung der Transaktionsdatenspeicherung nur, wenn die Datenstruktur intakt bleibt.In one embodiment, optimization of transaction data storage occurs only if the data structure remains intact.

In einer Ausführungsform wird den verschiedenen Transaktionen nur der Datenblock übergeben, den sie verarbeiten müssen.In one embodiment, the various transactions are only given the block of data that they need to process.

In einer Ausführungsform werden andere Datenblöcke nur übergeben, wenn die Aufgabe dies anfordert und der Wert von CF vor der Weitergabe der Daten auf 1 überprüft wird, wobei durch diesen Ansatz die Notwendigkeit der Weitergabe, Verarbeitung und Speicherung der Daten entfällt Daten werden eliminiert.
dieser Art von separat weitergegeben werden können Transaktionen sind bekannt.In one embodiment, other blocks of data are passed only when the task requests it and the value of CF is checked for 1 before passing the data, with this approach eliminating the need to pass, process and store the data.
This type of transactions can be passed on separately.

In einer Ausführungsform wird die Gesamtgeschwindigkeit des Prozesses zum Speichern und Abrufen von Daten verbessert und der Ressourcenbedarf verringert, da nicht alle Daten an jede Transaktion weitergegeben werden.In one embodiment, the overall speed of the data storage and retrieval process is improved and resource requirements are reduced because not all data is passed to every transaction.

In einer Ausführungsform können die Eingabeverarbeitungseinheit (102), die Flag-Verarbeitungseinheit (104) und die Transaktionsverarbeitungseinheit (106) in programmierbaren Hardwaregeräten wie Prozessoren, digitalen Signalprozessoren, zentralen Verarbeitungseinheiten und feldprogrammierbaren Gattern implementiert sein Arrays, programmierbare Array-Logik, programmierbare Logikgeräte, Cloud-Verarbeitungssysteme oder dergleichen.In one embodiment, the input processing unit (102), the flag processing unit (104), and the transaction processing unit (106) may be implemented in programmable hardware devices such as processors, digital signal processors, central processing units, field programmable gate arrays, programmable array logic, programmable logic devices, cloud -Processing systems or the like.

2 zeigt ein Blockdiagramm eines herkömmlichen Ansatzes zur Datenspeicherung und -übertragung gemäß einer Ausführungsform der vorliegenden Offenbarung. Die Verarbeitung erfolgt durch Weitergabe aller Daten an alle Transaktionen. Dadurch erhöht sich der Ressourcenbedarf und die Bearbeitungszeit. 2 shows a block diagram of a conventional approach to data storage and transmission in accordance with an embodiment of the present disclosure. Processing is carried out by passing on all data to all transactions. This increases the resource requirements and processing time.

Die durch T1, T2 und T3 gekennzeichneten mehreren Transaktionsphasen sind in dargestellt. Darüber hinaus werden die Datenblöcke D1, D2, D3, D4, D1', D2' und D3' angezeigt.The multiple transaction phases marked by T1, T2 and T3 are in shown. In addition, data blocks D1, D2, D3, D4, D1', D2' and D3' are displayed.

Transaktion T1 hat als Eingänge D1, D2, D3 und D4. Die Ausgabedatenblöcke der Transaktion T1 sind D1', D2, D3 und D4. D1' sind die Daten, die durch Transaktion T1 geändert wurden. Die Datenblöcke D2, D3 und D4 bleiben dabei unverändert.Transaction T1 has as inputs D1, D2, D3 and D4. The output data blocks of transaction T1 are D1', D2, D3 and D4. D1' is the data changed by transaction T1. The data blocks D2, D3 and D4 remain unchanged.

Traditionell empfängt T2 alle diese Datenblöcke. Dies zeigt an, dass D1', D2, D3 und D4 den Eingang von T2 bilden. Das Produkt von T2 ist D2'. Die Datenblöcke D1', D3 und D4 bleiben in diesem Fall unverändert.Traditionally, T2 receives all of these data blocks. This indicates that D1', D2, D3 and D4 form the entrance to T2. The product of T2 is D2'. The Data blocks D1', D3 and D4 remain unchanged in this case.

Typischerweise empfängt T3 alle diese Datenblöcke. Dies zeigt an, dass D1', D2', D3 und D4 die Eingänge von T3 sind. Die Ausgabe von T3 ist D3'. Die Datenblöcke D1', D2' und D4 bleiben in diesem Fall unverändert.Typically, T3 receives all of these data blocks. This indicates that D1', D2', D3 and D4 are the inputs of T3. The output of T3 is D3'. The data blocks D1', D2' and D4 remain unchanged in this case.

Mit anderen Worten: Nicht alle Transaktionen verarbeiten alle weitergegebenen Datenblöcke. Dennoch werden diese Datenblöcke immer wieder übertragen und gespeichert.In other words, not all transactions process all blocks of data passed. Nevertheless, these data blocks are transmitted and stored again and again.

Die Datenstruktur bleibt bei einigen Transaktionen erhalten. Einige Transaktionen verändern die Datenstruktur irreversibel. Sie entfernen beispielsweise doppelte Daten, übersetzen Daten zwischen Formaten, filtern die Daten und so weiter. Die Eliminierung der Datenduplizierung wird einfach sein, wenn diese Transaktionen gefunden werden können. Daher weist der herkömmliche Ansatz verschiedene Einschränkungen auf, wie z. B. den Bedarf an mehr Ressourcen aufgrund der großen Datenmenge, eine verringerte Gesamtleistung aufgrund des Bedarfs an mehr Verarbeitungsleistung und die Abhängigkeit von der Anzahl der Transaktionen.The data structure is preserved in some transactions. Some transactions change the data structure irreversibly. For example, they remove duplicate data, translate data between formats, filter the data, and so on. Eliminating data duplication will be easy if these transactions can be found. Therefore, the traditional approach has various limitations such as: B. the need for more resources due to the large amount of data, reduced overall performance due to the need for more processing power, and the dependency on the number of transactions.

Daher ist es notwendig, einen intelligenten Ansatz für eine solche Datenverarbeitung bereitzustellen, um die Gesamtleistung zu verbessern.Therefore, it is necessary to provide an intelligent approach to such data processing to improve overall performance.

3 zeigt ein Blockdiagramm des vorgeschlagenen intelligenten Ansatzes für die Datenspeicherung und -übertragung gemäß einer Ausführungsform der vorliegenden Offenbarung. 3 shows a block diagram of the proposed intelligent approach to data storage and transmission according to an embodiment of the present disclosure.

Bei diesem intelligenten Ansatz, wie in dargestellt, wird zunächst eine Liste der Transaktionen und Aufgaben in der richtigen Reihenfolge erstellt. Bei den meisten Transaktionen werden spaltenweise Daten verwendet. Bei einigen dieser Transaktionen bleibt die Datenstruktur weiterhin erhalten. Einige Transaktionen verändern die Datenstruktur irreversibel. Sie entfernen beispielsweise doppelte Daten, übersetzen Daten zwischen Formaten, filtern die Daten und so weiter.With this intelligent approach, as in presented, a list of transactions and tasks is first created in the correct order. Most transactions use columnar data. In some of these transactions, the data structure is still preserved. Some transactions change the data structure irreversibly. For example, they remove duplicate data, translate data between formats, filter the data, and so on.

Es wird ein Flag gesetzt, um diese Transaktionen als eindeutig zu kennzeichnen. Der offizielle Name lautet Carry-forward Flag (CF).A flag is set to mark these transactions as unique. The official name is Carry-forward Flag (CF).

Der Wert von CF wird auf 1 gesetzt, wenn eine Transaktion die Daten so verarbeitet, dass sie direkt mit der Eingabe verbunden werden können.The value of CF is set to 1 when a transaction processes the data so that it can be connected directly to the input.

Der Wert von CF wird immer dann auf 0 gesetzt, wenn eine Transaktion die Daten so ändert, dass sie nicht sofort mit der Eingabe verbunden werden können.The value of CF is set to 0 whenever a transaction changes the data such that it cannot be immediately associated with the input.

Die Optimierung der Transaktionsdatenspeicherung erfolgt nur, wenn die Datenstruktur intakt bleibt (CF = 1).Transactional data storage optimization occurs only when the data structure remains intact (CF = 1).

Die Verarbeitung erfolgt schneller, indem nur geänderte Daten im Cache gespeichert werden. Der Prozess verwendet einen rekursiven Algorithmus.Processing is faster by only storing changed data in the cache. The process uses a recursive algorithm.

zeigt, dass verschiedene Transaktionen nur den Datenblock erhalten, den sie zum Abschluss benötigen. Nur T1 empfängt alle Datenblöcke. T1 erzeugt also D1' als Ausgang. T2 erhält nur einen Eingang, D2, und einen Ausgang, D2'. Ähnlich wie bei T2 ist der Eingang von T3 D3 und der Ausgang D3'. shows that different transactions only receive the block of data they need to complete. Only T1 receives all data blocks. So T1 generates D1' as an output. T2 only receives one input, D2, and one output, D2'. Similar to T2, the input of T3 is D3 and the output is D3'.

Andere Datenblöcke werden erst gesendet, wenn der Job dies ausdrücklich erfordert. Vor der Übertragung der Daten wird überprüft, ob CF den Wert 1 hat. Dadurch besteht keine Notwendigkeit mehr, unnötige Daten weiterzugeben, zu verarbeiten und zu speichern.Other data blocks are not sent until the job specifically requires it. Before the data is transferred, it is checked whether CF has the value 1. This eliminates the need to share, process and store unnecessary data.

Beachten Sie, dass die Daten nicht gesendet werden können, wenn CF 0 ist, da die nächste Transaktion nicht damit verknüpft werden kann. Da diese Transaktionen bekannt sind, können die ersten Eingabeinformationen, die für die nachfolgenden Transaktionen erforderlich sind, unabhängig weitergegeben werden.Note that if CF is 0, the data cannot be sent because the next transaction cannot be associated with it. Because these transactions are known, the initial input information required for subsequent transactions can be propagated independently.

Der Prozess ist insgesamt deutlich schneller und verbraucht weniger Ressourcen, da nicht bei jedem Vorgang alle Daten übertragen werden.Overall, the process is significantly faster and uses fewer resources because not all data is transferred during each process.

Daher hat das vorgeschlagene System zur intelligenten Datenspeicherung und -abfrage mehrere unten aufgeführte Vorteile:

1. Durch das Verfahren werden weniger Ressourcen zur Speicherung der Daten benötigt. Daher ist die Verwendung eines Caches optimal.
2. Bei Bedarf können weitere Daten an die nachfolgenden Transaktionsschritte übermittelt werden.
3. Das Verfahren steigert die Produktivität und Verarbeitungsgeschwindigkeit.
4. Der Wert 1 (CF) des Carry-Forward-Flags identifiziert Situationen, in denen Daten geändert wurden. Daher führt die Abfrage von Eingabedaten nicht zu Verwirrung.

Therefore, the proposed intelligent data storage and retrieval system has several advantages listed below:

1. The process requires fewer resources to store the data. Therefore, using a cache is optimal.
2. If necessary, further data can be transmitted to the subsequent transaction steps.
3. The process increases productivity and processing speed.
4. The value 1 (CF) of the carry forward flag identifies situations in which data has been changed. Therefore, querying input data does not cause confusion.

Die 4A und 4B veranschaulichen zwei alternative Ausführungsformen des vorgeschlagenen Systems gemäß einer Ausführungsform der vorliegenden Offenbarung. Die zeigt die Entschlüsselung und Verschlüsselung am Anfang und Ende des Prozesses, und die zeigt die Entschlüsselung und Verschlüsselung am Anfang und Ende der TransaktionThe 4A and 4B illustrate two alternative embodiments of the proposed system in accordance with an embodiment of the present disclosure. The shows the decryption and encryption at the beginning and end of the process, and the show the Decryption and encryption at the beginning and end of the transaction

In einer Ausführungsform werden die Daten bei der Prozessanfangs- und Prozessende-Entschlüsselung und -Verschlüsselung nur in verschlüsselter Form gespeichert, weitergegeben und abgerufen. Somit bleibt die Sicherheit der Daten gewahrt. Die Ver- und Entschlüsselung erfolgt am Anfang des Systems, wenn die Systemblöcke integriert sind.In one embodiment, during start-of-process and end-of-process decryption and encryption, the data is stored, shared, and accessed only in encrypted form. This ensures the security of the data. Encryption and decryption occurs at the beginning of the system when the system blocks are integrated.

In einer Ausführungsform kann im Fall der Entschlüsselung und Verschlüsselung am Anfang der Transaktion und am Ende der Transaktion die Entschlüsselung und Verschlüsselung zwischen den Transaktionen erfolgen, wenn ein verteiltes System vorhanden ist.In one embodiment, in the case of decryption and encryption at the beginning of the transaction and at the end of the transaction, the decryption and encryption can occur between transactions when a distributed system is present.

In einer Ausführungsform reduziert die Transaktionsdatenspeicherfunktionalität von Rubiscape die Komplexität der Daten. Die Funktionalität gewährleistet eine sichere Datenkonnektivität und reduziert die Redundanz von Daten.In one embodiment, Rubiscape's transactional data storage functionality reduces the complexity of the data. The functionality ensures secure data connectivity and reduces data redundancy.

Das Ziel dieser Idee besteht darin, den Umfang der benötigten redundanten Datenspeicherung zu minimieren. Diese Methode zur Optimierung der Transaktionsdatenspeicherung dient als Grundlage für die Datenverarbeitung von Rubiscape . Dadurch wird die Redundanz im Datenspeicher des Geräts verringert. Die Transactional Data Storage Optimization (TDSO)-Funktion der Rubiscape-Plattform erleichtert die Kontrolle der Datenkomplexität und Verarbeitungsleistung. Es gewährleistet die Sicherheit der gespeicherten Daten mithilfe der Verschlüsselung. Dadurch können Big-Data-/KI-/NΠ,-Anwendungen auf Geräten mit geringerer Speicher- und Verarbeitungskapazität bereitgestellt werden.The goal of this idea is to minimize the amount of redundant data storage required. This method of optimizing transactional data storage serves as the basis for Rubiscape's data processing. This reduces redundancy in the device's data storage. The Rubiscape platform's Transactional Data Storage Optimization (TDSO) feature makes it easy to control data complexity and processing performance. It ensures the security of stored data using encryption. This allows big data/AI/NΠ, applications to be deployed on devices with lower storage and processing capacity.

Die Zeichnungen und die vorstehende Beschreibung geben Beispiele für Ausführungsformen. Fachleute werden erkennen, dass eines oder mehrere der beschriebenen Elemente durchaus zu einem einzigen Funktionselement kombiniert werden können. Alternativ können bestimmte Elemente in mehrere Funktionselemente aufgeteilt werden. Elemente einer Ausführungsform können zu einer anderen Ausführungsform hinzugefügt werden. Beispielsweise können die Reihenfolgen der hier beschriebenen Prozesse geändert werden und sind nicht auf die hier beschriebene Weise beschränkt. Darüber hinaus müssen die Aktionen eines Flussdiagramms nicht in der gezeigten Reihenfolge implementiert werden; Es müssen auch nicht unbedingt alle Handlungen ausgeführt werden. Auch solche Handlungen, die nicht von anderen Handlungen abhängig sind, können parallel zu den anderen Handlungen durchgeführt werden. Der Umfang der Ausführungsformen wird durch diese spezifischen Beispiele keineswegs eingeschränkt. Zahlreiche Variationen, ob explizit in der Spezifikation angegeben oder nicht, wie z. B. Unterschiede in Struktur, Abmessung und Materialverwendung, sind möglich. Der Umfang der Ausführungsformen ist mindestens so breit wie durch die folgenden Ansprüche angegeben.The drawings and the description above provide examples of embodiments. Those skilled in the art will recognize that one or more of the elements described can certainly be combined into a single functional element. Alternatively, certain elements can be divided into several functional elements. Elements of one embodiment may be added to another embodiment. For example, the orders of the processes described herein may be changed and are not limited to the manner described herein. Additionally, the actions of a flowchart do not have to be implemented in the order shown; Not all actions necessarily have to be carried out. Even those actions that are not dependent on other actions can be carried out in parallel with the other actions. The scope of the embodiments is in no way limited by these specific examples. Numerous variations, whether explicitly stated in the specification or not, such as: B. Differences in structure, dimensions and material use are possible. The scope of the embodiments is at least as broad as indicated by the following claims.

Vorteile, andere Vorzüge und Problemlösungen wurden oben im Hinblick auf spezifische Ausführungsformen beschrieben. Die Vorteile, Vorzüge, Problemlösungen und alle Komponenten, die dazu führen können, dass ein Nutzen, ein Vorteil oder eine Lösung eintritt oder ausgeprägter wird, dürfen jedoch nicht als kritische, erforderliche oder wesentliche Funktion oder Komponente von ausgelegt werden einzelne oder alle Ansprüche.Advantages, other benefits, and solutions to problems have been described above with respect to specific embodiments. However, the advantages, benefits, solutions to problems and any components that may cause a benefit, advantage or solution to occur or become more pronounced should not be construed as a critical, necessary or essential function or component of any or all of the claims.

REFERENZENCREDENTIALS

100100: Ein System für die intelligente Speicherung und den Abruf von Daten im Datenfluss.A system for intelligent storage and retrieval of data in the data flow.
102102: Eine EingabeverarbeitungseinheitAn input processing unit
104104: Eine Flag-VerarbeitungseinheitA flag processing unit
106106: Eine TransaktionsverarbeitungseinheitA transaction processing unit

Claims

System after Claim 1 , where the first sequence of transactions or tasks is noted, with most transactions using columnar data.

System after Claim 1 , where changing the data structure can include deleting duplicate data, converting data from one format to another, and filtering the data.

System after Claim 1 , where the value of CF is set to 1 if a transaction has processed the data so that it is directly connected to the input input can be correlated, and the value of CF is set to 0 when a transaction processes the data so that it cannot be directly correlated with the input.

System after Claim 1 , where optimization of transactional data storage only occurs if the data structure remains intact.

System after Claim 1 , where different transactions are given only the block of data they need to process.

System after Claim 1 , where other data blocks are passed only when the task requests it and the value of CF is checked for 1 before passing the data, this approach eliminates the need to pass, process, and store unnecessary data.

System after Claim 1 , where if the value of CF is 0, the data cannot be propagated since it cannot be correlated by the subsequent transaction, where the original input data required by the subsequent transactions can be propagated separately since these Type of transactions are known.

System after Claim 1 , improving the overall speed of the data storage and retrieval process and reducing resource requirements since not all data is passed to every transaction.