DE202021106924U1

DE202021106924U1 - A system for the inchoative integration of visual information retrieval

Info

Publication number: DE202021106924U1
Application number: DE202021106924.4U
Authority: DE
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-12-20
Filing date: 2021-12-20
Publication date: 2022-01-14
Anticipated expiration: 2031-12-21

Abstract

Ein System für die inchoative Integration einer visuell basierten Bildsuche, wobei das System Folgendes umfasst:
eine Vorverarbeitungseinheit, die für die Bildrekonstruktion und Bildwiederherstellung unter Verwendung eines künstlichen neuronalen Netzes konfiguriert ist;
eine Merkmalsextraktionseinheit zum Extrahieren eines Satzes von Parametern aus dem rekonstruierten und wiederhergestellten Bild;
eine Segmentierungseinheit zur Segmentierung extrahierter Merkmale unter Verwendung einer Wavelet-Transformation, die eine Wavelet-Textur als quasi periodische Muster mit einer räumlichen Darstellung transformiert, die das Bild in mindestens vier Teilbilder und Skalen zerlegt;
eine Objekterkennungseinheit zur Erkennung von Objekten gemäß den segmentierten Merkmalen und vier Teilbildern und dem Maßstab; und
eine Steuereinheit zum Abrufen von Bildern unter Verwendung einer kombinierten Merkmalstransformation mit Clustering-Ansatz.

A system for the inchoative integration of a visual-based image search, the system comprising:
a pre-processing unit configured for image reconstruction and image restoration using an artificial neural network;
a feature extraction unit for extracting a set of parameters from the reconstructed and restored image;
a segmentation unit for segmenting extracted features using a wavelet transform that transforms a wavelet texture as a quasi-periodic pattern with a spatial representation that decomposes the image into at least four sub-images and scales;
an object recognition unit for recognizing objects according to the segmented features and four partial images and the scale; and
a controller for retrieving images using a combined feature transformation with clustering approach.

Description

GEBIET DER ERFINDUNGFIELD OF THE INVENTION

Die vorliegende Offenbarung bezieht sich auf ein System zur inchoativen Integration von bildbasiertem Informationsabruf. Genauer gesagt, basiert das System auf einem neuronalen Netzwerkansatz, um Rückmeldungen von der höchsten Ebene zu liefern, um jede Änderung der Operation auf den unteren Ebenen zu implementieren, wobei die Bildverarbeitung in Richtung Vision-Ansatz geht.The present disclosure relates to a system for inchoative integration of image-based information retrieval. More specifically, the system is based on a neural network approach to provide feedback from the highest level to implement any change in operation on the lower levels, with image processing moving towards the vision approach.

HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION

Informationsextraktionssysteme, die multimodale Suche einer der Dateien, die die Suchfunktion des Systems erhalten / multimodale Daten in verschiedenen Formen von Text-, Bild-, Audio- und Videoangeboten verbinden. Die Popularität von Multimedia-Manipulation in diesen Tagen erfordert eine intelligente und effiziente Methode der Verwaltung einer riesigen Menge von Multimedia-Inhalten.Information extraction systems, the multimodal search of any of the files that receive the system's search function / connect multimodal data in various forms of text, image, audio and video offers. The popularity of multimedia manipulation these days requires a smart and efficient way of managing a huge amount of multimedia content.

Die Zunahme der wissenschaftlichen Gemeinschaften und eine Reihe internationaler, nationaler und industrieller Projekte haben zu einer Intensivierung des Multimedia-Journalismus geführt. Die neuesten Technologien konzentrieren sich nicht mehr nur auf einzelne Medienextraktionssysteme, sondern auf multimodale Retrievalmaschinen. Diese Entwicklung ist vor allem für das Wachstum der Mainstream-Anliegen wie „Zeigen Sie mir das Video und die damit verbundenen Dokumente gewährt Darlehen für Melodien und Fragmente“ (spielen kann) oder „Gib mir alle Medien (Texte, Bilder, Video, Audio), die die“ Daten, die in der gleichen Art und Weise eingeben.Die Explosion der massiv steigenden digitalen Multimedia-Informationen in Form von Audio-, Video-, und Bilder hat den Weg für Internet-und Computer-Nutzer, um eine große Datenbank für Inhalte zu suchen eröffnet. Im Zusammenhang mit der visuellen Informationsverarbeitung und der Bildverarbeitung bleibt die Frage, wie man effizient nützliche Informationen aus solchen riesigen Datenbanken extrahieren kann, die den Bedürfnissen der Benutzer entsprechen, ein verlockendes Problem für die Forscher. Der Begriff VBIR (Vision Based Information Retrieval) bezieht sich auf die Nutzung von Low-Level-Elementen wie Farbe, Textur, Form und räumliche Anordnung zur Informationssuche. Das Bild im VBIR-System wird vom Benutzer als Abfrage in Form eines Bildes oder einer Skizze eingegeben, und die übereinstimmenden ähnlichen Bilder werden mit Hilfe verschiedener Bildmerkmalsextraktionsmethoden abgerufen. Das Ähnlichkeitsmaß wird berechnet, indem für jedes Bild Merkmalsvektoren konstruiert werden, die den Merkmalsraum der Datenbank bilden, und verwandte Bilder mit Hilfe einer Indexierungsstrategie abgerufen werden, wobei die Bilder entsprechend dem Ähnlichkeitsmaß geordnet werden.The growth of scholarly communities and a range of international, national and industry projects have led to an intensification of multimedia journalism. The latest technologies are no longer just focused on single media extraction systems, but on multi-modal retrieval engines. This development is mainly responsible for the growth of mainstream concerns such as "Show me the video and related documents grants loans for tunes and fragments" (can play) or "Give me all media (lyrics, images, video, audio) The "data entering" in the same way. The explosion of massively increasing digital multimedia information in the form of audio, video, and images has paved the way for Internet and computer users to create a large database open to search for content. In the context of visual information processing and image processing, the question of how to efficiently extract useful information from such vast databases that match users' needs remains a tantalizing problem for researchers. The term VBIR (Vision Based Information Retrieval) refers to the use of low-level elements such as color, texture, shape and spatial arrangement to search for information. The image in the VBIR system is entered by the user as a query in the form of an image or sketch, and the matching similar images are retrieved using various image feature extraction methods. The similarity measure is computed by constructing, for each image, feature vectors that make up the database's feature space and retrieving related images using an indexing strategy, ordering the images according to the similarity measure.

Seit den späten 1980er Jahren hat sich der Begriff VBIR in einer Vielzahl von Bereichen durchgesetzt, darunter Datenbankmanagementsysteme, Bildverarbeitung, Computer Vision, Mensch-Computer-Interaktion und maschinelles Lernen. Das VBIR-System steht vor zwei großen Herausforderungen: Die erste ist die Überbrückung der semantischen Kluft zwischen High-Level- und Low-Level-Merkmalen, und die zweite ist die Entwicklung einer effektiven Indizierungstechnik für die Suche nach verwandten Bildern. VBIR konzentriert sich auf die Suche nach Bildern auf der Grundlage ihrer tatsächlichen Eigenschaften wie Farbe, Textur, Form und räumliche Anordnung, was die Abfrage von computergestützten Informationssystemen in Bezug auf Genauigkeit und Leistung effizient macht. Herkömmliche textbasierte Retrievalsysteme beruhen auf der manuellen Beschriftung der Bilder mit Etiketten oder Text und der Suche in großen Datenbanken, was mühsam und zeitaufwändig ist. Im Gegensatz dazu konzentriert sich VBIR auf die Suche nach Bildern auf der Grundlage ihrer tatsächlichen Eigenschaften wie Farbe, Textur, Form und räumliche Anordnung, was es zu einem der grundlegendsten Ansätze für die Extraktion von Merkmalen aus Bildern macht. Farbe hat eine starke Unterscheidungseigenschaft, die durch die menschliche Wahrnehmung visualisiert wird. Die Wahl des richtigen Farbraums ist wichtig, bevor Farbmerkmale extrahiert werden. Es wurden verschiedene farbbasierte Verfahren zur Informationsgewinnung verwendet, darunter Farbhistogramme, Momente, Kohärenz und Korrelogramme. Textur definiert die homogenen Merkmale räumlicher Muster. Daher liefert die Merkmalsextraktion für die Textur-Kategorisierung nützliche Informationen. Statistische Texturmerkmale wie Tamura-Merkmale, World-Merkmale, Co-Occurrence-Matrizen, Fourier-Powerspektren, Gabor-Filter und Wavelets-Transformationen gehören zu den am häufigsten verwendeten Ansätzen für die Texturanalyse von Bildern.Since the late 1980s, the term VBIR has caught on in a variety of fields, including database management systems, image processing, computer vision, human-computer interaction, and machine learning. The VBIR system faces two major challenges: the first is to bridge the semantic gap between high-level and low-level features, and the second is to develop an effective indexing technique to search for related images. VBIR focuses on searching for images based on their actual properties such as color, texture, shape, and spatial arrangement, making querying of computerized information systems efficient in terms of accuracy and performance. Traditional text-based retrieval systems rely on manually annotating images with labels or text and searching large databases, which is tedious and time-consuming. In contrast, VBIR focuses on searching for images based on their actual properties such as color, texture, shape, and spatial arrangement, making it one of the most fundamental approaches to extracting features from images. Color has a strong distinctive quality that is visualized through human perception. Choosing the right color space is important before color features are extracted. Various color-based information retrieval techniques were used, including color histograms, moments, coherence, and correlograms. Texture defines the homogeneous features of spatial patterns. Therefore, feature extraction provides useful information for texture categorization. Statistical texture features such as Tamura features, World features, co-occurrence matrices, Fourier power spectra, Gabor filters, and wavelets transforms are among the most commonly used approaches for texture analysis of images.

Die formbasierte Merkmalsextraktion für das Information Retrieval wird auch verwendet, um die Kontur des Bildes zu erfassen, die entweder auf einer Region oder einem Rand basiert. Dies ist ein wichtiges Merkmal für Bilder, die handgezeichnete Elemente enthalten. Drehwinkel, Fourier-Deskriptoren, Momentinvarianten, Exzentrizität und Orientierung sind einige der am häufigsten verwendeten Ansätze. Bei zwei identischen Farbbildern ist die räumliche Information wichtig, um die Position der Objektregion zu finden. Sie zeigt die Richtungsabhängigkeit der Objekte in Form ihrer oberen, unteren und höheren Positionen sowie die strukturelle Beziehung zwischen den Bildern in Form von links/rechts, oben/unten. Räumliche Informationen werden durch 2D-Strings, räumliche Quad-Trees und symbolische Bilder dargestellt. In den letzten Jahren ist der Bereich der Studien, der sich auf die Auswahl von Multimedia-Inhalten konzentriert, erheblich gewachsen. Die Forschung zum multimodalen Information Retrieval konzentriert sich auf Taktiken, die verschiedene Medienquellen in Echtzeit integrieren, während sich die Forschung zum multimedialen Information Retrieval auf den Prozess und die Zusammenarbeit mit anderen Medien konzentriert, die durch den Inhalt gegeben ist. Auf dem Gebiet der multimodalen Informationsbeschaffung wurden verschiedene Aktivitäten entwickelt, und einige interessante Ergebnisse haben die Wirksamkeit dieser Methode bewiesen.Shape-based feature extraction for information retrieval is also used to capture the contour of the image based on either a region or an edge. This is an important feature for images that contain hand-drawn elements. Angles of rotation, Fourier descriptors, moment invariants, eccentricity and orientation are some of the most commonly used approaches. With two identical color images, the spatial information is important to find the position of the object region. It shows the directional dependency of the objects in the form of their top, bottom and higher positions, as well as the structural relationship between the images in the form of left/right, top/bottom. Spatial information is represented by 2D strings, spatial quad trees, and symbolic pictures shown. In recent years, the field of studies focused on the selection of multimedia content has grown significantly. Research on multimodal information retrieval focuses on tactics that integrate different media sources in real time, while research on multimedia information retrieval focuses on the process and collaboration with other media given by the content. Various activities have been developed in the field of multimodal information retrieval and some interesting results have proved the effectiveness of this method.

Die Suche und das Abrufen von Multimedia-Lerninhalten hat den Erfolg dieser Technik bewiesen, und neuere Forschungen haben die Vorteile der multimodalen Kommunikation in Multimedia-Informationen aufgezeigt. Früher wurde zum Auffinden eines Bildes eine Sammlung von visuellen Funktionen verwendet, um die Grundstruktur des Bildinhalts zu charakterisieren, und dann wurde ein Ähnlichkeitsmaß definiert, um verwandte Bilder zu finden. Bald stellte sich heraus, dass der visuelle Inhalt des Rohmaterials nicht ausreichte, um die erforderlichen Bilder herunterzuladen, was die Einfügung semantischer Informationen erheblich erschwerte.Searching and retrieving multimedia learning content has proven the success of this technique, and recent research has demonstrated the benefits of multimodal communication in multimedia information. Historically, to find an image, a collection of visual features was used to characterize the basic structure of the image's content, and then a similarity measure was defined to find related images. It soon turned out that the visual content of the raw material was not enough to download the necessary images, which made the insertion of semantic information significantly more difficult.

Semantisches Wissen wurde auf verschiedene Weise in bildgestützte Informationsabfragesysteme (VBIR) integriert, darunter fünf grundlegende Methoden. Die erste stützt sich auf eine Ontologie, die geplante Aktionen in semantische Kategorien einteilt. Die zweite Option besteht in der Nutzung des maschinellen Lernens zur automatischen Erkennung des Bildinhalts. Die Interaktion des Benutzers mit dem Hintergrund eines Zufallskreises ermöglicht es, dass semantische Aspekte des Basketballspiels mit den hochrangigen Merkmalen übereinstimmen, die in den beiden folgenden semantischen Retrievalverfahren diskutiert werden. Darüber hinaus hat es eine Low-Level, multimodale Reihe von Bildern der typischen Technik mit Text, die weitgehend die Umgebung von expliziten semantischen Anmerkungen von Bildern zu identifizieren, anstatt Indizierung Bilder nur auf der Grundlage der visuellen Informationen.Semantic knowledge has been integrated into image-based information retrieval (VBIR) systems in a number of ways, including five basic methods. The first relies on an ontology that divides planned actions into semantic categories. The second option is to use machine learning to automatically recognize the image content. The user's interaction with the background of a random circle allows semantic aspects of the basketball game to match the high-level features discussed in the two following semantic retrieval procedures. In addition, it has a low-level, multimodal series of images of the typical technique with text, largely identifying the area surrounding explicit semantic annotations of images, rather than indexing images solely on the basis of visual information.

In Anbetracht der vorangegangenen Diskussion wird deutlich, dass ein System für die unvollständige Integration der visuellen Informationsbeschaffung erforderlich ist.In view of the previous discussion, it becomes clear that a system for the incomplete integration of visual information retrieval is required.

ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Die vorliegende Offenlegung zielt darauf ab, ein automatisiertes System für die inchoative Integration der visuell basierten Informationssuche bereitzustellen.The present disclosure aims to provide an automated system for the inchoative integration of the visually based information search.

In einer Ausführungsform wird ein System für die inchoative Integration von bildbasiertem Informationsabruf offenbart. Das System umfasst eine Vorverarbeitungseinheit, die für die Bildrekonstruktion und - wiederherstellung unter Verwendung einer künstlichen neuronalen Netzwerktechnik konfiguriert ist. Das System umfasst ferner eine Merkmalsextraktionseinheit zum Extrahieren eines Satzes von Parametern aus dem rekonstruierten und wiederhergestellten Bild. Das System enthält ferner eine Segmentierungseinheit zum Segmentieren extrahierter Merkmale unter Verwendung einer Wavelet-Transformation, die eine Wavelet-Textur als quasi periodische Muster mit einer räumlichen Darstellung transformiert, die das Bild in mindestens vier Teilbilder und Skalen zerlegt. Das System umfasst ferner eine Objekterkennungseinheit zur Erkennung von Objekten anhand der segmentierten Merkmale und der vier Teilbilder und des Maßstabs. Das System enthält ferner eine Steuereinheit zum Abrufen von Bildern unter Verwendung einer kombinierten Merkmalstransformation mit einem Clustering-Ansatz.In one embodiment, a system for inchoative integration of image-based information retrieval is disclosed. The system includes a pre-processing unit configured for image reconstruction and restoration using an artificial neural network technique. The system further includes a feature extraction unit for extracting a set of parameters from the reconstructed and restored image. The system further includes a segmentation unit for segmenting extracted features using a wavelet transform that transforms a wavelet texture as a quasi-periodic pattern with a spatial representation that decomposes the image into at least four sub-images and scales. The system also includes an object recognition unit for recognizing objects based on the segmented features and the four partial images and the scale. The system also includes a controller for retrieving images using a combined feature transformation with a clustering approach.

In einer anderen Ausführungsform handelt es sich bei den Parametern um Low-Level-Informationen, die aus einer Gruppe von Farben, Kanten und Texturen ausgewählt werden.In another embodiment, the parameters are low-level information selected from a set of colors, edges, and textures.

In einer anderen Ausführungsform umfasst die Optimierung einer Zielfunktion, die durch einen traditionellen Vorverarbeitungsansatz festgelegt wurde, eine Rauschunterdrückung und eine Farbverbesserung.In another embodiment, the optimization of an objective function specified by a traditional pre-processing approach includes denoising and color enhancement.

In einer anderen Ausführungsform ist die Annäherung an eine mathematische Transformation, die bei der Rekonstruktion durch Regression verwendet wird, wobei eine Regressionsklassifizierung auf Pixeldaten basiert.In another embodiment, the approximation is a mathematical transformation used in reconstruction by regression, where regression classification is based on pixel data.

In einer anderen Ausführungsform wird eine Technik zum Abrufen von Informationen aus Bildern verwendet.In another embodiment, a technique for retrieving information from images is used.

In einer anderen Ausführungsform wird die Ähnlichkeit von Bildern verwendet, um die Komplexität der Informationsgewinnung aus verzerrten Bildern zu minimieren, wobei zur Wiederherstellung des wahren Bildes Bilder oft als Realisierungen eines Zufallsprozesses behandelt werden.In another embodiment, image similarity is used to minimize the complexity of extracting information from distorted images, often treating images as realizations of a random process to recover the true image.

In einer anderen Ausführungsform bieten die neuronalen Netzfelder eine bequeme Plattform für die Nutzung der semantischen Kontextabhängigkeiten des Bildes.In another embodiment, the neural network arrays provide a convenient platform for exploiting the image's semantic context dependencies.

In einer anderen Ausführungsform wird ein Satz verschiedener Kernel in einer nicht-parametrischen Dichteschätzung zusammen mit der Verwendung von Con-Gyrationen verwendet, die semantische Beziehungen zwischen Konzepten gleichzeitig als Low-Level-Merkmale untersuchen.In another embodiment, a set of different kernels is used in a non-parametric density estimation along with the use of con-gyrations, the semanti cal relationships between concepts simultaneously as low-level features.

In einer anderen Ausführungsform wird die automatische Bildbeschriftung mit Hilfe einer Lerntechnik durchgeführt, bei der eine Maschine, Ideen und Bilder aus einem vordefinierten Vokabular semantisch beschriftet werden.In another embodiment, the automatic image labeling is performed using a learning technique that semantically labels a machine, ideas, and images from a predefined vocabulary.

In einer anderen Ausführungsform umfasst die Vorverarbeitung einen niedrigstufigen, multimodalen Satz von Bildern des traditionellen Ansatzes, um die Vorteile des Textes zu nutzen, der in erster Linie die Umgebung expliziter semantischer Anmerkungen zu Bildern erkennt, im Gegensatz zur Indizierung von Bildern unter Verwendung ausschließlich visueller Informationen.In another embodiment, the pre-processing involves a low-level, multi-modal set of images of the traditional approach to take advantage of text primarily recognizing the environment of explicit semantic annotations on images, as opposed to indexing images using only visual information .

Ein Ziel der vorliegenden Offenbarung ist die Entwicklung eines Systems zur Kombination von Merkmalstransformation mit einem Clustering-Ansatz zur effizienten InformationsbeschaffungA goal of the present disclosure is to develop a system for combining feature transformation with a clustering approach for efficient information retrieval

Ein weiteres Ziel der vorliegenden Offenbarung ist es, den Betrieb auf der unteren Ebene bedeutet Bildverarbeitung folgen in Richtung Vision Ansatz.Another aim of the present disclosure is to follow the operation on the lower level means image processing towards vision approach.

Ein weiteres Ziel der vorliegenden Erfindung ist es, ein schnelles und kosteneffizientes System für die unmittelbare Integration der visuellen Informationsbeschaffung bereitzustellen.Another object of the present invention is to provide a fast and cost-effective system for the direct integration of visual information retrieval.

Zur weiteren Verdeutlichung der Vorteile und Merkmale der vorliegenden Offenbarung wird eine genauere Beschreibung der Erfindung durch Bezugnahme auf bestimmte Ausführungsformen gegeben, die in den beigefügten Figuren dargestellt sind. Es wird davon ausgegangen, dass diese Figuren nur typische Ausführungsformen der Erfindung darstellen und daher nicht als Einschränkung des Umfangs der Erfindung zu betrachten sind. Die Erfindung wird mit zusätzlicher Spezifität und Detail mit den beigefügten Figuren beschrieben und erläutert werden.In order to further clarify the advantages and features of the present disclosure, a more detailed description of the invention is provided by reference to specific embodiments that are illustrated in the accompanying figures. It is understood that these figures represent only typical embodiments of the invention and therefore should not be considered as limiting the scope of the invention. The invention will be described and illustrated with additional specificity and detail with the accompanying figures.

KURZBESCHREIBUNG DER ZAHLENBRIEF DESCRIPTION OF THE NUMBERS

Diese und andere Merkmale, Aspekte und Vorteile der vorliegenden Offenbarung werden besser verstanden, wenn die folgende detaillierte Beschreibung unter Bezugnahme auf die beigefügten Figuren gelesen wird, in denen gleiche Zeichen gleiche Teile in den Figuren darstellen, wobei:

1 zeigt ein Blockdiagramm eines Systems für die inchoative Integration der bildgestützten Informationsbeschaffung gemäß einer Ausführungsform der vorliegenden Offenbarung.

These and other features, aspects, and advantages of the present disclosure will be better understood when the following detailed description is read with reference to the accompanying figures, in which like characters represent like parts throughout the figures, wherein:

1 10 shows a block diagram of a system for inchoative integration of image-based information retrieval according to an embodiment of the present disclosure.

Der Fachmann wird verstehen, dass die Elemente in den Figuren der Einfachheit halber dargestellt sind und nicht unbedingt maßstabsgetreu gezeichnet wurden. Die Flussdiagramme veranschaulichen beispielsweise das Verfahren anhand der wichtigsten Schritte, um das Verständnis der Aspekte der vorliegenden Offenbarung zu verbessern. Darüber hinaus kann es sein, dass ein oder mehrere Bauteile der Vorrichtung in den Figuren durch herkömmliche Symbole dargestellt sind, und dass die Figuren nur die spezifischen Details zeigen, die für das Verständnis der Ausführungsformen der vorliegenden Offenbarung relevant sind, um die Figuren nicht mit Details zu überfrachten, die für Fachleute, die mit der vorliegenden Beschreibung vertraut sind, leicht erkennbar sind.Those skilled in the art will understand that the elements in the figures are presented for simplicity and are not necessarily drawn to scale. For example, the flow charts illustrate the method of key steps to enhance understanding of aspects of the present disclosure. Furthermore, one or more components of the device may be represented in the figures by conventional symbols, and the figures only show the specific details relevant to an understanding of the embodiments of the present disclosure, not to encircle the figures with details to overload, which are easily recognizable to those skilled in the art familiar with the present description.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

Um das Verständnis der Erfindung zu fördern, wird nun auf die in den Figuren dargestellte Ausführungsform Bezug genommen und diese mit bestimmten Worten beschrieben. Es versteht sich jedoch von selbst, dass damit keine Einschränkung des Umfangs der Erfindung beabsichtigt ist, wobei solche Änderungen und weitere Modifikationen des dargestellten Systems und solche weiteren Anwendungen der darin dargestellten Grundsätze der Erfindung in Betracht gezogen werden, wie sie einem Fachmann auf dem Gebiet der Erfindung normalerweise einfallen würden.For the purposes of promoting an understanding of the invention, reference will now be made to the embodiment illustrated in the figures and specific language will be used to describe the same. It should be understood, however, that no limitation on the scope of the invention is intended, and such alterations and further modifications to the illustrated system and such further applications of the principles of the invention set forth therein are contemplated as would occur to those skilled in the art invention would normally come to mind.

Der Fachmann wird verstehen, dass die vorstehende allgemeine Beschreibung und die folgende detaillierte Beschreibung beispielhaft und erläuternd für die Erfindung sind und diese nicht einschränken sollen.Those skilled in the art will understand that the foregoing general description and the following detailed description are exemplary and explanatory of the invention and are not intended to be limiting.

Wenn in dieser Beschreibung von „einem Aspekt“, „einem anderen Aspekt“ oder ähnlichem die Rede ist, bedeutet dies, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft, die im Zusammenhang mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform der vorliegenden Offenbarung enthalten ist. Daher können sich die Ausdrücke „in einer Ausführungsform“, „in einer anderen Ausführungsform“ und ähnliche Ausdrücke in dieser Beschreibung alle auf dieselbe Ausführungsform beziehen, müssen es aber nicht.When this specification refers to "an aspect," "another aspect," or the like, it means that a particular feature, structure, or characteristic described in connection with the embodiment is present in at least one embodiment included in the present disclosure. Therefore, the phrases "in one embodiment," "in another embodiment," and similar phrases throughout this specification may or may not all refer to the same embodiment.

Die Ausdrücke „umfasst“, „enthaltend“ oder andere Variationen davon sollen eine nicht ausschließliche Einbeziehung abdecken, so dass ein Verfahren oder eine Methode, die eine Liste von Schritten umfasst, nicht nur diese Schritte umfasst, sondern auch andere Schritte enthalten kann, die nicht ausdrücklich aufgeführt sind oder zu einem solchen Verfahren oder einer solchen Methode gehören. Ebenso schließen eine oder mehrere Vorrichtungen oder Teilsysteme oder Elemente oder Strukturen oder Komponenten, die mit „umfasst...a“ eingeleitet werden, nicht ohne weitere Einschränkungen die Existenz anderer Vorrichtungen oder anderer Teilsysteme oder anderer Elemente oder anderer Strukturen oder anderer Komponenten oder zusätzlicher Vorrichtungen oder zusätzlicher Teilsysteme oder zusätzlicher Elemente oder zusätzlicher Strukturen oder zusätzlicher Komponenten aus.The terms "comprises,""including," or other variations thereof are intended to cover non-exclusive inclusion such that a method or method that includes a list of steps includes not only those steps, but may also include other steps that are not expressly stated or pertaining to any such process or method. Likewise, one or more devices or subsystems or elements or structures or components encompassed by "comprises...a". does not exclude, without further limitation, the existence of other devices, or other subsystems, or other elements, or other structures, or other components, or additional devices, or additional subsystems, or additional elements, or additional structures, or additional components.

Sofern nicht anders definiert, haben alle hierin verwendeten technischen und wissenschaftlichen Begriffe die gleiche Bedeutung, wie sie von einem Fachmann auf dem Gebiet, zu dem diese Erfindung gehört, allgemein verstanden wird. Das System, die Methoden und die Beispiele, die hier angegeben werden, dienen nur der Veranschaulichung und sind nicht als Einschränkung gedacht.Unless otherwise defined, all technical and scientific terms used herein have the same meaning as commonly understood by one skilled in the art to which this invention pertains. The system, methods, and examples provided herein are for purposes of illustration only and are not intended to be limiting.

Ausführungsformen der vorliegenden Offenbarung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren im Detail beschrieben.Embodiments of the present disclosure are described in detail below with reference to the attached figures.

In 1 ist ein Blockdiagramm eines Systems für die inchoative Integration der bildgestützten Informationsgewinnung gemäß einer Ausführungsform der vorliegenden Offenbarung dargestellt. Das System 100 umfasst eine Vorverarbeitungseinheit 102, die für die Bildrekonstruktion und -wiederherstellung unter Verwendung einer künstlichen neuronalen Netzwerktechnik konfiguriert ist.In 1 Illustrated is a block diagram of a system for inchoative integration of image-based intelligence in accordance with an embodiment of the present disclosure. The system 100 includes a pre-processing unit 102 configured for image reconstruction and recovery using an artificial neural network technique.

In einer Ausführungsform ist eine Merkmalsextraktionseinheit 104 mit der Vorverarbeitungseinheit 102 verbunden, um einen Satz von Parametern aus dem rekonstruierten und wiederhergestellten Bild zu extrahieren.In one embodiment, a feature extraction unit 104 is coupled to the pre-processing unit 102 to extract a set of parameters from the reconstructed and restored image.

In einer Ausführungsform ist eine Segmentierungseinheit 106 mit der Merkmalsextraktionseinheit 104 verbunden, um die extrahierten Merkmale mit Hilfe einer Wavelet-Transformation zu segmentieren, die eine Wavelet-Textur als quasi periodische Muster mit einer räumlichen Darstellung transformiert, die das Bild in mindestens vier Teilbilder und Skalen zerlegt.In one embodiment, a segmentation unit 106 is coupled to the feature extraction unit 104 to segment the extracted features using a wavelet transform, which transforms a wavelet texture as a quasi-periodic pattern with a spatial representation that divides the image into at least four sub-images and scales disassembled.

In einer Ausführungsform ist eine Objekterkennungseinheit 108 mit der Segmentierungseinheit 106 verbunden, um das Objekt anhand der segmentierten Merkmale und der vier Teilbilder und des Maßstabs zu erkennen.In one embodiment, an object recognition unit 108 is connected to the segmentation unit 106 to recognize the object based on the segmented features and the four partial images and the scale.

In einer Ausführungsform ist eine Steuereinheit mit der Objekterkennungseinheit 108 verbunden, um Bilder unter Verwendung einer kombinierten Merkmalstransformation mit einem Clustering-Ansatz abzurufen.In one embodiment, a controller is coupled to the object detection unit 108 to retrieve images using a composite feature transformation with a clustering approach.

In einer anderen Ausführungsform wird ein Satz verschiedener Kernel in einer nicht-parametrischen Dichteschätzung zusammen mit der Verwendung von Con-Gyrationen verwendet, die semantische Beziehungen zwischen Konzepten gleichzeitig als Low-Level-Merkmale untersuchen.In another embodiment, a set of different kernels is used in a non-parametric density estimation along with the use of con-gyrations that examine semantic relationships between concepts simultaneously as low-level features.

In einer anderen Ausführungsform sind die Eigenschaften des Bildes wie Farbe, Form, Textur und räumliche Anordnung wichtige und notwendige Phänomene beim Abrufen eines bestimmten Objektbildes aus dem Speicher, so dass es auch ein notwendiger Aspekt ist, dass die Speicherschnittstelle einen starken Eigenschaftsprozess verfolgen muss, der das Bild in einer Art und Weise mit reduziertem Rauschen, Verbesserung, Extraktion und ihrer Effizienz macht, und wenn der Benutzer dieses Bild von einer Abfrage benötigt, nimmt diese Schnittstelle auch teil, um die richtigen Informationen zur richtigen Zeit mit der richtigen Analyse zu liefern. Ein neues, auf einem Ansatz basierendes Modell, genannt SHODHANI, wurde für diesen Integrationszweck entwickelt. SHODHANI ist ein Sanskrit-Wort, das Reinigungsfilter bedeutet.In another embodiment, the properties of the image such as color, shape, texture and spatial arrangement are important and necessary phenomena when retrieving a specific object image from memory, so it is also a necessary aspect that the memory interface must follow a strong property process, which renders the image in a way with reduced noise, enhancement, extraction and their efficiency, and when the user needs this image from a query, this interface also participates to provide the right information at the right time with the right analysis . A new approach-based model called SHODHANI was developed for this integration purpose. SHODHANI is a Sanskrit word meaning purifying filter.

Low-Level-Computer-Vision-Paradigma Verständnis und Interpretation völlig abhängig von Low-Level-Bildverarbeitung und in Low-Level-Bildverarbeitung Input-und Output-Ansatz immer ein Bild zu einem anderen, so dass das vorgestellte System ist ein System-Modul, mit dem Pre-Processing-Operationen kombiniert und funktioniert einer nach dem anderen in zyklischer Weise zur Verbesserung der Bild-Merkmale und nach der Ausgabe von Merkmalen Bildspeicher Indizierung durchführen in der Datenbank. Es ist also klar, dass das System duale Merkmale der Vision bereitstellt, weil bei der Vision auf niedriger Ebene zwei Dinge notwendig sind:

1. Die Merkmale des Eingangsbildes müssen mit ihren eigenen Eigenschaften (Farbe, Form, Textur und räumliche Anordnung) kategorisiert werden.
2. Die Merkmale des Eingangsbildes erfordern eine einzige Plattform, auf der alle erforderlichen Vorverarbeitungsprozesse (Rauschunterdrückung, Verbesserung, Extraktion und Effizienz) als Schnittstelle fungieren.

Low-level computer vision paradigm understanding and interpretation entirely dependent on low-level image processing, and in low-level image processing input and output approach always one image to another, so the presented system is a system module , Combined with the pre-processing operations and works one after the other in a cyclic manner to improve the image features and after the output of features image memory perform indexing in the database. So it is clear that the system provides dual features of vision because low-level vision requires two things:

1. The features of the input image must be categorized with their own properties (color, shape, texture and spatial arrangement).
2. The characteristics of the input image require a single platform where all the necessary pre-processing processes (noise reduction, enhancement, extraction and efficiency) act as an interface.

In Vision-basierte Information Retrieval hat Feature-Extraktion Teil, durch die die Abfrage Bild erfolgreich in ihren eigenen Merkmalen unterteilt und vergleichen Feature Ähnlichkeit mit Datenbank-Bild-Funktionen, so dass dieses System ist eine perfekte Schnittstelle für die Information Retrieval aus der Datenbank.In vision-based information retrieval has feature extraction part, through which the query image can be successfully divided into their own characteristics and compare feature similarity with database image features, so this system is a perfect interface for information retrieval from the database.

Bildabfragesysteme benötigen möglicherweise geeignete Techniken zur Objekterkennung, Texterkennung und Kontextabfrage, um Informationen aus Bildern abzurufen. Es ist jedoch eine Herausforderung, die richtigen Informationen aus verzerrten oder unscharfen Bildern abzurufen. Um die Komplexität des Informationsabrufs aus verzerrten Bildern zu minimieren, werden in der Literatur ähnliche Bilder verwendet. Um das echte Bild wiederherzustellen, werden Bilder daher oft als Realisierungen eines Zufallsprozesses behandelt.Image retrieval systems may require appropriate object recognition, text recognition, and context retrieval techniques to retrieve information from images. However, getting the right information from distorted or out of focus images is a challenge. To minimize the complexity of information retrieval from distorted images, similar images are used in the literature. Therefore, in order to recover the real image, images are often treated as realizations of a random process.

Neuronale Netze bieten ein geeignetes System zur Ausnutzung der semantischen Kontextabhängigkeiten eines Bildes. Insbesondere wird das Problem der Modellierung von Bildkommentaren als das der direkten Bildsuche formuliert.Neural networks offer a suitable system for exploiting the semantic context dependencies of an image. In particular, the problem of modeling image comments is formulated as that of direct image search.

Das System verwendet verschiedene Kernel in unserer nicht-parametrischen Dichteschätzung zusammen mit der Verwendung von Con Gyrations, die semantische Beziehungen zwischen Konzepten gleichzeitig mit Low-Level-Merkmalen erforschen, anstatt sich nur auf die Korrelation zwischen Bildmerkmalen und Image Retrieval zu konzentrieren.The system uses different kernels in our non-parametric density estimation along with the use of con gyrations that explore semantic relationships between concepts simultaneously with low-level features, rather than just focusing on the correlation between image features and image retrieval.

Die Vorverarbeitung eines Bildes kann aus Bildrekonstruktion und Bildwiederherstellung bestehen. Zur Durchführung der Vorverarbeitung wurden ANNs eingesetzt. Optimierung einer Zielfunktion, die durch einen traditionellen Vorverarbeitungsansatz festgelegt wurde. Annäherung an eine mathematische Transformation, die bei der Rekonstruktion durch Regression verwendet wird. Allgemeine Regressionsklassifizierung in der Regel direkt auf Pixeldaten.The pre-processing of an image can consist of image reconstruction and image restoration. ANNs were used to perform the preprocessing. Optimizing an objective function specified by a traditional preprocessing approach. Approximation of a mathematical transformation used in reconstruction by regression. General regression classification typically directly on pixel data.

Anreicherung und Merkmalsextraktion:Enrichment and Feature Extraction:

Die meisten allgemeinen Formen können Low-Level-Informationen wie Kanten und Texturmerkmale extrahieren. Die Wavelet-Transformation transformiert die Wavelet-Textur als quasi periodische Muster mit räumlicher Darstellung, die das Bild in vier Teilbilder zerlegen und skalieren können: $E = \frac{1}{M N} \sum_{i = 1}^{m} \sum_{j = 1}^{n} | X (i, j) |$

Most general shapes can extract low-level information such as edges and texture features. The wavelet transform transforms the wavelet texture as quasi-periodic patterns with spatial representation that can decompose and scale the image into four sub-images:

E = \frac{1}{M N} \sum_{i = 1}^{m} \sum_{j = 1}^{n} | X (i, j) |

Für diese Zerlegungsenergien des ersten Bereichs K für das Bild habe ich die folgende Berechnung des Abstands zwischen den beiden Gruppen von Pixeln erhalten $D_{i} = {\sum_{k = 1}^{k} (x_{k} - y_{i, k})}^{2}$

For these first region K decomposition energies for the image, I obtained the following calculation of the distance between the two groups of pixels

D_{i} = {\sum_{k = 1}^{k} (x_{k} - y_{i, k})}^{2}

Die obige reale Lösung besteht aus mehreren einzelnen Modulen, die Aufgaben in verschiedenen Schritten der Bildverarbeitungskette ausführen.The real solution above consists of several individual modules that perform tasks in different steps of the image processing chain.

Ein neuronales Netzwerk kann diese Module kombinieren und Feedback von der höchsten Ebene liefern, um den Betrieb auf der niedrigen Ebene zu ändern, d.h. die Bildverarbeitung folgt dem Vision-Ansatz. So verfügbares Vorwissen ist besser zu verwenden, um zu konstruieren, und lösen Sie dieses System, um seine Parameter zu lernen: Leistung kann so gut sein, und Interpretation kommt natürlich, in der Bildanalyse.A neural network can combine these modules and provide feedback from the highest level to change the operation at the low level, i.e. the image processing follows the vision approach. So available prior knowledge is better to use to construct and solve this system to learn its parameters: performance can be as good, and interpretation comes naturally, in image analysis.

Die Figuren und die vorangehende Beschreibung geben Beispiele für Ausführungsformen. Der Fachmann wird verstehen, dass eines oder mehrere der beschriebenen Elemente durchaus zu einem einzigen Funktionselement kombiniert werden können. Alternativ dazu können bestimmte Elemente in mehrere Funktionselemente aufgeteilt werden. Elemente aus einer Ausführungsform können einer anderen Ausführungsform hinzugefügt werden. Die Reihenfolge der hier beschriebenen Prozesse kann beispielsweise geändert werden und ist nicht auf die hier beschriebene Weise beschränkt. Darüber hinaus müssen die Aktionen eines Flussdiagramms nicht in der gezeigten Reihenfolge ausgeführt werden; auch müssen nicht unbedingt alle Aktionen durchgeführt werden. Auch können die Handlungen, die nicht von anderen Handlungen abhängig sind, parallel zu den anderen Handlungen ausgeführt werden. Der Umfang der Ausführungsformen ist durch diese spezifischen Beispiele keineswegs begrenzt. Zahlreiche Variationen sind möglich, unabhängig davon, ob sie in der Beschreibung explizit aufgeführt sind oder nicht, wie z. B. Unterschiede in der Struktur, den Abmessungen und der Verwendung von Materialien. Der Umfang der Ausführungsformen ist mindestens so groß wie in den folgenden Ansprüchen angegeben.The figures and the preceding description give examples of embodiments. Those skilled in the art will understand that one or more of the elements described may well be combined into a single functional element. Alternatively, certain elements can be broken down into multiple functional elements. elements from one embodiment can be added to another embodiment. For example, the order of the processes described herein may be changed and is not limited to the manner described herein. Additionally, the actions of a flowchart need not be performed in the order shown; Also, not all actions have to be carried out. Also, the actions that are not dependent on other actions can be performed in parallel with the other actions. The scope of the embodiments is in no way limited by these specific examples. Numerous variations are possible, regardless of whether they are explicitly mentioned in the description or not, e.g. B. Differences in structure, dimensions and use of materials. The scope of the embodiments is at least as broad as indicated in the following claims.

Vorteile, andere Vorzüge und Problemlösungen wurden oben im Hinblick auf bestimmte Ausführungsformen beschrieben. Die Vorteile, Vorzüge, Problemlösungen und Komponenten, die dazu führen können, dass ein Vorteil, ein Nutzen oder eine Lösung auftritt oder ausgeprägter wird, sind jedoch nicht als kritisches, erforderliches oder wesentliches Merkmal oder Komponente eines oder aller Ansprüche zu verstehen.Advantages, other benefits, and solutions to problems have been described above with respect to particular embodiments. However, the benefits, advantages, problem solutions, and components that can cause an advantage, benefit, or solution to occur or become more pronounced are not to be construed as a critical, required, or essential feature or component of any or all claims.

BezugszeichenlisteReference List

100100: Ein System für die inchoative Integration der bildgestützten BildsucheA system for the inchoative integration of image-based image search
102102: Vorverarbeitungseinheitpreprocessing unit
104104: Eine Einheit zur MerkmalsextraktionA feature extraction unit
106106: Segmentierungseinheitsegmentation unit
108108: Objekterkennungseinheitobject detection unit
110110: Steuereinheitcontrol unit

Claims

system after claim 1 , where the parameter set is low-level information selected from a group of color, edge, and texture.

system after claim 1 , where the optimization of an objective function specified by a traditional preprocessing approach includes noise reduction and color enhancement.

system after claim 3 , wherein a mathematical transformation used in reconstruction is approximated by regression, with regression classification based on pixel data.

The system after claim 1 , where a context query technique is used to retrieve information from images, one there being the feature extraction part used to successfully subdivide the query image into its own feature and thereby compare the feature similarity with the database image features for the image query from the database.

system after claim 1 , where the similarity of images is used to minimize the complexity of extracting information from distorted images, often treating images as realizations of a random process to recover the true image.

system after claim 1 , where the neural network provides a convenient platform for exploiting the semantic context dependencies of the image.

system after claim 1 , which uses a set of different kernels in a non-parametric density estimation along with the use of con-gyrations that explore semantic relationships between concepts simultaneously as low-level features.

system after claim 1 , wherein the task of automatic image annotation is performed using a learning technique with a machine, ideas, and images from a predefined semantic labeling vocabulary.

The system after claim 1 , where the pre-processing involves a low-level, multimodal set of images of the traditional approach to take advantage of the text primarily recognizing the environment of explicit semantic annotations on images, as opposed to indexing images using only visual information.