DE102014207032A1

DE102014207032A1 - Computer-implemented method and computer system for recognizing semantic content in image data of an image

Info

Publication number: DE102014207032A1
Application number: DE102014207032.5A
Authority: DE
Inventors: Sebastian Kielmann; c/o picalike GmbH Schulz Timo; Kathleen Jankowski
Original assignee: Picalike GmbH
Current assignee: Picalike GmbH
Priority date: 2014-04-11
Filing date: 2014-04-11
Publication date: 2015-10-15

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren und ein Computersystem zur Erkennung eines semantischen Inhalts in Bilddaten eines Bildes. Das Verfahren umfasst die Schritte: Erkennen von Formen in den Bilddaten des Bildes; Bestimmen relativer Positionen der erkannten Formen zueinander; Prüfen, ob die relativen Positionen der erkannten Formen zueinander eine oder mehrere vordefinierte Regeln erfüllen, die jeweils geometrische Beziehungen zwischen Formen betreffen; und Klassifizieren des Bildes nach einem semantischen Inhalt in Abhängigkeit davon, ob und welche der vordefinierten Regeln erfüllt sind.The invention relates to a computer-implemented method and a computer system for recognizing a semantic content in image data of an image. The method comprises the steps of: detecting shapes in the image data of the image; Determining relative positions of the detected shapes to each other; Checking that the relative positions of the detected shapes to each other satisfy one or more predefined rules relating respectively to geometrical relationships between shapes; and classifying the image for a semantic content depending on whether and which of the predefined rules are met.

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren und ein Computersystem zur Erkennung eines semantischen Inhalts in Bilddaten eines Bildes sowie ein Computerprogramm mit Programmcode zur Durchführung des Verfahrens. Die Erfindung ermöglicht insbesondere die Erkennung unerwünschter, beispielsweise pornografischer Inhalte in Bildern. The invention relates to a computer-implemented method and a computer system for recognizing a semantic content in image data of an image and to a computer program with program code for carrying out the method. In particular, the invention makes it possible to detect unwanted, for example pornographic contents in pictures.

Filtersysteme für Netzwerkverkehr, die unerwünschte Inhalte filtern, sind allgemein bekannt. Die Mehrzahl solcher Systeme basiert auf zwei Methoden. Eine erste Methode prüft anhand der URL, ob eine Webseite sich auf einer Sperrliste befindet und sperrt die Webseite für diesen Fall. Eine solche Methode setzt voraus, dass Domains mit unerwünschten, beispielsweise pornografischen Inhalten bekannt sind. Neue Domains mit solchen Inhalten können nur verzögert – ex post – hinzugefügt werden. Network traffic filtering systems that filter unwanted content are well known. The majority of such systems are based on two methods. A first method uses the URL to check if a webpage is on a blacklist and locks the webpage for that case. Such a method assumes that domains are aware of unwanted, such as pornographic content. New domains with such content can be added only delayed - ex post.

Eine zweite Methode nimmt eine Prüfung auf unerwünschte Inhalte anhand von Schlüsselwörtern („keywords“) vor. Diese Methode überprüft den textlichen Inhalt einer Seite und entscheidet anhand dieser Prüfung, ob es sich um einen unerwünschten Inhalt handelt oder nicht. Bei einer solchen Methode wird der Bildinhalt jedoch außer Acht gelassen. A second method checks for unwanted content using keywords ("keywords"). This method checks the textual content of a page and uses this check to decide whether it is unwanted content or not. However, such a method disregards the image content.

Die zusätzliche Verbreitung von mobilen Endgeräten stellt angesichts der eingeschränkten Ressourcen solcher Systeme eine weitere Einschränkung von lokalen Filtersystemen dar. The additional proliferation of mobile devices, in view of the limited resources of such systems, further limits local filtering systems.

Weiter ist es bekannt, Bildmaterial im Hinblick auf die Farbverteilung zu analysieren. Dies ermöglicht es beispielsweise, den Anteil von Haut in einem betrachteten Bild festzustellen. Allerdings funktioniert ein solches Analyseverfahren bei anspruchsvollem Bildmaterial nur sehr eingeschränkt. Als Beispiel sei die Unterscheidung von Urlaubsbildern am Strand (mit Bikini und Badehose) einerseits und von pornografischen Bildern andererseits genannt. In beiden Bilderarten ist der Hautanteil überdurchschnittlich hoch und sind Körperteile teilweise unbedeckt. Allerdings ist der „semantische Kontext“ offensichtlich unterschiedlich. Eine Differenzierung mit einfachen Modellen, die auf Farben basieren, ist somit nicht ausreichend. It is also known to analyze image material with regard to the color distribution. This makes it possible, for example, to determine the proportion of skin in a viewed image. However, such an analysis method works only very restrictedly with sophisticated image material. As an example, the distinction of holiday pictures on the beach (with bikini and swimming trunks) on the one hand and of pornographic images on the other hand called. In both types of images, the proportion of skin is above average and body parts are partially uncovered. However, the "semantic context" is obviously different. A differentiation with simple models based on colors is therefore not sufficient.

Dementsprechend liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein computerimplementiertes Verfahren, ein Computersystem und ein Computerprogramm bereitzustellen, die es ermöglichen, semantische Inhalte in Bildern zu erkennen, ohne auf die Verwendung von statischen Sperrlisten oder explizit festgelegten Stichwortlisten zurückgreifen zu müssen. Accordingly, it is an object of the present invention to provide a computer-implemented method, a computer system and a computer program which make it possible to recognize semantic contents in images without having to resort to the use of static CRLs or explicitly defined keyword lists.

Diese Aufgabe wird erfindungsgemäß durch ein computerimplementiertes Verfahren mit den Merkmalen des Anspruchs 1, ein Computersystem mit den Merkmalen des Anspruchs 20 und ein Computerprogramm mit den Merkmalen des Anspruchs 22 gelöst. Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben. This object is achieved by a computer-implemented method having the features of claim 1, a computer system having the features of claim 20 and a computer program having the features of claim 22. Embodiments of the invention are specified in the subclaims.

Danach basiert die erfindungsgemäße Lösung auf der technischen Lehre, dass Formen in den Bilddaten eines Bildes erkannt werden. Solche Formen können beispielsweise Körperteile eines menschlichen Körpers sein, jedoch auch beliebige andere Formen. Erfindungsgemäß werden die relativen Positionen der erkannten Formen zueinander bestimmt, d.h. die Anordnung der einzelnen Formen innerhalb des zu analysierenden Bildes erfasst. Anschließend erfolgt eine Prüfung, ob die relativen Positionen der erkannten Formen zueinander eine oder mehrere vordefinierte Regeln erfüllen, wobei die Regeln jeweils geometrische Beziehungen zwischen Formen betreffen. Beispielsweise kann eine vordefinierte Regel das Merkmal betreffen, ob zwei betrachtete Formen einen Mindestabstand unterschreiten oder nicht. Thereafter, the solution according to the invention is based on the technical teaching that forms are recognized in the image data of an image. Such forms may be, for example, body parts of a human body, but also any other shapes. According to the invention, the relative positions of the detected shapes are determined relative to each other, i. recorded the arrangement of the individual forms within the image to be analyzed. Then, a check is made to see if the relative positions of the detected shapes to each other satisfy one or more predefined rules, each of the rules pertaining to geometric relationships between shapes. For example, a predefined rule may concern the feature as to whether two considered shapes are below a minimum distance or not.

Nach dieser Prüfung erfolgt ein Klassifizieren des Bildes nach einem semantischen Inhalt in Abhängigkeit davon, ob und welche der vordefinierten Regeln erfüllt sind. Beispielsweise kann ein Bild dahingehend klassifiziert werden, dass es einen unerwünschten Inhalt einer bestimmten Kategorie besitzt, wenn ein oder mehrere der vordefinierten Regeln erfüllt sind, beispielsweise die erkannten Formen primärer Geschlechtsorgane einen Mindestabstand unterschreiten. After this check, the image is classified according to a semantic content depending on whether and which of the predefined rules are met. For example, an image may be classified as having an undesirable content of a particular category if one or more of the predefined rules are met, for example, the detected forms of primary genitalia are a minimum distance.

Die erfindungsgemäße Lösung beruht somit auf dem Gedanken, zur Erfassung des semantischen Inhaltes Formen in dem Bild zu erkennen, deren Position zu erfassen und zu prüfen, ob die relativen Positionen bestimmte Regeln erfüllen, aus denen sich ein bestimmter semantischer Inhalt ergibt. The solution according to the invention is therefore based on the idea of recognizing forms in the image for the detection of the semantic content, of detecting their position and of checking whether the relative positions fulfill certain rules from which a certain semantic content results.

Die vordefinierten Regeln und ggf. weitere Parameter (wie z.B. bestimmte vordefinierte Formen) sind dazu vorgesehen, einen bestimmten semantischen Inhalt zu erkennen, der auch als „Konzept“ bezeichnet wird. Die Summe der Parameter (z.B. die vordefinierten Regeln, zu erkennende Formen, und ggf. weitere Parameter), die einem Konzept zugeordnet sind, bilden ein Modell und sind beispielsweise in einer Datenbank abgespeichert. Dabei kann das erfindungsgemäße Verfahren selbstlernend ausgebildet sein, d.h. während seiner Anwendung auf verschiedene Bilder werden Parameter verfeinert und/oder hinzugefügt. The predefined rules and possibly other parameters (such as certain predefined forms) are intended to recognize a particular semantic content, also referred to as a "concept". The sum of the parameters (e.g., the predefined rules, forms to be recognized, and possibly other parameters) associated with a concept form a model and are stored, for example, in a database. In this case, the inventive method can be self-learning, i. while applying to different images, parameters are refined and / or added.

Es wird darauf hingewiesen, dass der Begriff „Bild“ im Sinne der vorliegenden Erfindung für einen bildlichen Inhalt beliebigen Ursprungs und beliebiger Art steht. Beispielsweise kann ein Bild eine Fotografie, ein Einzelbild eines Videos oder eines Films, eine Werbedarstellung oder eine computergenerierte Grafik sein. Das Bild liegt in elektronischer Form vor und besitzt dementsprechend Bilddaten oder Pixel, die die einzelnen Farbwerte des digitalisierten oder von vornherein digitalen Bildes angeben. It should be noted that the term "image" for the purposes of the present invention for a visual content of any origin and any Art stands. For example, an image may be a photograph, a still image of a video or a movie, an advertisement, or a computer-generated graphic. The image is in electronic form and accordingly has image data or pixels indicating the individual color values of the digitized or a priori digital image.

Eine Ausgestaltung der Erfindung sieht vor, dass das Verfahren den weiteren Schritt des Erkennens unterschiedlicher Farbwerte in dem Bild umfasst. Die erkannten Farbwerte werden beispielsweise dazu verwendet, das Erkennen von Formen in dem Bild nur in solchen Bildbereichen vorzunehmen, die bestimmte Farbwerte aufweisen. Dadurch wird der Rechenaufwand beim Schritt des Erkennens von Formen in den Bilddaten reduziert. Weiter kann vorgesehen sein, dass die erkannten Farbwerte dazu verwendet werden, die erkannten Formen dahingehend zu gewichten, dass Formen, die bestimmte Farbwerte aufweisen, stärker gewichtet werden als andere. Die Gewichtung erfolgt beispielsweise dahingehend, dass höher gewichtete Formen nach der Prüfung des Vorliegens vordefinierter Regel in das Klassifizieren des Bildes mit einem größeren Faktor eingehen. An embodiment of the invention provides that the method comprises the further step of recognizing different color values in the image. For example, the detected color values are used to make recognizing shapes in the image only in those image areas that have certain color values. This reduces the amount of computation involved in the step of recognizing shapes in the image data. It can further be provided that the recognized color values are used to weight the recognized shapes in such a way that shapes which have specific color values are weighted more heavily than others. The weighting is done, for example, in that higher weighted shapes after examining the existence of a predefined rule enter into classifying the image with a larger factor.

Eine weitere Ausgestaltung der Erfindung sieht vor, dass zusätzlich Entitäten des Bildes erkannt werden, denen jeweils mindestens eine der erkannten Formen zugehört. Das Prüfen umfasst für diesen Fall des Weiteren die Prüfung, ob die Entitäten zueinander eine oder mehrere vordefinierte Regeln erfüllen, die jeweils geometrische Beziehungen betreffen. Eine Entität kann sich beispielsweise aus einer Mehrzahl von erkannten Formen zusammensetzen. Eine Entität kann ein zusammenhängender Gegenstand im Bild, beispielsweise der Körper einer Person sein. A further embodiment of the invention provides that additionally entities of the image are recognized, to each of which at least one of the recognized forms belongs. In this case, the checking further includes checking whether the entities satisfy one another or more predefined rules relating respectively to geometrical relationships. For example, an entity may be composed of a plurality of recognized forms. An entity may be a contiguous object in the image, such as a person's body.

Eine weitere Ausgestaltung der Erfindung sieht vor, dass im Prüfschritt überprüft wird, ob die erkannten Formen bestimmte vordefinierte Formen enthalten (beispielsweise primäre Geschlechtsorgane im Falle der Untersuchung eines Bildes mit möglicherweise pornografischem Inhalt), und diese Prüfung bei der Klassifikation des Bildes berücksichtigt wird. Beispielsweise kann vorgesehen sein, dass Bilder, die bestimmte vordefinierte Formen nicht enthalten, von vornherein einer bestimmten Klassifikation zugeordnet werden (z. B. der Klassifikation „nicht pornografisch“). Andererseits kann vorgesehen sein, dass, sofern vordefinierte Formen in dem untersuchten Bild erkannt werden, diese bei der Klassifikation eine stärkere Berücksichtigung finden. Auch kann vorgesehen sein, dass die vordefinierten Regeln des Prüfschritts solche enthalten, die sich auf bestimmte vordefinierte Formen beziehen, so dass diese Regeln überhaupt nur zum Einsatz kommen, wenn zuvor vordefinierte Formen in dem Bild erkannt wurden. A further embodiment of the invention provides that it is checked in the checking step whether the recognized shapes contain certain predefined shapes (for example, primary genitals in the case of examining an image with possibly pornographic content), and this check is taken into account in the classification of the image. For example, it may be provided that images that do not contain certain predefined shapes are assigned to a specific classification from the outset (eg, the classification "non-pornographic"). On the other hand, it can be provided that, if predefined shapes are recognized in the examined image, they are given more consideration in the classification. It can also be provided that the predefined rules of the checking step contain those which relate to certain predefined shapes, so that these rules are only used if previously predefined shapes were recognized in the picture.

Die bereits erwähnten vordefinierten Regeln betreffen geometrische Beziehungen zwischen den Formen. Insbesondere kann vorgesehen sein, dass die vordefinierten Regeln prüfen, in welcher paarweisen geometrischen Beziehung mindestens zwei der erkannten Formen stehen. Dabei kann vorgesehen sein, dass die vordefinierten Regeln mindestens eine der folgenden geometrischen Beziehungen betreffen: Den Abstand zwischen zwei Formen und die Frage, ob die Formen oder bestimmte der Formen auf vordefinierten Linien liegen. The predefined rules already mentioned relate to geometrical relationships between the forms. In particular, it can be provided that the predefined rules check in which paired geometric relationship at least two of the recognized shapes are. It can be provided that the predefined rules relate to at least one of the following geometric relationships: the distance between two shapes and the question of whether the shapes or certain of the shapes lie on predefined lines.

Der Abstand zwischen zwei Formen kann dabei beispielsweise über den Flächenschwerpunkt der Formen oder den Abstand der einander am nächsten liegenden Punkte zweier betrachteter Formen bestimmt werden. Grundsätzlich kann eine beliebige Abstandsmetrik vorgesehen sein. Ob die erfassten Formen oder einige der erfassten Formen auf vordefinierten Linien liegen, beispielsweise auf vordefinierten Strecken, Kurven oder Polygonzügen, kann beispielsweise ebenfalls darüber bestimmt werden, ob die Flächenschwerpunkte der Formen zumindest näherungsweise auf solchen Linien liegen. Ein anderes Beispiel zur Feststellung, ob die erfassten Formen oder einige der erfassten Formen auf vordefinierten Linien liegen, besteht darin zu prüfen, inwieweit die Formen oder bestimmte Teile der Formen auf einer vordefinierten Linie liegen, d.h. diese überdecken. Über die vordefinierten Linien können semantische Bedeutungen im Hinblick auf die Position von Gegenständen im Bild abgeleitet werden. The distance between two shapes can be determined, for example, via the area centroid of the shapes or the distance between the closest points of two considered forms. In principle, any distance metric can be provided. Whether the detected shapes or some of the detected shapes lie on predefined lines, for example on predefined lines, curves or polygons, can also be determined, for example, as to whether the centroids of the shapes lie at least approximately on such lines. Another example of determining whether the detected shapes or some of the detected shapes are on predefined lines is to examine to what extent the shapes or certain parts of the shapes lie on a predefined line, i. cover them up. Using the predefined lines, semantic meanings can be derived with regard to the position of objects in the image.

Sofern das vorliegende Verfahren auch Entitäten in einem Bild erkennt, kann des Weiteren vorgesehen sein, dass die vordefinierten Regeln die Positionen jeweils zweier Entitäten zueinander und/oder den Verlauf der geometrischen Erstreckung mindestens einer Entität betreffen. Die geometrische Erstreckung einer Entität betrifft die geometrische Form der Entität insgesamt, beispielsweise die Körperhaltung, sofern es sich bei der Entität um einen menschlichen Körper handelt. If the present method also recognizes entities in an image, it may further be provided that the predefined rules relate to the positions of two entities in each case and / or the course of the geometric extent of at least one entity. The geometric extent of an entity relates to the geometric shape of the entity as a whole, for example the posture, if the entity is a human body.

Zur einfachen programmiertechnischen Nutzung der erfassten Informationen kann vorgesehen sein, dass zu einer erkannten Form eine Hüllfläche der erkannten Form sowie die Position der Hüllfläche ermittelt und der weiteren Auswertung zugrunde gelegt werden. Hierdurch kann davon abgesehen werden, möglicherweise vorhandene gesonderte Strukturen innerhalb einer erkannten Form gesondert auszuwerten. For simple programming-technical use of the acquired information, it may be provided that, for a recognized shape, an envelope surface of the recognized shape and the position of the envelope surface are determined and based on the further evaluation. As a result, it is possible to refrain from separately evaluating possibly existing separate structures within a recognized form.

Ein weiterer Aspekt der vorliegenden Erfindung ermöglicht es, dass bei mindestens einem der durchgeführten Schritte mehrere Verfahren eingesetzt und die Ergebnisse der mehreren Verfahren gemittelt werden. Beispielsweise kann vorgesehen sein, dass zu einer Formenerkennung eine Mehrzahl an sich bekannter Mustererkennungsverfahren eingesetzt wird (wie z.B. Cluster-Algorithmen (beispielsweise k-Means-Algorithmen), selbstorganisierende Karten und Hauptkomponentenanalysen). Auch beim Klassifikationsschritt können verschiedene Klassifikationsmodelle eingesetzt werden, beispielsweise neuronale Netze, Stützvektormaschinen („Support vector machine“) und logistische Regression. Durch die Kombination mehrerer Verfahren wird es ermöglicht, eine Modell-Mittelung vorzunehmen, wodurch die Genauigkeit des Gesamtergebnisses verbessert wird. Another aspect of the present invention allows for at least one of the performed steps to employ multiple methods and to average the results of the multiple methods. For example, it may be provided that to form recognition a plurality of per se known pattern recognition methods is used (such as cluster algorithms (for example, k-means algorithms), self-organizing maps and principal component analyzes). Different classification models can also be used in the classification step, for example neural networks, support vector machines and logistic regression. The combination of several methods makes it possible to model-averify, thereby improving the accuracy of the overall result.

Eine weitere Ausgestaltung der vorliegenden Erfindung sieht vor, dass zusätzlich in dem Bild enthaltener Text semantisch ausgewertet und bewertet wird und das Ergebnis der Bewertung in die Klassifikation einfließt. Dabei erfolgt eine kombinierte Gesamtwertung von Text und Bild. Diese Erfindungsvariante sieht somit vor, zusätzlichen Text zu erkennen und zu extrahieren und diesen dann mit dem Bildinhalt in Verbindung zu setzen. A further embodiment of the present invention provides that text additionally contained in the image is semantically evaluated and evaluated, and the result of the evaluation is included in the classification. Here, a combined overall evaluation of text and image. This variant of the invention thus provides for recognizing and extracting additional text and then associating it with the image content.

Gemäß einer Ausführungsvariante der Erfindung sind Schwellwerte einstellbar und/oder mittels Vorlagen änderbar, wobei diese Schwellwerte die Klassifikation beeinflussen. Beispielsweise kann durch Schwellwerte festgelegt werden, inwieweit eine erkannte Form mit einer vordefinierten Form übereinstimmen muss, damit die erkannte Form mit der vordefinierten Form als identisch angesehen und bei der Klassifikation berücksichtigt wird. Auch kann über einen Schwellwert beispielsweise eingestellt werden, in welchem Umfang bestimmte Farbwerte (die beispielsweise das Vorliegen von „Haut“ signalisieren) vorliegen müssen, um die Klassifikation zu beeinflussen. Zusammen mit einem Schwellwert kann des weiteren ein Konzept gespeichert werden, dem der Schwellwert zugeordnet ist. Beispielsweise sind die Schwellwerte bei den Konzepten „jugendfrei“ und „pornografisch“ unterschiedlich. According to an embodiment variant of the invention, threshold values can be set and / or changed by means of templates, wherein these threshold values influence the classification. For example, threshold values can be used to determine to what extent a recognized shape must match a predefined shape so that the recognized shape is considered to be identical to the predefined shape and taken into account in the classification. It is also possible to use a threshold value to set, for example, to what extent certain color values (which for example signal the presence of "skin") must be present in order to influence the classification. Furthermore, together with a threshold value, a concept to which the threshold value is assigned can be stored. For example, the thresholds for the concepts of "adult" and "pornographic" are different.

Es ist bevorzugt vorgesehen, dass das Ergebnis der Klassifikation zusammen mit dem Bild in einer Datenbank abgespeichert wird. Die Ergebnisse des erfindungsgemäßen Verfahrens, die in einer Klassifikation von Bildern liegen, werden in einer finalen „Wissens-Datenbank“ abgespeichert. Diese stellt sämtliche Informationen für eine Klassifikation bereit und kann somit als ein endgültiges Modell mit sämtlichen Parametern verstanden werden. Dieses Modell ist eigenständig und hängt nicht von anderen Parametern ab, so dass es möglich ist, es beispielsweise auf einen Client zu transferieren, um von einem Server unabhängig Inhalte zu bewerten. Eine solche Übertragung an einen Client kann beispielsweise für eine Anwendung auf Mobilgeräten oder für eine Lastverteilung erfolgen. It is preferably provided that the result of the classification is stored together with the image in a database. The results of the method according to the invention, which are in a classification of images, are stored in a final "knowledge database". This provides all the information for a classification and thus can be understood as a final model with all the parameters. This model is self-contained and does not depend on other parameters, so it is possible to transfer it, for example, to a client to rate content independently from a server. Such a transmission to a client may, for example, be for an application on mobile devices or for a load distribution.

Eine Ausgestaltung der Erfindung sieht wie bereits erwähnt vor, dass mit dem erfindungsgemäßen Verfahren unerwünschte Inhalte in Bilddaten eines Bildes erkannt werden, insbesondere solche pornografischen Inhalts. Die unterschiedlichen Formen, die das erfindungsgemäße Verfahren in den Bilddaten eines Bildes erkennt, betreffen dabei Körperteile mindestens eines im Bild enthaltenen menschlichen Körpers. Solche Körperteile sind beispielsweise Hand, Kopf, Beine, Arme, Brust und Genitalien. As already mentioned, one embodiment of the invention provides that unwanted contents in image data of an image are recognized by the method according to the invention, in particular such pornographic content. The different forms which the method according to the invention recognizes in the image data of an image relate to body parts of at least one human body contained in the image. Such body parts are for example hand, head, legs, arms, chest and genitals.

Das Erkennen von Farbwerten und deren Auswertung betrifft im Falle des Erkennens von Bildern mit pornografischen Inhalt das Erkennen solcher Farbwerte, die die menschliche Haut charakterisieren. Eine solche Hauterkennung kann in zwei Stufen erfolgen. In einer ersten Stufe werden Farbraumwerte (z.B. RGB-Werte) der einzelnen Bilddaten des Bildes geprüft. In einer zweiten Stufe werden anhand angelernter und definierter negativer Beispiele hautähnliche Bereiche, die tatsächlich keine Haut betreffen (sogenannte „false positives“) eliminiert. The recognition of color values and their evaluation in the case of recognizing images with pornographic content relates to the recognition of such color values that characterize the human skin. Such skin identification can be done in two stages. In a first stage, color space values (e.g., RGB values) of the individual image data of the image are checked. In a second step, on the basis of learned and defined negative examples, skin-like areas that actually do not affect the skin (so-called "false positives") are eliminated.

Gemäß einer weiteren Ausgestaltung kann vorgesehen sein, dass durch einen Nutzer ein Feedback zu bestimmten Bewertungen, beispielsweise zu erkannten Formen und/oder erkannten Farbwerten erfolgt. Ein solches Feedback kann beispielsweise dazu dienen, um die erwähnten „false-positives“ zu behandeln bzw. diese im System über ein Feedback seitens des Nutzers zu korrigieren, sofern das System sie nicht sogleich als richtig erkennt. Hierdurch kann die Gewichtung einzelner Bilder angepasst werden, was zu einer Verbesserung des gesamten Modells beitragen kann. In accordance with a further embodiment, it can be provided that feedback is provided by a user on specific ratings, for example, on recognized forms and / or recognized color values. Such feedback can be used, for example, to treat the mentioned "false-positives" or to correct them in the system via feedback from the user, unless the system immediately recognizes them as correct. This allows the weighting of individual images to be adjusted, which can contribute to an improvement of the entire model.

Die Erfindung betrifft auch ein Computersystem zur Erkennung eines semantischen Inhalts in Bilddaten eines Bildes. Das Computersystem weist folgende Merkmale auf:

– Mittel zum Erkennen von Formen in den Bilddaten des Bildes,
– Mittel zum Bestimmen relativer Positionen der erkannten Formen zueinander,
– Mittel zum Prüfen, ob die relativen Positionen der erkannten Formen zueinander eine oder mehrere vordefinierte Regeln erfüllen, die jeweils geometrische Beziehungen zwischen Formen betreffen, und
– Mittel zum Klassifizieren des Bildes nach einem semantischen Inhalt in Abhängigkeit davon, ob und welche der vordefinierten Regeln erfüllt sind.

The invention also relates to a computer system for recognizing semantic content in image data of an image. The computer system has the following features:

Means for recognizing shapes in the image data of the image,
Means for determining relative positions of the recognized shapes,
Means for checking whether the relative positions of the detected shapes to each other satisfy one or more predefined rules relating respectively to geometric relationships between shapes, and
- means for classifying the image according to a semantic content depending on whether and which of the predefined rules are met.

Das Computersystem ist beispielsweise auf einem Server implementiert. Die jeweiligen Mittel werden durch einen Prozessorbaustein, notwendige Hardware wie beispielsweise Speicherbausteine und Programmcode realisiert, der bei Ausführung im Prozessorbaustein die jeweilige Funktion realisiert. The computer system is implemented, for example, on a server. The respective means are realized by a processor module, necessary hardware such as memory modules and program code, which realizes the respective function when executed in the processor module.

Gemäß einer Ausgestaltung ist vorgesehen, dass das Computersystem zusätzlich eine Datenbank enthält, die die bereits klassifizierten Bilder aufweist, wobei die bereits klassifizierten Bilder dem Computersystem in einem Lernmodus zugeführt werden können. Solche in einer Datenbank enthaltenen klassifizierten Bilder, die aufgrund ihrer Klassifikation zusammen mit einer Bewertung abgespeichert sind, können beispielsweise zum Trainieren eines Modells eingesetzt werden. According to one embodiment, it is provided that the computer system additionally contains a database which has the images already classified, wherein the already classified images can be supplied to the computer system in a learning mode. Such classified images contained in a database, which are stored on the basis of their classification together with a rating, can be used, for example, to train a model.

Auch kann eine Datenbank vorgesehen sein, die Parameter enthält, die ein inhaltliches Konzept definieren. Ein inhaltliches Konzept entspricht einem bestimmten semantischen Inhalt. Die Parameter, die ein inhaltliches Konzept definieren, sind z.B. Prototyp-Masken für Körperteile, Schwellenwerte, Parameter für (Klassifikations-)Algorithmen, und Fälle (Positionen von Körperteilen, welche verwendet werden, etc.). Die Summe dieser Parameter wird als Modell bezeichnet. Die Parameter erlauben, Klassifikationen für ein Konzept durchzuführen. Des Weiteren können Parameter für unterschiedliche Konzepte in der Datenbank gespeichert sein. Also, a database can be provided which contains parameters that define a content-related concept. A content-related concept corresponds to a certain semantic content. The parameters defining a contentual concept are e.g. Prototype masks for body parts, threshold values, parameters for (classification) algorithms, and cases (positions of body parts used, etc.). The sum of these parameters is called a model. The parameters allow to carry out classifications for a concept. Furthermore, parameters for different concepts can be stored in the database.

Ein weiterer Aspekt der Erfindung betrifft ein Computerprogram mit Computercode zur Durchführung des erfindungsgemäßen Verfahrens. Dabei kann vorgesehen sein, dass das Computerprogramm als Anwendungssoftware auf einem Mobilgerät ausführbar ist. Unter einem Mobilgerät wird dabei jedes portable Gerät verstanden, das nicht fest installiert ist. Es handelt sich beispielsweise um Smart-Phones, Tablet-Computer oder andere tragbare Computer. Another aspect of the invention relates to a computer program with computer code for carrying out the method according to the invention. It can be provided that the computer program can be executed as application software on a mobile device. A mobile device is any portable device that is not permanently installed. These are, for example, smart phones, tablet computers or other portable computers.

Eine weitere Ausgestaltung der Erfindung sieht vor, dass ein solches Computerprogram dazu ausgebildet ist, zusätzlich auf eine Fingerabdruck-Datenbank zuzugreifen, die Identifikationen von bereits bekannten Bildern zusammen mit einer Klassifikation enthält. Solche Identifikationen sind beispielsweise Hash-Werte. Generell wird zunächst geprüft, ob ein zu untersuchendes Bild bereits bekannt ist, d.h. in der Fingerabdruck-Datenbank enthalten ist. Nur wenn dies nicht der Fall ist, folgt eine Klassifikation gemäß der vorliegenden Erfindung. A further embodiment of the invention provides that such a computer program is designed to additionally access a fingerprint database which contains identifications of already known images together with a classification. Such identifications are, for example, hash values. In general, it is first checked whether an image to be examined is already known, i. contained in the fingerprint database. Only if this is not the case, a classification according to the present invention follows.

Die Erfindung wird nachfolgend unter Bezugnahme auf die Figuren der Zeichnung anhand mehrerer Ausführungsbeispiele näher erläutert. Es zeigen: The invention will be explained in more detail with reference to the figures of the drawing with reference to several embodiments. Show it:

1 ein Ablaufdiagramm, das anhand eines Ausführungsbeispiels Verfahrensschritte des erfindungsgemäßen Verfahrens darstellt; 1 a flowchart illustrating method steps of the inventive method based on an embodiment;

2 eine schematische Darstellung eines Ausführungsbeispiels einer Formenerkennung; 2 a schematic representation of an embodiment of a mold recognition;

3 eine schematische Darstellung eines Ausführungsbeispiels der Erkennung einer Körperstellung; 3 a schematic representation of an embodiment of the recognition of a body position;

4 eine schematische Darstellung eines Ausführungsbeispiels einer Gewichtung, bei der gefundene Hautbereiche eines Körpers mit erkannten Körperteilen gewichtet werden; und 4 a schematic representation of an embodiment of a weighting, in which found skin areas of a body are weighted with recognized body parts; and

5 schematisch ein Ausführungsbeispiel eines Computersystems zur Erkennung eines semantischen Inhalts in Bilddaten eines Bildes. 5 schematically an embodiment of a computer system for detecting a semantic content in image data of an image.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen beschrieben, die das Erkennen und Filtern unerwünschter pornografischer Inhalte in Bilddaten eines Bildes betreffen. Die Prinzipien der vorliegenden Erfindung sind jedoch auf beliebige semantische Inhalte übertragbar. Beispielsweise kann das erfindungsgemäße Verfahren in entsprechender Weise alternativ dazu eingesetzt werden, Inhalte in Bildern zu erfassen, die Strukturen in karzinomen Zellen einer Zellkultur oder in Mikrorissen eines untersuchten Materials betreffen. Auch können beispielsweise im Rahmen der visualisierten Datensammlung in der Geoanalyse Rohstoffe und deren Vorkommen im Boden als Muster dargestellt und das System entsprechend angelernt werden. Auf diese Weise können dann entsprechende Rohstoffmuster zu den jeweiligen Analysen (prozentual) zugeordnet und wahrscheinliche Muster erkannt werden. The invention will be described below with reference to embodiments relating to the detection and filtering of unwanted pornographic content in image data of an image. However, the principles of the present invention are transferable to any semantic content. For example, the method according to the invention can similarly be used alternatively to capture contents in images which relate to structures in carcinoma cells of a cell culture or in microcracks of a material under investigation. Also, for example, in the context of the visualized data collection in geoanalysis, raw materials and their occurrence in the soil can be represented as a pattern and the system can be trained accordingly. In this way, corresponding raw material patterns can be assigned to the respective analyzes (percentage) and probable patterns can be identified.

Gemäß dem Ausführungsbeispiel der 1 wird zunächst in einem Schritt 101 ein zu analysierendes und zu klassifizierendes Bild erfasst. Das Bild wird beispielsweise digital über ein Kommunikationsnetz übertragen, wobei die Filterung in einer Netzwerkkomponente oder in einer Anwendungssoftware beispielsweise auf einem Mobilgerät eines Nutzers erfolgt. According to the embodiment of the 1 is first in one step 101 recorded an image to be analyzed and classified. The image is transmitted, for example, digitally over a communications network, wherein the filtering takes place in a network component or in an application software, for example on a mobile device of a user.

In einem zweiten Schritt 102 erfolgt eine Hauterkennung. Da ein wesentlicher Bestandteil bei pornografischem Inhalt die Darstellung nackter Haut ist, wird ein Algorithmus implementiert, der alle Bereiche in dem zu analysierenden Bild gemäß „Haut-Ja/Nein“ klassifiziert. Die Erkennung wird dabei in zwei Stufen durchgeführt. In a second step 102 there is a skin detection. Since an integral part of pornographic content is naked skin imaging, an algorithm is implemented that classifies all areas in the image to be analyzed according to skin yes / no. The detection is carried out in two stages.

Die erste Stufe verwendet einfache Bereichs-Regeln, welche die Farbraumwerte (z.B. RGB-Werte) prüfen, um eine Aussage im Hinblick auf das Vorliegen von Haut zu treffen. Eine nachgelagerte Stufe eliminiert hautähnliche Farben, sogenannte „false-positives“ (zum Beispiel Leder, orangefarbene Farbmuster etc.), anhand angelernter und definierter negativer Beispiele. Dies kann mittels einer nicht-linearen Klassifizierung mit einem SVM-Algorithmus erfolgen. The first stage uses simple range rules that check the color space values (e.g., RGB values) to make a statement as to the presence of skin. A downstream level eliminates skin-like colors, so-called "false-positives" (for example, leather, orange color patterns, etc.) on the basis of learned and defined negative examples. This can be done by means of a non-linear classification with an SVM algorithm.

Das Verfahren ist adaptiv, d.h. es ist jederzeit möglich, das Modul nachträglich mit negativen/positiven Beispielen manuell zu erweitern. Das Verfahren gibt als letzten Schritt dann eine Liste von X-/Y-Koordinaten der Hautpixel aus dem Bild zurück. Die Grundannahme dabei ist es, dass in jedem Bild, das pornografischen Inhalt besitzt, zumindest eine kleine Menge an Haut vorhanden ist. Eine leere Rückgabemenge kann als Indiz gewertet werden, dass ein pornografischer Inhalt nicht vorhanden oder nur schwach ausgeprägt ist. The method is adaptive, ie it is possible at any time to extend the module manually with negative / positive examples. The method then returns as the last step a list of X / Y coordinates of the skin pixels from the image. The basic assumption is that there is at least a small amount of skin in every image that contains pornographic content. An empty return can be taken as an indication that pornographic content is missing or weak.

In einem weiteren Schritt 103 erfolgt eine Detektion von Körperteilen. Ziel dieses Schrittes ist es, aus dem zu analysierenden Bild sämtliche Körperteile oder alternativ eine vordefinierte Liste von möglichen Körperteilen zu extrahieren. Dies erfolgt über eine Mustererkennung bzw. Formenerkennung mittels üblicher Mustererkennungsprogramme, oder einer Kombination bekannter Mustererkennungsprogramme. Für das Konzept „Pornografie“ werden dabei folgende Körperteile als besonders markant berücksichtigt: Kopf, Mund, Brüste, männliche und weibliche Genitalien, Hände und Arme. In a further step 103 there is a detection of body parts. The aim of this step is to extract all body parts or alternatively a predefined list of possible body parts from the image to be analyzed. This is done via pattern recognition or recognition by means of conventional pattern recognition programs, or a combination of known pattern recognition programs. For the concept of "pornography" the following parts of the body are considered as particularly striking: head, mouth, breasts, male and female genitals, hands and arms.

Jedes dieser Körperteile besitzt eine Maske, die ein Prototyp des Körperteils darstellt und einen vordefinierten Mittelpunkt, der für die spätere Gewichtung verwendet wird. Eine Erweiterung um neue Körperteile ist durch die Definition neuer Masken und Mittelpunkte jederzeit möglich. Each of these body parts has a mask that is a prototype of the body part and a predefined midpoint that will be used for later weighting. An extension to new body parts is possible at any time by the definition of new masks and midpoints.

Da die Körperteile aus Haut bestehen, profitiert der Algorithmus zur Durchführung des Schritts 103 von dem vorangegangenen Schritt 102 der Hauterkennung, da im Normalfall nur solche Bildbereiche berücksichtigt werden, in denen auch Haut gefunden wurde. Hierdurch wird der Rechenaufwand erheblich reduziert. Since the body parts are skin, the algorithm benefits to perform the step 103 from the previous step 102 Skin recognition, since normally only those image areas are taken into account, in which skin was found. As a result, the computational effort is significantly reduced.

Sollte der vorherige Schritt 102 keine oder nur wenige Werte, die unter einem Schwellenwert liegen, zurückgeliefert haben, so wird allerdings eine Gesamtbetrachtung des Bildes durchgeführt. Das Verfahren ändert sich dabei grundsätzlich nicht; es wird lediglich ein Ansatz mit einem sich verschiebenden Fenster mit einer vordefinierten Größe verwendet, um das Bild stückweise zu prüfen. Bei der Prüfung wird ein Fenster eingesetzt, welches sich zum Beispiel von rechts nach links auf der X-Achse bewegt und am Ende einer Zeile den Y-Wert entsprechend der Fenstergröße anpasst. Should the previous step 102 no or only a few values which are below a threshold have been returned, however, an overall view of the image is carried out. The procedure does not change fundamentally; only one approach with a moving window of a predefined size is used to piecewise test the image. During the test, a window is used which, for example, moves from right to left on the X-axis and at the end of a line adapts the Y-value according to the window size.

Nach der erfolgten Erkennung von Körperteilen werden die erkannten Formen bzw. Körperteile in einer Ausführungsvariante nach dem folgenden Schema weiterverarbeitet. Zum einen wird eine erkannte Form bzw. ein erkannter Körperteil in Grauwerte konvertiert und der Kontrast normalisiert, um unwichtige Details auszublenden. Zum anderen wird mittels der vordefinierten Masken für jedes Körperteil eine Übereinstimmungsprüfung durchgeführt, welche versucht, die Übereinstimmungen von Maske und detektiertem Körperteil zu maximieren. After the recognition of body parts recognized forms or body parts are processed in a variant according to the following scheme. On the one hand, a recognized form or body part is converted to gray values and the contrast normalized to hide unimportant details. On the other hand, by means of the predefined masks, a match check is carried out for each body part which attempts to maximize the matches of the mask and the detected body part.

Das Ergebnis eines entsprechenden Algorithmus besteht darin, dass für jedes gefundene Körperteil eine Hüllfläche (auch als „bounding-box“ bezeichnet) sowie ein Konfidenzwert bereitgestellt werden, der beispielsweise zwischen Null und Eins liegt und angibt, wie stark ein Bereich zu einer Maskenart bzw. einem Körperteil passt. Das Ergebnis des Verfahrensschrittes 103 ist somit eine Liste von Körperteilen, einschließlich einer Hüllfläche und einem Qualitätswert zu den einzelnen Körperteilen. The result of a corresponding algorithm is that for each body part found an envelope surface (also referred to as "bounding-box") and a confidence value are provided, for example, between zero and one and indicates how much an area to a Maskenart or fits a body part. The result of the process step 103 is thus a list of parts of the body, including an envelope and a quality value for each body part.

Eine entsprechende Detektion von Körperteilen ist anhand der 2 beispielhaft dargestellt. Die bei der dargestellten sexuellen Handlung involvierten Körperteile wurden anhand ihrer Formen erkannt und sind gesondert identifiziert, wie durch die gestrichelte rechteckförmige Umfangslinie angedeutet ist. A corresponding detection of body parts is based on the 2 exemplified. The body parts involved in the depicted sexual act were identified by their shapes and identified separately, as indicated by the dashed rectangular perimeter.

Im folgenden Schritt 104 erfolgt eine Ermittlung der Stellung der involvierten Person oder Personen und eine Ermittlung relativer Positionen der Körperteile zueinander. In the following step 104 A determination of the position of the person or persons involved and a determination of relative positions of the body parts to each other.

So ist ein gewichtiges Kriterium für die umfassende Beurteilung möglicherweise pornografischen Inhalts eines Bildes die Stellung der Personen und die relative Position der einzelnen Körperteile der Personen zueinander. Die 3 zeigt beispielhaft eine Stellung pornografischen Inhalts. Die dargestellte fettgedruckte Mittellinie dient als Hilfslinie, um algorithmisch mittels der Winkel zwischen den Körperteilen eine Stellung abzuleiten. Es wird mit anderen Worten der Verlauf der geometrischen Erstreckung des jeweiligen Körpers erfasst und als Stellung der Person erkannt. Thus, a weighty criterion for comprehensively judging possible pornographic content of a picture is the position of the person and the relative position of each person's body parts. The 3 exemplifies a position pornographic content. The illustrated bold centerline serves as an auxiliary line to algorithmically derive a position by means of the angles between the body parts. In other words, the course of the geometric extension of the respective body is detected and recognized as the position of the person.

Dabei besteht die Möglichkeit, eine Gewichtung im Hinblick auf die Ergebnisse der Schritte 102 und 103 durchzuführen, das heißt, im Hinblick auf die zuvor erfolgte Erkennung von Haut und von Körperteilen. There is a possibility of weighting the results of the steps 102 and 103 that is, in view of the previous detection of skin and body parts.

Im Schritt 104 werden somit sämtliche Körperstellungen und die relativen Positionen der in Schritt 103 detektierten Körperteile erkannt. Alternativ werden Körperstellungen nicht gesondert erfasst, sondern nur die relativen Positionen der in Schritt 103 detektierten Körperteile. In step 104 Thus, all the body positions and the relative positions of the in step 103 Detected body parts detected. Alternatively, body positions are not recorded separately, only the relative positions of the ones in step 103 detected body parts.

Nach Schritt 104 liegen somit Informationen zu den ermittelten Körperteilen, deren Relativpositionen, zu den Anteilen an Haut und ggf. zu Körperstellungen vor. After step 104 Thus, information is available on the determined body parts, their relative positions, on the proportions of skin and possibly on body positions.

Im Schritt 105 erfolgt eine Kombination von gefundenen Körperteilen und Hautpartien. Dabei ist zu beachten, dass für eine aussagekräftige Bewertung nicht alle Hautbereiche gleich wichtig sind. Daher werden die in Schritt 102 erkannten Hautbereiche gemäß einer Ausführungsvariante, jedoch nicht notwendigerweise gewichtet. Die 4 zeigt ein Beispiel einer solchen Gewichtung, wobei im Bereich vordefinierter detektierter Körperteile eine größere Gewichtung vorliegt, was durch einen dunkleren Grauwert in der 4 angezeigt wird. Die Gewichtung nimmt dabei mit zunehmender Entfernung vom Zentrum des jeweils relevanten Bereiches ab, bis das Gewicht außerhalb des Bereiches zu Null wird. Beispielsweise fließt ein Oberarm nicht in die Gewichtung ein. Dagegen fließt der kreisförmige Bereich um die weibliche Brust, der im Zentrum ein hohes Gewicht aufweist, in die Bewertung ein. Das Verfahren verwendet sowohl die Liste von gefundenen Körperteilen als auch die Liste von gefundenen Hautpartien und gibt dann eine Liste von X-/Y-Koordinaten der Hautpixel mit deren Gewichtung zurück. In step 105 There is a combination of found body parts and skin parts. It should be noted that not all skin areas are equally important for a meaningful evaluation. Therefore, in step 102 recognized skin areas according to one embodiment, but not necessarily weighted. The 4 shows an example of such a weighting, with a greater weighting in the area of predefined detected body parts, which is indicated by a darker gray value in the 4 is shown. The weight decreases with increasing distance from the center of the respective relevant area until the weight outside the area becomes zero. For example, an upper arm does not flow into the weighting. In contrast, the circular area around the female breast, which has a high weight in the center, flows into the evaluation. The method uses both the list of found body parts and the list of found skin parts and then returns a list of X / Y coordinates of the skin pixels with their weighting.

Der Schritt 105 kombiniert somit erkannte Hautbereiche mit erkannten Körperteilen und/oder erkannten Körperstellungen, um diese Hautbereiche und damit auch die entsprechenden Körperteile und/oder Körperstellungen zu gewichten. The step 105 thus combines recognized skin areas with recognized body parts and / or recognized body positions in order to weight these skin areas and thus also the corresponding body parts and / or body positions.

Es wird darauf hingewiesen, dass der Verfahrensschritt 105 auch vor dem Schritt 104 durchgeführt werden kann. Für diesen Fall können allerdings keine im Schritt 104 evtl. ermittelten Körperstellungen bei der Gewichtung berücksichtigt werden. In einer weiteren Ausgestaltung wird auf den Verfahrensschritt 105 verzichtet, so dass keine zusätzliche Gewichtung von Hautbereichen erfolgt. It should be noted that the process step 105 also before the step 104 can be carried out. For this case, however, none in the step 104 possibly ascertained body positions are taken into account in the weighting. In a further embodiment, the method step 105 dispensed so that no additional weighting of skin areas takes place.

Beispielsweise ergibt sich aus der Analyse eines pornografischen Bildes, dass folgende Körperteile als relevant markiert sind: Hand, Mund, Brust, Genitalien. Die Hautpartien in diesen Bereichen wurden des Weiteren gewichtet. Damit liegen nun die hinreichenden Voraussetzungen vor, um im folgenden Schritt 106 Regeln auf die Körperteile und/oder Körperstellungen anzuwenden. For example, analysis of a pornographic image reveals that the following body parts are marked as relevant: hand, mouth, breast, genitals. The skin areas in these areas were further weighted. Thus, the sufficient prerequisites are now in place in the following step 106 Apply rules to the body parts and / or body positions.

Damit ein bestimmter Inhalt, im betrachteten Beispiel ein pornografischer Inhalt, angenommen wird, müssen bestimmte Regeln erfüllt sein, die sich darauf beziehen, ob und welche Körperteile erkannt wurden, gegebenenfalls wie diese gewichtet sind, welche relative Position die Körperteile zueinander besitzen und ob die Körperteile oder die Körper insgesamt bestimmte geometrische Formen besitzen. Um dies abzuprüfen, sind einzelne Regeln vordefiniert. In Abhängigkeit davon, welche und wie viele dieser Regeln erfüllt sind, erfolgt eine Klassifizierung des Bildes nach seinem semantischen Inhalt. In order for a particular content, in the example considered a pornographic content, to be accepted, certain rules must be fulfilled which relate to whether and which body parts were recognized, if so how they are weighted, what relative positions the body parts have and whether the body parts or the bodies as a whole possess certain geometrical shapes. To check this out, individual rules are predefined. Depending on which and how many of these rules are met, the image is classified according to its semantic content.

Die folgenden Regeln können dabei beispielsweise eingesetzt werden. Eine erste Regel prüft, ob Körperteile, die einen pornografischen Inhalt implizieren (primäre und sekundäre Geschlechtsmerkmale), vorhanden sind. Diese Regel prüft somit, ob bestimmte Formen in dem Bild überhaupt erkannt worden sind. The following rules can be used, for example. A first rule checks for body parts that imply pornographic content (primary and secondary sexual characteristics). This rule thus checks whether certain forms have ever been recognized in the image.

Eine weitere Regel untersucht, ob erkannte Körperteile paarweise in einer Beziehung zueinander stehen. Dies kann beispielsweise über die Bestimmung des Abstands zwischen den Körperteilen erfolgen. Another rule examines whether recognized body parts are pairwise related. This can be done, for example, by determining the distance between the body parts.

Die Art der Beziehung zwischen Körperteilen kann durch weitergehende Regeln weiter präzisiert werden. Solche Regeln können den Abstand zwischen bestimmten Körperteilen, beispielsweise zwischen Hand und Genitalien oder Kopf und Genitalien oder zwischen männlichen und weiblichen Genitalien betreffen. Solche Regeln können auch betreffen, ob bestimmte Körperteile bzw. Formen auf bestimmten geometrischen Linien liegen, beispielsweise ob Kopf, Hand und Genitalien auf einer vordefinierten geraden oder gebogenen Linie sind. The nature of the relationship between body parts can be further specified by further rules. Such rules may refer to the distance between certain parts of the body, for example, between the hand and genitals or the head and genitals, or between male and female genitals. Such rules may also concern whether certain body parts or shapes lie on certain geometric lines, for example, whether the head, hand and genitals are on a predefined straight or curved line.

Eine weitere Regel kann die Relativposition der Köpfe zweier involvierter Personen betreffen. Weitere Regeln können sich auf die Körperhaltung der involvierten Personen beziehen, wobei beispielsweise der geometrische Verlauf der Erstreckung der Körper erfasst und ausgewertet wird, sowie die sich daraus ergebende relative Position der Körper zueinander. Another rule may relate to the relative position of the heads of two persons involved. Other rules may relate to the posture of the persons involved, for example, the geometric course of the extension of the body is detected and evaluated, and the resulting relative position of the body to each other.

Wenn beispielsweise das Ergebnis der Anwendung der vordefinierten Regeln ist, dass die Körperteile Kopf und Genitalien in dem analysierten Bild vorhanden sind, diese Körperteile einen geringen relativen Abstand besitzen, der unterhalb eines Schwellwerts liegt, und Kopf und Genitalien auf einer im wesentlichen horizontalen Linie liegen, so kann hieraus auf den pornografischen Inhalt „Oralverkehr“ geschlossen werden. For example, if the result of applying the predefined rules is that the body parts head and genitals are present in the analyzed image, these body parts have a small relative distance that is below a threshold, and the head and genitals lie on a substantially horizontal line, so it can be concluded from the pornographic content "oral sex".

Das beschriebene System ist adaptierbar, indem Schwellenwerte angepasst oder mittels Vorlagen geändert werden. Ein solcher Schwellwert kann beispielsweise den Anteil von Haut in einem detektierten Körperteil betreffen. Wenn beispielsweise in einem bestimmten Körperteil, beispielsweise der weiblichen Brust, der Anteil an Haut unterhalb eines bestimmten Schwellwerts liegt, so kann angenommen werden, dass mit einer gewissen Wahrscheinlichkeit kein pornografischer Inhalt vorliegt. Durch Anheben oder Herabsetzen des Schwellwertes kann die Bewertung beeinflusst werden. The described system is adaptable by adjusting thresholds or changing templates. Such a threshold may, for example, relate to the proportion of skin in a detected body part. For example, if, in a particular body part, such as the female breast, the proportion of skin is below a certain threshold, it can be assumed that there is, with a certain probability, no pornographic content. By raising or lowering the threshold, the rating can be influenced.

Im optionalen Schritt 107 der 1 erfolgt zusätzlich eine Bewertung von im Bild enthaltenem Text. Ein solcher Text wird erkannt und einer bestimmten Kategorie zugeordnet in Abhängigkeit von seinem semantischen Inhalt. Die Gesamtbewertung kann je nach Kalibrierung des Verfahrens in unterschiedlicher Weise ausfallen. Wenn sowohl der semantische Inhalt des Bildes als auch der semantische Inhalt des Textes einen pornografischen Inhalt indizieren, so liegt mit hoher Wahrscheinlichkeit ein pornografischer Inhalt vor. Wenn weder der semantische Inhalt des Bildes noch der des Textes einen pornografischen Inhalt indizieren, so liegt mit hoher Wahrscheinlichkeit kein pornografischer Inhalt vor. Wenn entweder nur das Bild oder nur der Text einen pornografischen Inhalt indizieren, so hängt die Klassifizierung von der Voreinstellung ab. In einem ersten Kontrollmodus, der für Kinder geeignet ist, würden die Bilder in beiden Fällen gesperrt, weil wenigstens ein Teil des Bildes (Text oder bildlicher Inhalt) als bedenklich erkannt wurde. In einem zweiten Modus würden Bilder zugelassen, die lediglich einen anstößigen Text aufweisen, jedoch keinen anstößigen bildlichen Inhalt. In the optional step 107 of the 1 In addition, a rating of included in the image Text. Such text is recognized and assigned to a particular category depending on its semantic content. The overall rating may vary depending on the calibration of the method. If both the semantic content of the image and the semantic content of the text indicate pornographic content, then there is a high probability of pornographic content. If neither the semantic content of the image nor that of the text indicates pornographic content, then it is highly unlikely that there is pornographic content. If either only the image or only the text indicates pornographic content, the classification depends on the default. In an initial control mode suitable for children, the images would be locked in both cases because at least a portion of the image (text or visual content) was found to be of concern. In a second mode, images that contain only offensive text would be allowed but not offensive visual content.

Am Ende des Verfahrens der 1 steht die Ausgabe einer Klassifikation (Schritt 108). Die Klassifikation kann auf unterschiedliche Weise angezeigt werden. Beispielsweise kann ein Zahlenwert zwischen +1 und –1 oder zwischen +1 und 0 ausgegeben werden, der die Wahrscheinlichkeit eines pornografischen Inhalts angibt, wobei der Wert „+1“ die höchste Wahrscheinlichkeit für einen pornografischen Inhalt angibt. Alternativ kann auch eine Klassifizierung in begrifflichen Kategorien erfolgen, beispielsweise nach den Kategorien „unbedenklich“, „anstößig“, „erotisch“ und „explizit sexuell“. Beliebige Klassen bzw. Kategorien einer Klassifikation sind dabei denkbar. At the end of the procedure of 1 is the output of a classification (step 108 ). The classification can be displayed in different ways. For example, a numeric value between +1 and -1 or between +1 and 0 indicating the likelihood of pornographic content may be output, with the value "+1" indicating the highest probability of pornographic content. Alternatively, a classification can also be made in conceptual categories, for example according to the categories "harmless", "offensive", "erotic" and "explicitly sexual". Any classes or categories of a classification are conceivable.

Das beschriebene Verfahren ermöglicht eine adaptive Filterung auf Bildebene, ohne die Verwendung von statischen Sperrlisten oder explizit festgelegten Stichwortlisten zu benötigen. Es nutzt dabei zur Erkennung eines semantischen Inhaltes den Umstand, dass bestimmte Körperteile oder Formen des Bildes und deren relative Position zueinander einen semantischen Inhalt indizieren, sofern sie bestimmten Regeln unterliegen. Diese Erkenntnis wird zur Klassifikation eingesetzt. Dabei können flexibel Fälle vordefiniert werden, die elementare Parameter (Hautanteil, Körperteile, Position der Körperteile, Abstand der Körperteile, etc.) nutzen, um eine Entscheidungsfunktion zu definieren. Dabei wird insbesondere die Position der einzelnen Körperteile zueinander nach einer vorangegangenen Formenerkennung automatisiert ausgewertet. The method described allows adaptive filtering at the image level without the need for static CRLs or explicitly defined keyword lists. It uses to recognize a semantic content the fact that certain parts of the body or forms of the image and their relative position to each other indicate a semantic content, if they are subject to certain rules. This knowledge is used for classification. In this case, cases can be predefined flexibly, which use elementary parameters (skin proportion, body parts, position of the body parts, distance of the body parts, etc.) to define a decision function. In particular, the position of the individual body parts relative to each other after a previous mold recognition is evaluated automatically.

Die 5 zeigt beispielhaft ein erfindungsgemäßes Computersystem zur Erkennung eines semantischen Inhalts in Bilddaten eines Bildes. The 5 shows by way of example a computer system according to the invention for recognizing a semantic content in image data of an image.

Dabei wird vorab Folgendes zu den Begriffen „Konzept“ und „Modell“ angemerkt. Ein „Konzept“ gibt einen semantischen Kontext an, z.B. „pornografisch“ oder „jugendfrei“. Ein Konzept geht einher mit bestimmten Klassifikationen. Ein „Modell“ bezeichnet sämtliche Parameter, um Klassifikationen für ein Konzept durchzuführen, z.B. Prototyp-Masken für Körperteile, Schwellenwerte, Parameter für Klassifikations- oder andere Algorithmen, und Fälle (Position Körperteile, welche verwendet werden, ...). Es können mehrere Konzepte und zugehörige Modelle bereitgestellt werden und durch einen Nutzer zwischen diesen auswählbar sein. The following is noted in advance on the terms "concept" and "model". A "concept" indicates a semantic context, e.g. "Pornographic" or "adult". A concept goes along with certain classifications. A "model" refers to all parameters to perform classifications for a concept, e.g. Prototype masks for body parts, threshold values, parameters for classification or other algorithms, and cases (position body parts that are used, ...). Several concepts and associated models may be provided and selectable by a user between them.

Das System der 5 umfasst Komponenten, die in einem Server 1 enthalten sind und Komponenten, die bei einem Client 2 implementiert sind. The system of 5 includes components that are in a server 1 are included and components used by a client 2 are implemented.

Serverseitig umfasst das System eine Bilder-Datenbank 11, ein Modul 12 zum Erkennen einfacher geometrischer Formen, ein Modul 13 zum Erkennen von Haut, von Körperteilen und von Stellungen in einem Bild, ein Modul 14 zum Durchführen von Prüfschritten, ob die erkannten Formen vordefinierte Regeln geometrischer Natur erfüllen, und ein Modul 15 zur Vornahme einer Klassifikation abhängig vom jeweiligen Fall. On the server side, the system includes a picture database 11 , a module 12 to recognize simple geometric shapes, a module 13 for recognizing skin, body parts and positions in an image, a module 14 for performing checks, whether the detected shapes satisfy predefined rules of a geometric nature, and a module 15 to make a classification depending on the case.

Im Einzelnen enthält die Bilder-Datenbank 11 eine Vielzahl von bereits klassifizierten Bildern, wozu die Bilder 3 und eine Bewertung 4 der Bilder 3, beispielsweise in Form eines Zahlenwertes +1 oder –1, in der Datenbank 11 gespeichert sind. Die Bilder-Datenbank 11 enthält also bekannte Bilder mit der jeweiligen Klassifikation. Dabei ist zu beachten, dass das der jeweiligen Klassifikation zugehörige Konzept bevorzugt bereits bekannt ist. Das Konzept wird für diesen Fall ebenfalls gespeichert. In detail contains the image database 11 a variety of already classified pictures, including the pictures 3 and a rating 4 the pictures 3 , for example in the form of a numerical value +1 or -1, in the database 11 are stored. The image database 11 contains well-known images with the respective classification. It should be noted that the concept associated with the respective classification is preferably already known. The concept is also saved for this case.

Das Modul 12 zum Erkennen einfacher geometrischer Formen ist optional und kann dazu dienen, einfache geometrischen Formen wie zum Beispiel Kreise, Ecken und Kanten zu detektieren. Das Modul 12 kann auch in das nachfolgende Modul 13 integriert sein. The module 12 recognizing simple geometric shapes is optional and may serve to detect simple geometric shapes such as circles, corners and edges. The module 12 can also in the following module 13 be integrated.

Im Modul 13 werden Formen und weitere Parameter eines zu analysierenden Bildes erfasst. Insbesondere wird in einem Untermodul 13-1 der Hautanteil des Bildes ausgewertet, entsprechend Schritt 102 des Verfahrens der 1. Im Untermodul 13-2 werden Körperteile erkannt, entsprechend Schritt 103 des Verfahrens der 1. Im Untermodul 13-3 erfolgt eine Ermittlung der Stellung von Personen des Bildes, sowie der relativen Positionen der Körperteile zueinander, gemäß Schritt 104 des Verfahrens der 1. In the module 13 Forms and other parameters of an image to be analyzed are captured. In particular, in a submodule 13-1 the skin content of the image is evaluated, according to step 102 the procedure of 1 , In the submodule 13-2 Body parts are recognized, according to step 103 the procedure of 1 , In the submodule 13-3 a determination of the position of persons of the image, as well as the relative positions of the body parts to each other, according to step 104 the procedure of 1 ,

Das Modul 14 realisiert die Anwendung von Prüfregeln auf die ermittelten Körperteile und Körperstellungen. Des Weiteren kann es Gewichtungen beispielsweise im Hinblick auf den Hautanteil vornehmen. Das Modul 14 realisiert dementsprechend die Schritte 105 und 106 des Verfahrens der 1. The module 14 Realizes the application of test rules to the determined body parts and Body positions. Furthermore, it can make weightings, for example, in terms of skin content. The module 14 realized accordingly the steps 105 and 106 the procedure of 1 ,

Das Verfahren kann iterativ erfolgen in dem Sinne, dass die Ausgangswerte des Moduls 14 an das Modul 13 zurückgeführt werden und dort erneut eine Bearbeitung erfahren, entsprechend dem Pfeil 20. Auch kann vorgesehen sein, dass Daten am Ausgang des Moduls 13 sogleich an den Eingang des Moduls 13 zum erneuten Durchlaufen der im Modul 13 vorgesehenen Algorithmen zurückgeführt werden, noch bevor die Daten an das Modul 14 übergeben werden. Durch solche iterative Maßnahmen kann, in Abhängigkeit von Art und Beschaffenheit des Bildes, erreicht werden, dass bestimmte Parameter, insbesondere bestimmte Formen bzw. Körperteile mit höherer Genauigkeit erkannt werden. The procedure can be iterative in the sense that the initial values of the module 14 to the module 13 be returned and there again undergo a processing, according to the arrow 20 , It can also be provided that data at the output of the module 13 immediately to the entrance of the module 13 to re-run through the module 13 provided algorithms are returned even before the data to the module 14 be handed over. By means of such iterative measures, depending on the nature and nature of the image, it can be achieved that certain parameters, in particular certain shapes or body parts, are detected with greater accuracy.

Das Modul 15 nimmt unter Berücksichtigung der Ergebnisse der Prüfregeln im Modul 14 fallbasiert eine Klassifikation eines untersuchten Bildes vor. Das Ergebnis der Klassifikation im Modul 15 wird in der Wissensdatenbank 16 gespeichert. The module 15 takes into account the results of the validation rules in the module 14 case-based a classification of an examined image before. The result of the classification in the module 15 will be in the knowledge base 16 saved.

Die Wissensdatenbank 16 speichert sämtliche bekannte Bilder mit deren Klassifikation. Zum Beispiel:
(Bild-Hash_1, Wert der Klassifikation)
(Bild-Hash_2, Wert der Klassifikation)
...
(Bild-Hash_n, Wert der Klassifikation) The knowledge database 16 stores all known images with their classification. For example:
(Image hash_1, value of the classification)
(Image hash_2, value of classification)
...
(Image hash_n, value of the classification)

Des Weiteren speichert die Wissensdatenbank die Daten für die Modelle der unterstützten Konzepte. The knowledge base also stores the data for the models of the supported concepts.

Des Weiteren ist es möglich, neue Bilder zu hashen und bei der Existenz in der Wissensdatenbank 16 gleich die richtige Klassifikation zurückzugeben, ohne das Modell bzw. das erfindungsgemäße Verfahren zu verwenden. Furthermore, it is possible to hash images and existence in the knowledge base 16 immediately return the correct classification without using the model or the inventive method.

Ein weiterer Zweck der Wissensdatenbank 16 ist es, vorhandene Klassifikationen zum Training oder für ein Update eines Modells zu verwenden. Anders formuliert: am Anfang wird in jedem Fall eine Menge von bereits (bspw. manuell) klassifizierten Bildern benötigt. Zum Beispiel: +1: Porno, –1: Kein Porno, um ein initiales Modell zu erstellen. Another purpose of the knowledge base 16 is to use existing classifications to train or update a model. In other words: in the beginning, a set of already (eg manually) classified pictures is required in each case. For example: +1: Porn, -1: No pornography to create an initial model.

Die Funktion des Trainings eines Modells kann auch von der Datenbank 11 übernommen werden. Ebenfalls kann vorgesehen sein, dass die Datenbank 11 ein Bestandteil der Wissensdatenbank 16 ist. The function of training a model can also be from the database 11 be taken over. It can also be provided that the database 11 a component of the knowledge database 16 is.

Die Wissensdatenbank 16 enthält also sämtliche bekannte Bilder mit der korrekten Klassifikation, und sämtliche unterstützte Konzepte bzw. die Modelle, die jeweils ein Konzept definieren und realisieren. The knowledge database 16 contains all known images with the correct classification, and all supported concepts or models, each defining and realizing a concept.

Darüberhinaus enthält die Wissensdatenbank 16 in einer bevorzugten Ausgestaltung ein weiteres Feld, das auf ein Konzept referenziert. Es wird damit ein Zusammenhang angegeben, auf den Bild und Klassifikation sich beziehen. Damit erweitert sich die Zuordnung zu:
(Bild-Hash_1, Konzept_Ref_1, Klassifikation)
(Bild-Hash_1, Konzept_Ref_2, Klassifikation) In addition, the knowledge base contains 16 in a preferred embodiment, another field that references a concept. This indicates a relationship to which image and classification refer. This extends the assignment to:
(Image hash_1, concept_ref_1, classification)
(Image hash_1, concept_ref_2, classification)

Ohne die Angabe eines Konzepts würde es teilweise schwer fallen, z.B. den Unterschied zwischen den Konzepten „kindertauglich“ und „leichte Erotik“ sinnvoll darzustellen. Denn falls ein Bild irgendwelche nackten Körperteile enthalten würde, so soll es als nicht kindstauglich abgewiesen werden. Dagegen ist das Bild solange zulässig, bis es explizit nackte Geschlechtsteile zeigt. Im letzteren Fall wäre es unzulässig (–1), im ersten Fall der leichten Erotik zulässig (+1). Durch gemeinsames Speichern von Bild, Klassifikation und Konzept kann auf solche Feinheiten in einfacher Weise eingegangen werden. Without an indication of a concept, it would sometimes be difficult, e.g. make sense of the difference between the concepts of "child-friendly" and "light eroticism". Because if an image would contain any naked body parts, then it should be rejected as not suitable for children. By contrast, the picture is permissible until it explicitly shows naked genitals. In the latter case, it would be inadmissible (-1), in the first case of light eroticism allowed (+1). By storing the image, classification and concept together, such subtleties can be dealt with in a simple way.

Als Client 2 wird jedes Gerät verstanden, welches Inhalte mit dem gelernten Filter prüfen möchte. Um ein Bild bezüglich dessen Inhalts zu bewerten, gibt es zwei Möglichkeiten. Zum einen schickt der Client 2 das Bild zur Analyse an den Server 1 und erhält eine Bewertung zurück. Zum anderen kann ein endgültiges Modell des Servers 1 einschließlich der Wissensdatenbank 16 auf den Client übertragen werden, wobei der Client diese Bewertung dann selbst vornimmt. As a client 2 Every device that wants to check content with the learned filter is understood. To rate an image in terms of its content, there are two possibilities. On the one hand sends the client 2 the image for analysis to the server 1 and get a rating back. Second, a final model of the server 1 including the knowledge base 16 transferred to the client, the client then makes this assessment itself.

Ein „Modell“ bezeichnet dabei wie erwähnt sämtliche Parameter, um Klassifikationen für ein Konzept durchzuführen, z.B. Prototyp-Masken für Körperteile, Schwellenwerte, Parameter für (Klassifikations-)Algorithmen, und Fälle (Position Körperteile, welche verwendet werden, ...). As mentioned, a "model" refers to all parameters to perform classifications for a concept, e.g. Prototype masks for body parts, threshold values, parameters for (classification) algorithms, and cases (position body parts that are used, ...).

Für den Fall, dass das komplette Modell für ein Konzept auf dem Server bereits berechnet wurde, reicht es aus, das eigentliche Modell ohne die Wissensdatenbank 16 an den Client 2 zu übertragen. Damit ist es dem Client 2 möglich, Klassifikationen für ein Konzept eigenständig vorzunehmen. In the event that the complete model for a concept has already been calculated on the server, it is sufficient to have the actual model without the knowledge database 16 to the client 2 transferred to. This is the client 2 possible to make classifications for a concept independently.

Die zweite Möglichkeit, d.h. Übertragen des Modells auf den Client 2, bietet dem Nutzer eine gewisse Anonymität und zusätzlichen Datenschutz. In jedem Fall erhält der Client 2 eine Einschätzung, beispielsweise einen Zahlenwert zwischen Null und Eins, der angibt, mit welcher Wahrscheinlichkeit ein bestimmter semantischer Inhalt vorliegt. Im einfachsten Fall bedeutet ein Wert von Eins, dass der Inhalt des analysierten Bildes pornografischer Natur ist. Anderenfalls wird der Wert Null ausgegeben. Zusätzlich zu einer solchen „harten“ Bewertung kann auch eine unscharfe Bewertung vorgenommen werden, die zum Beispiel angibt, wie pornografisch ein Bild ist oder wieviel Nacktheit zu sehen ist. The second possibility, ie transferring the model to the client 2 , offers the user a certain anonymity and additional privacy. In any case, the client receives 2 an estimate, such as a numerical value between zero and one, that indicates the probability of a given semantic content. In the simplest case, a value of one means that the content of the analyzed image is pornographic in nature. Otherwise, the value zero is output. In addition to such a "hard" rating, a fuzzy rating may also be made, indicating, for example, how pornographic a picture is or how much nudity is seen.

Die Filteranwendung 21 erfolgt im Client mittels einer Anwendungssoftware, die die Filter-Anwendung realisiert. Die Bewertung wird dem Client 2 beispielsweise in einem Fenster 22 mitgeteilt. The filter application 21 takes place in the client by means of an application software that implements the filter application. The rating is the client 2 for example, in a window 22 communicated.

Weiterhin kann vorgesehen sein, dass die Anwendungssoftware zusätzlich dazu ausgebildet ist, auf eine Fingerabdruck-Datenbank 23 zuzugreifen. In der Fingerabdruck-Datenbank sind Identifikationen von bereits bekannten Bildern jeweils zusammen mit einer Klassifikation enthalten. Bei einem zu neuen zu analysierenden Bild wird zunächst geprüft, ob das Bild bereits in der Fingerabdruck-Datenbank enthalten ist. Nur wenn dies nicht der Fall ist, erfolgt eine Klassifikation entsprechend der Filter-Anwendung 21. Dabei kann vorgesehen sein, dass die Fingerabdruck-Datenbank 23 ein Bestandteil der Wissensdatenbank 16 ist oder aus letzterer auf den Client 2 übertragen wurde. Furthermore, it can be provided that the application software is additionally designed for a fingerprint database 23 access. The fingerprint database contains identifications of already known images, each with a classification. In the case of a new image to be analyzed, it is first checked whether the image is already contained in the fingerprint database. Only if this is not the case, a classification is carried out according to the filter application 21 , It can be provided that the fingerprint database 23 a component of the knowledge database 16 or from the latter to the client 2 was transferred.

Claims

Computer-implemented method for detecting a semantic content in image data of an image, comprising the steps of: - detecting ( 103 ) of shapes in the image data of the image, - determining ( 104 ) relative positions of the detected shapes to each other, 106 ), whether the relative positions of the recognized shapes to each other satisfy one or more predefined rules, each of which relates to geometrical relationships between shapes, 108 ) of the image according to a semantic content depending on whether and which of the predefined rules are met.

Method according to claim 1, characterized by the further step of recognizing ( 102 ) of different color values in the image.

A method according to claim 2, characterized in that the recognized color values are used to make the recognition of shapes in the image only in those image areas having certain color values.

A method according to claim 2, characterized in that the recognized color values are used to weight the recognized shapes such that shapes having certain color values are weighted more heavily than other shapes.

Method according to one of the preceding claims, characterized in that in addition entities of the image are recognized, to each of which at least one of the recognized forms belongs, and the checking further comprises the check as to whether the entities satisfy one another or more predefined rules, each geometrical Affect relationships.

Method according to one of the preceding claims, characterized by the further step of checking whether the recognized shapes contain certain predefined shapes, and taking into account this test in the classification of the image.

Method according to one of the preceding claims, characterized in that the predefined rules concern in which paired geometric relationship at least two of the recognized forms stand.

Method according to one of the preceding claims, characterized in that the predefined rules relate to at least one of the following geometrical relations: the distance between each two shapes, whether the shapes or certain of the shapes lie on predefined lines, for example on predefined lines, curves or polylines.

Method according to Claim 8, if dependent on Claim 5, characterized in that the predefined rules furthermore relate to: the positions of two entities each other, the course of the geometric extent of at least one entity.

Method according to one of the preceding claims, characterized in that determined for a recognized shape, an envelope surface of the recognized shape and the position of the envelope surface and the further evaluation are based.

Method according to one of the preceding claims, characterized in that in at least one of the steps carried out several methods for performing this step are used and the results of these several methods are averaged.

Method according to one of the preceding claims, characterized in that additionally text contained in the image is semantically evaluated and evaluated and the result of the evaluation is included in the classification, with a combined overall evaluation of text and image.

Method according to one of the preceding claims, characterized in that threshold values can be set and / or changed by means of templates are, where the thresholds affect the classification.

Method according to one of the preceding claims, characterized in that the result of the classification together with the image in a database ( 16 ) is stored.

Method according to one of the preceding claims, characterized in that the different shapes are body parts of at least one human body contained in the image.

Method according to one of the preceding claims, as far as referring back to claim 2, characterized in that such color values are recognized and used for the further evaluation, which characterize the human skin.

A method according to claim 16, characterized in that the recognition of skin takes place in two stages, wherein in the first stage color space values of the individual image data of the image are checked and in a second stage on the basis of learned and defined negative examples skin-like areas that actually do not affect skin, be eliminated.

Method according to one of the preceding claims, when dependent on claim 5, characterized in that the entities are human bodies contained in the image.

Method according to one of the preceding claims, characterized in that the classification leads to an evaluation as to whether the image has undesired contents, in particular pornographic content.

Computer system for detecting semantic content in image data of an image, comprising: - means ( 13-2 ) for recognizing forms in the image data of the image, - means ( 13-3 ) for determining relative positions of the recognized shapes to each other, - means ( 14 ) for checking whether the relative positions of the recognized shapes to each other satisfy one or more predefined rules relating respectively to geometric relationships between shapes, 15 ) for classifying the image for a semantic content depending on whether and which of the predefined rules are met.

Computer system according to claim 20, characterized in that the computer system additionally comprises a database ( 16 ) containing already classified images as well as parameters defining a contentual concept.

Computer program with program code for performing the method according to one of claims 1 to 19, when the computer program is executed in a computer.

A computer program according to claim 22 adapted to be executed as application software on a mobile device or a tablet computer.

A computer program according to claim 22 or 23, wherein the computer program is adapted, in addition to a fingerprint database ( 23 ), which contains identifications of already known images, each together with a classification, and performs a classification of an image to be evaluated only if the image to be evaluated is not already included in the fingerprint data band.