DE102019133905A1

DE102019133905A1 - Process for marking manipulated images or videos

Info

Publication number: DE102019133905A1
Application number: DE102019133905.7A
Authority: DE
Inventors: Andreas Perschk
Original assignee: Pattys GmbH; PATTY'S GmbH
Current assignee: Pattys GmbH; PATTY'S GmbH
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2021-06-17

Abstract

Die Erfindung betrifft ein Verfahren zum Kennzeichnen von manipulierten Bildern oder Videos, die auf einer Anzeigeeinrichtung dargestellt oder abgespielt werden. Gemäß der Erfindung wird vorgeschlagen, dass das darzustellende Bild oder das abzuspielende Video mit dem ursprünglichen Bild oder Video mittels einer Datenverarbeitungsanlage verglichen wird und dass bei festgestellten Unterschieden eine Kennzeichnung auf dem darzustellenden Bild oder dem abzuspielenden Video angezeigt wird.The invention relates to a method for identifying manipulated images or videos that are shown or played on a display device. According to the invention, it is proposed that the image to be displayed or the video to be played is compared with the original image or video by means of a data processing system and that if differences are detected, an identification is displayed on the image to be displayed or the video to be played.

Description

Die Erfindung betrifft ein Verfahren zum Kennzeichnen von manipulierten Bildern oder Videos, die auf einer Anzeigeeinrichtung dargestellt oder abgespielt werden. Unter Video soll hier eine Abfolge von Bildern verstanden werden, die als Film auf einer Anzeigeeinrichtung angezeigt werden können. Die Manipulationen können auch den akustischen Teil, beispielsweise die Tonspur, des Bildes oder Videos betreffen.The invention relates to a method for identifying manipulated images or videos that are displayed or played on a display device. Video is to be understood here as a sequence of images that can be displayed as a film on a display device. The manipulations can also affect the acoustic part, for example the sound track, the image or video.

Es ist allgemein bekannt, dass Bilder oder Videos mithilfe von künstlicher Intelligenz bearbeitet werden können und werden. Insbesondere bei Kinofilmen werden bestimmte Filmszenen durch Datenverarbeitungsanlagen erzeugt und in den Film eingebaut. Die so erzeugten „unechten“ Filmszenen wirken dabei täuschend echt. Dies ist bei Unterhaltungsfilmen erwünscht und sorgt für die erwartete reale Darstellung von nicht realen Objekten, wie es bei Science-Fiction-Filmen oder Fantasy-Filmen auch gewollt ist.It is well known that images or videos can and will be manipulated with the help of artificial intelligence. Particularly in the case of cinema films, certain film scenes are generated by data processing systems and built into the film. The "fake" film scenes created in this way appear deceptively real. This is desirable in entertainment films and ensures the expected real representation of non-real objects, as is also desired in science fiction films or fantasy films.

Es ist jedoch mithilfe von künstlicher Intelligenz auch möglich, bereits bestehende Filme oder Filmmaterial oder Fotographien nachträglich zu manipulieren. Die Manipulation kann dabei nicht nur den bildlichen Inhalt betreffen, sondern auch die Tonwiedergabe. Es ist beispielsweise möglich, ein bereits aufgenommenes Interview von Personen so zu verändern, dass den beteiligten Personen vollkommen andere Aussagen zugespielt werden, die von den betreffenden Personen nicht geäußert worden sind und auch nicht geäußert werden wollten. Aufgrund der hohen Qualität der durchgeführten Änderung kann es dabei zu Täuschungen der Zuschauer kommen, da diese der Auffassung sind, die betreffende Person vertrete tatsächlich die ihr nachträglich so unterlegte Meinung.However, with the help of artificial intelligence, it is also possible to manipulate already existing films or film material or photographs afterwards. The manipulation can affect not only the visual content, but also the sound reproduction. For example, it is possible to change an interview that has already been recorded by people in such a way that completely different statements are passed to the people involved that were not uttered and also did not want to be uttered by the persons concerned. Due to the high quality of the changes made, the viewers can be deceived because they are of the opinion that the person concerned actually represents the opinion that was subsequently given to them.

Weiterhin ist es möglich, das Aussehen einer ersten Person über die bildliche Darstellung einer zweiten Person zu legen derart, dass die erste Person eine Handlung durchführt oder eine Rede hält, die auf der Anzeigeeinrichtung so erscheint, als ob die zweite Person diese Rede hält und die dazugehörigen Körperbewegungen und Gesichtszüge sowie Lippenbewegungen durchführt. Derartige Fälschungen sind kaum zu erkennen. Diese Art der Informationsmanipulation wird auch als Deep-Fake bezeichnet und ist allgemein bekannt.It is also possible to superimpose the appearance of a first person on the pictorial representation of a second person in such a way that the first person performs an action or gives a speech that appears on the display device as if the second person was giving this speech and the Performs associated body movements and facial features as well as lip movements. Such forgeries can hardly be seen. This type of information manipulation is also known as deep fake and is well known.

Aufgrund der durch die heutzutage verfügbaren Bearbeitungstechniken täuschend echt wirkenden Manipulationsmöglichkeit besteht die Gefahr, dass Informationen in einer unerwünschten und für den Betrachter nicht erkennbaren Weise geändert worden sind. Es entsteht eine Möglichkeit der gezielten Fehlinformation, die es gilt zu vermeiden.Due to the manipulation possibility, which appears deceptively real due to the processing techniques available nowadays, there is a risk that information has been changed in an undesirable manner that is not recognizable to the viewer. There is a possibility of targeted misinformation that must be avoided.

Solange die Manipulation für jedermann sofort erkennbar ist, sind die durchgeführten Änderungen als unkritisch anzusehen. Es wird kritisch, wenn beispielsweise bestimmten Personen mit gesellschaftlichen Einfluss Äußerungen zugespielt werden derart, dass der unbefangene Betrachter zu der Auffassung gelangt, dass diese Person diese Äußerung tatsächlich gemacht hat oder die damit verbundene Meinung vertritt.As long as the manipulation is immediately recognizable for everyone, the changes made are to be regarded as uncritical. It becomes critical if, for example, statements are leaked to certain people with social influence in such a way that the unbiased viewer comes to the opinion that this person actually made this statement or represents the opinion associated with it.

Das Gleiche gilt für Bilder oder Videos von erfundenen Ereignissen, die so erzeugt werden können, als haben sie tatsächlich stattgefunden. Auch können Bilder oder Videos von Ereignissen nachträglich manipuliert werden und somit das tatsächliche Ereignis verfälschen, wodurch der Betrachter ebenfalls falsch informiert wird.The same goes for images or videos of fictional events that can be generated as if they actually happened. Images or videos of events can also be manipulated afterwards and thus falsify the actual event, whereby the viewer is also incorrectly informed.

Für eine unverfälschte Information ist es daher für den Betrachter oder Informationsempfänger nicht nur wichtig zu wissen, von wem die Information stammt, sondern auch Änderungen oder Manipulationen zu erkennen, damit er seine eigene Meinung aufgrund der angezeigten Ereignisse und/oder Äußerungen einer Person treffen kann.In order to obtain unadulterated information, it is therefore not only important for the viewer or information recipient to know from whom the information originates, but also to recognize changes or manipulations so that he can make his own opinion based on the events and / or statements made by a person.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Anzeigen von Bildern oder Videos so auszubilden, dass Manipulationen erkannt werden.The invention is based on the object of developing a method for displaying images or videos in such a way that manipulations are recognized.

Die Aufgabe wird gemäß der Erfindung dadurch gelöst, dass einem Bild oder Video eine Kennzeichnung zugefügt wird, wenn das Bild oder Video manipuliert oder künstlich erstellt worden ist. Die Kennzeichnung befindet sich vorzugsweise am Rand eines Bilds oder Videos, so dass sie stets sichtbar ist aber ansonsten nicht stört. Sie kann auch als transparente Überblendung ausgeführt sein. Insbesondere kann vorgesehen werden, dass die Kennzeichnung mit einer Kennung versehen ist, die auf einen Deep-Fake hinweist, beispielsweise durch die Buchstaben „DF“. Der Erzeuger oder Verbreiter eines Bildes oder Videos in einem Datennetzwerk muss daher ein manipuliertes Bild oder Video oder Datei von sich aus kennzeichnen. Hierzu müsste er beispielsweise durch Gesetzesauflagen oder durch Auflagen der Datenbankbetreiber verpflichtet werden.The object is achieved according to the invention in that an identification is added to an image or video if the image or video has been manipulated or artificially created. The identification is preferably located on the edge of a picture or video so that it is always visible but otherwise does not disturb. It can also be designed as a transparent transition. In particular, it can be provided that the marking is provided with an identifier that indicates a deep fake, for example by means of the letters “DF”. The producer or distributor of an image or video in a data network must therefore identify a manipulated image or video or file of his own accord. He would have to be obliged to do this, for example, by legal requirements or by requirements of the database operator.

Gemäß einer anderen Ausführungsform der Erfindung ist daher vorgesehen, dass das darzustellende Bild oder das abzuspielende Video mit dem ursprünglichen Bild oder Video mittels einer Datenverarbeitungsanlage verglichen wird und dass bei festgestellten Unterschieden eine Kennzeichnung auf dem darzustellenden Bild oder dem abzuspielenden Video angezeigt wird. Dies setzt voraus, dass das ursprüngliche Bild bekannt ist. Dann können durch einen Vergleich eventuelle Änderungen schnell erkannt werden. Das Bild oder das Video kann auch auf dessen Authentizität mittels einer Datenverarbeitungsanlage analysiert werden. Dann ist es möglich, die Prüfung auf Manipulationen „life“ oder „intime“ bei der Darstellung des Bildes oder des Videos durchzuführen.According to another embodiment of the invention, it is therefore provided that the image to be displayed or the video to be played is compared with the original image or video by means of a data processing system and that if differences are detected, an identifier is displayed on the image to be displayed or the video to be played. This assumes that the original image is known. Any changes can then be quickly identified through a comparison. The image or video can also be checked for authenticity by means of a Data processing system are analyzed. It is then possible to check for manipulations “life” or “intimate” when displaying the image or video.

Wird eine Änderung erkannt, kann die Kennzeichnung beispielsweise durch einen durchscheinenden Schriftzug erfolgen, so dass sie dem Betrachter sofort auffällt. Die Kennzeichnung kann aber auch durch ein eingeblendetes Symbol auf dem Bild oder Video erfolgen. Auch ist es möglich, dass die Kennzeichnung als Bildunterschrift oder - überschrift ausgebildet ist.If a change is recognized, the identification can be made, for example, by translucent lettering so that it is immediately noticeable to the viewer. The identification can also be made by a symbol displayed on the image or video. It is also possible that the identification is designed as a caption or caption.

Eine solche automatische Prüfung hat den Vorteil, dass Manipulationen stets erkannt werden, so dass auch gewollt künstlich erstellte, falsche oder manipulierte Bilder oder Videos gekennzeichnet werden. Fehlinformationen werden vermieden.Such an automatic check has the advantage that manipulations are always recognized, so that deliberately artificially created, incorrect or manipulated images or videos are also marked. Incorrect information is avoided.

Welches Bild oder Video als das ursprüngliche Bild oder Video angesehen wird, muss vorher festgelegt werden. Solange es sich um ein unverfälschtes Bild oder Video von einer Aufnahmeeinrichtung handelt, ist die Qualifizierung unproblematisch. Häufig wird es jedoch so sein, dass Bilder oder Videos vor dem Einstellen in ein Datennetzwerk, beispielsweise das World Wide Web oder Internet, bereits bearbeitet worden sind. Dann ist es schwer zu erkennen, ob das so ursprünglich eingestellte Bild nicht bereits bearbeitet worden ist und von Anfang an, also zum Zeitpunkt des ersten Einstellens in die Datenbank, unechte Informationen enthält. Eine vorherige Bearbeitung ist jedoch teilweise auch gewünscht, solange es sich um die Qualität der bildlichen Darstellung handelt oder der Unterhaltung dient.Which picture or video will be regarded as the original picture or video must be determined beforehand. As long as the image or video from a recording device is unadulterated, the qualification is unproblematic. It will often be the case, however, that pictures or videos have already been processed before being placed in a data network, for example the World Wide Web or the Internet. It is then difficult to see whether the image originally set in this way has not already been processed and whether it contains spurious information from the start, i.e. at the time of the first entry in the database. However, prior editing is sometimes also desired as long as the quality of the visual representation is concerned or for entertainment purposes.

Als kritisch anzusehen sind solche Manipulationen, die durch Dritte nachträglich und insbesondere ohne Wissen des Urhebers oder der dargestellten Person durchgeführt werden. Zum Detektieren solcher Manipulationen ist gemäß einer zweiten Ausführungsform der Erfindung vorgesehen, dass das darzustellende Bild oder das abzuspielende Video mit dem gleichen Bild oder Video eines früheren Datums mittels einer Datenverarbeitungsanlage verglichen wird und dass bei festgestellten Unterschieden eine Kennzeichnung auf dem darzustellenden Bild oder dem abzuspielenden Video angezeigt wird.Manipulations carried out subsequently by third parties and in particular without the knowledge of the author or the person represented are to be regarded as critical. To detect such manipulations, it is provided according to a second embodiment of the invention that the image to be displayed or the video to be played is compared with the same image or video from an earlier date by means of a data processing system and that if differences are detected, an identification is made on the image to be displayed or the video to be played is shown.

Die Erfindung nutzt hierbei aus, dass einem neuen Eintrag in ein Datennetzwerk ein Zeitstempel und/oder ein sogenannter Hashwert zugeordnet wird, der fest mit dem Eintrag verbunden ist. Ein Vergleich ist dann ohne weiteres möglich. Insbesondere ist es möglich, den Zeitrang eines Bildes festzustellen.The invention makes use of the fact that a new entry in a data network is assigned a time stamp and / or a so-called hash value that is permanently linked to the entry. A comparison is then easily possible. In particular, it is possible to determine the priority of an image.

Gemäß einer weiteren Ausführungsform der Erfindung ist vorgesehen, dass das darzustellende Bild oder Video vorzugsweise vor dessen Darstellung analysiert wird, um nachträgliche Änderungen oder künstlich erzeugte Inhalte zu ermitteln, und dass bei festgestellten Änderungen oder künstlich erzeugten Inhalten eine Kennzeichnung auf dem darzustellenden Bild oder dem abzuspielenden Video angezeigt wird. Hier wird das darzustellende Bild oder Video auf Fehlstellen hin untersucht, die bei einer Aufnahme der Realität nicht auftreten und somit auf eine Manipulation hinweisen können. Diese Fehlstellen können beispielsweise im asynchronen Ablauf von der Mundbewegung zum gesprochenen beziehungsweise zum wiedergegebenen Wort bestehen. Auch können Bewegungsabläufe kontrolliert oder geprüft werden, so dass künstlich erzeugtes oder geändertes Bildmaterial erkannt wird und von realen Aufnahmen tatsächlicher Ereignisse unterschieden werden kann. In einem solchen Fall wird gemäß der Erfindung die Kennzeichnung eingeblendet.According to a further embodiment of the invention, it is provided that the image or video to be displayed is preferably analyzed before it is displayed in order to determine subsequent changes or artificially generated content, and that if changes or artificially generated content are detected, an identification is made on the image to be displayed or the one to be played Video is displayed. Here, the image or video to be displayed is examined for flaws that do not occur when recording reality and can therefore indicate manipulation. These flaws can exist, for example, in the asynchronous sequence from the mouth movement to the spoken or reproduced word. Movement sequences can also be controlled or checked so that artificially generated or modified image material is recognized and can be distinguished from real recordings of actual events. In such a case, the identification is displayed according to the invention.

Besonders kritisch sind vor allem solche Manipulationen anzusehen, die lediglich einen Teil eines Bildes, eines Videos oder dessen Tonspur betreffen. Hier können beispielsweise Originalaufnahmen derart manipuliert werden, dass bestimmte Ereignisse gar nicht oder anders erscheinen. Die frühere Aussage des Bildes, des Videos oder des akustischen Teils können somit nahezu unmerklich verfälscht werden. Eine gezielte Fehlinformation des Betrachters ist damit möglich.Manipulations that only affect part of an image, a video or its soundtrack are particularly critical. Here, for example, original recordings can be manipulated in such a way that certain events do not appear at all or appear differently. The earlier statements of the image, the video or the acoustic part can thus be falsified almost imperceptibly. A targeted misinformation of the viewer is possible.

Unkritisch können aber Manipulationen erachtet werden, die das Bild oder das Video in der Gesamtheit betreffen, also beispielsweise Kontrast, Farbsättigung und Helligkeit. Solche Änderungen führen in der Regel nicht zu einer Falschinformation.However, manipulations that affect the image or the video as a whole, such as contrast, color saturation and brightness, can be considered uncritical. Such changes usually do not lead to incorrect information.

Um hier das Verfahren zielgerichtet auszugestalten, wird gemäß der Erfindung vorgeschlagen, dass eine Kennzeichnung nur dann erfolgt, wenn die festgestellten Unterschiede oder Änderungen nur Bildausschnitte oder Teile von dem Bild oder dem Video betreffen. Es wird ein Bild oder Video erst dann als manipuliert gekennzeichnet, wenn nur Teile, beispielsweise Bildausschnitte oder akustische Teile, geändert, gelöscht oder hinzugefügt worden sind. Nach der Kennzeichnung des betreffenden Bilds als manipuliert wird der Betrachter den Bildinhalt oder die akustische Wiedergabe kritischer auf dessen beziehungsweise deren Wahrheitsgehalt prüfen können.In order to design the method in a targeted manner here, it is proposed according to the invention that marking only takes place if the differences or changes that are determined only concern image sections or parts of the image or the video. An image or video is only marked as manipulated if only parts, for example image details or acoustic parts, have been changed, deleted or added. After the image in question has been identified as manipulated, the viewer will be able to check the image content or the acoustic reproduction more critically for its truthfulness.

Es kann vorgesehen werden, dass lediglich qualitative Veränderungen eines Bilds oder Videos, also insbesondere die Farbsättigung, der Kontrast oder die Helligkeit oder die Tonqualität, nicht als inhaltliche Manipulationen klassifiziert und somit nicht mit einer Kennzeichnung werden. Sonst müsste ansonsten nahezu jedes Bild mit einer solchen Kennzeichnung versehen werden, so dass deren Wirkung beschränkt wäre. Tatsächlich ist es möglich, solche inhaltlichen Manipulationen oder künstlich erzeugte Inhalte durch eine Bildanalyse zu erkennen und von lediglich qualitativen Änderungen zu unterscheiden. Es ist daher vorgesehen und möglich, dass die Kennzeichnung tatsächlich nur dann eingeblendet wird, wenn das dargestellte Ereignis so nicht in der Realität vorgekommen ist oder verfälscht worden ist.It can be provided that only qualitative changes to an image or video, that is to say in particular the color saturation, the contrast or the brightness or the sound quality, are not classified as manipulations in terms of content and are therefore not labeled. Otherwise almost every picture would have to be given such a label, so that its effect would be limited. Indeed, it is possible to manipulate such content or create it artificially Recognize content through image analysis and distinguish it from merely qualitative changes. It is therefore provided and possible that the identification is actually only displayed if the event shown did not occur in reality or was falsified.

Insgesamt kann es somit gelingen, dass der Betrachter die ihm gezeigten Bilder oder Videoaufnahmen insbesondere dann kritisch betrachtet, wenn eine erfindungsgemäße Kennzeichnung im, unter, über oder neben dem Bild erscheint. Es ist demnach vorgesehen, dass die Kennzeichnung in die Datei eingeflochten wird, so dass sie beim Abspielen oder Aufrufen stets erscheint und nicht oder zumindest nicht ohne weiteres unterdrückt werden kann.Overall, it can thus be possible for the viewer to take a critical look at the images or video recordings shown to him in particular when an identification according to the invention appears in, below, above or next to the image. Provision is accordingly made for the identification to be woven into the file so that it always appears when it is played back or called up and cannot be suppressed, or at least not easily suppressed.

Der Betrachter ist gewarnt, dass die ihm gezeigten Bilder eventuell verfälscht sind. Gewollte Fehlinformationen werden somit sichtbar und die Gefahr der unkontrollierten Beeinflussung des unbefangenen Betrachters wird reduziert.The viewer is warned that the images shown may be falsified. Deliberate misinformation becomes visible and the risk of uncontrolled influencing of the unbiased viewer is reduced.

Der Ausgangspunkt des Verfahrens kann vorzugsweise ein ursprüngliches Bild oder Video sein, das in das Datennetzwerk eingestellt wird. Es kann sich dabei jedoch bereits ein von Anfang an falsches, manipuliertes oder künstlich erzeugtes Bild handeln. Hier wird es schwer sein, ohne eine künstliche Bildverarbeitung oder Bildanalyse ein Deep-Fake-Bild oder Video zu erkennen. Es kann daher vorgesehen werden, dass vorzugsweise jedes Bild oder Video oder Audiodatei vor der Einstellung in das Datennetzwerk einer Deep-Fake-Analyse unterzogen und gegebenenfalls gekennzeichnet wird. Dadurch wird sichergestellt, dass keine manipulierten Informationen ungekennzeichnet verbreitet werden.The starting point of the method can preferably be an original picture or video that is placed in the data network. However, this can already be a false, manipulated or artificially generated image from the start. Here it will be difficult to recognize a deep fake image or video without artificial image processing or image analysis. It can therefore be provided that each image or video or audio file is preferably subjected to a deep fake analysis and, if necessary, marked before being placed in the data network. This ensures that no manipulated information is disseminated unmarked.

Es kann gemäß der Erfindung vorgesehen werden, dass ein Bild oder Video als das ursprüngliche Bild klassifiziert wird, wenn es zum ersten Mal in eine Datenverarbeitungsanlage aufgenommen wird. In jedem Fall ist es günstig, wenn jedem Bild oder Video ein nicht löschbarer Zeitstempel oder Hashwert zugefügt wird, sobald dieses Material in das Datennetzwerk eingestellt wird. Es ist daher vorgesehen, dass einem Bild oder Video beim Einstellen in einer über ein Netzwerk abrufbaren Datenverarbeitungsanlage ein Zeitpunkt oder Hashwert zugeordnet wird, anhand dessen das Alter des betreffenden Bilds oder Videos feststellbar ist. Spätere Manipulationen des Materials können dann gut erkannt und mithilfe der Erfindung sofort sichtbar gemacht werden.According to the invention, it can be provided that an image or video is classified as the original image when it is recorded for the first time in a data processing system. In any case, it is beneficial if a non-erasable time stamp or hash value is added to each image or video as soon as this material is entered into the data network. It is therefore provided that a time or hash value is assigned to an image or video when it is placed in a data processing system that can be called up via a network, on the basis of which the age of the relevant image or video can be determined. Subsequent manipulations of the material can then be easily recognized and made immediately visible with the aid of the invention.

Wie die Kennzeichnung erfolgt ist grundsätzlich beliebig. Es kann vorgesehen werden, dass die Kennzeichnung im Randbereich des darzustellenden Bilds angezeigt wird. Dort stört es die bildliche Darstellung nicht oder nur wenig, so dass das Bild oder Video dennoch gut betrachtet werden kann. Gleichwohl wird der Betrachter darauf hingewiesen, dass dieses Bild oder Video manipuliert worden ist. Die Kennzeichnung kann zudem so ausgebildet sein, dass bei einem künstlich erzeugten Inhalt eine andere Art der Kennzeichnung erfolgt als bei einer Manipulation eines vorhandenen Bildmaterials.How the marking is done is basically arbitrary. Provision can be made for the identification to be displayed in the edge area of the image to be displayed. There it does not interfere with the visual representation, or only slightly, so that the image or video can still be viewed well. Nevertheless, the viewer is informed that this image or video has been manipulated. The identification can also be designed in such a way that a different type of identification takes place in the case of artificially generated content than in the case of manipulation of an existing image material.

Die Kennzeichnung kann dauerhaft auf dem dargestellten Bild oder Video sichtbar sein. Es kann aber auch vorgesehen werden, dass die Kennzeichnung nur zeitweise, beispielsweise zu Beginn und/oder zum Ende der Anzeige des Bildes oder Videos sichtbar ist. Auch kann vorgesehen werden, dass die Kennzeichnung dann erscheint, wenn das Bild oder Video aufgerufen oder von der Anzeigeeinrichtung entfernt wird. Dann wird der Nutzer die Kennzeichnung mit hoher Wahrscheinlichkeit wahrnehmen.The marking can be permanently visible on the displayed image or video. However, it can also be provided that the identification is only visible temporarily, for example at the beginning and / or at the end of the display of the image or video. It can also be provided that the identification appears when the image or video is called up or removed from the display device. The user will then perceive the marking with a high degree of probability.

Gemäß einer weitergehenden Ausführungsform der Erfindung ist vorgesehen, dass die Kennzeichnung als aktive Schaltfläche auf der Anzeigeeinrichtung ausgebildet ist. Dies hat den Vorteil, dass die Kennzeichnung auch mit Funktionalitäten versehen werden kann.According to a further embodiment of the invention, it is provided that the identification is designed as an active button on the display device. This has the advantage that the identification can also be provided with functionalities.

Es kann beispielsweise vorgesehen werden, dass durch Betätigen der Schaltfläche der Verarbeitungsverlauf und/oder die Historie des Bildes oder Videos angezeigt werden. Dann werden der Zeitpunkt und die Art der Änderung sofort ersichtlich, und der Betrachter kann erkennen, ob es sich lediglich um eine kosmetische Änderung des Bildmaterials handelte oder um eine inhaltliche Veränderung. Aus diesen zu diesem Bild gespeicherten oder hinterlegten Daten kann auch eine Wertschöpfungskette geschaffen werden.It can be provided, for example, that the processing sequence and / or the history of the image or video are displayed by pressing the button. Then the point in time and the type of change are immediately apparent, and the viewer can see whether it was merely a cosmetic change in the image material or a change in content. A value chain can also be created from the data stored or stored for this image.

Besonders zweckmäßig kann es sein, wenn durch Betätigen der Schaltfläche die Unterschiede beziehungsweise die veränderten oder bearbeiteten Bereiche oder Teile des Bildes oder Videos angezeigt werden. Dann sieht der Betrachter sofort, welche Bereiche oder Bildausschnitt geändert worden sind.It can be particularly useful if the differences or the changed or edited areas or parts of the image or video are displayed by pressing the button. The viewer then immediately sees which areas or image details have been changed.

Grundsätzlich ist es auch möglich, wenn durch die Schaltfläche ein Link zu dem ursprünglichen oder vorherigen Bildmaterial bereitgestellt wird, das geändert worden ist. Dann kann der Betrachter die durchgeführten Änderungen leicht erkennen und für sich auswerten.In principle, it is also possible if the button provides a link to the original or previous image material that has been changed. The viewer can then easily recognize the changes made and evaluate them for himself.

Die Erfindung wird im Folgenden anhand der schematischen Zeichnung näher erläutert. Die einzige Figur zeigt das Verfahrensschema gemäß der Erfindung.The invention is explained in more detail below with reference to the schematic drawing. The single figure shows the process scheme according to the invention.

Bei dem ursprünglichen Video oder Bild 11 handelt es sich beispielsweise um eine Aufnahme, die ohne Änderung des Inhalts aufgearbeitet und so in eine abrufbare Datenbank 12 eingestellt worden ist. Aus dieser Datenbank 12 ist das ursprüngliche Bild 11 von jedermann abrufbar und auf seiner Datenverarbeitungsanlage anzeigbar.With the original video or picture 11 It is, for example, a recording that has been processed without changing the content and thus stored in a retrievable database 12th been discontinued is. From this database 12th is the original picture 11 can be called up by anyone and displayed on their data processing system.

Dieses abrufbare Bild 11 kann von einem Dritten mithilfe einer entsprechenden Datenverarbeitungsanlage 13 täuschend echt verfälscht oder manipuliert werden. Dieses verfälschte Bild wird wieder in die Datenbank 12 eingestellt und ist somit ebenfalls von jedermann abrufbar und einsehbar. Auch kann mit der Datenverarbeitungsanlage ein erfundenes Bild oder Video künstlich erzeugt und in die Datenbank 12 eingestellt werden. Dieses Bild oder Video beziehungsweise dessen Inhalt hat es in der Realität nie gegeben, aber es ist so täuschend echt gemacht, dass der Betrachter es für wahr erachtet.This retrievable image 11 can be provided by a third party using an appropriate data processing system 13th deceptively real, falsified or manipulated. This corrupted image is back in the database 12th is set and can therefore also be called up and viewed by anyone. An invented image or video can also be artificially generated with the data processing system and stored in the database 12th can be set. This image or video or its content never existed in reality, but it is made so deceptively real that the viewer considers it to be true.

Bei dem schematisch dargestellten Ausführungsbeispiel sind den ursprünglichen zwei Quadraten 14 ein weiteres kleineres Quadrat 15 hinzugefügt worden. Das Quadrat 15 symbolisiert eine Fehlinformation, die dem ursprünglichen Bild 11 so hinzugefügt worden ist, dass sie für den Betrachter nicht oder nur sehr schwer erkennbar ist. Es ist natürlich auch möglich, eine im Ursprungsbild vorhandene Information zu löschen derart, dass es kaum auffällt. Eine solche Fehlinformation wird auch als Deep-Fake bezeichnet.In the exemplary embodiment shown schematically, the original two squares 14th another smaller square 15th has been added. The square 15th symbolizes a misinformation that the original picture 11 has been added in such a way that it is not or only very difficultly recognizable for the viewer. It is of course also possible to delete information present in the original image in such a way that it is hardly noticeable. Such misinformation is also known as a deep fake.

Dieses manipulierte Bild 16 umfasst daher die beiden Quadrate 14 und das zusätzliche Quadrat 15 und ist beispielsweise unter dem gleichen Namen oder Stichwort in der Datenbank 12 abrufbar. Der Betrachter ist mit seiner Datenverarbeitungsanlage 17 grundsätzlich in der Lage sowohl das Ursprungsbild 11 als auch das manipulierte Bild 16 abzurufen, die dann auf seiner Anzeigeeinrichtung angezeigt werden. Das ursprüngliche Bild 11 kann jedoch beispielsweise an einer anderen Stelle der Datenbank 12 stehen oder in der Trefferliste einer Suchmaschine weiter unten und somit nicht oder nur sehr schwer auffindbar sein. Der Betrachter wird demnach vorzugsweise nur das manipulierte Bild 16 abrufen. Aufgrund der täuschend echten Manipulation des Ursprungsbildes 11 mit Hilfe der Bildverarbeitung besteht daher die Möglichkeit, dass der Betrachter die Fehlinformation 15 als wahr ansieht und entsprechende Schlüsse zieht.This manipulated image 16 therefore includes the two squares 14th and the extra square 15th and is, for example, in the database under the same name or keyword 12th retrievable. The viewer is with his data processing system 17th basically capable of both the original image 11 as well as the manipulated image 16 which are then displayed on its display device. The original picture 11 can, however, for example at another point in the database 12th or be further down in the hit list of a search engine and therefore not or very difficult to find. The viewer will therefore preferably only see the manipulated image 16 recall. Due to the deceptively real manipulation of the original image 11 With the help of image processing, there is therefore the possibility that the viewer can see the misinformation 15th sees it as true and draws appropriate conclusions.

Es ist natürlich auch möglich, dass ein vollkommen neues Bild oder Video erschaffen wird, dessen Inhalt nie in der Realität vorgekommen ist. Solche Fake-Bilder oder Fake-Videos können täuschend echt aussehen, als ob das darin gezeigte Ereignis tatsächlich stattgefunden hätte. Damit können gezielt Fehlinformationen verbreitet werden. Solche Fake-Bilder oder Fake-Videos sollten jedoch kenntlich gemacht werden können.It is of course also possible that a completely new image or video is created, the content of which never appeared in reality. Such fake pictures or fake videos can look deceptively real, as if the event shown in them actually took place. This allows misinformation to be spread in a targeted manner. However, it should be possible to identify such fake images or videos.

Um dies zu ermöglichen, ist eine Prüfeinrichtung 18 vorgesehen, die in der Lage ist, sowohl das Ursprungsbild 11 als auch das manipulierte Bild 16 als das „gleiche“ Bild zuerkennen und miteinander zu vergleichen. Die durch das zusätzliche Quadrat 15 symbolisierte Manipulation wird erkannt. Auch kann die Prüfeinrichtung künstlich erzeugte Bilder erkennen und kennzeichnen. Es wird eine Kennzeichnung 19 erzeugt und gemeinsam mit dem manipulierten Bild 16 angezeigt. Die Kennzeichnung kann als eingeblendetes Symbol 19 auf dem Bild erscheinen, so dass sie von dem Betrachter wahrnehmbar ist. Der Betrachter weiß dann, dass das von ihm gerade aufgerufene Bild 20 manipuliert worden ist.To make this possible, there is a test facility 18th provided that is able to both the original image 11 as well as the manipulated image 16 than to recognize the "same" picture and to compare it with one another. The one by the extra square 15th symbolized manipulation is recognized. The testing device can also recognize and identify artificially generated images. It becomes a mark 19th generated and shared with the manipulated image 16 displayed. The identification can be displayed as a symbol 19th appear on the image so that they can be perceived by the viewer. The viewer then knows that the picture he has just called up 20th has been manipulated.

Die Prüfeinrichtung 18 kann dabei in der Datenverarbeitungsanlage 17 des Betrachters integriert sein. Es ist natürlich auch möglich, dass die Datenbank 12 eine derartige Prüfeinrichtung 18 umfasst, mit der jedes neu eingestellte Bild 16 auf vorherige Manipulationen geprüft wird. Dies kann durch einen Vergleich mit einem vorher eingestellten Ursprungsbild 11 erfolgen. Im Falle einer erkannten Manipulation wird dieses Bild 16 mit der Kennzeichnung 19 versehen, um auf die Manipulation hinzuweisen.The test facility 18th can thereby in the data processing system 17th be integrated into the viewer. It is of course also possible that the database 12th such a test facility 18th includes, with each newly set picture 16 is checked for previous manipulations. This can be done through a comparison with a previously set original image 11 respectively. In the event of a detected manipulation, this image 16 with the marking 19th provided to indicate the manipulation.

Auch ist es möglich, bereits manipulierte oder künstlich erzeugte und somit „unechte“ Bilder zu erkennen und beim ersten Einstellen mit einer entsprechenden Kennzeichnung 19 zu versehen. Dadurch wird deutlich gemacht, dass die dargestellte oder wiedergegebene Information manipuliert oder künstlich erzeugt worden ist.It is also possible to recognize images that have already been manipulated or artificially generated and thus "fake" and with a corresponding identification when they are first set 19th to provide. This makes it clear that the information presented or reproduced has been manipulated or artificially generated.

Selbstverständlich ist es auch möglich, manipulierte Bilder oder Videos bereits bei der Erstellung mit einer solchen Kennzeichnung zu versehen. Hierzu kann der Erzeuger beispielsweise durch Gesetzesauflagen verpflichtet werden. Aber auch eine solche Kennzeichnungspflicht schützt nicht vor kriminellen Absichten oder Machenschaften.Of course, it is also possible to label manipulated images or videos when they are created. The producer can, for example, be obliged to do this by means of legal requirements. But even such a labeling requirement does not protect against criminal intentions or machinations.

Der Betrachter wird daher auf seiner Anzeigevorrichtung ein Bild 20 mit der Kennzeichnung 19 sehen, welches Bild den gleichen Inhalt wie das manipulierte Bild 16 hat. Er wird daher auf eventuelle Manipulationen oder auf einen künstlich erzeugten Inhalt hingewiesen und kann dann die wiedergegebenen Informationen für sich entsprechend werten.The viewer therefore becomes an image on his display device 20th with the marking 19th see which image has the same content as the manipulated image 16 Has. He is therefore advised of any manipulation or artificially generated content and can then evaluate the reproduced information accordingly.

Allerdings weiß er nicht, wann und welche Änderungen vorgenommen worden sind. Bei einem Vergleich eines ursprünglichen Bilds 11 mit einem manipulierten Bild 16 werden auch unkritische Änderungen, wie beispielsweise Formatanpassungen, Veränderung der Farbsättigung, der Helligkeit oder des Kontrasts, als Manipulation erkannt. Diese Änderungen stellen sind jedoch keine Verfälschung des Inhalts dar und sind lediglich technisch erforderlich.However, he does not know when and what changes were made. When comparing an original picture 11 with a manipulated image 16 uncritical changes, such as format adjustments, changes in color saturation, brightness or contrast, are also recognized as manipulation. However, these changes do not represent a falsification of the content and are only required for technical reasons.

Es kann daher vorgesehen werden, dass die Kennzeichnung 19 als Schaltfläche ausgebildet ist, durch deren Betätigung, beispielsweise mit einem Maus-Klick oder mit der Fingerspitze, die Zeit und die Art der Änderung angezeigt werden. Es kann aber auch vorgesehen werden, dass die durchgeführten Änderungen wahrnehmbar und bildlich gekennzeichnet werden. Dies kann beispielsweise dadurch erfolgen, dass das hinzugefügte Quadrat 15' nach dem Anklicken der Kennzeichnung 19 farblich verändert wird. It can therefore be provided that the marking 19th is designed as a button, by actuating it, for example with a mouse click or with the fingertip, the time and the type of change are displayed. However, it can also be provided that the changes made are marked perceptibly and visually. This can be done, for example, by removing the added square 15 ' after clicking on the label 19th is changed in color.

Auch kann der Bereich der Änderung eingekreist oder anders dargestellt werden.The area of change can also be circled or shown differently.

Der Betrachter kann somit die wiedergegebene Information auf ihre Authentizität hin prüfen und Änderungen schnell nachvollziehen. Die Verbreitung von manipulierten Bild- oder Tonmaterial ist somit zwar möglich, kann aber von jedem Betrachter erkannt werden. Bewusste Fehlinformationen können daher unterdrückt werden.The viewer can thus check the reproduced information for authenticity and quickly understand changes. The distribution of manipulated image or sound material is thus possible, but can be recognized by any viewer. Deliberate misinformation can therefore be suppressed.

Claims

Method for identifying manipulated images or videos which are displayed or played on a display device, characterized in that an identifier is added to an image or video to be displayed if the image or video has been manipulated or artificially created.

Procedure according to Claim 1 that the image to be displayed or the video to be played is compared with the original image or video by means of a data processing system and that if differences are detected, an identifier is displayed on the image to be displayed or the video to be played.

Procedure according to Claim 1 , characterized in that the picture to be displayed or the video to be played is compared with the same picture or video from an earlier date by means of a data processing system and that if differences are detected, a label is displayed on the picture to be displayed or the video to be played.

Procedure according to Claim 1 that the image or video to be displayed is preferably analyzed before it is displayed in order to determine subsequent changes or artificially generated content, and that if changes or artificially generated content are detected, an identifier is displayed on the image to be displayed or the video to be played.

Method according to one of the Claims 1 to 4th , characterized in that an identification only takes place if the differences or changes found only concern image sections or parts of the image or the video.

Procedure according to Claim 2 or 3 , characterized in that an image or video is classified as the original image when it is first recorded in a data processing system.

Method according to one of the Claims 1 to 6th , characterized in that the identification is displayed in the edge area of the image to be displayed.

Method according to one of the Claims 1 to 7th , characterized in that the identification is designed as an active button on the display device.

Procedure according to Claim 8 , characterized in that the processing sequence and / or the history of the image or video are displayed by pressing the button.

Procedure according to Claim 8 , characterized in that the differences or the changed or edited areas or parts of the image or video are displayed by pressing the button.

Method according to one of the Claims 1 to 10 that a picture or video is assigned a point in time when it is placed in a data processing system that can be called up via a network, on the basis of which the age of the picture or video in question can be determined.