DE102020120467B4

DE102020120467B4 - Method for providing an image montage, film analysis device, and data server device for operation on the Internet

Info

Publication number: DE102020120467B4
Application number: DE102020120467.1A
Authority: DE
Inventors: Simon Brandl; Serge Volodarski
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2020-08-04
Filing date: 2020-08-04
Publication date: 2022-02-24
Anticipated expiration: 2040-08-05
Also published as: DE102020120467A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Bildmontage, wobei eine Filmanalyseeinrichtung (10): eine Mediendatei (22) mit mindestens zwei Ausgabesequenzen feststellt (S1); Abspieldaten bereitstellt, die zu mindestens einem der Ausgabesequenzen jeweils ein Nutzerverhalten eines Benutzers der Abspieleinrichtung (18) beim Abspielen der bereitgestellten Mediendatei (22) beschreiben (S2); und anhand der bereitgestellten Abspieldaten jeder der Ausgabesequenzen einen Aufmerksamkeits-Wert zuordnet (S2). Die Filmanalyseeinrichtung (10) ermittelt zu einer Ausgabesequenz, deren zugeordneter Aufmerksamkeits-Wert ein vorgegebenes Interessekriterium erfüllt, eine Eigenschaft eines durch die Ausgabesequenz dargestellten Kraftfahrzeugs (S7), und ordnet einen thematischen Kontext zuordnet (S8). Die Filmanalyseeinrichtung (10) stellt ein Bildmontagesignal bereitstellt, das den festgestellten thematischen Kontext beschreibt (S9), sowie eine zusätzliche Ausgabesequenz mit einem Bildinhalt zu dem festgestellten thematischen Kontext (S10); und integriert die zusätzliche Ausgabesequenz in die festgestellte Mediendatei (22, S11).The invention relates to a method for providing an image montage, with a film analysis device (10): determining (S1) a media file (22) with at least two output sequences; provides playback data which describe (S2) user behavior of a user of the playback device (18) when playing the provided media file (22) for at least one of the output sequences; and assigns an attention value to each of the output sequences based on the playback data provided (S2). The film analysis device (10) determines a property of a motor vehicle represented by the output sequence (S7) for an output sequence whose assigned attention value satisfies a predetermined interest criterion, and assigns a thematic context (S8). The film analysis device (10) provides an image montage signal that describes the identified thematic context (S9) and an additional output sequence with image content for the identified thematic context (S10); and integrates the additional output sequence into the determined media file (22, S11).

Description

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Bildmontage, also ein Bildmontage-Verfahren.The invention relates to a method for providing an image montage, ie an image montage method.

Um zum Beispiel ein Kraftfahrzeug zu verkaufen, wird üblicherweise ein Inserat, ein Bild oder ein Video erstellt und auf einer Fahrzeugverkaufsplattform hochgeladen.For example, in order to sell a motor vehicle, an advertisement, an image or a video is usually created and uploaded to a vehicle sales platform.

Die KR 1020200008451 A beschreibt ein öffentlichen Onlinegebrauchtwagen-Verkaufsserviceverfahren und ein System hierzu.the KR 1020200008451 A describes an online used car sales public service method and system.

Aus der WO 2020/077449 A1 ist ein System zum Beurteilen eines Kraftfahrzeugs bekannt, das eine dynamische Schnittstelle mit Kraftfahrzeug-Erfassungs-Modulen verwendet, um Bild- und Audiodaten eines Kraftfahrzeugs zu erfassen und die Bild- und Audiodaten zu prozessieren, um Kraftfahrzeugmaße automatisch zu verarbeiten.From the WO 2020/077449 A1 a system for evaluating a motor vehicle is known which uses a dynamic interface with motor vehicle detection modules to collect image and audio data of a motor vehicle and process the image and audio data to automatically process vehicle measurements.

Die US 2015/0348589 A1 beschreibt einen digitalen Video-Showroom, der eine interaktive Videoplattform ist, die zum Recherchieren, Einkaufen und zum Vergleichen von Konsumprodukten und Dienstleistungen verwendet wird.the US 2015/0348589 A1 describes a digital video showroom, which is an interactive video platform used for researching, shopping, and comparing consumer products and services.

Die EP 1 806 896 A1 beschreibt ein Verfahren zur Auswahl und Darstellung mindestens einer Zusatzinformation in Abhängigkeit von einem von einem Server an einen Client übermittelbaren Datenstrom.the EP 1 806 896 A1 describes a method for selecting and displaying at least one piece of additional information as a function of a data stream that can be transmitted from a server to a client.

Nachteilig ist, dass potentielle Käufer Fragen nur zum gesamten Inserat erstellen können, also nur zum gesamten Info-Paket. Außerdem kann der Anbieter den Verkauf nur schlecht unterstützen und das Produkt selbst oder die Anzeige während des Prozesses nicht optimieren.The disadvantage is that potential buyers can only create questions about the entire ad, i.e. only about the entire information package. Also, the vendor can't support the sale poorly and can't optimize the product itself or the ad during the process.

Eine der Erfindung zugrundeliegende Aufgabe ist das Ermöglichen einer sach- und benutzerspezifischen Kommunikation beim Benutzen einer Mediendatei auf zum Beispiel einer Online-Plattform.One of the objects on which the invention is based is to enable factual and user-specific communication when using a media file on an online platform, for example.

Die gestellte Aufgabe wird durch das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtungen gemäß den nebengeordneten Patentansprüchen gelöst. Vorteilhafte Weiterbildungen sind durch die Unteransprüche gegeben.The stated object is achieved by the method according to the invention and the devices according to the invention in accordance with the independent patent claims. Advantageous developments are given by the dependent claims.

Die Erfindung basiert auf der Idee, eine oder mehrere Ausgabesequenzen einer Mediendatei, also zum Beispiel ein Bild, Bilder oder eine oder mehrere Filmszenen der Mediendatei, dahingehend zu analysieren, wie ein Betrachter des Films oder der Bilderserie auf die jeweilige Ausgabesequenz reagiert, insbesondere wie viel Aufmerksamkeit er den einzelnen Ausgabesequenzen widmet. In Abhängigkeit davon kann dann ein zusätzliches Bild oder eine zusätzliche Filmszene zu einem Detail, das den Zuschauer gerade besonders interessiert, in den Film eingefügt werden. Mit anderen Worten können zum Beispiel Anbieter von Dienstleistungen oder Produkten sequenzbasierte Angebote oder Werbung oder ähnliches erstellen.The invention is based on the idea of analyzing one or more output sequences of a media file, for example an image, images or one or more film scenes of the media file, in terms of how a viewer of the film or the series of images reacts to the respective output sequence, in particular how much Attention he devotes to the individual output sequences. Depending on this, an additional image or an additional film scene can then be inserted into the film for a detail that is particularly interesting to the viewer. In other words, providers of services or products, for example, can create sequence-based offers or advertisements or the like.

Zum Beispiel kann detektiert oder gezählt werden, ob der Benutzer eine Ausgabesequenz abbricht oder vorspult, oder ob eine Vielzahl von Benutzern die Ausgabesequenz vorspult oder abbricht. Zeigt der Betrachter jedoch hohes Interesse, informiert das System zu dieser Szene zum Beispiel thematisch relevante Händler oder Dienstleister, die dann die Möglichkeit haben, Werbung oder ein Angebot ihrer Dienstleistung in die Mediendatei einzuspielen. Dies kann „on the fly“ erfolgen, also während der Betrachter den beispielhaften Film anschaut, oder als Reaktion auf eine Auswertung des Nutzerverhaltens sehr vieler Betrachter der jeweiligen Ausgabesequenz.For example, it can be detected or counted whether the user cancels or fast-forwards an output sequence, or whether a plurality of users fast-forwards or cancels the output sequence. However, if the viewer is very interested, the system informs thematically relevant dealers or service providers about this scene, for example, who then have the opportunity to import advertising or an offer of their service into the media file. This can be done "on the fly", i.e. while the viewer is watching the exemplary film, or as a reaction to an evaluation of the user behavior of a large number of viewers of the respective output sequence.

Ein Anbieter einer Dienstleistung oder eines Produktes, zum Beispiel eine Werkstatt oder ein Händler für Sonderausstattung, kann mit der Mediendatei, zum Beispiel einem Inserat zum Verkauf eines Kraftfahrzeugs, interagieren. Der Anbieter kann den Verkauf sinnvoll unterstützen und das Produkt selbst oder die Anzeige während des Prozesses optimieren. Der Verkäufer kann durch eine Analyse der Sequenzen bei der Erstellung eine für ihn optimale „Car-Story“ zusammenstellen und er spart viel Zeit, da er gegebenenfalls nur Ausgabesequenzen und nicht das ganze Inserat anpassen muss, oder idealerweise ein Dritter, zum Beispiel ein Händler oder Dienstleister, eine für den/die Betrachter interessante Szene beisteuert. Für ein Online-Inserat ergibt sich also eine deutlich erhöhte Effizienz. Sowohl Zuschauer, Verkäufer und zum Beispiel ein Händler oder Dienstleister profitieren gleichermaßen davon.A provider of a service or a product, for example a workshop or a dealer for special equipment, can interact with the media file, for example an advertisement for the sale of a motor vehicle. The vendor can sensibly support the sale and optimize the product itself or the ad during the process. By analyzing the sequences during creation, the seller can put together a "car story" that is optimal for him and he saves a lot of time, since he may only have to adapt output sequences and not the entire advertisement, or ideally a third party, for example a dealer or service provider, contributes a scene that is interesting for the viewer(s). For an online advertisement, there is a significantly increased efficiency. Viewers, sellers and, for example, a dealer or service provider benefit equally from this.

Das erfindungsgemäße Verfahren zum Bereitstellen einer Bildmontage wird durch eine Filmanalyseeinrichtung durchgeführt. Unter einer Bildmontage wird eine Montage von statischen oder bewegten Bildern verstanden, also eine Fotomontage und/oder eine Filmmontage. Bei der Bildmontage handelt es sich vorzugsweise um eine Filmmontage, also einen Filmschnitt, mit anderen Worten die Auswahl, Bearbeitung und Strukturierung von aufgenommenem Bildmaterial, um einem Film eine andere Form zu geben. Idealerweise wird dabei auch Tonmaterial bearbeitet.The method according to the invention for providing an image montage is carried out by a film analysis device. An image montage is a montage of static or moving images, ie a photo montage and/or a film montage. The image montage is preferably a film montage, ie a film cut, in other words the selection, processing and structuring of recorded image material in order to give a film a different form. Ideally, audio material is also processed.

Die Filmanalyseeinrichtung kann auch als Bildanalyseeinrichtung bezeichnet werden und kann zum Beispiel einen Datenspeicher aufweisen, in dem ein Programm für Bildanalyse gespeichert ist. Die Filmanalyse kann zum Beispiel als Steuerchip oder Steuergerät ausgestaltet sein.The film analysis device can also be referred to as an image analysis device and can, for example, have a data memory in which a program for image analysis is stored. The film analysis can be designed, for example, as a control chip or control device.

Gemäß dem Verfahren stellt die Filmanalyseeinrichtung eine Mediendatei fest, also eine Datei, die eine Bildserie und/oder einen Videofilm mit einer vorgegebenen Ausgabereihenfolge von mindestens zwei Ausgabesequenzen beschreibt. Jede der Ausgabesequenzen hat dabei einen Bildinhalt. Eine Ausgabesequenz beschreibt eine Gruppe aus inhaltlich aufeinanderfolgenden Bild- und/oder Filmeinstellungen, also eine inhaltlich zusammenhängende Serie von Einzelbildern, ist also zum Beispiel eine Filmszene. Vorzugsweise kann die Filmanalyseeinrichtung die Mediendatei feststellen, während die Mediendatei von einer Abspieleinrichtung bereitgestellt oder sogar gerade abgespielt wird.According to the method, the film analysis device determines a media file, ie a file that describes a series of images and/or a video film with a predetermined output order of at least two output sequences. Each of the output sequences has an image content. An output sequence describes a group of image and/or film shots that follow one another in terms of content, that is to say a series of individual images that is related in terms of content, and is therefore a film scene, for example. Preferably, the movie analyzer can determine the media file while the media file is being provided by a player or even while it is being played.

Unter einer Abspieleinrichtung wird eine Gerätekomponente oder eine Gerätegruppe verstanden, die zum Abspielen von Mediendateien mit Bildinhalten ausgestaltet ist. Die Abspieleinrichtung kann zum Beispiel ein Videogerät, ein anderes Bildausgabegerät, ein Bildschirm oder ein Datenserver sein, der die Mediendatei auf einem Bildschirm, auf dem der Datenserver über das Internet verbunden ist, abspielen kann, oder den Ausgabeinhalt an den Bildschirm übertragen kann.A playback device is understood to be a device component or a device group that is designed to play back media files with image content. The player can be, for example, a video device, other image output device, a screen or a data server that can play the media file on a screen where the data server is connected via the Internet, or can transmit the output content to the screen.

Die Filmanalyseeinrichtung stellt Abspieldaten bereit, die zu einer oder mehr als einer der Ausgabesequenzen jeweils ein Nutzerverhalten eines Benutzers der Abspieleinrichtung beim Abspielen der bereitgestellten Mediendatei beschreiben. Vorzugsweise beschreiben die bereitgestellten Abspieldaten zu allen der Ausgabesequenzen jeweils ein Nutzerverhalten des Benutzers. Die Abspieldaten können also zum Beispiel beschreiben, wie viele Benutzer die Szene anschauen, ob der Benutzer eine Ausgabesequenz vorspult oder abbricht, oder ob der Benutzer ein sehr aufmerksames oder gelangweiltes Verhalten zeigt, zum Beispiel wegschaut oder weggeht, oder ob er die Szene wiederholt abspielt oder nochmal zurückspult. Das Verhalten des Benutzers kann zum Beispiel über Körpersprache und Gesichtsmimik erfasst werden, wobei die Abspieldaten zum Beispiel Kameradaten beschreiben können. Mit anderen Worten beschreiben die Abspieldaten ein Abspielverhalten des Benutzers, also ob und/oder wie die jeweilige Ausgabesequenz vom Benutzer abgespielt wird/wurde oder wahrgenommen wird/wurde.The film analysis device provides playback data that describe user behavior of a user of the playback device when playing the provided media file for one or more than one of the output sequences. The playback data provided for all of the output sequences preferably describe a user behavior of the user. The playback data can therefore describe, for example, how many users are watching the scene, whether the user fast-forwards or aborts an output sequence, or whether the user shows very attentive or bored behavior, for example looking away or walking away, or whether he plays the scene repeatedly or rewind again. The behavior of the user can be recorded, for example, via body language and facial expressions, with the playback data being able to describe camera data, for example. In other words, the playback data describe a playback behavior of the user, ie whether and/or how the respective output sequence is/was played back or is/was perceived by the user.

Anhand der bereitgestellten Abspieldaten ordnet die Filmanalyseeinrichtung jeder der durch die Abspieldaten beschriebenen Ausgabesequenzen in Abhängigkeit von dem jeweiligen Nutzerverhalten einen Aufmerksamkeits-Wert zu, welcher einen Grad einer Aufmerksamkeit des Nutzers gegenüber der jeweiligen Ausgabesequenz repräsentiert. Beschreiben die Abspieldaten zum Beispiel Kameradaten, die beschreiben, dass der Benutzer während der Filmszene wegschaut oder weggeht, oder dass ihm die Augenlider zufallen, kann die Filmanalyseeinrichtung dieser Szene einen sehr geringen Aufmerksamkeits-Wert zuordnen. Dies kann ebenfalls der Fall sein, falls die Abspieldaten beschreiben, dass der Nutzer - oder viele Nutzer an diesem Tag - bei dieser Filmszene vorspulen oder den Film abbrechen. Ein hoher Aufmerksamkeits-Wert kann jedoch zugeordnet werden, falls der oder die Benutzer die Szene noch einmal anschauen oder gezielt diese Szene auswählen oder die Szene bis zu Ende anschauen.Based on the playback data provided, the film analysis device assigns an attention value to each of the output sequences described by the playback data, depending on the respective user behavior, which value represents a degree of user attention to the respective output sequence. For example, if the playback data describes camera data that describes that the user looks away or walks away during the film scene, or that his eyelids droop, the film analysis device can assign a very low attention value to this scene. This can also be the case if the playback data describes that the user - or many users on that day - fast-forward or stop the movie at that movie scene. However, a high attention value can be assigned if the user or users watch the scene again or specifically select this scene or watch the scene to the end.

Die Filmanalyseeinrichtung zerteilt die Bildserie oder den Videofilm also in die Ausgabesequenzen. Diese Ausgabesequenzen werden dann bewertet in Abhängigkeit davon, wie der Benutzer sich verhält. Die einzelnen Szenen werden also nicht objektiv beurteilt, sondern benutzerspezifisch. Dies kann optional gekoppelt werden mit einer Tageszeit, so dass der Aufmerksamkeits-Wert nach einer Auswertung einer bestimmten Tageszeit zugeordnet werden kann. So können zum Beispiel lange Szenen abends nach der Arbeit beliebter sein, weil die Betrachter sehr viel mehr Zeit haben, sich den ganzen Film anzuschauen. Um die Mittagszeit können jedoch nur diejenigen Ausgabesequenzen interessant sein, die kurz und prägnant viele Informationen liefern.The film analysis device thus divides the series of images or the video film into the output sequences. These output sequences are then evaluated depending on how the user behaves. The individual scenes are therefore not judged objectively, but user-specifically. This can optionally be coupled with a time of day, so that the attention value can be assigned to a specific time of day after an evaluation. For example, long scenes can be more popular after work in the evening because viewers have much more time to watch the whole film. Around noon, however, only those output sequences that provide a lot of information in a short and concise manner can be of interest.

Die Filmanalyseeinrichtung ermittelt zu mindestens einer Ausgabesequenz, deren zugeordneter Aufmerksamkeits-Wert ein vorgegebenes Interessekriterium erfüllt, eine Eigenschaft eines durch die Ausgabesequenz dargestellten Kraftfahrzeugs. Zum Beispiel kann die Filmanalyseeinrichtung durch eine Bildanalyse ermitteln, dass in der Ausgabesequenz gerade ein Kotflügel mit einer Delle gezeigt wird. Die Filmanalyseeinrichtung ordnet der festgestellten Eigenschaft einen thematischen Kontext zu, zum Beispiel den Kontext „Reparatur Karosserie“ oder „Kotflügel“. Durch das Zuordnen des thematischen Kontexts erfolgt auch dessen Feststellen.The film analysis device determines a property of a motor vehicle represented by the output sequence for at least one output sequence whose assigned attention value satisfies a predetermined interest criterion. For example, the film analysis device can determine through image analysis that a fender with a dent is currently being shown in the output sequence. The film analysis device assigns a thematic context to the determined property, for example the context “body repair” or “fender”. By assigning the thematic context, it is also determined.

Das vorgegebene Interessekriterium kann vorzugsweise ein Überschreiten eines vorgegebenen Mindestwerts des Grads der Aufmerksamkeit durch den zugeordneten Aufmerksamkeits-Wert vorgeben. Zum Selektieren der zu ändernden Ausgabesequenzen kann die Filmanalyseeinrichtung optional anhand des zugeordneten Aufmerksamkeits-Werts prüfen, welche der Ausgabesequenzen das vorgegebene Interessekriterium erfüllt.The predefined interest criterion can preferably specify that the assigned attention value exceeds a predefined minimum value for the degree of attention. To select the output sequences to be changed, the film analysis device can optionally use the assigned attention value to check which of the output sequences meets the predetermined interest criterion.

Die Filmanalyseeinrichtung stellt ein Bildmontagesignal bereit, erzeugt dieses zum Beispiel. Das Bildmontagesignal beschreibt den festgestellten thematischen Kontext. Die Filmanalyseeinrichtung kann das Bildmontagesignal zum Beispiel an ein baulich von der Filmanalyseeinrichtung getrenntes Empfangsgerät übertragen, zum Beispiel ein mobiles Endgerät oder einen Datenserver einer Werkstatt; oder, falls die Filmanalyseeinrichtung eine Bildmontageeinrichtung aufweist, das bereitgestellte Bildmontagesignal an die Bildmontageeinrichtung übertragen.The film analyzer provides an image montage signal, for example generates it. The montage signal describes the identified thematic context. The Film Analysis Facility the montage signal can be transmitted, for example, to a receiving device that is structurally separate from the film analysis device, for example a mobile terminal device or a data server in a workshop; or, if the film analysis device has a picture montage device, transmit the provided picture montage signal to the picture montage device.

Die Filmanalyseeinrichtung stellt dann eine zusätzliche Ausgabesequenz mit einem Bildinhalt zu dem festgestellten thematischen Kontext bereit, empfängt die zusätzliche Ausgabesequenz also zum Beispiel aus dem Empfangsgerät der Werkstatt oder aus einer integrierten Bildmontageeinrichtung der Filmanalyseeinrichtung. Die Filmanalyseeinrichtung integriert dann die zusätzliche Ausgabesequenz in die festgestellte Mediendatei.The film analysis device then provides an additional output sequence with image content for the determined thematic context, ie it receives the additional output sequence, for example, from the workshop receiver or from an integrated image assembly device of the film analysis device. The film analyzer then integrates the additional output sequence into the determined media file.

Es ergeben sich die oben beschriebenen Vorteile.The advantages described above result.

Die Filmanalyseeinrichtung überträgt die bereitgestellten Abspieldaten an eine Deep-Learning-Engine. Eine Deep-Learning-Engine („Deep-Learning-Einrichtung“) ist ein Gerät, eine Gerätekomponente oder ein Programm, welches sogenanntes Deep-Learning (sogenanntes tiefgehendes Lernen, maschinelles Lernen) auf eine Vielzahl von Daten anwenden kann. Mit anderen Worten ist die Deep-Learning-Engine eine hochentwickelte Einrichtung zum Durchführen von tiefgehendem Lernen, also eine Umsetzung von künstlicher Intelligenz. Mit anderen Worten sind sowohl künstliche Intelligenz als Maschinenlernen und tiefgehendes Lernen mittels der Deep-Learning-Engine umsetzbar. Die Deep-Learning-Engine kann beispielsweise als tiefgehendes, künstliches neuronales Netz ausgebildet und/oder ausgestaltet sein. Mit anderen Worten kann die Deep-Learning-Engine dazu eingerichtet sein, mittels einer Methode des maschinellen Lernens eine Vielzahl von Erfahrungswerten und/oder Trainingsdaten, die auch als Trainierdatensatz bezeichnet werden können, oder ein Dataset nach einem vorbestimmten Algorithmus und anhand der bereits gespeicherten Vielzahl von Erfahrungswerten auszuwerten, beispielsweise über eine darin enthaltene Logik, zum Beispiel eine Korrelation. Hierdurch können auch weitere logische Verknüpfungen in der Deep-Learning-Engine erstellt werden.The film analysis device transmits the playback data provided to a deep learning engine. A deep learning engine ("deep learning facility") is a device, device component, or program that can apply so-called deep learning (so-called deep learning, machine learning) to a variety of data. In other words, the deep learning engine is a sophisticated facility for performing deep learning, that is, an implementation of artificial intelligence. In other words, both artificial intelligence and machine learning and deep learning can be implemented using the deep learning engine. The deep learning engine can be designed and/or configured as an in-depth, artificial neural network, for example. In other words, the deep learning engine can be set up to use a machine learning method to process a large number of empirical values and/or training data, which can also be referred to as a training data set, or a data set according to a predetermined algorithm and using the large number already stored evaluate empirical values, for example via a logic contained therein, for example a correlation. This also allows further logical links to be created in the deep learning engine.

Erfahrungswerte oder Trainingsdaten können dabei zum Beispiel zu einer Vielzahl von Abspieldaten - also auch zu einer Vielzahl von unterschiedlichen Nutzerverhalten - und/oder bereits zugeordnete Aufmerksamkeits-Werte dann zu thematischen Kontexten, die den Grad der Aufmerksamkeit erhöhen (also dazu geeignet sind, den Grad der Aufmerksamkeit zu erhöhen), statistisch zusammengefasst sein.Experience values or training data can, for example, lead to a large number of playback data - i.e. also to a large number of different user behaviors - and/or attention values that have already been assigned to thematic contexts that increase the degree of attention (i.e. are suitable for increasing the degree of to increase attention), be summarized statistically.

Die Filmanalyseeinrichtung betreibt die Deep-Learning-Engine, so dass durch die Deep-Learning-Engine zu einer Vielzahl von Nutzerverhalten und/oder Auf-merksamkeits-Werte thematischen Kontexten, die den Grad der Aufmerksamkeit erhöhen, statistisch zusammengefasst sind. Die Filmanalyseeinrichtung betreibt die Deep-Learning-Engine weiter dazu, die durch die bereitgestellten Abspieldaten beschriebenen Nutzerverhalten und/oder die bereits zugeordneten Aufmerksamkeits-Werte zu verarbeiten und hierdurch eine Aufmerksamkeitserhöhungsprognose zu ermitteln. Die Aufmerksamkeitserhöhungsprognose umfasst dabei eine Wahrscheinlichkeit, mit welcher der Benutzer (oder zukünftige Benutzer) eine zusätzliche Ausgabesequenz mit dem entsprechenden thematischen Kontext, zum Beispiel ein Werkstatt-Angebot, bevorzugt und der Mediendatei dadurch einen höheren Grad an Aufmerksamkeit entgegenbringt.The film analysis device operates the deep learning engine, so that thematic contexts that increase the degree of attention are statistically combined by the deep learning engine into a large number of user behavior and/or attention values. The film analysis device also operates the deep learning engine to process the user behavior described by the playback data provided and/or the attention values that have already been assigned, and thereby to determine an attention increase prognosis. The prognosis for the increase in attention includes a probability with which the user (or future user) will prefer an additional output sequence with the corresponding thematic context, for example a workshop offer, and thereby pay a higher degree of attention to the media file.

Nur falls die ermittelte Aufmerksamkeitserhöhungsprognose eine Wahrscheinlichkeit für eine Präferenz einer zusätzlichen Ausgabesequenz mit einem durch einen geänderten Bildsequenzparameter geänderten Bildinhalt beschreibt, wobei die Wahrscheinlichkeit einen vorgegebenen Schwellenwert übersteigt, legt die Filmanalyseeinrichtung mittels der Deep-Learning-Engine anhand der ermittelten Aufmerksamkeitserhöhungsprognose den thematischen Kontext für die zusätzliche Ausgabesequenz fest, prädiziert ihn vorzugsweise, und kann dadurch die zusätzliche Ausgabesequenz vorgeben. Mit anderen Worten beschreibt die ermittelte Aufmerksamkeitserhöhungsprognose eine Relevanz einer zusätzlichen Ausgabesequenz, vorzugsweise auch eine Relevanz eines thematischen Kontexts.Only if the determined attention increase prognosis describes a probability of a preference for an additional output sequence with image content changed by a changed image sequence parameter, with the probability exceeding a predetermined threshold value, does the film analysis device use the deep learning engine based on the determined attention increase prognosis to set the thematic context for the additional output sequence, preferably predicts it, and can thereby specify the additional output sequence. In other words, the prognosis of increasing attention that was determined describes a relevance of an additional output sequence, preferably also a relevance of a thematic context.

Das bereitgestellte Bildmontagesignal beschreibt dann also das Ergebnis der Deep-Learning-Engine.The image montage signal provided then describes the result of the deep learning engine.

Dadurch wird eine Vielfalt der möglichen Filmschnitte deutlich erhöht, und zusätzlich wird die Vielfalt für einen besonders situations- und/oder benutzerspezifischen Zweck nutzbar. Die oben genannten Vorteile steigern sich also synergistisch.As a result, a variety of possible film cuts is significantly increased, and the variety can also be used for a particularly situation-specific and/or user-specific purpose. The advantages mentioned above increase synergistically.

Die bereitgestellten Abspieldaten können vorzugsweise beschreiben, ob der Benutzer die jeweilige Ausgabesequenz vorzeitig abbricht oder die Ausgabesequenz gezielt auswählt, können zum Beispiel eine Abbruchrate als Durchschnitt mehrerer Benutzer beschreiben, eine Abbruchrate des gleichen Benutzers über mehrere Ausgabesequenzen hin-weg, oder zum Beispiel eine Informationen, dass der Benutzer den beispiel-haften Film oder die entsprechende Ausgabesequenz stoppt. Alternativ oder zusätzlich können die Abspieldaten beschreiben, ob der Benutzer die jeweilige Ausgabesequenz vorspult und/oder überspringt, oder jedoch die Ausgabesequenz wiederholt anschaut oder zurückspult. Die Abspieldaten können dann beispielsweise generiert werden, falls ein entsprechender Knopfdruck eines Abspielgeräts detektiert wird.The playback data provided can preferably describe whether the user terminates the respective output sequence prematurely or specifically selects the output sequence, can for example describe a termination rate as an average of several users, a termination rate for the same user over several output sequences, or for example information that the user stops the exemplary movie or the corresponding output sequence. Alternatively or additionally, the playback data can describe whether the user fast forwards and/or skips the respective output sequence, or the off replays or rewinds the output sequence. The playback data can then be generated, for example, if a corresponding push of a button on a playback device is detected.

Zusätzlich oder alternativ können die bereitgestellten Abspieldaten beschreiben, ob der Benutzer sich während des Abspielens der jeweiligen Ausgabesequenz von einem Bildschirm der Abspieleinrichtung abwendet; und/oder eine Emotion des Benutzer während des Abspielens der jeweiligen Ausgabesequenz und/oder eine Gesichtsmimik und/oder eine Körpersprache des Benutzer während des Abspielens der jeweiligen Ausgabesequenz. Bei den letzteren Varianten kann die Filmanalyseeinrichtung zum Beispiel ein Signal von Kameras und/oder eines Näherungssensors eines Bildschirms empfangen, die zum Beispiel die Gesichtsmimik (oder nur das Kamerabild) beschreiben, das Entfernen des Körpers des Bildschirms oder zum Beispiel andere biometrische Daten, zum Beispiel eine Herzrate oder eine Schweißabsonderungsrate, die mittels beispielsweise entsprechender Herzratensensoren oder Schweißsensoren erfasst werden können. Körpersprache und/oder biometrische Daten können von der Filmanalyseeinrichtung ausgewertet werden.Additionally or alternatively, the playback data provided can describe whether the user turns away from a screen of the playback device during the playback of the respective output sequence; and/or an emotion of the user during the playing of the respective output sequence and/or facial expressions and/or body language of the user during the playing of the respective output sequence. In the latter variants, the film analysis device can, for example, receive a signal from cameras and/or a proximity sensor of a screen describing, for example, the facial expressions (or just the camera image), the removal of the body of the screen, or other biometric data, for example a heart rate or a perspiration rate, which can be detected by means of, for example, appropriate heart rate sensors or perspiration sensors. Body language and/or biometric data can be evaluated by the film analysis device.

Mit solchen Abspieldaten als Eingangsdaten kann die Filmmontage besonders zuverlässig und benutzerspezifisch erfolgen.With such playback data as input data, the film assembly can take place in a particularly reliable and user-specific manner.

In einer Variante des Verfahrens kann die Filmanalyseeinrichtung eine Bildmontageeinrichtung umfassen, also ein Gerät, eine Gerätekomponente oder eine Gerätegruppe, das/die dazu eingerichtet ist, eine Bildmontage durchzuführen, also zum Beispiel einen Film zu schneiden und/oder Bildsequenzparameter zu ändern. Bei dieser Ausführungsform kann das erzeugte Bildmontagesignal die Bildmontageeinrichtung dazu veranlassen, die zusätzliche Ausgabesequenz bereitzustellen. Die Bildmontageeinrichtung kann die zusätzliche Ausgabesequenz zum Beispiel aus einer Mehrzahl an in einem Datenspeicher gespeicherten Ausgabesequenzen auswählen, oder die zusätzliche Ausgabesequenz generieren. Insbesondere bei einer Kopplung mit einer Deep-Learning-Engine kann eine besonders gut austarierte Bildmontage erfolgen.In a variant of the method, the film analysis device can include an image montage device, i.e. a device, a device component or a device group, which is set up to perform an image montage, i.e. for example to cut a film and/or to change image sequence parameters. In this embodiment, the generated montage signal can cause the montage device to provide the additional output sequence. The image montage device can, for example, select the additional output sequence from a plurality of output sequences stored in a data memory, or generate the additional output sequence. In particular, when coupled with a deep learning engine, a particularly well-balanced image montage can take place.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann die Filmanalyseeinrichtung die Abspieldaten zu mehreren Benutzern der Abspieleinrichtung bereitstellen, vorzugsweise wobei die Filmanalyseeinrichtung zusätzlich berücksichtigt, wie oft die jeweilige Ausgabesequenz angeschaut wird oder wurde. Dadurch wird eine Qualität der Mediendatei und der damit verbundenen Services nicht nur für einzelne Zuschauer deutlich verbessert.In a further embodiment of the method according to the invention, the film analysis device can provide the playback data for a number of users of the playback device, preferably with the film analysis device also taking into account how often the respective output sequence is or was viewed. This significantly improves the quality of the media file and the associated services, not just for individual viewers.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann die Filmanalyseeinrichtung als Eigenschaft des Kraftfahrzeugs einen Schaden an einem Kraftfahrzeug ermitteln, sowie als thematischen Kontext den Schaden oder eine Reparaturmaßnahme zum Beheben des Schadens ermitteln. Zeigt die Ausgabesequenz zum Beispiel eine Delle im Kotflügel, kann der thematische Kontext „Reparatur Karosserie“ sein, oder „Reparatur Kotflügel“. Dies ist besonders effizient zum Erhöhen einer Transparenz beim Kraftfahrzeug-Verkauf, denn dem Betrachter der Mediendatei können nicht nur gleich passende Angebote eingespielt werden, sondern der Betrachter kann einschätzen, welche Kosten auf ihn zukommen, falls er das Kraftfahrzeug kauft.In a further embodiment of the method according to the invention, the film analysis device can determine damage to a motor vehicle as a property of the motor vehicle, and can determine the damage or a repair measure for remedying the damage as thematic context. For example, if the output sequence shows a dent in the fender, the thematic context can be "repair body" or "repair fender". This is particularly efficient for increasing transparency when selling a motor vehicle, because the viewer of the media file can not only be fed suitable offers straight away, but the viewer can also estimate what costs he will incur if he buys the motor vehicle.

Zu der Erfindung gehört auch die Filmanalyseeinrichtung. Die Filmanalyseeinrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung einen Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.The invention also includes the film analysis device. The film analysis device can have a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have a program code which is set up to carry out the embodiment of the method according to the invention when executed by the processor device. The program code can be stored in a data memory of the processor device.

Unter einer Filmanalyseeinrichtung wird ein Gerät oder eine Gerätekomponente zur elektronischen Datenverarbeitung verstanden, die Signale empfangen und auswerten kann, sowie Steuersignale erzeugen kann. Insbesondere ist die Filmanalyseeinrichtung zur Bildanalyse eingerichtet.A film analysis device is understood to be a device or a device component for electronic data processing, which can receive and evaluate signals and can generate control signals. In particular, the film analysis device is set up for image analysis.

Die Filmanalyseeinrichtung kann vorzugsweise eine Deep-Learning-Engine umfassen. Die Filmanalyseeinrichtung ist dabei dazu eingerichtet, die entsprechende bereits oben beschriebene Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen, bei der die Filmanalyseeinrichtung die Deep-Learning-Engine betreibt. Für diese Ausführungsform des erfindungsgemäßen Verfahrens kann die Filmanalyseeinrichtung jedoch auch dann eingerichtet sein, falls die Deep-Learning-Engine keine Komponente der Filmanalyseeinrichtung ist, sondern zum Beispiel eines baulich von der Filmanalyseeinrichtung getrennten Datenservers. Die Vorteile wurden bereits oben besprochen.The film analysis device can preferably comprise a deep learning engine. In this case, the film analysis device is set up to carry out the corresponding embodiment of the method according to the invention, which has already been described above, in which the film analysis device operates the deep learning engine. However, the film analysis device can also be set up for this embodiment of the method according to the invention if the deep learning engine is not a component of the film analysis device but, for example, of a data server that is structurally separate from the film analysis device. The advantages have already been discussed above.

In einer weiteren Ausgestaltung kann die Filmanalyseeinrichtung eine Bildmontageeinrichtung umfassen, die dazu eingerichtet ist, eine zusätzliche Ausgabesequenz bereitzustellen. Die Vorteile wurden bereits oben besprochen.In a further refinement, the film analysis device can comprise an image assembly device which is set up to produce an additional provide output sequence. The advantages have already been discussed above.

Die oben gestellte Aufgabe wird gelöst durch eine Datenservereinrichtung zum Betreiben im Internet, zum Beispiel einem Datenserver, einem Backend und/oder eine Daten-Cloud, wobei die Servervorrichtung eine Ausführungsform des erfindungsgemäßen Speichermediums und/oder der erfindungsgemäßen Filmanalyseeinrichtung aufweist.The above object is achieved by a data server device for operation on the Internet, for example a data server, a backend and/or a data cloud, the server device having an embodiment of the storage medium according to the invention and/or the film analysis device according to the invention.

Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Filmanalyseeinrichtung und der erfindungsgemäßen Datenservereinrichtung, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Filmanalyseeinrichtung und der erfindungsgemäßen Datenservereinrichtung hier nicht noch einmal beschrieben.The invention also includes developments of the film analysis device according to the invention and the data server device according to the invention, which have features as have already been described in connection with the developments of the method according to the invention. For this reason, the corresponding developments of the film analysis device according to the invention and the data server device according to the invention are not described again here.

Die oben gestellte Aufgabe wird gelöst durch ein Speichermedium mit einem Programmcode, der dazu eingerichtet ist, bei Ausführung durch eine Prozessoreinrichtung eines mobilen Endgeräts die Filmanalyseeinrichtung dazu zu veranlassen, eine Ausführungsform des oben beschriebenen Verfahrens durchzuführen. Das Speichermedium kann zum Beispiel als Speicherkarte oder Speicherchip oder anderer Datenspeicher ausgestaltet sein. Es ergeben sich die bereits genannten Vorteile.The object set above is achieved by a storage medium with a program code which, when executed by a processor device of a mobile terminal device, is set up to cause the film analysis device to carry out an embodiment of the method described above. The storage medium can be designed, for example, as a memory card or memory chip or other data storage medium. The advantages already mentioned result.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes the combinations of features of the described embodiments. The invention also includes implementations that each have a combination of the features of several of the described embodiments, unless the embodiments were described as mutually exclusive.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung zu einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtungen; und
2 eine weitere schematische Darstellung zu dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtungen.

Exemplary embodiments of the invention are described below. For this shows:

1 a schematic representation of an embodiment of the method according to the invention and the devices according to the invention; and
2 a further schematic representation of the exemplary embodiment of the method according to the invention and the devices according to the invention.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that each also develop the invention independently of one another. Therefore, the disclosure is also intended to encompass combinations of the features of the embodiments other than those illustrated. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference symbols designate elements with the same function.

Die 1 veranschaulicht das Prinzip des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtungen gemäß eines Ausführungsbeispiels. Hierzu zeigt die 1 eine Filmanalyseeinrichtung 10, die zum Beispiel als Bildverarbeitungsgerät oder Steuerchip ausgestaltet sein kann. Die Filmanalyseeinrichtung 10 kann optional eine Prozessoreinrichtung 12 und/oder einen Datenspeicher 14 aufweisen. Im Beispiel der 1 kann die Filmanalyseeinrichtung 10 beispielsweise eine Komponente einer Datenservereinrichtung 16 sein, die zum Beispiel als Datenserver oder Computer ausgestaltet sein kann.the 1 illustrates the principle of the method according to the invention and the devices according to the invention according to an exemplary embodiment. This shows the 1 a film analysis device 10, which can be designed, for example, as an image processing device or a control chip. The film analysis device 10 can optionally have a processor device 12 and/or a data memory 14 . In the example of 1 For example, the film analysis device 10 can be a component of a data server device 16, which can be configured as a data server or computer, for example.

Eine Abspieleinrichtung 18, zum Beispiel ein Videogerät oder ein Computer mit einem Bildschirm, ist beispielhaft in der 1 als baulich von der Datenservereinrichtung 16 und der Filmanalyseeinrichtung 10 getrenntes Gerät gezeigt. Denkbar ist jedoch auch, dass die Abspieleinrichtung 18 zum Beispiel ein Teil der Datenservereinrichtung 16 sein kann, oder zusammen mit der Filmanalyseeinrichtung 10 zum Beispiel ein Gerät bilden kann. Im Falle der baulich getrennten Variante wie in der 1 gezeigt, erfolgt die Kommunikation mit der Filmanalyseeinrichtung 10 über eine Datenkommunikationsverbindung 20, vorzugsweise eine drahtlose Datenkommunikationsverbindung, wie zum Beispiel eine WLAN-Verbindung, eine Internetverbindung oder eine Mobilfunkverbindung. Eine drahtgebundene Datenkommunikationsverbindung 20, zum Beispiel ein Kabel oder ein Datenbus, ist jedoch auch möglich.A playback device 18, for example a video device or a computer with a screen, is exemplified in FIG 1 shown as a device physically separate from the data server device 16 and the film analysis device 10. However, it is also conceivable that the playback device 18 can be part of the data server device 16, for example, or can form a device together with the film analysis device 10, for example. In the case of the structurally separate variant as in the 1 shown, the communication with the film analysis device 10 takes place via a data communication connection 20, preferably a wireless data communication connection, such as a WLAN connection, an Internet connection or a cellular connection. However, a wired data communication connection 20, for example a cable or a data bus, is also possible.

Die Abspieleinrichtung 18 kann zum Beispiel ein eigenes Speichermedium 19 umfassen, auf der eine Mediendatei 22, zum Beispiel ein Film mit mehreren Videoszenen als Ausgabesequenzen, abgespeichert sein kann.The playback device 18 can, for example, have its own storage medium 19 on which a media file 22, for example a film with a number of video scenes as output sequences, can be stored.

Im Beispiel der 1 kann die Filmanalyseeinrichtung 10 eine Bildmontageeinrichtung 24 umfassen, zum Beispiel ein Chip oder ein Anwenderprogramm zur Bildbearbeitung. Die Bildmontageeinrichtung 24 kann deswegen auch als Bildbearbeitungseinrichtung bezeichnet werden. Ist die Bildmontageeinrichtung 24 kein Bestandteil der Filmanalyseeinrichtung 10, kann sie zum Beispiel eine Bildmontageeinrichtung 24 eines anderen Geräts sein.In the example of 1 For example, the film analysis device 10 can comprise an image assembly device 24, for example a chip or an application program for image processing. The image assembly device 24 can therefore also be referred to as an image processing device. Is the image mon If the assembly device 24 is not part of the film analysis device 10, it can be, for example, an image assembly device 24 of another device.

Die 1 zeigt auch eine andere Variante, die optional mit der bereits genannten Variante kombiniert werden kann, und in der die Filmanalyseeinrichtung 10 dazu eingerichtet ist, das Bildmontagesignal an eine Empfangseinrichtung 26 zu übertragen, vorzugsweise an einen Datenserver oder ein mobiles Endgerät, zum Beispiel an einen Datenserver einer Werkstatt oder an ein mobiles Endgerät eines Mechanikers. Das mobile Endgerät kann zum Beispiel ein Smartphone sein, ein Laptop oder ein PC. Auch hier kann die Kommunikation vorzugsweise über eine drahtlose Datenkommunikation erfolgen.the 1 also shows another variant that can optionally be combined with the variant already mentioned, and in which the film analysis device 10 is set up to transmit the image montage signal to a receiving device 26, preferably to a data server or a mobile terminal device, for example to a data server a workshop or to a mechanic's mobile device. The mobile end device can be a smartphone, a laptop or a PC, for example. Here, too, the communication can preferably take place via wireless data communication.

Im Beispiel der 1 ist eine Deep-Learning-Engine 28 als Komponente der Filmanalyseeinrichtung 10 gezeigt. Alternativ kann die Deep-Learning-Engine 28 jedoch eine Komponente eines anderen Datenservers (in der 1 nicht gezeigt) oder in der in der 1 gezeigten Datenservereinrichtung 16 integriert sein und vorzugsweise drahtlos mit der Filmanalyseeinrichtung 10 kommunizieren.In the example of 1 a deep learning engine 28 is shown as a component of the film analysis device 10 . Alternatively, however, the deep learning engine 28 can be a component of another data server (in the 1 not shown) or in the in the 1 shown data server device 16 can be integrated and preferably communicate wirelessly with the film analysis device 10.

Trainingsdaten oder Erfahrungswerte, mit der eine solche Deep-Learning-Engine 28 trainiert worden sein kann, können vorzugsweise als künstliches neuronales Netz zusammengefasst sein, und beispielsweise aus einer Datenbank stammen. Vorzugsweise können solche Daten zu Nutzerdaten, Abspieldaten und/oder Aufmerksamkeits-Werten in einer Anzahl von >1000, insbesondere >10000, zum Trainieren der Deep-Learning-Engine 28 verwendet werden/worden sein, wobei die Trainingsdaten vorzugsweise über einen vorbestimmten Beobachtungszeitraum erfasst wurden. Ein solcher Datensatz kann als Big-Data-Datensatz bezeichnet werden.Training data or empirical values with which such a deep learning engine 28 can have been trained can preferably be combined as an artificial neural network and come from a database, for example. Such data on user data, playback data and/or attention values in a number of >1000, in particular >10000, can preferably be/have been used to train the deep learning engine 28, with the training data preferably being recorded over a predetermined observation period . Such a data set can be referred to as a big data data set.

Jeder Erfahrungswert kann dabei zum Beispiel eine Kombination von einem Nutzerverhalten und dem entsprechenden thematischen Kontext eines Bildinhalts der Ausgabesequenz, zum Beispiel die Kombination von einer erfassten gezielten Auswahl der Ausgabesequenz, in der die Filmanalyseeinrichtung zum Beispiel durch eine gängige Bildanalysetechnik eine Delle am Kotflügel eines Kraftfahrzeugs erkannt hat, und dem thematischen Kontext „Kotflügel-Reparatur“ oder „Kotflügelschaden“. Unter einem Erfahrungswert wird also ein Wert oder eine Angabe verstanden, der/die zum Beispiel auf empirischen Messungen oder Untersuchungen basierend eine Aussage darüber trifft, ob zum Beispiel eine zusätzliche Ausgabesequenz zu einem Angebot einer Werkstatt für eine Kotflügelreparatur im Kontext der angeschauten Ausgabesequenz interessant ist, also eine Aufmerksamkeit des Betrachters erhöht.Each empirical value can, for example, be a combination of user behavior and the corresponding thematic context of an image content of the output sequence, for example the combination of a detected, targeted selection of the output sequence in which the film analysis device, for example using a common image analysis technique, detects a dent on the fender of a motor vehicle has, and the thematic context "fender repair" or "fender damage". An empirical value is therefore understood to be a value or an indication which, for example based on empirical measurements or investigations, makes a statement as to whether, for example, an additional output sequence for an offer from a workshop for a fender repair is interesting in the context of the output sequence viewed, So increased attention of the viewer.

Der Erfahrungswert kann also zum Beispiel ein nummerischer Wert sein oder ein Zuordnungswert. Unter einem Erfahrungswert wird auch eine funktionelle Abhängigkeit oder eine funktionale Zuordnung verstanden, die eine Aussage darüber trifft, ob oder zu welchem Nutzerverhalten das Ändern des jeweiligen Bildsequenzparameters zu einem Erhöhen des Grads der Aufmerksamkeit führt. Unter einem Erfahrungswert kann deswegen, mit anderen Worten, auch eine auf nummerischen Werten basierende Regel für die Zuordnung verstanden werden.The empirical value can therefore be a numerical value or an assignment value, for example. An empirical value is also understood to mean a functional dependency or a functional assignment that makes a statement as to whether or to what user behavior changing the respective image sequence parameter leads to an increase in the degree of attention. In other words, an empirical value can therefore also be understood as a rule for the assignment based on numerical values.

Die Mediendatei 22 aus dem Beispiel der 1 kann beispielsweise ein Film sein, in dem das Kraftfahrzeug zum Verkauf angeboten wird. Optional können in dem Datenspeicher 14 der Filmanalyseeinrichtung 10 oder in einem Datenspeicher der Bildmontageeinrichtung 24 eine Vielzahl von Ausgabesequenzen abgelegt sein, die zum Beispiel Werkstätten und Dienstleister zur Verfügung stellen, die jedoch noch nicht Teil des ursprünglichen Films der Mediendatei 22 sind. Dadurch kann die Bildmontageeinrichtung 24 später wie bei einer Art Baukastensystem neue Szenen einfügen. Vorzugsweise ist eine Vielzahl von Sequenzen dort abgelegt und diese können in Kategorien unterteilt sein, zum Beispiel in die Kategorien „Reparatur Kotflügel“, „Sonderausstattung und Zubehör“, und „Innenraum-Reinigung“.The media file 22 from the example of 1 can be, for example, a film in which the motor vehicle is offered for sale. Optionally, a large number of output sequences can be stored in data memory 14 of film analysis device 10 or in a data memory of image assembly device 24, which, for example, are made available by workshops and service providers, but which are not yet part of the original film in media file 22. As a result, the image montage device 24 can insert new scenes later, as in a type of modular system. A large number of sequences are preferably stored there and these can be subdivided into categories, for example into the categories “fender repair”, “special equipment and accessories”, and “interior cleaning”.

Die 2 zeigt eine mögliche technische Umsetzung in einer anderen Darstellung, in der die Mediendatei 22 mit ihren Ausgabesequenzen A bis I bildlich repräsentiert ist. Ist die Mediendatei 22 zum Beispiel in einem Kundenkonto und damit auf einem Server der Kraftfahrzeugherstellers abgelegt, können optional - aber nicht zwingend notwendig - auf einer solchen Plattform auch zum Beispiel eCommerce-Tools 29, ein Trust-Provider und/oder eine verification layer 30 (zum Beispiel Informationen von einer Prüfstelle, zum Beispiel dem TÜV), ein „Car CV“ (eine Art Lebenslauf des Kraftfahr-zeugs, das mit der Mediendatei 22 verkauft werden soll), Informationen zum Verkäufer (zum Beispiel Daten eines elektronischen Personalausweises), und diverse Identifikationsnummern abgelegt sein. Solche Informationen werden vorzugsweise nur nach entsprechender Freischaltung durch Zustimmung des Benutzers des Kundenkontos zur Verfügung gestellt.the 2 shows a possible technical implementation in a different representation, in which the media file 22 is represented visually with its output sequences A to I. If the media file 22 is stored, for example, in a customer account and thus on a server of the motor vehicle manufacturer, eCommerce tools 29, for example, a trust provider and/or a verification layer 30 ( for example information from a test center, for example the TÜV), a "Car CV" (a kind of curriculum vitae of the motor vehicle that is to be sold with the media file 22), information about the seller (for example data from an electronic identity card), and various identification numbers can be stored. Such information is preferably only made available after corresponding activation by the consent of the user of the customer account.

Im Beispiel der Mediendatei 22 wie in der 2 gezeigt kann diese zunächst die Ausgabesequenzen A, B, C, D, E, F, G, H und I aufweisen, die in der gezeigten Abspielreihenfolge zu einem Film zusammengeschnitten sein können.In the example of media file 22 as in the 2 shown, this can initially have the output sequences A, B, C, D, E, F, G, H and I, which can be cut together to form a film in the playback order shown.

Die 2 zeigt schematisch einen Betrachter 32, zum Beispiel einen potentiellen Käufer, der sich ein Kraftfahrzeug kaufen möchte und den auf der Abspieleinrichtung 18 abgelegten Film, also die Mediendatei 22, anschaut. Die Abspieleinrichtung 18 ist aus Gründen der besseren Übersichtlichkeit in der 2 nicht gezeigt. Jeder der Ausgabesequenzen A - I hat einen Ausgabeinhalt, also einen Bildinhalt zu einem bestimmten Thema, der in der 2 zu jeder Ausgabesequenz A - I als Symbol verdeutlicht ist. Die Zahlen der jeweiligen Ausgabesequenz A - I gibt dabei eine beispielhafte Anzahl von so genannten „Views“ wieder, also wie oft die jeweilige Ausgabesequenz A - I bisher angeschaut wurde. So kann zum Beispiel die Ausgabesequenz A, die zum Beispiel den Verkäufer des Kraftfahrzeugs vorstellt, 30-mal angeschaut worden sein. Die Ausgabesequenz B, die das Exterieur des Kraftfahrzeugs zeigt, kann 20-mal angeschaut worden sein und die Ausgabesequenz C ebenfalls 20-mal, in welcher das Interieur des Kraftfahrzeugs gezeigt wird. In D können zum Beispiel Schäden des zu verkaufenden Kraftfahrzeugs gefilmt sein, und diese Ausgabesequenz D kann zum Beispiel 18-mal angeschaut worden sein. E kann zum Beispiel eine Szene über die Servicewartung sein, F ein Beitrag zu Angeboten von Händlern, G ein Beitrag zum Fahrverhalten des Kraftfahrzeugs, während H zum Beispiel Kontaktinformationen für Feedback anzeigen kann. Ausgabesequenz I kann zum Beispiel eine Szene sein, in der um Kommentare und Rezensionen gebeten wird. Die „View“-Zahlen der Ausgabesequenzen E - I sind analog als Beispielzahlen angegeben.the 2 shows a viewer 32 schematically, for example a potential buyer who would like to buy a motor vehicle and is looking at the film stored on the playback device 18, ie the media file 22. The playback device 18 is for reasons of clarity in the 2 Not shown. Each of the output sequences A - I has an output content, i.e. an image content on a specific topic that is in the 2 is illustrated as a symbol for each output sequence A - I. The numbers of the respective output sequence A - I reflect an exemplary number of so-called "views", i.e. how often the respective output sequence A - I has been viewed so far. For example, the output sequence A, which introduces the seller of the motor vehicle, for example, may have been viewed 30 times. The output sequence B, which shows the exterior of the motor vehicle, can have been viewed 20 times and the output sequence C, in which the interior of the motor vehicle is shown, also 20 times. In D, for example, damage to the motor vehicle to be sold can be filmed, and this output sequence D can, for example, have been viewed 18 times. For example, E can be a scene about service maintenance, F can be a contribution to dealer offers, G can be a contribution to the driving behavior of the motor vehicle, while H can, for example, indicate contact information for feedback. For example, Output Sequence I can be a scene asking for comments and reviews. The "view" numbers of the output sequences E - I are given analogously as example numbers.

Idealerweise kann diese Reihenfolge von Ausgabesequenzen A - I von der Deep-Learning-Engine 28 analysiert werden. Die durch die Deep-Learning-Engine 28 verkörperte künstliche Intelligenz kann idealerweise dahingehend zum Lernen ausgestaltet sein, dass sie sich ständig mit neuen Eingangsdaten fortbildet. Die Filmanalyseeinrichtung 10 in Kombination mit der Deep-Learning-Engine 28 kann im Beispiel der Fig. zum Beispiel als Influencer-dienst bereitgestellt werden. Die 2 zeigt hierzu schematisch, um einen Überblick zu geben, eine Gesamtheit an „Followern“ 34, also Personen, Institutionen oder Profilen, die den Dienst nutzen und den Dienst zum Beispiel abonniert haben. Dies können zum Beispiel der Hersteller sein, der das zu verkaufende Kraftfahrzeug hergestellt hat, Datenquellen als dritte Parteien, Händler, ein Verkäuferguide, Aufbereitungsdienste, Drittparteien-Serviceprovider, Reiniger (also Dienstleistungsanbieter, die eine Autoreinigung anbieten), eine Werkstatt und eine Drittpartei-künstliche Intelligenz. Mit anderen Worten können typische „Follower“ zum Beispiel klassische Follower auf Käuferseite und auf Verkäuferseite sein.Ideally, this order of output sequences A - I can be analyzed by the deep learning engine 28. The artificial intelligence embodied by the deep learning engine 28 can ideally be designed for learning in that it constantly updates itself with new input data. The film analysis device 10 in combination with the deep learning engine 28 can be provided in the example of the figure, for example as an influencer service. the 2 shows schematically, in order to provide an overview, a total of “followers” 34, i.e. people, institutions or profiles who use the service and have subscribed to the service, for example. This can be, for example, the manufacturer that manufactured the motor vehicle for sale, third-party data sources, dealers, a seller guide, detailing services, third-party service providers, cleaners (i.e. service providers that offer car cleaning), a workshop and a third-party artificial Intelligence. In other words, typical “followers” can be, for example, classic buy-side followers and sell-side followers.

Optional können auch noch weitere Daten in die Analyse mit einbezogen werden, zum Beispiel Umgebungsdaten, wie zum Beispiel Wetterdaten, Positionsdaten, die beschreiben, wo sich der potentielle Betrachter 32 befindet, oder eine aktuelle Zeit. Weitere Daten, die optional mit einbezogen werden können, sind zum Beispiel bereits vorhandene Schäden, eine Präsentation der Person, also des Verkäufers, Daten zu unterschiedlichen Perspektiven, Daten für eine Stimmanalyse, falls die Mediendatei 22 eine Tonspur hat, auf der der Verkäufer etwas spricht, Daten zu einer Sprache, also zum Beispiel für eine Sprachanalyse, sowie die „Views“.Optionally, further data can also be included in the analysis, for example environmental data such as weather data, position data that describe where the potential viewer 32 is located, or a current time. Further data that can optionally be included are, for example, existing damage, a presentation of the person, i.e. the seller, data on different perspectives, data for a voice analysis if the media file 22 has a soundtrack on which the seller speaks something , data for a language, for example for a language analysis, as well as the "Views".

Die 2 zeigt außerdem die Kommunikationswege, die zum Beispiel bei einem optionalen Tagging, also Markieren, gegangen werden können. Bei einer solchen Tag-basierten Kommunikation mit dem Verkäufer oder einem Follower, insbesondere mit dem Verkäufer, kann der potentielle Betrachter 32 zum Beispiel in der Ausgabesequenz B markieren (in der 2 durch den ausgefüllten Kreis in der Ausgabesequenz B veranschaulicht) und damit dem Verkäufer signalisieren, dass er zu dem Exterieur gerne ein Angebot haben möchte.the 2 also shows the communication channels that can be used, for example, with optional tagging, i.e. marking. In such a tag-based communication with the seller or a follower, in particular with the seller, the potential viewer 32 can, for example, tag in the output sequence B (in the 2 illustrated by the filled circle in the output sequence B) and thus signal to the seller that he would like to have an offer for the exterior.

Zwischen den Followern 34 und der Filmanalyseeinrichtung 10 und/oder der Deep-Learning-Engine 28 kann zum Beispiel über den Sequence-View kommuniziert werden, über einen Upload und allgemeine Kommunikation.Communication between the followers 34 and the film analysis device 10 and/or the deep learning engine 28 can take place via the sequence view, for example, via an upload and general communication.

Der beispielhafte Mechaniker 40 kann auf der Empfangseinrichtung 26, zum Beispiel einem mobilen Endgerät wie einem Smartphone, ein Dashboard angezeigt bekommen, auf dem er zum Beispiel eine Handlungsempfehlung oder ein Hinweis der Filmanalyseeinrichtung 10 angezeigt bekommt, die/der durch das Bildmontagesignal beschrieben sein kann, vorzugsweise in Kombination mit der Möglichkeit zum Anschauen der Mediendatei 22, also der „Car Story“ seines Kraftfahrzeugs. Vorzugsweise können dabei die einzelnen Ausgabesequenzen A gezeigt werden. Auf dem beispielhaften Dashboard kann auch eine Möglichkeit zur Videokommunikation mit dem Käufer 32 (oder den Followern) bereitgestellt werden, eine Textanzeige für die beispielhafte Handlungsempfehlung, und eine Möglichkeit für Bedienhandlungen, zum Beispiel beim Bedienen einer App durch zum Beispiel Sprachkommandos. Die zwei Pfeile zwischen der Empfangseinrichtung 26 und der Mediendatei 22 repräsentieren die Kommunikation zwischen Filmanalyseeinrichtung 10 und der Empfangseinrichtung 26, also das Übertragen des Bildmontagesignals an die Empfangseinrichtung 26, und die Übertragung der zusätzlichen Ausgabesequenz J, welche vom Mechaniker 40 zum Beispiel mit Hilfe einer Kamera 42 aufgenommen werden kann. Die 2 zeigt dabei symbolisch, wie die Kamera 42 die Filmszene aufnehmen kann.The exemplary mechanic 40 can have a dashboard displayed on the receiving device 26, for example a mobile terminal device such as a smartphone, on which he can, for example, see a recommendation for action or information from the film analysis device 10, which can be described by the image montage signal. preferably in combination with the possibility of viewing the media file 22, ie the “Car Story” of his motor vehicle. The individual output sequences A can preferably be shown in this case. An opportunity for video communication with the buyer 32 (or the followers), a text display for the exemplary recommendation for action, and an opportunity for operator actions, for example when operating an app through, for example, voice commands, can also be provided on the exemplary dashboard. The two arrows between the receiving device 26 and the media file 22 represent the communication between the film analysis device 10 and the receiving device 26, i.e. the transmission of the image montage signal to the receiving device 26, and the transmission of the additional output sequence J, which the mechanic 40, for example, with the help of a camera 42 can be accommodated. the 2 symbolically shows how the camera 42 can record the film scene.

Optional können die Filmanalyseeinrichtung 10 und/oder die Deep-Learning-Engine 28 Zugriffe haben auf eine Datenbank 36, die eine Datenbank für Kraftfahrzeug-Identifikationsnummern ist. Anhand dieser Fahrzeug-Identifikationsnummer kann dann optional ein Beitrag dieser Daten einfließen, falls eine Angabe vorliegt, welche Kraftfahrzeug-Identifikationsnummer das durch den Film angebotene Kraftfahrzeug hat. Optional kann - nachdem die Filmanalyseeinrichtung 10 das weiter unten beschriebene Verfahren durchgeführt hat - der neu geschnittene Film der Mediendatei 22 die zusätzliche Ausgabesequenz J aufweisen. In J kann zum Beispiel Werbung eingeblendet werden, zum Beispiel zu einer angebotenen Innenraum-Reinigung oder einer Kotflügel-Reparatur, jedoch im Kontext zu derjenigen Ausgabesequenz, die das InteresseKriterium erfüllt.Optionally, the film analysis device 10 and/or the deep learning engine 28 can access a database 36, which is a database for motor vehicle identification numbers. On the basis of this vehicle identification number, a contribution of this data can then optionally flow in if there is an indication of which motor vehicle identification number the motor vehicle offered by the film has. Optionally—after the film analysis device 10 has carried out the method described further below—the newly cut film of the media file 22 can have the additional output sequence J. In J, for example, advertising can be displayed, for example for an offered interior cleaning or a fender repair, but in the context of that output sequence that meets the interest criterion.

Analog hierzu kann die Filmanalyseeinrichtung 10 und/oder die Deep-Learning-Engine 28 auf eine analytische Datenbank 38 zugreifen, auf der zum Beispiel die Erfahrungswerte für die Deep-Learning-Engine 28 abgelegt sein können. Es können also analysierte Fahrzeugdaten als Lerndatensatz oder Trainierdatensatz hier abgelegt und bei Bedarf abgerufen werden. Ein solcher Lerndatensatz kann zum Beispiel die Verknüpfung enthalten, dass zum Beispiel das Fahrzeug das Modell XY aus dem Baujahr Z erfahrungsgemäß 10000 Kilometer Fahrleistung haben kann. Eine solche Information kann dann optional durch das Bildmontagesignal beschrieben sein. Die zusätzliche Ausgabesequenz J kann in dieser Variante dann zum Beispiel berücksichtigen, dass das Kraftfahrzeug des Films noch wenig gefahren wurde. Dies kann zum Beispiel bei einem Angebot für eine Jahresinspektion relevant sein.Analogously to this, the film analysis device 10 and/or the deep learning engine 28 can access an analytical database 38 on which, for example, the empirical values for the deep learning engine 28 can be stored. Analyzed vehicle data can therefore be stored here as a learning data set or training data set and called up when required. Such a learning data set can, for example, contain the link that, for example, experience has shown that the vehicle, model XY from year Z, has driven 10,000 kilometers. Such information can then optionally be described by the montage signal. In this variant, the additional output sequence J can then, for example, take into account that the motor vehicle in the film has not been driven much. This can be relevant, for example, in the case of an offer for an annual inspection.

Die 2 veranschaulicht das Prinzip der Optimierung der Mediendatei 22. Die Darstellung der 1 ist hierfür eine andere Darstellung, in der die Vorrichtungen zum Hervorheben der Verfahrensabläufe beschrieben ist, wie im Folgenden erläutert. Das in der 1 gezeigte Beispiel kann dabei mit den zur 2 erläuterten Merkmalen kombiniert sein, jedoch auch alleinstehend ein Ausführungsbeispiel bilden. Anstelle der Empfangseinrichtung 26, die als mobiles Endgerät ausgestaltet ist, kann die Empfangseinrichtung 26 des Beispiels der 1 auch ein Datenserver sein, zum Beispiel ein Datenserver der Werkstatt.the 2 illustrates the principle of optimizing the media file 22. The representation of the 1 Fig. 12 is another representation of this, in which the devices for highlighting the process sequences are described, as explained below. That in the 1 The example shown can be used with the 2 explained features can be combined, but also stand alone form an embodiment. Instead of the receiving device 26, which is designed as a mobile terminal, the receiving device 26 of the example 1 can also be a data server, for example a workshop data server.

In einem ersten Verfahrensschritt S1 stellt die Filmanalyseeinrichtung 10 die Mediendatei 22 fest, die auf der Abspieleinrichtung 18 abgelegt sein kann ( 1). Die Abspieldaten werden bereitgestellt (S2), indem zum Beispiel ein entsprechendes Signal aus der Abspieleinrichtung 18 empfangen wird, das zum Beispiel die Views zählt oder zum Beispiel detektiert, bei welchen Ausgabesequenzen A - I der Benutzer auf Vorspulen drückt oder die Szene abbricht. Die Abspieldaten können alternativ oder zusätzlich beschreiben, ob der Benutzer die Ausgabesequenz wiederholt oder zurückspult.In a first method step S1, the film analysis device 10 determines the media file 22 that can be stored on the playback device 18 ( 1 ). The playback data are provided (S2) by, for example, receiving a corresponding signal from the playback device 18, which counts the views, for example, or detects, for example, which output sequences A-I the user presses fast forward or interrupts the scene. The playback data can alternatively or additionally describe whether the user repeats or rewinds the output sequence.

Anhand der bereitgestellten Abspieldaten kann die Filmanalyseeinrichtung 10 zum Beispiel feststellen, dass viele Zuschauer die Ausgabesequenzen E, F, D, H und I vorspulen oder abbrechen, oder diese Ausgabesequenzen erst überhaupt gar nicht zum Anschauen auswählen. Aufgrund der vielen Abbrüche bei diesen Ausgabesequenzen E - I kann die Filmanalyseeinrichtung 10 jeder dieser Ausgabesequenzen einen sehr geringen Aufmerksamkeits-Wert zuordnen (S2). Diese Werte können zum Beispiel auf einer Skala von 1 bis 10 liegen, wobei ein Wert von 1 eine sehr geringe Aufmerksamkeit bedeutet, die 10 einen höchstmöglichen Grad der Aufmerksamkeit. Den Ausgabesequenzen A - C kann die Filmanalyseeinrichtung 10 jedoch jeweils einen hohen Aufmerksamkeits-Wert zuordnen (S2).Using the playback data provided, the film analysis device 10 can determine, for example, that many viewers fast-forward or abort the output sequences E, F, D, H and I, or do not select these output sequences for viewing at all. Due to the large number of breaks in these output sequences E-I, the film analysis device 10 can allocate a very low attention value to each of these output sequences (S2). These values can be on a scale from 1 to 10, for example, with a value of 1 meaning very little attention and 10 meaning the highest possible level of attention. However, the film analysis device 10 can in each case assign a high attention value to the output sequences AC (S2).

Dieser Schritt kann vorzugsweise durch die Deep-Learning-Engine 28 durchgeführt werden. Um die Deep-Learning-Engine 28 zu betreiben (S3), kann die Filmanalyseeinrichtung 10 die bereitgestellten Abspieldaten an die Deep-Learning-Engine 28 übertragen (S4). Das Verarbeiten der bereitgestellten Abspieldaten (S5) kann vorzugsweise in dem Bereitstellen einer Aufmerksamkeitserhöhungsprognose resultieren (S6). Diese Aufmerksamkeitserhöhungsprognose kann als Ergebnis eine Relevanz einer zusätzlichen Ausgabesequenz für den Benutzer prädizieren und Ausschlag dafür geben, ob eine zusätzliche Ausgabesequenz in die Mediendatei geschnitten wird oder nicht.This step can preferably be performed by the deep learning engine 28 . In order to operate the deep learning engine 28 (S3), the film analysis device 10 can transmit the playback data provided to the deep learning engine 28 (S4). The processing of the provided playback data (S5) can preferably result in the provision of an attention-raising prognosis (S6). As a result, this prognosis for increasing attention can predict the relevance of an additional output sequence for the user and can be the deciding factor as to whether an additional output sequence is edited into the media file or not.

Das vorgegebene Interessekriterium kann zum Beispiel im Datenspeicher 14 der Filmanalyseeinrichtung 10 abgelegt sein und zum Beispiel vorgeben, dass ein vorbestimmter Zahlenwert als Aufmerksamkeitswert als Schwellenwert festgelegt ist. Der vorbestimmte Zahlenwert kann dabei ein Mindestwert sein. Durch einen Vergleich der vergebenen Aufmerksamkeitswerte mit diesem Schwellenwert kann dann überprüft werden, welche der Ausgabesequenzen A - I das vorgegebene Interessekriterium erfüllen. Entspricht der vergebene Aufmerksamkeitswert zum Beispiel der Anzahl der Views, und ist der Schwellenwert zum Beispiel 19, können die Ausgabesequenzen A - C das vorgegebene Interessekriterium erfüllen.The specified criterion of interest can be stored, for example, in the data memory 14 of the film analysis device 10 and specify, for example, that a predetermined numerical value is set as the attention value as a threshold value. The predetermined numerical value can be a minimum value. By comparing the assigned attention values with this threshold value, it can then be checked which of the output sequences A-I meet the specified criterion of interest. If the assigned attention value corresponds to the number of views, for example, and if the threshold value is 19, for example, the output sequences AC can meet the specified interest criterion.

In den beispielhaften Ausgabesequenzen A, B, C des Beispiels können zum Beispiel zu jeder dieser Ausgabesequenzen A, B, C eine Eigenschaft des Kraftfahrzeugs ermittelt werden (S7). Hierzu kann die Filmanalyseeinrichtung 10 zum Beispiel eine Bildanalyse durchführen, zum Beispiel eine Mustererkennung, und/oder eine Sprachanalyse einer Tonspur. Zur Ausgabesequenz A kann zum Beispiel per Sprachanalyse ermittelt werden (S7), um was für ein Kraftfahrzeug es sich handelt, falls in dieser Szene der Verkäufer sein Kraftfahrzeug als „Gebrauchtwagen“ bezeichnet. Als thematischer Kontext kann die Filmanalyseeinrichtung 10 der Ausgabesequenz A dann zum Beispiel das Thema „TÜV“ oder „Jahresinspektion“ zuordnen (S8). Zu letzterem Schritt kann im Datenspeicher 14 zum Beispiel eine digitale Zuordnungsliste abgelegt sein, oder die Zuordnung kann durch die Deep-Learning-Engine durchgeführt werden.In the example output sequences A, B, C of the example, a property of the motor vehicle can be determined (S7) for each of these output sequences A, B, C, for example. For this purpose, the film analysis device 10 can, for example, carry out an image analysis, for example a sampler identifier, and/or a speech analysis of an audio track. For output sequence A, speech analysis can be used, for example, to determine (S7) what kind of motor vehicle it is if the seller describes his motor vehicle as a “used car” in this scene. The film analysis device 10 can then assign the topic “TÜV” or “annual inspection” to the output sequence A as the thematic context (S8). For the latter step, for example, a digital assignment list can be stored in the data memory 14, or the assignment can be carried out by the deep learning engine.

Zur Ausgabesequenz B kann zum Beispiel per Bildanalyse ermittelt werden (S7), dass zum Beispiel am Kotflügel eine Delle ist. Als thematischer Kontext kann die Filmanalyseeinrichtung 10 der Ausgabesequenz B dann zum Beispiel das Thema „Kotflügel-Schaden“ oder „Kotflügel-Reparatur“ zuordnen (S8). Zur Ausgabesequenz C kann zum Beispiel per Bildanalyse ermittelt werden (S7), dass zum Beispiel am Sitz eine verschmutzte Stelle ist. Als thematischer Kontext kann die Filmanalyseeinrichtung 10 der Ausgabesequenz C dann zum Beispiel das Thema „Verschmutzung“ oder „Innenraum-Reinigung“ zuordnen (S8). Durch das Zuordnen des thematischen Kontexts erfolgt auch dessen Feststellen (S8).For output sequence B, it can be determined, for example by image analysis (S7), that there is a dent on the fender, for example. The film analysis device 10 can then assign the topic “fender damage” or “fender repair” to the output sequence B as thematic context (S8). For output sequence C, it can be determined, for example by image analysis (S7), that there is a dirty spot on the seat, for example. The film analysis device 10 can then assign the topic “dirt” or “interior cleaning” to the output sequence C as the thematic context (S8). By assigning the thematic context, it is also determined (S8).

Die jeweiligen Verfahrensschritte sind in der 1 außerhalb der Deep-Learning-Engine 28 gezeigt, können jedoch auch durch diese durchgeführt werden. Insbesondere das Zuordnen und/oder Feststellen des thematischen Kontexts (S8) kann durch die Deep-Learning-Engine 28 durchgeführt werden, weswegen in der 1 dieser Verfahrensschritt auch noch einmal in der Deep-Learning-Engine 28 angegeben ist. Im Beispiel der 1 kann die Filmanalyseeinrichtung 10, optional mittels der Deep-Learning-Engine 28, das Bildmontagesignal bereitstellen (S9), also zum Beispiel erzeugen.The respective process steps are in the 1 shown outside of the deep learning engine 28, but may also be performed by it. In particular, the assignment and / or determination of the thematic context (S8) can be performed by the deep learning engine 28, which is why in the 1 this method step is also indicated again in the deep learning engine 28 . In the example of 1 the film analysis device 10, optionally by means of the deep learning engine 28, can provide the image montage signal (S9), ie generate it for example.

Erstellt die Bildmontageeinrichtung 24 zur Ausgabesequenz B eine zusätzliche Ausgabesequenzen J (S10), kann die Bildmontageeinrichtung 24 die neue Ausgabesequenz J generieren und so bereitstellen (S10). Im Verfahrensschritt S11 kann dann die Mediendatei geändert werden, indem die neue Ausgabesequenz J in die Mediendatei 22 eingefügt werden, der Film der Mediendatei also neu geschnitten wird.If the image assembly device 24 creates an additional output sequence J for the output sequence B (S10), the image assembly device 24 can generate the new output sequence J and thus provide it (S10). The media file can then be changed in method step S11 by inserting the new output sequence J into the media file 22, ie the film of the media file is recut.

In der 2 ist die zusätzliche Ausgabesequenz J am Ende des Films zu sehen. Die zusätzliche Ausgabesequenz J kann alternativ jedoch auch direkt hinter die Ausgabesequenz B geschnitten werden. Optional können (in der 2 nicht gezeigt) zusätzliche Ausgabesequenzen zu den Ausgabesequenzen A und C bereitgestellt werden (S10), die dann ebenfalls in den Film der Mediendatei 22 integriert werden können. Analog hierzu kann passend zur Ausgabesequenz C eine Werbung für eine Sitzreinigung eingestellt werden, zur Ausgabesequenz A eine zusätzliche Ausgabesequenz, die Informationen zu TÜV-Terminen angibt.In the 2 the additional output sequence J can be seen at the end of the film. Alternatively, the additional output sequence J can also be cut directly after the output sequence B. Optionally (in the 2 not shown) additional output sequences for the output sequences A and C are provided (S10), which can then also be integrated into the film of the media file 22. Analogous to this, an advertisement for seat cleaning can be set to match output sequence C, and an additional output sequence for output sequence A, which provides information on TÜV appointments.

Optional kann der Betrachter 32 für ihn interessante Ausgabesequenzen markieren oder „taggen“. Dies kann zum Beispiel dadurch erfolgen, dass der Benutzer immer dann, wenn er zum Beispiel ein Feedback geben oder mehr Informationen haben möchte, während des Abspielens der Ausgabesequenz von Interesse auf einen Knopf oder eine Stelle eines berührungssensitiven Bildschirms drückt, auf dem der Film gezeigt wird. Interessieren sich zum Beispiel viele Benutzer für die Ausgabesequenz B, kann die Handlungsempfehlung an die Empfangseinrichtung 26 beschreiben, dass der Mechaniker 40 eine zusätzliche Ausgabesequenz drehen soll. Auch ein „Taggen“ kann durch die Abspieldaten als beschrieben werden, und daraufhin kann dieser Szene ein sehr hoher Aufmerksamkeits-Wert zugeordnet werden.Optionally, the viewer 32 can mark or “tag” output sequences that are of interest to him. This can be done, for example, by the user pressing a button or a location on a touch-sensitive screen on which the film is being shown whenever the user wants to give feedback or have more information, for example, while the output sequence of interest is playing . For example, if many users are interested in the output sequence B, the action recommendation to the receiving device 26 can describe that the mechanic 40 should rotate an additional output sequence. A "tagging" can also be described by the playback data as, and a very high attention value can then be assigned to this scene.

Alternativ kann zum Beispiel die Ausgabesequenz B derart markiert oder „getaggt“ sein, dass der Benutzer, also der Zuschauer, beim Ansehen der Ausgabesequenz erkennt, dass zu dieser Szene mehr Informationen abrufbar sind oder angefordert werden können. In der Ausgabesequenz B kann dann zum Beispiel ein Symbol einer Lupe angezeigt werden, dass den Benutzer 32 darauf hinweist.Alternatively, for example, the output sequence B can be marked or "tagged" in such a way that the user, ie the viewer, sees when viewing the output sequence that more information can be called up or requested for this scene. A symbol of a magnifying glass, for example, can then be displayed in the output sequence B, which the user 32 draws attention to.

Im Ergebnis wird also eine Bildmontage ermöglicht, bei der eine Bilderserie oder ein Film mit mehreren Szenen entsteht, der Ausgabesequenzen unterschiedlicher Ersteller hat. Mit anderen Worten beschreibt die Mediendatei 22 eine Bilderserie oder einen Film mit unabhängigen oder variablen Ausgabesequenzen A - J.As a result, an image montage is made possible in which a series of images or a film with several scenes is created, which has output sequences from different creators. In other words, the media file 22 describes a series of images or a film with independent or variable output sequences A - J.

In einem anderen Beispiel kann das neuronale Netzwerk der Deep-Learning-Engine 28 feststellen, dass der Reifen des Kraftfahrzeugs in dem Film einen Schaden hat, unter Umständen, weil der Fahrer an einen Randstein gefahren ist. Eine vom Ersteller der Mediendatei 22 unabhängige Werkstatt kann an dieser Stelle dann zum Beispiel eine Szene integrieren lassen, in der ihr die Dienstleistungen zum Beheben des Schadens angeboten werden. Dieser kann dann eine entsprechende Filmsequenz bereitstellen, zum Beispiel neu aufnehmen, und in die Mediendatei einschneiden lassen.In another example, the neural network of the deep learning engine 28 may determine that the tire of the automobile in the movie has punctured, possibly due to the driver hitting a curb. A workshop that is independent of the creator of the media file 22 can then have a scene integrated at this point, for example, in which the services for repairing the damage are offered to it. The latter can then provide a corresponding film sequence, for example record a new one, and have it edited into the media file.

In einem anderen Beispiel kann die Filmanalyseeinrichtung 10 zum Beispiel in der Ausgabesequenz B feststellen, dass am Exterieur eine starke Verschmutzung ist. Das erzeugte Bildmontagesignal kann dann zum Beispiel mit dieser Information an einen Dienstleister übertragen werden, der eine Autoreinigung anbietet.In another example, the film analysis device 10 can determine, for example in the output sequence B, that the exterior is heavily soiled. The generated image montage signal can then be sent with this information, for example be transferred to a service provider who offers car cleaning.

Optional kann die Filmanalyseeinrichtung 10 zum Beispiel abfragen, was für ein Typ der aktuelle Betrachter ist. So kann zum Beispiel über ein Pop-up-Fenster abgefragt werden, ob der Betrachter eher ein Familienmensch ist oder ein an Sport interessierter Mensch.Optionally, the movie analyzer 10 can query, for example, what type of viewer the current viewer is. For example, a pop-up window can be used to ask whether the viewer is more of a family person or someone interested in sports.

Hat der aktuelle oder zukünftige Betrachter zum Beispiel viel Know-how, können in dem Film Ausgabesequenzen eingespielt werden, die sehr viele technische Details zeigen.If the current or future viewer has a lot of know-how, for example, output sequences can be played into the film that show a lot of technical details.

Beispielsweise durch Tracking eines Browserverlaufs kann die Filmanalyseeinrichtung 10 zum Beispiel erkennen, ob der Betrachter viel oder wenig Know-how hat oder ob er tendenziell eher Webseiten mit sportlichem Inhalt aufruft oder nicht. Idealerweise kann dies erfolgen, falls der Benutzer sich über ein Benutzerkonto angemeldet hat, zum Beispiel über eine Benutzerkontendatenbank des Herstellers des Kraftfahrzeugs. In einem solchen Nutzerprofil kann dann auch eine Vorliebe gespeichert werden, sowie ein Fahrprofil.For example, by tracking a browser history, the film analysis device 10 can recognize, for example, whether the viewer has a lot or little know-how or whether he tends to call up websites with sporting content or not. Ideally, this can be done if the user has logged in via a user account, for example via a user account database of the motor vehicle manufacturer. A preference can then also be stored in such a user profile, as well as a driving profile.

Insgesamt zeigen die Beispiele, wie eine „Car Story“ bereitgestellt werden kann, zum Beispiel aus Videosequenzen mit Künstlicher Intelligenz-unterstützer Kommunikation, Aktionen und Feedback.Overall, the examples show how a "car story" can be provided, for example from video sequences with artificial intelligence-supported communication, actions and feedback.

Beispielhaft kann ein digitales Inserat wie eine „Instagram Story“ aus mehreren unabhängigen Ausgabesequenzen A - J erstellt. Dafür wird eine neuartige Anzeigenstruktur verwendet, die eine variable Anordnung von Ausgabesequenzen A - J verwendet. Die Reihenfolge und Übergänge können vorzugsweise durch eine KI-Analyse, also durch die Deep-Learning-Engine 28, basierend auf zum Beispiel Views, Abbruchraten, Emotionen, Inhalten und/oder Datenquellen individuell für den Betrachter festgelegt werden. Die Zahl der Ausgabesequenzen A - J kann je nach Betrachter variieren. Außerdem können kurze Szenen innerhalb einer Ausgabesequenz oder zwischen zwei Ausgabesequenzen eingespielt werden. Während des Betrachtens einer Story gibt es die Möglichkeit, die nachfolgenden Ausgabesequenzen „on the fly“ abzuändern. Außerdem kann die Deep-Learning-Engine 28 berechnen, wie weit in einem Gesamtvideo oder innerhalb einer Ausgabesequenz vorgespult wird und gestaltet die Übergänge user-zentriert. Zum Beispiel wird durch die Deep-Learning-Engine 28 in der Ausgabesequenz „Schäden am Fahrzeug“ eine Delle erkannt. Eine Werkstatt in der Umgebung sieht diese Ausgabesequenz und erstellt ein Angebot um diese Delle zu reparieren. Zusätzlich erstellt er eine Ausgabesequenz „Behebung des Schadens“ und spielt diese in die Story des Verkäufers ein. So können weitere potentielle Käufer das Angebot der Werkstatt sehen.For example, a digital ad like an "Instagram Story" can be created from several independent output sequences A - J. A novel display structure is used for this, which uses a variable arrangement of output sequences A - J. The order and transitions can preferably be defined individually for the viewer by an AI analysis, ie by the deep learning engine 28, based on, for example, views, dropout rates, emotions, content and/or data sources. The number of output sequences A - J can vary depending on the viewer. In addition, short scenes can be played within an output sequence or between two output sequences. While viewing a story there is the possibility to change the subsequent output sequences "on the fly". In addition, the deep learning engine 28 can calculate how far forward in an overall video or within an output sequence and makes the transitions user-centric. For example, a dent is detected by the deep learning engine 28 in the "Vehicle damage" output sequence. A local repair shop sees this output sequence and makes an offer to repair this dent. In addition, he creates an output sequence "Repairing the damage" and imports this into the story of the seller. In this way, other potential buyers can see what the workshop has to offer.

Claims

Method for providing an image montage, wherein a film analysis device (10): - determines a media file (22) that describes a series of images or a video film with a predetermined output sequence of at least two output sequences, each of the output sequences having image content (S1); - provides playback data that describes user behavior of a user of the playback device (18) for at least one of the output sequences when playing back the media file (22) provided (S2), - transmits the playback data provided to a deep learning engine (28) (S4 ); - operates the deep learning engine (28) (S3), so that the deep learning engine (28) statistically summarizes thematic contexts for a large number of user behavior and/or attention values, which increase the degree of attention ; the deep learning engine (28) operates (S3) in order to process (S5) the user behavior described by the playback data provided using the deep learning engine (28) and thereby determine an attention increase forecast (S6), wherein the Attention increase prediction comprises a probability that the user prefers and pays a higher degree of attention to an additional output sequence with the specified thematic context; and - only if the determined attention increase prognosis describes a probability of a preference for an additional output sequence, the probability exceeding a predetermined threshold value: the deep learning engine (28) operates (S3) for this purpose, based on the determined attention increase prognosis, the thematic context for the additional determine output sequence (S8); - on the basis of the playback data provided: assigns an attention value to each of the output sequences described by the playback data as a function of the respective user behavior, which value represents a degree of attention of the user to the respective output sequence (S2); - a property of a motor vehicle represented by the output sequence is determined (S7) for at least one output sequence whose assigned attention value satisfies a predetermined interest criterion, and assigns a thematic context to the determined property (S8); - provides a montage signal describing the detected thematic context (S9); - an additional output sequence with an image provides content related to the identified topical context (S10); and - the additional output sequence is integrated into the determined media file (22) (S11).

Method according to the preceding claim, wherein the playback data provided describes: - whether the user aborts the respective output sequence prematurely or selects it specifically, - whether the user fast forwards or repeats the respective output sequence, - whether the user skips the respective output sequence, - whether the user turns away from a screen of the playback device (18) during the playback of the respective output sequence, and/or - an emotion of the user during the playing of the respective output sequence and/or a facial expression and/or his body language of the user during the playing of the respective output sequence.

Method according to one of the preceding claims, wherein the film analysis device (10) comprises an image montage device (24) to which it transmits the generated image montage signal, and wherein the generated image montage signal causes the image montage device (24) to provide the additional output sequence (S10).

Method according to one of the preceding claims, wherein the film analysis device (10) determines damage to a motor vehicle part as a property of the motor vehicle (S7) and determines the damage or a repair measure to remedy the damage as the thematic context (S8).

A method according to any one of the preceding claims, wherein the film analysis device (10) provides the playback data to a plurality of users of the playback device (18); preferably wherein the film analysis device (10) also takes into account how often the output sequence is or was viewed.

Film analysis device (10) which is set up to carry out a method according to one of the preceding claims.

Film analysis device (10) after claim 6 comprising a deep learning engine (28), wherein the film analysis device (10) is set up to: transmit the playback data provided to a deep learning engine (28) (S4); - to operate the deep learning engine (28) (S3), so that the deep learning engine (28) statistically summarizes thematic contexts that increase the degree of attention to a large number of user behavior and/or attention values are; - operate the deep learning engine (28) (S3) in order to process (S5) the user behavior described by the playback data provided using the deep learning engine (28) and thereby determine an attention increase forecast (S6), wherein the attention-elevation prediction includes a probability that the user prefers and pays a higher level of attention to an additional output sequence; and - only if the determined attention increase prognosis describes a probability of a preference for an additional output sequence, the probability exceeding a predetermined threshold value: operating (S3) the deep learning engine (28) to use the determined attention increase prognosis to determine the thematic context for the define additional output sequence (S8).

Film analysis device (10) after claim 6 or 7 comprising an image assembly device (24) which is set up to provide the additional output sequence (S10).

Data server device (16) for operation on the Internet, which has a film analysis device (10) according to one of Claims 6 until 8th having.