DE102016115906B4

DE102016115906B4 - Process for modifying image sequences

Info

Publication number: DE102016115906B4
Application number: DE102016115906.9A
Authority: DE
Inventors: gleich Patentinhaber Erfinder
Original assignee: Individual
Current assignee: Dabels Stephan De
Priority date: 2016-08-26
Filing date: 2016-08-26
Publication date: 2023-01-26
Anticipated expiration: 2036-08-27
Also published as: DE102016115906A1

Abstract

Verfahren zum Modifizieren von Bildern aus Bildfolgen mit den Schritten(a) Erzeugen wenigstens einer Bildfolge aus einer Vielzahl zeitlich aufeinanderfolgender Bilder einer Szenerie mit mehreren Szenerie-Bereichen mit wenigstens einer Kamera;(b) Übertragen der Bilder an ein Endgerät;(c) Erkennen ausgewählter Szenerie-Bereiche in den Bildern der Bildfolge;(d) Modifizieren der Bilder der Bildfolge durch Ersetzen der Bildinformation in den Bildern der ausgewählten Szenerie-Bereiche durch andere Bildinformation; wobei(e) die ausgewählten Szenerie-Bereiche oder die Ränder der ausgewählten Szenerie-Bereiche markiert sind, und die ausgewählten Szenerie-Bereiche eine Infrarot-Leiste oder einen anderen farbig markierten, reflektierenden oder strahlenden Rand aufweisen,(f) die anderen Bildinformationen, welche die mit der Kamera aufgenommenen Bildinformationen ersetzen, aus einem Satz von zumindest teilweise unterschiedlichen Bildinformationen ausgewählt sind.(g) Eigenschaften des Endgeräts und/oder seiner Benutzer ermittelt und/oder aus einer Datenbank aufgerufen werden und die unterschiedlichen Bildinformationen aus dem Satz an die Eigenschaften des Endgeräts und/oder seiner Benutzer angepasst sind,(h) die Bildmodifikation vor Ort in den Endgeräten erfolgt.Method for modifying images from image sequences, comprising the steps (a) generating at least one image sequence from a large number of temporally consecutive images of a scenery with a plurality of scenery areas using at least one camera;(b) transmitting the images to a terminal device;(c) recognizing selected scenery areas in the images of the image sequence; (d) modifying the images of the image sequence by replacing the image information in the images of the selected scenery areas with other image information; wherein(e) the selected scenery areas or the edges of the selected scenery areas are marked, and the selected scenery areas have an infrared bar or another colour-marked, reflective or radiant border,(f) the other image information which replace the image information recorded with the camera, are selected from a set of at least partially different image information. (g) Properties of the terminal device and/or its users are determined and/or called up from a database and the different image information from the set is adapted to the properties of the end device and/or its users are adapted, (h) the image modification takes place on site in the end devices.

Description

Technisches Gebiettechnical field

Die Erfindung betrifft ein Verfahren zum Modifizieren von Bildern aus Bildfolgen mit den Merkmalen des Anspruchs 1.The invention relates to a method for modifying images from image sequences, having the features of claim 1.

Bilder werden üblicherweise mit einer Kamera aufgenommen. Filme bestehen aus einer Folge von Bildern, die nacheinander aufgenommen und angezeigt werden. Bei einer Liveübertragung werden die mit der Kamera aufgenommenen Bildfolgen ohne nennenswerten Zeitverzug zum Endgerät, beispielsweise einem Fernseher übertragen.Images are usually taken with a camera. Movies are made up of a series of images that are captured and viewed one after the other. In a live transmission, the image sequences recorded with the camera are transmitted to the end device, for example a television, without any significant time delay.

Stand der TechnikState of the art

Bei der Live-Übertragung eines Fußballspiels im Fernsehen werden üblicherweise mehrere Kameras eingesetzt, deren Bilder nach Maßgabe der für die Situation besten Einstellung verwendet werden. Je nachdem, wo sich beispielsweise der Ball befindet, wird immer eine andere Kamera eingesetzt. Internationale Fußballspiele und andere Sportveranstaltungen haben ein breites, oft internationales Publikum. Die Übertragung wird daher auch für die Übermittlung von Werbebotschaften genutzt. Die Werbebotschaften sind u.a. auf Banden oder Tafeln entlang des Spielfelds angebracht. Die Bandenwerbung ist fast inj eder Kamera sichtbar. Der Zuschauer ist also einer sehr lang anhaltenden Werbung ausgesetzt. Die Botschaft setzt sich dabei gut fest. Sponsoren zahlen viel Geld für ihre Bandenwerbung. Bedauerlicherweise sind die Marken der Sponsoren nicht immer in allen Regionen der Welt bekannt und die zugehörigen Produkte verfügbar. Einige Produkte werden in unterschiedlichen Ländern unter verschiedenen Marken vertrieben. Dann läuft die Werbung teilweise ins Leere.When broadcasting a football game live on television, a number of cameras are usually used, and the images are used according to the best setting for the situation. Depending on where the ball is, for example, a different camera is always used. International football matches and other sporting events attract a wide, often international, audience. The transmission is therefore also used for the transmission of advertising messages. The advertising messages are e.g. attached to boards or boards along the playing field. The perimeter advertising is visible in almost every camera. The viewer is thus exposed to a very long-lasting advertisement. The message is well established. Sponsors pay a lot of money for their perimeter advertising. Unfortunately, the sponsors' brands are not always well-known and the associated products are not always available in all regions of the world. Some products are sold under different brands in different countries. Then the advertising is partially in vain.

Zur Erhöhung der Anzahl der Werbebotschaften ist es bekannt, die Banden oder Tafeln am Spielfeldrand als variable Anzeigen zu gestalten. Dann ändert sich die Werbebotschaften in kurzen Abständen, so dass mehr Sponsoren gewonnen werden können. Es ist ferner bekannt, Spielpausen für das Einblenden von Werbefilmen zu nutzen. Dann ist die Szenerie am Sportplatz gar nicht mehr sichtbar.In order to increase the number of advertising messages, it is known to design the boards or boards on the edge of the field as variable displays. The advertising messages then change at short intervals so that more sponsors can be won. It is also known to use breaks in the game to display commercials. Then the scenery on the sports field is no longer visible.

Auf der Seite http://www.spiegel.de/kultur/tv/uefa-zeigt-falsche-traenen-nach-balotellitor-a-841843.html wird beschrieben, wie gespeicherte Bildfolgen in eine Liveübertragung eingespielt wurden. Diese Bildfolgen ersetzen ganze zeitliche Bildfolgen. Ähnlich wie bei Werbefilmen ist die Szenerie auf dem Sportplatz nicht mehr sichtbar.The website http://www.spiegel.de/kultur/tv/uefa-shows-falsche-traenen-nach-balotellitor-a-841843.html describes how saved image sequences were imported into a live transmission. These image sequences replace entire temporal image sequences. Similar to advertising films, the scenery on the sports field is no longer visible.

Es ist ferner bekannt, Informationsleisten oder Logos eines Fernsehsenders einzublenden. Diese sind fest im Bild, üblicherweise am Rand, angeordnet und überdecken die von den Kameras aufgenommenen Bildausschnitte der darin gezeigten Szenerie-Bereiche. Es ist Aufgabe der Kameraführung dafür zu sorgen, dass die interessanten Szenerie-Bereiche, etwa der Ball, möglichst mittig angeordnet sind, um ein Überdecken durch Senderlogos und Newslines jederzeit zu vermeiden.It is also known to fade in information bars or logos of a television station. These are fixed in the image, usually at the edge, and cover the image sections recorded by the cameras of the scenery areas shown therein. It is the task of the camera work to ensure that the interesting scenery areas, such as the ball, are arranged as centrally as possible in order to avoid covering them up with station logos and newslines at all times.

Es ist bekannt, Bildfolgen zu modifizieren, um beispielsweise Gesichter, Fahrzeugkennzeichen oder Inhalte mit sexuellem Inhalt automatisch in Bildern und Bildfolgen unkenntlich zu machen. Die fraglichen Szenerie-Bereiche werden ermittelt und die Bilder an den relevanten Stellen geschwärzt oder mit einer Unschärfe belegt, so dass diese für den Zuschauer nicht mehr erkennbar sind.It is known to modify image sequences in order to automatically make unrecognizable, for example, faces, vehicle license plates or content with sexual content in images and image sequences. The scenery areas in question are determined and the images are blackened or blurred at the relevant points so that they are no longer recognizable for the viewer.

US 2001/0017671 A1 und DE 697 28 687 T2 offenbaren ein Verfahren, bei dem die Kameraposition mit Sensoren erfasst und so das aktuelle Bildfeld ermittelt wird. Dies ermöglicht es, an den Stellen, wo beispielsweise Bandenwerbung vermutet wird, die Werbung zu ersetzen. Die bekannten Anordnungen erfordern hohe Rechner- und Übertragungsleistungen. DE 20 2009 007 745 U1 offenbart eine Vorrichtung zum Überblenden von Flächen mit virtuellen Bildern, bei der die Flächen aktiv Signale aussenden und so die Bilderkennung erleichtern. Das Anpassen von Werbetafeln und Bannern ist mit hohem Aufwand verbunden. U.S. 2001/0017671 A1 and DE 697 28 687 T2 disclose a method in which the camera position is detected with sensors and the current image field is thus determined. This makes it possible to replace advertising in places where, for example, perimeter advertising is suspected. The known arrangements require high computer and transmission performance. DE 20 2009 007 745 U1 discloses a device for overlaying surfaces with virtual images in which the surfaces actively emit signals and thus facilitate image recognition. Adjusting billboards and banners takes a lot of effort.

Offenbarung der ErfindungDisclosure of Invention

Es ist Aufgabe der Erfindung, ein Verfahren der eingangs genannten Art zu schaffen, mit dem aufgenommene Bildfolgen besser an die Kenntnisse und Bedürfnisse der Zielgruppen angepasst werden können ohne, dass die Zielgruppen ihr Endgerät verändern oder Informationen übertragen müssen.It is the object of the invention to create a method of the type mentioned at the outset, with which recorded image sequences can be better adapted to the knowledge and needs of the target groups without the target groups having to change their end device or have to transmit information.

Erfindungsgemäß wird die Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Dabei ist vorgesehen, dass die ausgewählten Szenerie-Bereiche oder die Ränder der ausgewählten Szenerie-Bereiche markiert sind, und die ausgewählten Szenerie-Bereiche eine Infrarot-Leiste oder einen anderen farbig markierten, reflektierenden oder strahlenden Rand aufweisenAccording to the invention, the object is achieved by a method having the features of claim 1. It is provided that the selected scenery areas or the edges of the selected scenery areas are marked, and the selected scenery areas have an infrared bar or another colored, reflective or radiant edge

Ein Beispiel für einen ausgewählten Szenerie-Bereich sind die Banden entlang eines Fußballplatzes. Andere ausgewählte Szenerie-Bereiche sind Tafeln oder bewegte Elemente, etwa Trikots. Da das Bildfeld der Kamera ständig auf unterschiedliche Szenerie-Bereiche gerichtet ist, ändert sich auch die Lage der gezeigten, ausgewählten Szenerie-Bereiche im Bild. Bei einem Kameraschwenk nach links bewegt sich eine Bande beispielsweise nach rechts im Bild. Entsprechend muss der ausgewählte Szenerie-Bereich in jedem Bild der Bildfolge gesucht und identifiziert werden. In einem zweiten Schritt werden die Informationen, die der identifizierte Bildbereich enthält, durch andere Informationen ersetzt. So kann die reale Bandenwerbung durch andere Werbebotschaften ersetzt werden. Die Informationen werden nach der Aufnahme ersetzt. Der Zuschauer braucht sein Endgerät nicht mit einem zusätzlichen Decodierer oder anderen Gerätschaften ausstatten oder eigene Informationen zurücksenden. Er erhält die Bilder vielmehr im gleichen Format wie bisher.An example of a selected area of scenery are the boards along a soccer field. Other selected scenery areas are boards or moving elements, such as jerseys. Since the field of view of the camera is constantly aimed at different areas of the scenery, the position of the selected areas of the scenery shown in the image also changes. For example, when the camera pans to the left, a gang moves to the right in the picture. Accordingly, the selected scenery area must be searched for and identified in each image of the image sequence. In a second step, the information contained in the identified image area is replaced with other information. In this way, real perimeter advertising can be replaced by other advertising messages. The information will be replaced after recording. The viewer does not need to equip his terminal with an additional decoder or other equipment or send back his own information. Rather, he receives the images in the same format as before.

Die ausgewählten Szenerie-Bereiche, beispielsweise die Banden am Rande eines Fußballfeldes, werden bei bekannten Anordnungen mittels Bilderkennung in den aufgenommenen Bildern ermittelt. Eine bessere Qualität der Bilder wird aber mit den Merkmalen der vorliegenden Erfindung erreicht, bei welcher die ausgewählten Szenerie-Bereiche oder die Ränder der ausgewählten Szenerie-Bereiche markiert sind. Die Bilderkennenden Verfahren suchen die Markierungen und können dann sicher die Szenerie-Bereiche erfassen. Dadurch werden Fehler vermieden.In known arrangements, the selected scenery areas, for example the bands at the edge of a soccer field, are determined by means of image recognition in the recorded images. However, a better quality of the images is achieved with the features of the present invention in which the selected scenery areas or the edges of the selected scenery areas are marked. The image-recognizing methods look for the markings and can then reliably capture the scenery areas. This avoids errors.

Bei der Erfindung weisen die ausgewählten Szenerie-Bereiche eine Infrarot-Leiste oder einen anderen farbig markierten, reflektierenden oder strahlenden Rand auf. Eine Infrarot-Leiste hat den Vorteil, dass sie im Bild für das menschliche Auge nicht erkennbar ist. Im aufgenommenen Bild erscheint aber ein deutlicher Strich, der gut zu verarbeiten ist. Eine Infrarot-Leiste kann als Lichtleiter verwirklicht werden, der einen Teil der InfrarotStrahlung nach außen abstrahlt.In the invention, the selected scenery areas have an infrared bar or other colored, reflective or radiant border. An infrared bar has the advantage that it is not visible to the human eye in the image. However, a clear line appears in the recorded image, which is easy to process. An infrared bar can be implemented as a light guide that emits part of the infrared radiation to the outside.

Die ausgewählten Szenerie-Bereiche können Werbe- oder Informationsbanden oder -tafeln sind. Diese sind stationär. Es ist aber auch möglich, bewegte Szenerie-Bereiche, etwa Trikots von Fußballspielern, Sportgeräte wie Boote, Segel, Skier Kraftfahrzeuge bei Formel 1 - Rennen oder dergleichen als Szenerie-Bereiche für die Übertragung von austauschbaren Botschaften auszuwählen. Wichtig ist lediglich, dass diese mittels einer Markierung oder einer prägnanten Form bei der Bilderkennung erkannt werden können.The selected scenery areas can be advertising or information boards or panels. These are stationary. However, it is also possible to select moving scenery areas, such as soccer players' jerseys, sports equipment such as boats, sails, skis, motor vehicles in Formula 1 races or the like as scenery areas for the transmission of exchangeable messages. It is only important that these can be recognized by means of a marking or a concise shape during image recognition.

Bei einer besonders bevorzugten Ausgestaltung der Erfindung sind die anderen Bildinformationen, welche die mit der Kamera aufgenommenen Bildinformationen ersetzen, aus einem Satz von zumindest teilweise unterschiedlichen Bildinformationen ausgewählt. Es stehen also quasi verschiedene Werbebotschaften oder Informationen zur Verfügung, die nach unterschiedlichen Kriterien die originalen Bildinformationen ersetzen. Das ermöglicht die Anpassung an verschiedene Zielgruppen.In a particularly preferred embodiment of the invention, the other image information, which replaces the image information recorded with the camera, is selected from a set of at least partially different image information. In other words, different advertising messages or information are available that replace the original image information according to different criteria. This enables adaptation to different target groups.

Insbesondere ist vorgesehen, dass Eigenschaften des Endgeräts und/oder seiner Benutzer ermittelt und/oder aus einer Datenbank aufgerufen werden und die unterschiedlichen Bildinformationen eines Satzes an die Eigenschaften des Endgeräts und/oder seiner Benutzer angepasst sind. Eine Eigenschaft des Endgeräts ist beispielsweise die Geoposition oder der Sendebereich in dem sich das Endgerät befindet. Der Betreiber des Rundfunksenders kann dann die Werbebotschaft oder sonstige Information an den geographischen Bereich anpassen. Bei der Übertragung über das Internet kann aus der IP-Adresse ebenfalls der geographische Bereich ermittelt werden. Zudem sind Informationen über die Art des Endgeräts - stationär oder mobil - und des verwendeten Browsers verfügbar. Derlei Informationen ermöglichen eine Personalisierung der angezeigten Werbung direkt im Bild.In particular, it is provided that properties of the terminal and/or its users are determined and/or called up from a database and the different image information of a set is adapted to the properties of the terminal and/or its users. A property of the end device is, for example, the geo-position or the transmission area in which the end device is located. The operator of the radio station can then adapt the advertising message or other information to the geographic area. When transmitting over the Internet, the geographic area can also be determined from the IP address. Information about the type of end device - stationary or mobile - and the browser used is also available. Such information allows personalization of the displayed advertising directly in the image.

Bei einer bevorzugten Ausgestaltung der Erfindung ist das Endgerät ein Fernseher. Ein Fernseher kann ein eigens hierfür bereitgestelltes Gerät sein, dass über Kabel oder von einem Sendemast Fernsehprogramme empfängt. Es kann aber auch ein Gerät sein, dass für den Empfang des Fernsehprogramms über Internet eingerichtet ist. Es ist ferner möglich, Endgeräte zu verwenden, die Bildfolgen speichern und abspielen oder streamen. Es ist also keineswegs erforderlich, dass die Übertragung der modifizierten Bildfolgen live erfolgt. Wichtig ist lediglich, dass die Modifizierung vor der Übertragung an das Endgerät erfolgt, so dass dort keinerlei technischen Änderungen mehr vorzunehmen sind oder spezielle Software erforderlich ist.In a preferred embodiment of the invention, the terminal is a television. A television may be a dedicated device that receives television programs via cable or from a broadcast tower. However, it can also be a device that is set up to receive the television program via the Internet. It is also possible to use end devices that store and play back or stream image sequences. It is therefore by no means necessary for the modified image sequences to be transmitted live. The only important thing is that the modification takes place before it is transmitted to the end device, so that no further technical changes need to be made there or special software is required.

Bei einer weiteren Ausgestaltung der Erfindung ist vorgesehen, dass die Bildfolgen zumindest über Teilstrecken drahtlos, beispielsweise über einen Sendemast, an das Endgerät übertragen werden.In a further embodiment of the invention, it is provided that the image sequences are transmitted to the terminal device wirelessly, at least over partial distances, for example via a transmission mast.

Insbesondere ist vorgesehen, dass die übertragenen Bilder von mehreren Kameras erzeugt werden und zu jedem Zeitabschnitt Bilder einer Kamera übertragen werden. Der Betreiber eines Senders kann dann die für die Zielgruppe günstigsten Bildfolgen auswählen und zusammensetzen. Bei einer Olympiade beispielsweise, wo eine Vielzahl von Sportarten gleichzeitig gesendet werden, wird der Sender in einem Land vornehmlich die Sportarten zeigen, bei denen Sportler aus diesem Land beteiligt werden. Dazu kann erfindungsgemäß die mit diesen Kameras aufgenommene Bildfolge Werbung einsetzen, die an die Zielgruppe - nach Land und Sportart - angepasst ist.In particular, it is provided that the transmitted images are generated by a plurality of cameras and images from one camera are transmitted at each time segment. The operator of a transmitter can then select and put together the most favorable image sequences for the target group. For example, at an Olympics where a variety of sports are broadcast simultaneously, the station in one country will primarily show those sports involving athletes from that country. For this purpose, according to the invention, the image sequence recorded with these cameras can use advertising that is adapted to the target group—by country and type of sport.

Bei dem Modifizieren können insbesondere zwei Verfahren hintereinandergeschaltet werden: Im ersten Schritt findet eine Bildverarbeitung statt. Es werden Mustererkennung-Algorithmen der künstlichen Intelligenz antrainiert und eingesetzt um die Grenzen einer relevanten Fläche zu bestimmen. Solche Algorithmen können beispielsweise Hidden Markov Modells (HMM), künstliche Neuronale Netze (KNN) oder Support Vektor Machines (SVM) sein. Es sind aber auch andere Verfahren oder eine Kombination denkbar.In particular, two methods can be connected in series during the modification: In the first step, image processing takes place. Pattern recognition algorithms of artificial intelligence are trained and used to determine the boundaries of a relevant area. Such algorithms can be Hidden Markov Models (HMM), Artificial Neural Networks (ANN) or Support Vector Machines (SVM), for example. However, other methods or a combination are also conceivable.

Es gibt verschiedene Möglichkeiten: Bei der ersten Möglichkeit werden bekannte Flächen automatisiert gesucht. Wenn bei einer Filmproduktion eines Kinofilms ein Straßenplakat mit Werbung in Form von Bild oder Video zu sehen ist, ist das äußere Erscheinungsbild bekannt. Der Algorithmus analysiert den Film und erkennt jedes Mal wenn ein solches Plakat auftaucht unabhängig vom Winkel oder ob es nur ein Teilausschnitt ist.There are various possibilities: With the first possibility, known areas are searched for automatically. If a street poster with advertising in the form of a picture or video can be seen during a film production of a cinema film, the external appearance is known. The algorithm analyzes the film and recognizes every time such a poster appears, regardless of the angle or whether it is only a partial section.

Bei der erfindungsgemäßen Möglichkeit, die genauer ist, erfolgt eine physikalische Flächengrenzenbestimmung. Dies wird durch Leisten in einer bestimmten Farbe oder mit einem bestimmten Muster oder durch eine emittierende Leiste im sichtbaren oder nicht sichtbaren Wellenlängen Bereich. Neben dieser physikalischen Möglichkeit ist auch eine manuelle (Software) Markierung in der Produktion des Inhalts denkbar. Mit diesen Vorarbeiten sind die Flächen, vor allem die Flächengrenzen, bekannt und im zweiten Schritt werden Methoden der Bildmodifikation genutzt um eine Ebene während der Übertragung über die vorhandene Ebene hinzuzufügen. Hierzu wird der neue Inhalt rechnergestützt und automatisiert in das neue Format gebracht, da je nach Blickwinkel die Winkel und Längen sich verändern. Das ist hierbei in kontinuierlicher Prozess. Die einzublendende Ebene wird nun kurz vor dem Senden über die tatsächliche Ebene gelegt.In the possibility according to the invention, which is more precise, a physical area boundary is determined. This is accomplished by bars of a specific color or pattern, or by an emitting bar in the visible or non-visible wavelength range. In addition to this physical option, manual (software) marking in the production of the content is also conceivable. With this preparatory work, the areas, especially the area boundaries, are known and in the second step methods of image modification are used to add a level during the transfer over the existing level. For this purpose, the new content is computer-aided and automatically brought into the new format, since the angles and lengths change depending on the perspective. This is in a continuous process. The level to be faded in is now superimposed on the actual level just before sending.

Bei der Erfindung erfolgt die Bildmodifikation vor Ort in den Endgeräten. Die Hersteller von Fernsehern, Smartphones, Receivern, Personal Computern, Software Playern und dergleichen können dann durch Soft- oder Hardware eine Modifikation beim Zuschauer vor Ort vornehmen. Dadurch wird ein höherer Personalisierungsgrad erreicht.In the case of the invention, the image modification takes place on site in the terminals. The manufacturers of televisions, smartphones, receivers, personal computers, software players and the like can then modify the viewer's software or hardware on site. This achieves a higher degree of personalization.

Neben Plakaten, Tafeln und Bannern mit Einzelbildern können auch Bildfolgen in Form von Videos ersetzt oder eingespielt werden.In addition to posters, boards and banners with individual images, image sequences in the form of videos can also be replaced or imported.

Die Erfindung kann mit einer Einrichtung zum Modifizieren von Bildern aus Bildfolgen verwirklicht werden, enthaltend

(a) wenigstens einen Videoeingang für Bildfolgen aus einer Vielzahl zeitlich aufeinanderfolgender Bilder einer Szenerie mit mehreren Szenerie-Bereichen mit wenigstens einer Kamera;
(b) Speichermittel zum Speichern von anderen Bildinformationen;
(c) Rechnermittel zum Modifizieren von Bildern;
(d) wenigstens einen Videoausgang für modifizierten Bildfolgen;
(e) Mittel zum Erkennen ausgewählter Szenerie-Bereiche in den Bildern der Bildfolge; und
(f) Mittel zum Ersetzen der Bildinformation in den Bildern der ausgewählten Szenerie-Bereiche durch andere Bildinformation.

The invention can be implemented with a device for modifying images from image sequences, comprising

(a) at least one video input for image sequences from a large number of temporally consecutive images of a scenery with a plurality of scenery areas with at least one camera;
(b) storage means for storing other image information;
(c) computer means for modifying images;
(d) at least one video output for modified image sequences;
(e) means for recognizing selected areas of scenery in the images of the image sequence; and
(f) means for replacing the image information in the images of the selected scenery areas with other image information.

Die Einrichtung sieht vor, dass die Mittel zum Erkennen ausgewählter Szenerie-Bereiche eine Markierung in Form einer Infrarot-Leiste oder einen anderen farbig markierten, reflektierenden oder strahlenden Rand an den ausgewählten Szenerie-Bereichen umfassen.The device provides that the means for recognizing selected scenery areas include a marking in the form of an infrared bar or another colored, reflective or radiating edge on the selected scenery areas.

Dabei kann der Videoausgang mit einer Einrichtung zur drahtlosen Übertragung der Bildfolge, beispielsweise einem Sender, verbunden sein. Die Speichermittel speichern verschiedene Informationen, beispielsweise Werbebotschaften, die dann zielgruppengerecht in die Bildfolge eingesetzt werden können.In this case, the video output can be connected to a device for wireless transmission of the image sequence, for example a transmitter. The storage means store various information, for example advertising messages, which can then be used in the image sequence in a manner appropriate to the target group.

Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche. Ein Ausführungsbeispiel ist nachstehend unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.Refinements of the invention are the subject matter of the dependent claims. An embodiment is explained in more detail below with reference to the accompanying drawings.

Definitionendefinitions

In dieser Beschreibung und in den beigefügten Ansprüchen haben alle Begriffe eine dem Fachmann geläufige Bedeutung, welche der Fachliteratur, Normen und den einschlägigen Internetseiten und Publikationen, insbesondere lexikalischer Art, beispielsweise Duden, www.Wikipedia.de, www.wissen.de oder www.techniklexikon.net, der Wettbewerber, forschenden Institute, Universitäten und Verbände, beispielsweise Deutscher Ingenieure, dargelegt sind. Insbesondere haben die verwendeten Begriffe nicht die gegenteilige Bedeutung dessen, was der Fachmann den obigen Publikationen entnimmt.In this description and in the appended claims, all terms have a meaning familiar to the person skilled in the art, which can be found in the specialist literature, standards and the relevant websites and publications, in particular of a lexical nature, for example Duden, www.Wikipedia.de, www.wissen.de or www. techniklexikon.net, the competitors, research institutes, universities and associations, for example German engineers, are presented. In particular, the terms used do not have the opposite meaning of what the person skilled in the art infers from the above publications.

Weiterhin werden hier folgende Bedeutungen für die verwendeten Begriffe zugrundegelegt: Bild Reproduktion der Wirklichkeit. Ein digitales Bild setzt sich aus einer Vielzahl von Bildpunkten zusammen, die üblicherweise in Zeilen und Spalten angeordnet sind. Modifizieren Verändern von Bildern mit Mitteln der Bildbearbeitung und/oder Bildverarbeitung. Bildfolge (=Bildsequenz) Folge von Bildern einer Szenerie, die beispielsweise zeitlich nacheinander auf einem Endgerät anzeigbar und/oder speicherbar sind. Wichtigstes Beispiel für eine Bildfolge ist ein Film. Bildinformation Informationsgehalt, der durch eine Gruppe von Bildwerten auf zugehörigen Bildpunkten vermittelt wird. Bildpunkt auch Pixel, Bildzelle oder Bildelement genannt. Jedem Bildpunkt ist eine eindeutige Lage, beispielsweise X für die Spaltennummer und Y für die Zeilennummer, zugeordnet. Bildwert Wert, der einem Bildpunkt zugeordnet wird (Pixelwert). Der Bildwert kann bei einem Schwarzweiß-Bild einen Binärwert annehmen. Andere Bildwerte enthalten je nach Codierung Farbinformationen aus Farbraum und Farbtiefe. Endgerät (=Teilnehmerstation) Gerät, das einen Netzabschluss eines öffentlichen oder privaten Rundfunk-, Daten- oder Telekommunikationsnetzes bildet. Kamera Eine Kamera ist eine fototechnische Apparatur, die statische oder bewegte Bilder auf einem fotografischen Film oder elektronisch auf ein magnetisches Videoband oder digitales Speichermedium aufzeichnen oder über eine Schnittstelle übermitteln kann. Szenerie zeitlicher und räumlicher Teil der Wirklichkeit, beispielsweise der Schauplatz eines Geschehens. Furthermore, the following meanings for the terms used are used as a basis: picture reproduction of reality. A digital image is made up of a large number of pixels, which are usually arranged in rows and columns. Modify Modification of images using image editing and/or image processing. image sequence (=Image sequence) Sequence of images of a scenery that can be displayed and/or stored one after the other on a terminal, for example. The most important example of an image sequence is a film. image information Information content conveyed by a group of image values on associated pixels. pixel also called pixel, picture cell or picture element. Each pixel is assigned a unique position, for example X for the column number and Y for the line number. image value Value assigned to a pixel (pixel value). The image value can assume a binary value for a black and white image. Depending on the coding, other image values contain color information from the color space and color depth. end device (=subscriber station) Device that forms a network termination of a public or private radio, data or telecommunications network. camera A camera is a photographic device that can record, or interface, static or moving images on photographic film, electronically on magnetic videotape or digital storage media. scenery Temporal and spatial part of reality, for example the scene of an event.

Szenerie-Bereich örtlich begrenzter Teilbereich einer Szenerie.Scenery area Locally limited part of a scenery.

Figurenlistecharacter list

1 schematically illustrates the path of a sequence of images recorded by a camera during a live broadcast for television.
2 illustrates an image of a sequence of images with perimeter advertising for a brand as a close-up of a first camera.
3 illustrates an image of an image sequence with the perimeter advertising 2 as a recording from a greater distance with a second camera.
4 illustrates an image of an image sequence with the advertising banner 2 and 3 , but with a different advertisement on the gang.

Beschreibung des AusführungsbeispielsDescription of the embodiment

1 ist eine schematische Darstellung des Übertragungswegs einer Bildfolge während einer Liveübertragung einer Sportveranstaltung für das Fernsehen. Mit 10 ist eine Sportstätte bezeichnet. Im vorliegenden Ausführungsbeispiel ist die Sportstätte ein Fußballfeld. Es versteht sich, dass auch andere Sport- und Veranstaltungsstätten geeignet sind, etwa Museen, Schwimmbäder, Sporthallen, Tennisplätze, Reitbahnen, Rennbahnen, Eisbahnen und dergleichen. Die Sportstätte 10 ist mit Banden 12 und 14 versehen. Statt Banden ist es auch möglich Tafeln oder digitale Anzeigen zu verwenden. Auf den Banden 12 und 14 wird Werbung angezeigt, die hier durch den Begriff „Marke“ repräsentiert ist. Bei alternativen Ausführungsbeispielen ist die Werbung auf bewegten Objekten, etwa den Rennautos eines Autorennens angebracht. 1 is a schematic representation of the transmission path of an image sequence during a live transmission of a sports event for television. With 10 a sports facility is called. In the present exemplary embodiment, the sports facility is a soccer field. It goes without saying that other sports and event locations are also suitable, such as museums, swimming pools, sports halls, tennis courts, riding schools, racetracks, ice rinks and the like. The sports facility 10 is provided with bands 12 and 14. Instead of boards it is also possible to use boards or digital displays. Advertisements are displayed on Bands 12 and 14, represented here by the term "Brand". In alternative exemplary embodiments, the advertisement is placed on moving objects, such as the racing cars in a car race.

Zur Aufnahme des Sportereignisses sind im vorliegenden Ausführungsbeispiel drei Fernsehkameras 16, 18 und 20 vorgesehen. Die Fernsehkameras 16, 18 und 20 sind an unterschiedlichen Stellen angeordnet. Die Fernsehkameras sind schwenkbar und in der Höhe verstellbar, so dass sich die Szenerie in der Sportstätte 10 gut erfassen lässt. Dies ist durch Pfeile 22 illustriert. Statt Fernsehkameras können auch beliebige andere Kameras, Videogeräte und Detektoren verwendet werden, mit denen Bildfolgen der Szenerie erfasst werden können.In the present exemplary embodiment, three television cameras 16, 18 and 20 are provided for recording the sporting event. The television cameras 16, 18 and 20 are located at different locations. The television cameras can be swiveled and adjusted in height so that the scenery in the sports facility 10 can be captured well. This is illustrated by arrows 22. Instead of television cameras, any other cameras, video devices and detectors can also be used, with which image sequences of the scenery can be recorded.

Die Kameras 16, 18 und 20 sind über Videoleitungen 24 an einen Übertragungswagen 26 angeschlossen. In dem Übertragungswagen 26 werden die von den Kameras bereitgestellten Bildfolgen aus Bildern der Szenerie an der Sportstätte 10 gesammelt und ggf. weiter bearbeitet. Das Bildmaterial mit den Bildfolgen wird dann über eine vom Übertragungswagen 26 an verschiedene Sendeanstalten übermittelt, von denen hier nur zwei Sendeanstalten 28 und 30 dargestellt sind. Die Übermittlung erfolgt über eine Datenleitung 32 oder drahtlos. Die Sendeanstalten 28 und 30 betreiben einen oder mehrere Sender, die jeweils mit 34 und 36 bezeichnet sind. Im Sendegebiet jedes der Sender 34 und 36 befinden sich die Nutzer 38 und 40 mit ihren Endgeräten (nicht dargestellt). Im vorliegenden Ausführungsbeispiel ist für jede Sendeanstalt nur ein Sender dargestellt. Es versteht sich aber, dass auch mehrere Sender betrieben werden können.The cameras 16, 18 and 20 are connected to an outside broadcast truck 26 via video lines 24. The image sequences provided by the cameras from images of the scenery at the sports venue 10 are collected in the outside broadcast vehicle 26 and, if necessary, processed further. The image material with the image sequences is then transmitted via an outside broadcast vehicle 26 to various broadcasting stations, of which only two broadcasting stations 28 and 30 are shown here. The transmission takes place via a data line 32 or wirelessly. Broadcasters 28 and 30 operate one or more transmitters, designated 34 and 36, respectively. The users 38 and 40 with their terminals (not shown) are located in the transmission area of each of the transmitters 34 and 36 . In the present embodiment, only one transmitter is shown for each broadcaster. However, it goes without saying that several transmitters can also be operated.

Jede Sendeanstalt wählt aus dem bereitgestellten Bildmaterial die Bildfolgen aus, die für ihr Publikum relevant ist. Die Nutzer 38 erhalten von dem Sportereignis also möglicherweise andere Bilder als die Nutzer 40. Die Bandenwerbung wird jedoch auf die nachstehend beschriebene Weise an die Nutzer angepasst:Each broadcaster selects the image sequences that are relevant to their audience from the image material provided. Thus, users 38 may receive different images of the sporting event than users 40. However, the perimeter advertising will be tailored to the users in the manner described below:

2 illustriert eine Nahaufnahme eines mit einer Kamera 18 aufgenommenen Bildes 42einer Bildfolge. Die Kamera 18 ist im Wesentlichen auf den Ball 44 gerichtet. Die Kamera 18 wird so bewegt, dass sie dem bewegten Ball 44 folgt. Das bedeutet, dass statische Elemente, etwa die Bande 12 eine veränderliche Lage im Bild 42 haben. In 2 verläuft ein Teil der Bande 12 schräg durch das Bild. In 3 ist das Bild mit der Kamera 16 aufgenommen. Dort verläuft die Bande 12 im wesentlichen gerade - horizontal in der Darstellung. Man erkennt, dass die auf der Bande angezeigte Marke in 2 größer ist, als bei der Fernaufnahme in 3 gezeigten Marke. 2 12 illustrates a close-up of an image 42 of an image sequence recorded by a camera 18 . The camera 18 is generally aimed at the ball 44 . The camera 18 is moved to follow the moving ball 44 . This means that static elements, such as band 12, have a variable position in image 42. In 2 part of band 12 runs obliquely through the image. In 3 the picture is taken with the camera 16. There, the gang 12 runs essentially straight - horizontally in the representation. It can be seen that the mark displayed on the gang in 2 is larger than when shooting from a distance in 3 brand shown.

Im Übertragungswagen 26 oder einer oder beiden Sendeanstalten 28 und 30 ist eine Datenverarbeitungsanlage zur Modifikation der Bilder angeordnet. Die Datenverarbeitungsanlage hat einen Eingang für die mit den Kameras 16, 18 und 20 aufgenommenen und ggf. vorbearbeiteten Bilder der Szenerie. Eine Bildmodifikationssoftware sucht nun in jedem Bild die Banden 12. Hierzu werden bekannte Erkennungsalgorithmen der Bildverarbeitung eingesetzt. Zunächst erfolgt die Erfassung der Lage und der Größe der Banden anhand des oberen und unteren Randes. Die Erfassung erfolgt für jeden Bildpunkt und den zugehörigen Bildwerten. Anschließend wird ein Bildbereich mit gespeicherten Daten mit anderen Bildinformationen, beispielsweise anderer Werbung, erzeugt. Der Bildbereich hat die gleiche Lage und Größe, wie die zwischen dem oberen und unteren Rand der Bande liegende Fläche. Die Bildinformationen werden ferner bezüglich Winkel und Verzerrung in einer Weise angepasst, dass er der Lage der Bande im Bild entspricht. Die so generierte Bildinformation des ausgewählten Bildbereichs ersetzt die Bildinformationen in dem mit der Kamera aufgenommenen Bildbereich. Dies erfolgt für jedes Bild jeder Kamera, das zum Endgerät übertragen werden soll. 4 zeigt ein Bild der Kamera 18 mit der neuen Bildinformation. Man erkennt deutlich, dass nun der Begriff „Marke“ in englischer Sprache „Trademark“ in der Bande erscheint.A data processing system for modifying the images is arranged in the broadcasting vehicle 26 or in one or both broadcasting stations 28 and 30 . The data processing system has an input for the images of the scenery recorded with the cameras 16, 18 and 20 and possibly preprocessed. Image modification software now searches for the bands 12 in each image. Known recognition algorithms of image processing are used for this purpose. First, the position and size of the bands are recorded using the upper and lower edges. The acquisition takes place for each pixel and the associated image values. An image area with stored data is then generated with other image information, for example other advertising. The image area has the same position and size as the area between the top and bottom of the band. The image information is also adjusted in terms of angle and distortion in such a way that it corresponds to the position of the band in the image. The image information generated in this way for the selected image area replaces the image information in the image area recorded with the camera. This is done for each image from each camera that is to be transmitted to the end device. 4 shows an image from the camera 18 with the new image information. It can be clearly seen that the term "Marke" now appears in the English language "Trademark" in the band.

Bei diesem Ausführungsbeispiel erfolgt die Erkennung der Banden 12 mit einer Erkennungssoftware. Eine bessere Qualität der neuen Bilder wird erreicht, wenn die Banden eine Markierung, beispielsweise ein IR-Strahlung abstrahlendes Band entlang der Ränder aufweisen. Dann sind die Ränder sehr gut im Bild definiert und die Qualität wird weiter verbessert.In this exemplary embodiment, the bands 12 are recognized using recognition software. A better quality of the new images is achieved if the bands have a marking, for example a band that emits IR radiation, along the edges. Then the edges are very well defined in the image and the quality is further improved.

Andere Ausführungsbeispiele betreffen Anwendungen, wie Sportereignisse mit Werbeflächen, TV- und Kinoproduktionen mit Werbeflächen, sekundäre Videosequenzen auf einem Bildschirm oder Fernseher in eine Video, in denen diese durch ein anderes Video ersetzt werden.Other embodiments relate to applications such as sports events with advertising space, TV and cinema productions with advertising space, secondary video sequences on a screen or television into a video in which these are replaced by another video.

Claims

Method of modifying images from image sequences with the steps (a) Generating at least one image sequence from a multiplicity of temporally consecutive images of a scenery with a plurality of scenery areas with at least one camera; (b) transmitting the images to a terminal; (c) detecting selected areas of scenery in the images of the image sequence; (d) modifying the images of the image sequence by replacing the image information in the images of the selected scenery areas with other image information; in which (e) the selected scenery areas or the edges of the selected scenery areas are marked, and the selected scenery areas have an infrared bar or other colored, reflective or radiant border, (f) the other image information, which replaces the image information recorded with the camera, is selected from a set of at least partially different image information. (g) properties of the end device and/or its users are determined and/or called up from a database and the different image information from the set is adapted to the properties of the end device and/or its users, (h) the image modification takes place on site in the terminals.

procedure after claim 1 , characterized in that the selected scenery areas are advertising or information bands or panels.

Method according to one of the preceding claims, characterized in that the terminal is a television.

Method according to one of the preceding claims, characterized in that the image sequences are transmitted wirelessly to the terminal at least over sections.

Method according to one of the preceding claims, characterized in that the transmitted images are generated by a number of cameras and images from one camera are transmitted at each time segment.