DE10207977A1 - Method and apparatus for generating an overall view of a video sequence, and computer program product - Google Patents

Method and apparatus for generating an overall view of a video sequence, and computer program product

Info

Publication number
DE10207977A1
DE10207977A1 DE2002107977 DE10207977A DE10207977A1 DE 10207977 A1 DE10207977 A1 DE 10207977A1 DE 2002107977 DE2002107977 DE 2002107977 DE 10207977 A DE10207977 A DE 10207977A DE 10207977 A1 DE10207977 A1 DE 10207977A1
Authority
DE
Grant status
Application
Patent type
Prior art keywords
segment
method
video
apparatus
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE2002107977
Other languages
German (de)
Inventor
Andre Kaup
Uwe Rauschenbach
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/30Information retrieval; Database structures therefor ; File system structures therefor
    • G06F17/30781Information retrieval; Database structures therefor ; File system structures therefor of video data
    • G06F17/30846Browsing of video data
    • G06F17/30852Browsing the internal structure of a single video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/30Information retrieval; Database structures therefor ; File system structures therefor
    • G06F17/30781Information retrieval; Database structures therefor ; File system structures therefor of video data
    • G06F17/30837Query results presentation or summarisation specifically adapted for the retrieval of video data
    • G06F17/30843Presentation in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection

Abstract

Für eine platzsparende Darstellung einer Videosequenz (2) wird vorgeschlagen, die Videosequenz (2) in Segmente (1) aufzuteilen und die Segmente (1) durch eine Filterung (20) in Segmentsymbole (3) umzuwandeln, die aneinandergereiht eine Zeitliniendarstellung (4) der Videosequenz (2) bilden. For a space-saving representation of a video sequence (2) is proposed, the video sequence (2) divided into segments (1) and to convert the segments (1) by filtering (20) in segment symbols (3) are strung together a time line representation (4) of the forming video sequence (2).

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erzeugen einer Gesamtdarstellung einer Videosequenz. The invention relates to a method and an apparatus for producing an overall view of a video sequence. Die Erfindung betrifft ferner ein Computerprogrammprodukt. The invention further relates to a computer program product.
  • In der Zukunft werden mobile, multimediafähige Endgeräte zum Abspielen von Videonachrichten in der Lage sein. In the future, mobile, multimedia-enabled devices to play video messages in a position will be. Um eine Navigation innerhalb der Videonachrichten zu gestatten, ist neben der Anzeige der Videobilder auch eine Darstellung der Nachrichtenstruktur erforderlich, die in der Regel entlang einer Zeitlinie erfolgen soll. To allow navigation within the video messages, also a representation of the message structure is required in addition to the display of the video images, which will generally take place on a timeline. Damit die Darstellung auch auf den kleinen Anzeigeflächen mobiler Endgeräte möglich ist, muss sie platzsparend erfolgen. So that the presentation is also possible on the small display areas of mobile devices, they must be space-saving.
  • Aus der Veröffentlichung Liou et al., "Efficient and Reliable Digital Media Archive for Content-Based Retrieval", Multimedia Systems, Band 7 , Nr. 4, Juli 1999, Seiten 256 bis 268 ist ein Verfahren bekannt, mit dem sich Videos halbautomatisch verschlagworten lassen. From the publication Liou et al., "Efficient and Reliable Digital Media Archive for Content-Based Retrieval", Multimedia Systems, Vol. 7, No. 4, July 1999, pages 256-268 discloses a method with which keywording videos semiautomatic to let. Zu diesem Zweck wird der Videodatenstrom automatisch in Szenen zerlegt, wobei das System versucht, die Szenenfolge hierarchisch zu strukturieren. To this end, the video stream is automatically separated into scenes, the system tries to structure the sequence of scenes hierarchical. Im weiteren Verlauf wird die automatisch erstellte Struktur von Hand korrigiert und verschlagwortet. Later in the automatically created structure is manually corrected and tagged. Dazu wird eine Darstellung des Videos erzeugt, in der einerseits die gefundene logische Struktur der Szenenfolge mit Hilfe einer Baumstruktur verdeutlicht wird. For this, a representation of the video is generated in the one hand, the found logical structure of the sequence of scenes using a tree structure is clarified. Die zeitliche Abfolge der Szenen wird andererseits durch eine Zeitliniendarstellung veranschaulicht, in der die Dauer einer Szene proportional zur Länge der jeweiligen Szenen-Ikone ist. The time sequence of the scenes on the other hand illustrated by a timeline view in which the duration of a scene is proportional to the length of the respective scenes icon. Anhand der Zeitliniendarstellung der Szenenfolge lässt sich die Art der Szenenschnitte und die Vollständigkeit der Baumstruktur überprüfen. Based on the time line depicting the sequence of scenes the type of scene cuts and the completeness of the tree can be checked.
  • Ferner ist aus der Veröffentlichung von Uwe Rauschenbach et al., "Interactive Focus and Context Display of Large Raster Images", Proceedings WSCG 2000 , Plzen, Tschechische Republik, 2000, Seite 1 bis 8, eine Darstellung von Kartenausschnitten mit Hilfe der Fischaugenmethode bekannt. Further Proceedings WSCG 2000, Plzen, Czech Republic, 2000, pages 1 to 8, a representation of map sections using the fish-eye method is known from the publication by Uwe Rauschenbach et al., "Interactive Focus and Context Display of Large Raster Images," known. Um dem Benutzer die Orientierung innerhalb der Karte zu erleichtern, erfolgt ein gradueller Übergang von der vergrößerten Fokusdarstellung zu der Übersichtskarte. In order to facilitate the user's orientation within the map, then a gradual transition from the enlarged representation to focus the overview map. Die Kartendarstellung erscheint daher um so mehr gestaucht, je größer der Abstand von der Fokusdarstellung ist. therefore, the map image is expanded the more the greater the distance from the focus display.
  • Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, eine platzsparende Zeitliniendarstellung von Videos zu schaffen. Starting from this prior art, the invention has for its object to provide a space-saving time line of videos.
  • Diese Aufgabe wird durch ein Verfahren mit den folgenden Verfahrensschritten gelöst: This object is achieved by a method having the following method steps:
    • - Segmentieren einer Videosequenz in Videosegmente; - segmenting a video sequence into video segments;
    • - Bereitstellen von den Inhalt der Videosegmente kennzeichnenden Segmentsymbolen; - providing characterizing the content of the video segments segment symbols;
    • - Auswahl einer aktuellen Position im der Videosequenz und Erstellen einer abseits der aktuellen Position gestauchten Zeitlinie, deren Länge der Dauer des darzustellenden Videosequenzs entspricht; - selecting a current position in the video sequence, and creating a current position off the upset time line whose length corresponds to the duration of the displayed video Sequenzs; und and
    • - Anordnen der Segmentsymbole entlang der Zeitlinie auf einem Sichtgerät. - placing the segment symbols along the time line on a display device.
  • Die Aufgabe wird ferner durch eine Vorrichtung gelöst, die die folgenden Merkmale aufweist: The object is further achieved by a device having the following features:
    • - einem Videosequenzeingang, dem ein Segmentierer nachgeschaltet ist, der die Videosequenz in Videosegmente unterteilt und zugehörige Segmentdaten ermittelt; - a video sequence input to which a segmenter is connected downstream, which divides the video sequence into video segments and associated segment determined data;
    • - einem mit den Segmentdaten und mit einer aktuellen Zeitlinienposition beaufschlagten Zeitliniengenerator; - an applied with the segment data and a current time line position timeline generator;
    • - einem mit der Videosequenz und den Segmentdaten beaufschlagten Segmentsymbolgenerator, der aus den Videosegmenten Segmentsymbole erzeugt; - an applied with the video sequence and the segment data segment symbol generator which generates from the video segments, segment symbols; und and
    • - ein Ausgabemodul, das aus den vom Zeitliniengenerator erhaltenen Zeitliniendaten und den vom Segmentsymbolgenerator übermittelten Segmentsymbolen eine Gesamtdarstellung mit entlang der Zeitlinie aneinandergereihten Segmentsymbolen zusammensetzt. - an output module, the time line data obtained from the line from the time generator and the segment symbols transmitted from the symbol generator segment is composed with an overall view of lined-up along the time line segment symbols.
  • Gemäß der Erfindung wird die Videosequenz in Videosegmente aufgeteilt, für die repräsentative Segmentsymbole erzeugt werden. According to the invention, the video sequence is split into video segments are generated for the representative segment symbols. Diese Segmentsymbole werden entlang der Zeitlinie angeordnet, wobei die Segmentsymbole um so mehr gestaucht werden, je weiter sie von der aktuellen Position in der Videosequenz entfernt sind. This segment icons are arranged along the time line, the segment symbols are compressed by the more so the further away they are from the current position in the video sequence. Da die Videosegmente durch frei wählbare Segmentsymbole dargestellt werden, lassen sich Segmentsymbole schaffen, die auch bei einer komprimierten Darstellung noch für das jeweilige Videosegment signifikant sind. Since the video segments are represented by arbitrary segment symbols to segment symbols can be created are still, for each video segment are also significant in a compressed representation. Die Darstellung gemäß der Erfindung gestattet dem Benutzer, sich auch noch dann zu orientieren, wenn eine Szene weit abseits der aktuellen Position gesucht wird. The representation according to the invention allows the user to also then to orient themselves when a scene is widely sought beyond the current position.
  • Bei einer bevorzugten Ausführungsform der Erfindung werden die Segmentsymbole dadurch ermittelt, dass die Einzelbilder der jeweiligen Videosequenz zeilenweise in Streifen zerlegt werden, wobei ein Streifen in der Regel mehrere Pixelzeilen enthält. In a preferred embodiment of the invention, the segment of symbols are determined in that the individual images of the respective video sequence row-wise divided into strips, wherein a strip usually contains a plurality of pixel rows. Über die Farbwerte der in den Streifen enthaltenen Pixel wird gemittelt und die spaltenweise angeordneten Mittelwerte werden anschließend aneinandergereiht, so dass das entstehende Segmentsymbol die vorherrschende Farbstimmung der Videosequenz enthält. About the color values ​​of the pixels included in the strips is averaged and the columnwise averages are then lined up so that the resulting segment symbol contains the predominant color atmosphere of the video sequence.
  • Bei einer weiteren Ausführungsform wird die Verteilung der Farbwerte über das Bild ermittelt, und die häufigsten Farbwerte für eine ein- oder mehrfarbige Ikone verwendet, die als Segmentsymbol dient. In a further embodiment, the distribution of the color values ​​across the image is determined, and the most frequent color values ​​for a one or multi-colored icon used, which serves as a segment symbol. Die Ermittlung der Verteilungsfunktion der Farbwerte kann dabei ebenfalls zeilenweise oder über das gesamte Bild erfolgen. The determination of the distribution function of the color values ​​may likewise line by line or over the entire image done.
  • Diese Ausführungsform bietet den Vorteil, dass die im jeweiligen Videosegment vorherrschenden Farbtöne im zugeordneten Segmentsymbol stark hervortreten, so dass auch bei einer verkleinerten Darstellung des Segmentsymbols dieses sicher erkannt wird. This embodiment has the advantage that the prevailing in each video segment shades emerge strongly in the associated segment icon so that it is reliably detected even at a reduced representation of the segment symbol.
  • Bei einer weiteren bevorzugten Ausführungsform werden diejenigen Pixel eines Einzelbildes ermittelt, die sich gegenüber vorhergehenden Einzelbildern ändern. In a further preferred embodiment, the pixels of one frame are determined, which change over previous frames. Dieser Vorgehensweise liegt die Annahme zugrunde, dass die sich bewegenden Bildkomponenten im Allgemeinen auch die Bildkomponenten von Interesse sind. This procedure is based on the assumption that the moving image components are generally also the image components of interest.
  • Bei dieser Vorgehensweise werden insbesondere diejenigen Bildkomponenten in das zugehörige Segmentsymbol aufgenommen, die von besonders starkem Interesse sind. In this approach, particularly those image components are added to the associated segment symbol, which are of particularly great interest. Die so erzeugten Segmentsymbole sind daher auch dann noch aussagekräftig, wenn sie abseits der aktuellen Zeitlinienposition stark komprimiert werden. Segment symbols thus produced are therefore even more meaningful when they are highly compressed off the current timeline position.
  • Weitere Einzelheiten sind Gegenstand der abhängigen Ansprüche. Further details are in the dependent claims.
  • Nachfolgend wird die Erfindung anhand des in der beigefügten Zeichnung dargestellten Ausführungsbeispiels im Einzelnen erläutert. The invention will be explained with reference to the illustrated in the accompanying drawings embodiment in detail. Es zeigen: Show it:
  • Fig. 1 eine schematische Darstellung einer unverzerrten Videosequenzdarstellung und einer abseits der aktuellen Position gestauchten Videosequenzdarstellung; Figure 1 is a schematic representation of an undistorted video sequence representation and a current position away from the compressed video sequence representation.
  • Fig. 2 ein Blockdiagramm einer Vorrichtung und eines Verfahrens für eine abseits einer aktuellen Zeitlinienposition gestauchte Darstellung einer Videosequenz; 2 is a block diagram of an apparatus and method for off a current time line position swaged representation of a video sequence.
  • Fig. 3 ein Blockdiagramm, das Verfahrensschritte zum Erstellen der Segmentsymbole im Überblick erläutert; Fig. 3 is a block diagram illustrating method steps for creating the segment symbols at a glance;
  • Fig. 4 eine Detaildarstellung von Verfahrensschritten zum Erzeugen von Segmentsymbolen; Figure 4 is a detailed illustration of process steps for generating segment symbols. und and
  • Fig. 5 ein Beispiel für die aktuelle Anzeige der Videosequenzdarstellung auf einem mobilen Endgerät. Fig. 5 shows an example for the current display of the video sequence displayed on a mobile terminal.
  • Fig. 1 zeigt eine in Segmente 1 unterteilte Videosequenz 2 , die auf eine aus Segmentsymbolen 3 zusammengesetzte Zeitliniendarstellung 4 abgebildet werden soll. Fig. 1 shows a segmented 1 video sequence 2 which is to be imaged on a composite of segment symbols 3 timeline representation 4. Das Segment 1 , in dem sich die aktuelle Position der Darstellung der Videosequenz 2 befindet, wird als Fokussegment 5 und das zugehörige Segmentsymbol 3 als Fokussegmentsymbol 6 bezeichnet. The segment 1, in which the current position of the representation of the video sequence 2 is located is referred to as focus segment 5 and the associated segment icon 3 as a focus segment symbol. 6 In Fig. 1 trägt das Fokussegment 5 die Bezeichnung seg 0 und weist die Dauer dt 0 auf. In Fig. 1, the segment 5 is called focus seg 0 and has the duration dt 0 on. Die Segmente 1 nach dem Fokussegment 5 tragen die Bezeichnung seg 1 bis seg n und weisen jeweils die Zeitdauer dt 1 bis dt n auf. The segments 1 after the focus segment 5 are labeled seg seg 1 to n and each have 1 to up dt dt n is the period of time. Die Segmente 1 vor dem Fokussegment 5 tragen die Bezeichnung seg -1 bis seg -m und sind jeweils dt -1 bis dt -m Zeiteinheiten lang. The segments 1 before the focus segment 5 are labeled seg -1 to -m, each seg dt -1 to -m dt time units long.
  • Die Segmentsymbole 3 , die die Zeitliniendarstellung 4 bilden, sind um so stärker gestaucht, je weiter entfernt sie sich vom Fokussegmentsymbol 6 befinden. The segment symbols 3, which form the time line depicting 4 are more compressed so, the further away they are from the focus segment symbol. 6 Die Länge der Segmentsymbole 3 mit der Bezeichnung seg i entspricht der Dauer s i dt i , wobei s i ein Skalierungsfaktor ist. The length of segment symbols 3 with the label seg i corresponds to the length s i dt i, where s i is a scaling factor. Für den Skalierungsfaktor s i gilt beispielsweise: s i = 2 -i , 0 ≤ i ≤ max(n, m). For the scaling factor s i, for example, the following applies: s i = 2 i, 0 ≤ i ≤ max (n, m).
  • In Fig. 2 ist eine Anordnung dargestellt, die zum Erzeugen der Zeitliniendarstellung 4 geeignet ist. In FIG. 2, an arrangement is shown which is suitable for generating the time line representation 4. Die Anordnung aus Fig. 2 weist einen Eingang 7 auf, in den die Videosequenz 2 eingespeist wird. The arrangement of Fig. 2 has an input 7, in which the video sequence 2 is fed. Dem Eingang 7 ist ein Segmentierer 8 nachgeschaltet, der die Videosequenz 2 in die Segmente 1 zerlegt. The input 7 is connected downstream of a segmenter 8 which divides the video sequence 2 in the segments. 1 Die Zerlegung in die Segmente 1 kann beispielsweise inhaltsbasiert erfolgt. The decomposition in the segments 1 can be carried out for example based on its content. Das bedeutet, das jedem Segment 1 jeweils eine inhaltlich zusammenhängende Szene zugeordnet wird. This means that each segment 1 is each assigned to a content related scene. Der Segmentierer 8 erzeugt Segmentdaten 9 , mit denen ein Zeitlinienverzerrer 10 beaufschlagt wird. The segmenter 8 generates segment data 9 with which a Zeitlinienverzerrer is applied 10th Der Zeitlinienverzerrer 10 erhält auch Positionsdaten 11 über die Position des aktuell angezeigten Einzelbildes in der Videosequenz 2 . The Zeitlinienverzerrer 10 also receives position data 11 on the position of the currently displayed frame in the video sequence. 2 Aus den Segmentdaten 9 und den Positionsdaten 11 erzeugt der Zeitlinienverzerrer 10 Zeitliniendaten 12 , die einem Ausgabemodul 13 zugeführt werden. From the data segment 9 and the position data 11 of the Zeitlinienverzerrer 10 generates time data line 12, which are supplied to an output module. 13 Das Ausgabemodul 13 verwendet die Zeitliniendaten 12 zum Erzeugen der Zeitliniendarstellung 4 . The output module 13 uses the time line data 12 for generating the timeline view. 4 Dabei werden auch Zusatzdaten 14 berücksichtigt, die die Darstellung von Schlüsselszenen innerhalb der Zeitliniendarstellung 4 oder die Darstellung von Anmerkungen zu der Zeitliniendarstellung 4 betreffen. In this case, also additional data 14 are considered which affect the display of key scenes within the time line display 4 or the display of annotations at the time line representation. 4 Ferner berücksichtigt das Ausgabemodul 13 eine Segmentsymbolliste 15 , die von einem Segmentsymbolgenerator 16 geliefert wird. Further, the output module 13 takes into account a segment symbol list 15, which is supplied from a symbol generator segment sixteenth Zum Erzeugen der Segmentsymbolliste 15 greift der Segmentsymbolgenerator 16 neben der Videosequenz 2 und den Segmentdaten 9 auch auf Zeitliniendaten 17 zurück, die vom Ausgabemodul 13 geliefert werden. For generating the segment symbol list 15 of the segment symbol generator 16 is engaged in addition to the video sequence 2 and the segment data 9 on time line data 17 back, which are supplied from the output module. 13 Bei einem abgewandelten, nicht dargestellten Ausführungsbeispiel können die Zeitliniendaten 17 auch unmittelbar vom Zeitlinienverzerrer 10 an den Segmentsymbolgenerator 16 übergeben werden. In a modified, not shown embodiment, the time line data can be transferred directly from the 17 well Zeitlinienverzerrer 10 to the segment symbol generator sixteenth Die Ausgabe der Zeitliniendarstellung 4 erfolgt schließlich an einen Ausgang 18 . The output of the time line depicting 4, finally, is made at an output 18th
  • Fig. 3 veranschaulicht die im Segmentsymbolgenerator 16 ablaufenden Vorgänge. Fig. 3 illustrates the processes occurring in the segment symbol generator 16 operations. In einem ersten Zerlegevorgang 19 wird die Videosequenz in die Segmente 1 zerlegt. In a first disassembling operation 19, the video sequence is divided into the segments. 1 Der Zerlegevorgang kann automatisch, halbautomatisch oder manuell erfolgen. The disassembling can automatically, semi-automatically or manually.
  • Vorzugsweise wird die Videosequenz inhaltsbasiert in die einzelnen Szenen zerlegt. Preferably, the video sequence is based on its content broken down into the individual scenes. Daran schließt sich ein Reduktionsvorgang 20 an, durch den die Segmente 1 in die Segmentsymbole 3 umgewandelt werden. This is followed by a reduction process 20 follows, by which the segments are converted into the segment symbols 3. 1 Die aneinandergereihten Segmentsymbole 3 bilden dann die Zeitliniendarstellung 4 . The lined-up segment symbols 3 then form the time line representation. 4
  • In Fig. 4 ist der Reduktionsvorgang 20 im Einzelnen dargestellt. In Fig. 4 of the reduction process 20 is shown in detail. Zunächst erfolgt eine Aufteilung 21 von Einzelbildern 22 des jeweiligen Segments 1 . First, an allocation 21 of frames 22 of the segment 1 is performed. Durch die Aufteilung 21 werden die Einzelbilder 22 in Streifen 23 zerlegt, so dass in Streifen zerlegte Einzelbilder 24 entstehen. By dividing the 21 individual images are divided into strips 22, 23 so that decomposed into strips frames 24 are formed. Durch Filter 25 werden die Streifen 23 zeilenweise in einzelne Bildwerte c 1 bis c n transformiert, die untereinander angeordnet eine Segmentsymbolspalte 26 bilden. Through filter 25 the strips 23 line by line into individual image values c 1 to c n transforms, which are arranged with each other form a segment symbol column 26th Die Filter können dabei je einem einzelnen Streifen 23 eines Einzelbildes 24 jeweils einen Bildwert c i oder mehreren Streifen 23 von mehreren Einzelbildern 24 einen gemeinsamen Bildwert c i zuordnen. The filters can in each case an image value c i or more strips 23 of a plurality of frames 24 each assign a single strip 23 of a frame 24 a common image value c i. Mehrere Segmentsymbolspalten 26 aneinandergereiht bilden schließlich ein Segmentsymbol 3 . A plurality of segment symbol columns 26 lined up eventually forming a segment symbol. 3
  • Für die Filter 25 kommen verschiedene Ausführungsformen in Frage. For the filter 25 different embodiments are possible. Bei einer ersten Ausführungsform werden die Bildwerte der Streifen 23 gemittelt. In a first embodiment, the image values of the strip 23 are averaged. Im Rahmen des RGB-Modells bedeutet dies, dass die Zahlenwerte für den R-Kanal, den G-Kanal und den B-Kanal jeweils getrennt gemittelt werden. In the context of the RGB model, this means that the numerical values ​​for the R channel, the G channel and the B channel are averaged separately. Gleiches gilt, wenn zur Darstellung der Einzelbilder 22 das YUV-Modell verwendet wird. The same applies if the YUV model is used to represent the frames 22nd Falls es sich bei den Einzelbildern 22 um Graustufen-Bilder handelt, genügt es, den Grauwert innerhalb der Streifen 23 zu mitteln. If it is included in the individual images 22 to grayscale images, it is sufficient for the gray value within the strip 23 to be averaged.
  • Bei einer weiteren Ausführungsform werden die Farbwerte quantisiert und die Häufigkeitsverteilung der Farbwerte bestimmt, wobei der charakteristische Bildwert c i gleich dem häufigsten Farbwert, oder gleich dem Mittelwert der n häufigsten Farbwerte ist. In a further embodiment, the color values are quantized, and determines the frequency distribution of the color values, wherein the characteristic image value c i is equal to the common color value, or equal to the average of the n most frequent color values. Der Parameter n ist dabei frei wählbar. The parameter n can be freely selected.
  • Die Bestimmung der Häufigkeitsverteilung kann über das gesamte Einzelbild 22 oder aber über die Streifen 23 erfolgen. The determination of the frequency distribution can be carried out over the entire frame 22 or over the strips 23rd Im ersten Fall können die n häufigsten Farbwerte in der Segmentsymbolspalte 26 angeordnet werden. In the first case, the n most frequent color values in the segment symbol column 26 may be disposed. Im zweiten Fall wird der jeweils in einem Streifen 23 ermittelte häufigste Farbwert oder ein Mittelwert der n häufigsten Farbwerte in die Segmentsymbolspalte 26 eingetragen. In the second case, the determined in a strip 23 each common color value or an average of the n most frequent color values in the segment symbol column is entered 26th
  • Ein weiteres nicht dargestelltes Ausführungsbeispiel geht nicht von den vollständig decodierten Einzelbildern 22 aus, sondern versucht über eine Auswertung der Bewegungsvektoren der Makroblöcke, die besonders schwach oder besonders stark bewegten Makroblöcke herauszufinden. A further unillustrated embodiment is not completely decoded by the frames 22, but attempts by evaluating the motion vectors of the macro blocks to find out the particularly low or particularly highly agitated macroblocks. Die besonders stark bewegten Makroblöcke sind diejenigen, die großflächige schnelle Bewegungen nachzeichnen. The particularly high motion macro blocks are those that trace the large-scale rapid movements. Es kann daher davon ausgegangen werden, dass diese Makroblöcke die vom Betrachter am deutlichsten wahrgenommenen Bildinhalte repräsentieren. It can be assumed, therefore, that these macro blocks represent the most clearly perceived by the viewer content. Es erscheint daher durchaus sinnvoll, anstelle der Zerlegung von decodierten Einzelbildern 22 in Streifen 23 , die Makroblocks mit dem größten Bewegungsvektor herauszugreifen und in die Filter 25 einzuspeisen. Therefore, it seems quite reasonable, instead of the decomposition of decoded frames 22 in strip 23 to single out the macro block with the largest motion vector and feed it into the filter 25th Da ein Makroblock im Allgemeinen nur 16 × 16 Pixel enthält, erfolgt die Mittelung in den Filtern 25 wesentlich schneller, wenn wenige Makroblöcke anstelle des gesamten Einzelbildes oder eines Streifens ausgewertet werden. As a macroblock generally only contains 16 × 16 pixels, the averaging in the filters 25 is much faster if a few macro blocks are encoded instead of the entire frame or a strip.
  • Auch bei dieser Ausführungsform können die Einzelbilder 22 in die Streifen 23 zerlegt werden und in jedem Streifen 23 die signifikantesten Makroblöcke bestimmt werden. Also in this embodiment, the individual images can be decomposed into the strips 23 and 22 are determined in each strip 23, the most significant macroblocks. Es ist aber auch möglich, nur einige für das gesamte Bild signifikante Makroblöcke auszuwählen und diese durch Mittelung über die Pixel oder durch Ermittelung der signifikantesten Farbwerte in die Segmentsymbolspalte 26 zu transformieren. But it is also possible to select only some significant for the whole image macroblocks and transform it by averaging over the pixels or by determination of the most significant color values in the segment icon column 26th
  • Die Bewegungsdetektion kann auch dadurch bewerkstelligt werden, dass die an gleicher Position befindlichen Pixel von aufeinanderfolgenden Einzelbildern miteinander verglichen werden. The motion detection can be accomplished by having the pixels located at the same position are compared by successive frames with each other. So können die Differenzen in den jeweiligen Farbkanälen der Einzelbilder berechnet werden. Thus, the differences in the color channels of the individual images can be calculated. Die Pixel mit den jeweils größten Differenzwerten können dann für die Bildung des Segmentsymbols herangezogen werden. The pixel with the respectively greatest difference values ​​can then be used for the formation of the segment symbol.
  • Bei einer weiteren Ausführungsform des Verfahrens werden einfach entsprechend verkleinerte Einzelbilder 22 als Segmentsymbole aus den Segmenten 1 ausgewählt. In a further embodiment of the method according scaled frames are simply selected as a segment of 22 symbols from the segments. 1
  • Fig. 5 zeigt schließlich beispielhaft eine fertige Zeitliniendarstellung 4 . , FIG. 5 shows an example of a finished time line representation 4. Diese Zeitliniendarstellung 4 verfügt über einen senkrechten Positionsbalken 27 , der die aktuelle Position in der Videosequenz 2 anzeigt. This time line depicting 4 has a vertical position bar 27 which indicates the current position in the video sequence. 2 Das bedeutet, dass dem Betrachter im Augenblick gerade ein Bild an der Position des Positionsbalkens 27 angezeigt wird. This means that the observer at the moment just an image at the position of the beam position is displayed 27th Um besonders signifikante Schlüsselszenen herauszuheben, sind Darstellungen von Einzelbildern 28 vorgesehen, die in die von den aneinandergereihten Segmentsymbolen 3 gebildete Videospur 29 eingebettet sind. To particularly significant lift out key scenes, images of frames 28 are provided, the video track formed in the lined-up of the segment symbols 3 are embedded 29th Oberhalb der Videospur 29 ist eine Zeitachse 30 angeordnet, entlang der Strichmarkierungen Zeitintervalle gleicher Dauer markieren. Above the video track 29, a time axis 30 is arranged along the mark line markings time intervals of equal duration. Unterhalb der Videospur 29 befindet sich eine Textspur 32 , in der Anmerkungen 33 zu den einzelnen Segmenten 1 angeordnet sind. Below the video track 29 contains a text track 32, are arranged in the annotations 33 for the individual segments. 1
  • Abschließend sei angemerkt, dass Begriffe wie Segmentierer, Segmentsymbolgenerator, Zeitlinineverzerrer, Ausgabemodul oder Filter funktional zu verstehen sind. Finally, it should be noted that terms like segmenter segment symbol generator, Zeitlinineverzerrer, output module or filter are functional to understand. Diese logischen Einheiten müssen nicht notwendig physikalische Einheiten bilden, sondern können auch in einer physikalischen Einheit in der Form von Software realisiert oder auch über mehrere physikalische Einheiten verteilt sein. These logical units do not constitute necessary physical units, but can be realized in the form of software, or be distributed across multiple physical units in one physical unit.

Claims (17)

  1. 1. Verfahren zum Erzeugen einer Gesamtdarstellung ( 4 ) einer Videosequenz ( 2 ) mit den Verfahrensschritten: 1. A method for generating a total representation (4) of a video sequence (2) comprising the steps of:
    - Segmentieren einer Videosequenz ( 2 ) in Videosegmente ( 1 ); - segmenting a video sequence (2) video segments (1);
    - Bereitstellen von den Inhalt der Videosegmente ( 1 ) kennzeichnenden Segmentsymbolen ( 3 ); - providing the content of the video segments (1) characterizing segment symbols (3);
    - Auswahl einer aktuellen Position ( 27 ) in der Videosequenz ( 2 ) und Erstellen einer abseits der aktuellen Position ( 27 ) gestauchten Zeitlinie ( 30 ), deren Länge der Dauer der darzustellenden Videosequenz ( 2 ) entspricht; - selecting a current position (27) in the video sequence (2) and creating an off the current position (27) upset time line (30), whose length corresponds to the duration of the displayed video sequence (2); und and
    - Anordnen der Segmentsymbole ( 3 ) entlang der Zeitlinie ( 30 ) auf einem Sichtgerät. - placing the segment symbols (3) along the time line (30) on a display device.
  2. 2. Verfahren nach Anspruch 1, bei dem die Segmentsymbole ( 3 ) erzeugt werden, indem zeilenweise über Bildwerte von Einzelbildern ( 24 ) eines Videosegments ( 1 ) gemittelt und die spaltenweise angeordneten Mittelwerte ( 26 ) dem zeitlichen Verlauf der Einzelbilder ( 24 ) folgend aneinandergereiht werden. 2. The method of claim 1, wherein the segment symbols (3) are generated by averaging line-over image values of image frames (24) of a video segment (1) and the columnwise averages (26) the time course of the individual images (24) following strung become.
  3. 3. Verfahren nach Anspruch 1, bei dem die Häufigkeitsverteilung der Farbwerte von Einzelbildern ( 22 , 24 ) eines Videosegments ( 1 ) ermittelt wird, und eine Auswahl unter den häufigsten Farbwerten für das dem Videosegement ( 1 ) zugeordnete Segmentsymbol ( 3 ) verwendet wird. 3. The method of claim 1, wherein the frequency distribution of color values of individual images (22, 24) of a video segment (1) is determined, and a selection among the most frequent color values for the Videosegement (1) assigned segment symbol (3) is used.
  4. 4. Verfahren nach Anspruch 1, bei dem für die Erzeugung eines einem Videosegments ( 1 ) zugeordneten Segmentsymbols ( 3 ) diejenigen Pixel von Einzelbildern ( 22 , 24 ) des Videosegments ( 1 ) ermittelt werden, die sich gegenüber vorhergehenden Einzelbildern ( 22 , 24 ) ändern. 4. The method according to claim 1, associated with which, for the generation of a video segment (1) Segment symbol (3) the pixels of frames (22, 24) of the video segment (1) are determined, which is compared with preceding frames (22, 24) to change.
  5. 5. Verfahren nach Anspruch 1, bei dem für die Erzeugung der Segmentsymbole ( 3 ) die Pixel von Makroblöcken des jeweiligen Videosegments ( 1 ) verwendet werden, deren Bewegungsvektoren größer als die Bewegungsvektoren der nicht verwendeten Makroblöcke sind. 5. The method of claim 1, the pixels of macro blocks of each video segment (1) may be used in which for the generation of segment symbols (3), the motion vectors are greater than the motion vectors of the macro blocks is not used.
  6. 6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die entlang der Zeitlinie ( 30 ) angeordneten Segmentsymbole ( 3 ) der Verzerrung der Zeitlinie ( 30 ) entsprechend gestaucht werden. 6. The method according to any one of claims 1 to 5, wherein arranged along the time line (30) segment symbols (3) of the distortion of the time line (30) are compressed accordingly.
  7. 7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem die Videosequenz ( 2 ) inhaltsbasiert nach Szenen segmentiert wird. 7. A method according to any one of claims 1 to 6, wherein the video sequence (2) based on its content is segmented according to scenes.
  8. 8. Verfahren nach Anspruch 1, bei dem die Segmentsymbole ( 3 ) aus dem jeweiligen Videosegment ( 1 ) ausgewählte Standbilder sind. 8. The method of claim 1, wherein the segment symbols (3) of each video segment (1) are selected still images.
  9. 9. Vorrichtung zum Erzeugen einer Gesamtdarstellung ( 4 ) eine Videosequenz ( 2 ) mit: 9. Apparatus for producing an overall representation (4) a video sequence (2) comprising:
    einem Videosequenzeingang, dem ein Segmentierer ( 8 ) nachgeschaltet ist, der die Videosequenz ( 2 ) in Videosegmente ( 1 ) unterteilt und zugehörige Segmentdaten ( 9 ) ermittelt; a video sequence input to which a slicer (8) is connected, which divides the video sequence (2) video segments (1) and determines corresponding data segment (9);
    einem mit den Segmentdaten ( 9 ) und mit einer aktuellen Zeitlinienposition ( 11 ) beaufschlagten Zeitliniengenerator ( 10 ); one with the segment data (9) and with a current time-line position (11) acted on time line generator (10);
    einem mit der Videosequenz ( 2 ) und den Segmentdaten ( 9 ) beaufschlagten Segmentsymbolgenerator ( 16 ), der aus den Videosegmenten ( 1 ) Segmentsymbole ( 3 ) erzeugt; generates a sequence with the video (2) and the segment data (9) acted upon segment symbol generator (16) composed of the video segments (1) Segment symbols (3); und and
    ein Ausgabemodul ( 13 ), das aus den vom Zeitliniengenerator ( 10 ) erhaltenen Zeitliniendaten ( 17 ) und den vom Segmentsymbolgenerator ( 16 ) übermittelten Segmentsymbolen ( 3 ) eine Gesamtdarstellung ( 4 , 29 ) mit entlang der Zeitlinie ( 30 ) aneinandergereihten Segmentsymbolen ( 3 ) zusammensetzt. an output module (13), the time line data obtained from the on time line generator (10) (17) and the segment symbol generator (16) segment symbols transmitted (3) an overall representation (4, 29) along the time line (30) lined-up segment symbols (3) composed.
  10. 10. Vorrichtung nach Anspruch 9, bei der der Segmentsymbolgenerator ( 16 ) über Einrichtungen verfügt, die über Bildwerte von Einzelbildern ( 22 , 24 ) eines Videosegments ( 2 ) mitteln und die spaltenweise die kopierten Mittelwerte zu einem Segmentsymbol ( 3 ) aneinander reihen. 10. The apparatus of claim 9, wherein the segment symbol generator (16) has means, which image values of image frames (22, 24) of a video segment (2) forward and column-wise copied mean values to a segment symbol (3) lined.
  11. 11. Vorrichtung nach Anspruch 9, bei der der Segmentsymbolgenerator ( 16 ) über eine Einrichtung verfügt, die Häufigkeitsverteilung der Farbwerte von Einzelbildern ( 22 , 24 ) eines Videosegments ( 1 ) ermittelt, und die eine Auswahl unter den häufigsten Farbwerten für das Segmentsymbol ( 3 ) verwendet. 11. The apparatus of claim 9, wherein the segment symbol generator (16) has a device, the frequency distribution of color values of individual images (22, 24) of a video segment (1) is determined, and the (a selection among the most frequent color values for the segment symbol 3 ) was used.
  12. 12. Vorrichtung nach Anspruch 9, bei der der Segmentsymbolgenerator ( 16 ) über eine Einrichtung verfügt, die für die Erzeugung der Segmentsymbole ( 3 ) diejenigen Pixel von Einzelbildern ( 22 , 24 ) des jeweiligen Videosegments ( 1 ) ermittelt, die sich gegenüber vorhergehenden Einzelbildern ( 22 , 24 ) ändern. 12. The apparatus of claim 9, wherein the segment symbol generator (16) has a means for generating the segment symbols (3) the pixels of frames (22, 24) of the respective video segment (1) is determined, which is opposite to preceding frames (22, 24) change.
  13. 13. Vorrichtung nach Anspruch 9, bei der der Segmentgenerator ( 16 ) über eine Einrichtung verfügt, die für die Erzeugung der Segmentsymbole ( 3 ) die Pixel von Makroblöcken verwendet, deren Bewegungsvektoren größer als die Bewegungsvektoren der nicht verwendeten Makroblöcke sind. 13. The apparatus of claim 9, wherein said segment generator (16) has means for the pixels of macro blocks used for generating the segment symbols (3), the motion vectors are greater than the motion vectors of the macro blocks is not used.
  14. 14. Vorrichtung nach einem der Ansprüche 9 bis 13, bei der das Ausgabemodul ( 13 ) die Segmentsymbole ( 3 ) entlang der Zeitlinie ( 30 ) der Verzerrung der Zeitlinie ( 30 ) entsprechend staucht. 14. Device according to one of claims 9 to 13, wherein the output module (13) compresses the segment symbols (3) along the time line (30) the distortion of the time line (30) accordingly.
  15. 15. Vorrichtung nach einem der Ansprüche 9 bis 14, bei der der Segmentsymbolgenerator ( 16 ) aus den Einzelbildern ( 22 ) eines Videosegments ( 1 ) jeweils ein Standbild als Segmentsymbol ( 3 ) auswählt. 15. Device according to one of claims 9 to 14, wherein the segment symbol generator (16) from the individual images (22) selects a video segment (1) in each case a still image as a segment symbol (3).
  16. 16. Vorrichtung nach einem der Ansprüche 9 bis 15, bei der der Segmentierer ( 8 ) die Videosequenz ( 2 ) inhaltsbasiert in Szenen zerlegt. 16. The device divided into scenes according to any one of claims 9 to 15, wherein the segmenter (8) the video sequence (2) content-based.
  17. 17. Computerprogrammprodukt, das Programmcode zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 8 enthält. 17 contains computer program product comprising program code for performing a method according to any one of claims 1 to. 8
DE2002107977 2002-02-25 2002-02-25 Method and apparatus for generating an overall view of a video sequence, and computer program product Withdrawn DE10207977A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE2002107977 DE10207977A1 (en) 2002-02-25 2002-02-25 Method and apparatus for generating an overall view of a video sequence, and computer program product

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE2002107977 DE10207977A1 (en) 2002-02-25 2002-02-25 Method and apparatus for generating an overall view of a video sequence, and computer program product
PCT/DE2003/000608 WO2003073752A3 (en) 2002-02-25 2003-02-25 Method and device for generating a complete display of a video sequence and a computer program product
AU2003218879A AU2003218879A1 (en) 2002-02-25 2003-02-25 Method and device for generating a complete display of a video sequence and a computer program product

Publications (1)

Publication Number Publication Date
DE10207977A1 true true DE10207977A1 (en) 2003-09-18

Family

ID=27762427

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2002107977 Withdrawn DE10207977A1 (en) 2002-02-25 2002-02-25 Method and apparatus for generating an overall view of a video sequence, and computer program product

Country Status (2)

Country Link
DE (1) DE10207977A1 (en)
WO (1) WO2003073752A3 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351765B1 (en) * 1998-03-09 2002-02-26 Media 100, Inc. Nonlinear video editing system
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video

Also Published As

Publication number Publication date Type
WO2003073752A3 (en) 2004-07-08 application
WO2003073752A2 (en) 2003-09-04 application

Similar Documents

Publication Publication Date Title
EP0830029A2 (en) Method for video signal data reduction
DE19539642A1 (en) Visualisation method for monitoring system in vehicle
DE19619598A1 (en) A process for the storage or transmission of stereoscopic video signals
DE4136636A1 (en) Image signal encoder for data-reduced transmission of moving images - uses block encoding of image zones not qualifying for object-oriented encoding
DE4143074A1 (en) TV picture redn. by reformatting of interlocked data - averaging successive pixel pairs and row averages before removing foregoing pixel or row
EP0357813A1 (en) Method for picture in picture insertion for displays, and apparatus therefor
EP0114693A2 (en) High resolution colour video signal transmission system
EP0318760A2 (en) Television receiver with a device for suppressing flicker disturbances
EP0276800A2 (en) Device for displaying a composite image
DE10113880A1 (en) A method for compression and decompression of video data
DE4201335A1 (en) Mixing method for interlaced and progressive video signals - using time-compressing circuit consisting of RAMs, switches and controller to store alternate lines of interlaced video signal
DE3925046C1 (en) 60-50 Hz video signal conversion method - choosing unselected frame from remaining sequence of three frames by scanning second full picture
DE19545356A1 (en) Displaying stereo-video images on monitor, projectors etc.
EP0400286A2 (en) Circuit for standards conversion of video signals for representation on a reproduction apparatus with a matrix display device
EP0414017A2 (en) Method for object-oriented movement compensation of picture information for the reproduction of coded moving picture sequences
DE4417481A1 (en) Device for detecting advertising contributions in a video signal
DE4121564A1 (en) A device for supporting a document creation
DE3603552C2 (en)
EP0990992A2 (en) DCT/IDCT processor and data processing method
EP1094435A2 (en) Method and apparatus for driving a plasma display panel
DE10221513A1 (en) A method for displaying images with a changed width-height ratio
DE4015020A1 (en) Conversion circuit for TV signals - has image memory buffer with control circuit control
DE3625932A1 (en) Image display system with consecutive oversampling
DE3610715A1 (en) Methods and circuitry for flicker-free playback one video signal
DE4434728C1 (en) Reducing flicker of video signal processing device

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8139 Disposal/non-payment of the annual fee