DE102005003217A1

DE102005003217A1 - Slide show generating method for use in e.g. digital camera, involves composing slide show of image with image effect in association with audio data, where image effect and displaying of image are controlled based on level points

Info

Publication number: DE102005003217A1
Application number: DE200510003217
Authority: DE
Inventors: Chien-Yu Banciao Hung; Shu-Fang Hsu
Original assignee: Ulead Systems Inc
Current assignee: Corel TW Corp
Priority date: 2005-01-21
Filing date: 2005-01-21
Publication date: 2006-08-03
Anticipated expiration: 2025-01-22
Also published as: DE102005003217B4

Abstract

The method involves analyzing audio data to obtain reference points, where the reference points have beat points of the data. An image effect for an image is obtained, and two level points are selected. A slide show of the image with the effect is composed in association with the data, wherein the effect is controlled based on one of the level points, and displaying of the image is controlled based on the other level point. An independent claim is also included for a computer-readable storage medium having executable instructions for generating a slide show with audio analysis.

Description

Die Erfindung bezieht sich auf ein Verfahren zum Erzeugen einer Diaschau, insbesondere ein Verfahren zum Erzeugen einer Diaschau mit einer Audioanalyse.The The invention relates to a method for generating a slide show, In particular, a method for generating a slide show with an audio analysis.

Hintergrund der ErfindungBackground of the invention

Mit dem Fortschritt der digitalen Bildtechnologie sind digitale Kameras immer populärer geworden, und die herkömmlichen Kameras geraten allmählich aus der Mode. Die Bilder könnten in digitaler Form als Bilddatensätze gespeichert werden, so daß der Nutzer sich die Fotos mit einem Computer oder einem anderen digitalen Gerät ansehen kann, beispielsweise einem Mobiltelefon, einem PDA oder sogar einer digitalen Kamera. Die mittels der digitalen Kamera aufgenommen Bilddaten werden im allgemeinen auf einen Personalcomputer oder andere Datenverarbeitungsgeräte übertragen, um sie weiter zu verarbeiten, zu speichern oder zu drucken. Mittels der Digitalisierungsfunktion der digitalen Kamera und der Datenverarbeitungsfähigkeit des Personalcomputers werden deshalb Anwendungen des digitalen Bilds mehr und mehr populär im täglichen Leben. Darüber hinaus können die im Personalcomputer gespeicherten Fotografien verarbeitet oder mit Multimediaeffekten ergänzt werden. Auch wenn die Bilder mit einer herkömmlichen Kamera aufgenommen werden, können sie mittels eines Scanners als Bilddatensätze gespeichert werden. Folglich können fast alle Bilder als digitale Datensätze behandelt werden. Der Benutzer könnte deshalb das Gerät mit der Fähigkeit zur einfachen Datenverarbeitung nutzen, um Ereignisse und Szenen auf den Bildern durchzusehen. Das Bild kann jedoch nur ein ruhendes Bild aufnehmen und vorhalten. Im Vergleich zum Video ist das Bild langweilig und eintönig. Jeder auf dem Bild ruht und steht still. Insbesondere können viele Freunde und Verwandte bei dem Ereignis sein.With The advances in digital imaging technology are digital cameras more and more popular become, and the conventional Cameras come gradually out of fashion. The pictures could in digital form as image data sets be stored so that the Use the photos with a computer or another digital Watch the device can, for example, a mobile phone, a PDA or even a digital camera. The image data taken by the digital camera are generally transmitted to a personal computer or other data processing equipment, to process, save or print. By means of Digitizing function of digital camera and data processing capability of the personal computer therefore become applications of the digital image more and more popular in the daily Life. About that can out the photographs stored in the personal computer are processed or supplemented with multimedia effects become. Even if the pictures taken with a conventional camera can, can they are stored by means of a scanner as image data sets. consequently can almost all pictures are treated as digital records. The user could therefore the device with the ability to Use simple data processing to record events and scenes to look through the pictures. However, the picture can only be a dormant one Take picture and hold. Compared to the video is the picture boring and monotonous. Everyone in the picture rests and stands still. In particular, many can Be friends and relatives at the event.

Weil das Darstellen ruhender Bilder nacheinander etwas langweilig und deshalb unattraktiv ist, gibt es mehr und mehr Techniken, die ein Zusammensetzen der Diaschau aus mehreren Bildern zur Verfügung stellen. Die herkömmliche Diaschau zeigt nur die ausgewählten Bilder oder Fotos nacheinander in einer vorgegebenen Folge oder nur eine zufällige Reihenfolge. Die Bilder sind jedoch alle „immer noch Bilder".Because Displaying still pictures a bit boring and one after another That is why unattractive, there are more and more techniques that one Assemble the slide show from multiple images. The conventional Slideshow shows only the selected ones Pictures or photos one after another in a given sequence or just a random one Sequence. However, the pictures are all "still pictures".

Seit neuerem führt die Generation von Diaschaus die Bildeffekte ein, um die Diaschau lebendig zu machen. Der Hauptzweck einer solchen Diaschau ist es, Filme zu simulieren. Die Filme haben sich aber seit langem gegenüber dem Stummfilm fortentwickelt. Die Zuschauer würden mit den Filmen oder der Diaschau ohne großartigen Toneffekt niemals zufrieden sein.since newer leads the generation of slideshows the image effects to the slideshow to make alive. The main purpose of such a slideshow is To simulate movies. But the films have long been opposite the Silent film evolved. The viewers would come with the films or the slideshow without great Sound effect never be satisfied.

Deshalb besteht Bedarf für das Anwenden der Audioanalyse beim Prozeß des Zusammensetzens der Diaschau.Therefore there is a need for applying the audio analysis to the process of composing the slideshow.

Die ErfindungThe invention

Ausgehend von den voranstehend erläuterten Problemen liefert die Erfindung ein Verfahren und ein Speichermedium zum Erzeugen einer Diaschau mit faszinierendem Audio- bzw. Toneffekt. Mit dem Verfahren und dem Speichermedium nach der Erfindung ist der Nutzer in der Lage, eine attraktive Diaschau von Bildern zu erzeugen, und eine solche Diaschau würde in Harmonie mit den Audio- bzw. Tondaten angezeigt. Alles was der Nutzer machen muß, ist bestimmte Bilder und Audiodatensätze lediglich auszuwählen, und der Computer oder der Prozessor beendet die verbleibenden Schritte.outgoing from those explained above Problems, the invention provides a method and a storage medium to create a slideshow with a fascinating audio or sound effect. With the method and the storage medium according to the invention the user will be able to get an attractive slideshow of pictures too and such a slide show would be in harmony with the audio or sound data displayed. Everything the user has to do is certain Pictures and audio records just to select and the computer or processor completes the remaining steps.

Nach einem Aspekt der Erfindung ist ein Verfahren zum Erzeugen einer Diaschau mit einer Audioanalyse geschaffen. Zunächst werden die von dem Nutzer ausgewählten Audiodaten analysiert, um Referenzpunkte zu erhalten, wobei die Referenzpunkte wenigstens einen Taktpunkt der Audiodaten umfassen. Zusätzlich werden die Bildeffekte für die gelieferten Bilder über die Bildanalyse oder einfach von dem vorbestimmten Inhalt der Schablone erhalten. Danach werden von den erhaltenen Referenzpunkten wenigstens ein erster Niveaupunkt und wenigstens ein zweiter Niveaupunkt ausgewählt. Schließlich wird eine Diaschau der Bilder mit den Bildeffekten im Zusammenhang mit den Audiodaten zusammengestellt. Die Bildeffekte der Bilder würden sich beim Auftreten des ersten Niveaupunkts ändern, und wenigstens eines der Bilder wird bis zu dem zweiten Niveaupunkt angezeigt. Dies bedeutet, daß der erste Niveaupunkt verwendet wird, um den Bildeffekt zu steuern, und der zweite Niveaupunkt wird angewendet als die Zeitreferenz, um von einem Bild zu einem anderen zu wechseln.To One aspect of the invention is a method for generating a Slideshow created with an audio analysis. First, those of the user chosen Audio data is analyzed to obtain reference points, with the Reference points comprise at least one clock point of the audio data. additionally become the image effects for the delivered pictures about the image analysis or simply the predetermined content of the template receive. Thereafter, of the obtained reference points, at least a first level and at least a second level selected. Finally, a Slideshow of the pictures with the picture effects in connection with the Audio data collected. The picture effects of the pictures would become change when the first level point occurs, and at least one The pictures will be displayed up to the second level. This means, that the first level is used to control the image effect, and the second level point is applied as the time reference, to switch from one image to another.

Nach einem weiteren Aspekt der Erfindung ist ein computerlesbares Speichermedium mit ausführbaren Instruktionen zum Erzeugen einer Diaschau mit einer Audioanalyse geschaffen. Die Diaschau wird erzeugt, indem die folgenden Schritte ausgeführt werden: Analysieren von Audiodaten zum Erhalten von Referenzpunkten, wobei die Referenzpunkte wenigstens einen ersten Taktpunkt der Audiodaten umfassen; Analysieren von Bildern zum Bestimmen von Bildeffekten; Auswählen wenigstens eines ersten Niveaupunkts und wenigstens eines zweiten Niveaupunkts aus den Referenzpunkten; und Zusammenstellen einer Diaschau von Bildern mit Bildeffekten in Verbindung mit den Audiodaten, wobei die Bildeffekte dem ersten Niveaupunkt entsprechend gesteuert werden und das Anzeigen der Bilder dem zweiten Niveaupunkt entsprechend gesteuert wird.According to another aspect of the invention, there is provided a computer readable storage medium having executable instructions for generating a slide show with audio analysis. The slideshow is generated by performing the following steps: analyzing audio data to obtain reference points, the reference points including at least a first timing point of the audio data; Analyzing images to determine image effects; Selecting at least a first level point and at least a second level point from the reference points; and putting together a slideshow of pictures with picture effects associated with the audio data, whereby the image effects are controlled according to the first level and the display of the images is controlled according to the second level.

Beschreibung von Ausführungsbeispielendescription of exemplary embodiments

Die Erfindung wird im folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf Figuren der Zeichnung näher erläutert. Hierbei zeigen:The Invention will be described below with reference to exemplary embodiments with reference on figures of the drawing closer explained. Hereby show:

1 ein Ablaufdiagramm, welches die Schritte einer Ausführungsform des Diaschau-Erzeugungsverfahrens darstellt; 1 a flowchart illustrating the steps of an embodiment of the slide show generation method;

2 ein Ablaufdiagramm, welches das Verfahren einer Ausführungsform der Audiodatenanalyse darstellt; 2 a flowchart illustrating the method of an embodiment of the audio data analysis;

3 ein computerlesbares Speichermedium nach einer Ausführungsform der Erfindung; 3 a computer readable storage medium according to an embodiment of the invention;

4 ein Zeitachsendiagramm, welches die Beziehung zwischen den Referenzpunkten, dem ersten und dem zweiten Niveaupunkt und dem Anzeigen von Bildern darstellt; 4 a timeline diagram illustrating the relationship between the reference points, the first and second level points, and displaying images;

5 ein Zeitachsendiagramm, welches die Beziehung zwischen dem Übergangseffekt und dem ersten und dem zweiten Niveaupunkt darstellt; 5 a time-axis diagram illustrating the relationship between the transition effect and the first and second level points;

6 ein Zeitachsendiagramm, welches die Beziehung zwischen dem Unschärfeeffekt und dem ersten und dem zweiten Niveaupunkt darstellt; und 6 a time-axis diagram illustrating the relationship between the blur effect and the first and second level points; and

7 ein Zeitachsendiagramm, welches die Beziehung zwischen dem Schwenkeffekt und dem ersten und dem zweiten Niveaupunkt darstellt. 7 a time axis diagram showing the relationship between the panning effect and the first and second level points.

Die Erfindung wird anhand bevorzugter Ausführungsformen und zugehöriger Figuren beschrieben. Es wird darauf hingewiesen, daß alle Ausführungsformen nur der Illustration dienen. Folglich kann die Erfindung in verschiedenen Ausführungsformen verwendet werden, Die Erfindung wird anhand bevorzugter Ausführungsformen und zugehöriger Figuren beschrieben. Es wird darauf hingewiesen, daß alle Ausführungsformen nur der Illustration dienen. Folglich kann die Erfindung in verschiedenen Ausführungsformen verwendet werden, die sich von den bevorzugten Ausführungsformen unterscheiden. Es wird darauf hingewiesen, daß verschiedene Änderungen gemacht werden können, ohne den Bereich der Erfindung zu verlassen, und die Erfindung ist deshalb nicht auf die Ausführungsform begrenzt.The The invention is based on preferred embodiments and associated figures described. It should be noted that all embodiments are illustrative only serve. Thus, the invention may be used in various embodiments The invention is based on preferred embodiments and associated Figures described. It should be noted that all embodiments only serve for illustration. Consequently, the invention can be embodied in various ways embodiments which are different from the preferred embodiments differ. It should be noted that various changes can be made without departing from the scope of the invention, and the invention is therefore not on the embodiment limited.

In 1 sind die Schritte des Diaschau-Erzeugungsverfahrens nach der bevorzugten Ausführungsform der Erfindung dargestellt. Dieses Verfahren wird vorzugsweise mit dem Computer ausgeführt, jedoch können auch andere elektrische Geräte genutzt werden, beispielsweise ein persönlicher digitaler Assistent (PDA), eine digitale Kamera, DV oder ein Smart-Telefon, um das erfindungsgemäße Verfahren auszuführen. Am Anfang wird ein Befehl in das Gerät eingegeben, um ein Bild und/oder Audiodaten zu liefern oder zu bezeichnen. Beispielsweise kann der Nutzer gefragt werden, bestimmte Bilder und Audiodaten zu liefern oder zu bestimmen. Nach der bevorzugten Ausführungsform der Erfindung können die Bilder digitale Bilddatensätze und die Audiodaten digitale Musikdatensätze, eine Musik-CD/DVD oder ein Kassettenband sein. Es wird darauf hingewiesen, daß die Quellen des Bildes und der Musik unterschiedlich sind, und beliebige Arten von Quellen können von den Ausführungsformen der Erfindung umfaßt sein.In 1 the steps of the slide show generating method according to the preferred embodiment of the invention are shown. This method is preferably performed with the computer, but other electrical devices may be used, such as a personal digital assistant (PDA), a digital camera, DV, or a smart phone, to practice the method of the invention. Initially, a command is input to the device to provide or designate an image and / or audio data. For example, the user may be asked to supply or determine certain images and audio data. According to the preferred embodiment of the invention, the images may be digital image data sets and the audio data may be digital music data sets, a music CD / DVD or a cassette tape. It should be understood that the sources of the image and the music are different, and any types of sources may be included in the embodiments of the invention.

Die ausgewählten Bilder werden verarbeitet, um eine Diaschau mit attraktiven Bildeffekten zu erzeugen, beispielsweise dem Übergangseffekt, dem Schwenkeffekt, dem Zoom-Effekt/Skalierungseffekt oder dem Unschärfeeffekt. Es wird darauf hingewiesen, daß die genannten Bildeffekte lediglich zur Beschreibung und nicht zur Begrenzung genannt sind. Die Erfindung umfaßt jegliche Art von Bildeffekten.The chosen Images are processed to a slide show with attractive image effects generate, for example, the transition effect, the pan effect, the zoom effect / scale effect, or the blur effect. It should be noted that the mentioned image effects merely for description and not for limitation are called. The invention includes any type of image effects.

Die ausgewählten Audiodaten werden als Hintergrundmusik zu der Diaschau gespielt, wenn der Ton im wesentlich synchron ausgewählt wird. Die Diaschau zeigt Bilder in Harmonie mit der Musik an, d.h., daß Bildumschalten und die Bildeffekte werden ausgeführt entsprechend den Eigenschaften der Audiodaten, beispielsweise Tempo, Takte oder Akkord. Deshalb wird eine reizende Diaschau von Bildern in Harmonie mit der Musik auf einfache und bequeme Weise automatisch erzeugt.The chosen Audio is played as background music to the slideshow, when the sound is selected substantially synchronously. The slideshow shows Images in harmony with the music, i.e. image switching and image effects will be executed according to the properties of the audio data, for example, tempo, Bars or chord. That's why a lovely slideshow of pictures in harmony with the music in a simple and convenient way automatically generated.

Nachdem die Audiodaten und die Bilder zur Verfügung gestellt sind, führt der Computer oder der Prozessor die Audio- bzw. Tonanalyse für die gelieferten Audiodaten durch, um die Referenzpunkte zu erhalten, wie dies im Schritt 10 gezeigt ist. In Übereinstimmung mit der bevorzugten Ausführungsform der Erfindung umfassen die Referenzpunkte die Taktpunkte der Audiodaten, und das Erhalten der Taktpunkte wird nachfolgend im Detail beschrieben. Der Prozessor kann auch die Bildanalyse für die gelieferten Bilder ausführen, um die Bildeffekte zu bestimmen, was in Schritt 11 gezeigt ist. Es wird darauf hingewiesen, daß die Bildanalyse und die Audioanalyse unabhängig oder sogar gleichzeitig ausgeführt werden. Es können jedoch bestimmte Arten von Schablonen durch einen Nutzer ausgewählt werden, um den Schritt der Bildanalyse zu ersetzen. Die Schablonen liefern eine Vorbestimmung einer Gruppe von Bildeffekten, und diese Bildeffekte werden einfach auf die Bilder mit einer geringen oder ohne jegliche Analyse angewendet. Nach der bevorzugten Ausführungsform der Erfindung umfaßt die Bildanalyse die semantische Analyse und die nicht-semantische Analyse, beispielsweise Menschgesichtsdetektion und symmetrische Punktdetektion. Die Bildanalyse und die Bildeffektbestimmung wurden in der US-Patentanmeldung 11/013,811 offenbart, die vom Anmelder der vorliegenden Erfindung am 6. Dezember 2004 eingereicht wurde und den Titel „Method for Generating a Slide Show of an Image" trägt. Diese Anmeldung wird hier mittels Referenz eingefügt. In der obigen Anmeldung wendet das Verfahren zum Erzeugen einer Diaschau die semantische Analyse und die nicht-semantische Analyse an, um den Schwenkeffekt und den Zoom-Effekt/Skalierungseffekt der Bilder zu steuern.After the audio data and the images are provided, the computer or processor performs the audio analysis for the supplied audio data to obtain the reference points, as in the step 10 is shown. In accordance with the preferred embodiment of the invention, the reference points include the timing points of the audio data, and the obtaining of the timing points will be described in detail below. The processor may also perform the image analysis on the supplied images to determine the image effects, which in step 11 is shown. It should be noted that image analysis and audio analysis are performed independently or even simultaneously. However, certain types of templates may be selected by a user to replace the image analysis step. The templates provide a predetermination of a group of image effects, and these image effects are easily applied to the images with little or no Analysis applied. In the preferred embodiment of the invention, image analysis includes semantic analysis and non-semantic analysis, such as human face detection and symmetric point detection. Image analysis and image effect determination were disclosed in U.S. Patent Application 11 / 013,811, filed by the assignee of the present invention on December 6, 2004, entitled "Method for Generating a Slide Show of Image." This application is incorporated herein by reference In the above application, the method of generating a slide show uses the semantic analysis and the non-semantic analysis to control the panning effect and the zoom effect / scaling effect of the images.

Nachdem die Audio- bzw. Tonanalyse abgeschlossen ist, wählt der Prozessor die ersten Niveaupunkte und die zweiten Niveaupunkte aus den Referenzpunkten aus, wie dies in Schritt 12 gezeigt ist. Die ersten Niveaupunkte werden zum Steuern der Bildeffekte genutzt. Beispielsweise werden die ersten Niveaupunkte als der Anfangspunkt und der Endpunkt eines spezifischen Bildeffekts oder als der Änderungspunkt zwischen benachbarten Bildeffekten verwendet. Die zweiten Niveaupunkte werden zum Wechseln eines Bildes auf ein anderes eingeführt, d.h. ein Bild wird angezeigt bis zur Ankunft eines bestimmten zweiten Niveaupunkts, und das nächste Bild wird unmittelbar nach diesem zweiten Niveaupunkt angezeigt. In einer Ausführungsform der Erfindung werden die zweiten Niveaupunkte aus den ersten Niveaupunkten ausgewählt. So sollte jeder zweite Niveaupunkt zu den ersten Niveaupunkten gehören.After the audio analysis is completed, the processor selects the first level points and the second level points from the reference points, as in step 12 is shown. The first level points are used to control the image effects. For example, the first level dots are used as the starting point and the end point of a specific picture effect or as the point of change between adjacent picture effects. The second level points are introduced to switch one image to another, ie, an image is displayed until a certain second level point arrives, and the next image is displayed immediately after that second level point. In one embodiment of the invention, the second level points are selected from the first level points. So every second level should belong to the first level points.

Um die ersten Niveaupunkte aus den Referenzpunkten auszuwählen, wird von den Audiodaten zuerst der Tempowert der Hintergrundmusik ermittelt. In einer Ausführungsform der Erfindung werden Vokalsignale von den Audiodaten zuerst eliminiert. Der verbleibende Teil wird einer ähnlichen Audioanalyse unterzogen, wie sie oben erwähnt wurde, um die Referenzpunkte der Hintergrundmusik zu erhalten. Mit diesen Referenzpunkten der Hintergrundmusik kann der Tempowert entsprechend der Anzahl und der Dichte der Punkte berechnet werden. Weil das Tempo während der gesamten Hintergrundmusik üblicherweise veränderbar ist, wird gewöhnlich der mittlere Teil der Musik als Probe genommen, um den mittleren Tempowert zu erhalten. In einer anderen Ausführungsform kann die Musik in mehrere Abschnitte unterteilt werden, und der mittlere Tempowert würde übernommen werden. Der Tempowert repräsentiert oder bezieht sich auf die „Geschwindigkeit" der Musik und ist deshalb ein geeignetes Kriterium zum Ändern der Frequenz der Bildeffekte. Wenn beispielsweise die Hintergrundmusik der Audiodaten einen höheren Tempowert aufweist, ist die Änderungsfrequenz der Bildeffekte vorzugsweise größer. Die Auswahl der Referenzpunkte wird entsprechend der „Akkord-Änderungswahrscheinlichkeit" gemacht. Wenn die Akkord-Änderungswahrscheinlichkeit einer bestimmten Periode größer als null ist, wird überlicherweise ein Punkt in dieser Periode als Referenzpunkt genommen. Wenn die ersten Niveaupunkte aus den Referenzpunkten ausgewählt werden, wird vorzugsweise der Auswahlschwellwert der Akkord-Änderungswahrscheinlichkeit erhöht, nämlich auf einen Schwellwert größer null gesetzt. Je größer der Tempowert ist, um so mehr erste Niveaupunkte werden benötigt. Der Grad der Schwellwerthöhung basiert auf den Tempowert. Vorzugsweise ist der Schwellwert um so niedriger je größer der Tempowert ist, und umgekehrt.Around to select the first level points from the reference points first determines the tempo value of the background music from the audio data. In an embodiment In accordance with the invention, vocal signals are first eliminated from the audio data. The remaining part is subjected to a similar audio analysis, as mentioned above was to get the reference points of the background music. With these Reference points of the background music may be the tempo value accordingly the number and density of points. Because that Pace during the entire background music usually variable is, becomes common the middle part of the music sampled to the middle one To get tempo value. In another embodiment, the music may be in several sections are divided, and the mean tempo value would be taken over become. The tempo value represents or refers to the "speed" of the music and is Therefore, a suitable criterion for changing the frequency of the image effects. For example, if the background music of the audio data has a higher tempo value has, is the change frequency the image effects preferably larger. The Selection of reference points is made according to the "Chord Change Probability" Chord change probability a certain period greater than Zero is, usually taken a point in this period as a reference point. If the first level points are selected from the reference points, is preferably the selection threshold of the chord change probability elevated, namely on a threshold greater than zero set. The bigger the Tempo value is needed the more the first leveling points are needed. Of the Degree of threshold increase based on the tempo value. Preferably, the threshold is lower the bigger the Tempo value is, and vice versa.

Schwellwert repräsentiert das kürzeste Zeitintervall zwischen benachbartem zweiten Niveaupunkten. Deshalb basiert die Bildänderungsfrequenz auf den Tempowert. Vorzugsweise ist der Zeitintervall-Schwellwert um so kleiner je größer der Tempowert ist, und umgekehrt.threshold represents the shortest Time interval between adjacent second level points. Therefore the image change frequency is based on the tempo value. Preferably, the time interval threshold is around the smaller the bigger the Tempo value is, and vice versa.

4 zeigt die Beziehung der Referenzpunkte, der ersten Niveaupunkte, der zweiten Niveaupunkte und des Anzeigens der Bilder nach einer Ausführungsform der Erfindung. Die Zeitachse bzw. -schiene 401 ist mit allen Referenzpunkten RP markiert, und die Zeitachse bzw. -schiene 402 ist mit den ersten Niveaupunkten b11-b18 markiert, die aus den RPs ausgewählt sind. Die Zeitachse bzw. -schiene 403 ist mittels zweiter Niveaupunkte b21-b24 in drei Abschnitte unterteilt, und der Streifen 404 ist entsprechend der Zeitachse 403 ebenfalls in drei Abschnitte unterteilt. Die Abschnitte des Streifens 404 repräsentieren die Anzeigedauer der Bilder, bei denen es sich um Bild A, Bild B und Bild C handelt. Es wird darauf hingewiesen, daß die Referenzpunkte hauptsächlich aus Taktpunkten bestehen, die aus Audiodatenanalyse ermittelt werden, wobei jedoch andere Arten von Punkten auch umfaßt sein können, beispielsweise der Anfangspunkt (b11, b21) und der Endpunkt (b18, b24) der Musik der Audiodaten. Des weiteren haben die Zeitachsen 401, 403 und der Streifen 404 eine gleiche Länge und sind an beiden Enden ausgerichtet. 4 FIG. 10 shows the relationship of the reference points, the first level points, the second level points, and the display of the images according to an embodiment of the invention. The time axis or rail 401 is marked with all reference points RP, and the time axis or track 402 is marked with the first level points b11-b18 selected from the RPs. The time axis or rail 403 is subdivided into three sections by means of second level points b21-b24, and the strip 404 is according to the time axis 403 also divided into three sections. The sections of the strip 404 represent the display duration of the pictures, which are picture A, picture B and picture C. It should be noted that the reference points consist mainly of clock points obtained from audio data analysis, but other types of points may also be included, for example the starting point (b11, b21) and the end point (b18, b24) of the music of the audio data , Furthermore, the timelines have 401 . 403 and the strip 404 an equal length and are aligned at both ends.

Schließlich wird in Schritt 13 die Diaschau mit Bildeffekten in Harmonie mit der Musik zusammengestellt. Die Bildeffekte hierin werden entsprechend den ersten Niveaupunkten gesteuert, und das Anzeigen der Bilder wird basierend auf den zweiten Niveaupunkten gesteuert. Dies bedeutet mit anderen Worten, daß die Bildeffekte zu einem bestimmten ersten Niveaupunkt sich ändern und das Anzeigen der Bilder bei einem bestimmten zweiten Niveaupunkt von einem zum anderen umschaltet. Folglich kann eine Diaschau von Bildern mit der Musik der Audiodaten perfekt harmonisieren.Finally, in step 13 the slide show with picture effects in harmony with the music put together. The image effects herein are controlled according to the first level points, and the display of the images is controlled based on the second level points. In other words, this means that the image effects change to a certain first level and switch the display of the images from one to another at a certain second level. Consequently, a slide show of images can perfectly harmonize with the music of the audio data.

Im Lichte einer Ausführungsform der Erfindung wird die detaillierte Prozedur der Audioanalyse in 2 gezeigt. Um die Audiodaten zu analysieren, sollte ein Spektrogramm gefunden werden.In the light of an embodiment of the invention, the detailed procedure of audio analysis in FIG 2 shown. To analyze the audio data, a spectrogram should be found.

Jedes Segment der Audioanalyse wird in die Frequenzdomäne geändert, indem die schnelle Fourier-Transformation (FFT) benutzt wird. Dieses bedeutet, daß die Welleneigenschaften der Zeitdomäne in Energiemerkmale der Frequenzdomäne übertragen werden, wie dies in Schritt 20 gezeigt ist. Anschließend wird im Schritt 21 das Frequenzmerkmal erhalten. Weil die Energiewerte im Spektrogramm in dB gemessen werden, ist es notwendig, die komplexen Werte, nämlich FFT (Quelldaten) in Gleichung (1), in dB umzuformen. Die Gleichung (1) wird hierbei bevorzugt angewendet. Energie Wert (dB) = 20 × log[sq(FFT(Quelldaten))] (1) Each segment of the audio analysis is changed to the frequency domain using Fast Fourier Transform (FFT). This means that the wave properties of the time domain are translated into energy characteristics of the frequency domain, as in step 20 is shown. Subsequently, in step 21 get the frequency characteristic. Because the energy values in the spectrogram are measured in dB, it is necessary to transform the complex values, namely FFT (source data) into equation (1), into dB. The equation (1) is preferably used here. Energy value (d B ) = 20 × log [sq (FFT (source data))] (1)

Danach werden die Energiewerte in mehrere Teilbänder entsprechend den unterschiedlichen Frequenzflächen unterteilt. Die Daten dieser Teilbänder werden in vorbestimmte Zeitperioden zerlegt, und die dominierende Frequenz jeder Periode wird bestimmt. Die dominierende Frequenz wird entsprechend den Energiewerten jedes Teilbandes bestimmt. Folglich wird das Frequenzmerkmal erhalten.After that the energy values are divided into several subbands corresponding to the different ones frequency areas divided. The data of these subbands are in predetermined Time periods decomposed, and the dominant frequency of each period is determined. The dominant frequency will be according to the energy values each subband determined. As a result, the frequency characteristic is obtained.

Mit dem Frequenzmerkmal kann die Akkord-Änderungswahrscheinlichkeit berechnet werden, in dem die dominierende Frequenz benachbarter Perioden verglichen wird, wie dies Schritt 22 zeigt. Schließlich werden im Schritt 23 die Taktpunkte der Audiodaten entsprechend den Akkord-Änderungswahrscheinlichkeiten erhalten. Beispielsweise kann ein Punkt in einer Periode als ein Taktpunkt genommen werden, weil die Akkord-Änderungswahrscheinlichkeit dieser Periode größer als null ist.With the frequency feature, the chord change probability may be calculated by comparing the dominant frequency of adjacent periods, as in Step 22 shows. Finally, in the step 23 get the timing points of the audio data according to the chord change probabilities. For example, a point in a period may be taken as a clock point because the chord change probability of that period is greater than zero.

Nach einem anderen Aspekt der Erfindung liefert die Erfindung ein computerlesbares Speichermedium zum Erzeugen einer Diaschau mit einer Audioanalyse. 3 zeigt die bevorzugte Ausführungsform des Speichermediums. Das Speichermedium 30 umfaßt drei Module, bei denen es sich um ein Audioanalyse-Modul 301, ein Bildanalyse-Modul 302 und Diaschau-Zusammsetzmodul 303 handelt. Nach einer Ausführungsform können die Module eine bestimmte Art von Software oder eine Liste von Instruktionen bzw. Befehlen sein. Die Module können jedoch auch mittels Hardware implementiert werden, beispielsweise als Chipsatz bei denen es sich um ein Audioanalyse-Modul 301, ein Bildanalyse-Modul 302 und Diaschau-Zusammsetzmodul 303 handelt. Nach einer Ausführungsform können die Module eine bestimmte Art von Software oder eine Liste von Instruktionen bzw. Befehlen sein. Die Module können jedoch auch mittels Hardware implementiert werden, beispielsweise als Chipsatz oder Einzelzweck-Prozessor. Das Audioanalyse-Modul 301 wird verwendet, um die gelieferten oder durch den Benutzer bestimmten Audiodaten zu analysieren, und die Taktpunkte umfassenden Referenzpunkte können deshalb erhalten werden. Die Ausführungsform der Analyseprozedur kann 2 und deren Beschreibung entsprechen. Das Audioanalyse-Modul 301 wählt einige Referenzpunkte als erste Niveaupunkte aus und bestimmt weiterhin bestimmte erste Niveaupunkte als die zweiten Niveaupunkte. Die ersten und die zweiten Niveaupunkte werden genutzt, um das Anzeigen von Bildern und die Bildeffekte zu steuern, und die Auswahl der ersten und der zweiten Niveaupunkte wurde oben beschrieben.In another aspect of the invention, the invention provides a computer readable storage medium for producing a slide show with audio analysis. 3 shows the preferred embodiment of the storage medium. The storage medium 30 includes three modules, which is an audio analysis module 301 , an image analysis module 302 and slideshow compilation module 303 is. In one embodiment, the modules may be a particular type of software or a list of instructions. However, the modules may also be implemented by hardware, such as a chipset which is an audio analysis module 301 , an image analysis module 302 and slideshow compilation module 303 is. In one embodiment, the modules may be a particular type of software or a list of instructions. However, the modules may also be implemented by hardware, such as a chipset or a single purpose processor. The audio analysis module 301 is used to analyze the audio data supplied or specified by the user, and reference points comprising the timing points can therefore be obtained. The embodiment of the analysis procedure may 2 and their description correspond. The audio analysis module 301 selects some reference points as the first level points and continues to set certain first level points as the second level points. The first and second level points are used to control the display of images and the image effects, and the selection of the first and second level points has been described above.

Das Bildanalyse-Modul 302 wird genutzt, um den Inhalt der Bilder zum Bestimmen der Bildeffekte zu analysieren. Die Arten der Bildanalyse können eine Menschengesicht-Detektion und eine symmetrische Punktdetektion umfassen. Das Diaschau-Zusammsetzmodul 303 setzt eine Diaschau den analytischen Ergebnissen des Audioanalyse-Moduls 301 und des Bildanalyse-Moduls 302 entsprechend zusammen.The image analysis module 302 is used to analyze the content of the images to determine the image effects. The types of image analysis may include human face detection and symmetric point detection. The slide show compilation module 303 puts a slide show to the analytical results of the audio analysis module 301 and the image analysis module 302 accordingly together.

Das Speichermedium 30 kann eine CD/DVD, eine Blu-ray-Diskette, eine Diskette, eine Festplatte, ein Flash-Laufwerk oder der Speicher sein. Es wird darauf hingewiesen, daß das erfindungsgemäße Speichermedium jegliches Mittel mit der Fähigkeit zum Vorhalten digitaler Daten sein kann, und die genannten Arten werden lediglich zur Illustration und nicht zur Begrenzung aufgezählt.The storage medium 30 can be a CD / DVD, a Blu-ray Disc, a floppy disk, a hard disk, a flash drive or the storage. It should be understood that the storage medium of the present invention may be any means capable of holding digital data, and the aforesaid types are given by way of illustration and not limitation.

5 zeigt eine Ausführungsform der Beziehung eines Übergangseffekts und der zweiten Niveaupunkte. Um von einem Bild auf ein anderes zu wechseln, werden häufig die Übergangseffekte angewendet. In 5 ist die Zeitachse bzw. -schiene 502 in zwei Abschnitte unterteilt, welche die Anzeigedauer eines Bildes B bzw. eines Bildes C repräsentieren. Zwischen diesen zwei Bildern werden Übergangseffekte genutzt. Auf der ersten Zeitachse 501 ist der erste Niveaupunkt b15 zwischen b14 (b22) und b16 (b24) angeordnet, und ein anderer erster Niveaupunkt b17 ist zwischen b16 (b24) und b18 (b24) angeordnet. Die ersten Niveaupunkte b15 und b17 können als die Steuerpunkte des Übergangseffekts angenommen werden. Ein Streifen 503 repräsentiert die Anzeigedauern der Bilder und ist im wesentlichen in zwei Abschnitte unterteilt, welche für das Bild B bzw. das Bild C stehen. Innerhalb des Streifens 503 befindet sich ein markierter Abschnitt 513, und der markierte Abschnitt 513 zeigt die Dauer des Übergangseffekts. Wie zu sehen ist, ist der markierte Abschnitt 513 mit dem ersten Niveaupunkten b15 und b17 ausgerichtet. Dieses bedeutet, daß der Übergangseffekt an dem Punkt b15 beginnt und an dem Punkt b17 endet. 5 shows an embodiment of the relationship of a transition effect and the second level points. To switch from one image to another, the transition effects are often applied. In 5 is the time axis or rail 502 is divided into two sections representing the display duration of an image B and an image C, respectively. Between these two images transition effects are used. On the first timeline 501 For example, the first level b15 is located between b14 (b22) and b16 (b24), and another first level b17 is disposed between b16 (b24) and b18 (b24). The first level points b15 and b17 may be taken as the control points of the transition effect. A stripe 503 represents the display durations of the images and is essentially subdivided into two sections representing image B and image C, respectively. Inside the strip 503 there is a marked section 513 , and the marked section 513 shows the duration of the transition effect. As can be seen, the marked section is 513 aligned with the first level points b15 and b17. This means that the transition effect starts at point b15 and ends at point b17.

6 zeigt eine Ausführungsform der Beziehung eines Unschärfeeffekts und der zweiten Niveaupunkte. Die Zeitachse bzw. die -schiene 602 ist nicht unterteilt, d.h. das Bild A wird während der gesamten Dauer von b21 bis b22 angezeigt. Die Zeitachse 601 ist jedoch mittels der ersten Niveaupunkte b14 und b16 in drei Abschnitte unterteilt. Deshalb existieren während der Anzeigedauer von Bild A zwei erste Niveaupunkte. Die ersten Niveaupunkte b14 und b16 können genutzt werden, um den Bildeffekt während des Anzeigens des Bildes A zu steuern. Bei der Ausführungsform in 6 wird der Unschärfeeffekt angenommen, und die Steuerung hiervon hängt von ersten Niveaupunkten b14 und b16 ab. 6 zeigt zwei Beispiele für den Unschärfeeffekt. Entsprechend Streifen 603 wird das Bild A von unbestimmt bis klar und dann von klar bis unbestimmt angezeigt. Entsprechend Streifen 604 ist die Anzeigefolge des Bildes A jedoch klar – unscharf – klar. Es wird darauf hingewiesen, daß die obigen Arten der Steuerung des Unschärfeeffekts lediglich der beispielhaften Illustration und nicht der Begrenzung dienen. Die Erfindung umfaßt alle möglichen Steuerarten. 6 shows an embodiment of the relationship of a blur effect and the second level points. The time axis or the rail 602 is not subdivided, ie the image A is displayed for the entire duration from b21 to b22. The timeline 601 However, it is divided into three sections by means of the first level points b14 and b16. Therefore, during the display duration of picture A, there are two first level points. The first level points b14 and b16 may be used to control the image effect while displaying the image A. In the embodiment in 6 the blur effect is assumed, and the control thereof depends on first level points b14 and b16. 6 shows two examples of the blurring effect. According to stripes 603 the image A is displayed from indefinite to clear and then from clear to indefinite. According to stripes 604 However, the display sequence of the image A is clear - blurred - clear. It should be noted that the above ways of controlling the blurring effect are merely illustrative and not limiting. The invention includes all possible types of taxes.

7 zeigt eine Ausführungsform der Beziehungen eines Schwenkeffektes und der zweiten Niveaupunkte. Während des Anzeigens des Bildes B existiert ein erster Niveaupunkt b15. Nach dem Analysieren der Bilder- und der Audiodaten wird der Bewegungsweg 713 bestimmt. Der Bewegungsweg ist die Bewegungsbahn des Fokus des Bildes B. Der Fokus kann jedoch durch den Punkt innerhalb eines bestimmten semantischen Bereiches ersetzt werden, beispielsweise eines Menschengesicht im Bild B. Auf dem Bewegungsweg 713 sind drei Punkte und ist der Mittelpunkt ausgerichtet mit dem ersten Niveaupunkt b15. Wenn sich der Fokus des Bildes B zu dem Mittelpunkt bewegt, ist das Bild B vorzugsweise zentriert in den Darstellungsfenster 714. Dieses bedeutet, daß das Bild B vollständig angezeigt ist, wenn der erste Niveaupunkt b15 ankommt. Danach wird das Bild B kontinuierlich entlang des Bewegungswegs 713 geschwenkt. 7 shows an embodiment of the relationships of a sway effect and the second level points. While displaying the image B, a first level point b15 exists. After analyzing the image and audio data, the motion path becomes 713 certainly. The movement path is the trajectory of the focus of the image B. However, the focus can be replaced by the point within a certain semantic range, for example a human face in the image B. On the path of movement 713 are three points and the center is aligned with the first level point b15. When the focus of the image B moves to the center, the image B is preferably centered in the viewport 714 , This means that the image B is fully displayed when the first level point b15 arrives. Thereafter, the image B becomes continuous along the movement path 713 pivoted.

Zusammenfassend ist mit dem Verfahren und dem Speichermedium nach der Erfindung der Benutzer in der Lage, eine Diaschau in Harmonie bzw. Übereinstimmung mit schöner Musik zu erzeugen. Die Bildeffekte und das Bildumschalten entsprechen perfekt dem Tempo und dem Akkord der Audiodaten. Des weiteren muß der Nutzer nur Bilder und Audiodaten auswählen oder liefern, und der Computer oder der Prozessor beendet dann die Restarbeit. Folglich schafft die Erfindung für den Nutzer tatsächlich eine einfache und bequeme Weise zum Erzeugen einer attraktiven Diaschau in Harmonie mit liebenswerter Hintergrundmusik.In summary is with the method and the storage medium according to the invention the user will be able to do a slide show in harmony or match with more beautiful To produce music. The image effects and the image switching correspond perfect for the tempo and chord of the audio data. Furthermore, the user must only select pictures and audio data or deliver, and the computer or processor then terminates the Remaining work. As a result, the invention actually provides the user with one easy and convenient way to create an attractive slideshow in harmony with loveable background music.

Der Fachmann versteht, daß die vorangehenden bevorzugten Ausführungsformen der Erfindung eher der Illustration als einer Begrenzung der Erfindung dienen. Es ist beabsichtigt, verschiedene Modifikationen und ähnliche Anordnungen abzudecken, die im Bereich der zugehörigen Ansprüche liegen, wobei der Bereich der Erfindung mit der breitesten Interpretation der Ansprüche übereinstimmen soll, um all solche Modifikationen und ähnliche Strukturen zu umfassen. Während die bevorzugte Ausführungsform der Erfindung dargestellt und beschrieben wurde, wird darauf hingewiesen, daß unterschiedliche Änderungen hierin gemacht werden können, ohne den Bereich der Erfindung zu verlassen.Of the Professional understands that the preceding preferred embodiments The invention is intended to be illustrative rather than limiting of the invention serve. It is intended to be various modifications and the like To cover arrangements that are within the scope of the appended claims, the scope according to the invention with the broadest interpretation of the claims, to encompass all such modifications and similar structures. While the preferred embodiment the invention has been described and described, it is pointed out that different changes can be made herein without to abandon the scope of the invention.

Claims

Method for generating a slide show with a Audio analysis, the method comprising the steps of: - Analyze of audio data for obtaining reference points, wherein the reference points comprise a timing point of the audio data; - receive at least one Picture effect for at least one picture; - Select at least a first leveling point and at least a second leveling point from the clock points; and - Compile a slideshow of the images with the image effect in conjunction with the Audio data, the image effect corresponding to the first level and displaying the image at the second level is controlled accordingly.

Method according to claim 1, characterized in that that the Analysis of the audio data comprises the following steps: Transfer from Wave characteristics of a time domain in Energy characteristics of a frequency domain and obtaining energy values; Divide the energy values in several subbands; Calculate a chord change probability each period corresponding to a dominant frequency of an adjacent one Period of the period, where the length the period is predetermined; and Get the timing point accordingly the chord change probability.

Method according to claim 2, characterized in that that the dominant frequency corresponding to the energy values of each subband is determined.

Method according to claim 1, characterized in that that the second level from the first level is selected according to a tempo value and that the Tempo value by execution a background music analysis of the audio data is formed.

Method according to claim 1, characterized in that that the first level is selected according to a tempo value and that the tempo value by running a background music analysis of the audio data is formed.

Method according to claim 1, characterized in that that the Image effect a transition effect, a Panning effect, a zoom effect or a blur effect includes.

Method according to claim 1, characterized in that that the Reference points a start point and an end point of the audio data include.

Method according to claim 1, characterized in that that the Image effect in a template predetermined or by means of an image analysis is obtained.

Computer-readable storage medium with executable Instructions for creating a slideshow with audio analysis by running the following steps: Analyze audio data to obtain of reference points, wherein the reference points one clock point of Include audio data; Get at least one image effect for at least a picture; Choose at least one first level and at least one second Level point from the clock points; and Putting together a Slideshow of the pictures with the picture effect in connection with the audio data, wherein the image effect is controlled according to the first level and wherein displaying the image corresponds to the second level is controlled.

Machine-readable storage medium according to claim 9, characterized in that the Analysis of the audio data comprises the following steps: Transfer from Wave characteristics of a time domain in Energy characteristics of a frequency domain and obtained from energy values; Divide the energy values in several subbands; Calculate a Chord change probability each period corresponding to a dominant frequency of an adjacent one Period of the period, where the length the period is predetermined; and Get the timing point accordingly the chord change probability.

Machine-readable storage medium according to claim 10, characterized in that the dominant frequency corresponding to the energy values of each subband is determined.

Machine-readable storage medium according to claim 9, characterized in that the second level is selected according to a tempo value and that the Tempo value by executing a Background music analysis of the audio data is formed.

Machine-readable storage medium according to claim 9, characterized in that the first level is selected according to a tempo value and that the Tempo value by executing a Background Musk analysis of the auto data is formed.

Machine-readable storage medium according to claim 9, characterized in that the Image effect in a template predetermined or by means of an image analysis is obtained.

Machine-readable storage medium according to claim 9, characterized in that the Image effect a transitional effect, a pan effect, a zoom effect or a blur effect includes.

Machine-readable storage medium according to claim 9, characterized in that the Reference points a start point and an end point of the audio data include.

Machine-readable storage medium according to claim 9, characterized in that the Storage medium a CD, a DVD, a Blu-ray diskette, a floppy disk, a hard disk or a memory.