DE102017116177A1 - Verfahren und Gerät zum Kombinieren von Videos - Google Patents

Verfahren und Gerät zum Kombinieren von Videos Download PDF

Info

Publication number
DE102017116177A1
DE102017116177A1 DE102017116177.5A DE102017116177A DE102017116177A1 DE 102017116177 A1 DE102017116177 A1 DE 102017116177A1 DE 102017116177 A DE102017116177 A DE 102017116177A DE 102017116177 A1 DE102017116177 A1 DE 102017116177A1
Authority
DE
Germany
Prior art keywords
video
unprocessed
video files
sound feature
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017116177.5A
Other languages
English (en)
Inventor
Jun Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Publication of DE102017116177A1 publication Critical patent/DE102017116177A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Ein Verfahren umfasst ein Akquirieren einer Vielzahl von unbearbeiteten Videodateien, ein Beziehen von Videosignalen und Audiosignalen von den unbearbeiteten Videodateien, ein Bestimmen eines Soundmerkmals von den Audiosignalen, und ein Kombinieren der unbearbeiteten Videodateien, basierend auf dem Soundmerkmal, um eine kombinierte Videodatei zu erzeugen.

Description

  • RÜCKBEZUG AUF EINE RELEVANTE ANMELDUNG
  • Diese Anmeldung beansprucht die Priorität der chinesischen Patentanmeldung Nr. 201610592046.6 , die am 25. Juli 2016 eingereicht wurde, wobei die gesamten Inhalte davon hierin durch Bezugnahme eingeschlossen sind.
  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft die Audio-Video-Verarbeitungstechnologie und insbesondere ein Verfahren und ein Gerät zum Kombinieren von Videos.
  • HINTERGRUND DER TECHNIKEN
  • Manchmal können Videos von mehreren elektronischen Geräten in einem Video kombiniert werden müssen. Beispielsweise können während eines Videoaufnehmens mehrere elektronische Geräte verwendet werden, um ein oder mehr Objekte einer Szene aufzunehmen. Die durch die mehreren elektronischen Geräte aufgenommenen Videos müssen kombiniert werden und das kombinierte Video kann anschließend abgespielt werden. Jedoch erfordert existierende Videokombinationssoftware eine manuelle Synchronisation, wobei das Synchronisationsergebnis nicht ideal ist. Zum Beispiel kann eine Zeitverzögerung zwischen mehreren Videos in demselben Frame existieren, wobei die Zeitverzögerungen lang sein können.
  • ZUSAMMENFASSUNG
  • Gemäß der Offenbarung wird ein Verfahren bereitgestellt, welches ein Akquirieren einer Vielzahl von unbearbeiteten Videodateien, ein Beziehen von Videosignalen und Audiosignalen von den unbearbeiteten Videodateien, ein Bestimmen eines Soundmerkmals von den Audiosignalen und ein Kombinieren der unbearbeiteten Videodateien, basierend auf dem Soundmerkmal, umfasst, um eine kombinierte Videodatei zu erzeugen.
  • Gemäß der Offenbarung wird auch ein Gerät bereitgestellt, das einen Decoder und einen Prozessor, der mit dem Decoder gekoppelt ist, umfasst. Der Decoder erlangt eine Vielzahl von unbearbeiteten Videodateien und bezieht Videosignale und Audiosignale von den unbearbeiteten Videodateien. Der Prozessor bestimmt ein Soundmerkmal von den Audiosignalen und kombiniert die unbearbeiteten Videodateien basierend auf dem Soundmerkmal, um eine kombinierte Videodatei zu erzeugen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Flussdiagramm eines Beispiels eines Videokombinationsverfahrens, in Übereinstimmung mit Ausführungsformen der Offenbarung.
  • 2 ist ein Diagramm, das ein Beispiel von Audiodaten unterschiedlicher Videodateien auf einer Zeitachse in Übereinstimmung mit Ausführungsformen der Offenbarung zeigt.
  • 3 ist ein Diagramm, das ein anderes Beispiel von Audiodaten unterschiedlicher Videodateien auf einer Zeitachse in Übereinstimmung mit Ausführungsformen der Offenbarung zeigt.
  • 4 ist ein strukturelles Diagramm eines Beispiels eines Videokombinationsgerätes, in Übereinstimmung mit Ausführungsformen der Offenbarung.
  • 5 ist ein strukturelles Diagramm eines anderen Beispiels eines Videokombinationsgerätes, in Übereinstimmung mit Ausführungsformen der Offenbarung.
  • 6 ist ein strukturelles Diagramm eines anderen Beispiels eines Videokombinationsgerätes, in Übereinstimmung mit Ausführungsformen der Offenbarung.
  • BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Hiernach werden Ausführungsformen, in Übereinstimmung mit der Offenbarung, mit Bezug auf die Zeichnungen, welche nur Beispiele für darstellende Zwecke sind und nicht beabsichtigen, den Schutzumfang der Offenbarung zu begrenzen, beschrieben. Wo immer möglich, werden die gleichen Bezugszeichen in den gesamten Zeichnungen verwendet, um sich auf die gleichen oder ähnliche Teile zu beziehen.
  • Ausführungsformen in Übereinstimmung mit der Offenbarung umfassen Verfahren und Geräte für ein Kombinieren von Videos. Ein Verfahren oder Gerät gemäß der Offenbarung kann in einer elektronischen Vorrichtung ausgeführt werden, die eine Bildverarbeitungsfunktion, wie einen Bildprozessor, einen Computer, einen Laptop oder ein Tablet aufweist Hiernach beziehen sich Videodateien, die zu kombinieren sind, auf “unbearbeitete Videodateien”, und wird auf eine Videodatei, die durch Kombinieren der unbearbeiteten Videodateien erzeugt wird, auch als “kombinierte Videodatei” Bezug genommen.
  • 1 ist ein Flussdiagramm eines Beispiels eines Videokombinationsverfahrens in Übereinstimmung mit Ausführungsformen der Offenbarung. Wie in 1 gezeigt, werden bei 101 wenigstens zwei unbearbeitete Videodateien akquiriert. Eine unbearbeitete Videodatei kann sowohl ein Videosignal als auch ein Audiosignal aufweisen. Gewöhnlicherweise sind das Videosignal und das Audiosignal der gleichen unbearbeiteten Videodatei bereits synchronisiert. In einigen Ausführungsformen können die wenigstens zwei unbearbeiteten Videodateien durch wenigstens zwei unterschiedliche elektronische Geräte aufgezeichnet werden. Jedes der elektronischen Geräte kann ein elektronisches Gerät sein, das die Videoaufzeichnungsfunktion aufweist, wie ein Tablet, ein Laptop, ein mobiles Telefon, ein Fernseher, eine Kamera oder ein Camcorder.
  • In einigen Ausführungsformen können die unbearbeiteten Videodateien Aufzeichnungen derselben Szene, die zur gleichen Zeit aufgenommen wurde, enthalten. Zum Beispiel können in einem Bus, der eine Gruppe von Kindern aufweist, zwei elektronische Geräte verwendet werden, um die Aktivitäten der gleichen Gruppe von Kindern zur gleichen Zeit aufzunehmen. Während einer Nachproduktion können die unbearbeiteten Videodateien, die durch die zwei elektronischen Geräte erhalten wurden, kombiniert werden.
  • In einigen anderen Ausführungsformen können die unbearbeiteten Videodateien Aufzeichnungen von unterschiedlichen Szenen enthalten, die zu einer gleichen Zeit aufgenommen wurden. Beispielsweise kann in einem Bus, der eine Gruppe von Kindern aufweist, ein elektronisches Gerät verwendet werden, um die Aktivitäten der Kinder, die auf der linken Seite sitzen, aufzunehmen, und kann zur gleichen Zeit ein anderes elektronisches Gerät dazu verwendet werden, um die Aktivitäten der Kinder, die auf der rechten Seite sitzen, aufzunehmen. Während einer Nachproduktion können die unbearbeiteten Videodateien, die durch die zwei elektronischen Geräte erhalten wurde, kombiniert werden.
  • Bei 102 werden die unbearbeiteten Videodateien analysiert, um jeweils Videosignale und Audiosignale entsprechend den unbearbeiteten Videodateien zu extrahieren. Zum Beispiel kann eine unbearbeitete Videodatei unter Verwenden eines Videodecoders dekodiert werden, um ein Videosignal und ein Audiosignal entsprechend den unbearbeiteten Videodateien zu extrahieren.
  • In einigen Ausführungsformen können, bevor die unbearbeiteten Videodateien analysiert werden, Formate der unbearbeiteten Videodateien bezogen und überprüft werden, um zu bestimmen, ob die Formate ein voreingestelltes Format sind. Wenn das Format eines der unbearbeiteten Videodateien nicht das voreingestellte Format aufweist, kann das Format der unbearbeiteten Videodatei in das voreingestellte Format konvertiert werden. In einigen Ausführungsformen kann das voreingestellte Format ein Format sein, das durch den Videodecoder unterstützt wird. Ein Vereinheitlichen der Formate von unterschiedlichen unbearbeiteten Videodateien erleichtert das nachfolgende Decodieren der unbearbeiteten Videodateien. Das bedeutet, dass der Videodecoder ein gleiches Analyseverfahren für unterschiedliche unbearbeitete Videodateien verwenden kann. Dies reduziert die Fehler, die durch unterschiedliche Formate der unbearbeiteten Videodateien verursacht werden, und unterstützt den nachfolgenden Videokombinationsprozess besser.
  • Bei 103 wird ein gleiches Soundmerkmal basierend auf den Audiosignalen der unbearbeiteten Videodateien bestimmt. Das gleiche Soundmerkmal kann sich auf ein Soundmerkmal beziehen, z.B. einen gesprochenen Satz, der durch eine gleiche Soundquelle erzeugt wird und in jeder der unbearbeiteten Videodateien, obgleich durch verschiedene elektronische Geräte aufgezeichnet, existiert. Das gleiche Soundmerkmal kann als eine Referenz in dem nachfolgenden Videokombinationsprozess verwendet werden. In einigen Ausführungsformen kann das Bestimmen des gleichen Soundmerkmals ein Erhalten von Audiodaten entsprechend den Audiosignalen und ein Bestimmen des gleichen Soundmerkmals basierend auf den Audiodaten entsprechend den Audiosignalen umfassen.
  • Bei 104 werden die unbearbeiteten Videodateien unter Verwenden des gleichen Soundmerkmals als eine Zeitreferenz kombiniert. In einigen Ausführungsformen kann basierend auf dem gleichen Soundmerkmal ein erster Zeitpunkt bestimmt werden. Die Videodaten und die Audiodaten in den unbearbeiteten Videodateien können unter Verwenden des ersten Zeitpunktes als ein zentraler Punkt synchronisiert werden. Das bedeutet, dass die Videodaten und die Audiodaten in den unbearbeiteten Videodateien mit Bezug auf den ersten Zeitpunkt synchronisiert werden können, auf den auch als ein “Referenzzeitpunkt” Bezug genommen werden kann. Als solches können wenigstens die Videodaten entsprechend dem gleichen Soundmerkmal in der kombinierten Videodatei synchronisiert werden.
  • In einigen Ausführungsformen kann zum Synchronisieren der Videodaten und der Audiodaten in den unbearbeiteten Videodateien unter Verwenden des ersten Zeitpunktes als dem zentralen Punkt ein Videodatenframe und ein Audiodatenframe entsprechend dem ersten Zeitpunkt von jedem der unbearbeiteten Videodateien erhalten werden. Die Videodatenframes und die Audiodatenframes können entsprechend dem ersten Zeitpunkt der entsprechenden unbearbeiteten Videodateien angepasst werden. Das bedeutet, dass die Videodatenframes der entsprechenden unbearbeiteten Videodateien, welche dem ersten Zeitpunkt entsprechen, einander angepasst werden und die Audiodatenframes der entsprechenden unbearbeiteten Videodateien, welche dem ersten Zeitpunkt entsprechen, einander angepasst werden können. Ferner können, um andere Abschnitte der unbearbeiteten Videodateien anzupassen, ein oder mehrere zweite Zeitpunkte unter Verwenden des ersten Zeitpunktes als den zentralen Punkt bestimmt werden. Auf die zweiten Zeitpunkte kann auch als “Hilfszeitpunkte” Bezug genommen werden. Ein Videodatenframe und ein Audiodatenframe, die jedem der ein oder mehreren zweiten Zeitpunkten entsprechen, können von jedem der unbearbeiteten Videodateien erhalten werden. Für jeden der ein oder mehreren zweiten Zeitpunkte können die entsprechenden Videodatenframes und die entsprechenden Audiodatenframes der entsprechenden unbearbeiteten Videodateien angepasst werden.
  • In einigen Ausführungsformen kann jeder von einem oder mehreren Zeitpunkten ein anderes gleiches Soundmerkmal umfassen, welches unterschiedlich zu dem gleichen Soundmerkmal des ersten Zeitpunktes sein kann.
  • Zum Beispiel zeichnen ein elektronisches Gerät A und ein elektronisches Gerät B mehrere Menschen in derselben Szene zur selben Zeit als Video auf. Das elektronische Gerät A erzeugt eine unbearbeitete Videodatei a und das elektronische Gerät B erzeugt eine unbearbeitete Videodatei b. Wie in 2 gezeigt, enthüllt eine Analyse der unbearbeiteten Videodatei a, dass die Audiodatei zur fünften Sekunde der unbearbeiteten Videodatei a einen Satz “Wie geht‘s” umfasst, und eine Analyse der unbearbeiteten Videodatei b enthüllt, dass die Audiodatei zur sechsten Sekunde der unbearbeiteten Videodatei b auch den Satz “Wie geht‘s” enthält. Die zwei Sätze des “Wie geht‘s” in den zwei unbearbeiteten Videodateien werden durch die gleiche Person zur gleichen Zeit gesprochen. Dies zeigt an, dass eine Zeitverzögerung existierte, als die zwei elektronischen Geräte die Szene als Video aufzeichneten. Somit kann, wenn die unbearbeiteten Videodateien nur durch Anpassen der Videodatenframes und der Audiodatenframes gemäß den Aufzeichnungszeiten der zwei unbearbeiteten Videodateien ohne Analysieren des Inhalts der Audiodaten kombiniert werden, die kombinierte Videodatei nicht synchronisiert sein, und kann beispielsweise eine Zeitverzögerung existieren. Jedoch wird, gemäß der technischen Lösungen in Übereinstimmung mit der Offenbarung, ein Audiodatenframe der unbearbeiteten Videodatei a zur fünften Sekunde mit einem Audiodatenframe der unbearbeiteten Videodatei b zur sechsten Sekunde kombiniert und wird ein Videodatenframe der unbearbeiteten Videodatei a zur fünften Sekunde mit einem Videodatenframe der unbearbeiteten Videodatei b zur sechsten Sekunde kombiniert. Somit können die Videodaten in der kombinierten Videodatei entsprechend dem gleichen Soundmerkmal synchronisiert sein.
  • Manchmal können die Videodatenframes in den unbearbeiteten Videodateien und/oder die Audiodatenframes in den unbearbeiteten Videodateien keine eins-zu-eins Entsprechung aufweisen. Zum Beispiel können, während der Analyse von einer oder mehreren der unbearbeiteten Videodateien, einige Frames (entweder Videodatenframes oder Audiodatenframes oder beide) verloren gehen. In dieser Situation können, selbst wenn der Videodatenframe und der Audiodatenframe zum ersten Zeitpunkt eines der unbearbeiteten Videodateien an den Videodatenframe und den Audiodatenframe zum ersten Zeitpunkt eines anderen der unbearbeiteten Videodateien angepasst sind, und die anderen Video- und Audiodatenframes der unbearbeiteten Videodateien mit dem ersten Zeitpunkt als zentralen Punkt angepasst sind, Teile der Videosignale und/oder Teile der Audiosignale in den unbearbeiteten Videodateien aufgrund des Verlustes von Frames nicht synchronisiert sein. Weitere Synchronisation basierend auf anderen Teilen der unbearbeiteten Videodateien können wie unten beschrieben durchgeführt werden.
  • Zum Beispiel kann in einigen Ausführungsformen eine Mehrzahl gleicher Soundmerkmale basierend auf den Audiosignalen der unbearbeiteten Videodateien bestimmt werden. Eines der gleichen Soundmerkmale kann verwendet werden, um, wie oben beschrieben, den ersten Zeitpunkt zu bestimmen. In einigen Ausführungsformen kann ein dritter Zeitpunkt basierend auf einem anderen der gleichen Soundmerkmale bestimmt werden, der sich von dem gleichen Soundmerkmal entsprechend dem ersten Zeitpunkt unterscheidet. Nachdem die unbearbeiteten Videodateien unter Verwenden des ersten Zeitpunktes als zentraler Punkt kombiniert sind, wird die Videodatei geprüft, um zu bestimmen, ob die Frames des gleichen Soundmerkmals mit dem dritten Zeitpunkt von den entsprechenden unbearbeiteten Videodateien genau angepasst sind. Falls nicht, werden die unbearbeiteten Videodateien erneut kombiniert. Auf den dritten Zeitpunkt kann somit auch als ein “Prüfzeitpunkt” Bezug genommen werden. Zum Beispiel können die Audiodatenrahmen entsprechend dem dritten Zeitpunkt von den entsprechenden unbearbeiteten Videodateien geprüft werden, um zu bestimmen, ob diese sauber angepasst sind.
  • Zum Beispiel zeichnen das elektronische Gerät A und das elektronische Gerät B mehrere Personen in der gleichen Szene zur gleichen Zeit als Video auf. Das elektronische Gerät A erzeugt die unbearbeitete Videodatei a und das elektronische Gerät B erzeugt die unbearbeitete Videodatei b. Wie in 3 gezeigt, enthüllt die Analyse der unbearbeiteten Videodatei a, dass die Audiodatei zur fünften Sekunde der unbearbeiteten Videodatei a den Satz “Wie geht‘s” umfasst, und enthüllt die Analyse der unbearbeiteten Videodatei b, dass die Audiodatei zur sechsten Sekunde der unbearbeiteten Videodatei b auch den Satz “Wie geht‘s” enthält. Die zwei Sätze des “Wie geht‘s” in den zwei unbearbeiteten Videodateien werden durch die gleiche Person zur gleichen Zeit gesprochen. Ferner enthüllt die Analyse der unbearbeiteten Videodatei a auch, dass die Audiodaten zur siebten Sekunde der unbearbeiteten Videodatei a einen Satz “gemeinsames Lunch?” umfasst und enthüllt die Analyse der unbearbeiteten Videodatei b auch, dass die Audiodatei der unbearbeiteten Videodatei b zur neunten Sekunde auch den Satz “gemeinsames Lunch?” enthält. Die zwei Sätze “gemeinsames Lunch?”, die in den zwei unbearbeiteten Videodateien sind, werden von der gleichen Person zur gleichen Zeit gesprochen. In dieser Situation können, wenn die unbearbeiteten Videodateien durch Anpassen der Videodatenframes entsprechend dem Satz “Wie geht`s” und anschließendes Anpassen anderer Videodatenframes und Audiodatenframes unter Verwenden des Zeitpunktes entsprechend dem Satz “Wie geht`s” als zentralen Punkt kombiniert werden, einige Videodaten und Audiodaten nicht synchronisiert sein. Somit können in diesem Beispiel die Videodatenframes von den zwei unbearbeiteten Videodateien, die dem Satz “gemeinsames Lunch?” entsprechen, auch angepasst werden. Demnach kann die kombinierte Videodatei ferner auch unter Verwenden des Zeitpunktes entsprechend dem Satz “gemeinsames Lunch?” als zentraler Punkt überprüft werden. Ein derartiger Prozess kann solange wiederholt werden, bis die Videodatenframes von den zwei unbearbeiteten Videodateien, welche jedem der gleichen Soundmerkmale entsprechen, synchronisiert sind, das heißt sauber angepasst sind.
  • Unter Verwenden mehrerer gleicher Soundmerkmale zum Anpassen und Prüfen, wie oben beschrieben, kann das Problem der Asynchronisation in Teilen des Videosignals oder Audiosignals, das zum Beispiel durch den Verlust von Frames verursacht wird, vermieden werden. Als solches können die unbearbeiteten Videodateien besser und sauberer kombiniert werden.
  • In einigen Ausführungsformen können Metadaten von kombinierten Videodateien basierend auf Metadaten von wenigstens zwei unbearbeiteten Videodateien erzeugt werden. Die Metadaten können zum Beispiel ein Untertitel sein. In einigen Ausführungsformen können neue Metadaten basierend auf den Metadaten der letzten zwei unbearbeiteten Videodateien als Metadaten der kombinierten Videodatei erzeugt werden. Die neuen Metadaten können durch Verallgemeinern oder Summieren der Metadaten der wenigstens zwei unbearbeiteten Videodateien erzeugt werden. In einigen Ausführungsformen kann eine primäre unbearbeitete Videodatei von den wenigstens zwei unbearbeiteten Videodateien bestimmt werden und können Metadaten der primären unbearbeiteten Videodatei als Metadaten der kombinierten Videodaten der kombinierten Videodatei bestimmt werden, während Metadaten des (der) anderen der wenigstens zwei unbearbeiteten Videodateien von der kombinierten Videodatei gelöscht werden können. In einigen Ausführungsformen werden alle oder ein Teil der Metadaten des (der) anderen der wenigstens zwei unbearbeiteten Videodateien als die Metadaten des kombinierten Videos aufrechterhalten, während die Metadaten der primären unbearbeiteten Videodatei von der kombinierten Videodatei gelöscht werden.
  • In einigen Ausführungsformen kann ein Kombinieren der wenigstens zwei unbearbeiteten Videodateien ein Anzeigen von Videobildern entsprechend den Videodaten der entsprechenden unbearbeiteten Videodateien in einem ersten Bereich auf einem Bildschirm gemäß einer vorbestimmten Art und Weise umfassen. Zum Beispiel kann die vorbestimmte Art und Weise ein Kaskadieren (z.B. Kaskadieren der Videobilder der unbearbeiteten Videodateien von der oberen linken Ecke zu der unteren rechten Ecke des ersten Bereichs), ein Neigen (z.B. automatisches Anpassen der Größen der Fenster zum Anzeigen der Videobilder der unbearbeiteten Videodateien, so dass die Fenster vollständig den ersten Bereich des Bildschirms in einer geneigten Weise auffüllen) oder ein Einbetten (z.B. Anzeigen der Videobilder der unbearbeiteten Videodateien in einer Bild-in-Bild-Weise durch Einbauen eines Videobildes in ein anderes Videobild) sein. Gemäß der aktuellen Applikation, kann die vorbestimmte Art und Weise eine andere, oben nicht explizit aufgelistete Art und Weise umfassen.
  • Übereinstimmend mit Ausführungsformen der Offenbarung, können wenigstens zwei unbearbeitete Videodateien zu extra Videosignalen und Audiosignalen entsprechend den jeweiligen unbearbeiteten Videodateien akquiriert und analysiert werden. Ein gleiches Soundmerkmal kann basierend auf den Audiosignalen der unbearbeiteten Videodateien bestimmt werden und die unbearbeiteten Videodateien können unter Verwenden des gleichen Soundmerkmals als Zeitreferenz kombiniert werden. Als solches können mehrfache Videosignale ohne zusätzliche Hardwarekosten synchronisiert werden und kann das durch Zeitverzögerung verursachte Asynchronisationsproblem in einer kombinierten Videodatei gelöst werden.
  • 4 ist ein strukturelles Diagramm eines Beispiels eines Videokombinationsgerätes 40 in Übereinstimmung mit Ausführungsformen der Offenbarung. Wie in 4 gezeigt, umfasst das Videokombinationsgerät 40 einen Decoder 41 und einen Prozessor 42. Der Decoder 41 akquiriert wenigstens zwei unbearbeitete Videodateien und analysiert die unbearbeiteten Videodateien, um ein Videosignal und ein Audiosignal entsprechend jedem der unbearbeiteten Videodateien zu erhalten. Der Prozessor 42 bestimmt ein gleiches Soundmerkmal basierend auf den Audiosignalen der unbearbeiteten Videodateien und kombiniert die unbearbeiteten Videodateien unter Verwenden des gleichen Soundmerkmals als eine Zeitreferenz.
  • In einigen Ausführungsformen kann der Prozessor 42 Audiodaten entsprechend den Audiosignalen erhalten und ein gleiches Soundmerkmal basierend auf den Audiodaten entsprechend den Audiosignalen bestimmen.
  • In einigen Ausführungsformen kann der Prozessor 42 einen ersten Zeitpunkt basierend auf dem gleichen Soundmerkmal bestimmen und die Videodaten und die Audiodaten in den unbearbeiteten Videodateien unter Verwenden des ersten Zeitpunktes als einen zentralen Punkt synchronisieren.
  • In einigen Ausführungsformen kann der Prozessor 42 einen Videodatenframe und einen Audiodatenframe entsprechend dem ersten Zeitpunkt von jedem der unbearbeiteten Videodateien erhalten und die Videodatenframes und die Audiodatenframes der entsprechenden unbearbeiteten Videodateien entsprechend dem ersten Zeitpunkt anpassen. Ferner kann der Prozessor 42 einen oder mehrere zweite Zeitpunkte unter Verwenden des ersten Zeitpunktes als einen zentralen Punkt bestimmen und einen Videodatenframe und einen Audiodatenframe entsprechend jedem der ein oder mehreren zweiten Zeitpunkte von jedem der unbearbeiteten Videodateien erhalten. Für jeden der ein oder mehreren zweiten Zeitpunkte kann der Prozessor 42 die entsprechenden Videodatenframes und die entsprechenden Audiodatenframes der entsprechenden unbearbeiteten Videodateien anpassen.
  • In einigen Ausführungsformen umfasst das Videokombinationsgerät 40, wie in 4 gezeigt, ferner einen Detektor 43 zum Bestimmen eines dritten Zeitpunktes basierend auf einem anderen gleichen Soundmerkmal, das unterschiedlich ist zu dem gleichen Soundmerkmal entsprechend dem ersten Zeitpunkt. Der Detektor 43 prüft die kombinierte Videodatei, um zu bestimmen, ob die Frames des gleichen Soundmerkmals entsprechend dem dritten Zeitpunkt der entsprechenden unbearbeiteten Videodateien genau angepasst sind. Falls nicht, kann der Detektor 43 den Prozessor 42 informieren, um die unbearbeiteten Videodateien erneut zu kombinieren.
  • In einigen Ausführungsformen kann der Prozessor 42 ferner Metadaten der kombinierten Videodatei basierend auf Metadaten der wenigstens zwei unbearbeiteten Videodateien erzeugen. Zum Beispiel kann der Prozessor 42 neue Metadaten als Metadaten der kombinierten Videodatei basierend auf den Metadaten der wenigstens zwei unbearbeiteten Videodateien erzeugen. Als ein anderes Beispiel kann der Prozessor 42 eine primäre unbearbeitete Videodatei von den unbearbeiteten Videodateien bestimmen und die Metadaten der primären unbearbeiteten Videodatei als Metadaten der kombinierten Videodatei bestimmen. Als ein weiteres Beispiel kann der Prozessor 42 alle oder einen Teil der Metadaten der unbearbeiteten Videodatei(en), welche nicht die primäre Videodatei sind, als Metadaten der kombinierten Videodatei bestimmen.
  • In einigen Ausführungsformen kann der Prozessor 42 Videobilder entsprechend der Videodatei der entsprechenden unbearbeiteten Videodateien in einem ersten Bereich eines Bildschirms gemäß einer vorbestimmten Art und Weise anzeigen.
  • In einigen Ausführungsformen kann der Prozessor 42 Formate der unbearbeiteten Videodateien akquirieren und bestimmen, ob die Formate der unbearbeiteten Videodateien ein voreingestelltes Format aufweisen. Wenn das Format irgendeiner der unbearbeiteten Videodateien nicht das voreingestellte Format ist, kann der Prozessor 42 das Format der unbearbeiteten Videodatei in das voreingestellte Format konvertieren.
  • Die Funktionen der Komponenten des Videokombinationsgerätes 40 sind ähnlich zu den Verfahren, die oben beschrieben werden, und wird somit eine detaillierte Beschreibung davon weggelassen. Die Funktionen können durch zum Beispiel logische Schaltungen des Videokombinationsgerätes 40 oder durch Software, die auf dem Videokombinationsgerät 40 läuft, realisiert werden.
  • In einigen Ausführungsformen kann der Prozessor 42 zum Beispiel eine zentrale Verarbeitungseinheit (CPU), eine Mikrosteuergeräteeinheit (MCU), ein digitaler Signalprozessor (DSP) oder ein programmierbares logisches Steuergerät (PLC) des Videokombinationsgerätes 40 einschließen.
  • Das Videokombinationsgerät in Übereinstimmung mit der Offenbarung, wie das oben beschriebene Videokombinationsgerät 40, kann mehrere Videosignale ohne zusätzliche Hardwarekosten synchronisieren und kann das durch Zeitverzögerung verursachte Asynchronisationsproblem in einer kombinierten Videodatei lösen.
  • 5 ist ein strukturelles Diagramm eines anderen Beispiels eines Videokombinationsgerätes 50 in Übereinstimmung mit Ausführungsformen der Offenbarung. Wie in 5 gezeigt, umfasst das Videokombinationsgerät 50 eine erste Akquirierungseinheit 51 zum Akquirieren von wenigstens zwei unbearbeiteten Videodateien, eine zweite Akquirierungseinheit 52 zum Analysieren der unbearbeiteten Videodateien, um entsprechend jedem der unbearbeiteten Videodateien ein Videosignal und ein Audiosignal zu erhalten, eine Bestimmungseinheit 53 zum Bestimmen eines gleichen Soundmerkmals basierend auf den Audiosignalen der unbearbeiteten Videodateien und eine Kombinierungseinheit 54 zum Kombinieren der unbearbeiteten Videodateien unter Verwenden des gleichen Soundmerkmals als eine Zeitreferenz.
  • In einigen Ausführungsformen kann die Bestimmungseinheit 53 Audiodaten entsprechend den Audiosignalen erhalten und das gleiche Soundmerkmal basierend auf den Audiodaten entsprechend den Audiosignalen bestimmen.
  • In einigen Ausführungsformen kann die Kombinierungseinheit 54 einen ersten Zeitpunkt basierend auf dem gleichen Soundmerkmal bestimmen und die Videodaten und die Audiodaten in den unbearbeiteten Videodateien unter Verwenden des ersten Zeitpunktes als zentralen Punkt synchronisieren.
  • In einigen Ausführungsformen kann die Kombinierungseinheit 54 einen Videodatenframe und einen Audiodatenframe entsprechend dem ersten Zeitpunkt von jedem der unbearbeiteten Videodateien erhalten und die Videodatenframes und die Audiodatenframes der entsprechenden Videodateien entsprechend dem ersten Zeitpunkt anpassen. Ferner kann die Kombinierungseinheit 54 ein oder mehrere zweite Zeitpunkte unter Verwenden des ersten Zeitpunktes als zentralen Punkt bestimmen und einen Videodatenframe und einen Audiodatenframe entsprechend jedem der ein oder mehreren zweiten Zeitpunkte von jedem der unbearbeiteten Videodateien erhalten. Für jeden der ein oder mehreren zweiten Zeitpunkte kann die Kombinierungseinheit 54 die entsprechenden Videodateiframes und die entsprechenden Audiodateiframes der entsprechenden unbearbeiteten Videodateien anpassen.
  • In einigen Ausführungsformen kann die Kombinierungseinheit 54 ferner einen dritten Zeitpunkt basierend auf einem anderen gleichen Soundmerkmal, welches unterschiedlich zu dem gleichen Soundmerkmal entsprechend dem ersten Zeitpunkt ist, bestimmen. Die Kombinierungseinheit 54 kann die kombinierte Videodatei prüfen, um zu bestimmen, ob die Frames des gleichen Soundmerkmals entsprechend dem dritten Zeitpunkt der entsprechenden unbearbeiteten Videodateien genau angepasst sind. Falls nicht, kann die Kombinierungseinheit 54 die unbearbeiteten Videodateien erneut kombinieren.
  • In einigen Ausführungsformen kann die Kombinierungseinheit 54 ferner Metadaten der kombinierten Videodaten basierend auf Metadaten der letzten zwei unbearbeiteten Videodateien erzeugen. Zum Beispiel kann die Kombinierungseinheit 54 neue Metadaten als Metadaten der kombinierten Videodatei basierend auf den Metadaten der wenigstens zwei unbearbeiteten Videodateien erzeugen. Als ein anderes Beispiel kann die Kombinierungseinheit 54 eine primäre unbearbeitete Videodatei von den unbearbeiteten Videodateien bestimmen und die Metadaten der primären unbearbeiteten Videodatei als Metadaten der kombinierten Videodatei bestimmen. Als ein weiteres Beispiel kann die Kombinierungseinheit 54 alle oder einen Teil der Metadaten der unbearbeiteten Videodatei(en), welche nicht die primäre unbearbeitete Videodatei sind, als Metadaten der kombinierten Videodatei bestimmen.
  • In einigen Ausführungsformen kann die Kombinierungseinheit 54 Videobilder entsprechend der Videodaten der entsprechenden Videodateien in einem ersten Bereich eines Bildschirms gemäß einer vorbestimmten Art und Weise anzeigen.
  • In einigen Ausführungsformen kann die Kombinierungseinheit 54 Formate der unbearbeiteten Videodateien akquirieren und bestimmen, ob die Formate der unbearbeiteten Videodateien ein voreingestelltes Format aufweisen. Wenn das Format von irgendeinem der unbearbeiteten Videodateien nicht das voreingestellte Format ist, kann die Kombinierungseinheit 54 das Format dieser unbearbeiteten Videodatei in das voreingestellte Format konvertieren.
  • Die Funktionen der Einheiten des Videokombinationsgerätes 50 sind ähnlich zu den Verfahren, die oben beschrieben werden, und wird somit eine detaillierte Beschreibung davon weggelassen. Die Funktionen können durch zum Beispiel logische Schaltungen des Videokombinationsgerätes 50 oder durch Software, die auf dem Videokombinationsgerät 50 läuft, realisiert werden.
  • In einigen Ausführungsformen kann jede der ersten Akquisitionseinheit 51, der zweiten Akquisitionseinheit 52, der Bestimmungseinheit 53 und der Kombinierungseinheit 54 zum Beispiel eine CPU, eine MCU, eine DSP oder eine PLC des Videokombinationsgerätes 50 umfassen.
  • Das Videokombinationsgerät in Übereinstimmung mit der Offenbarung, wie das oben beschriebene Videokombinationsgerät 50, kann mehrere Videosignale ohne zusätzliche Hardwarekosten synchronisieren und kann das durch Zeitverzögerung verursachte Asynchronisationsproblem in einer kombinierten Videodatei lösen.
  • 6 ist ein strukturelles Diagramm eines anderen Beispiels eines Videokombinationsgerätes 600 in Übereinstimmung mit Ausführungsformen der Offenbarung. Das Videokombinationsgerät 600 kann eines einer Vielzahl von Computergeräten, wie einen Server, einen Personalcomputer, ein Mobiltelefon, ein glasartiges Computergerät, einen Tabletcomputer oder einen Notebookcomputer oder irgendein tragbares, in Taschengröße, handgehaltenes, am Kopf montiertes, anziehbares, in einen Computer eingebautes oder am Fahrzeug montiertes mobiles Gerät einschließen.
  • Wie in 6 gezeigt, umfasst das Videokombinationsgerät 600 einen Prozessor 602, einen Direktzugriffsspeicher (RAM) 604, einen Nur-Lese-Speicher (ROM) 606, eine Kommunikationsschnittstelle 608, eine Eingabe/Ausgabeschnittstelle 610, ein Anzeigegerät 612 und einen Speicher 614. Irgendeine oder eine Kombination von zwei oder mehr des RAM 604, des ROM 606 und des Speichers 614 können ein nicht-flüchtiges computerlesbares Speichermedium bilden, das Instruktionen speichert, die, wenn sie durch den Prozessor 602 ausgeführt werden, den Prozessor 602 dazu veranlassen ein Verfahren in Übereinstimmung mit der Offenbarung auszuführen, wie eines der oben beschriebenen Beispiele des Videokombinationsverfahrens. Andere Komponenten können hinzugefügt werden und bestimmte Komponenten können weggelassen werden, ohne sich von den Prinzipien der offenbarten Ausführungsformen zu entfernen.
  • Der Prozessor 602 kann zum Beispiel eine CPU, einen Grafik-Prozessor (GPU), einen Mikroprozessor für allgemeine Zwecke, einen DSP, ein Mikrosteuergerät oder einen anwendungsspezifischen integrierten Schaltkreis (ASIC) einschließen. Der Prozessor 602 kann Folgen von Computerprogramminstruktionen ausführen, um verschiedene Prozesse, die mit dem Kombinationsgerät 600 assoziiert sind, auszuführen, einschließlich eines Verfahrens in Übereinstimmung mit der Offenbarung, sowie eines der oben beschriebenen Beispiele des Videokombinationsverfahrens. Die Computerprogramminstruktionen können zur Ausführung durch den Computer 602 von dem ROM 606 in den RAM 604 geladen werden.
  • Die Kommunikationsschnittstelle 608 kann Kommunikationsverbindungen bereitstellen, so dass auf das Videokombinationsgerät 600 von der ferne aus zugegriffen werden kann und/oder so dass es mit anderen Systemen durch Computernetzwerke oder andere Kommunikationsnetzwerke über verschiedene Kommunikationsprotokolle, wie das Transmission Control Protocol/Internet Protocol (TCP/IP), Hypertext Transfer Protocol (HTTP), usw. kommunizieren kann.
  • Die Eingangs-/Ausgangsschnittstelle 610 kann für Nutzer zum Eingeben von Informationen in das Videokombinationsgerät 600 oder für die Nutzer zum Empfangen von Informationen von dem Videokombinationsgerät 600 bereitgestellt werden. Zum Beispiel kann die Eingangs-/Ausgangsschnittstelle 610 irgendein geeignetes Eingabegerät wie ein entferntes Steuergerät, eine Tastatur, eine Maus, ein elektronisches Tablet, ein Sprachkommunikationsgerät oder irgendwelche anderen optischen oder drahtlosen Eingabegeräte umfassen. Die Eingangs-/Ausgangsschnittstelle 610 kann auch bestimmte Sensoren wie Kamera(s), Eye-Tracker und andere Arten von Wahrnehmungskomponenten umfassen, um verschiedene Nutzer- oder Umgebungsinformationen an das Videokombinationsgerät 600 zum Analysieren und Verarbeiten einzugeben.
  • Das Anzeigegerät 612 kann irgendeinen geeigneten Anzeigebildschirm wie eine Flüssigkristallanzeige, eine lichtemittierende Diodenanzeige, ein Touch Panel, oder einen Projektor einschließen. Das Anzeigegerät 612 kann zum Anzeigen der kombinierten Videodatei verwendet werden. Der Speicher 614 kann irgendeine geeignete Art von Speichermedium wie einen CD-ROM, eine Festplatte, ein Flash-Laufwerk, einen optischen Speicher, ein DVD-Laufwerk oder eine andere Art von Speichergeräten einschließen. Während des Betriebs des Videokombinationsgerätes 600 kann der Prozessor 602 bestimmte Informationsverarbeitungsprozesse ausführen.
  • In der Offenbarung kann der Ausdruck “eine Ausführungsform” relevante Merkmale, Strukturen oder Kennzeichen umfassen, die nicht explizit erwähnt oder beschrieben werden. Die Bezugnahme auf z.B. “eine Ausführungsform”, “die Ausführungsform” oder “einige Ausführungsformen” bedeutet nicht notwendigerweise die gleiche Ausführungsform oder Ausführungsformen. Die Merkmale, Strukturen oder Kennzeichen können wie geeignet in einer oder mehreren der Ausführungsformen kombiniert werden. Die Bezugszeichen, die in der Offenbarung verwendet werden, zeigen oder deuten keine besondere Folge oder Reihenfolge zum Ausführen der offenbarten Prozesse an. Die Reihenfolge der Prozesse sollte basierend auf ihren Funktionen und ihrer internen Logiken bestimmt sein.
  • Ferner beabsichtigen die Ausdrücke “einschließen” und “umfassen” und irgendwelche anderen alternativen Formen derartiger Ausdrücke, die in der Offenbarung verwendet werden, nicht exklusiv zu sein. Das bedeutet, dass ein Prozess, ein Verfahren, ein Gegenstand oder ein Gerät, das als bestimmte Elemente enthaltend beschrieben wird, nicht nur die Elemente, die explizit aufgelistet sind, enthält, sondern auch andere Elemente, die nicht explizit aufgelistet sind, oder Elemente, die dem Prozess, dem Verfahren, dem Gegenstand oder dem Gerät innewohnen, einschließen kann. Falls es nicht explizit anders spezifiziert ist, schließt ein Element, das dem Ausdruck “einschließlich eines” folgt, nicht die Existenz von einem anderen gleichen Element in dem Prozess, Verfahren, Gegenstand oder Gerät aus, die das Element enthält.
  • Die offenbarten Geräte und Verfahren können in anderer Weise ausgeführt sein. Die oben beschriebenen Server und Geräte sind nur Beispiele. Beispielsweise können unterschiedliche Einheiten nur gemäß ihrer logischen Funktionen definiert sein und können gemäß einer unterschiedlichen Weise definiert sein. Zum Beispiel können mehrere Einheiten oder Komponenten in einem anderen System kombiniert oder integriert sein oder können einige Merkmale weggelassen oder nicht ausgeführt werden. Ferner kann das Koppeln, das direkte Koppeln oder das Kommunikationsverbinden zwischen verschiedenen Komponenten durch Schnittstellen ausgeführt sein. Das indirekte Koppeln oder das Kommunikationsverbinden zwischen verschiedenen Geräten oder Einheiten kann elektrisch, mechanisch oder in anderer Form erfolgen.
  • Einheiten, die als separate Komponenten beschrieben sind, können physisch getrennt voneinander sein oder nicht. Eine Komponente, die als eine Einheit beschrieben oder gezeigt wird, kann eine physische Einheit sein oder nicht. Die Einheiten können an dem gleichen Platz oder verteilt auf mehrere Netzwerkeinheiten angeordnet sein. Einige oder alle der Einheiten können ausgewählt werden, um den Zweck der Offenbarung gemäß dem aktuellen Bedarf zu realisieren.
  • Ferner können verschiedene funktionale Einheiten alle in einer Verarbeitungseinheit integriert sein oder können diese getrennte, individuelle Einheiten sein. Zwei oder mehr Einheiten können in einer Einheit integriert sein. Eine Einheit kann durch Hardware oder durch eine Kombination von Hardware und Software ausgeführt sein.
  • Für Fachmänner der Technik ist verständlich, dass alle oder einige Prozesse in Übereinstimmung mit der Offenbarung, durch Hardware, wie sie durch ein Programm instruiert wird, welches in einem nichtflüchtigen Computer lesbaren Speichermedium gespeichert sein kann, ausgeführt werden können. Das Programm kann, wenn es ausgeführt wird, zum Beispiel veranlassen, dass ein Prozessor ein Verfahren in Übereinstimmung mit der Offenbarung ausführt, wie eines der Beispiele der Verfahren, die oben beschrieben wurden. Das Speichermedium kann ein Medium einschließen, das Programmcodes speichern kann, wie ein mobiler Speicher, ein Nur-Lese-Speicher (ROM), eine Diskette oder eine Compact Disk.
  • Ferner können Software- funktionale Module zum Ausführen eines Verfahrens in Übereinstimmung mit der Offenbarung in einem nichtflüchtigen computerlesbaren Speichermedium gespeichert sein. Somit kann ein Teil oder können alle der technischen Lösungen in Übereinstimmung mit der Offenbarung, als Computersoftwareprodukt, das in einem Speichermedium gespeichert ist, ausgeführt sein. Das Softwareprodukt kann Instruktionen einschließen, die eine Computeranlage wie einen Personalcomputer, einen Server oder eine Netzwerkanlage dazu veranlassen können, einen Teil oder alle Teile eines Verfahrens in Übereinstimmung mit der Offenbarung auszuführen. Das Speichermedium kann ein Medium einschließen, das Programmcodes speichern kann, wie ein mobiler Speicher, ein ROM, eine Diskette oder eine Compact Disk.
  • Andere Ausführungsformen der Offenbarung werden für den Fachmann der Technik durch die Betrachtung der Spezifikation und der Praxis der Ausführungsformen ersichtlich, die hierin offenbart sind. Es ist beabsichtigt, dass die Spezifikation und Beispiele nur als beispielhaft zu betrachten sind und nicht zum Begrenzen des Rahmens der Offenbarung, wobei ein wahrer Rahmen und Geist der Erfindung durch die nachfolgenden Ansprüche aufgezeigt wird.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • CN 201610592046 [0001]

Claims (20)

  1. Verfahren, umfassend: – Akquirieren einer Mehrzahl von unbearbeiteten Videodateien; – Beziehen, unter Verwenden eines Prozessors, von Videosignalen und Audiosignalen von den unbearbeiteten Videodateien; – Bestimmen, unter Verwenden eines Prozessors, eines Soundmerkmals von den Audiosignalen; und – Kombinieren, unter Verwenden eines Prozessors, der unbearbeiteten Videodateien, basierend auf dem Soundmerkmal, um eine kombinierte Videodatei zu erzeugen.
  2. Verfahren nach Anspruch 1, wobei ein Bestimmen des Soundmerkmals von den Audiosignalen umfasst: – Erhalten von Audiodateien entsprechend den Audiosignalen; und – Bestimmen des Soundmerkmals von den Audiodateien.
  3. Verfahren nach Anspruch 1, wobei das Kombinieren der unbearbeiteten Videodateien, die auf dem Soundmerkmal basieren, umfasst: – Bestimmen eines Referenzzeitpunktes basierend auf dem Soundmerkmal; und – Synchronisieren der Videodaten und Audiodaten der unbearbeiteten Videodateien mit Bezug auf den Referenzzeitpunkt.
  4. Verfahren nach Anspruch 3, wobei ein Synchronisieren der Videodaten und der Audiodaten umfasst: – Erhalten eines Referenzvideodatenframes und eines Referenzaudiodatenframes entsprechend dem Referenzzeitpunkt von jedem der unbearbeiteten Videodateien; und – Anpassen der Referenzvideodatenframes und der Referenzaudiodatenframes.
  5. Verfahren nach Anspruch 4, wobei ein Synchronisieren der Videodaten und der Audiodaten ferner umfasst: – Bestimmen von ein oder mehreren Hilfszeitpunkten basierend auf dem Referenzzeitpunkt; – Erhalten eines Videodatenframes und eines Audiodatenframes entsprechend jedem der einen oder mehreren Hilfszeitpunkte von jedem der unbearbeiteten Videodateien; und – Anpassen der Videodatenframes und der Audiodatenframes entsprechend jedem der einen oder mehreren Hilfszeitpunkte von jedem der unbearbeiteten Videodateien.
  6. Verfahren nach Anspruch 4, – wobei das Soundmerkmal ein erstes Soundmerkmal ist, – das Verfahren ferner umfasst: – Bestimmen eines zweiten Soundmerkmals von den Audiosignalen, wobei das zweite Soundmerkmal unterschiedlich zu dem ersten Soundmerkmal ist; – Bestimmen eines Prüfzeitpunktes basierend auf dem zweiten Soundmerkmal; und – Prüfen, ob die Videodatenframes oder Audiodatenframes der unbearbeiteten Videodateien in der kombinierten Videodatei entsprechend dem Prüfzeitpunkt von den angepasst sind.
  7. Verfahren nach Anspruch 6, ferner umfassend: – Erneutes Kombinieren der unbearbeiteten Videodateien, in Reaktion darauf, dass die Videodatenframes oder Audiodatenframes entsprechend dem Prüfzeitpunkt nicht angepasst sind.
  8. Verfahren nach Anspruch 1, ferner umfassend: – Erzeugen von Metadaten der kombinierten Videodatei basierend auf Metadaten der unbearbeiteten Videodateien.
  9. Verfahren nach Anspruch 1, wobei das Kombinieren der unbearbeiteten Videodateien umfasst: – Anzeigen von Videobildern, entsprechend Videodaten der unbearbeiteten Videodateien, auf einem Bildschirm gemäß einer vorbestimmten Art und Weise.
  10. Verfahren nach Anspruch 1, ferner umfassend: – Akquirieren von Formaten der unbearbeiteten Videodateien; – Bestimmen, ob die Formate ein voreingestelltes Format aufweisen; und – Konvertieren wenigstens eines der Formate in das voreingestellte Format, in Reaktion darauf, dass wenigstens eines der Formate nicht das vorbestimmte Format ist.
  11. Gerät, umfassend: – einen Decoder, wobei der Decoder: – eine Mehrzahl von unbearbeiteten Videodateien akquiriert; und – Videosignale und Audiosignale von den unbearbeiteten Videodateien bezieht; und – einen Prozessor, der mit dem Decoder gekoppelt ist, wobei der Prozessor: – ein Soundmerkmal von den Audiosignalen bestimmt; und – die unbearbeiteten Videodateien basierend auf dem Soundmerkmal kombiniert, um eine kombinierte Videodatei zu erzeugen.
  12. Gerät nach Anspruch 11, wobei der Prozessor ferner: – Audiodaten entsprechend den Audiosignalen erhält; und – das Soundmerkmal von den Audiodaten bestimmt.
  13. Gerät nach Anspruch 11, wobei der Prozessor ferner: – einen Referenzzeitpunkt basierend auf dem Soundmerkmal bestimmt; und – die Videodaten und Audiodaten der unbearbeiteten Videodateien mit Bezug auf den Referenzzeitpunkt synchronisiert.
  14. Gerät nach Anspruch 13, wobei der Prozessor ferner: – einen Referenzvideodatenframe und einen Referenzaudiodatenframe entsprechend dem Referenzzeitpunkt von jedem der unbearbeiteten Videodateien erhält; und – die Referenzvideodatenframes und die Referenzaudiodatenframes anpasst.
  15. Gerät nach Anspruch 14, wobei der Prozessor ferner: – ein oder mehrere Hilfszeitpunkte basierend auf dem Referenzzeitpunkt bestimmt; – einen Videodatenframe und einen Audiodatenframe entsprechend jedem der einen oder der mehreren Hilfszeitpunkte von jedem der unbearbeiteten Videodateien erhält; und – die Videodatenframes und die Audiodatenframes entsprechend jedem der einen oder der mehreren Hilfszeitpunkte von jedem der unbearbeiteten Videodateien anpasst.
  16. Gerät nach Anspruch 11, – wobei: – das Soundmerkmal ein erstes Soundmerkmal ist, und – der Decoder ferner ein zweites Soundmerkmal von den Audiosignalen bestimmt, wobei das zweite Soundmerkmal unterschiedlich zu dem ersten Soundmerkmal ist, – das Gerät ferner umfasst: – einen Detektor, der mit dem Prozessor und dem Decoder gekoppelt ist, wobei der Detektor: – einen Prüfzeitpunkt basierend auf dem zweiten Soundmerkmal bestimmt; und – prüft, ob die Videodatenframes oder Audiodatenframes der unbearbeiteten Videodateien in der kombinierten Videodatei entsprechend dem Prüfzeitpunkt angepasst sind.
  17. Gerät nach Anspruch 16, wobei der Decoder ferner den Prozessor, in Reaktion darauf, dass die Videodatenframes oder Audiodatenframes entsprechend dem Prüfzeitpunkt, nicht angepasst sind, informiert, die unbearbeiteten Videodateien erneut zu kombinieren.
  18. Gerät nach Anspruch 11, wobei der Prozessor ferner Metadaten der kombinierten Videodatei basierend auf Metadaten der unbearbeiteten Videodateien erzeugt.
  19. Gerät nach Anspruch 11, wobei der Prozessor ferner Videobilder, entsprechend Videodaten der unbearbeiteten Videodateien, auf einem Bildschirm gemäß einer vorbestimmten Art und Weise anzeigt.
  20. Gerät nach Anspruch 11, wobei der Prozessor ferner: – Formate der unbearbeiteten Videodateien akquiriert; – bestimmt, ob die Formate ein voreingestelltes Format aufweisen; und – wenigstens eines der Formate in das voreingestellte Format konvertiert, in Reaktion darauf, dass wenigstens eines der Formate nicht das vorbestimmte Format ist.
DE102017116177.5A 2016-07-25 2017-07-18 Verfahren und Gerät zum Kombinieren von Videos Pending DE102017116177A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610592046.6A CN106131669B (zh) 2016-07-25 2016-07-25 一种合并视频的方法及装置
CN201610592046.6 2016-07-25

Publications (1)

Publication Number Publication Date
DE102017116177A1 true DE102017116177A1 (de) 2018-01-25

Family

ID=57289529

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017116177.5A Pending DE102017116177A1 (de) 2016-07-25 2017-07-18 Verfahren und Gerät zum Kombinieren von Videos

Country Status (3)

Country Link
US (1) US10721545B2 (de)
CN (1) CN106131669B (de)
DE (1) DE102017116177A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019023967A1 (zh) * 2017-08-02 2019-02-07 深圳传音通讯有限公司 一种基于智能终端的视频录制方法及视频录制装置
CN109688433A (zh) * 2018-11-22 2019-04-26 深圳艺达文化传媒有限公司 基于画面的剪切视频方法及相关产品
CN110191368A (zh) * 2019-05-31 2019-08-30 北京奇艺世纪科技有限公司 视频数据采集及对齐方法、装置、电子设备及系统
CN110740379A (zh) * 2019-10-29 2020-01-31 曾虹恺 一种基于碎片视频自动生成完整视频的系统及方法
CN110971914B (zh) * 2019-11-22 2022-03-08 北京凯视达科技股份有限公司 一种在时间轴模式下动态节省视音频解码资源的方法
CN110890095A (zh) * 2019-12-26 2020-03-17 北京大米未来科技有限公司 语音检测方法、推荐方法、装置、存储介质和电子设备
CN115460446A (zh) * 2022-08-19 2022-12-09 上海爱奇艺新媒体科技有限公司 一种多路视频信号的对齐方法、装置及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111326B1 (en) * 2007-05-23 2012-02-07 Adobe Systems Incorporated Post-capture generation of synchronization points for audio to synchronize video portions captured at multiple cameras
US20100077289A1 (en) * 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
EP2450898A1 (de) * 2010-11-05 2012-05-09 Research in Motion Limited Gemischte Videokompilierung
US20150222815A1 (en) * 2011-12-23 2015-08-06 Nokia Corporation Aligning videos representing different viewpoints
US9344606B2 (en) * 2012-01-24 2016-05-17 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
US20150318020A1 (en) * 2014-05-02 2015-11-05 FreshTake Media, Inc. Interactive real-time video editor and recorder
US8917355B1 (en) * 2013-08-29 2014-12-23 Google Inc. Video stitching system and method
CN105809630B (zh) * 2014-12-30 2019-03-12 展讯通信(天津)有限公司 一种图像噪声过滤方法及系统
US20160366330A1 (en) * 2015-06-11 2016-12-15 Martin Paul Boliek Apparatus for processing captured video data based on capture device orientation

Also Published As

Publication number Publication date
US20180027308A1 (en) 2018-01-25
US10721545B2 (en) 2020-07-21
CN106131669B (zh) 2019-11-26
CN106131669A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
DE102017116177A1 (de) Verfahren und Gerät zum Kombinieren von Videos
DE112015007134T5 (de) Verfahren und Gerät zur synchronen Bildanzeige
DE60037485T2 (de) Signalverarbeitungsverfahren und Videosignalprozessor zum Ermitteln und Analysieren eines Bild- und/oder Audiomusters
DE69526322T2 (de) System und Verfahren zur Indexierung von Multimedia-Programmen
DE69934808T2 (de) Automatische konvertierung visueller darstellungen in digitale datenformate
DE112015003407T5 (de) Unsichtbare optische Kennung zur Übermittlung von Informationen zwischen Rechenvorrichtungen
DE112008003766T5 (de) Synchronisierung und Fensterung von externem Inhalt in digitalen Anzeigesystemen
DE112019007677T5 (de) Posenvorhersageverfahren, Modelltrainingsverfahren und Vorrichtung
DE112008001090T5 (de) Mehrformatvideoanzeige
DE202016006110U1 (de) Erweiterung des Sichtfeldes von Fotografie
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
DE112018006727T5 (de) Elektronische vorrichtung zur verbindung von musik mit fotografie und steuerungsverfahren dafür
DE112016002252T5 (de) Automatische erkennung von panoramagesten
WO2023138590A1 (zh) 无参考的视频质量确定方法、装置、设备和存储介质
US9542976B2 (en) Synchronizing videos with frame-based metadata using video content
DE202017105866U1 (de) Wahlweises dynamisches Farbmanagement für Anwenderschnittstellenkomponenten eines Media Players
DE102014007023A1 (de) Bildeffektextraktion
DE112013007092B4 (de) Bildsynthetisiervorrichtung und Verfahren
DE102023134534A1 (de) Ausgabeverfahren und elektronische vorrichtung
DE202023101378U1 (de) Ein System zur Verbesserung der schlechten Sichtbarkeit durch Bildverbesserungstechnik unter Verwendung von Contrast Stretched - CLAHE (CS-CLAHE)
DE102004058233B4 (de) Kabellängen-Erfassungsvorrichtung und Verfahren für einen Tastatur-Video-Maus-Schalter
DE102014111571A1 (de) Speichersystem und Verfahren zum Verwalten eines Datenobjektspeichers in einem Speichersystem
DE102013102992A1 (de) Szenenaufbausystem und - verfahren durch Szenenausschnitte sowie deren Aufzeichnungsmedien
TWI792957B (zh) 文字辨識系統及方法
DE102023134537A1 (de) Datenverarbeitungsverfahren und elektronische vorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

R016 Response to examination communication
R016 Response to examination communication