JP2020127714A - ビデオゲーム映像からオーディオビジュアルコンテンツを生成する方法およびシステム - Google Patents
ビデオゲーム映像からオーディオビジュアルコンテンツを生成する方法およびシステム Download PDFInfo
- Publication number
- JP2020127714A JP2020127714A JP2020009762A JP2020009762A JP2020127714A JP 2020127714 A JP2020127714 A JP 2020127714A JP 2020009762 A JP2020009762 A JP 2020009762A JP 2020009762 A JP2020009762 A JP 2020009762A JP 2020127714 A JP2020127714 A JP 2020127714A
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio track
- frame
- excitement level
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000007619 statistical method Methods 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000008676 import Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 241001342895 Chorus Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000036461 convulsion Effects 0.000 description 2
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/49—Saving the game status; Pausing or ending the game
- A63F13/497—Partially or entirely replaying previous game actions
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/326—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is a video-frame or a video-field (P.I.P.)
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
- H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/55—Details of game data or player data management
- A63F2300/5526—Game data structure
- A63F2300/554—Game data structure by saving game or status data
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
- A63F2300/577—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player for watching a game played by other players
Abstract
Description
図3Aは、オーディオトラックの生成されたスペクトログラムの例を示す。図3Aでは、x軸は、複数の時間間隔を表し、y軸は、複数の異なる周波数間隔(すなわち、周波数ビン)を表す。スペクトログラムの色合いは、特定の時間間隔および特定の周波数範囲での強さを表す。すなわち、スペクトログラムは複数のバケットを含み、各バケットの色合いは、その特定の周波数範囲および特定の時間間隔でのオーディオトラックの強さを表す。明るい色合いは、強さが大きいことを表し、暗い色合いは、強さが小さいことを表す。一例では、スペクトログラムは、128個の周波数範囲に対応する128個の垂直バケットを有してもよい。
いくつかの実施形態では、ビデオに対して実行される統計分析は、ビデオのそれぞれの部分の少なくともいくつかのフレームについて、それぞれの部分のそれらのフレームに関連する動きを示すスコアを求めることを含んでもよい。一般的に、ビデオの一部で発生する動きが多いほど、ビデオのその部分で発生するアクションがよりエキサイティングとなる。
図2に戻ると、第5のステップS205で、少なくとも1つのビデオの少なくともいくつかの部分を、興奮レベルにおける対応関係に基づいてオーディオトラックのそれぞれの部分に合わせ込む。高レベルでは、これは、高い(または低い)興奮レベルを有すると識別されたオーディオの対応する部分に、高い(または低い)興奮レベルを有すると識別されたフレームを含むビデオの部分を合わせ込むことに相当する。
i.ビデオのそれぞれの部分の異なるフレームに相対的な、そのフレームに関連する動き、
ii.ビデオのそれぞれの部分の異なるフレームに相対的な、そのフレームのLAB色空間のAチャネルおよび/またはBチャネルの値の変化、
iii.ビデオのその部分を表す平均フレームに相対的な、そのフレームのLAB色空間のAチャネルおよび/またはBチャネルの値の偏差、
のうちの少なくとも1つを示す。
Claims (25)
- ビデオゲーム映像からオーディオビジュアルコンテンツを生成する方法であって、
音楽を含むユーザが選択したオーディオトラックを取得することと、
少なくとも1つのビデオゲームのプレイ中に少なくとも1つのビデオゲームプレイ装置によって生成された、複数のフレームを含む少なくとも1つのビデオを取得することと、
前記オーディオトラックに対して統計分析を実行して、前記オーディオトラックの少なくともいくつかの部分に関連する興奮レベルを特定することと、
前記少なくとも1つのビデオに対して統計分析を実行して、前記少なくとも1つのビデオの少なくともいくつかの部分に関連する興奮レベルを特定することと、
特定された興奮レベルにおける対応関係に基づいて、前記少なくとも1つのビデオの少なくともいくつかの部分を前記オーディオトラックの少なくともいくつかの部分に合わせ込むことと、
前記合わせ込みに基づいて、前記オーディオトラックのそれぞれの部分に合わせ込まれた前記ビデオの前記少なくともいくつかの部分を含む結合オーディオビジュアルコンテンツを生成することと、を含む方法。 - ビート検出に基づいて、前記オーディオトラックをそれぞれの部分に分離することを含み、各部分が少なくとも2つのビートを含む、請求項1に記載の方法。
- 前記オーディオトラックに対して統計分析を実行することは、
前記オーディオトラックのそれぞれの部分のスペクトログラムを生成することと、
複数の異なる周波数間隔での前記オーディオトラックの強さのそれぞれの平均強さと標準偏差とを求めることと、を含み、
前記オーディオトラックの少なくともいくつかの部分に関連する興奮レベルを特定することは、それらいくつかの部分について、前記複数の周波数間隔での前記オーディオトラックの平均強さから前記複数の異なる周波数間隔での前記強さの偏差を求めること、を含む請求項2に記載の方法。 - 前記オーディオトラックのそれぞれの部分に関連する興奮レベルを特定することは、前記複数の異なる周波数間隔でのその部分の強さに関連するzスコアを求め、その部分に対するzスコアの結合が閾値を超えているか否かを判定すること、を含む請求項3に記載の方法。
- 前記オーディオトラックの各部分は、その部分が高い興奮レベルを有するか低い興奮レベルを有するかを示す識別子を割り当てられ、前記興奮レベルは、その部分に対する前記zスコアの結合が閾値以上の場合は高いと判定され、zスコアの結合が前記閾値未満の場合は低いと判定される、請求項4に記載の方法。
- 前記少なくとも1つのビデオに対して統計分析を実行することは、前記ビデオのそれぞれの部分の各フレームに対して、
i.前記ビデオの前記それぞれの部分の異なるフレームに相対的な、そのフレームに関連する動き、
ii.前記ビデオの前記それぞれの部分の異なるフレームに相対的な、そのフレームのLAB色空間のAチャネルおよび/またはBチャネルの値の変化、
iii.前記ビデオの前記それぞれの部分を表す平均フレームに相対的な、そのフレームのLAB色空間のAチャネルおよび/またはBチャネルの値の偏差、
のうちの少なくとも1つを示すそれぞれのスコアを求めること、を含む請求項1から5のいずれか一項に記載の方法。 - 前記ビデオの各部分に対して、その部分のフレームのいずれかが閾値スコア以上のスコアを有するか否かを判定することを含み、
前記閾値スコア以上のスコアを有するフレームには、それらのフレームが高い興奮レベルを有することを示す識別子が割り当てられる、請求項6に記載の方法。 - 前記ビデオの各部分に対して、その部分の複数の連続フレームが前記閾値スコア未満のスコアを有するか否かを判定することを含み、
前記閾値スコア未満のスコアを有する前記複数の連続フレームには、それらのフレームが低い興奮レベルを有することを示す識別子が割り当てられる、請求項7に記載の方法。 - 前記少なくとも1つのビデオの少なくともいくつかの部分を前記オーディオトラックのそれぞれの部分に合わせ込むことは、
高い興奮レベルを有すると識別されたフレームを含む前記少なくとも1つのビデオの部分を、高い興奮レベルを有すると識別された前記オーディオトラックのそれぞれの部分に合わせ込むことと、
低い興奮レベルを有すると識別された複数の連続フレームを含む前記少なくとも1つのビデオの部分を、低い興奮レベルを有すると識別された前記オーディオトラックのそれぞれの部分に合わせ込むことと、を含む請求項7または8に記載の方法。 - 高い興奮レベルを有すると識別されたフレームを含む前記ビデオの少なくともいくつかの部分の長さを、前記ビデオのその部分の前記高い興奮レベルを有すると識別されたフレームのうちの少なくとも1つが前記オーディオトラックの対応する部分のビートのうちの1つと同期するように、調整することを、含む請求項2または9に記載の方法。
- 複数のビデオを取得することであって、各ビデオが、異なるビデオゲームプレイセッション中に1つ以上のビデオゲームプレイ装置によって生成された前記ビデオに対応する、取得することと、
前記ビデオのうちの少なくとも一部の部分を所定の順序に従って前記オーディオトラックのそれぞれの部分に合わせ込むことであって、前記所定の順序は、異なるビデオの部分が前記結合オーディオビジュアルコンテンツに現れる順序を定義する、合わせ込むことと、を含む請求項1から10のいずれか一項に記載の方法。 - コンピュータシステムに請求項1から11のいずれか一項に記載の方法を実行させるようになされたコンピュータ実行可能命令を有するコンピュータ可読媒体。
- ビデオゲーム映像からオーディオビジュアルコンテンツを生成するシステムであって、
音楽を含むユーザが選択したオーディオトラックおよび少なくとも1つのビデオゲームのプレイ中にビデオゲームプレイ装置によって生成された少なくとも1つのビデオを受信するように動作可能な入力ユニットと、
前記オーディオトラックの少なくともいくつかの部分に対して統計分析を実行して、前記オーディオトラックの少なくともいくつかの部分に関連する興奮レベルを特定するように動作可能なオーディオ分析器と、
前記少なくとも1つのビデオに対して統計分析を実行して、前記少なくとも1つのビデオの少なくともいくつかの部分に関連する興奮レベルを特定するように動作可能なビデオ分析器と、
興奮レベルにおける対応関係に基づいて、前記少なくとも1つのビデオの少なくともいくつかの部分を、前記オーディオトラックのそれぞれの部分に合わせ込み、前記合わせ込みに基づいて、前記オーディオトラックのそれぞれの部分に合わせ込まれた前記ビデオの前記少なくともいくつかの部分を含む結合オーディオビジュアルコンテンツを生成するように構成された結合器と、を含むシステム。 - 前記オーディオトラック内のビートを検出し、前記ビート検出に基づいて、前記オーディオトラックを部分に分割するように動作可能なビート検出ユニットを含み、各部分が少なくとも2つのビートを含み、
前記オーディオ分析器は、前記オーディオトラックの各部分のスペクトログラムを生成し、各部分に対して、複数の異なる周波数間隔での前記オーディオトラックの強さがそれらの周波数での前記オーディオトラックの平均強さから閾値を超えてずれているか否かを判定するように構成された、請求項13に記載のシステム。 - 前記オーディオ分析器は、前記オーディオトラックのそれぞれの部分に、それらの部分が高い興奮レベルであるか低い興奮レベルであるかを示す識別子を割り当てるように構成され、
前記オーディオ分析器は、前記複数の異なる周波数間隔でのその部分の強さがそれらの周波数での前記オーディオトラックの平均強さから閾値を超えてずれている場合、前記オーディオトラックのそれぞれの部分が高い興奮レベルであることを示す識別子を割り当て、そうでなければ低い興奮レベルであることを示す識別子を割り当てるように構成された、請求項14に記載のシステム。 - 前記少なくとも1つのビデオを前記それぞれの部分に分割するように動作可能なビデオ分割ユニットを含み、
前記ビデオ分析器は、前記ビデオのそれぞれの部分の各フレームに関連するスコアを求めるように構成され、前記スコアは、
i.前記ビデオの前記それぞれの部分の異なるフレームに相対的な、そのフレームに関連する動き、
ii.前記ビデオの前記それぞれの部分の異なるフレームに相対的な、そのフレームのLAB色空間のAチャネルおよび/またはBチャネルの値の変化、
iii.前記ビデオのその部分を表す平均フレームに相対的な、そのフレームのLAB色空間のAチャネルおよび/またはBチャネルの値の偏差、
のうちの少なくとも1つを示す、請求項13から15のいずれか一項に記載のシステム。 - 前記ビデオ分析器は、各フレームに関連する前記スコアが閾値スコア以上であるか否かに基づいて、前記ビデオのそれぞれの部分の各フレームに関連する興奮レベルを特定するように動作可能であり、
前記ビデオ分析器は、各フレームに、そのフレームが高い興奮レベルであるか低い興奮レベルであるかを示す識別子を割り当てるように構成された、請求項16に記載のシステム。 - 前記ビデオ分析器は、それぞれのフレームに関連する前記スコアが前記閾値スコア以上である場合、そのフレームが高い興奮レベルであることを示す識別子を割り当てるように構成され、
前記ビデオ分析器は、それぞれのフレームに関連する前記スコアが前記閾値スコア未満の場合、そのフレームが低い興奮レベルであることを示す識別子を割り当てるように構成された、請求項17に記載のシステム。 - オーディオトラックのそれぞれの部分の少なくとも1つに合わせ込むための、ビデオのそれぞれの部分の少なくとも1つからビデオクリップを生成するように動作可能なビデオクリップ生成器を含み、
前記ビデオクリップ生成器は、前記オーディオトラックのそれぞれの部分の少なくとも1つの長さを特定し、少なくともその長さを有するビデオクリップを生成するように構成された、請求項16から18のいずれか一項に記載のシステム。 - 前記ビデオクリップ生成器は、高い興奮レベルを有すると識別されたフレームを含むビデオクリップを生成するように構成され、
前記結合器は、高い興奮レベルを有すると識別されたフレームを含むビデオクリップを、高い興奮レベルを有すると識別された前記オーディオトラックの対応する部分に合わせ込むように構成された、請求項19に記載のシステム。 - 前記ビデオクリップ生成器は、オーディオトラックのそれぞれの部分のビートに関連するタイミング情報を特定するように構成され、
前記ビデオクリップ生成器は、前記オーディオトラックのそれぞれの部分の前記ビートの少なくとも1つと同期する、高い興奮レベルを有すると識別された少なくとも1つのフレームを含むビデオクリップを生成するように構成された、請求項20に記載のシステム。 - 前記ビデオクリップ生成器は、低い興奮レベルを有すると識別された複数の連続フレームを含むビデオクリップを生成するように構成され、
前記結合器は、低い興奮レベルを有すると識別された連続フレームを含むビデオクリップを、低い興奮レベルを有すると識別された前記オーディオトラックの対応する部分に合わせ込むように構成された、請求項20または21に記載のシステム。 - 前記入力ユニットは、複数のビデオを取得するように動作可能であり、各ビデオは、同じ競技者または異なる競技者による異なるビデオゲームプレイセッション中に生成されたビデオに対応する、請求項13から22のいずれか一項に記載のシステム。
- 前記結合器は、前記ビデオのうちの少なくとも1つの部分が前記オーディオトラックのそれぞれの部分に既に合わせ込まれている否かを判定し、そのビデオからの部分が前記オーディオトラックのそれぞれの部分に既に合わせ込まれている場合、前記オーディオトラックの後続の部分に合わせ込むための、異なるビデオの部分を選択するように構成された、請求項23に記載のシステム。
- 前記オーディオトラックの各部分の開始点および終了点は、それぞれのビートによって定義され、
前記結合器は、前記少なくとも1つのビデオの各部分が前記オーディオトラックの対応する部分の最初のビートで始まるように、前記少なくとも1つのビデオの部分と前記オーディオトラックのそれぞれの部分とを結合するように構成された、請求項14から24のいずれか一項に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1901322.6 | 2019-01-31 | ||
GB1901322.6A GB2580937B (en) | 2019-01-31 | 2019-01-31 | Method and system for generating audio-visual content from video game footage |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020127714A true JP2020127714A (ja) | 2020-08-27 |
Family
ID=65997817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020009762A Pending JP2020127714A (ja) | 2019-01-31 | 2020-01-24 | ビデオゲーム映像からオーディオビジュアルコンテンツを生成する方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11423944B2 (ja) |
EP (1) | EP3690882A1 (ja) |
JP (1) | JP2020127714A (ja) |
CN (1) | CN111494941A (ja) |
GB (1) | GB2580937B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109599079B (zh) * | 2017-09-30 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 一种音乐的生成方法和装置 |
CN112492346A (zh) * | 2019-09-12 | 2021-03-12 | 上海哔哩哔哩科技有限公司 | 确定游戏视频中精彩时刻的方法和游戏视频的播放方法 |
CN114117086A (zh) * | 2020-08-31 | 2022-03-01 | 脸萌有限公司 | 多媒体作品的制作方法、装置及计算机可读存储介质 |
US11190726B1 (en) | 2020-12-23 | 2021-11-30 | Gopro, Inc. | Looping presentation of video content |
CN112669885B (zh) * | 2020-12-31 | 2023-04-28 | 咪咕文化科技有限公司 | 一种音频剪辑方法、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004041645A (ja) * | 2002-07-11 | 2004-02-12 | Copcom Co Ltd | ゲームプログラム及びゲーム制御方法、ゲーム装置 |
JP2007156434A (ja) * | 2005-11-08 | 2007-06-21 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2016116073A (ja) * | 2014-12-15 | 2016-06-23 | ソニー株式会社 | 映像処理方法、映像処理装置及びプログラム |
US20180295427A1 (en) * | 2017-04-07 | 2018-10-11 | David Leiberman | Systems and methods for creating composite videos |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004081940A1 (en) | 2003-03-11 | 2004-09-23 | Koninklijke Philips Electronics N.V. | A method and apparatus for generating an output video sequence |
US20080193016A1 (en) * | 2004-02-06 | 2008-08-14 | Agency For Science, Technology And Research | Automatic Video Event Detection and Indexing |
US20060059120A1 (en) * | 2004-08-27 | 2006-03-16 | Ziyou Xiong | Identifying video highlights using audio-visual objects |
US20060204214A1 (en) * | 2005-03-14 | 2006-09-14 | Microsoft Corporation | Picture line audio augmentation |
WO2007023660A1 (ja) * | 2005-08-24 | 2007-03-01 | Matsushita Electric Industrial Co., Ltd. | 音識別装置 |
US20080287821A1 (en) * | 2007-03-30 | 2008-11-20 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Computational user-health testing |
US8591332B1 (en) * | 2008-05-05 | 2013-11-26 | Activision Publishing, Inc. | Video game video editor |
US8447065B2 (en) * | 2008-09-16 | 2013-05-21 | Cyberlink Corp. | Method of facial image reproduction and related device |
US20110066942A1 (en) * | 2009-09-14 | 2011-03-17 | Barton James M | Multifunction Multimedia Device |
US9502073B2 (en) * | 2010-03-08 | 2016-11-22 | Magisto Ltd. | System and method for semi-automatic video editing |
US10130884B1 (en) * | 2010-04-05 | 2018-11-20 | Olympian Gaming Llc | Synchronized multimedia content for gaming machines |
US20160071550A1 (en) * | 2014-09-04 | 2016-03-10 | Vixs Systems, Inc. | Video system for embedding excitement data and methods for use therewith |
WO2014102722A1 (en) * | 2012-12-26 | 2014-07-03 | Sia Technology Ltd. | Device, system, and method of controlling electronic devices via thought |
US9972357B2 (en) * | 2014-01-08 | 2018-05-15 | Adobe Systems Incorporated | Audio and video synchronizing perceptual model |
US10536758B2 (en) * | 2014-10-09 | 2020-01-14 | Thuuz, Inc. | Customized generation of highlight show with narrative component |
US20170228600A1 (en) * | 2014-11-14 | 2017-08-10 | Clipmine, Inc. | Analysis of video game videos for information extraction, content labeling, smart video editing/creation and highlights generation |
DE102016101665A1 (de) * | 2015-01-29 | 2016-08-04 | Affectomatics Ltd. | Auf datenschutzüberlegungen gestützte filterung von messwerten der affektiven reaktion |
US10129608B2 (en) * | 2015-02-24 | 2018-11-13 | Zepp Labs, Inc. | Detect sports video highlights based on voice recognition |
US9886965B1 (en) * | 2015-09-01 | 2018-02-06 | Zappa Ahmet | Systems and methods for psychoacoustic processing of audio material |
US10952011B1 (en) * | 2015-09-01 | 2021-03-16 | Ahmet Zappa | Systems and methods for psychoacoustic processing of audio material |
US9721611B2 (en) * | 2015-10-20 | 2017-08-01 | Gopro, Inc. | System and method of generating video from video clips based on moments of interest within the video clips |
US9782678B2 (en) * | 2015-12-06 | 2017-10-10 | Sliver VR Technologies, Inc. | Methods and systems for computer video game streaming, highlight, and replay |
CA3028328A1 (en) * | 2016-06-20 | 2017-12-28 | Gal Oz | Method and system for automatically producing video highlights |
AU2017300636A1 (en) * | 2016-07-21 | 2019-01-31 | Magic Leap, Inc. | Technique for controlling virtual image generation system using emotional states of user |
US10335690B2 (en) | 2016-09-16 | 2019-07-02 | Microsoft Technology Licensing, Llc | Automatic video game highlight reel |
US20180176168A1 (en) * | 2016-11-30 | 2018-06-21 | Fujitsu Limited | Visual feedback system |
US10661175B2 (en) * | 2017-09-26 | 2020-05-26 | Sony Interactive Entertainment Inc. | Intelligent user-based game soundtrack |
US10990831B2 (en) * | 2018-01-05 | 2021-04-27 | Pcms Holdings, Inc. | Method to create a VR event by evaluating third party information and re-providing the processed information in real-time |
US10595101B2 (en) * | 2018-03-15 | 2020-03-17 | International Business Machines Corporation | Auto-curation and personalization of sports highlights |
US11094316B2 (en) * | 2018-05-04 | 2021-08-17 | Qualcomm Incorporated | Audio analytics for natural language processing |
US10885942B2 (en) * | 2018-09-18 | 2021-01-05 | At&T Intellectual Property I, L.P. | Video-log production system |
US10764656B2 (en) * | 2019-01-04 | 2020-09-01 | International Business Machines Corporation | Agglomerated video highlights with custom speckling |
-
2019
- 2019-01-31 GB GB1901322.6A patent/GB2580937B/en active Active
-
2020
- 2020-01-23 US US16/750,447 patent/US11423944B2/en active Active
- 2020-01-23 CN CN202010076180.7A patent/CN111494941A/zh active Pending
- 2020-01-24 JP JP2020009762A patent/JP2020127714A/ja active Pending
- 2020-01-31 EP EP20154861.7A patent/EP3690882A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004041645A (ja) * | 2002-07-11 | 2004-02-12 | Copcom Co Ltd | ゲームプログラム及びゲーム制御方法、ゲーム装置 |
JP2007156434A (ja) * | 2005-11-08 | 2007-06-21 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2016116073A (ja) * | 2014-12-15 | 2016-06-23 | ソニー株式会社 | 映像処理方法、映像処理装置及びプログラム |
US20180295427A1 (en) * | 2017-04-07 | 2018-10-11 | David Leiberman | Systems and methods for creating composite videos |
Non-Patent Citations (1)
Title |
---|
"動画特徴量からの印象推定に基づく動画BGMの自動素材選出", 情報処理学会研究報告, vol. 2016-MUS-110巻16号, JPN6023045304, 2016, pages 1 - 6, ISSN: 0005190268 * |
Also Published As
Publication number | Publication date |
---|---|
US20200251146A1 (en) | 2020-08-06 |
GB2580937B (en) | 2022-07-13 |
EP3690882A1 (en) | 2020-08-05 |
GB201901322D0 (en) | 2019-03-20 |
CN111494941A (zh) | 2020-08-07 |
US11423944B2 (en) | 2022-08-23 |
GB2580937A (en) | 2020-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11423944B2 (en) | Method and system for generating audio-visual content from video game footage | |
US11783007B2 (en) | Apparatus and method for generating a recording | |
JP6781289B2 (ja) | ゲーム動画配信装置、ゲーム動画配信方法、ゲーム動画配信プログラム | |
US11176967B2 (en) | Automatic generation of video playback effects | |
JP5752585B2 (ja) | 映像処理装置、方法及びプログラム | |
US8913195B2 (en) | Information processing device, information processing method and program | |
JPWO2016098430A1 (ja) | 情報処理方法、映像処理装置及びプログラム | |
CN104618446A (zh) | 一种实现多媒体推送的方法和装置 | |
CN102265609A (zh) | 节目数据处理装置、方法和程序 | |
CN104320670A (zh) | 一种网络视频的摘要信息提取方法及系统 | |
US11865443B2 (en) | Selecting head related transfer function profiles for audio streams in gaming systems | |
US8751027B2 (en) | Audio apparatus and method | |
WO2016098458A1 (ja) | 情報処理方法、映像処理装置及びプログラム | |
Kinoshita et al. | Development of Kansei estimation models for the sense of presence in audio-visual content | |
KR20110023878A (ko) | 오디오/비주얼 데이터 스트림의 요약을 생성하기 위한 방법 및 장치 | |
US20200410982A1 (en) | Information processing apparatus and information processing method and computer-readable storage medium | |
JP2011234018A (ja) | 情報処理装置および方法、並びにプログラム | |
JP2014123085A (ja) | カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム | |
JP2007184674A (ja) | ダイジェスト作成装置 | |
JP2016116073A (ja) | 映像処理方法、映像処理装置及びプログラム | |
KR20140066628A (ko) | 신 프래그먼트 전송 시스템, 신 프래그먼트 전송방법, 및 그 기록매체 | |
WO2023185425A1 (zh) | 音乐匹配方法、装置、电子设备、存储介质及程序产品 | |
WO2022230291A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2022190446A1 (ja) | 制御装置、制御方法、および、プログラム | |
WO2022074788A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240408 |