JP2008066956A - 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 - Google Patents

楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 Download PDF

Info

Publication number
JP2008066956A
JP2008066956A JP2006241465A JP2006241465A JP2008066956A JP 2008066956 A JP2008066956 A JP 2008066956A JP 2006241465 A JP2006241465 A JP 2006241465A JP 2006241465 A JP2006241465 A JP 2006241465A JP 2008066956 A JP2008066956 A JP 2008066956A
Authority
JP
Japan
Prior art keywords
music
image
feature amount
video scenario
scenario generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006241465A
Other languages
English (en)
Other versions
JP4660861B2 (ja
JP2008066956A5 (ja
Inventor
Yasumasa Miyasaka
恭正 宮坂
Sunao Terayoko
素 寺横
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006241465A priority Critical patent/JP4660861B2/ja
Priority to EP07253454A priority patent/EP1898416A1/en
Priority to KR1020070089640A priority patent/KR100983840B1/ko
Priority to US11/896,756 priority patent/US20080055469A1/en
Priority to CN200710149543XA priority patent/CN101141603B/zh
Publication of JP2008066956A publication Critical patent/JP2008066956A/ja
Publication of JP2008066956A5 publication Critical patent/JP2008066956A5/ja
Application granted granted Critical
Publication of JP4660861B2 publication Critical patent/JP4660861B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像の属性にも同期性を持たせ、出力動画のクオリティを大幅に向上させる。
【解決手段】Ｓ２で求めた楽曲構成に関する特徴量（楽曲における構成部分の出現順序や、Ａメロ、Ｂメロ、サビなど）と、Ｓ３で求めた画像群の特徴量（特定の画像群に属する画像に共通するイベント情報や撮影日など）とを照合し、その照合結果に基づいて、両者を関連づける。
【選択図】 図３

Description

本発明は楽曲にシンクロした動画を生成する技術に関する。
引用文献１は、音楽データからテンポ情報を取り出し、そのテンポ情報から画像データに対してカット編集を施すことで、ビデオ編集を行う。
引用文献２は、入力素材から記述子を分析し、それをもとにスタイル情報を定義し、入力素材・入力素材から得た記述子・スタイル情報を基に作業セットを作成し、それを実行することで出力データを生成するシステムである。入力・出力には少なくとも１つの映像・オーディオ各データが含まれており、記述子の取得は、入力素材を分析することで得られる。また、記述子はユーザからも受け取ることができる。
特開２００４−９６６１７号公報 特表２００５−５０６６４３号公報
動画全体の流れにストーリーを持たせる、タイミングよく楽曲にマッチした画像を出力させるなど、画像の表示タイミングと楽曲の相関は、出力動画の質を大きく左右する。
ところが、引用文献１では、楽曲からテンポ情報のみを使用してビデオを編集する方法を示しており、テンポ情報以外の楽曲の特徴量を使用する方法は明示されていない。また、引用文献２では、楽曲にシンクロしたムービーを作成できるが、どのタイミングでどの画像を出力させるかは明示されていない。
そこで、本発明は、単に楽曲の特徴点にシンクロするだけでなく、画像の属性にも同期性を持たせ、出力動画のクオリティを大幅に向上させることを目的とする。
上記課題を解決するため、本発明に係る楽曲画像シンクロ動画シナリオ生成方法は、楽曲の特徴量を抽出するステップと、抽出された楽曲の特徴量に基づいて楽曲の構成を抽出し、該抽出結果に基づいて楽曲を複数の構成部分に分割するステップと、画像の特徴量を解析するステップと、楽曲の構成部分に対応する特徴量と画像の特徴量とに応じて、楽曲と画像とを関連づけるステップと、関連づけられた楽曲と画像とを同期して再生可能な動画シナリオを生成するステップと、を含む。
この発明によると、画像の特徴量に応じて楽曲の構成部分と画像とが関連づけられるから、従来に比して、楽曲の再生内容とマッチした画像の同期再生が可能となる。
特徴量が共通または類似する画像を同一の画像群に分類するステップと、楽曲のフレーズに関する特徴量と画像群の特徴量とに応じて、楽曲のフレーズと画像群とを関連づけるステップと、楽曲の構成部分の拍または裏拍に関する特徴量と楽曲の構成部分に関連づけられた画像群に含まれる各画像の特徴量とに応じて、楽曲の構成部分の拍または裏拍と画像とを関連づけるステップと、をさらに含んでもよい。
画像の特徴量は、画像のボケまたはブレに関する評価値を含み、評価値に基づいて、楽曲の構成部分に関連づけるべき画像を排除するステップと、をさらに含んでもよい。
動画シナリオに基づいて、楽曲に同期して再生可能な動画を生成するステップをさらに含んでもよい。
生成された動画を再生するステップをさらに含んでもよい。
上記の楽曲画像シンクロ動画シナリオ生成方法を演算装置に実行させるための楽曲画像シンクロ動画シナリオ生成プログラムも本発明に含まれる。
上記の楽曲画像シンクロ動画シナリオ生成プログラムを記憶する記憶部と、記憶部の楽曲画像シンクロ動画シナリオ生成プログラムを実行する演算装置と、を備える楽曲画像シンクロ動画シナリオ生成装置も本発明に含まれる。
この発明によると、画像の特徴量に応じて楽曲の構成部分と画像とが関連づけられるから、従来に比して、楽曲の再生内容とマッチした画像の同期再生が可能となる。
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るシナリオ作成装置のブロック図である。
画像入力装置１１は、シナリオを生成するために必要な画像群を入力するものであり、例えば、メモリカードリーダーなどが考えられる。
楽曲入力装置１２は、シナリオを生成するために必要な楽曲を入力するものであり、例えば、メモリカードリーダーなどが考えられる。
入力装置１３は、ユーザがシステムの各種操作を行うためのものであり、例えば、キーボードやマウスなどが考えられる。
シナリオ生成装置１４は、入力された楽曲を解析したり、シナリオを生成したり、画像を選択したりするものである。
図２は、シナリオ生成装置１４に含まれる画像処理装置２０のブロック図である。画像処理装置２０は主として、複数の処理モジュールを含む個別処理部２１、全体処理部２２、および制御部２３を備える。
個別処理部２１は、画像または画像に付帯する各種情報（撮影日時等）の少なくともいずれか一方を用いて特徴量もしくは個別評価値を算出する機能を備える。ここで、特徴量とは、画像もしくは画像群の入力に対して、一意的・絶対的な結果が得られる情報（例えば、ある画像のエッジの強さを表すボケ情報）を指す。また、個別評価値とは、画像もしくは画像群の入力に対して、ユーザの好みにより結論が変わりうる多義的・相対的な情報（例えば、ボケの観点から当該画像の評価度合を表すボケ評価値）を指す。以下の表１に、個別処理部の例を記述する。
Figure 2008066956
 全体処理部２２は、上記特徴量のうちの一部または全部の合計、もしくは上記個別評価値のうちの一部または全部の合計、または上記特徴量および上記個別評価値のうちの一部または全部の合計をもとに、画像全体評価値を算出する機能を備える。
例えば、イベント情報（特徴量）、顔評価値（個別評価値）、明るさ評価値（個別評価値）の３個の数値を元に特定の画像の画像全体評価値（プリントなど特定の用途に向くか否かを表す数値）を算出する。
ただし、本実施形態では、画像のプリントは前提としておらず、画像の画像全体の評価を行う必要がない場合は、全体処理部２２は設けなくてもよい。
制御部２３は、画像処理装置２０と外部機器（他の画像処理装置やオペレータの操作対象となる操作装置）とのインターフェースを持つほか、個別処理部２１や全体処理部２２への処理の制御を受け持つ。
以下、図３のフローチャートを参照し、動画シナリオ作成装置の実行する動画シナリオ生成処理の流れを説明する。
Ｓ１では、楽曲から特徴量を抽出する。楽曲の特徴量とは、楽曲の拍や裏拍、アクセント、テンポの変化点などを指す。楽曲の特徴量を抽出する方法は、従来の手法で可能であり、例えば、特開２００３−２６３１６２号公報、特開２００５−０２７７５１号公報などが挙げられる。
Ｓ２では、楽曲の構成（これも楽曲の特徴量に含めてよい）を抽出し、抽出された構成に従って、楽曲を複数の部分に分割する。例えば、以下のような分割方法が考えられる。
（１）テンポの変わり目で楽曲の構成を区切る。
（２）拍の頭から８拍を１構成として区切る。
（３）Ａメロ、Ｂメロ、サビなど一般的に「フレーズ」と呼ばれているものに分ける。
（４）ある閾値以上のテンポを持つ曲に対しては、４拍を１構成とし、ある閾値以下のテンポを持つ曲に対しては、８拍を１構成として区切る。
なお、フレーズを取得する方法は、従来の手法で可能であり、例えば、特開平９−９０９７８号公報、特開２００４−２３３９６５号公報などが挙げられる。
Ｓ３では、画像を解析する。画像の解析は、画像処理装置２０によって実施される。
Ｓ４では、Ｓ２／Ｓ３の解析結果に基づき、楽曲の構成部分と画像群とを関連づける。すなわち、Ｓ２で求めた楽曲構成に関する特徴量（楽曲における構成部分の出現順序や、Ａメロ、Ｂメロ、サビなど）と、Ｓ３で求めた画像群の特徴量（特定の画像群に属する画像に共通するイベント情報や撮影日など）とを照合し、その照合結果に基づいて、両者を関連づける。関連づけの具体例は次のようなものが考えられる。
例１）同日の撮影日時の付帯情報を有する画像は同一の画像群に分類するなど、撮影されたイベントの異同に応じたカテゴライズによって時系列にグルーピングされた画像群を順番に、楽曲の構成要素の先頭からフレーズ１つ１つに当てはめていくことで、両者を関連づける（図４参照）。フレーズに対して、同一または類似の属性（撮影日時など）を持った画像群（類似画像群）を割り当てるので、楽曲の区切りに自然に画像が切り替わる動画を再生するシナリオを作成することができる。
例２）類似画像群の各々を楽曲構成部分の各々に関連づける（図５参照）。類似画像が楽曲構成部分ごとに切り替わるので、メリハリのある動画を再生するシナリオを生成することができる。
例３）同じフレーズには同じ画像群を関連づける（図６参照）。同じ画像群を反復利用することで、楽曲になじんだ動画を再生するシナリオを生成することができる。
例４）楽曲のサビに相応しい所定の特徴量を有する画像群をサビに関連づける（図７参照）。
例えば、サビに相応しい特徴を有する画像群としては、以下のようなものが考えられる。
（１）輝度の最も高い画像群
（２）直近のイベント（あるいは最新の撮影日時）で撮影された画像群
（３）予め登録されているユーザが被写体として撮影されている画像群
上記のような例のいずれかあるいは一部または全部の組み合わせで、サビに関連づけるのに相応しい特徴を有する画像群を特定し、これをサビと関連づける。
Ｓ５では、Ｓ１で求めた拍または裏拍と、Ｓ３で求めた個々の画像の特徴量を照合し、その結果に従って、各構成部分における拍または裏拍と、その構成部分に関連づけられている画像群に属する個々の画像とを関連づける。具体例は以下のようなものが考えられる。
例１）拍や裏拍に合わせて、対応する画像群の画像の各々を順次表示させるように関連づける。
例２）例１の方法に加えて、フレーズ内の拍数より画像群の画像枚数の方が少ない場合は、特定の画像あるいはランダムに選択された画像を繰り返し使用する。
例３）顔が抽出されている画像の属する画像群（顔画像群）に対しては、拍や裏拍に合わせて、顔に対するズームアウトやズームインといった表示効果（エフェクト）を取り入れる。
例４）アクセントとなる拍に対しては、その拍が含まれる楽曲構成に対応する画像群のうち最も明るい画像を特定して関連づける。
例５）楽曲から抽出された全ての拍を使うのではなく、パターンを決め、それに合わせて、画像を割り当てる。例えば図８に示すように、楽曲構成内を８拍で切り、１拍目、３拍目、６拍目の裏拍、８拍目に画像を表示させる。このようなパターンを増やし、繰り返すことによって、単調な画像切り替えを避けられる。上記のような例を組み合わせて楽曲の構成部分全てに対し、画像を割り当てる。
Ｓ６では、動画再生シナリオを作成する。シナリオの形式は特に問われず、例えば図９に示したようなＸＭＬ（Extensible Markup Language）でもよいし、あるいはSMIL (Synchronized Multimedia Integration Language)でもよいし、バイナリ形式であってもよい。シナリオには画像の選択方法や選択された画像の表示時間等が記述されており、これに基づいて画像を表示させることにより、楽曲と同期した動画を再生することができる。
＜第２実施形態＞
図１０は第２実施形態に係る動画シナリオ生成処理の流れを示すフローチャートである。
Ｓ１１〜Ｓ１３、Ｓ１５〜Ｓ１７は、それぞれ第１実施形態のＳ１〜Ｓ３、Ｓ４〜Ｓ６と同様である。
ただし、Ｓ１４では、Ｓ１３の画像解析から得たボケブレ評価値が、所定の値より高いものを、楽曲の構成部分に関連づけるべき画像群から排除する。Ｓ１６の処理では、Ｓ１３で排除された画像の関連づけを行わない。
このように、ボケやブレのあるクオリティの低い画像を動画から排除できるので、必然的にクオリティの高い動画を再生するシナリオを生成することができる。
なお、画像を排除した結果、画像が不足した場合は、ボケブレ評価値の低い画像を繰り返し使うなどして補うとよい。
＜第３実施形態＞
上述のようにして作成されたシナリオに基づいて、動画を作成する装置も本発明に含まれる。
図１１は本発明の好ましい実施形態に係る動画作成装置のブロック図である。
この装置は、シナリオ生成装置（図１）と同様、画像入力装置１１、楽曲入力装置１２、入力装置１３、シナリオ生成装置１４を備えており、さらに、動画生成装置１５を備えている。
図１２は動画生成処理の流れを示すフローチャートである。
Ｓ２１では、シナリオ生成装置１４によってシナリオを生成する（例えば図９のようなＸＭＬファイル）。
Ｓ２２では、動画生成装置１５は、画像入力装置１１・楽曲入力装置１２にそれぞれ入力された画像およびに楽曲のうち、シナリオに指定されている、動画生成に必要な画像および楽曲を取得する。シナリオに指定されているデータは、例えばＰＣ上に保存されているデータであったり、Ｗｅｂ上に公開されているデータである。
そしてＳ２３では、動画生成装置１５は、シナリオの記述に基づき、取得した画像および楽曲から、動画を生成する。具体的には、取得した全ての画像データに対して、ある瞬間でのエフェクトや変更を考慮した画像処理を施し、オーダー順に重ね合わせて、フレーム画像を作成する。このフレーム画像を時間順につなげ合わせることで動画を作成する。作成された動画の圧縮記録方式は、アニメーションＧＩＦ、ＭＰＥＧなど何でもよい。
＜第４実施形態＞
上記のようにして作成された動画を再生出力する動画出力装置も本発明に含まれる。
図１３は本発明の好ましい実施形態に係る動画出力装置のブロック図である。動画出力装置は、動画作成装置（図１１）と同様、画像入力装置１１、楽曲入力装置１２、入力装置１３、シナリオ生成装置１４、動画生成装置１５を備えており、さらに、動画再生装置１６および出力装置１７を備えている。
動画再生装置１６は、動画生成装置１５の生成した動画を、出力装置１７用の再生信号に変換する装置であり、例えば、パソコン上で動作するネットワークメディアプレーヤーなどの動画プレーヤーや、ＭＰＥＧデコーダなどが挙げられる。
出力装置１７は、動画再生装置１６からの再生信号に基づいて動画を出力するとともに、楽曲音声を出力する装置であり、例えば、ディスプレイやスピーカーが挙げられる。
シナリオ作成装置のブロック図 画像処理装置のブロック図 第１実施形態に係るシナリオ生成処理の流れを示すフローチャート 楽曲の構成要素と画像群との関連づけ（楽曲のフレーズと画像のイベントの関連づけ）の一例を示す図 楽曲の構成要素と画像群との関連づけ（楽曲のサビと類似像群の関連づけ）の一例を示す図 楽曲の構成要素と画像群との関連づけ（楽曲の各フレーズと各類似像群の関連づけ）の一例を示す図 楽曲の構成要素と画像群との関連づけ（楽曲のサビとサビ用画像群の関連づけ）の一例を示す図 拍または裏拍と画像との関連づけの一例を示す図 シナリオの一例を示す図 第２実施形態に係るシナリオ生成処理の流れを示すフローチャート 動画作成装置のブロック図 動画生成処理の流れを示すフローチャート 動画出力装置のブロック図
符号の説明
１１：画像入力装置、１２：楽曲入力装置、１３：入力装置、１４：シナリオ生成装置、１５：動画生成装置、１６：動画再生装置、１７：出力装置

Claims (7)

  1. 楽曲の特徴量を抽出するステップと、
    抽出された楽曲の特徴量に基づいて楽曲の構成を抽出し、該抽出結果に基づいて楽曲を複数の構成部分に分割するステップと、
    画像の特徴量を解析するステップと、
    楽曲の構成部分に対応する特徴量と画像の特徴量とに応じて、楽曲と画像とを関連づけるステップと、
    関連づけられた楽曲と画像とを同期して再生可能な動画シナリオを生成するステップと、
    を含む楽曲画像シンクロ動画シナリオ生成方法。
  2. 特徴量が共通または類似する画像を同一の画像群に分類するステップと、
    楽曲のフレーズに関する特徴量と画像群の特徴量とに応じて、楽曲のフレーズと画像群とを関連づけるステップと、
    楽曲の構成部分の拍または裏拍に関する特徴量と前記楽曲の構成部分に関連づけられた画像群に含まれる各画像の特徴量とに応じて、楽曲の構成部分の拍または裏箔と画像とを関連づけるステップと、
    をさらに含む請求項１に記載の楽曲画像シンクロ動画シナリオ生成方法。
  3. 前記画像の特徴量は、画像のボケまたはブレに関する評価値を含み、
    前記評価値に基づいて、前記楽曲の構成部分に関連づけるべき画像を排除するステップと、
    をさらに含む請求項１または２に記載の楽曲画像シンクロ動画シナリオ生成方法。
  4. 前記動画シナリオに基づいて、楽曲に同期して再生可能な動画を生成するステップをさらに含む請求項１〜３のいずれかに記載の楽曲画像シンクロ動画シナリオ生成方法。
  5. 前記生成された動画を再生するステップをさらに含む請求項４に記載の楽曲画像シンクロ動画シナリオ生成方法。
  6. 請求項１〜５のいずれかに記載の楽曲画像シンクロ動画シナリオ生成方法を演算装置に実行させるための楽曲画像シンクロ動画シナリオ生成プログラム。
  7. 請求項６に記載の楽曲画像シンクロ動画シナリオ生成プログラムを記憶する記憶部と、
    前記記憶部の楽曲画像シンクロ動画シナリオ生成プログラムを実行する演算装置と、
    を備える楽曲画像シンクロ動画シナリオ生成装置。
JP2006241465A 2006-09-06 2006-09-06 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 Active JP4660861B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006241465A JP4660861B2 (ja) 2006-09-06 2006-09-06 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置
EP07253454A EP1898416A1 (en) 2006-09-06 2007-08-31 Method, program and apparatus for generating scenario for music-and-image-synchronized motion picture
KR1020070089640A KR100983840B1 (ko) 2006-09-06 2007-09-04 악곡과 화상이 동기화된 모션 픽쳐용 시나리오 생성 방법,프로그램, 및 장치
US11/896,756 US20080055469A1 (en) 2006-09-06 2007-09-05 Method, program and apparatus for generating scenario for music-and-image-synchronized motion picture
CN200710149543XA CN101141603B (zh) 2006-09-06 2007-09-06 用于产生音乐与图像同步的动画的脚本的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006241465A JP4660861B2 (ja) 2006-09-06 2006-09-06 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置

Publications (3)

Publication Number Publication Date
JP2008066956A true JP2008066956A (ja) 2008-03-21
JP2008066956A5 JP2008066956A5 (ja) 2010-10-28
JP4660861B2 JP4660861B2 (ja) 2011-03-30

Family

ID=38800825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006241465A Active JP4660861B2 (ja) 2006-09-06 2006-09-06 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置

Country Status (5)

Country Link
US (1) US20080055469A1 (ja)
EP (1) EP1898416A1 (ja)
JP (1) JP4660861B2 (ja)
KR (1) KR100983840B1 (ja)
CN (1) CN101141603B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082689A (ja) * 2009-10-05 2011-04-21 Kawai Musical Instr Mfg Co Ltd 動画作成装置、コンピュータプログラム及び記憶媒体
CN104424955A (zh) * 2013-08-29 2015-03-18 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备
JP2018170678A (ja) * 2017-03-30 2018-11-01 株式会社ライブ・アース ライブ映像処理システム、ライブ映像処理方法及びプログラム

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8386630B1 (en) * 2007-09-09 2013-02-26 Arris Solutions, Inc. Video-aware P2P streaming and download with support for real-time content alteration
JP2009076982A (ja) * 2007-09-18 2009-04-09 Toshiba Corp 電子機器および顔画像表示方法
JP2009081699A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 電子機器および顔画像抽出制御方法
JP5238602B2 (ja) * 2009-05-14 2013-07-17 Ｋｄｄｉ株式会社 映像コンテンツ生成装置及びコンピュータプログラム
JP5552769B2 (ja) * 2009-07-29 2014-07-16 ソニー株式会社 画像編集装置、画像編集方法及びプログラム
CN101727943B (zh) * 2009-12-03 2012-10-17 无锡中星微电子有限公司 一种图像配乐的方法、图像配乐装置及图像播放装置
CN101853668B (zh) * 2010-03-29 2014-10-29 北京中星微电子有限公司 一种将midi音乐生成动画的方法和系统
CN101901595B (zh) * 2010-05-05 2014-10-29 北京中星微电子有限公司 一种根据音频音乐生成动画的方法和系统
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
CN102055845A (zh) * 2010-11-30 2011-05-11 深圳市五巨科技有限公司 移动通信终端及其音乐播放器图片切换方法
CN103902862B (zh) * 2012-12-30 2018-04-27 联想(北京)有限公司 一种移动设备管理方法、装置及一种移动设备
US20140317480A1 (en) * 2013-04-23 2014-10-23 Microsoft Corporation Automatic music video creation from a set of photos
CN104103300A (zh) * 2014-07-04 2014-10-15 厦门美图之家科技有限公司 一种根据音乐节拍自动处理视频的方法
JP6569687B2 (ja) * 2014-12-15 2019-09-04 ソニー株式会社 情報処理方法、映像処理装置及びプログラム
US10681408B2 (en) 2015-05-11 2020-06-09 David Leiberman Systems and methods for creating composite videos
US9691429B2 (en) * 2015-05-11 2017-06-27 Mibblio, Inc. Systems and methods for creating music videos synchronized with an audio track
CN109246474B (zh) * 2018-10-16 2021-03-02 维沃移动通信（杭州）有限公司 一种视频文件编辑方法及移动终端
CN109615682A (zh) * 2018-12-07 2019-04-12 北京微播视界科技有限公司 动画生成方法、装置、电子设备及计算机可读存储介质
CN112259062B (zh) * 2020-10-20 2022-11-04 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033554A (ja) * 2003-07-14 2005-02-03 Seiko Epson Corp 画像再生システム及び画像再生プログラム、並びに画像再生方法
JP2005242833A (ja) * 2004-02-27 2005-09-08 Dainippon Printing Co Ltd Ｗｅｂ画面解析装置、ｗｅｂ画面解析方法、ｗｅｂ解析型音楽装置、及びｗｅｂ監視装置
JP2005318295A (ja) * 2004-04-28 2005-11-10 Pioneer Electronic Corp 画像生成システム、画像生成方法、画像生成用プログラム並びに情報記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202376A (ja) * 1995-01-31 1996-08-09 Matsushita Electric Ind Co Ltd 映像付きカラオケ装置
EP1354318A1 (en) * 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
US6930235B2 (en) * 2001-03-15 2005-08-16 Ms Squared System and method for relating electromagnetic waves to sound waves
US6639649B2 (en) * 2001-08-06 2003-10-28 Eastman Kodak Company Synchronization of music and images in a camera with audio capabilities
WO2003017145A1 (en) * 2001-08-21 2003-02-27 Yesvideo, Inc. Creation of slideshow based on characteristic of audio content used to produce accompanying audio display
JP4228641B2 (ja) * 2002-09-20 2009-02-25 セイコーエプソン株式会社 出力対象画像データ選択
DE10304098B4 (de) * 2003-01-31 2006-08-31 Miclip S.A. Verfahren und Vorrichtung zur Steuerung eines Tonfolge gekoppelten Bildfolgeablaufs sowie zugehöriges Programm
JP4221308B2 (ja) * 2004-01-15 2009-02-12 パナソニック株式会社 静止画再生装置、静止画再生方法及びプログラム
JP2005354333A (ja) * 2004-06-10 2005-12-22 Casio Comput Co Ltd 画像再生装置およびプログラム
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法
US20080320378A1 (en) * 2005-10-22 2008-12-25 Jeff Shuter Accelerated Visual Text to Screen Translation Method
KR100725356B1 (ko) * 2005-11-03 2007-06-07 삼성전자주식회사 컨텐츠를 동적으로 표현하는 장치 및 방법
US7945142B2 (en) * 2006-06-15 2011-05-17 Microsoft Corporation Audio/visual editing tool

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033554A (ja) * 2003-07-14 2005-02-03 Seiko Epson Corp 画像再生システム及び画像再生プログラム、並びに画像再生方法
JP2005242833A (ja) * 2004-02-27 2005-09-08 Dainippon Printing Co Ltd Ｗｅｂ画面解析装置、ｗｅｂ画面解析方法、ｗｅｂ解析型音楽装置、及びｗｅｂ監視装置
JP2005318295A (ja) * 2004-04-28 2005-11-10 Pioneer Electronic Corp 画像生成システム、画像生成方法、画像生成用プログラム並びに情報記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082689A (ja) * 2009-10-05 2011-04-21 Kawai Musical Instr Mfg Co Ltd 動画作成装置、コンピュータプログラム及び記憶媒体
CN104424955A (zh) * 2013-08-29 2015-03-18 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备
JP2018170678A (ja) * 2017-03-30 2018-11-01 株式会社ライブ・アース ライブ映像処理システム、ライブ映像処理方法及びプログラム

Also Published As

Publication number Publication date
CN101141603B (zh) 2011-05-11
KR20080022512A (ko) 2008-03-11
JP4660861B2 (ja) 2011-03-30
CN101141603A (zh) 2008-03-12
EP1898416A1 (en) 2008-03-12
KR100983840B1 (ko) 2010-09-27
US20080055469A1 (en) 2008-03-06

Similar Documents

Publication Publication Date Title
JP4660861B2 (ja) 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置
GB2550090B (en) Method of splicing together two audio sections and computer program product therefor
US6084169A (en) Automatically composing background music for an image by extracting a feature thereof
US9213747B2 (en) Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
JP4250301B2 (ja) 映像シーケンスを編集する方法及びシステム
US7995074B2 (en) Information presentation method and information presentation apparatus
CN106686452B (zh) 一种动态图片的生成方法及装置
US20150261419A1 (en) Web-Based Video Navigation, Editing and Augmenting Apparatus, System and Method
WO2007127695A2 (en) Prefernce based automatic media summarization
US20190214054A1 (en) System and Method for Automated Video Editing
JP6641045B1 (ja) コンテンツ生成システム、及びコンテンツ生成方法
KR20110055957A (ko) 파워포인트에 TTS 모듈을 플러그인(plug-in)하여 음성 합성된 파워포인트 문서 및 다양한 동영상 파일을 작성하는 방법과 이에 따른 시스템
JP2007336106A (ja) 映像編集支援装置
JP2013171070A (ja) 楽曲情報処理装置及び楽曲情報処理方法
US9666211B2 (en) Information processing apparatus, information processing method, display control apparatus, and display control method
JP2008084021A (ja) 動画シナリオ生成方法、プログラムおよび装置
JP5899743B2 (ja) 画像表示装置及び画像表示プログラム
JP2002008052A (ja) プレゼンテーションシステムおよび記録媒体
JP2004015523A (ja) 映像関連コンテンツ生成装置、映像関連コンテンツ生成方法及び映像関連コンテンツ生成プログラム
JP2012181307A (ja) 音声処理装置、音声処理方法及び音声処理プログラム
JP2010066675A (ja) 音声情報処理システム及び音声情報処理プログラム
JP2008048054A (ja) 動画生成方法、プログラムおよび装置
WO2022003798A1 (ja) サーバおよび複合コンテンツデータ作成システム、複合コンテンツデータ作成方法、プログラム
JP2012137560A (ja) カラオケ装置、カラオケ装置の制御方法及び制御プログラム
KR20240112699A (ko) 음원과 동기화되는 동영상을 편집하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100909

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100922

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101219

R150 Certificate of patent or registration of utility model

Ref document number: 4660861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250