JP2006301471A - 音楽コンテンツの再生装置および音楽コンテンツ再生方法 - Google Patents

音楽コンテンツの再生装置および音楽コンテンツ再生方法 Download PDF

Info

Publication number
JP2006301471A
JP2006301471A JP2005125920A JP2005125920A JP2006301471A JP 2006301471 A JP2006301471 A JP 2006301471A JP 2005125920 A JP2005125920 A JP 2005125920A JP 2005125920 A JP2005125920 A JP 2005125920A JP 2006301471 A JP2006301471 A JP 2006301471A
Authority
JP
Japan
Prior art keywords
music
information
unit
music content
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005125920A
Other languages
English (en)
Other versions
JP4626376B2 (ja
JP2006301471A5 (ja
Inventor
Toshiro Terauchi
俊郎 寺内
Yoichiro Sako
曜一郎 佐古
Katsuaki Yamashita
功誠 山下
Yasushi Miyajima
靖 宮島
Motoyuki Takai
基行 高井
Toru Sasaki
徹 佐々木
Yuichi Sakai
祐市 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005125920A priority Critical patent/JP4626376B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US11/910,563 priority patent/US8269092B2/en
Priority to CN2006800124474A priority patent/CN101160615B/zh
Priority to EP06731139.9A priority patent/EP1876583B1/en
Priority to PCT/JP2006/307191 priority patent/WO2006114998A1/ja
Priority to KR1020077019469A priority patent/KR101233800B1/ko
Publication of JP2006301471A publication Critical patent/JP2006301471A/ja
Publication of JP2006301471A5 publication Critical patent/JP2006301471A5/ja
Application granted granted Critical
Publication of JP4626376B2 publication Critical patent/JP4626376B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/363Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems using optical disks, e.g. CD, CD-ROM, to store accompaniment information in digital form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00Instruments in which the tones are generated by means of electronic generators
    • G10H5/005Voice controlled instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • G10H7/004Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof with one or more auxiliary processor in addition to the main processing unit
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111Automatic composing, i.e. using predefined musical rules
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/125Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375Tempo or beat alterations; Music timing control
    • G10H2210/381Manual tempo setting or adjustment
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375Tempo or beat alterations; Music timing control
    • G10H2210/391Automatic tempo adjustment, correction or control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/555Tonality processing, involving the key in which a musical piece or melody is played
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/555Tonality processing, involving the key in which a musical piece or melody is played
    • G10H2210/565Manual designation or selection of a tonality
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571Chords; Chord sequences
    • G10H2210/576Chord progression
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/351Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/371Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/091Info, i.e. juxtaposition of unrelated auxiliary information or commercial messages with or between music files
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/135Library retrieval index, i.e. using an indexing scheme to efficiently retrieve a music piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/155Library update, i.e. making or modifying a musical database using musical parameters as indices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295Packet switched network, e.g. token ring
    • G10H2240/305Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325Synchronizing two or more audio tracks or files according to musical features or musical timings
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/641Waveform sampler, i.e. music samplers; Sampled music loop processing, wherein a loop is a sample of a performance that has been edited to repeat seamlessly without clicks or artifacts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】聴取しているユーザの気分などに応じて、簡単に、楽曲自身を再構成(アレンジ)することができる装置を提供する。
【解決手段】第1の取得手段は、複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する。第2の取得手段は、属性情報記憶部から音楽コンテンツの楽曲素材単位の属性情報を取得する。第3の取得手段は、音楽コンテンツと対応付けられて、前記楽曲構成情報と関連付けられて生成されているアレンジ用情報を取得する。ユーザのアレンジ指示に応じて、第2の取得手段により取得した楽曲構成情報と、第3の取得手段により取得したアレンジ用情報とに基づいて、音響再生出力する再生対象の音楽コンテンツのデータを再構成する。
【選択図】図2

Description

この発明は、例えばディスクジョッキーが音楽コンテンツをアレンジして再生するのと同様に、聴取者が、自分の好むように音楽コンテンツを再構成(アレンジ)して再生することができるようにする音楽コンテンツの再生装置および音楽コンテンツ再生方法に関する。
光ディスクやハードディスクなどの記録媒体の記録容量が大きくなったことから、それら記録媒体に大量の音楽コンテンツが格納可能となっている。そして、この大容量の記録媒体を用いた音楽コンテンツの再生装置も提供されている。
従来のこの種の音楽コンテンツの再生装置においては、音楽視聴を行なうユーザ自身が、大量の音楽コンテンツの中から自分の聞きたい音楽コンテンツを選択し、再生操作を行なっている。
また、例えば、ユーザの過去の音楽コンテンツに関する再生履歴を利用して、ユーザに、再生楽曲候補を推薦するシステムも提供されている(例えば、特許文献1(特開2003−173350公報)参照)。
上記の特許文献は、次の通りである。
特開2003−173350公報
上述のように、従来は、ユーザが選択したり、あるいは装置が過去の再生履歴に基づいて選択したりして、ユーザに再生楽曲候補を呈示する方法は提案されている。しかしながら、従来の音楽コンテンツの再生装置においては、上述のようにして選択されて再生される楽曲は、楽曲制作者の意図した通りにそのまま再生されるのみで、特にユーザ毎に曲調の変化が施される等の個人の嗜好性が再生楽曲に反映させるようにするものは存在していない。
すなわち、アーティスト等の制作側で作られた楽曲は、従来の音楽コンテンツの再生装置の再生機能上の制約等の理由もあり、ユーザ側では、制作者の意図した通りに、ただ固定的に聴くのみであった。
しかし、いわゆるディスクジョッキーのように、再生しようとする音楽コンテンツについて、テンポや音程を変えたり、他の楽曲とのリミックスをしたりする等して、クラシック風、ジャズ風、ヒップホップ風などに楽曲を、聴取者(以下、単にユーザという)のその場の気分に合うように再構成して変更することができれば、楽曲の再生について、エンターテインメント性を高めることができると期待できる。
この発明は、以上の点にかんがみ、聴取しているユーザが、自分が好むように音楽コンテンツを再構成(アレンジ)することができるようにして、音楽コンテンツの再生について、エンターテインメント性を高めることができるようにすることを目的とする。
上記の課題を解決するために、請求項1の発明は、
複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する第1の取得手段と、
前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材単位の楽曲構成情報を含む属性情報記憶部から前記属性情報を取得する第2の取得手段と、
前記音楽コンテンツと対応付けられて、前記楽曲構成情報と関連付けられて生成されているアレンジ用情報を取得する第3の取得手段と、
前記第1の取得手段により取得した前記再生対象の音楽コンテンツデータを音響再生出力する手段と、
リスナーのアレンジ指示を受け付けるアレンジ指示受付手段と、
前記アレンジ指示受付手段で受け付けたアレンジ指示に応じて、前記第2の取得手段により取得した前記楽曲構成情報と、前記第3の取得手段により取得した前記アレンジ用情報とに基づいて、前記音響再生出力する前記再生対象の音楽コンテンツのデータを再構成する再構成手段と、
を備える音楽コンテンツの再生装置を提供することを特徴とする。
この請求項1の発明によれば、リスナーのアレンジ指示に応じて、アレンジ用情報が第3の取得手段により取得され、第2の取得手段で取得された楽曲構成情報と相俟って、音楽コンテンツのデータが再構成される。
この発明によれば、聴取しているユーザの気分、嗜好や周辺環境などに応じて楽曲データを再構成して、当該ユーザの気分、嗜好や周辺環境などをリアルタイムに音楽コンテンツの再生に反映させるので、音楽コンテンツの再生について、エンターテインメント性を高めることができる。
[第1の実施形態]
以下、この発明の第1の実施形態を、図を参照しながら説明する。図1は、この発明の音楽コンテンツの再生装置の第1の実施形態と、音楽コンテンツおよびその属性情報の記録装置の第1の実施形態とが適用された音楽コンテンツの記録再生装置の一例の構成を示すブロック図である。
この第1の実施形態においては、記録再生装置は、音楽コンテンツ記憶部を備えるが、この音楽コンテンツ記憶部には、音楽コンテンツのデータとして楽曲の音響データの他に、映像データが含まれる場合もあることを想定して、映像音響データが記憶される。そして、この第1の実施形態では、音楽コンテンツのデータに付随して、さらに、各楽曲についての属性情報が、各音楽コンテンツの識別情報により対応付けられて記憶される。
この属性情報は、テンポ、キー(調)、コード(chord)などのリズムおよびリズムと結びついて曲調を決定するための曲調属性情報(後述する楽曲構成情報に含まれる)だけでなく、後述するように演奏者情報、歌詞情報、感性情報、周辺環境情報等、さらには再構成用情報(以下アレンジ用情報という)を含むものである。そして、音楽コンテンツに映像情報を含むときには、その映像についての属性に関する情報も含む場合がある。
アレンジ用情報は、音楽コンテンツを再生するときに、ロック風、クラシック風、ジャズ風、ヒップホップ風、ソウル風などに楽曲データをアレンジするようにするための情報である。
後述するように、音楽コンテンツがDVD(Digital Versatile Disc)などのリムーバル(着脱可能)な記録媒体に記憶されている場合において、この属性情報が当該記録媒体に音楽コンテンツに対応付けられて記録されている場合には、その記録媒体に記録されている属性情報を用いることができる。
そして、DVD等の記録媒体から、記録再生装置の記憶部に音楽コンテンツのデータを記録する際には、属性情報も、対応付けて記録するようにする。
記録媒体に、属性情報が記録されていない場合には、当該記録媒体から、記録再生装置の記憶部に音楽コンテンツのデータを記録する際に、記録再生装置において、必要な属性情報を生成し、当該生成した属性情報を、記録する音楽コンテンツについての映像音響データに対応付けて、記録するようにする。
この第1の実施形態の記録再生装置では、音楽コンテンツの情報は、例えばインターネット上にある音楽コンテンツ提供サーバからもダウンロードすることができるように構成されている。
この例の場合の音楽コンテンツ提供サーバの音楽コンテンツの情報には、属性情報が付随されていることを想定しており、この第1の実施形態の記録再生装置からの音楽コンテンツの取得要求を受け取ると、音楽コンテンツ提供サーバは、要求された音楽コンテンツの映像音響データと共に、属性情報を記録再生装置にダウンロードするようにする。
そこで、記録再生装置は、ダウンロードされた映像音響データと、属性情報とを、音楽コンテンツの識別情報により対応付けて、記憶部に記憶するようにする。
この例の記録再生装置は、マイクロコンピュータを搭載して構成されるもので、図1に示すように、CPU(Central Processing Unit)1に対してシステムバス2を介してプログラムROM(Read Only Memory)3およびワークエリア用RAM(Random Access Memory)4が接続されている。
そして、システムバス2には、また、ユーザインターフェース11と、エンコード/デコード部12と、曲調分析部13と、通信インターフェース14と、再生履歴情報保持部15と、光ディスクドライブ16とが接続されている。
ユーザインターフェース11は、ユーザの操作入力を受け付けるボタン操作部(図示を省略)や、例えばLCD(Liquid Crystal Display)からなるディスプレイを含む。後述するように、ユーザが音楽コンテンツの再生の際に指定するアレンジの種別(クラシック風やジャズ風などの種別)の指定入力が、このユーザインターフェース11を通じてなされる。
エンコード/デコード部12には、音楽コンテンツ記憶部20が接続される。この例では、この音楽コンテンツ記憶部20は、例えば大容量のハードディスク装置により構成される。なお、大容量の書き換え可能な光ディスクを用いる書き込み/読み出し装置部により、音楽コンテンツ記憶部20を構成することもできる。
エンコード/デコード部12は、この音楽コンテンツ記憶部20を構成するハードディスク装置にデータを書き込む際に、書き込み対象のデータをハードディスク装置に記録できるフォーマットのデータにエンコード処理し、また、このハードディスク装置から読み出したデータに対して、前記エンコードに対応するデコード処理を施すものである。この場合に、エンコード処理には、データ圧縮処理を含むことができ、それに対応してデコード処理には、データ伸長処理を含むことができる。
この例では、音楽コンテンツのデータには、楽曲データのみではなく、音楽コンテンツに関連する映像データと、さらには、音楽コンテンツに関する属性情報(後で詳述する)が含まれている。
そして、音楽コンテンツ記憶部20は、それぞれの音楽コンテンツに関して楽曲データと映像データとが記憶される映像音響データ記憶部21と、それぞれの属性情報が記憶される属性情報記憶部22とからなる。映像音響データ記憶部21の楽曲データおよび映像データと、属性情報記憶部22の属性情報とは、音楽コンテンツごとに音楽コンテンツのそれぞれを識別する音楽コンテンツ識別情報(コンテンツID)により互いに関連付けられている。
曲調分析部13は、音楽コンテンツの楽曲データを音楽コンテンツ記憶部20の映像音響データ記憶部21に記憶する際に、楽曲データを解析して、楽曲の楽曲素材単位の区切りを検出すると共に、当該楽曲素材単位の楽曲構成情報を抽出する。この楽曲構成情報は、前記属性情報の一部として、属性情報記憶部22に記録されるようにされる。曲調分析部13は、記録すべき音楽コンテンツの情報に属性情報が附属されていない場合にのみ動作し、抽出された楽曲構成情報が属性情報の一部として記録される。
ここで、楽曲素材単位とは、楽曲の拍、小節など、コードを付することができる単位である。そして、楽曲構成情報は、楽曲の楽曲素材単位のテンポ、キー、コード、音量、拍子、楽譜、コード進行などの、いわゆる曲調が決まる基準となる情報からなるものである。
通信インターフェース14は、外部のネットワーク例えばインターネット5を通じて音楽コンテンツ提供サーバ装置6等に接続するために用いられるものである。この例では、音楽コンテンツ提供サーバ装置6は、楽曲データや映像データのみではなく、属性情報も提供することができるように構成されている。
再生履歴情報保持部15は、当該記録再生装置において、過去に、どの音楽コンテンツをどのくらいの頻度や時間で聴いたか、どのようなアレンジで聴いていることが多いか(アレンジの各種別とその視聴頻度)の履歴情報を保持する。再生された音楽コンテンツの識別情報(コンテンツID)に対応して再生回数(頻度)、そのアレンジ種別、その再生時間、その再生時の生体状態情報、その再生時の周辺環境情報(周辺環境情報についても後で詳述する)等が、この再生履歴情報保持部15には記憶されている。
光ディスクドライブ16は、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光ディスク7から、楽曲データや映像データの読み込みを行なう。光ディスク7に音楽コンテンツについての属性情報が記録されている場合には、当該属性情報の読み込みも行なう。
この例の記録再生装置においては、システムバス2には、さらに、生体情報取得部30と、周辺環境情報取得部40と、映像音響出力部50とが接続されている。
生体情報取得部30は、生体情報センサ31と生体情報解析部32とからなる。生体情報センサ31は、音楽コンテンツを視聴しているリスナーが、当該音楽コンテンツに対して嗜好を示しているか、あるいは、嗜好を示していないかなどを判別するための情報(生体状態情報)を検知する。この生体情報センサ31は、リスナーの例えば体動、呼吸、脈、血圧、体表温度、皮膚発汗、皮膚抵抗などの生体情報を検出し、それらの生体情報を生体情報解析部32に供給するものである。
例えば、リスナーが聴取している楽曲に嗜好を示しており、いわゆる「楽曲に乗っている」状態のときには、リスナーの体動や呼吸は、演奏される音楽のリズムやテンポなどと同期したものとなることがある。例えば、ゆっくりとしたメロディーを演奏するようにしたいときには、体動や呼吸は、それに合わせたゆっくりしたものとなり、また、急激に大きな音に移行するときには、それに合わせて体動が大きくなると共に、呼吸もそれに合わせて吸気から、一旦、息を止め、一気に呼気に移るなどの変化をすることがある。
さらに、リスナーは、気分が高揚するような音楽パートでは、脈や心拍が多くなると共に、皮膚発汗が多くなり、また、ゆったりとした音楽のパートでは脈や心拍はゆっくりと安定したものとなるなどの変化をすることがある。
生体情報解析部32では、以上のような、リスナーの感情的な情報を、生体情報センサ31から受け取り、リスナーが聴取中の楽曲に嗜好を示しているかどうかの判別結果をシステムバス2に送出する。この場合に、生体情報解析部32では、再生中の楽曲構成情報をも参照して、リスナーの体動などが、楽曲に同期しているかどうかも判断するようにしている。
そして、この実施形態では、生体情報解析部32は、例えば体動などの生体情報に基づく嗜好の度合いについて、複数段階のスレッショールド値を持ち、例えば、「嗜好を示していない(曲に乗ってない)」、「嗜好を示しているが嗜好の程度が低い」、「非常に嗜好を示している(曲に乗っている)」のような複数段階についての判断出力を送出するように構成されている。
周辺環境情報取得部40は、GPS受信機41と、位置情報入力インターフェース42と、環境情報センサ43と、環境情報生成部44とからなる。
GPS受信機41は、複数個の人工衛星から受信した電波から当該GPS受信機41の位置を算出する測位演算をし、その演算結果を、位置情報入力インターフェース42に送る。この例では、位置情報入力インターフェース42は、GPS受信機41からの測位演算結果を、例えば地名などの位置情報に変換して、システムバス2に送出する。この位置情報は、当該記録が行なわれた場所を示すものとされるもので、周辺環境情報の一部として、音楽コンテンツが記録されたときに、その属性情報の一部として記録される。
環境情報センサ43は、温度センサや湿度センサの他、季節や日時を検知する時計部を含んでいる。環境情報生成部44は、環境情報センサ43からの情報を受け取り、温度、湿度、季節、日時などの情報をシステムバス2に送出する。これらの情報も、周辺環境情報の一部として、音楽コンテンツが記録されるときに、その属性情報の一部として記録される。
映像・音響出力部50は、音響データデコード部51と、音響アレンジ部52と、音響出力部53と、映像データデコード部54と、映像アレンジ部55と、画像出力部56と、I/Oポート57とからなる。
音響データデコード部51は、音声データが、非圧縮音声信号であるPCM音声信号である場合には、そのまま音響アレンジ部52を通じて音響出力部53に出力する。音楽データに、ATRAC(Adaptive Transform Acoustic Coding)やAAC(Advanced Audio Coding)などの圧縮がかかっている場合には、音響データデコード部51は、当該圧縮を解凍(伸長)して、デジタル音声信号にデコードする。音声データがMIDI(Music Instrument Digital Interface)の場合には、音響データデコード部51は、当該MIDIのデータからデジタル音声信号を生成デコードする。
音響アレンジ部52は、I/Oポート57を通じてこれに供給される制御信号に応じて、テンポ補正、音程補正、特殊効果(エフェクト)処理などをしたり、他の楽曲データを混合(リミックス)したりする。これにより、曲調を変えたり、前述したクラシック風や、ジャズ風などのアレンジ種別を変更したりすることが可能になる。
この実施形態では、音響アレンジ部52で行なうエフェクト処理としては、音響データに、例えば、ディストーション(Distortion)をかけたり、リバーブ(Reverb)をかけたりする処理がなされる。
リミックスは、一般的なディスクジョッキーで行なわれている手法であり、ある小節や拍単位で音楽性を損なわないように、再生中の楽曲に複数の音楽素材をミックスしていく方法である。これは、予め用意された小節の切れ目(楽曲素材単位の区切り)やテンポ情報、コード情報等の楽曲構成情報を利用して、音楽理論にしたがい、再生中の楽曲に複数の音楽素材を、違和感無くミックスしていくものである。このリミックスも加わって、曲調を変えたり、前述したクラシック風や、ジャズ風などのアレンジ種別を変更したりすることが可能になる場合もある。
リミックスの場合には、CPU1の指示に従い、再生中の楽曲以外の他の楽曲から抽出されるリミックスする音響データが、音響データデコード部51に供給される。したがって、この実施形態では、音響データデコード部51は、再生中の音響データのデコード処理と、リミックスする音響データをデコード処理とを並行して実行することができる機能を備えている。
音響アレンジ部52の出力は、音響出力部53に供給される。音響出力部53では、これに入力されるデジタル音声信号をアナログ音声信号に変換し、当該変換したアナログ音声信号を出力アンプ((図示せず))を介してスピーカや、出力端子を介してヘッドホン(図示せず)に供給して、音響再生する。
映像データデコード部54は、この実施形態では、音楽コンテンツに付随する圧縮映像データをデコード(圧縮解凍(圧縮伸長))する。この場合、付随する圧縮映像データとしては、JPEG(Joint Photographic Experts Group)等で圧縮された静止画データ、MPEG(Moving Picture Experts Group)2、MPEG4等で圧縮された動画データ等があり、映像データデコード部54は、これらの圧縮を伸長デコードする機能を備えるものである。
この映像データデコード部54でデコードされた映像データは、映像アレンジ部55に供給される。この映像アレンジ部55では、映像データに、例えば特殊効果(エフェクト)が施される。この特殊効果としては、既存の技術を用いるもので、この実施形態では、詳細は省略する。
この映像アレンジ部55の出力映像データは、映像出力部56に供給される。映像出力部56は、デジタル映像データをデジタル映像信号のまた、若しくは必要に応じてアナログ映像信号に変換し、映像出力端子を通じてディスプレイの画面に表示される。
[属性情報の説明]
この実施形態では、各音楽コンテンツの属性情報は、次に説明するような各種の情報が、各楽曲に対応して記録される。
(1)楽曲構成情報
この楽曲構成情報は、前述した楽曲素材単位の区切り情報を含むと共に、楽曲のテンポ/キー/コード/音量/拍子の情報、楽譜の情報、コード進行の情報、繰り返してりミックスするループ用の音楽波形の立ち上がり情報等を含む。テンポの情報としては、例えばBPM(Beat Per Minutes)値が用いられる。
この楽曲構成情報は、楽曲の曲調を示すものであり、音楽コンテンツの記録再生装置は、この楽曲構成情報を解析して、当該楽曲構成情報が似ている楽曲は、曲調が似ていると判断することができる。したがって、再生中の楽曲に対してリスナーが嗜好を示しているときには、この楽曲構成情報の解析結果に基づき、次の再生楽曲候補として再生中の楽曲と似ている曲調の楽曲を選択することができる。
また、リスナーが再生中の楽曲に対して嗜好を示していないときには、例えば過去の再生履歴からリスナーが好んでいると思われる楽曲を検出し、その楽曲の楽曲構成情報を調べて、その楽曲構成情報と似ている楽曲を次の楽曲再生候補とすることにより、再生履歴に基づき、リスナーが好むと思われる楽曲と曲調が似ている楽曲を、次の楽曲再生候補することができる。
また、この楽曲構成情報に含まれる楽曲素材単位の区切り情報や、楽曲のテンポ等や、コード進行などの情報を用いることにより、違和感の無いリミックスが可能になる。
この場合、音楽コンテンツの映像音響データと属性情報とは、きっちりと対応しているようにされている。例えば、楽曲構成情報として属性情報中に記述されている、楽曲素材単位としての例えば小節の区切りのタイムコード情報と、実際の映像音響データの小節の区切りのタイムコードとが正確に一致しているように構成されている。
したがって、この楽曲構成情報により、再生中の楽曲の楽曲素材単位の区切り、例えば小節や拍の区切のタイミングを検出することができると共に、リミックスしようとする他の楽曲の楽曲素材単位の情報を、再生中の楽曲の楽曲素材単位の区切りに同期して加算することができ、違和感の無いリミックスを行なえる。
(2)エフェクト情報
エフェクト情報は、当該楽曲にかける特殊効果の情報であり、例えば前述したディストーションやリバーブ用のエフェクトパラメータからなる。この場合、エフェクトパラメータが時間的に変化する場合には、その時間変化に応じて変化するパラメータ情報となる。
このエフェクト情報は、この例の音楽コンテンツの記録再生装置が、予め、固定的に複数種を備えるものを用いることができる。しかし、各楽曲毎に効果的なお薦めのエフェクト情報がある場合には、各楽曲毎の属性情報の一部として含められるものである。このお薦めのエフェクト情報は、例えば、音楽コンテンツの制作者により与えられる。エフェクト情報は、1種類ではなく、複数種類を属性情報として含めることができる。
このエフェクト情報も、楽曲素材単位に対応した時間長分として、属性情報に含めると良い。楽曲素材単位に対応した時間長分とすることにより、楽曲素材単位で、リアルタイムに音楽再生しながら、エフェクト処理を変更してゆくことが可能となる。
(3)アレンジ用情報
アレンジ用情報は、前述したように、各楽曲の原曲の曲調を再構成して、ロック風、クラシック風、ジャズ風にアレンジするための情報であり、アレンジパラメータが時間的に変化する場合には、その時間変化に応じて変化するパラメータ情報となる。
このアレンジ用情報は、音楽コンテンツの記録再生装置が、予め、固定的に複数種を備えるのではなく、各楽曲毎の効果的なお薦めのアレンジ用情報が、音楽コンテンツの記録媒体の各楽曲毎の属性情報の一部として含められていたり、音楽コンテンツ提供サーバ装置6から、ダウンロードされる各楽曲の属性情報の一部として提供されたりするものである。なお、この実施形態では、アレンジ用情報は、このお薦めのアレンジ用情報のみではなく、例えば、ユーザが作成したものを楽曲の属性情報として登録するようにすることもできる。
また、各楽曲毎に、ユーザが作成したアレンジ用情報をサーバ装置6にアップロードしたり、音楽コンテンツの制作者が作成したものをサーバ装置6に用意しておいたりしておことで、任意のユーザが、適宜、サーバ装置6に問い合わせて、無料あるいは有料で取得することができるようにしても良い。
アレンジ用情報は、1種類ではなく、複数種類が属性情報として含められることができるのは勿論である。また、1つの種類のアレンジ用情報、例えば同じクラシック風にする種別のアレンジ用情報であっても、バッハ風、ベートーベン風、モーツァルト風など、複数個を用意するようにすることもできる。
このアレンジ用情報も、楽曲素材単位に対応した時間長分として、属性情報に含めると良い。楽曲素材単位に対応した時間長分とすることにより、楽曲素材単位で、リアルタイムに音楽再生しながら、アレンジを変更してゆくことが可能となる。
図2に、このアレンジ用情報の一例を示す。この例では、原曲がロック系の楽曲である場合に、コードと、ドラムを付加、変更することにより、ソウル系の楽曲にアレンジ(再構成=編曲)する場合の例である。
図2に示すように、この例においては、ドラムの変更のアレンジは1態様であるが、コード進行は、アレンジ用情報として、4態様が呈示され、ユーザは、この中から選ぶことができる。
図2は、例示であり、全ての聴取ユーザがこのようなアレンジをロック系からソウル系への変更として聴取することを保証するものではない。アレンジ後の曲調をどのような感じに捕らえるかは、聴取ユーザにより異なるからである。したがって、図2の例は、例えば、楽曲コンテンツの提供者が、お薦めとして例示するものであって、同じ傾向のアレンジを目指す場合にも、作成者により種々のアレンジ用情報が提供されるものである。
なお、アレンジ用情報は、前述もしたように、1つの楽曲について1種類というわけではなく、複数種類用意されるのが、通常である。図3に、属性情報として記憶される楽曲毎のアレンジ用情報の例を示す。
すなわち、属性情報は、図3に示すように、アレンジ用情報のほか、楽曲構成情報、エフェクト情報、その他、後述する各種情報が、楽曲識別情報(楽曲ID)に対応付けされて記憶されている。そして、アレンジ用情報は、クラシック風、ジャズ風、ロック風、ソウル風、ヒップホップ風などのように種類に分けられて記憶されている。それぞれの種類においても、図示は省略するが、例えば前述したように、クラシック風1,2,3のように、複数個のアレンジ用情報が記憶される場合もある。
(4)楽器情報
楽器情報は、当該楽曲において使用されているドラム、ギター等の楽器の情報である。例えば、1小節分のドラムやパーカッションの演奏パターンを、属性情報として記録しておき、それをループ状に繰り返し用いるようにすることもできる。また、リミックス用にそれらの楽器の演奏パターン情報を用いることもできる。
なお、これらの1小節分のドラムやパーカッションの演奏パターンの情報は、属性情報として記録するのではなく、予め、記録再生装置がリミックス用などのために、複数パターンを備えておくようにしても良い。
(5)演奏者情報
演奏者情報は、当該楽曲の演奏者(歌手を含む)の名前(グループ名を含む)、性別、年齢、グループ編成など、演奏者に関する情報である。
(6)感性情報
感性情報は、当該楽曲を聴取したリスナーの感覚的認識を表すもので、例えば明るい曲/暗い曲、静かな曲/激しい曲、楽しい曲/悲しい曲などを定量化したデータである。この感性情報は、例えば図4に示すように、明るい/暗い、優しい/激しい、楽しい/悲しいなどのそれぞれを、予め感性軸として定義しておき、各感性軸について主観的な感覚的認識の程度を数値化したものを、リスナーにより設定してもらう等の方法で取得する。
例えば、明るい/暗いの感性軸の場合、図4に示すように、主観的な感覚的認識の程度を、例えば、16段階の数値で表す。図4の例では、明るいとされる場合ほど数値が大きく、最も暗いとされる場合の数値として「0」が割り当てられている。優しい/激しい、楽しい/悲しいなどの他の感性軸についても同様とすることができる。感性軸は、これらの他にも設定することが可能である。
図4のように、これらの感性軸上の値が設定されると、それらの値を線で結ぶことにより、曲調に応じた形の図形(図4では三角形の形が曲調に応じて変化)が得られる。換言すれば、これらの感性軸を用いることにより、似た曲調の楽曲を容易に検索することができる。
この場合に、記録媒体に音楽コンテンツのデータに対応して記録する属性情報や音楽コンテンツ提供サーバから提供する属性情報の場合には、例えば数十人のリスナーに当該楽曲を聴いてもらって、各感性軸についての主観的な感覚的認識の程度の数値を報告してもらい、例えば、その平均値を各感性軸についての感性情報とするようにすることができる。
後述するように、記録再生装置の使用者がリスナーとして、楽曲を聴取して、この感性情報を設定入力する場合もある。また、記録媒体に記録されていた属性情報に含まれる感性情報の数値や、音楽コンテンツ提供サーバから取得した属性情報に含まれる感性情報の通知が、実際にリスナーが楽曲を聴取した結果、異なるとリスナーが感じた場合には、記録再生装置の音楽コンテンツ記憶部に記憶する属性情報の感性情報としては、リスナー自身により、その感性情報の値を書き替えることができるように構成されている。
(7)周辺環境情報
この周辺環境情報は、DVDの制作者や、音楽コンテンツ提供サーバからの音楽コンテンツの提供者などにより設定入力される、当該楽曲を聴くのにお薦めの場所、例えば山、海などの地域情報を含む。また、後述するように、記録再生装置での楽曲の記録時に、前述した周辺環境情報取得部40で取得された記録(録音)された場所、日時、季節、温度、湿度などの情報とされる場合もある。また、その記録時に、リスナーにより設定入力される、当該楽曲を聴くのにお薦めの場所などの地域情報を含む。
(8)再生履歴情報
再生履歴情報は、リスナーが、どの楽曲を、どのくらいの頻度や時間で聴取しているかの情報であり、この実施形態では、前述したように、記録再生装置の再生履歴情報保持部15に記憶されて保持される。この再生履歴情報は、音楽コンテンツのデータを、音楽コンテンツ記憶部20に記憶する記録処理の際に属性情報に含められて、音楽コンテンツ記憶部20の属性情報記憶部22に、属性情報の一部として格納される。
なお、再生履歴情報は、制作者により制作されるDVDや、サーバから取得する属性情報には含まれていない。
[第1の実施形態の記録再生装置における記録処理]
次に、この第1の実施形態の記録再生装置における記録処理について説明する。この実施形態における記録処理の態様には、いくつかある。
その一つは、DVDに記録されている音楽コンテンツのデータを読み込み、音楽コンテンツ記憶部20に書き込んで記録する態様である。他の一つは、インターネット5を通じて、音楽コンテンツ提供サーバ装置6から音楽コンテンツのデータをダウンロードしたものを記録する態様である。さらに、他の一つは、図示を省略したが、外部入力端子を通じて、他の再生機器などから音楽コンテンツのデータを転送し、それを音楽コンテンツ記憶部20に記録する態様である。
これらの態様において、音楽コンテンツのデータに属性情報が含まれている場合には、この実施形態の記録再生装置は、音楽コンテンツについての映像音響データに加えて、その属性情報をも読み込み、音楽コンテンツ記憶部20に書き込むようにする。この実施形態の記録再生装置では、この記録の際に、ユーザが属性情報を追加、変更がしたい場合には、その追加、変更ができるように構成されている。
また、音楽コンテンツのデータには、映像音響データのみしかなく、属性情報が含まれていない場合には、この実施形態の記録再生装置では、記録再生装置において属性情報を生成(設定)して、音楽コンテンツ記憶部20の属性情報記憶部22に記憶するようにする。
すなわち、曲調分析部13でDVDやダウンロードした音響データを解析して、楽曲構成情報を取得して、それを属性情報の一部として記録する。また、ユーザは、自分が当該楽曲を実際に聴取した主観的な感覚的程度値の感性情報として、前述したような16段階のいずれかの数値を入力する。そして、この感性情報を属性情報の一部として記録する。さらに、周辺環境取得部40で取得した周辺環境情報も属性情報の一部として記録する。さらには、再生履歴情報も必要に応じて属性情報として記録するようにする。
なお、この実施形態では、インターネット5上に、音楽コンテンツの識別情報に対応して属性情報を格納する属性情報提供サーバ装置を設けて、このサーバ装置に、音楽コンテンツの識別情報を伴うダウンロード要求を送って、当該音楽コンテンツの識別情報に対応する属性情報の提供を受けるようにすることも想定している。
図5および図6は、音楽コンテンツ提供サーバ装置6から音楽コンテンツおよび属性情報を取得する場合における記録再生装置と音楽コンテンツ提供サーバ装置6の動作のフローチャートである。
なお、ここでは、記録再生装置が音楽コンテンツ提供サーバ装置6から音楽コンテンツのデータと、これに付随する属性情報との提供を受ける場合を例にして説明するが、基本的には、異なる複数台の記録再生装置間で属性情報の送受を行なう場合においても、ほぼ同様の処理となる。
図5は、音楽コンテンツのデータとこれに付随する属性情報の提供を要求する記録再生装置の処理を、また、図6は、音楽コンテンツのデータとこれに付随する属性情報を提供する音楽コンテンツ提供サーバ装置6の処理を、それぞれ説明するためのフローチャートである。
記録再生装置に対して、音楽コンテンツデータとこれに対する属性情報との提供の要求を行なうためのプログラムを起動する所定の操作が行われると、記録再生装置のCPU1は、図5に示す処理を実行し、まず、ダウンロードする音楽コンテンツの選択入力を受け付ける(ステップS11)。
そして、受け付けた選択入力に基づいて、ダウンロードを要求する音楽コンテンツの識別子を含む音楽コンテンツの提供要求を生成し、これを通信インターフェース14、インターネット5を通じて、音楽コンテンツ提供サーバ装置6に送信する(ステップS12)。
一方、音楽コンテンツ提供サーバ装置6の制御部(CPU)は、常時、図6に示す処理を実行しており、インターネット5および自装置が備える通信インターフェースを通じて、記録再生装置からの音楽コンテンツの提供要求を受信待ちするようにし(ステップS21)、提供要求を受信したか否かを判断する(ステップS22)。ステップS22において、音楽コンテンツの提供要求を受信していないと判断したときには、ステップS21からの処理を繰り返し、音楽コンテンツの提供要求の受信待ちとなる。
ステップS22の判断処理において、音楽コンテンツ提供サーバ装置6の制御部が、記録再生装置からの音楽コンテンツの提供要求を受信したと判断したときには、サーバ装置6の制御部は、受信した提供要求に含まれる音楽コンテンツの識別子に基づいて、自装置6に記憶されている音楽コンテンツの中から、目的とする音楽コンテンツのデータとこれに対する属性情報とを検索する(ステップS23)。
そして、音楽コンテンツ提供サーバ装置6の制御部は、目的とする音楽コンテンツのデータが存在するか否かを判断し(ステップS24)、存在すると判断したときには、要求元の記録再生装置に、通信インターフェースおよびインターネット5を通じて送信する(ステップS25)。そして、ステップS21に戻って、このステップS21からの処理を繰り返す。
また、ステップS24の判断処理において、目的とする音楽コンテンツのデータが存在しないと判断したときには、音楽コンテンツ提供サーバ装置6の制御部は、その旨を示す応答メッセージを生成し、要求元の記録再生装置に対して、通信インターフェースおよびインターネット5を通じて返信する(ステップS26)。そして、ステップS21に戻り、このステップS21からの処理を繰り返す。
一方、要求元の記録再生装置は、音楽コンテンツ提供サーバ装置6からの応答(返信)を通信インターフェース14を通じて受信し(ステップS13)、受信した応答に基づいて、要求した音楽コンテンツのデータが送信されてきたか否かを判断する(ステップS14)。このステップS14の判断処理において、要求した音楽コンテンツのデータを受信したと判断したときには、その受信した音楽コンテンツのデータと、当該音楽コンテンツのデータに付随して提供された属性情報とを音楽コンテンツ記憶部に記録(格納)し(ステップS15)、この図5に示す処理を終了する。
また、ステップS14の判断処理において、要求した音楽コンテンツのデータを受信していない(対応する音楽コンテンツのデータが存在しないことのメッセージを受信した)と判断したときには、記録再生装置の制御部は、図1には図示しなかったが、自装置が備えるLCD(Liquid Crystal Display)などの表示素子やLED(Light Emitting Diode)などの発光素子、あるいは、ブザーやアラームなどを用いて、目的とする音楽コンテンツのデータが存在しなかったことを記録再生装置のユーザに対して通知し(ステップS16)、この図5に示す処理を終了する。
以上のようにして、この実施形態では、記録再生装置は、目的とする音楽コンテンツのデータの提供を受ける際に、この音楽コンテンツのデータに付随して提供される属性情報の提供をも受けることができるようにされている。そして、提供を受けた音楽コンテンツのデータ、および、当該音楽コンテンツのデータに対する属性情報を音楽コンテンツ記憶部20に記憶して再生時に利用することができるようにされる。
なお、音楽コンテンツのデータに属性情報が付随していないときには、上述したように、曲調分析部13で解析して得られた楽曲構成情報や、周辺環境情報取得部で取得された周辺環境情報などから属性情報が構成されて、それが音楽コンテンツ記憶部20に音楽コンテンツの映像音響データと対応付けられて記憶される。
また、記録再生装置の音楽コンテンツ記憶部には、音楽コンテンツの楽曲データは、既に存在しているが、その音楽コンテンツの属性情報が無いときには、音楽コンテンツの識別情報を検索子として、サーバ装置6にアクセスして、その属性情報のみをダウンロードすることもできるようにされている。
次に、図7は、この実施形態の記録再生装置の音楽コンテンツ記憶部20の一例としてのハードディスク装置の概念的な構成を説明するための図である。すなわち、音楽コンテンツ記憶部20としてのハードディスク装置20HDは、音楽コンテンツの映像データや音響データ等の映像音響データDtの領域23と、その属性情報Atの領域24とを備え、領域23は映像音響データ記憶部21を構成し、領域24は属性情報記憶部22を構成する。
この実施形態では、音楽コンテンツ記憶部20は、ハードディスク装置により構成したが、リム−バル(着脱可能)の記録メディアとしてのDVD等のディスク媒体を音楽コンテンツ記憶部として用いることもできる。図8は、その場合における音楽コンテンツ記憶部20の他の例としてのディスク媒体(例えば光磁気ディスク等の記録再生可能なもの)20RDの一例を説明するための図である。
この図8に示すように、音声コンテンツデータや映像コンテンツデータなどのコンテンツデータ(映像音響データ)Dtが光ディスク20RDのデータ格納領域に格納されている。そして、図8に示すように、光ディスク20RDには、光ディスクに通常設けられるリードインアリア、TOC(Table Of Contents)エリア、リードアウトエリアのほかに、コンテンツ属性情報Atの格納エリアが設けられ、ここに属性情報が格納されるようにされている。コンテンツデータDtが、複数の楽曲のデータを含む場合には、それぞれの楽曲についての属性情報が記録される。この場合、コンテンツデータDtと属性情報Atとは、前述したように音楽コンテンツ識別情報(音楽コンテンツID)によって対応付けられている。
なお、光ディスク20RDは、音楽コンテンツの制作者等により音楽コンテンツデータが記録されて市販されるものの他、例えば、一般ユーザが、パーソナルコンピュータなどを用いて、インターネットからダウンロードした音楽コンテンツを記録するなどして作成する場合もある。
なお、図7、図8に示したように、記録媒体に記録される属性情報Atは、記録再生装置においてユーザが任意に内容を書き換えたり、追加したり、削除したり、あるいは、既存の属性情報を新たな属性情報に置き換えたりすることも可能である。例えば、属性情報中に楽曲素材単位の区切り情報を追加する場合には、記録再生装置において、目的とする音楽コンテンツデータを自動解析することにより、新たな楽曲素材単位の区切り情報を自動生成したり、ユーザインターフェース11を通じてユーザにより入力された区切り情報を追加したりすることが可能である。
また、ユーザインターフェース11を通じてユーザからの変更指示入力を受け付けて、音楽コンテンツ記憶部20に記録されている属性情報を変更したり、同様に、ユーザインターフェース11を通じてユーザからの変更指示入力を受け付けて、音楽コンテンツ記憶部20に記録されている属性情報を削除したり、また、既に記録されている属性情報を、上述のように新たに生成したり、入力したりした属性情報で置き換えたりすることもできるようにされる。
また、新たな属性情報を、インターネット5と通信インターフェース14とを通じて提供を受けたり、あるいは、USB(Universal Serial Bus)インターフェースなどのデジタルインターフェースに接続される他の記録再生装置等の外部機器から提供を受けたり、また、無線インターフェースと送受信アンテナを通じて無線LAN経由で提供を受けたりして、これを追加や置き換えに用いることも可能である。
もちろん、上述したいずれの場合においても、音楽コンテンツの識別子によって、音楽コンテンツデータと属性情報とは必ず対応するようにされ、どの属性情報がどの音楽コンテンツデータに付随するものであるかは明確にされる。
そして、以上のように、音楽コンテンツには、属性情報を付随させるようにすることにより、音楽コンテンツのデータの流通に伴い、その属性情報をも流通させ、音楽コンテンツデータの利用に合わせて、その属性情報を有効に活用し、新たな利用態様で音楽コンテンツデータを利用できるようにすることができる。
なお、光ディスクドライブ16で読み込みを行なう光ディスク7が、音楽コンテンツデータとして属性情報を付随している場合には、図8に示した光ディスク20RDと同様の構成を備えるものである。
次に、図1の実施形態の記録再生装置における記録処理動作の一例を、図を参照して説明する。図9は、この実施形態の記録再生装置のうちの記録処理部分を機能的に抽出して表したブロック図である。また、図10および図11は、その記録処理動作の一例を説明するためのフローチャートである。
図9に示すように、記録再生装置は、記録の機能的には、2つの要素から構成される。一つは、複数個の音楽コンテンツが記憶保持されている音楽コンテンツ記憶部20であり、もう一つは音楽コンテンツの記録をする記録部100である。音楽コンテンツ記憶部20については、上述した通りであるので、ここでは、説明を省略する。記録部100は、音楽コンテンツデータおよび属性情報の記録処理を行なう部分である。以下、この記録部100の構成について説明する。
記録部100は、この例では、入力された音楽コンテンツのデータ(映像音響データ)と、属性情報とを対応付けて音楽コンテンツ記憶部20に記憶する。この場合に、音楽コンテンツに対応する属性情報が入力される場合には、それをそのまま、あるいは、一部変更したり、追加したりして、音楽コンテンツ記憶部20の属性情報記憶部22に記憶するようにする。
しかし、属性情報が音楽コンテンツに付随していない場合には、記録部100では、記録再生装置側で生成可能な属性情報を生成して、音楽コンテンツのデータに付与して、音楽コンテンツ記憶部20の属性情報記憶部22に格納するようにする機能を備える。
この実施形態では、音楽コンテンツのデータに対する属性情報の付与方法としては、最終的には付与するユーザが主観的な判断で付与を行なうようにする。もっとも、属性情報の一部の情報は、記録再生装置が自動的に生の映像音響データから計算して付与することもできる。すなわち、属性情報の一部である楽曲構成情報のテンポ情報や、記録再生装置の存在する場所や周辺環境情報等は、自動的に算出して、自動的に付加することもできる。しかし、この例では、記録再生装置は、あくまで楽曲構成情報や周辺環境情報を取得するのみで、最終的に、音楽コンテンツに付与する属性情報について、それが最適かどうかはユーザが決定するようにしている。
なお、音楽コンテンツ情報に属性情報が付加されていない場合においては、アレンジ用情報は、記録しながらユーザが作成することはできないので、この記録時にはアレンジ用情報は、記憶されない。この実施形態においては、記録処理の後に、音楽コンテンツ記憶部20の属性情報記憶部22に記憶された原曲のコード進行や、ドラムの情報、その他の楽曲構成情報を参照しながら、ユーザがアレンジ用情報を作成したときや、インターネットを通じて、当該音楽コンテンツの楽曲についてのアレンジ用情報を取得したときに、属性情報記憶部22に、楽曲IDに対応して追加記憶される。
記録部100は、図9に示すように、前述したユーザインターフェース11と、曲調分析部13と、再生履歴情報保持部15と、周辺環境情報取得部40とを含むほか、機能的な処理部として、音楽コンテンツ記録指示制御部101と、音楽コンテンツデータ保持部102と、映像音響データ記録設定部103と、属性情報記録設定部104と、エンコード部105と、楽曲構成情報取得部106とを備える。
音楽コンテンツ記録指示制御部101は、ユーザインターフェース11を通じたユーザ指示に従って、音楽コンテンツの記録指示制御を行なう部分であって、CPU1が、ROM3に記憶されている記録のためのプログラムに基づいて、RAM4をワークエリアとして用いて実行する部分に相当する。
音楽コンテンツデータ保持部102は、これから記録すべき音楽コンテンツの映像音響データや、付随する属性情報もあれば、当該属性情報を保持する部分である。
これは、記録しようとする音楽コンテンツのソースが光ディスクドライブ16で読み込まれる光ディスク7である場合には、当該光ディスク7および光ディスクドライブ16の部分に相当する。
また、記録しようとする音楽コンテンツのソースが、インターネット5を通じた音楽コンテンツ提供サーバ装置6である場合には、通信インターフェース14を通じて取り込まれた音楽コンテンツデータを一時的に蓄えるバッファメモリなどが、音楽コンテンツデータ保持部102に相当する。
エンコード部105は、エンコード/デコード部12のエンコード部分のみの機能を抽出したものに相当する。
映像音響データ記録設定部103は、エンコード部105に送り込む映像音響データを保持するものであり、RAM4の一部のエリアが利用される。
属性情報記録設定部104は、エンコーダ回路に送り込む属性情報のデータを保持するものであり、これもRAM4の一部のエリアが利用される。
楽曲構成情報取得部106は、音楽コンテンツデータに属性情報が付随していない場合に、記録しようとする音楽コンテンツに対応する属性情報を取得する機能部である。これは、例えば、前述したように、インターネットを通じて、属性情報提供サーバ装置に音楽コンテンツIDを検索子としてアクセスして、当該音楽コンテンツIDに対応する属性情報を取得する機能部や、他の記録再生装置などから、当該音楽コンテンツに対応する属性情報を取得する機能部などにより構成される。
次に、図10および図11のフローチャートを参照しながら、記録処理動作について説明する。なお、この図10および図11の各処理ステップは、CPU1がROM3のプログラムにしたがって、RAM4をワークエリアとして用いて実行するものである。
記録に先立ち、ユーザは、音楽コンテンツとして記録したい楽曲のデータを用意し、音楽コンテンツデータ保持部102に保存しておく。属性情報が付随されている場合には、音楽コンテンツデータ保持部102には、当該音楽コンテンツとしての楽曲の属性情報も保存される。音楽コンテンツデータ保持部102は、属性情報が当該記録したい楽曲に付随しているかどうかを、音楽コンテンツ記録指示制御部101に報告する。これにより、音楽コンテンツ記録指示制御部101は、記録すべき音楽コンテンツに属性情報が付随しているかどうかを予め認識している。
次に、ユーザが、ユーザインターフェース11の操作部を通じて記録指示をすると、音楽コンテンツ記録指示制御部101は、指定された楽曲の記録指示を認識する(図10のステップS31)。音楽コンテンツ記録指示制御部101は、この記録指示を認識すると、指定された楽曲には、属性情報が付随しているかどうかを判別し(ステップS32)、属性情報が付随していると判別したときには、属性情報記録設定部104に、音楽コンテンツに付随する属性情報を記録するようにする記録指示を送る(ステップS33)。
音楽コンテンツ記録指示制御部101は、また、音楽コンテンツデータ保持部102に、保持している記録対象の音楽コンテンツの映像音響データを映像音響データ記録設定部103に送出するようにすると共に、対応する属性情報を属性情報記録設定部104に送出するように指示する(ステップS34)。この指示を受けた音楽コンテンツデータ保持部102は、記録対象の音楽コンテンツの映像音響データを、その音楽コンテンツIDと共に映像音響データ記録設定部103に送ると共に、対応する属性情報を、その音楽コンテンツIDと共に属性情報記録設定部104に送る。
属性情報記録設定部104は、音楽コンテンツデータ保持部102からの属性情報(音楽コンテンツIDを含む)を受け取ると、記録すべき属性情報の仮リストを作成し(ステップS35)、当該作成した属性情報の仮リストを、例えばユーザインターフェース11のディスプレイに表示する等して、ユーザに呈示する(ステップS36)。
この記録すべき属性情報の仮リストの呈示を受けたユーザは、属性情報について修正や追加が必要だと判断したときには、ユーザインターフェース11の操作部を通じて所定の操作を行ない、そのままの属性情報と良いとしたときには、ユーザインターフェース11の決定キーなどを操作して、その旨を入力する。
音楽コンテンツ記録指示制御部101は、ユーザから属性情報についての修正指示や追加指示があったかどうか判別し(ステップS37)、修正指示や追加指示があったと判別したときには、その旨を属性情報記録設定部104に伝える。この修正指示や追加指示を受けた属性情報記録設定部104は、ユーザインターフェース11を通じた修正指示内容や追加指示内容に応じて、属性情報の修正や追加を行なう(ステップS38)。この属性情報の修正、追加の際にアレンジ用情報を追加記録するようにしても良い。
属性情報の修正や追加後、あるいは、属性情報の修正や追加無しに、ユーザが当該属性情報についてOKという意味で決定キーを操作すると、音楽コンテンツ記録指示制御部101は、そのユーザの属性情報についての決定入力を検知し(ステップS39)、エンコード部105に、映像音響データ記録設定部103からの映像音響データと、属性情報記録設定部104からの属性情報とを受け取るように指示すると共に、受け取った情報をエンコードするように指示する。エンコード部105は、この指示を受けると、映像音響データと属性情報とを受け取って、音楽コンテンツ記憶部20に記憶するためのエンコード処理を実行する(ステップS40)。
そして、エンコード部105は、エンコードした映像音響データを、映像音響データ記憶部21に書き込むと共に、エンコードした属性情報を、属性情報記憶部22に書き込む(ステップS41)。以上で、記録処理は終了となる。
一方、ステップS32で、属性情報が音楽コンテンツに付随してはいないと判別したときには、音楽コンテンツ記録指示制御部101は、属性情報記録設定部104に、音楽コンテンツの属性情報を自装置で生成して記録するようにする指示を送る(図11のステップS51)。
音楽コンテンツ記録指示制御部101は、また、音楽コンテンツデータ保持部102に、保持している記録対象の音楽コンテンツの映像音響データを映像音響データ記録設定部103と、曲調分析部13に送出するように指示する(ステップS52)。この指示を受けた音楽コンテンツデータ保持部102は、記録対象の音楽コンテンツの映像音響データをその音楽コンテンツIDと共に映像音響データ記録設定部103に送ると共に、当該音楽コンテンツの音響データを曲調分析部13に送出する。
音楽コンテンツデータ保持部102からの音響データを受け取った曲調分析部13は、その音響データを分析して、楽曲素材単位のテンポ、キー、コード等の楽曲構成情報を抽出する(ステップS53)。
属性情報記録設定部104は、音楽コンテンツ記録指示制御部101からの自装置で属性情報を生成する旨の指示を受け取ると、指定された楽曲についての再生履歴が再生履歴情報保持部15に保持されているか否か判別し、保持されていれば、その再生履歴を属性情報の一部とするために取得する(ステップS54)。なお、再生履歴情報がなければ、属性情報としての再生履歴情報は無しを意味する「null」とされる。
また、属性情報記録設定部104は、記録対象の楽曲を聴取したユーザからユーザインターフェース11を通じて入力される当該楽曲についての明るい/暗い、激しい/優しい、楽しい/悲しいなどの感性情報の数値入力(例えば前述の16段階の数値)を受け付けて、属性情報の一部とする(ステップS55)。
さらに、属性情報記録設定部104は、曲調分析部13で分析されて抽出された楽曲構成情報を、曲調分析部13から取得して、属性情報の一部とする(ステップS56)。また、さらに、属性情報記録設定部104は、周辺環境情報取得部40から周辺環境情報を取得して、当該周辺環境情報を属性情報の一部とする(ステップS57)。
次に、属性情報記録設定部104は、ステップS54〜ステップS57で取得した情報に基づいて、記録すべき属性情報の仮リストを作成し(ステップS58)、当該作成した属性情報の仮リストを、例えばユーザインターフェース11のディスプレイに表示する等して、ユーザに呈示する(ステップS36)。
この記録すべき属性情報の仮リストの呈示を受けたユーザは、属性情報について修正や追加が必要だと判断したときには、ユーザインターフェース11の操作部を通じて所定の操作を行ない、そのままの属性情報と良いとしたときには、ユーザインターフェース11の決定キーなどを操作して、その旨を入力する。
音楽コンテンツ記録指示制御部101は、ユーザから属性情報についての修正指示や追加指示があったかどうか判別し(ステップS37)、修正指示や追加指示があったと判別したときには、その旨を属性情報記録設定部104に伝える。この修正指示や追加指示を受けた属性情報記録設定部104は、ユーザインターフェース11を通じた修正指示内容や追加指示内容に応じて、属性情報の修正や追加を行なう(ステップS38)。
属性情報の修正や追加後、あるいは、属性情報の修正や追加無しに、ユーザが当該属性情報についてOKという意味で決定キーを操作すると、音楽コンテンツ記録指示制御部101は、そのユーザの属性情報についての決定入力を検知し(ステップS39)、エンコード部105に、映像音響データ記録設定部103からの映像音響データと、属性情報記録設定部104からの属性情報とを受け取るように指示すると共に、受け取った情報をエンコードするように指示する。エンコード部105は、この指示を受けると、映像音響データと属性情報とを受け取って、音楽コンテンツ記憶部20に記憶するためのエンコード処理を実行する(ステップS40)。
そして、エンコード部105は、エンコードした映像音響データを、映像音響データ記憶部21に書き込むと共に、エンコードした属性情報を、属性情報記憶部22に書き込む(ステップS41)。以上で、記録処理は終了となる。
なお、以上の実施形態では、属性情報の楽曲構成情報が音楽コンテンツに付随していないときには、曲調分析部13で楽曲構成情報を抽出するようにしたが、予め楽曲の曲調が譜面情報や制作者の情報により判っている場合には、曲調分析する必要は無く、ユーザがこの譜面情報に基づくテンポ、キー、コード等の楽曲構成情報を属性情報として入力することもできる。
また、インターネット5などのネットワークを通じて楽曲構成情報が取得可能な場合には、属性情報記録設定部104は、楽曲構成情報取得部106を通じて楽曲構成情報を取得して、属性情報の一部とするようにすることもできる。
この実施形態の記録再生装置では、楽曲の再生を繰り返すと、再生履歴情報保持部15に、過去のユーザの再生履歴情報が蓄積されてくる。よく聴く曲はリスナーの嗜好度が高く、逆に再生時間が短い曲はリスナーの嗜好度が低いことが多い。そこで、この楽曲毎の再生頻度・再生時間情報が更新される度に、各楽曲の音楽コンテンツの属性エリアに追記していく。
また、属性情報とされて、音楽コンテンツ記憶部20の属性情報記憶部22に記憶された再生履歴情報は、音楽コンテンツの記録時のみではなく、対応する楽曲が再生されて、再生履歴情報保持部15の再生履歴が更新されるときに、同時に、属性情報記憶部22の対応する楽曲の属性情報の再生履歴情報も更新されるようにされている。
よく聴く曲はリスナーの嗜好度が高く、逆に再生時間が短い曲はリスナーの嗜好度が低いことが多いので、この再生履歴情報を参照することにより、リスナーが嗜好する楽曲を検知することができると共に、その嗜好度の高い楽曲の曲調は、リスナーの嗜好度が高い曲調と判定することができる。そこで、この楽曲毎の再生頻度や再生時間情報が更新される度に、各楽曲の属性情報記憶部の再生履歴情報を追記しておくことにより、この属性情報の再生履歴情報および楽曲構成情報を参照することで、リスナーに好まれている楽曲およびその曲調を判定して、再生時の楽曲の再構成に利用することができる。
[第1の実施形態の記録再生装置における再生処理]
次に、第1の実施形態の記録再生装置における再生処理について説明する。この実施形態では、再生処理のポイントとして、いくつかある。
一つは、再生スタート操作をするだけで、ユーザが嗜好するであろう楽曲を順次に装置が選択して、ユーザに呈示する機能を装置が備える点である。この場合、ユーザは、最初の曲を選択し、連続再生スタート操作をユーザインターフェース11の操作部を通じて入力する。すると、この実施形態の記録再生装置は、その最初に選択された楽曲にユーザが嗜好を示しているかどうか、ユーザ(リスナー)から取得した生体情報に基づいて判別し、嗜好を示していれば、最初に選ばれた楽曲に曲調が似ている楽曲を次の楽曲再生候補とする。
この場合において、楽曲聴取者であるユーザ(リスナー)の生体情報を取得して、例えば、音楽に乗っているときの頭部や足等の体の動きや脈拍等から、その時々のリスナーの嗜好度を判定するようにする。
リスナーが聴取中の楽曲に嗜好を示していないと判別したときには、例えば再生履歴情報保持部15に保持されている再生履歴情報に基づいて、リスナーが好んでいると考えられる楽曲を選択し、当該選択された楽曲に曲調が似ている楽曲を次の楽曲再生候補とする。あるいは、リスナーの周辺環境情報を取得し、当該取得した周辺環境情報に合致する楽曲を、属性情報を参照することにより検索し、検索結果の楽曲および当該楽曲に似ている曲調の楽曲を次の楽曲再生候補とするようにする。
そして、2番目以降の楽曲の聴取しているときにも、リスナーから取得した生体情報に基づいて、当該聴取中の楽曲に嗜好を示しているかを常時判定して、上述と同様の処理を行ない、次の楽曲再生候補を更新してゆくようにする。これにより、この実施形態によれば、リアルタイムで、次の楽曲再生候補を更新しながらユーザに呈示することができるという効果がある。
従来の楽曲再生装置では、例えば数百曲以上の楽曲データを内蔵記憶部に記憶しているときに、自動再生モードでは、アルバム単位や、記録された順、乱数によるランダムな順序での再生が行なわれているが、特にユーザ(リスナー)の嗜好を考慮して、再生順序が決定されるものは無い。
また、いわゆるプレイリスト(再生楽曲候補のリスト)をユーザ側で作成して、その順序で再生するという例もあるが、この方法の場合には、ユーザ側で、いちいちプレイリストを作成する必要があり、手間がかかるものである。さらに、内蔵記憶部に保存される楽曲が増加するごとに、当該プレイリストを手直し必要があるという問題もあった。そして、この方法も、ユーザの嗜好を積極的に考慮しているわけではないという問題もあった。
これに対して、この実施形態では、再生装置側が過去のユーザの再生履歴情報やユーザからリアルタイムに入力される生体情報等、さらには、再生装置が存在する地理的な情報等から、現在再生されている楽曲の属性情報と照らし合わせて嗜好度の予測を行ない、その場のユーザの状態において最も聴きたいと思われる楽曲を提供するものである。
すなわち、音楽コンテンツの再生方法に関して、楽曲の属性情報と、リスナーの生体情報や、再生履歴情報、周辺環境情報を用いて、その時々のリスナーの嗜好に最適と思われる楽曲の候補を動的に選択し、それを再生提示するようにするものである。
例えば、過去によく聴いた楽曲のコード進行やテンポに近い楽曲を、属性情報記憶部22に記憶されている多数の楽曲の属性情報から探索して、それを再生したり、現在聴いている楽曲でリスナーがリラックスしていると思われる生体情報が取得できた場合には、その構成に近い楽曲を、前記属性情報から探索して、それを再生したりするものである。すなわち、この実施形態では、楽曲の属性情報を利用してリスナーの嗜好に合う楽曲を動的に提示するものである。
また、上述したように、この実施形態では、属性情報として、リスナーがどう感じるかの楽曲の感性情報(例えば暗い/明るい曲)、ユーザが何回この楽曲を再生したか等の再生履歴情報や演奏者や楽器に関する情報、どこで録音されたものか・どこで聴くと良いかの地理情報等の周辺環境情報等も記録されている。これらの情報を、必要に応じて再生側で利用することにより、多数の音楽コンテンツの中から、よりユーザの好みに合うものを抽出することができる。
この実施形態の記録再生装置における二つ目の再生処理のポイントは、聴取中の楽曲に対して、その属性情報中の、特に楽曲構成情報やアレンジ用情報に基づいて、楽曲素材単位で、テンポやキー(音程)を変えたり、リミックスしたり、エフェクトをかけたりして、楽曲を再構成するようにする機能(アレンジモードと呼ぶことにする)を備える点である。
この実施形態では、アレンジモードは、自動モードと手動モードとが用意されており、ユーザが選択設定しておくことができるようにされている。このアレンジモードの設定は、図示は省略するが、ユーザインターフェース11において、例えば、ユーザが、メニューから「設定」を選択し、その中のアレンジモード設定を選択し、自動モードか、手動モードのいずれかを選択することでできる。
アレンジモードとして自動モードが設定されているときには、この実施形態の音楽コンテンツの記録再生装置では、生体情報取得部30で、リスナーの生体情報を検出して、リスナーのその時の気分に応じて、自動的に、ディスクジョッキーのように、楽曲データにリミックス処理する等して複数曲を同時に再生したり、あるいは楽曲そのもののテンポやキー等の曲調を変更したりして、聴取中の楽曲を動的に再構成するものである。
この動的な再構成のために、この実施形態では、楽曲データに、前述のような属性情報、特に楽曲構成情報を付随させて、リスナーが置かれた雰囲気に合うように楽曲を動的に再構成しながら再生・合成するものである。再構成は、あくまでリスナーがより楽しくなるように、再生される楽曲に変化を与えるものであり、新たな楽曲の楽しみ方をリスナーに提案するものである。
前述したような属性情報は、音楽性を損なわずに楽曲を再構成再生することができるようにすることを目的としたものである。一般に、音楽(楽曲)は、小節、拍等で区切られており、更に、それらの区切りごとにコードが決められているので、音楽理論に従えば、例えば小節毎に別の音楽素材を組み合わせていっても音楽性を損なわずに曲調を変更することができる。これは、一般に、ディスクジョッキー等で行なわれているリミックスと呼ばれる手法である。
以上のことを考慮して、この実施形態では、前述したように、特に楽曲を再構成するに必要な楽曲の構成情報を、当該音楽コンテンツの映像音響データに予め付帯させて属性情報として記録しておくものである。ここで、楽曲を再構成するに必要な楽曲の構成情報とは、前述した、テンポ、キー、コード、音量、拍子等の楽曲素材単位の楽曲構成情報である。
なお、属性情報は、常に音楽コンテンツの映像音響データに付帯させておく必要はなく、例えば必要なときにのみ、音楽コンテンツの識別情報に基づいて、他の格納場所に格納されている属性情報を読み出したり、ネットワークを通じて当該属性情報のサーバ装置等から取得したりしても良い。
この実施形態では、楽曲構成情報を用いて、やみくもに自動的に再構成する訳ではない。例えば、リスナーからの生体情報を再生装置にフィードバックして、リスナーの視聴状態を動的に把握し、また、記録再生装置が置かれている(存在する)場所の周辺環境情報を動的に把握し、その場に適した楽曲をその属性情報から再合成し、リスナーに提供するものである。
以下に説明するように、この第1の実施形態では、リスナーが嗜好を示しているときにのみ楽曲を再構成するようにして、よりリスナー好まれるようにするようにしている。しかし、リスナーが嗜好を示していないときにも、楽曲を自動的に再構成して、リスナーに再構成後の楽曲を呈示することで、リスナーに嗜好を喚起させるようにしても勿論よい。
この聴取中の楽曲の自動的な再構成の際にも、リスナーの生体情報を再生装置にフィードバックしたり、再生履歴情報を参照したり、周辺環境情報を参照したりして、再構成のためにリミックスする楽曲を選択したり、エフェクトを選択したりするようにしても勿論よい。さらには、属性情報中にお薦めのエフェクト情報があれば、それを使用することも勿論できる。
アレンジモードとして手動モードが設定されているときには、この実施形態の音楽コンテンツの記録再生装置では、ユーザのユーザインターフェース11を通じたアレンジ指示に応じて、当該楽曲の属性情報中の特にアレンジ用情報および楽曲構成情報に基づいて、前述したように、楽曲素材単位で、テンポやキー(音程)を変えたり、リミックスしたり、エフェクトをかけたりして、楽曲を再構成して、楽曲をアレンジするようにする。
図12に、このアレンジモードの手動モードにおけるLCDの表示画面を含むユーザインターフェース11の例を示す。図12(A),(B)は、この実施形態の音楽コンテンツの記録再生装置の、ユーザインターフェース11の一部を構成する操作パネル部を示すものである。
アレンジモードとして手動モードが設定されている場合において、例えばLCD画面に表示されるメニューからアレンジモードが選択されると、この実施形態の音楽コンテンツの記録再生装置は、再生中の楽曲についての属性情報の中から、アレンジ用情報(図2および図3参照)を抽出して、図12(A)に示すように、LCD表示画面111に、属性情報として記憶されているアレンジ用情報の種類の一覧を表示する。
ユーザは、このLCD表示画面111のアレンジ用情報一覧を見ながら、この例では、十字型カーソルボタン112を操作して、いずれのアレンジ用情報を用いたアレンジを指示するかを選択操作する。この例では、ユーザは、十字型カーソルボタン112の上下方向操作部を操作して、図12において、網点を付して示す選択中項目の位置を変更するようにする。そして、十字型カーソルボタン112の中央部の決定ボタンを操作することにより、選択中項目の選択決定をする。
図12(A)の例のように、(1)クラシック風が選択されている状態において、選択決定操作がされると、選択されたアレンジ用情報に、属性情報として、さらに下位層のアレンジ態様が記憶されている場合には、図12(B)に示すように、当該アレンジ態様の一覧が、LCD表示画面111に表示される。
そして、ユーザは、十字型カーソルボタン112を用いて、そのアレンジ態様一覧からユーザは、さらに希望するアレンジ態様を選択するようにする。そして、選択されたアレンジ態様が選択決定されると、楽曲データは、属性情報記憶部22に記憶されている当該アレンジ態様の情報が読み出されて、前述したような楽曲再構成処理がなされて、アレンジが実行される。
次に、以上の再生処理の詳細処理動作例を、図を参照して説明する。図13は、この第1の実施形態の記録再生装置のうちの再生処理部分を機能的に抽出して表したブロック図である。また、図14〜図21は、楽曲の再構成処理を説明するための図である。さらに、図22〜図25は、その再生処理動作の一例を説明するためのフローチャートである。
図13に示すように、この第1の実施形態の記録再生装置の再生処理部も、前述した記録処理部と同様に、2つの構成要素からなる。一つは、複数個の音楽コンテンツが記録保持されている音楽コンテンツ記憶部20であり、もう一つは、音楽コンテンツの再生を行なう再生部200である。音楽コンテンツ記憶部20は、前述した通りであるので、ここでは、再生部200について説明する。
再生部200は、図13に示すように、ユーザインターフェース11と、再生履歴情報保持部15と、生体情報取得部30と、周辺環境情報取得部40と、音響出力部53と、映像出力部56とを含むと共に、ROM3に記憶されているプログラムにしたがってCPU1による処理により実現される機能的な処理部として、映像音響データ選択判断制御部201と、デコード部202と、属性情報取得部203と、映像音響データ取得部204と、映像音響データデコード部205と、映像音響アレンジ処理部206とを備える。
映像音響データ選択判断制御部201は、ユーザインターフェース11を通じたユーザ指示に従って、再生対象の音楽コンテンツを選択したり、その再生制御処理(自動アレンジによる楽曲再構成処理およびユーザ指示による手動アレンジの楽曲再構成処理を含む)を行なったり、また、再生履歴情報保持部15からの再生履歴情報、生体情報取得部30を通じて取得した生体情報、周辺環境情報取得部40から取得した周辺環境情報等に基づいて、再生対象の音楽コンテンツを選択したり、その再生制御(楽曲再構成を含む)を行なったりする部分であって、CPU1が、ROM3に記憶されている記録のためのプログラムに基づいて、RAM4をワークエリアとして用いて実行する部分に相当する。
デコード部202は、映像音響データ選択判断制御部201からの音楽コンテンツの選択指示にしたがって、音楽コンテンツ記憶部20から映像音響データおよび属性情報を取得して、圧縮されているデータを伸長デコード処理するもので、エンコード/デコード部12のデコード部に相当する。
そして、デコード部202は、音楽コンテンツ記憶部20から読み出して伸長デコードした属性情報は、属性情報取得部203に渡すと共に、音楽コンテンツ記憶部20から読み出して伸長デコードした映像音響データは、映像音響データ取得部204に供給する。
属性情報取得部203は、デコード部202からの、音楽コンテンツ記憶部20から読み出されてデコードされた属性情報を受け取り、映像音響データ選択判断制御部201に渡す。この属性情報取得部203は、RAM4の一部領域を用いるバッファ部で構成されるものである。
映像音響データ取得部204は、デコード部202からの、音楽コンテンツ記憶部20から読み出されてデコードされた映像音響データを受け取り、映像音響データデコード部205に渡す。この映像音響データ取得部204は、RAM4の一部領域を用いるバッファ部で構成されるものである。
映像音響データデコード部205は、音響データデコード部51と、映像データデコード部54とで構成される部分であり、音響データをデコードして、映像音響アレンジ処理部206に渡すと共に、映像データをデコードして、映像音響アレンジ処理部206に渡す。
映像音響アレンジ処理部206は、音響アレンジ部52と、映像アレンジ部55とで構成される部分であり、映像音響データ選択判断制御部201からの制御信号を受けて、デコードされた音響データに、他の楽曲の音響データをリミックスしたり、音響データにエフェクト処理を施したり、テンポやキーあるいはコード進行を変えたりして楽曲の再構成処理をする。また、デコードされた映像データにエフェクト処理を施したりする。
そして、映像音響アレンジ処理部206は、リミックスしたりエフェクト処理したり等した音響データを音響出力部53に供給すると共に、エフェクト処理等した映像データを映像出力部56に供給する。
生体情報取得部30で取得されるリスナーの生体情報は、映像音響データ選択判断制御部201に供給され、音楽コンテンツの選択および楽曲の再構成のために用いられる。また、周辺環境情報取得部40で取得された記録再生装置が存在する場所の情報などの周辺環境情報は、映像音響データ選択判断制御部201に供給され、音楽コンテンツの選択および楽曲の再構成のために用いられる。
また、再生履歴情報保持部15は、これに供給される映像音響データ選択判断制御部201からの読み出し要求に従って、保持している再生履歴情報を映像音響データ選択判断制御部201に供給する。この再生履歴情報は、映像音響データ選択判断制御部201において、音楽コンテンツの選択および楽曲の再構成のために用いられる。
図14は、図13の再生部200を、楽曲の再構成処理の観点から見た機能ブロック図の構成を示すもので、実質上の構成内容は、図13と変わりはない。
この図14に示すように、再生部200は、楽曲データの再構成の基準となる同期信号と楽曲再構成用情報とを生成して出力するリズムマスター部210と、このリズムマスター部210からの同期信号SYNCと楽曲再構成用情報ARIとを受けて、楽曲データの再構成を実行するリズムスレーブ部220とからなる。リズムマスター部210からの同期信号SYNCは、楽曲データの再生に同期して出力されるものであり、また、楽曲再構成用情報ARIは、同期信号SYNCに同期して出力され、楽曲データの再生に同期して動的に変化する値である。
リズムマスター部210は、コンサートで言うと指揮者に相当する機能を持ち、また、リズムスレーブ部220は、演奏者の立場に相当する機能を持つ。
映像音響データ選択判断制御部201は、リズムマスター部210に属する映像音響データ選択判断制御RM(RMはリズムマスターの略)部201Mと、リズムスレーブ部220に属する映像音響選択判断制御RS(RSは、リズムスレーブの略)部201Sとに分けられる。また、属性情報取得部203は、リズムマスター部210と、リズムスレーブ部220の両方に属するものとされる。
すなわち、リズムマスター部210は、映像音響データ選択判断制御RM部(以下、RM部という)201Mと、属性情報取得部203とを備えて構成される。
また、リズムスレーブ部220は、映像音響データ選択判断制御RS部(以下、RS部という)201Sと、属性情報取得部203のほかに、生体情報取得部30と、周辺環境情報取得部40と、再生履歴情報保持部15と、映像音響データ取得部204と、映像音響データデコード部205と、映像音響アレンジ処理部206とを備えて構成される。
そして、この第1の実施形態では、リズムマスター部210のRM部201Mは、属性情報取得部203で取得した再生中の音楽コンテンツの属性情報に基づいて、楽曲の再構成の基準となる同期信号SYNCと、楽曲構成用データARIとを生成し、当該生成した同期信号SYNCおよび楽曲再構成用データARIを、リズムスレーブ部220のRS部201Sに供給する。
この実施形態では、この同期信号SYNCとして、図15に示すように、楽曲の小節に対応する周期の小節同期信号PHSYと、楽曲の拍に対応する周期のビート同期信号BTSYとを生成出力する。この場合に、RM部201Mは、この第1の実施形態では、再生中の楽曲の小節および拍に同期する信号を生成出力する。
小節同期信号PHSYは、楽曲の小節の頭を示す信号であり、例えば楽曲の小節の先頭でのみ、立ち下がりエッジパルスとなっている。また、ビート同期信号BTSYは、楽曲の拍の頭を示す信号であり、例えば、拍の先頭のみ立下りエッジパルスとなっている。何拍子の曲かにより小節当たりの拍数は異なる。
これらの同期信号に同期する形で、リズムマスター部210からリズムスレーブ部220へ楽曲再構成用データARIが送られる。この楽曲再構成用データARIは、多値のデータなのでデータバス等の複数ビット信号線上を流れる信号とされている。
この第1の実施形態では、RM部201Mは、楽曲再構成用データARIとして、図15に示すように、楽曲構成情報のBPM値と、キー値と、コード値の3つを生成し、リズムスレーブ部220のRS部201Sに供給するようにする。各値のデータは、複数ビットの信号線により伝送するようにしても良いし、それぞれシリアルデータとして1本づつの信号線により伝送するようにしても良い。
BPM値は、リズムスレーブ部220において、楽曲をどれくらいのテンポで再生するかのマスターテンポとなる値である。このBPM値は、同期信号SYNCの発振周波数に相当する。
キー値は、再生する音楽コンテンツのキーを決める値である。特定のキーを決めない場合は「null」値でも良い。楽曲再構成用データARIのキー値が「null」値の場合、リズムスレーブ部220では、自由なキーで再生が行なわれる。
コード値は、再生する音楽コンテンツのコード進行を決める値である。リズムスレーブ部220は、与えられたコード値で再生したり、代理コードで再生したりする。音楽理論に則り、調性が崩れなければ良い。コード値は「null」値でも良い。楽曲再構成データARIのコード値が「null」値の場合、リズムスレーブ部220では、自由なコードで再生を行なう。
なお、この第1の実施形態の場合に、RM部201Mは、再生中の楽曲の属性情報から抽出したBPM値と、キー値と、コード値とを、そのまま楽曲再構成用情報ARIとして出力する。
図16は、この第1の実施形態におけるリズムマスター部210の詳細構成例を示す図であり、特にRM部201Mの機能の詳細をブロック化したものである。すなわち、RM部201Mは、機能的には、属性情報解析部211と、同期信号生成部212と、同期信号出力回路213と、楽曲再構成用データ設定部214と、楽曲再構成用データ出力回路215とを備える。
RM部201Mの属性情報解析部211では、属性情報取得部203から、再構成をしようとする再生中の楽曲の属性情報を受け取って解析し、当該再生中の楽曲の属性情報のうちの前述した楽曲構成情報を抽出し、当該抽出された楽曲構成情報のうち、特に小節や拍の区切り情報の一つであるテンポ情報としてのBPM値を同期信号生成部212に供給する。
同期信号生成部212は、PLL(Phase Locked Loop)回路216を備え、属性情報解析部211からのBPM値に相当する発振周波数で発振し、かつ、再生対象の音楽コンテンツの小節および拍に位相同期する小節同期信号PHSYおよびビート同期信号BTSYとからなら同期信号SYNCを、前記PLL回路216を用いて生成し、生成した同期信号SYNCを同期信号出力回路213を通じて、図15に示すように、RS部201Sに供給する。
RM部201Mの属性情報解析部211では、また、属性情報取得部203から受け取った、前記再生中の楽曲の属性情報の楽曲構成情報のうち、BPM値と、キー値と、コード値とを抽出して、楽曲再構成用データ設定部214に供給する。
楽曲再構成用データ設定部214では、受け取ったBPM値はBPM値設定部217に設定し、受け取ったキー値はキー値設定部218に設定し、受け取ったコード値はコード値設定部219に設定する。そして、BPM値設定部217、キー値設定部218およびコード値設定部219に設定されたBPM値、キー値およびコード値は、楽曲再構成用データ設定部214から楽曲再構成用データ出力回路215に渡され、この楽曲再構成用データ出力回路215から、図15に示すように、楽曲再構成用データARIとして、RS部201Sに供給される。
RM部201Mは、同期信号SYNCおよび楽曲再構成用データARIを、音楽コンテンツの楽曲データの再生に同期して、属性情報取得部203からの属性情報に基づいてリアルタイムに生成し、リズムスレーブ部220のRS部に供給する。
次に、この第1の実施形態におけるリズムスレーブ部220の詳細構成例を図17に示す。リズムスレーブ部220のRS部201Sは、機能的には、図17に示すような構成とされるもので、アレンジ制御部221と、テンポ補正量算出部222と、音程補正量算出部223とを備えている。また、リズムスレーブ220の映像音響アレンジ処理部206は、テンポ補正回路225と、音程補正回路226と、ミキサーおよびエフェクト回路227とからなる。
アレンジ制御部221は、予め、音楽コンテンツ記憶部20の属性情報記憶部22から、属性情報取得部203を通じて、すべての音楽コンテンツの属性情報を取得し、その取得した属性情報から楽曲再構成用属性情報テーブル224を作成して、保持している。この楽曲再構成用属性情報テーブル224には、生体情報、周辺環境情報、再生履歴情報などに基づいて自動的にアレンジを行なうために用いられる楽曲再構成用属性情報の他、ユーザのアレンジ指示に応じた楽曲再構成をするために、属性情報中に含まれるアレンジ用情報から作成される楽曲再構成用属性情報も含まれる。後者の楽曲再構成用属性情報は、この例では、前述したように、ユーザが希望する楽曲ジャンル(クラシック、ポップス、ロック、ソウル、演歌など)風にアレンジするための情報である。
この楽曲再構成用属性情報テーブル224の一部の一例を図18に示す。この図18の例の楽曲再構成用属性情報テーブル224は、この実施形態では、再構成処理の一例としてリミックスを行なうので、リミックス用の属性情報テーブルの構成となっている。そして、図18の楽曲再構成用属性情報テーブル224は、それぞれの楽曲素材名について、コード値と、BPM値と、楽曲名と、感性値とからなる。感性値は、この例では、明るい感じのみとしているが、当然ながらこの限りではない。
アレンジ制御部221は、リミックス処理を実行する際には、RM部201Mから受け取った楽曲再構成用データARIのBPM値およびコード値に等しい、あるいは当該BPM値およびコード値に近似するBPM値およびコード値を有する楽曲素材を、リミックスしようとする楽器ごとに、楽曲再構成用属性情報テーブル224から検索する。
そして、アレンジ制御部221は、生体情報取得部30からの生体情報や周辺環境情報取得部40からの周辺環境情報、再生履歴情報保持部15からの再生履歴情報を参照して、リスナーが明るい感じのものを要求しているか、そうではないかを判別し、楽曲再構成用属性情報テーブルの感性値を参照して、実際にリミックスする楽曲素材を決定する。
また、アレンジ制御部221は、ユーザインターフェース11を通じたユーザのアレンジ指示を受けた場合において、ユーザからのアレンジ指示によるアレンジ処理として、リミックスが必要な場合には、アレンジ用情報を参照し、リミックスする楽曲素材を決定する。
そして、アレンジ制御部221は、決定した当該楽曲素材の音響データを音楽コンテンツ記憶部20から読み出すようにする選択指示をデコード部202に送る。
これを受けたデコード部202は、選択指示された楽曲素材の音声データを音楽コンテンツ記憶部20から読み出し、既に読み出しをしている再生対象の映像音響データに加えて、これらのリミックス用の楽曲素材の音響データを映像音響データ取得部204に渡す。
したがって、映像音響データ取得部204は、再生対象の映像音響データに加えて、このリミックス用の1個または複数個の楽曲素材の音響データを、映像音響データデコード部205に供給するようになる。
このため、映像音響データデコード部205および映像音響アレンジ部206では、それらの複数個の映像音響データを並行して処理するものである。すなわち、映像音響データデコード部205と、映像音響アレンジ部206のテンポ補正回路225および音声補正回路226とは、図17に示すように、並行して処理する映像音響データの数分(図17では2個)の処理回路部を、機能的に、それぞれ備える構成となっている。
図19は、リズムスレーブ部220の映像音響データデコード部205および映像音響アレンジ部206における楽曲信号の流れを、リズムマスター部210からの同期信号SYNCに、同期させて示した図である。この場合、楽曲データ(音響データ)の再生信号のストリームの一つを楽曲トラックと呼ぶことにする。上述したように、リズムスレーブ部220においては、楽曲トラックは、複数個からなり、それぞれ楽曲トラックの楽曲データについて、テンポ補正や音程補正が必要に応じてなされた後、ミキサーおよびエフェクト回路227において最終的にミックスされる。
図19の例では、映像音響データデコード部205から出力された3つの楽曲トラックが、リズムマスター部210からの同期信号SYNCに同期して再生され、最終段でミックス出力されている様子を示している。この例では、楽曲トラック1は再生対象の音楽コンテンツの楽曲データのトラックであり、楽曲トラック2および楽曲トラック3は、リミックスする楽曲素材のトラックである。
この図19の楽曲トラック2や楽曲トラック3のように、リミックスされる楽曲素材は、全部の小節区間に対応してすべて存在している必要はなく、ミックスする小節区間や複数拍分の区間の間だけ、飛び飛びで再生されるようにしても良い。
なお、再生対象の音楽コンテンツの楽曲データについて、リミックスをすることなく、特殊効果のみをかける場合には、再生対象の音楽コンテンツの楽曲データについてのストリームしかなく、ミキサーおよびエフェクト回路227においては、前述したリバーブやディストーションなどの特殊効果処理が再生対象の音楽コンテンツの楽曲データについて施される。
テンポ補正量算出部222は、属性情報取得部203から取得したBPM値と、リズムマスター部210からの楽曲再構成用データARI中のBPM値(BPM値の目標値(目標BPM値)となる)との差分から現在再生中の楽曲にリミックスする楽曲素材についてのテンポ補正量を算出する。このように補正する必要があるのは、BPM値が目標BPM値に全く一致しているものだけではなく、異なっているものであっても、キー値やコード値など、リミックスする楽曲素材として適切なものと判断できるものもあるので、そのような楽曲素材を選択した際に、そのBPM値を目標BPM値に合わせるためである。
そして、テンポ補正量算出部222は、算出したテンポ補正量をテンポ補正回路225の対応する楽曲素材用の処理回路部に供給する。
テンポ補正回路226は、音響データについて、音程を一定に保ちながら再生テンポのみを変更するように補正する回路である。この補正のアルゴリズムは、相関関数を使用する方法等、種々の方法が存在するが、この実施形態はそのアルゴリズムに特徴を有するものではないので、ここではその詳細な説明は省略する。
音程補正量算出部223は、属性情報取得部203から取得したキー値/コード値と、リズムマスター部210からの楽曲再構成用データARI中のキー値/コード値(キー値/コード値の目標値(目標キー値/目標コード値)となる)との差分から現在再生中の楽曲にリミックスする楽曲素材のそれぞれについての音程補正量を算出する。このように補正する必要があるのは、キー値およびコード値が目標キー値および目標コード値に全く一致しているものだけではなく、異なっているものであっても、その他の条件などからして、リミックスする楽曲素材として適切なものと判断できるものもあるので、そのような楽曲素材を選択した際に、そのキー値およびコード値を目標値に合わせるためである。
そして、音程補正量算出部223は、算出した音程補正量を音程補正回路226の、対応する楽曲素材用の処理回路部にそれぞれ供給する。
音程補正回路226は、音響データについて、テンポを一定に保ちながら音程のみを変更するように補正する回路である。この補正のアルゴリズムとしては、種々の方法が存在するが、この実施形態はそのアルゴリズムに特徴を有するものではないので、ここではその詳細な説明は省略する。
ミキサーおよびエフェクト回路227は、アレンジ制御部221からのミキシング制御信号や特殊効果制御信号を受けて、音程補正回路226からの映像音響データに特殊効果をかけたり、音程補正回路226からの複数個の映像音響データをミキシングしたりする。どのような特殊効果をかけるかは、アレンジ制御部221からの特殊効果制御信号による。
図20は、リズムスレーブ部220の映像音響データデコード部205および映像音響アレンジ部206における楽曲信号の流れを、リズムマスター部210からの同期信号SYNCに、同期させて示すと共に、リズムスレーブ部220の映像音響アレンジ部206における楽曲再構成の動作を、リズムマスター部210の楽曲再構成用データARIとの対応させながら示す図である。
図20の例の場合には、楽曲再構成用データARIは、再生対象の音楽コンテンツの属性情報から抽出したものとなっており、当該再生対象の音楽コンテンツは、楽曲トラック1の再生信号ストリームとなっている。図20の例では、楽曲再構成用データARIとして、BPM値「120」、キー値「Cmajor」、コード進行「C」→「G」→「F」の目標値がリズムマスター部210からリズムスレーブ部220へ入力されている。
そして、リズムスレーブ部220では、この楽曲トラック1の再生対象音楽コンテンツの再生信号ストリームに対して、アレンジ制御部221による選択指示に基づいて音楽コンテンツ記憶部20から取得された2個の楽曲素材が楽曲トラック2、楽曲トラック3として映像音響データデコード部205から出力され、前記楽曲再構成用データARIのそれぞれの値の目標値に合うように補正され、最終的にミックスされる。
すなわち、楽曲トラック2,3の音響データは、映像音響アレンジ処理部206において、楽曲再構成用データARIの目標BPM値や目標コード値に合致するように補正された後、楽曲トラック1の楽曲データにミックスされて、リミックス処理がなされる。
この場合、図20に示すように、小節区間Paにおいては、楽曲トラック3の楽曲素材3が、楽曲トラック1の音響データにミックスされるが、属性情報取得部203を通じて取得されたこの楽曲素材3の小節区間PaでのBPM値は「120」であって、楽曲再構成用データARIのBPM値と同一であるので、楽曲素材3の楽曲データについては、映像音響アレンジ処理部206ではテンポの補正はなされない。
しかし、属性情報取得部203を通じて取得された楽曲素材3の小節区間Paでのコード値は「D」であって、楽曲再構成用データARIのコード値「C」とは異なるので、当該楽曲素材3の楽曲データについては、映像音響アレンジ処理部206の音程補正回路226において、前述したようにして音程補正がなされ、「D」→「C」へと目標値になるように変更される。
また、次の小節区間Pbの前半においては、楽曲トラック2の楽曲素材2が楽曲トラック1の音響データにミックスされ、また、小節区間Pbの後半においては、楽曲トラック2の楽曲素材2と、楽曲トラック3の楽曲素材3とが楽曲トラック1の楽曲データにミックスされる。
そして、属性情報取得部203により取得された楽曲素材2の小節区間Pbの前半でのBPM値は「100」、コード値は「E」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「G」と異なる。このため、楽曲素材2の楽曲データは、小節区間Pbの前半において、映像音響アレンジ処理部206で、「100」から「120」と、目標BPM値に合致するようにテンポの補正がなされるとともに、「E」から「G」と、目標コード値に合致するように音程の補正がなされる。そして、小節区間Pbの前半では、それらの補正がなされた楽曲素材2の楽曲データが、楽曲トラック1の楽曲データに加算される。
また、この小節区間Pbの後半では、楽曲素材2のBPM値は「100」、コード値は「E」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「F」と異なるが、楽曲素材3のBPM値は「120」、コード値は「F」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「F」と同一である。
このため、小節区間Pbの後半では、楽曲トラック2の楽曲素材2については、映像音響アレンジ処理部206でテンポおよび音程の補正がなされて楽曲トラック1の楽曲データに加算され、また、楽曲トラック3の楽曲素材3については補正されずに、楽曲トラック1の楽曲データに加算される。
以上のようにして、この第1の実施形態では、再生対象の音楽コンテンツに対して、当該音楽コンテンツに同期する同期信号SYNCと、当該音楽コンテンツの楽曲構成情報に基づく楽曲再構成用データARIとを生成して、この同期信号SYNCおよび楽曲再構成用データARIを基にして、他の楽曲素材をミックスすることにより、いわゆるリミックス処理を元の楽曲に対して違和感なく、実行することができる。
また、同期信号SYNCにより、小節や拍の区切りを容易に検出することができるので、楽曲データについて特殊効果を施すことも容易に行なうことができる。
これら上述のアレンジ制御は、リアルタイムかつ動的に実行することができる。例えば、生体情報センサ入力のように時々刻々変化する入力に対しても、容易に追従することができる。
なお、この実施形態では、リミックスの特殊効果処理の一つとして、ループ再生処理ができるようにしている。このループ再生処理とは、例えば1または複数小節分あるいは1または複数拍分の少量の楽曲素材のデータを、繰り返し再生する処理機能を言う。このループ再生することにより、少量の楽曲素材だけであっても、無限に音楽を奏でることができる。このループ再生を行なう楽曲素材としては、ドラムのリズムパターンなどが例として挙げられる。
例えば、図21(C)に示すような元楽曲素材には、ループ再生の開始点であるマークイン(MarkIn)点と、ループ再生の終了点であるマークアウト(MarkOut)点とが、予め指定されている。この元楽曲素材の情報は、複数個が、例えば音楽コンテンツ記憶部20の属性情報記憶部22に、別個に設けられた「DJループ情報格納部」に格納されている。属性情報記憶部22ではなく、別の記憶エリアに「DJループ情報格納部」を設けて、当該格納部に元楽曲素材情報を格納するようにしても勿論よい。
複数の元楽曲素材から1つの元楽曲素材が、例えばユーザインターフェース11を通じて選択指定され、ループ再生が指定されると、属性情報記憶部22から、指定された元楽曲素材情報が読み出され、リズムスレーブ部220の映像音響データデコード部205に供給される。そして、この映像音響データデコード部205と、映像音響アレンジ部206とにおいて、テンポ補正および音程補正を必要に応じて行いながら、ループ再生を実行する。
この場合、映像音響データデコード部205および映像音響アレンジ部206は、同期信号SYNCの小節同期信号PHSYまたはビート同期信号BTSY(図21(A)参照)に同期して、図21(B)に示すように、ループ再生を行なう楽曲トラックにおいて、元楽曲素材のマークイン点から再生を開始し、マークアウト点まで再生すると、当該マークアウト点からマークイン点にジャンプすることにより、ループ再生を実行する。この場合、マークアウト点からマークイン点へループジャンプするタイミングとマークアウト点への到達タイミングは一致しているものとする。
この場合、ループ再生を行なう一つの楽曲トラックだけでなく、全ての楽曲トラックが同期信号SYNCに同期して再生動作しているので、違和感無く、DJループ再生を行なうことができる。
次に、図22〜図24のフローチャートを参照しながら、上述した再生処理動作について説明する。なお、この図22、図23、図24の各処理ステップは、CPU1がROM3のプログラムにしたがって、RAM4をワークエリアとして用いて実行するものである。
ユーザは、先ず、ユーザインターフェース11のディスプレイの音楽コンテンツの選択画面から、希望する音楽コンテンツ(楽曲)を選択して、映像音響データ選択判断制御部201に対して、1曲目の再生を指示する。2曲目以降は、実施形態の記録再生装置にて自動的に選択されて再生が続行される。
ユーザインターフェース11を通じて1曲目の再生指示を受けた映像音響データ選択判断制御部201は、当該再生指示を受けた音楽コンテンツを認識すると共に、音楽コンテンツ記憶部20の属性情報記憶部22から、当該再生指示を受けた音楽コンテンツの属性情報およびその他の全部の、あるいは所定量の属性情報を読み出すようにデコード部202に指示を出す。そして、その指示に応じてデコード部202から属性情報取得部203を通じて送られてくる属性情報を読み込み、解析する(ステップS61)。
ここで、映像音響データ選択判断制御部201は、後述する次の再生楽曲候補の選定や、聴取中の楽曲の再構成のために、再生指示された音楽コンテンツの属性情報と、他の音楽コンテンツの属性情報を予め取得し、解析して、後述する次の再生楽曲候補の選定や、聴取中の楽曲の再構成のための事前準備をするものである。
次に、映像音響データ選択判断制御部201は、デコード部202に、再生指示された音楽コンテンツの映像音響データの読み出しを指示する。すると、デコード部202は、音楽コンテンツ記憶部20から再生指示された音楽コンテンツの映像音響データを読み出して、映像音響データ取得部204に渡す。映像音響データ取得部204で取得された映像音響データは、映像音響データデコード部205に渡されてデコードされ、映像音響アレンジ処理部206を通じて音響出力部53に供給されて、音響出力されると共に、映像出力部56に供給されて、映像出力され、再生が開始される(ステップS62)。
こうして、音楽コンテンツの再生が開始されると、映像音響データ選択判断制御部201は、この実施形態では、アレンジモードの設定が自動モードであるか、手動モードであるかを判別し(ステップS63)、自動モードであると判別したときには、映像音響データ選択判断制御部201は、リスナーの生体情報を、生体情報取得部30から取得すると共に、周辺環境情報取得部40から周辺環境情報を取得する(ステップS64)。この生体情報と周辺環境情報の取得は、再生中は継続するものである。
そして、映像音響データ選択判断制御部201は、生体情報取得部30から取得したリスナーの生体情報から、リスナーは聴取中の楽曲に対して嗜好を示しているかどうか判別する(ステップS65)。
映像音響データ選択判断制御部201は、例えば、体の動きなどの生体情報を、記録再生装置の生体情報センサ31および生体情報解析部32を通じて受けることにより、リスナーが積極的に音楽を聴きたい状態か、そうでない状態かを判断する。例えば、音楽に乗っている状態では自然と音楽に合わせて体が動く。
すなわち、再生中の楽曲の楽曲構成情報(楽曲素材単位の区切りやテンポ等)と、体の動きのセンサ(加速度センサ等)の出力信号の相互相関関数を計算する等すれば、その相関係数によりリスナーが積極的に音楽を視聴したい状態かどうかをある程度判断することが可能である。この場合に、属性情報中の感性情報も考慮するとさらに良い。つまり、激しい楽曲であれば、リスナーの体の動きもそれに応じて激しく動き、優しい楽曲の場合では、リスナーの体の動きはゆっくりとしたものとなると予測できる。
相関係数が高い程、リスナーが音楽を積極的に視聴したい、いわゆる「乗り」の状態と捉えることができる。リスナーが積極的に音楽を聴いている状態にある場合には、より「乗り」数値の高い楽曲の繰り返し再生をすることで、ユーザの嗜好に合わせた楽曲を再生提示できると考えられる。
また、逆に、楽曲聴取中のリスナーの体の動きが少なく、脳波等も落ち着いた状態であれば、逆に、「乗り」数値の低い静かな曲を音量が小さい状態等で再生提示することにより、ユーザはより穏やかに音楽を楽しむことができると考えられる。
なお、「乗り」だけでなく、再生中の音楽コンテンツの属性情報に含まれる感性情報、例えば「明るい/暗い」、「やさしい/激しい」、「悲しい/楽しい」等の感性的な数値を参照しながら、リスナー生体情報を解析することで、ユーザが嗜好を示しているかどうかを判断するようにする。つまり、例えば優しい楽曲や悲しい楽曲などは「乗り」数値は低いが、脳波や脈等が落ち着いた状態であれば、嗜好を示しているとされる場合もある。
ステップS65で、リスナーは再生中の楽曲に対して嗜好を示してはいないと判別したときには、映像音響データ選択判断制御部201は、再生履歴情報保持部15あるいは予め取り込んだ属性情報の各音楽コンテンツに含まれる再生履歴情報を参照して、再生頻度の高い楽曲を検出する(ステップS66)。
次に、映像音響データ選択判断制御部201は、再生頻度の高い楽曲の属性情報の楽曲構成情報を抽出して、リスナーが好んでいると考えられる曲調を判定する。この場合、再生頻度の高い楽曲が複数個あり、それらの曲調が一致している場合には、その曲調の楽曲構成情報をリスナーが好んでいると判定する。また、再生頻度の高い楽曲が複数あり、かつ、曲調も複数通りあるときには、例えば曲調が同様の高頻度再生楽曲をリスナーが好んでいる楽曲構成情報と判定する。
そして、映像音響データ選択判断制御部201は、上記のリスナーが好んでいると判定した曲調の楽曲構成情報と似ている楽曲構成情報を備える他の楽曲、つまり、曲調が似ている他の楽曲を選出し、それらを次の楽曲再生候補とする(ステップS67)。これは、リスナーが現在再生中の楽曲に嗜好を示していないので、過去のリスナーの再生履歴から、リスナーが嗜好していると考えられる楽曲を、リスナーに呈示しようとするものである。
そして、映像音響データ選択判断制御部201は、再生中の楽曲が最後まで再生されたかを監視し(図23のステップS76)、楽曲の最後まで再生されたと判別したときには、当該再生した楽曲(音楽コンテンツ)についての再生履歴を、再生履歴情報保持部15において更新すると共に、当該音楽コンテンツの属性情報の再生履歴情報も更新する(ステップS77)。
そして、映像音響データ選択判断制御部201は、ステップS67で決定した再生楽曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツの映像音響データの読み出しを指示し、その楽曲の再生を開始するようにする(ステップS78)。そして、ステップS63に戻り、当該ステップS63以降の処理を繰り返す。
ステップS76で、楽曲の最後まで至っていないと判別したときには、映像音響データ選択判断制御部201は、リスナーによりユーザインターフェース11の操作部に設けられている次ボタンが押下されたか否か判別する(ステップS79)。この次ボタンは、リスナーが現在聴いている楽曲ではなく、次の楽曲を聴きたいときに押下されるボタンである。
ステップS79で、次ボタンが押下されたと判別したときには、映像音響データ選択判断制御部201は、ステップS78に進んで、ステップS67で決定した再生楽曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツの映像音響データの読み出しを指示し、その楽曲の再生を開始するようにする。そして、ステップS63に戻り、当該ステップS63以降の処理を繰り返す。
また、ステップS79で次ボタンが押下されてはいないと判別したときには、映像音響データ選択判断制御部201は、ユーザインターフェース11の操作部の停止ボタンがユーザにより押下されたか否か判別し(ステップS80)、停止ボタンが押下されていないと判別したときには、ステップS76に戻り、再生楽曲の終了を監視し、停止ボタンが押下されたと判別したときには、この再生処理ルーチンを終了する。
また、ステップS65で、リスナーが再生中の楽曲に嗜好を示していると判別したときには、映像音響データ選択判断制御部201は、リスナーの嗜好度は高いかどうか、例えば前述した「乗り」数値などを用いて判定する(図23のステップS71)。
そして、リスナーの嗜好度がそれほぼ高くないと判別したときには、映像音響データ選択判断制御部201は、この実施形態では、周辺環境情報取得部40から取得した周辺環境情報を加味して、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽曲候補とする(ステップS72)。すなわち、例えば、先ず、現在再生中の楽曲に付随する属性情報の楽曲構成情報と似ている楽曲構成情報を属性情報とする他の楽曲を選定する。そして、周辺環境情報取得部40から取得した現在地の情報、例えば山や海などの情報を取得し、それらの場所において聴取することがお薦めとなっている周辺環境情報を属性情報に含む楽曲を、その選定された楽曲の中から選択して、次の再生楽曲候補とする。
なお、ステップS72においては、現在再生中の楽曲と曲調が似ている楽曲は探索せずに、周辺環境情報のみに基づいて、次の再生楽曲候補を決定するようにしても良い。また、当該周辺環境情報に合致する周辺環境情報を備える楽曲のみではなく、その楽曲の楽曲構成情報と似ている楽曲を求めて、それらを次の再生楽曲候補とするようにしてもよい。
次に、ステップS71で、嗜好度が高いと判別した時には、映像音響データ選択判断制御部201は、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽曲候補とする(ステップS73)。すなわち、現在再生中の楽曲に付随する属性情報の楽曲構成情報と似ている楽曲構成情報を属性情報とする他の楽曲を選定し、それらを次の再生楽曲候補とする。
さらに、映像音響データ選択判断制御部201は、再生中の楽曲の属性情報から、楽曲素材単位の区切り情報と共に、テンポや、キーや、コード進行などの楽曲素材単位の楽曲構成情報を取得する(ステップS74)。そして、この楽曲素材単位の区切り情報や、楽曲素材単位の楽曲構成情報を用いて、音楽的に違和感の無いように、楽曲の音響データを再構成する(ステップS75)。なお、このステップS75では、映像データにも、エフェクトをかけたりしても良い。
音響データの再構成は、例えば前述したリミックスや、エフェクトの他、テンポを速くしたり、遅くしたり、また、キーを上げたり、下げたり、コード進行を変えてみたりする等の処理を含むものである。
例えば、リミックスの場合には、他の楽曲の楽曲構成情報の中から、当該再生中の楽曲の楽曲構成情報と似ているものを選定して、前記楽曲素材単位の区切りを考慮して、違和感の無い様に元の楽曲に混合するようにする。このリミックスの際に、どのような楽曲素材単位の曲データをミックスするかを、属性情報中の前記感性情報を参照するようにしても良い。
また、記録再生装置に、予めドラムによるリズムの刻みや、パーカッションのパートを記憶して用意しておき、それらを、再生中の楽曲に楽曲素材単位の区切りに注意しながらリミックスするようにするようにしてもよい。
また、映像音響データ選択判断制御部201は、リミックスする他の楽曲を選定する場合に、周辺環境情報を参照して、当該周辺環境に適合する楽曲を、その属性情報の周辺環境情報を参照することにより探索するようにすることもできる。
また、再生中の楽曲の属性情報中に、お薦めのエフェクトパラメータが含まれている場合には、そのエフェクトのパラメータを用いて、楽曲素材単位の区切りに注意して、音楽的に違和感の無いように、エフェクト処理を行なうこともできる。
ステップS63で、アレンジモードとして手動モードが設定されている判別したときには、映像音響データ選択判断制御部201は、映像音響データ選択判断制御部201は、リスナーの生体情報を、生体情報取得部30から取得すると共に、周辺環境情報取得部40から周辺環境情報を取得する(ステップS91)。この生体情報と周辺環境情報の取得は、再生中は継続するものである。
そして、映像音響データ選択判断制御部201は、生体情報取得部30から取得したリスナーの生体情報から、リスナーは聴取中の楽曲に対して嗜好を示しているかどうか判別し(ステップS92)、嗜好を示していないと判別したときには、図22のステップS66にジャンプし、前述したこのステップS66以降の処理を実行する。
ステップS92で、リスナーは嗜好を示していると判別したときには、映像音響データ選択判断制御部201は、ユーザからのユーザインターフェース11を通じたアレンジ指示があったか否か判別する(ステップS93)。このステップS93で、アレンジ指示があったと判別したときには、映像音響データ選択判断制御部201は、属性情報記憶部22から指示されたアレンジ用情報、その他必要な情報を読み出して、ユーザ指示に従ったアレンジを行なうように、楽曲データの再構成を行なう(ステップS94)。
この楽曲データの再構成により、再生中の楽曲の曲調が変わることから、映像音響データ選択判断制御部201は、生体情報取得部30から取得したリスナーの生体情報から、リスナーが聴取中の楽曲に対して嗜好度を示しているかどうか判別する(ステップS95)。
ステップS93で、アレンジ指示がなかったと判別したときには、映像音響データ選択判断制御部201は、ステップS94をバイパスして、ステップS95に進み、リスナーが聴取中の楽曲に対して嗜好度を示しているかどうか判別する。
ステップS95で、ユーザの嗜好度がそれほぼ高くないと判別したときには、映像音響データ選択判断制御部201は、この実施形態では、周辺環境情報取得部40から取得した周辺環境情報を加味して、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽曲候補とする(ステップS96)。
すなわち、例えば、先ず、現在再生中の楽曲に付随する属性情報の楽曲構成情報と似ている楽曲構成情報を属性情報とする他の楽曲を選定する。そして、周辺環境情報取得部40から取得した現在地の情報、例えば山や海などの情報を取得し、それらの場所において聴取することがお薦めとなっている周辺環境情報を属性情報に含む楽曲を、その選定された楽曲の中から選択して、次の再生楽曲候補とする。
なお、ステップS96においては、現在再生中の楽曲と曲調が似ている楽曲は探索せずに、周辺環境情報のみに基づいて、次の再生楽曲候補を決定するようにしても良い。また、当該周辺環境情報に合致する周辺環境情報を備える楽曲のみではなく、その楽曲の楽曲構成情報と似ている楽曲を求めて、それらを次の再生楽曲候補とするようにしてもよい。
次に、ステップS95で、ユーザの嗜好度が高いと判別した時には、映像音響データ選択判断制御部201は、現在再生中の楽曲と曲調が似ている楽曲を次の再生楽曲候補とする(ステップS97)。すなわち、現在再生中の楽曲に付随する属性情報の楽曲構成情報と似ている楽曲構成情報を属性情報とする他の楽曲を選定し、それらを次の再生楽曲候補とする。
そして、映像音響データ選択判断制御部201は、ステップS96およびステップS97の後には、ステップS98に進み、再生中の楽曲が最後まで再生されたかを監視し、楽曲の最後まで再生されたと判別したときには、当該再生した楽曲(音楽コンテンツ)についての再生履歴を、再生履歴情報保持部15において更新すると共に、当該音楽コンテンツの属性情報の再生履歴情報も更新する(ステップS99)。
そして、映像音響データ選択判断制御部201は、ステップS96またはステップS97で決定した再生楽曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツの映像音響データの読み出しを指示し、その楽曲の再生を開始するようにする(ステップS100)。そして、図22のステップS63に戻り、当該ステップS63以降の処理を繰り返す。
ステップS98で、楽曲の最後まで至っていないと判別したときには、映像音響データ選択判断制御部201は、リスナーによりユーザインターフェース11の操作部に設けられている次ボタンが押下されたか否か判別する(ステップS101)。この次ボタンは、リスナーが現在聴いている楽曲ではなく、次の楽曲を聴きたいときに押下されるボタンである。
ステップS101で、次ボタンが押下されたと判別したときには、映像音響データ選択判断制御部201は、ステップS100に進んで、ステップS96またはステップS97で決定した再生楽曲候補の中から、次に再生する楽曲の音楽コンテンツを選択し、当該音楽コンテンツの映像音響データの読み出しを指示し、その楽曲の再生を開始するようにする。そして、ステップS63に戻り、当該ステップS63以降の処理を繰り返す。
また、ステップS101で次ボタンが押下されてはいないと判別したときには、映像音響データ選択判断制御部201は、ユーザインターフェース11の操作部を通じて、ユーザによりアレンジ指示がなされていないかどうかの判別を行ない、アレンジ指示がなされていると判別したときには、ステップS94に戻り、このステップS94以降の処理を繰り返す。
また、ステップS102で、アレンジ指示がなされていないと判別したときには、映像音響データ選択判断制御部201は、ユーザインターフェース11の操作部の停止ボタンがユーザにより押下されたか否か判別し(ステップS103)、停止ボタンが押下されていないと判別したときには、ステップS98に戻り、再生楽曲の終了を監視し、停止ボタンが押下されたと判別したときには、この再生処理ルーチンを終了する。
なお、上述の例では、リスナーが再生中の楽曲に嗜好を示していないときには、ステップS66で再生履歴情報を取得し、ステップS67で当該再生履歴情報に基づいて、次の再生楽曲候補を定めるようにしたが、ステップS66で、周辺環境情報取得部40を通じて取得した周辺環境情報を解析して例えば山とか海とかの場所を算出し、ステップS67で、属性情報として、当該周辺環境情報に合致する周辺環境情報を備える楽曲を次の再生楽曲候補として定めるようにしてもよい。また、当該周辺環境情報に合致する周辺環境情報を備える楽曲のみではなく、その楽曲の楽曲構成情報と似ている楽曲を求めて、それらを次の再生楽曲候補とするようにしてもよい。
さらには、映像音響データ選択判断制御部201は、ステップS67において、再生履歴情報と、周辺環境情報との両方を用いて、次の再生楽曲候補を決定するようにすることもできる。
図25は、リズムマスター部210での同期信号および楽曲再構成用データの生成出力処理の一例のフローチャートである。
先ず、映像音響データ選択判断制御RM部201Mは、属性情報取得部203を通じて音楽コンテンツ記憶部20の属性情報記憶部22から再生対象の音楽コンテンツの属性情報を取得し(ステップS111)、当該取得した属性情報中から、BPM値、キー値およびコード値を抽出する(ステップS112)。
次に、抽出したBPM値に基づいて、小節同期信号PHSYおよびビート同期信号BTSYからなる同期信号SYNCを生成する(ステップS113)。また、抽出したBPM値、キー値およびコード値を、BPM値設定部、キー値設定部およびコード値設定部に設定する(ステップS114)。
そして、ステップS113で生成した同期信号SYNCと、ステップS114で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS115)。
そして、再生の終了であるか否か判別し(ステップS116)、再生の終了であればこの図25の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS117)、楽曲はまだ終了ではないと判別したときには、ステップS113に戻って、同期信号SYNCおよび楽曲再構成用データARIをリズムスレーブ部220に送出を続ける。
また、ステップS117で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS118)、ステップS111に戻り、以上の処理を繰り返す。
なお、この場合、前述したように、例えば、属性情報中に記述されている、楽曲素材単位としての例えば小節の区切りのタイムコード情報と、実際の映像音響データの小節の区切りのタイムコードとが正確に一致しているように構成されており、音楽コンテンツの映像音響データと属性情報とは、きっちりと対応しているようにされている。したがって、リズムマスター部210からリズムスレーブ部220に供給される同期信号SYNCおよび楽曲再構成用データARIは、リズムスレーブ部220に映像音響データ取得部204を通じて入力される映像音響データの再生信号ストリームと、全く同期しているものである。
次に、図26は、リズムスレーブ部220での楽曲再構成処理の一例のフローチャートである。なお、ここでは、楽曲再構成処理は、リミックス処理のみを例として説明するが、特殊効果処理をすることもできることは前述した通りである。
先ず、映像音響データ選択判断制御RS部201Sは、属性情報取得部203を通じて音楽コンテンツ記憶部20の属性情報記憶部22から、再生対象の楽曲だけでなく、複数個の音楽コンテンツの属性情報を取得し(ステップS121)、当該取得した属性情報に基づいて、再生対象の楽曲にリミックスする楽曲素材を検出する(ステップS122)。
ここで、音楽コンテンツ記憶部20の属性情報記憶部22から、すべての音楽コンテンツの属性情報を読み出して取得するようにしてもよいが、音楽コンテンツ記憶部20に記憶されている音楽コンテンツの数が大量になると、再生対象の楽曲にリミックスする楽曲素材の検出の負荷が過大になってしまう。そこで、この例では、一度にすべての属性情報を音楽コンテンツ記憶部20の属性情報記憶部22から読み出すのではなく、複数回に分けて読み出して、各回において再生対象の楽曲にリミックスする楽曲素材の検出をするようにする。
複数回に分けて、属性情報を音楽コンテンツ記憶部20の属性情報記憶部22から読み出すので、リミックスする楽曲素材の検出処理は、再生対象の楽曲の再生が開始された後にも行なわれることになるが、楽曲の再生開始と同時にリミックスすることはあまり無いことを考慮すると、再生対象の楽曲にリミックスする楽曲素材の検出処理としては、十分に間に合う。
次に、映像音響データ選択判断制御RS部201Sからの選択指示にしたがってデコード部202および映像音響データ取得部204を通じて、再生対象の映像音響データを取得して再生を開始する(ステップS123)。この再生は、リズムマスター部210からの同期信号SYNCおよび楽曲再構成用データARIに同期してなされるのは前述した通りである。
次に、映像音響データ選択判断制御RS部201Sは、再生中の楽曲にリミックス処理を施すか否かを判別し(ステップS124)、リミックス処理をしないと判別したときには、再生対象の楽曲データを映像音響データデコード部205および映像音響アレンジ部206を通じて音響出力部53および映像出力部56に送出する(ステップS125)。
また、ステップS124で、リミックス処理をすると判別したときには、ステップS122で検出したリミックスする楽曲素材のテンポと音程を、前述したように、リズムマスター部210からの楽曲再構成用データARIに基づいて、必要に応じて補正しながら、再生対象の楽曲データにリミックスする(ステップS126)。そして、リミックス処理した楽曲データを出力する(ステップS127)。
そして、再生の終了であるか否か判別し(ステップS128)、再生の終了であればこの図26の処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS129)、楽曲はまだ終了ではないと判別したときには、ステップS124に戻って、このステップS124以降の処理を繰り返す。
また、ステップS129で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS130)、ステップS121に戻り、以上の処理を繰り返す。
[第2の実施形態]
上述の第1の実施形態では、リズムマスター部210は、再生対象の音楽コンテンツの属性情報から抽出したBPM値、キー値、コード値を基準と、再生対象の楽曲についての再構成処理として、リミックス処理をする場合を主として説明した。このため、再生対象の楽曲のテンポや音程を変更することの説明は特に行なわなかったが、リスナーの気分や、楽曲を聴取している場所などの周辺環境や、アレンジ用情報などを考慮して、再生対象の楽曲について、テンポや音程を変更補正し、楽曲の再構成処理をすることもできる。
また、場合によっては、リスナーがテンポや音程の変更指示をする場合も考えられる。また、再生対象の楽曲を、記録再生装置が置かれている場所で演奏されているドラムやピアノなどに同期させて再生させたいという要求や、記録再生装置に外部から入力される楽曲に同期させて再生させたいとする要求もある。
この第2の実施形態は、これらの要求を実現することができるようにした記録再生装置を提供するものである。
図27は、この第2の実施形態の場合における記録再生装置のブロック図で、図1の第1の実施形態の場合における記録再生装置において、システムバス2に対して、ライン入力インターフェース17と、マイク入力インターフェース18とが追加接続されている構成とされており、ハードウエア的には、その他の構成は、第1の実施形態と全く同様である。
そして、ライン入力インターフェース17には、外部入力端子8が接続されている。ライン入力インターフェース17は、この外部入力端子(ライン入力端子)8を通じて入力された映像音響データをシステムバス2に送出する。
この第2の実施形態では、外部入力端子8を通じて入力された映像音響データは、ユーザインターフェース11を通じたユーザ指示操作に応じて、エンコード/デコード部12で記録エンコードされ、音楽コンテンツ記憶部20の映像音響データ記憶部21に格納される。
また、外部入力端子8を通じて入力された映像音響データが曲調分析部13で分析され、その結果得られた楽曲構成情報がエンコード/デコード部12により記録エンコードされ、音楽コンテンツ記憶部20の属性情報記憶部22に格納される。この場合、音楽コンテンツ記憶部20に格納される属性情報と、対応する映像音響データとは、その識別情報により対応付けられるのは前述した通りである。
そして、この第2の実施形態では、後述するように、この外部入力端子8を通じて入力された映像音響データのテンポに同期して、再生対象の楽曲データの再生が可能とされるように構成されている。すなわち、外部入力端子8を通じて入力された映像音響データが曲調分析部13で分析され、その分析結果の一つであるBPM値に基づいて、前述した同期信号SYNCが生成されるものである。
マイク入力インターフェース18には、収音手段としてのマイクロホン9が接続されており、このマイクロホン9で収音されて得られる音声信号が、このマイク入力インターフェース18でデジタル信号に変換されて、システムバス2に送出される。
そして、この第2の実施形態では、後述するように、マイクロホン9で収音されて、マイク入力インターフェース18を通じて入力された音響データのテンポに同期して、再生対象の楽曲データの再生が可能とされるように構成されている。
例えば、記録再生装置の近傍で演奏されているドラム、ピアノ、楽曲がマイクロホン9で収音され、曲調分析部13で分析されて、BPM値が検出され、検出されたBPM値に基づいて、前述した同期信号SYNCが生成される。
図28は、前述の第1の実施形態の図13の再生部に対応する第2の実施形態の再生部200を示すものである。映像音響データ選択判断制御部201に対して、ライン入力インターフェース17が接続されると共に、マイク入力インターフェース18が接続されている点が異なると共に、映像音響データ選択判断制御部201におけるソフトウエア処理が第1の実施形態の場合とは異なる。その他は、第1の実施形態と同様である。
図29は、図28の再生部200を、楽曲の再構成処理の観点から見た機能ブロック図の構成を示すもので、実質上の構成内容は、図28と変わりはない。
この図29に示すように、再生部200は、楽曲データの再構成の基準となる同期信号と楽曲再構成用情報とを生成して出力するリズムマスター部210と、このリズムマスター部210からの同期信号と楽曲再構成用情報とを受けて、楽曲データの再構成を実行するリズムスレーブ部220とからなる。
映像音響データ選択判断制御部201は、第1の実施形態と同様に、リズムマスター部210に属するRM部201Mと、リズムスレーブ部220に属するRS部201Sとに分けられる。そして、この第2の実施形態では、属性情報取得部203だけでなく、生体情報取得部30と、周辺環境情報取得部40と、再生履歴情報保持部15とが、リズムマスター部210と、リズムスレーブ部220の両方に属するものとされる。
すなわち、この第2の実施形態におけるリズムマスター部210は、RM部201Mと、属性情報取得部203と、生体情報取得部30と、周辺環境情報取得部40と、再生履歴情報保持部15とを備えて構成される。
一方、この第2の実施形態におけるリズムスレーブ部220は、第1の実施形態と同様に、RS部201Sと、属性情報取得部203と、生体情報取得部30と、周辺環境情報取得部40と、再生履歴情報保持部15と、映像音響データ取得部204と、映像音響データデコード部205と、映像音響アレンジ処理部206とを備えて構成される。つまり、リズムスレーブ部は、第1の実施形態とほぼ同様の構成とされる。
そして、リズムマスター部210のRM部201Mは、属性情報取得部203からの属性情報のみに基づいて楽曲の再構成の基準となる同期信号SYNCを生成するのではない。この第2の実施形態では、リズムマスター部210は、ユーザインターフェース11を通じたユーザ入力、ライン入力インターフェース17を通じて外部から入力される映像音響データ、マイク入力インターフェース18を通じて入力される外部収音音声データ、生体情報取得部30で取得されたリスナーの生体情報、周辺環境情報取得部40で取得された周辺環境情報、再生履歴情報保持部15から読み出される再生履歴情報に基づいて、楽曲の再構成の基準となる同期信号SYNCを生成するようにする。
また、この第2の実施形態では、リズムマスター部210は、同期信号SYNCのみではなく、楽曲構成用データARIも、ユーザインターフェース11を通じたユーザ入力、ライン入力インターフェース17を通じて外部から入力される映像音響データ、マイク入力インターフェース18を通じて入力される外部収音音声データ、生体情報取得部30で取得されたリスナーの生体情報、周辺環境情報取得部40で取得された周辺環境情報、再生履歴情報保持部15から読み出される再生履歴情報に基づいて、生成することが可能とされている。
図30は、この第2の実施形態におけるリズムマスター部210の詳細構成例を示す図であり、特にRM部201Mの機能の詳細をブロック化したものである。この第2の実施形態では、RM部201Mは、第1の実施形態の同期信号生成部212に代わって同期信号生成部230を備えると共に、第1の実施形態の属性情報解析部211に代わって、再生態様設定部240を備える。
そして、再生態様設定部240には、属性情報取得部203だけではなく、生体情報取得部30、周辺環境情報取得部40、再生履歴情報保持部15、ライン入力インターフェース17、マイク入力インターフェース18およびユーザインターフェース11の出力が供給される。その他は、第1の実施形態のリズムマスター部210と同様に構成される。
同期信号生成部230は、内部リズム同期発生部231と、外部リズム同期発生部232と、生体リズム同期発生部233と、これら3種のリズム同期発生部231,232,233からの出力同期信号のいずれかを選択する選択スイッチ回路234とを備えて構成される。
内部リズム同期発生部231は、例えばPLL回路を備え、第1の実施形態と同様に、再生対象の音楽コンテンツの属性情報から抽出されたBPM値に基づいて同期信号SYNCを生成するか、あるいは、ユーザインターフェース11を通じてユーザにより設定されたBPM値に基づいて同期信号SYNCを生成する。
外部リズム同期発生部232は、例えばPLL回路を備え、ライン入力インターフェース17を通じて入力された外部入力信号から抽出されたBPM値や、マイク入力インターフェース18を通じて入力された外部収音音声信号から抽出されたBPM値に基づいて、外部から入力される音楽リズムに同期するように同期信号SYNCを生成する。
生体リズム同期発生部233は、例えばPLL回路を備え、生体情報取得部30から取得したユーザの脈波や歩行テンポや歩行速度、腕や手を振るテンポや速度などの生体情報から、当該生体情報に同期する同期信号SYNCを生成する。なお、PLL回路は、3個の同期発生部231,232,233で、1個のPLL回路を共通に用いることができる。
再生態様設定部240は、この第2の実施形態では、ユーザインターフェース11を通じたユーザの同期選択入力により、同期信号SYNCの発生を、内部リズム同期、外部リズム同期、生体リズムの何れにするかを決定し、同期信号生成部230の選択スイッチ回路234の選択制御信号を生成する。
[内部リズム同期]
(再生対象音楽コンテンツに同期)
内部リズム同期の場合には、再生対象の音楽コンテンツの属性情報に同期させるのか、ユーザインターフェース11を通じてユーザ設定されたBPM値に同期させるのかが、さらに選択される。同様に、外部リズム同期の場合には、ライン入力端子8を通じた外部入力信号またはマイクロホン9で収音された外部音声の何れに同期させるのかが、さらに選択される。
そして、内部リズム同期の再生対象の音楽コンテンツの属性情報同期が選択されたときには、再生態様設定部240は、選択スイッチ回路234は、内部リズム同期発生部231の出力を選択する状態に切り換えると共に、属性情報取得部203を通じて再生対象の音楽コンテンツの属性情報を取得し、その属性情報からBPM値を抽出して同期信号生成部230の内部リズム同期発生部231に供給する。内部リズム同期発生部231は、これに供給されたBPM値に相当する発振周波数で発振し、かつ、再生対象の音楽コンテンツの音楽リズムに位相同期する同期信号SYNCを生成する。
したがって、同期信号生成部230からは、再生対象の音楽コンテンツの属性情報中のBPM値に基づいて生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に出力される。
また、このとき、再生態様設定部240は、属性情報取得部203を通じて取得した再生対象の音楽コンテンツの属性情報から、キー値と、コード値とを抽出し、前記抽出したBPM値と共に、楽曲再構成用データ設定部214に供給する。楽曲再構成用データ設定部214は、それらBPM値、キー値、コード値をそれぞれの設定部217,218,219に設定する。
したがって、再生対象の音楽コンテンツの属性情報中のBPM値、キー値、コード値を含む楽曲再構成用データARIが、同期信号SYNCに同期して、リズムスレーブ部220に出力される。この結果、リズムスレーブ220では、第1の実施形態と同様にして、再生対象の音楽コンテンツの属性情報に基づいて楽曲に対する再構成がなされる。
(ユーザ入力に同期)
また、内部リズム同期のユーザ入力設定同期が選択されたときには、再生態様設定部240は、選択スイッチ回路234を、内部リズム同期発生部231の出力を選択する状態に切り換えると共に、ユーザインターフェース11を通じてBPM値の入力を受け付け、当該受け付けたBPM設定値を、同期信号生成部230の内部リズム同期発生部231に供給する。内部リズム同期発生部231は、これに供給されたBPM値に相当する発振周波数で発振する同期信号SYNCを生成する。
したがって、同期信号生成部230からは、ユーザにより指定されたBPM値に基づいて生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に出力される。これにより、同期信号生成部230からは、ユーザが設定したBPM値に基づいて生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に供給される。
また、このとき、再生態様設定部240は、ユーザインターフェース11を通じて、BPM値の他、キー値およびコード値(コード進行)の入力を受け付け、当該受け付けたBPM値、キー値、コード値を楽曲再構成用データ設定部214に供給する。この場合、キー値やコード値は、時系列的に変化する態様もユーザにより入力されることになる。楽曲再構成用データ設定部214は、それらBPM値、キー値、コード値をそれぞれの設定部217,218,219に設定する。
したがって、ユーザの設定値に応じたBPM値、キー値、コード値を含む楽曲再構成用データARIが、同期信号SYNCに同期して、リズムスレーブ部220に出力される。この結果、リズムスレーブ部220から、ユーザが設定したテンポや曲調で楽曲の音響再生出力をすることができる。
[外部リズム同期]
また、外部リズム同期が選択されたときには、再生態様設定部240は、選択スイッチ回路234を、外部リズム同期発生部232の出力を選択する状態に切り換えると共に、ユーザ選択にしたがって、ライン入力インターフェース17を通じて、あるいはマイク入力インターフェース18を通じて取り込まれた音響データを、曲調分析部13で分析し、その分析結果として得られるBPM値を外部リズム同期発生部232に供給する。外部リズム同期発生部232は、これに供給されたBPM値に相当する発振周波数で発振し、かつ、外部から入力される音楽リズムに位相同期する同期信号SYNCを生成する。
これにより、同期信号生成部230からは、外部入力信号またはマイク入力信号から検出されたBPM値に基づいて生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に出力される。
再生態様設定部240は、また、属性情報取得部203を通じて取得した再生対象の音楽コンテンツの属性情報から、キー値と、コード値とを抽出し、前記抽出したBPM値と共に、楽曲再構成用データ設定部214に供給する。楽曲再構成用データ設定部214は、それらBPM値、キー値、コード値をそれぞれの設定部217,218,219に設定する。
したがって、外部入力信号またはマイク入力信号から検出されたBPM値、キー値、コード値を含む楽曲再構成用データARIが、同期信号SYNCに同期して、リズムスレーブ部220に出力される。
これにより、この外部リズム同期の状態においては、リズムスレーブ部220から、外部から取り込まれた楽曲に同期して設定されたテンポで楽曲の音響再生出力をすることができる。
[生体リズム同期]
また、生体リズム同期が選択されたときには、再生態様設定部240は、選択スイッチ回路234を、生体リズム同期発生部233の出力を選択する状態に切り換えると共に、生体情報取得部30を通じて取得した生体情報からテンポやリズムに関する成分を抽出し、抽出した成分からBPM値に対応する情報を生成し、当該生成したBPM値を、同期信号生成部230の生体リズム同期発生部231に供給する。
これにより、同期信号生成部230においては、ユーザの生体リズムに相当する発振周波数で発振し、かつ、生体リズムに位相同期された同期信号SYNCが生成され、当該生成された同期信号SYNCが同期信号出力回路213を通じてリズムスレーブ部220に供給される。したがって、リズムスレーブ部220から、ユーザの生体リズムに同期したテンポで楽曲の音響再生出力をすることができる。
なお、この生体リズム同期が選択されたときにおいては、単純に、生体情報取得部30を通じて取得した生体情報のみに基づいて同期信号SYNCを生成するのではなく、周辺環境情報取得部40からの周辺環境情報をも参照して、同期信号SYNCを生成することもできる。
例えば、周辺環境情報から、記録再生装置が存在する位置が「海」で、気温が高く、天候が雨ではないと判別したときには、生体情報に同期して、アップテンポとなるような同期信号SYNCを生成し、また、記録再生装置が存在する位置が「山」であるときには、生体情報に同期して、スローテンポとなるような同期信号SYNCを生成するようにすることができる。
また、再生履歴情報保持部15の再生履歴情報として、各楽曲に対応して、当該楽曲を視聴中のリスナーの脈などの生体情報を記憶して保持しておき、生体情報取得部30から取得して生体情報に近似する生体情報となっている楽曲を、再生履歴情報保持部15から検索し、その楽曲の属性情報からBPM値を求めて、同期信号SYNCを生成するようにしてもよい。その場合には、同期信号SYNCは、生体情報取得部30から取得した生体情報に同期させてもよいし、また、同期させなくても良い。
また、このとき、再生態様設定部240は、この実施形態では、生体情報取得部30からの生体情報および/または周辺環境情報取得部40からの周辺環境情報を検索子として、再生履歴情報保持部15に保持されている再生履歴情報を検索し、検索結果の楽曲の属性情報からBPM値、キー値、コード値を生成し、それらを楽曲再構成用データ設定部214に渡す。楽曲再構成用データ設定部214は、それらBPM値、キー値、コード値をそれぞれの設定部217,218,219に設定する。
例えば、生体情報からリスナーは気分が高揚していることが判定された場合に、当該気分が高揚しているときにいつも聴いている楽曲を再生履歴から検出し、その楽曲のBPM値に基づいて同期信号SYNCを生成し、その楽曲のBPM値、キー値、コード進行を楽曲再構成用データARIとして生成して、リズムマスター部210からリズムスレーブ部220に供給することができる。これにより、リスナーは、気分が高揚しているときにいつも聴いている楽曲に近似するテンポや曲調で楽曲を再生することが可能になる。
また、周辺環境情報から、海または山などの場所を特定することができたり、雨、晴れ、などの天候を特定することができた場合に、再生履歴情報に含まれるそれらの周辺環境情報を参照して、当該場所や環境条件において、よく聴いている楽曲を再生履歴から検出し、その楽曲のBPM値に基づいて同期信号SYNCを生成し、その楽曲のBPM値、キー値、コード進行を楽曲再構成用データARIとして生成して、リズムマスター部210からリズムスレーブ部220に供給することができる。これにより、リスナーは、同じような周辺環境条件において、にいつも聴いている楽曲に近似するテンポや曲調で楽曲を再生することが可能になる。
したがって、生体情報および/または周辺環境情報、さらに再生履歴情報に基づいて選定された楽曲の属性情報中のBPM値、キー値、コード値を含む楽曲再構成用データARIが、同期信号SYNCに同期して、リズムスレーブ部220に出力される。この結果、リズムスレーブ220では、そのときのユーザの気分や、周辺環境に応じたテンポおよび曲調で、楽曲が再構成がなされて、音響再生される。
また、ユーザがユーザインターフェース11を通じてアレンジ指示をした場合には、当該アレンジ指示に応じたテンポ、曲調で、楽曲が再構成されて、音響再生されるのは、前述した第1の実施形態と同様である。
なお、この第2の実施形態において、同期信号SYNCの発生の方法としては、上述の例に限定されるものではない。例えば、周辺環境情報取得部40で取得した周辺環境情報と、再生履歴情報保持部15に保持されている再生履歴とから定めた同期信号SYNCを発生するようにすることもできる。
例えば、周辺環境情報取得部40から取得した周辺環境情報を検索子として、再生履歴情報保持部15の再生履歴を検索し、当該再生履歴情報保持部15に記憶されている再生履歴情報に含まれる楽曲の属性情報中の周辺環境情報として同じ、あるいは近似するものを検出し、当該周辺環境情報を検索子として検索した楽曲の属性情報に含まれるBPM値に基づいて、同期信号SYNCを生成するようにしてもよい。
上述した第1の実施形態では、最初に再生する楽曲は、ユーザが選択するようにした。この第2の実施形態においても、最初の楽曲は、ユーザが選択するようにしても良いが、内部リズム同期のユーザ設定による同期の場合や、外部リズム同期、また、生体リズム同期では、リズムスレーブ220において、楽曲再構成用データARIに合致するあるいは近似する楽曲を、音楽コンテンツ記憶部20の属性情報記憶部22に記憶されている属性情報から検出して、再生をするようにすることもできる。
また、再生中の楽曲に対する再構成処理は、この第2の実施形態においても、リズムマスター部210からの同期信号SYNCおよび楽曲再構成用データARIを用いて、第1の実施形態と同様にしてできるものである。
[リズムマスター部210の動作説明]
この第2の実施形態におけるリズムマスター部210での処理動作のフローチャートを、図31〜図34を参照しながら説明する。
先ず、再生態様設定部240は、この実施形態では、ユーザインターフェース11を通じて、ユーザにより選択指定された同期基準は何であるか判別する(ステップS201)。
このステップS201で、内部リズム同期の場合であって、同期基準は、再生対象の音楽コンテンツであると判別すると、映像音響データ選択判断制御RM部201Mの再生態様設定部240は、属性情報取得部203を通じて音楽コンテンツ記憶部20の属性情報記憶部22から再生対象の音楽コンテンツの属性情報を取得し(ステップS202)、当該取得した属性情報中から、BPM値、キー値およびコード値を抽出する(ステップS203)。
次に、抽出したBPM値に基づいて、小節同期信号PHSYおよびビート同期信号BTSYからなる同期信号SYNCを生成する(ステップS204)。また、抽出したBPM値、キー値およびコード値を、BPM値設定部、キー値設定部およびコード値設定部に設定する(ステップS205)。
そして、ステップS204で生成した同期信号SYNCと、ステップS94で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS206)。
そして、再生の終了であるか否か判別し(ステップS207)、再生の終了であればこの処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS208)、楽曲はまだ終了ではないと判別したときには、例えばユーザによりユーザインターフェース11を通じて、同期基準の変更操作がされたか否か判別し(ステップS210)、同期基準の変更操作がされたと判別したときには、ステップS201に戻って、このステップS201以降の処理を繰り返す。
また、ステップS210で同期基準の変更操作がなされていないと判別したときには、ステップS204に戻り、このステップS204以降の処理を繰り返す。
また、ステップS208で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS209)、ステップS202に戻り、以上の処理を繰り返す。
次に、ステップS201で、設定された同期基準は、内部リズム同期の場合であって、ユーザ設定入力であると判別すると、再生態様設定部240は、ユーザ入力により設定されたBPM値を取得し(図32のステップS221)、当該取得したBPM値に基づいて、小節同期信号PHSYおよびビート同期信号BTSYからなる同期信号SYNCを生成する(ステップS222)。また、ユーザ入力により設定されたBPM値、キー値およびコード値を取得し(ステップS223)、当該取得したBPM値、キー値およびコード値を、楽曲再構成用データ設定部214に送って、そのBPM値設定部217、キー値設定部218およびコード値設定部219に設定する(ステップS224)。
そして、ステップS222で生成した同期信号SYNCと、ステップS223で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS225)。
そして、再生の終了であるか否か判別し(ステップS226)、再生の終了であればこの処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS227)、楽曲はまだ終了ではないと判別したときには、例えばユーザによりユーザインターフェース11を通じて、同期基準の変更操作がされたか否か判別し(ステップS229)、同期基準の変更操作がされたと判別したときには、ステップS201に戻って、このステップS201以降の処理を繰り返す。
また、ステップS229で同期基準の変更操作がなされていないと判別したときには、ステップS225に戻り、このステップS225以降の処理を繰り返す。
また、ステップS227で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS228)、ステップS225に戻り、このステップS225以降の処理を繰り返す。
次に、ステップS201で、設定された同期基準は、外部リズム同期であると判別したときには、同期基準となる外部入力は、外部入力端子8からの入力信号か、マイクロホン9で収音された音声信号かを判別する(図33のステップS231)。
このステップS231で、外部入力端子8からの入力信号を同期基準とすると判別したときには、再生態様判定部240は、外部入力端子8を通じて入力された音声信号を曲調分析部13に供給して、分析を行なわせる(ステップS232)。また、ステップS231で、マイクロホン9で収音した音声信号を同期基準とすると判別したときには、再生態様判定部240は、マイクロホン9で収音された音声信号を曲調分析部13に供給して、分析を行なわせる(ステップS233)。
ステップS232およびステップS233の次には、何れもステップS234に進み、曲調分析部13での分析結果からBPM値を求め、求めたBPM値を同期信号生成部230に渡して、同期信号SYNCを生成する(ステップS234)。
また、曲調分析部13での分析結果からBPM値、キー値、コード値を求め、当該求めたBPM値、キー値、コード値を楽曲再構成用データ生成部214に送って、そのBPM設定部217、キー値設定部218、コード値設定部219に設定する(ステップS235)。
そして、ステップS234で生成した同期信号SYNCと、ステップS235で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS236)。
そして、再生の終了であるか否か判別し(ステップS237)、再生の終了であればこの処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS238)、楽曲はまだ終了ではないと判別したときには、例えばユーザによりユーザインターフェース11を通じて、同期基準の変更操作がされたか否か判別し(ステップS239)、同期基準の変更操作がされたと判別したときには、ステップS201に戻って、このステップS201以降の処理を繰り返す。
また、ステップS239で同期基準の変更操作がなされていないと判別したときには、ステップS234に戻り、このステップS234以降の処理を繰り返す。
また、ステップS238で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS240)、ステップS231に戻り、このステップS231以降の処理を繰り返す。
次に、ステップS201で、設定された同期基準は、生体リズム同期の場合であると判別すると、再生態様設定部240は、生体情報取得部30を通じてリスナーの生体情報を取得し(図34のステップS251)、また、記録再生装置の周辺環境情報を取得する(ステップS252)。
そして、取得した生体情報から、テンポ情報を抽出し、その抽出したテンポ情報を同期信号生成部230に供給し、当該テンポ情報から、同期信号SYNCを生成する(ステップS253)。そして、生体情報と、周辺環境情報と、再生履歴情報保持部15の再生履歴情報とから、前述したようにして、BPM値、キー値、コード値を決定する(ステップS254)。
そして、決定したBPM値、キー値およびコード値を、楽曲再構成用データ設定部214に送って、そのBPM値設定部217、キー値設定部218およびコード値設定部219に設定する(ステップS255)。
そして、ステップS253で生成した同期信号SYNCと、ステップS255で設定したBPM値、キー値およびコード値からなる楽曲再構成用データARIとを、リズムスレーブ部220に送出する(ステップS256)。
そして、再生の終了であるか否か判別し(ステップS257)、再生の終了であればこの処理ルーチンを終了する。また、再生の終了でなければ、再生中の楽曲が最後まで再生されて終了となったか否か判別し(ステップS258)、楽曲はまだ終了ではないと判別したときには、例えばユーザによりユーザインターフェース11を通じて、同期基準の変更操作がされたか否か判別し(ステップS260)、同期基準の変更操作がされたと判別したときには、ステップS201に戻って、このステップS201以降の処理を繰り返す。
また、ステップS260で同期基準の変更操作がなされていないと判別したときには、ステップS251に戻り、このステップS251以降の処理を繰り返す。
また、ステップS258で、楽曲は終了したと判別したときには、選択されている次の楽曲の再生準備をし(ステップS259)、ステップS251に戻り、このステップS251以降の処理を繰り返す。
以上のようにして、この第2の実施形態では、再生対象の楽曲についても、テンポや音程を変える再構成を行なうことができる。リスナーは、例えばユーザインターフェースを通じて、テンポや音程の変更指示を変えることにより、再生中の楽曲を、当該視聴時点において自分が好むように再構成して、音響再生出力することができる。
また、再生対象の楽曲を、外部から入力された音声に同期して再生するように再構成することができる。また、リスナーの歩行に合わせたり、脈拍に合わせたりして、楽曲を再生することが可能になる。また、周辺環境に応じて、テンポを上げたり、下げたり、また、キーを上げたり、下げたりすることもできる。
図35は、この第2の実施形態において、リズムマスター部210からの同期信号SYNCおよび楽曲再構成用データARIを受けたリズムスレーブ部220の映像音響データデコード部205および映像音響アレンジ部206における楽曲信号の流れを、リズムマスター部210からの同期信号SYNCに、同期させて示すと共に、リズムスレーブ部220の映像音響アレンジ部206における楽曲再構成の動作を、リズムマスター部210の楽曲再構成用データARIとの対応させながら示す図である。
図35の例の場合には、楽曲再構成用データARIは、再生対象の音楽コンテンツの属性情報から抽出したものとなっているとは限らず、再生対象の音楽コンテンツのBPM値と異なっている。また、楽曲再構成用データARIに含まれるキー値やコード値も、再生対象の音楽コンテンツのそれらと異なっている。
図35において、再生対象の音楽コンテンツは、楽曲トラック1の再生信号ストリームとなっている。図35の例では、楽曲再構成用データARIとして、BPM値「120」、キー値「Cmajor」、コード進行「C」→「G」→「F」の目標値がリズムマスター部210からリズムスレーブ部220へ入力されている。
そして、リズムスレーブ部220では、楽曲トラック1の再生対象音楽コンテンツの再生信号ストリームに対して、アレンジ制御部221による選択指示に基づいて音楽コンテンツ記憶部20から取得された当該再生対象音楽コンテンツの楽曲データ自身のテンポや音程が補正されると共に、2個の楽曲素材が、楽曲トラック2、楽曲トラック3として映像音響データデコード部205から出力され、その2個の楽曲素材の楽曲データが、前記楽曲再構成用データARIのそれぞれの値の目標値に合うように補正され、楽曲トラック1の再生対象音楽コンテンツに対して最終的にミックスされる。
すなわち、楽曲トラック1の音響データは、映像音響アレンジ処理部206において、楽曲再構成用データARIの目標BPM値や目標コード値に合致するように補正されると共に、楽曲トラック2,3の音響データが、映像音響アレンジ処理部206において、楽曲再構成用データARIの目標BPM値や目標コード値に合致するように補正された後、楽曲トラック1の楽曲データにミックスされて、リミックス処理がなされる。
この場合、図35に示すように、楽曲トラック1の音響データは、属性情報取得部203を通じて取得されたこの楽曲素材1の小節区間Pa、PbでのBPM値は「140」であって、楽曲再構成用データARIのBPM値「120」と異なっているので、映像音響アレンジ処理部206でテンポの補正がなされて、当該小節区間PaおよびPbにおける楽曲トラック1の楽曲データは、そのBPM値が「140」から「120」になるように補正される。
また、楽曲トラック1の音響データは、属性情報取得部203を通じて取得されたこの楽曲素材1の小節区間Paでのコード値は「D」であって、楽曲再構成用データARIのコード値「C」と異なっているので、映像音響アレンジ処理部206で音程補正がなされて、楽曲トラック1の楽曲データは、そのコード値が「D」から「C」になるように補正される。
そして、この小節区間Paでは、楽曲トラック3の楽曲素材3が、楽曲トラック1の音響データにミックスされるが、属性情報取得部203を通じて取得されたこの楽曲素材3の小節区間PaでのBPM値は「120」であって、楽曲再構成用データARIのBPM値と同一であるので、楽曲素材3の楽曲データについては、映像音響アレンジ処理部206ではテンポの補正はなされない。
しかし、属性情報取得部203を通じて取得された楽曲素材3の小節区間Paでのコード値は「D」であって、楽曲再構成用データARIのコード値「C」とは異なるので、当該楽曲素材3の楽曲データについては、映像音響アレンジ処理部206の音程補正回路226において、前述したようにして音程補正がなされ、「D」→「C」へと目標値になるように変更される。
また、次の小節区間Pbの前半においては、楽曲トラック1の音響データは、属性情報取得部203を通じて取得されたこの楽曲素材1の小節区間Pbの前半でのコード値は「D」であって、楽曲再構成用データARIのコード値「G」と異なっているので、映像音響アレンジ処理部206で音程補正がなされて、楽曲トラック1の楽曲データは、そのコード値が「D」から「G」になるように補正される。
そして、楽曲トラック1の音響データは、属性情報取得部203を通じて取得されたこの楽曲素材1の小節区間Pbの後半でのコード値は「D」であって、楽曲再構成用データARIのコード値「F」と異なっているので、映像音響アレンジ処理部206で音程補正がなされて、楽曲トラック1の楽曲データは、そのコード値が「D」から「F」になるように補正される。
そして、小節区間Pbの前半においては、楽曲トラック2の楽曲素材2が楽曲トラック1の音響データにミックスされ、また、小節区間Pbの後半においては、楽曲トラック2の楽曲素材2と、楽曲トラック3の楽曲素材3とが楽曲トラック1の楽曲データにミックスされる。
そして、この小節区間Pbの前半においては、属性情報取得部203により取得された楽曲素材2の小節区間Pbの前半でのBPM値は「100」、コード値は「E」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「G」と異なる。このため、楽曲素材2の楽曲データは、小節区間Pbの前半において、映像音響アレンジ処理部206で、「100」から「120」と、目標BPM値に合致するようにテンポの補正がなされるとともに、「E」から「G」と、目標コード値に合致するように音程の補正がなされる。そして、小節区間Pbの前半では、それらの補正がなされた楽曲素材2の楽曲データが、楽曲トラック1の楽曲データに加算される。
また、この小節区間Pbの後半では、楽曲素材2のBPM値は「100」、コード値は「E」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「F」と異なるが、楽曲素材3のBPM値は「120」、コード値は「F」であって、楽曲再構成用データARIの目標BPM値「120」および目標コード値「F」と同一である。
このため、小節区間Pbの後半では、楽曲トラック2の楽曲素材2については、映像音響アレンジ処理部206でテンポおよび音程の補正がなされて楽曲トラック1の楽曲データに加算され、また、楽曲トラック3の楽曲素材3については補正されずに、楽曲トラック1の楽曲データに加算される。
以上のようにして、この第2の実施形態においては、リズムマスター部からの同期信号SYNCと、楽曲再構成用データARIとを基にして、再生対象の音楽コンテンツに対して、例えば、リスナーの気分に応じた再構成を施すことができると共に、他の楽曲素材をミックスすることにより、いわゆるリミックス処理を元の楽曲に対して違和感なく、実行することができる。そして、ユーザがアレンジ指示により、曲調をクラシック風、ジャズ風、ロック風などに、容易に変更して楽曲を楽しむことができる。
また、この第2の実施形態においても、同期信号SYNCにより、小節や拍の区切りを容易に検出することができるので、楽曲データについて特殊効果を施すことも容易に行なうことができる。同様にして、この第2の実施形態においても、リミックスの特殊効果処理の一つとして、ループ再生処理ができる。
そして、この第2の実施形態では、音響再生された楽曲を聴取したユーザの生体情報や、周辺環境情報あるいはユーザの再生履歴情報に基づいて、同期信号を変更することもできるようにされているので、ユーザの好みや、環境変化に応じて、変化のある音響再生をすることが可能となる。
[第3の実施形態]
以上の実施の形態においては、アレンジ用情報は、予め、音楽コンテンツの提供者側が、推奨情報を作成して、属性情報に含めておくようようにしたが、ユーザが、アレンジ用情報を自作することができるようにしておいても良い。
この場合には、音楽コンテンツの属性情報として含まれる楽曲構成情報中の、原曲についてのコード進行やテンポなどをユーザに呈示して、それをユーザが修正することができるようにする。
すなわち、ユーザが、楽曲IDなどの楽曲識別情報を伴う自作アレンジ用情報の作成要求を、音楽コンテンツの記録再生装置において行うと、当該装置(CPU1)は、要求された楽曲についての属性情報から、コード進行やテンポ、などの楽曲構成情報を、楽曲素材単位で抽出し、例えばLCD表示画面111に表示するようにする。
これに対して、ユーザは、表示された楽曲構成情報のそれぞれについて、これを直接変更したり、あるいは、コピー、修正を行なうことにより、アレンジ用情報の作成入力をする。そして、ユーザは、音楽コンテンツの記録再生装置に対して、作成したアレンジ用情報を、その名前などの識別情報と共に登録要求をする。
すると、作成されたアレンジ用情報は、自作アレンジ用情報として、当該楽曲についての属性情報に含められて、前記名前などの識別情報と共に、属性情報記憶部22に記憶される。属性情報とは別に、属性情報記憶部22ではなく、自作アレンジ用情報の記憶エリアを別個に設け、当該記憶エリアに自作アレンジ用情報を記憶するようにしても良い。
そして、ユーザからのアレンジ指示が、自作アレンジ用情報であるときに、音楽コンテンツの記録再生装置は、この自作アレンジ用情報の一覧を読み出してユーザに呈示し、上述と同様にして、ユーザにより選択指示された自作アレンジ用情報に従って楽曲を再構成してアレンジを実行するようにする。
なお、自作したアレンジ用情報は、その識別情報および楽曲IDと共に、サーバ装置6側にアップロードして、他のユーザの使用のために提供するようにしても良い。サーバ装置6側では、それぞれの楽曲についての自作アレンジ用情報を、ユーザからの楽曲ダウンロード要求があったときに提示して、ユーザに提供することができる。
[その他の実施形態および変形例]
なお、以上の説明では、アレンジ指示操作は、図12に示したように、LCD表示画面111と、カーソルボタン112とを用いるようにしたが、LCD表示画面111とタッチパネルとを組み合わせて、LCD表示画面111上でのみユーザがアレンジ指示操作をすることができるようにしてもよい。
また、逆に、図12に示したような、LCD表示画面111と操作ボタンとの組み合わせではなく、曲調変更を直接的に指示する操作ボタンなどの操作部を、音楽コンテンツの記録再生装置に設けるようにしてもよい。
例えば、図36の例は、アレンジ指示が上述のように、曲調を他のジャンルの曲風に変更するようにするものである場合に、変更後の「ジャンル風」を指示するボタンを設けるようにした場合である。
すなわち、この図36の例においては、クラシック風ボタン113、ジャズ風ボタン114、ロック風ボタン115、その他風ボタン116が設けられている。そして、楽曲の再生中に、ユーザがクラシック風ボタン113を押下すると、再生中の楽曲の属性情報が参照されて、クラシック風にするためのアレンジ用情報が読み出され、当該アレンジ用情報に基づいて、上述のようにして、楽曲が再構成されて、再生される。
もしも、クラシック風のアレンジのための属性情報が、前述したように、複数態様のクラシック風アレンジ用情報を含む場合には、クラシック風ボタン113をユーザが押下すると、そのクラシック風アレンジの複数の態様の一覧が、図12(B)と同様に、LCD画面111に表示される。このときには、十字型カーソルボタン112を操作して、いずれかのアレンジ態様を選択して、決定すると、そのアレンジ態様に、再生中楽曲が再構成されて再生される。
また、図36のように、複数個のボタンを設けるのではなく、図37に示すように、曲調変更ボタン117を、1個、設け、この曲調変更ボタン117を押す毎に、例えば、クラシック風→ジャズ風→ロック風→ヒップホップ風→・・・と、サイクリックに変更するようにしても良い。このとき、曲調変更ボタン117を押したときに、どの曲調になるかを、LCD表示画面111に表示して、ユーザに報せるようにするものである。
また、LCD画面111にタッチパネルを貼付して、図36や図37の操作ボタン113〜117をLCD画面111に表示し、タッチパネルを通じてユーザが、それらの操作ボタンを操作するように構成してもよい。
図36の例は、1つのボタン操作に1つの「ジャンル風」を対応させた例であるが、操作ボタンなどの操作手段をボリューム型可変操作手段の構成とし、2種類の「ジャンル風」に1つの操作手段で変えるようにすることもできる。
図38は、その場合の例で、回動可能な構成とされたボリューム型可変つまみ118を用いる場合の例で、このボリューム型可変つまみ118のボリューム位置を中央にしているときには、音楽コンテンツは元の曲調で再生されるが、ボリューム型可変つまみ118を、中央位置から右側に回すと、その回動角の大きさに応じて、図38の例では、だんだん「クラシック風」が強調されるように曲調を変更するように、再生装置が構成される。逆に、ボリューム型可変つまみ118を、中央位置から左側に回すと、その回動角の大きさに応じて、図38の例では、だんだん「ヒップホップ風」が強調されるように曲調を変更するように、再生装置が構成される。
図38の例は、ボリューム型可変操作手段は、回動つまみによるボリューム型可変つまみの例であるが、ボリューム型可変操作手段は、スライド型の可変つまみであっても良い。
なお、図36の各ジャンル風を選択する操作ボタン113〜116のそれぞれを、押ボタンで、かつ、ボリューム型可変つまみの構成にして、押ボタンを押すことで、当該ジャンル風が選択でき、さらに、例えば左に一杯に回した状態では、音楽コンテンツは元の曲調で再生されるが、右に回すほど、その回動角に応じて、それぞれのジャンル風が徐々に強調されるように曲調が変更されるように構成することもできる。
また、図37の例の操作ボタン117についても同様の構成とすることができる。つまり、操作ボタン117を押す毎に、ジャンル風を変更選択すると共に、ボリューム型可変つまみの構成操作ボタン117を右に回すほど、その回動角に応じて、それぞれ選択されたジャンル風が徐々に強調されるように曲調が変更されるように構成することもできる。
また、ボリューム型可変つまみもLCD表示画面111に表示して、タッチパネルを通じて可変操作するように構成することも勿論可能である。
また、ボリューム型可変つまみをユーザが操作するようにするだけでなく、例えば生体情報取得部30から生体情報に同期させて、ボリューム型可変つまみを可変制御するように構成することも可能である。すなわち、例えば、ユーザの走行テンポなどを生体情報取得部30から取得し、その取得した走行テンポに応じて、「ユーザが速く走っていれば、楽曲テンポをより速くすると同時にヒップホップ風がより強調される」というようにアレンジを行なうように構成することも可能である。
なお、上述の実施形態の説明では、アレンジモードは、自動モードと手動モードとを設けるようにしたが、手動モードだけであっても良い。
手動モードだけの場合には、上述の実施形態の場合のように、ユーザが嗜好度を示しているときに、アレンジ指示をするようにする必要はなく、任意の時点でアレンジ指示をすることができることは言うまでもない。
また、手動モードだけの場合には、生体情報取得部30や周辺環境情報取得部40は、設ける必要がなく、構成を簡単にすることができる。
上述の実施形態では、アレンジ用情報は、属性情報の一部として属性情報記憶部に、楽曲データと対応して保存しておくようにしたが、アレンジ用情報は、属性情報の一部とする必要はなく、属性情報とは別個に、楽曲IDと対応して記憶して管理するようにするようにしても良い。
また、上述の実施形態では、ユーザがアレンジ指示をしたときに、音楽コンテンツの記録再生装置の記憶部からアレンジ用情報を読み出して、楽曲データの再構成をするようにしたが、ユーザがアレンジ指示をしたときにサーバ装置からアレンジ用情報を取得して、当該取得したアレンジ用情報に基づいて、上述したような再構成処理(アレンジ処理)を行なうようにすることもできる。その場合には、音楽コンテンツの記録再生装置には、アレンジ用情報を記憶しておく必要はない。
その場合には、音楽コンテンツの記録再生装置には、直接的なアレンジ指示操作部を設ける必要はなく、音楽コンテンツの記録再生装置は、サーバ装置6にアクセスし、サーバ装置6から呈示されるアレンジ種類の一覧から、例えば十字型カーソルボタンなどにより、自分が希望するアレンジ種類を指示することができればよい。
また、その場合のサーバ装置からのアレンジ用情報の取得は、楽曲の再生前である場合に限られる必要はなく、楽曲再生中であっても良く、音楽コンテンツの記録再生装置は、取得したアレンジ用情報をリアルタイムで利用して、上述したような再構成処理(アレンジ処理)を行なうようにすることもできる。
なお、上述の実施形態の説明では、音楽コンテンツ記憶部は、ハードディスク装置で構成し、音楽コンテンツの映像音響データと、属性情報とが、音楽コンテンツ識別情報(音楽コンテンツID)を介して対応付けられて記録されるようにしたが、前述もしたように、音楽コンテンツ記憶部は、リムーバル記録メディア(着脱可能メディア)であるDVDなどの光ディスクで構成することもできる。
また、上述の説明では、音楽コンテンツ記憶部においては、音楽コンテンツには、属性情報が必ず付随するように説明したが、属性情報は、必要に応じて、例えばインターネットから、音楽コンテンツIDを検索子として取得して使用するようにすることもできる。その場合には、インターネットに接続されるサーバ装置が属性情報記憶部を構成することになる。
つまり、音楽コンテンツの映像音響データと、属性情報とは、1つの記憶部に格納されている必要はなく、音楽コンテンツIDなどの両者を対応付ける情報を用いて対応することが可能な態様であれば、別々の記憶部に格納されていてもよい。
また、上述の実施形態は、記録再生装置の場合であるが、この発明は、記録機能の無い再生装置であってもよいことは言うまでもない。
また、前述した図22〜図24の再生処理の流れは、一例であって、どのように再生を行なうかは、これに限られるものではない。
例えば、嗜好度が高いときにのみ、再生中の楽曲について、テンポやキーを変更したり、リミックスしたり、エフェクトをかけたりして再構成処理を行なうようにしたが、嗜好度に関係なく、再生中の楽曲について再構成処理を行なうようにしてもよい。
また、上述の実施形態では、音楽コンテンツとしては、映像データが付随したものを取り扱うようにしたが、映像データは必須では無いことは言うまでもない。
また、上述の第1の実施形態では、楽曲の再生を開始する際、最初の楽曲は、ユーザが選択指定するようにしたが、例えば、リスナーの生体情報や、周辺環境情報あるいは再生履歴情報から最初の楽曲を装置が自動的に選択するようにしてもよい。
例えば、リスナーの生体情報から、リスナーが興奮状態あるいは沈静状態であるかを判別し、それに合致するあるいは逆の曲調の楽曲を最初の曲として選択するようにしても良い。また、現在位置が山か、海かを周辺環境情報から判別し、属性情報に含まれる周辺環境情報を参照して、当該場所に合致する楽曲を選択して、最初の楽曲としてもよい。また、再生履歴から良く聴いている楽曲を最初の楽曲として選択するようにしても良い。
この発明による音楽コンテンツの再生装置の第1の実施形態が適用された記録再生装置のブロック図である。 実施形態の記録再生装置で用いられる属性情報の一部の情報を説明するための図である。 実施形態の記録再生装置で用いられる属性情報の一部の情報を説明するための図である。 実施形態の記録再生装置で用いられる属性情報の一部の情報を説明するための図である。 図1の記録再生装置における処理の一例のフローチャートである。 図1の記録再生装置の動作を説明するために用いるフローチャートである。 図1の音楽コンテンツ記憶部の例を説明するための図である。 図1の音楽コンテンツ記憶部の例を説明するための図である。 図1の記録再生装置のうちの記録処理動作部を説明するための機能ブロック図である。 図1の記録再生装置における記録処理動作を説明するためのフローチャートの一部である。 図1の記録再生装置における記録処理動作を説明するためのフローチャートの一部である。 図1の記録再生装置におけるアレンジ指示動作を説明するための図である。 図1の記録再生装置のうちの再生処理動作部を説明するための機能ブロック図である。 図1の記録再生装置の要部の機能ブロック図である。 図14の機能ブロック図の説明のための図である。 図14の機能ブロック図の一部の、さらに詳細な機能ブロック図である。 図14の機能ブロック図の一部の、さらに詳細な機能ブロック図である。 図14の機能ブロック図の一部の説明のための図である。 図14の機能ブロック図の説明のためのタイミング図である。 図14の機能ブロック図の説明のためのタイミング図である。 図14の機能ブロック図の説明のための図である。 図1の記録再生装置における再生処理動作を説明するためのフローチャートの一部である。 図1の記録再生装置における再生処理動作を説明するためのフローチャートの一部である。 図1の記録再生装置における再生処理動作を説明するためのフローチャートの一部である。 図14の一部を構成するリズムマスター部の処理動作のフローチャートである。 図14の一部を構成するリズムスレーブ部の処理動作のフローチャートである。 この発明による音楽コンテンツの再生装置の第2の実施形態が適用された記録再生装置のブロック図である。 図27の第2の実施形態の記録再生装置のうちの再生処理動作部を説明するための機能ブロック図である。 図27の第2の実施形態の記録再生装置の要部の機能ブロック図である。 図27の機能ブロック図の一部の、さらに詳細な機能ブロック図である。 図27の一部を構成するリズムマスター部の処理動作のフローチャートの一部である。 図27の一部を構成するリズムマスター部の処理動作のフローチャートの一部である。 図27の一部を構成するリズムマスター部の処理動作のフローチャートの一部である。 図27の一部を構成するリズムマスター部の処理動作のフローチャートの一部である。 図27の機能ブロック図の説明のためのタイミング図である。 実施形態の記録再生装置におけるアレンジ指示動作の他の例を説明するための図である。 実施形態の記録再生装置におけるアレンジ指示動作の他の例を説明するための図である。 実施形態の記録再生装置におけるアレンジ指示動作の他の例を説明するための図である。
符号の説明
10…CPU、20…音楽コンテンツ記憶部、30…生体情報取得部、40…周辺環境情報取得部、50…映像・音響出力部、210…リズムマスター部、220…リズムスレーブ部、111…LCD、112…カーソルボタン、113〜117…操作ボタン

Claims (8)

  1. 複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する第1の取得手段と、
    前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材単位の楽曲構成情報を含む属性情報記憶部から前記属性情報を取得する第2の取得手段と、
    前記音楽コンテンツと対応付けられて、前記楽曲構成情報と関連付けられて生成されているアレンジ用情報を取得する第3の取得手段と、
    前記第1の取得手段により取得した前記再生対象の音楽コンテンツデータを音響再生出力する手段と、
    リスナーのアレンジ指示を受け付けるアレンジ指示受付手段と、
    前記アレンジ指示受付手段で受け付けたアレンジ指示に応じて、前記第2の取得手段により取得した前記楽曲構成情報と、前記第3の取得手段により取得した前記アレンジ用情報とに基づいて、前記音響再生出力する前記再生対象の音楽コンテンツのデータを再構成する再構成手段と、
    を備える音楽コンテンツの再生装置。
  2. 請求項1に記載の音楽コンテンツの再生装置において、
    楽曲の小節に対応する周期の信号と楽曲の拍に対応する周期の信号とを含む同期信号を発生すると共に、楽曲再構成用情報を前記同期信号に同期して発生するリズムマスター部と、
    前記第1の取得手段により取得した前記再生対象の音楽コンテンツデータを、前記リズムマスター部からの前記同期信号と前記楽曲再構成用情報とに基づくと共に、前記第3の取得手段により取得した前記アレンジ用情報を用いて再構成して、出力楽曲データを生成して音響再生出力するリズムスレーブ手段と、
    を備えることを特徴とする音楽コンテンツの再生装置。
  3. 請求項1に記載の音楽コンテンツの再生装置において、
    前記アレンジ用情報は、自装置の記憶部に記憶されているものであり、
    前記第3の取得手段は、前記アレンジ指示受付手段で受け付けられた前記アレンジ指示に応じて、前記自装置の記憶部から前記アレンジ用情報を読み出す手段である
    ことを特徴とする音楽コンテンツの再生装置。
  4. 請求項1に記載の音楽コンテンツの再生装置において、
    前記第3の取得手段は、通信ネットワークを通じて前記アレンジ用情報が保持されているサーバ装置から、前記アレンジ指示受付手段で受け付けられた前記アレンジ指示に応じて、前記アレンジ用情報を取得する手段である
    ことを特徴とする音楽コンテンツの再生装置。
  5. 請求項1に記載の音楽コンテンツの再生装置において、
    前記アレンジ用情報は、前記リスナーによって作成されたものである
    ことを特徴とする音楽コンテンツの再生装置。
  6. 請求項1に記載の音楽コンテンツの再生装置において、
    前記アレンジ指示受付手段は、アレンジ種類を指定するための操作部を備える
    ことを特徴とする音楽コンテンツの再生装置。
  7. 請求項1に記載の音楽コンテンツの再生装置において、
    前記アレンジ指示受付手段は、ボリューム型可変操作手段で構成され、
    前記ボリューム型可変操作手段によるボリューム位置が一側に変位したときには、その変位量に応じて第1のアレンジ種類の曲調が徐々に強調されるようにされ、前記ボリューム位置が他側に変位したときには、その変位量に応じて第2のアレンジ種類の曲調が徐々に強調されるようにされる
    ことを特徴とする音楽コンテンツの再生装置。
  8. 複数個の音楽コンテンツのデータが格納されている音楽コンテンツデータ記憶部から、再生対象の音楽コンテンツのデータを取得する第1の取得ステップと、
    前記音楽コンテンツと対応付けられて、少なくとも前記音楽コンテンツの楽曲素材単位の楽曲構成情報を含む属性情報記憶部から前記属性情報を取得する第2の取得ステップと、
    前記音楽コンテンツと対応付けられて、前記楽曲構成情報と関連付けられて生成されているアレンジ用情報を取得する第3の取得ステップと、
    前記第1の取得ステップで取得した前記再生対象の音楽コンテンツデータを音響再生出力するステップと、
    リスナーのアレンジ指示を受け付けるアレンジ指示受付ステップと、
    前記アレンジ指示受付ステップで受け付けたアレンジ指示に応じて、前記第2の取得ステップで取得した前記楽曲構成情報と、前記第3のステップで取得した前記アレンジ用情報とに基づいて、前記音響再生出力する前記再生対象の音楽コンテンツのデータを再構成する再構成ステップと、
    を備える音楽コンテンツの再生方法。
JP2005125920A 2005-04-25 2005-04-25 音楽コンテンツの再生装置および音楽コンテンツ再生方法 Expired - Fee Related JP4626376B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005125920A JP4626376B2 (ja) 2005-04-25 2005-04-25 音楽コンテンツの再生装置および音楽コンテンツ再生方法
CN2006800124474A CN101160615B (zh) 2005-04-25 2006-04-05 音乐内容重放设备和音乐内容重放方法
EP06731139.9A EP1876583B1 (en) 2005-04-25 2006-04-05 Musical content reproducing device and musical content reproducing method
PCT/JP2006/307191 WO2006114998A1 (ja) 2005-04-25 2006-04-05 音楽コンテンツの再生装置および音楽コンテンツ再生方法
US11/910,563 US8269092B2 (en) 2005-04-25 2006-04-05 Musical content reproducing device and musical content reproducing method
KR1020077019469A KR101233800B1 (ko) 2005-04-25 2006-04-05 음악 콘텐츠의 재생장치 및 음악 콘텐츠 재생방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005125920A JP4626376B2 (ja) 2005-04-25 2005-04-25 音楽コンテンツの再生装置および音楽コンテンツ再生方法

Publications (3)

Publication Number Publication Date
JP2006301471A true JP2006301471A (ja) 2006-11-02
JP2006301471A5 JP2006301471A5 (ja) 2007-10-18
JP4626376B2 JP4626376B2 (ja) 2011-02-09

Family

ID=37214626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005125920A Expired - Fee Related JP4626376B2 (ja) 2005-04-25 2005-04-25 音楽コンテンツの再生装置および音楽コンテンツ再生方法

Country Status (6)

Country Link
US (1) US8269092B2 (ja)
EP (1) EP1876583B1 (ja)
JP (1) JP4626376B2 (ja)
KR (1) KR101233800B1 (ja)
CN (1) CN101160615B (ja)
WO (1) WO2006114998A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164932A (ja) * 2006-12-28 2008-07-17 Sony Corp 音楽編集装置および方法、並びに、プログラム
JP2008233493A (ja) * 2007-03-20 2008-10-02 Yamaha Corp 曲編集装置およびプログラム
JP2009134669A (ja) * 2007-12-03 2009-06-18 Sony Corp 情報処理装置、情報処理端末、情報処理方法、およびプログラム
JP2010262723A (ja) * 2009-05-11 2010-11-18 Pioneer Electronic Corp 再生装置、プレーヤー、再生装置の再生履歴情報記録方法、プレーヤーの再生履歴情報記録方法およびプログラム
JP2010282160A (ja) * 2009-06-08 2010-12-16 Yamaha Corp 音楽コンテンツ処理装置及びプログラム
JP2012015809A (ja) * 2010-06-30 2012-01-19 Kddi Corp 楽曲選択装置、楽曲選択方法および楽曲選択プログラム
JP2012155085A (ja) * 2011-01-25 2012-08-16 Yamaha Corp 楽音合成装置およびプログラム
WO2014030187A1 (ja) * 2012-08-23 2014-02-27 パイオニア株式会社 コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム
WO2014030188A1 (ja) * 2012-08-23 2014-02-27 パイオニア株式会社 コンテンツ再生方法、コンテンツ再生装置およびプログラム
KR101410928B1 (ko) * 2007-07-26 2014-06-23 삼성전자주식회사 음악 재생 장치의 사용자에게 추천할 음악을 결정하는 방법및 이를 위한 장치
JP2015135518A (ja) * 2015-03-25 2015-07-27 ヤマハ株式会社 楽音合成装置およびプログラム

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE43379E1 (en) * 2003-10-09 2012-05-15 Pioneer Corporation Music selecting apparatus and method
US20080022208A1 (en) * 2006-07-18 2008-01-24 Creative Technology Ltd System and method for personalizing the user interface of audio rendering devices
JP5259075B2 (ja) * 2006-11-28 2013-08-07 ソニー株式会社 マッシュアップ装置およびコンテンツの作成方法
JP5259083B2 (ja) * 2006-12-04 2013-08-07 ソニー株式会社 マッシュアップ用データの配布方法、マッシュアップ方法、マッシュアップ用データのサーバ装置およびマッシュアップ装置
TW200828077A (en) * 2006-12-22 2008-07-01 Asustek Comp Inc Video/audio playing system
US7804016B2 (en) * 2007-07-26 2010-09-28 Samsung Electronics Co, Ltd. Method and device for selecting music to be recommended for user by using music reproduction device
EP2304726A1 (en) * 2008-05-16 2011-04-06 Tonium AB Audio mix instruction file with timing information referring to unique patterns within audio tracks
US8558100B2 (en) * 2008-06-24 2013-10-15 Sony Corporation Music production apparatus and method of producing music by combining plural music elements
US8347210B2 (en) * 2008-09-26 2013-01-01 Apple Inc. Synchronizing video with audio beats
WO2010041147A2 (en) * 2008-10-09 2010-04-15 Futureacoustic A music or sound generation system
GB2483409A (en) * 2009-06-01 2012-03-07 Starplayit Pty Ltd Music game improvements
US10254824B2 (en) * 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
KR101594391B1 (ko) * 2009-10-22 2016-02-16 삼성전자주식회사 휴대용 멀티미디어 재생기에서 사용자 경험에 기반한 멀티미디어 재생 목록 생성방법 및 장치
CN102412920B (zh) * 2010-09-20 2015-04-29 阿尔派株式会社 电子设备及其控制方法
JP5594052B2 (ja) * 2010-10-22 2014-09-24 ソニー株式会社 情報処理装置、楽曲再構成方法及びプログラム
US9514481B2 (en) * 2010-12-20 2016-12-06 Excalibur Ip, Llc Selection and/or modification of an ad based on an emotional state of a user
US20120224828A1 (en) * 2011-02-08 2012-09-06 Stephen Silber Content selection
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
CN102956230B (zh) * 2011-08-19 2017-03-01 杜比实验室特许公司 对音频信号进行歌曲检测的方法和设备
JP5614422B2 (ja) * 2012-03-19 2014-10-29 ブラザー工業株式会社 運動支援装置、運動支援方法、及び、プログラム
US9552607B2 (en) * 2012-03-21 2017-01-24 Beatport, LLC Systems and methods for selling sounds
CN103514432B (zh) 2012-06-25 2017-09-01 诺基亚技术有限公司 人脸特征提取方法、设备和计算机程序产品
JP2014010275A (ja) * 2012-06-29 2014-01-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2014001607A1 (en) 2012-06-29 2014-01-03 Nokia Corporation Video remixing system
CN103578514A (zh) * 2012-08-01 2014-02-12 北大方正集团有限公司 歌曲播放方法和装置
US8869031B1 (en) * 2012-08-27 2014-10-21 Zynga Inc. Scaling intro music
EP2793222B1 (en) * 2012-12-19 2018-06-06 Bellevue Investments GmbH & Co. KGaA Method for implementing an automatic music jam session
US10016650B2 (en) * 2013-02-08 2018-07-10 Excel Equipment Llc Systems and methods for target training including synchronized music
EP2765573B1 (en) * 2013-02-08 2016-08-03 Native Instruments GmbH Gestures for DJ scratch effect and position selection on a touchscreen displaying dual zoomed timelines.
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
KR20150072597A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 멀티미디어 장치 및 이의 음악 작곡 방법, 그리고 노래 보정 방법
CN103794205A (zh) * 2014-01-21 2014-05-14 深圳市中兴移动通信有限公司 自动合成适配音乐的方法及设备
KR20240065194A (ko) * 2014-06-30 2024-05-14 소니그룹주식회사 정보 처리 장치 및 정보 처리 방법
CN104298722B (zh) * 2014-09-24 2018-01-19 张鸿勋 多媒体交互系统及其方法
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
CN104778216B (zh) * 2015-03-20 2017-05-17 广东欧珀移动通信有限公司 一种预设风格歌曲处理的方法及装置
US20170019471A1 (en) * 2015-07-13 2017-01-19 II Paisley Richard Nickelson System and method for social music composition
CN105335507A (zh) * 2015-10-29 2016-02-17 维沃移动通信有限公司 一种推送歌曲的方法及装置
US10318233B2 (en) * 2016-09-23 2019-06-11 Sonos, Inc. Multimedia experience according to biometrics
CN106453051A (zh) * 2016-10-10 2017-02-22 深圳万发创新进出口贸易有限公司 多媒体交互系统
TWI633784B (zh) * 2017-03-15 2018-08-21 宏碁股份有限公司 用於移動載具的多媒體播放方法與系統
CN108668154A (zh) * 2017-03-30 2018-10-16 宏碁股份有限公司 用于移动载具的多媒体播放方法与系统
GB201721061D0 (en) * 2017-12-15 2018-01-31 Pob Enterprises Ltd System for processing music
US10803843B2 (en) 2018-04-06 2020-10-13 Microsoft Technology Licensing, Llc Computationally efficient language based user interface event sound selection
CN110555126B (zh) * 2018-06-01 2023-06-27 微软技术许可有限责任公司 旋律的自动生成
US10714065B2 (en) * 2018-06-08 2020-07-14 Mixed In Key Llc Apparatus, method, and computer-readable medium for generating musical pieces
CN108831425B (zh) 2018-06-22 2022-01-04 广州酷狗计算机科技有限公司 混音方法、装置及存储介质
CN110658979B (zh) * 2018-06-29 2022-03-25 杭州海康威视系统技术有限公司 一种数据重构方法、装置、电子设备及存储介质
US11127386B2 (en) * 2018-07-24 2021-09-21 James S. Brown System and method for generating music from electrodermal activity data
CN109144271B (zh) * 2018-09-07 2021-07-20 武汉轻工大学 三维空间音频关注度分析方法、系统、服务器及存储介质
GB2581319B (en) * 2018-12-12 2022-05-25 Bytedance Inc Automated music production

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056172A (ja) * 1991-06-27 1993-01-14 Casio Comput Co Ltd 拍検出装置及びそれを用いた同期制御装置
JPH08221063A (ja) * 1995-02-15 1996-08-30 Yamaha Corp 自動演奏装置
JPH09204176A (ja) * 1996-01-29 1997-08-05 Yamaha Corp スタイル変更装置およびカラオケ装置
JP2001083969A (ja) * 1999-09-17 2001-03-30 Yamaha Corp 再生制御装置と媒体
JP2002091438A (ja) * 2001-08-09 2002-03-27 Yamaha Corp 自動演奏装置
JP2002169550A (ja) * 2000-11-30 2002-06-14 Victor Co Of Japan Ltd 楽曲データ作成装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5304112A (en) * 1991-10-16 1994-04-19 Theresia A. Mrklas Stress reduction system and method
JP3013648B2 (ja) * 1993-03-23 2000-02-28 ヤマハ株式会社 自動編曲装置
US5693902A (en) * 1995-09-22 1997-12-02 Sonic Desktop Software Audio block sequence compiler for generating prescribed duration audio sequences
JP3087757B2 (ja) * 1999-09-24 2000-09-11 ヤマハ株式会社 自動編曲装置
AT500124A1 (de) * 2000-05-09 2005-10-15 Tucmandl Herbert Anlage zum komponieren
KR100867760B1 (ko) * 2000-05-15 2008-11-10 소니 가부시끼 가이샤 재생장치, 재생방법 및 기록매체
EP1170722B1 (en) * 2000-07-04 2010-09-22 Sony France S.A. Incremental music title item sequence completion apparatus and method
AU2001295989A1 (en) * 2000-10-23 2002-05-06 Ntt Communications Corporation Musical composition recognition method and system, storage medium where musical composition program is stored, commercial recognition method and system, and storage medium where commercial recognition program is stored
US6888999B2 (en) * 2001-03-16 2005-05-03 Magix Ag Method of remixing digital information
US6683241B2 (en) 2001-11-06 2004-01-27 James W. Wieder Pseudo-live music audio and sound
JP2003173350A (ja) 2001-12-05 2003-06-20 Rainbow Partner Inc 音楽・映像コンテンツを推薦するシステム
JP4303485B2 (ja) * 2003-01-27 2009-07-29 株式会社音楽館 楽曲編成システム、楽曲編成システムの制御方法、プログラム及び楽曲編成方法
US7208672B2 (en) * 2003-02-19 2007-04-24 Noam Camiel System and method for structuring and mixing audio tracks
JP2006171133A (ja) * 2004-12-14 2006-06-29 Sony Corp 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
US20070261537A1 (en) * 2006-05-12 2007-11-15 Nokia Corporation Creating and sharing variations of a music file
US8311656B2 (en) * 2006-07-13 2012-11-13 Inmusic Brands, Inc. Music and audio playback system
WO2008113120A1 (en) * 2007-03-18 2008-09-25 Igruuv Pty Ltd File creation process, file format and file playback apparatus enabling advanced audio interaction and collaboration capabilities
US8173883B2 (en) * 2007-10-24 2012-05-08 Funk Machine Inc. Personalized music remixing
US20100075806A1 (en) * 2008-03-24 2010-03-25 Michael Montgomery Biorhythm feedback system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056172A (ja) * 1991-06-27 1993-01-14 Casio Comput Co Ltd 拍検出装置及びそれを用いた同期制御装置
JPH08221063A (ja) * 1995-02-15 1996-08-30 Yamaha Corp 自動演奏装置
JPH09204176A (ja) * 1996-01-29 1997-08-05 Yamaha Corp スタイル変更装置およびカラオケ装置
JP2001083969A (ja) * 1999-09-17 2001-03-30 Yamaha Corp 再生制御装置と媒体
JP2002169550A (ja) * 2000-11-30 2002-06-14 Victor Co Of Japan Ltd 楽曲データ作成装置
JP2002091438A (ja) * 2001-08-09 2002-03-27 Yamaha Corp 自動演奏装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164932A (ja) * 2006-12-28 2008-07-17 Sony Corp 音楽編集装置および方法、並びに、プログラム
JP2008233493A (ja) * 2007-03-20 2008-10-02 Yamaha Corp 曲編集装置およびプログラム
JP4623028B2 (ja) * 2007-03-20 2011-02-02 ヤマハ株式会社 曲編集装置およびプログラム
KR101410928B1 (ko) * 2007-07-26 2014-06-23 삼성전자주식회사 음악 재생 장치의 사용자에게 추천할 음악을 결정하는 방법및 이를 위한 장치
JP2009134669A (ja) * 2007-12-03 2009-06-18 Sony Corp 情報処理装置、情報処理端末、情報処理方法、およびプログラム
JP2010262723A (ja) * 2009-05-11 2010-11-18 Pioneer Electronic Corp 再生装置、プレーヤー、再生装置の再生履歴情報記録方法、プレーヤーの再生履歴情報記録方法およびプログラム
JP2010282160A (ja) * 2009-06-08 2010-12-16 Yamaha Corp 音楽コンテンツ処理装置及びプログラム
JP2012015809A (ja) * 2010-06-30 2012-01-19 Kddi Corp 楽曲選択装置、楽曲選択方法および楽曲選択プログラム
JP2012155085A (ja) * 2011-01-25 2012-08-16 Yamaha Corp 楽音合成装置およびプログラム
WO2014030187A1 (ja) * 2012-08-23 2014-02-27 パイオニア株式会社 コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム
WO2014030188A1 (ja) * 2012-08-23 2014-02-27 パイオニア株式会社 コンテンツ再生方法、コンテンツ再生装置およびプログラム
JPWO2014030187A1 (ja) * 2012-08-23 2016-07-28 パイオニア株式会社 コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム
JPWO2014030188A1 (ja) * 2012-08-23 2016-07-28 パイオニア株式会社 コンテンツ再生方法、コンテンツ再生装置およびプログラム
JP2015135518A (ja) * 2015-03-25 2015-07-27 ヤマハ株式会社 楽音合成装置およびプログラム

Also Published As

Publication number Publication date
EP1876583A1 (en) 2008-01-09
EP1876583B1 (en) 2014-07-16
KR20070122452A (ko) 2007-12-31
EP1876583A4 (en) 2012-05-09
CN101160615A (zh) 2008-04-09
JP4626376B2 (ja) 2011-02-09
CN101160615B (zh) 2012-11-14
US20090088877A1 (en) 2009-04-02
US8269092B2 (en) 2012-09-18
WO2006114998A1 (ja) 2006-11-02
KR101233800B1 (ko) 2013-02-18

Similar Documents

Publication Publication Date Title
JP4626376B2 (ja) 音楽コンテンツの再生装置および音楽コンテンツ再生方法
JP4713129B2 (ja) 音楽コンテンツの再生装置、音楽コンテンツの再生方法および音楽コンテンツおよびその属性情報の記録装置
JP2006171133A (ja) 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
JP4306754B2 (ja) 楽曲データ自動生成装置及び音楽再生制御装置
JP2006084749A (ja) コンテンツ生成装置およびコンテンツ生成方法
JPWO2007066813A1 (ja) 音楽編集装置、音楽編集情報の作成方法、並びに音楽編集情報が記録された記録媒体
JPWO2007066819A1 (ja) 音楽編集装置及び音楽編集方法
JP4243862B2 (ja) コンテンツ利用装置およびコンテンツ利用方法
JP2007193907A (ja) 音楽再生制御装置及び音楽再生装置
JP2009093779A (ja) コンテンツ再生装置及びコンテンツ再生方法
JP2006127574A (ja) コンテンツ利用装置、コンテンツ利用方法、配信サーバー装置、情報配信方法および記録媒体
JP2008197678A (ja) オンライン作曲のためのシステム、方法及びコンピュータ読取り可能な記録媒体
JPWO2006087891A1 (ja) 情報選択方法及び情報選択装置等
JP2012018282A (ja) 演奏ファイル管理装置、演奏ファイル再生装置および演奏ファイル再生方法
JP6611633B2 (ja) カラオケシステム用サーバ
JP6699137B2 (ja) データ管理装置、コンテンツ再生装置、コンテンツ再生方法、及びプログラム
JP2006201389A (ja) 再生装置およびプログラム
JP5980930B2 (ja) コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム
JP2010190952A (ja) 電子音楽装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070831

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090810

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101025

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4626376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees