JP2018011201A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2018011201A
JP2018011201A JP2016138922A JP2016138922A JP2018011201A JP 2018011201 A JP2018011201 A JP 2018011201A JP 2016138922 A JP2016138922 A JP 2016138922A JP 2016138922 A JP2016138922 A JP 2016138922A JP 2018011201 A JP2018011201 A JP 2018011201A
Authority
JP
Japan
Prior art keywords
processing
pattern
information processing
processing apparatus
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016138922A
Other languages
English (en)
Inventor
津田 崇基
Takamoto Tsuda
崇基 津田
浩平 高田
Kohei Takada
浩平 高田
祐介 大谷
Yusuke Otani
祐介 大谷
裕介 土山
Yusuke Doyama
裕介 土山
洋二 廣瀬
Yoji Hirose
洋二 廣瀬
太郎 高元
Taro Takamoto
太郎 高元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Mobile Communications Inc filed Critical Sony Mobile Communications Inc
Priority to JP2016138922A priority Critical patent/JP2018011201A/ja
Priority to US15/639,657 priority patent/US10290291B2/en
Publication of JP2018011201A publication Critical patent/JP2018011201A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/081Beat indicator, e.g. marks or flashing LEDs to indicate tempo or beat positions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/441Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set

Abstract

【課題】コンテンツの再生と関連付けてより多くの種類の処理を実行させることが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】情報処理装置10は、再生対象のコンテンツに応じて、複数の処理パターンの中から、コンテンツの再生と関連付けて実行される処理の処理パターンを決定する決定部104、を備える。【選択図】図2

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、例えば音楽や画像などのコンテンツを再生する装置が各種開発されている。また、外部からの制御信号に基づいて、振動を発生させたり、発光したり、機器を駆動する技術が各種提案されている。
例えば、下記特許文献1には、振動装置が電子機器から音声信号を取得した場合に、取得した音声信号に基づいて振動を発生させる技術が記載されている。
特開2015−231098号公報
しかしながら、特許文献1に記載の技術では、音声信号の取得時に発生可能な振動の種類が制約される。例えば、特許文献1に記載の技術では、取得される音声信号の時系列に依存した振動だけしか発生させることができない。
そこで、本開示では、コンテンツの再生と関連付けてより多くの種類の処理を実行させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、再生対象のコンテンツに応じて、複数の処理パターンの中から、前記コンテンツの再生と関連付けて実行される処理の処理パターンを決定する決定部、を備える、情報処理装置が提供される。
また、本開示によれば、再生対象のコンテンツに応じて、複数の処理パターンの中から、前記コンテンツの再生と関連付けて実行される処理の処理パターンをプロセッサが決定すること、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、再生対象のコンテンツに応じて、複数の処理パターンの中から、前記コンテンツの再生と関連付けて実行される処理の処理パターンを決定する決定部、として機能させるための、プログラムが提供される。
以上説明したように本開示によれば、コンテンツの再生と関連付けてより多くの種類の処理を実行させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態による情報処理システムの構成例を示した説明図である。 第1の実施形態による情報処理装置10の構成例を示した機能ブロック図である。 第1の実施形態による処理パターンDB124の構成例を示した説明図である。 2個の振動デバイス20をユーザが装着している様子を示した説明図である。 第1の実施形態によるカラーパレットの構成例を示した説明図である。 イルミネーションパターンの一例を示した説明図である。 イルミネーションパターンの一例を示した説明図である。 アニメーションパターンに含まれるフレーム画像の例を示した説明図である。 モーションパターンに含まれるモーションの例を示した説明図である。 第1の実施形態による動作例の一部を示したフローチャートである。 第1の実施形態による動作例の一部を示したフローチャートである。 第1の実施形態による動作例の一部を示したフローチャートである。 第1の実施形態による動作例の一部を示したフローチャートである。 第1の実施形態による「中分類連続回避処理」の流れを示したフローチャートである。 第1の実施形態による「パターン変更処理」の流れを示したフローチャートである。 第1の実施形態による「曲終わり合わせ対応処理」の流れを示したフローチャートである。 第1の実施形態による「曲内ブレイク対応処理」の流れを示したフローチャートである。 第1の実施形態による「拍手対応処理」の流れを示したフローチャートである。 第1の実施形態による「変拍子処理」の流れを示したフローチャートである。 第2の実施形態による情報処理システムの構成例を示した説明図である。 第2の実施形態による情報処理装置40の構成例を示した機能ブロック図である。 第2の実施形態による動作例の一部を示したフローチャートである。 第1の実施形態による情報処理装置10のハードウェア構成例を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてデバイス20aおよびデバイス20bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、デバイス20aおよびデバイス20bを特に区別する必要が無い場合には、単にデバイス20と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.第1の実施形態
2.第2の実施形態
3.ハードウェア構成
4.変形例
<<1.第1の実施形態>>
まず、第1の実施形態について説明する。最初に、第1の実施形態の特徴を明確に示すために、第1の実施形態を創作するに至った背景について説明する。
従来、音楽の再生と同時に振動を発生させる技術が開発されている。例えば、公知の技術では、再生対象の音楽の低音部分を増幅させることにより、音楽の再生と同時に振動を発生させる。しかしながら、この技術では、発生される振動は、音楽の信号の時系列に制約されてしまうので、元の音楽の枠を超えた振動を発生させることができない。また、同じ曲を複数回再生する場合、毎回同じ振動が発生され得る。その結果、振動を発生させても、音楽を聴くユーザに対して強い印象を与えることができない。そして、当該ユーザは、発生される振動を退屈に感じたり、飽きてしまい得る。
そこで、上記事情を一着眼点にして、第1の実施形態による情報処理装置10を創作するに至った。第1の実施形態によれば、情報処理装置10は、再生対象のコンテンツに応じて、予め登録されている複数の処理パターンの中から、コンテンツの再生と関連付けて実行される例えば振動などの処理の処理パターンを決定し、そして、決定した処理パターンに対応する処理の実行を制御することが可能である。これにより、コンテンツの再生時に、例えば、無音部分で振動させたり、または、再生される音とタイミングをずらして振動させるなど、より多くの種類の処理を実行させることができる。その結果、コンテンツを利用するユーザに対してより強い印象を与える演出が可能になる。ここで、コンテンツの利用とは、音楽を聴くことや、動画像を視聴することなどを含む。
<1−1.情報処理システムの構成>
次に、第1の実施形態による情報処理システムの構成について説明する。図1は、第1の実施形態による情報処理システムの構成例を示した説明図である。図1に示すように、第1の実施形態による情報処理システムは、情報処理装置10、デバイス20、コンテンツ再生装置22、および、通信網24を含む。
{1−1−1.情報処理装置10}
情報処理装置10は、コンテンツの再生に関する制御を行う装置である。例えば、情報処理装置10は、再生対象のコンテンツを再生させるための再生制御情報を例えば通信網24を介してコンテンツ再生装置22へ送信することが可能である。ここで、コンテンツは、例えば音楽、静止画像、動画像、および、動画像と音楽の組み合わせなどである。なお、以下では、コンテンツが音楽である例を中心として説明を行う。
また、情報処理装置10は、コンテンツの再生と関連付けて、デバイス20に処理を実行させるように制御する。例えば、情報処理装置10は、まず、再生対象のコンテンツに応じて、予め登録されている複数の処理パターンの中から、当該コンテンツの再生と関連付けて実行される処理の処理パターンを決定する。そして、情報処理装置10は、決定した処理パターンに対応する処理を実行させるための処理制御情報を例えば通信網24を介してデバイス20へ送信する。ここで、処理は、振動を発生させる処理、表示処理、または、デバイス20を動かす処理を含む。また、複数の処理パターンは、互いに異なる(一意な)パターンであり、例えばコンテンツとは無関係に予め生成され得る。なお、処理パターンは、例えば、振動パターン、イルミネーションパターン、アニメーションパターン、または、モーションパターンなどである。また、処理パターンの長さは、例えば一小節分の長さであり得る。また、各処理パターンは、所定のパラメータの値を有し得る。なお、振動パターン、イルミネーションパターン、アニメーションパターン、および、モーションパターンの具体的な内容については後述する。
例えば、情報処理装置10は、音楽の再生と同時に、当該音楽に応じた振動パターンの振動をデバイス20に発生させるように制御する。これにより、音楽を聴くユーザは、音楽と、当該音楽の枠に制約されない規則的な振動とを同時に体験することができる。例えば、当該ユーザは、あたかも別のジャンルの演奏が当該音楽に追加されたかのような印象を感じ得る。
この情報処理装置10は、例えば、サーバ、PC(Personal Computer)、スマートフォンなどの携帯電話、タブレット端末、または、ゲーム機などであってもよい。
{1−1−2.デバイス20}
デバイス20は、本開示における制御対象の一例である。デバイス20は、例えば情報処理装置10による制御に基づいて、振動、発光などの表示、または、移動などを行う機器である。このデバイス20は、例えば、振動部、表示部、または、駆動部のうちのいずれか一以上を備える。ここで、振動部は、例えば、振動スピーカ型、リニアアクチュエータ型、ピエゾアクチュエータ型、または、振動モータ型などにより構成される。また、表示部は、例えばLCD(Liquid Crystal Display)やOLED(Organic Light Emitting Diode)などから構成されるディスプレイや、LED(Light Emitting Diode)などを含み得る。また、デバイス20は、さらに、例えば加速度センサ、振動センサ、脈拍センサ、温度センサ、または、発汗センサなどの各種のセンサを備え得る。
例えば、デバイス20は、情報処理装置10から処理制御情報を受信すると、受信した処理制御情報が示す処理パターンに従って処理を実行する。一例として、振動デバイス20aは、受信された処理制御情報が示す振動パターンに従って、振動を発生させる。また、発光デバイス20bは、受信された処理制御情報が示すイルミネーションパターンに従って発光する。また、スマートウォッチ20cは、受信された処理制御情報が示すアニメーションパターンに対応する動画像を表示画面に表示する。また、移動型スピーカ20dは、受信された処理制御情報が示すモーションパターンに従って、移動する。
なお、図1では、デバイス20が、振動デバイス20a、発光デバイス20b、スマートウォッチ20c、または、移動型スピーカ20dである例を示しているが、かかる例に限定されない。例えば、デバイス20は、スマートフォンなどの携帯電話、タブレット端末、携帯型ゲーム機、または、携帯型音楽プレーヤーなど、ユーザが携帯可能な他の機器であってもよい。または、デバイス20は、例えば、HMD(Head Mounted Display)などの眼鏡型デバイス、スマートバンド、ヘッドセット、ヘッドフォン、ネックレス型デバイス、指輪型デバイス、ブレスレット型デバイス、ヘッドバンド型デバイス、鞄型デバイス、衣服デバイス、または、コンタクトレンズデバイスなどの他のウェアラブルデバイスであってもよい。または、デバイス20は、デスクトップモニタ、テレビジョン受信機、PC、照明機器、乗り物(自動車や自転車など)、または、ロボット(ドローンなど)などであってもよい。または、デバイス20は、車の座席シートやハンドルなどであってもよい。
{1−1−3.コンテンツ再生装置22}
コンテンツ再生装置22は、コンテンツを再生するための装置である。例えば、コンテンツ再生装置22は、情報処理装置10から再生制御情報を受信すると、受信した再生制御情報が示すコンテンツを再生する。なお、図1では、コンテンツ再生装置22が音声出力装置である例を示しているが、かかる例に限定されず、コンテンツ再生装置22は、例えばLCDやOLEDなどから構成される表示装置であってもよいし、または、音声出力装置および表示装置の両方を含む装置であってもよい。
{1−1−4.通信網24}
通信網24は、通信網24に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網24は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網24は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
なお、第1の実施形態による情報処理システムの構成は、上述した例に限定されない。例えば、情報処理装置10は、通信網24を介さずに、デバイス20やコンテンツ再生装置22と有線通信または無線通信により直接通信可能であってもよい。また、情報処理装置10およびデバイス20、または、情報処理装置10およびコンテンツ再生装置22は、それぞれ独立した装置として構成される代わりに、一体的に構成されてもよい。または、デバイス20およびコンテンツ再生装置22は、それぞれ独立した装置として構成される代わりに、一体的に構成されてもよい。
<1−2.構成>
以上、第1の実施形態による情報処理システムの構成について説明した。次に、第1の実施形態による情報処理装置10の構成について詳細に説明する。図2は、第1の実施形態による情報処理装置10の構成例を示した機能ブロック図である。図2に示すように、情報処理装置10は、制御部100、通信部120、および、記憶部122を有する。
{1−2−1.制御部100}
制御部100は、情報処理装置10に内蔵される、後述するCPU(Central Processing Unit)150や、RAM(Random Access Memory)154などのハードウェアを用いて、情報処理装置10の動作を全般的に制御する。また、図2に示すように、制御部100は、再生制御部102、決定部104、および、処理制御部106を有する。
{1−2−2.再生制御部102}
再生制御部102は、例えばコンテンツ再生装置22に対する、コンテンツの再生の制御を行う。例えば、再生制御部102は、まず、再生対象のコンテンツを決定する。一例として、再生制御部102は、予め設定されているコンテンツの再生リストに基づいて、再生対象のコンテンツを決定する。または、コンテンツの再生要求がユーザから受信された場合には、再生制御部102は、当該再生要求が示すコンテンツを再生対象のコンテンツとして決定する。
そして、再生制御部102は、決定した再生対象のコンテンツを再生させるための再生制御情報をコンテンツ再生装置22へ通信部120に送信させる。
なお、詳細については後述するが、コンテンツの再生中にデバイス20が例えば振動の発生などの処理を実行している際には、再生制御部102は、当該デバイス20に対するユーザの操作(例えば叩いたり、振るなど)の検出に応じて、コンテンツの再生を動的に変更させることも可能である。例えば、再生制御部102は、当該検出に応じて、コンテンツの再生速度、テンポ(例えばBPM(Beats Per Minute))、または、音量などを動的に変更してもよい。一例として、デバイス20に内蔵される加速度センサ等による測定結果に基づいて、所定時間内にデバイス20をユーザが1回叩く、あるいは1回振ったことが検出された場合には、再生制御部102は、テンポを1段階上げるようにしてもよい。また、所定時間内にデバイス20をユーザが2回叩く、あるいは2回振ったことが検出された場合には、再生制御部102は、テンポを1段階下げるようにしてもよい。
{1−2−3.決定部104}
決定部104は、再生対象のコンテンツに応じて、複数の処理パターンの中から、コンテンツの再生と関連付けて実行される処理の処理パターンを決定する。例えば、決定部104は、再生対象のコンテンツに応じて、複数の振動パターンの中から、コンテンツの再生と関連付けてデバイス20に発生させる振動の振動パターンを決定する。または、決定部104は、再生対象のコンテンツに応じて、複数のイルミネーションパターンの中から、コンテンツの再生と関連付けてデバイス20に表示させるイルミネーションのイルミネーションパターンを決定する。または、決定部104は、再生対象のコンテンツに応じて、複数のアニメーションパターンの中から、コンテンツの再生と関連付けてデバイス20に表示させるアニメーションのアニメーションパターンを決定する。または、決定部104は、再生対象のコンテンツに応じて、複数のモーションパターンの中から、コンテンツの再生と関連付けてデバイス20に実行させる動作のモーションパターンを決定する。
例えば、再生対象のコンテンツが音楽である場合、決定部104は、再生対象の音楽の拍子、ジャンル、パート、または、テンポなどに応じて、実行される処理の処理パターンを決定する。一例として、再生対象の音楽に関して、再生前または再生中に行われる音楽の解析結果に基づいて、当該音楽のベースとなる拍子、ジャンル(またはムード)、および、現在再生中のパートの情報が取得される。そして、決定部104は、取得された拍子、ジャンル、および、パートの情報と、後述する処理パターンDB124の登録内容とに応じて、実行される処理の処理パターンを決定する。
(1−2−3−1.処理パターンDB124)
処理パターンDB124では、例えば、大分類、中分類、および、小分類と、複数の処理パターンとを対応付けて格納するデータベースである。ここで、大分類は、例えば、再生対象の音楽の拍子である。また、中分類は、例えば再生対象の音楽のジャンルである。また、小分類は、例えば、(再生対象の音楽における)再生対象のパートである。
図3は、処理パターンDB124の構成例を示した説明図である。図3に示したように、例えば、処理パターンDB124では、拍子1240、ジャンル1242、パート1244、および、パターン1246が対応付けられている。ここで、拍子1240は、予め登録されている音楽の拍子の種類(例えば、3拍子、4拍子、6/8拍子など)である。また、ジャンル1242は、予め登録されている音楽のジャンルの種類(例えば、ジャズ、レゲエ、ロック、アップテンポ、ラテン、スローバラードなど)である。また、パート1244は、予め登録されている音楽のパートの種類である。ここで、パートの種類は、例えば、イントロ、Aメロ、Bメロ、サビ、および、間奏などの種類であってもよいし、または、ヴァース1、ヴァース2、および、コーラスなどの種類であってもよい。また、パターン1246には、該当の拍子、ジャンル、および、パートに対応付けられている複数の処理パターンが格納される。ここで、(該当の拍子、ジャンル、および、パートに対応付けられている)複数の処理パターンの各々のパラメータの値は、互いに異なる。なお、パラメータの値は、例えば「1」〜「100」などの所定の値の範囲内で予め設定される。さらに、パラメータの値の範囲は、パートごとに設定され得る。例えば、パートが「ヴァース1」である場合のパラメータ値の範囲は「1」〜「30」であり、また、パートが「ヴァース2」である場合のパラメータ値の範囲は「21」〜「50」などのように設定され得る。
‐処理パターンの決定例
図3に示した例では、再生対象の音楽の拍子が「4拍子」であり、ジャンルが「ラテン」であり、かつ、再生対象のパートが「ヴァース1」である場合には、決定部104は、当該音楽の当該パートの再生時に実行される処理の処理パターンを「4‐A‐a‐1」に決定する。
なお、決定部104は、基本的に、一曲の再生中では大分類および中分類を変更しない。これにより、一曲の再生時において、実行される処理パターンの一貫性を確保することができる。但し、曲の途中に変調が含まれていることが検出される場合に限り、決定部104は、検出された変調に応じて処理パターンの大分類を変更し、そして、変更後の大分類に応じて、新たな処理パターンを決定してもよい。
また、音楽の音圧の大きな変化が検出された際、または、音楽の解析結果に基づいてパートの遷移やムードの遷移が検出された際には、決定部104は、処理パターンの小分類を随時変更し、そして、変更後の小分類に応じて、新たな処理パターンを随時決定することが可能である。
なお、再生対象の音楽のジャンルは(常に)一意に決定されてもよいし、あるいは、再生の度に確率的に決定されてもよい。後者の場合、例えば、決定部104は、所定の基準を用いて個々のジャンルに関して評価値を計算し、そして、算出された評価値に基づいて確率的にジャンルを決定してもよい。この決定例によれば、再生対象の音楽が同じであっても、実行される処理パターンの種類を時々大きく異ならせることが可能となる。従って、ユーザに意外さ(または新鮮さ)を感じさせることができる。
‐変形例
なお、処理パターンDB124の構成例は、図3に示した例に限定されない。例えば、追加的にまたは代替的に、音楽のテンポの強さ(例えば、No beat、Slow、Middle、または、Fastなど)、および/または、別のカテゴリー(例えば、Ambient、Beat‐in、または、Beat‐on(Flywheel)など)(以下、Beatカテゴリーと称する)が対応付けられてもよい。例えば、Ambientには、音楽のBeatに関係のない処理パターンが対応付けられる。また、Beat‐inおよびBeat‐on(Flywheel)には、Beatとの関係性が明確な処理パターンが対応付けられる。例えば、イルミネーションパターンの場合では、Ambientには、音楽のBeatとは関係なく色相を変化させるイルミネーションパターンが対応付けられ得る。また、Beat‐inおよびBeat‐on(Flywheel)には、例えばBeatに応じてイルミネーションのテンポが異なるなどの、Beatとの関係性が強いイルミネーションパターンが対応付けられ得る。
また、処理パターンDB124には、さらに、処理パターンの種類(例えば、振動パターン、イルミネーションパターン、アニメーションパターン、または、モーションパターンなど)が対応付けられてもよい。あるいは、処理パターンの種類ごとに、処理パターンDB124は一つずつ設けられてもよい。
(1−2−3−2.その他の決定例)
‐画像解析
または、コンテンツが動画像を含む場合には、決定部104は、動画像の解析結果に基づいて、複数の処理パターンの中から、コンテンツの再生と関連付けてデバイス20に実行させる処理の処理パターンを決定することも可能である。
‐デバイス20の状態
または、決定部104は、さらに、デバイス20の状態に関する情報に基づいて、複数の処理パターンの中から、コンテンツの再生と関連付けてデバイス20に実行させる処理の処理パターンを決定することも可能である。ここで、デバイス20の状態に関する情報は、例えば、デバイス20の振動や動きの測定結果を含み得る。例えば、デバイス20がユーザにより叩かれているか否かの測定結果、および、叩かれている場合には叩いているリズムの測定結果を含み得る。
または、デバイス20の状態に関する情報は、デバイス20を携帯しているユーザの行動認識の結果を含み得る。例えば、デバイス20を携帯しているユーザが身体を揺らしてリズムを取っていること、ユーザがランニングしていること、または、ユーザが電車に乗っていることなどの認識結果を含み得る。なお、当該ユーザの行動認識の結果は、例えばデバイス20の振動や動きの測定結果などに基づいて情報処理装置10などにより認識される。また、デバイス20の振動や動きは、例えば、デバイス20に内蔵される振動センサや加速度センサにより測定されてもよいし、または、デバイス20の周囲の環境(部屋など)に配置されているカメラなどの各種のセンサにより測定されてもよい。
‐ユーザの情報
または、決定部104は、さらに、ユーザに関する情報に基づいて、複数の処理パターンの中から、コンテンツの再生と関連付けてデバイス20に実行させる処理の処理パターンを決定することも可能である。ここで、ユーザに関する情報は、例えば、ユーザの身体に関する測定結果(例えば、脈拍値、発汗量、または、体温など)や当該測定結果の推移を含み得る。例えば、ユーザがリラックスしていることが検出される場合には、決定部104は、より落ち着いた処理パターンを決定することが可能である。また、ユーザが興奮していたり、熱中していることが検出される場合には、決定部104は、よりテンポの速い処理パターンを決定してもよい。あるいは、この場合、決定部104は、ユーザをリラックスさせることを目的として、より落ち着いた処理パターンを決定してもよい。
または、ユーザに関する情報は、ユーザのアカウントのステータスを含み得る。例えば、ユーザのアカウントのステータスは、所定のサーバ(図示省略)または情報処理装置10などに現在蓄積されている、ユーザの未確認の通知(ユーザが閲覧していないメールなど)の件数または留守番電話の件数などを含む。
‐環境の情報
または、決定部104は、さらに、環境の情報に基づいて、複数の処理パターンの中から、コンテンツの再生と関連付けてデバイス20に実行させる処理の処理パターンを決定することも可能である。ここで、環境の情報は、例えば、気温(室内や室外)、湿度(室内や室外)、室内の人数、天気、曜日、時間帯、または、外部の装置(例えばスマートフォンなど)の状態などを含み得る。一例として、環境の情報は、コンテンツ再生装置22が音楽の再生を開始してからの室外の気温の測定結果の推移を含み得る。また、外部の装置の状態は、例えば、外部の装置の電池残量や、外部の装置に対する新着通知の件数などを含み得る。
(1−2−3−3.パターンの変更)
また、決定部104は、コンテンツの再生に応じて、デバイス20に実行させる処理の処理パターンを変更する。例えば、現在のパートが始まったタイミングから所定の数の小節が経過した際には、決定部104は、同じパートに対応付けられている、現在の処理パターン以外の処理パターンのうちのいずれかを、新たに実行される処理パターンとして決定する。一例として、決定部104は、まず、同じパートに対応付けられている、現在の処理パターン以外の処理パターンの中から、パラメータ値が、現在の処理パターンのパラメータ値から所定の範囲内(例えば、−10以上10以下)であるいずれかをランダムに選択する。そして、決定部104は、選択した処理パターンを新たに実行される処理パターンとして決定する。
また、現在のパートから次のパートに遷移する際には、決定部104は、次のパートに対応付けられている複数の処理パターンのうちのいずれかを新たに実行される処理パターンとして決定する。例えば、決定部104は、まず、次のパートに対応付けられている複数の処理パターンの中から、パラメータ値が、現在の処理パターンのパラメータ値から所定の範囲内(例えば、−15以下または15以上)であるいずれかの処理パターンをランダムに選択する。そして、決定部104は、選択した処理パターンを新たに実行される処理パターンとして決定する。
なお、音楽の再生開始前に当該音楽のBPMを予め取得可能である場合には、決定部104は、取得されたBPMに応じたパターンを、音楽の再生開始直前に実行される処理パターンとして決定することも可能である。これにより、音楽の再生開始直前に、例えば、「ワン、ツー、スリー」などの振動パターンの振動を発生させ、そして、当該振動の終了時に、音楽の再生を開始させることができる。
また、2以上の曲を連続して再生する場合には、決定部104は、曲の切り替わりの検出に基づいて、曲の切り替わり時に実行される処理の処理パターンを決定することが可能である。例えば、曲の切り替わり時において、決定部104は、前後の曲が自然に繋がるような処理パターンを、実行される処理パターンとして決定してもよいし、あるいは、印象が大きく変わるような処理パターンを、実行される処理パターンとして決定してもよい。
{1−2−4.処理制御部106}
(1−2−4−1.処理の制御)
処理制御部106は、決定部104により決定された処理パターンに対応する処理をデバイス20に実行させる。例えば、処理制御部106は、決定部104により決定された振動パターンに対応する振動をデバイス20に発生させたり、決定されたイルミネーションパターンに対応するイルミネーションをデバイス20に表示させたり、決定されたアニメーションパターンに対応する動画像をデバイス20に表示させたり、または、決定されたモーションパターンに対応する動作をデバイス20に実行させる。
より具体的には、処理制御部106は、まず、決定部104により決定された処理パターンに応じた処理をデバイス20に実行させるための処理制御情報を生成する。そして、処理制御部106は、生成した処理制御情報をデバイス20へ通信部120に送信させる。これにより、デバイス20は、受信した処理制御情報に従って、該当の処理を実行する。
‐複数のデバイス20に対する制御
なお、処理制御部106は、決定部104により決定された処理パターンに対応する処理を複数のデバイス20に実行させることも可能である。例えば、処理パターンが複数のサブパターンを含む場合には、処理制御部106は、当該複数のサブパターンの各々に対応する処理を別々のデバイス20に実行させてもよい。
ここで、図4を参照して上記の機能についてより詳細に説明する。図4に示した例では、ユーザ2が胸の前側の中心付近(胸骨)に振動デバイス20aFを装着し、かつ、胸の後ろ側の中心付近(背骨)に振動デバイス20aRを装着している場面を想定する。そして、振動パターンが、「フロントチャンネル」と「リアチャンネル」の2つのサブパターンに予め区分されているものとする。例えば、振動パターンが「Don、Pon、Don、Don、Pon」である場合では、当該振動パターンに含まれる「Don、Don、Don」がフロントチャンネルとして設定され、かつ、当該振動パターンに含まれる「Pon、Pon」がリアチャンネルとして設定され得る。
図4に示した例では、処理制御部106は、フロントチャンネルに対応する振動を前側の振動デバイス20aFに発生させ、そして、リアチャンネルに対応する振動を後ろ側の振動デバイス20aRに発生させる。この制御例によれば、身体が前後に揺さぶられるような体験をユーザに与えることができる。また、振動の発生元が身体の内部4にあるような体験をユーザに与えることができる。
なお、仮に身体の右と左に一つずつ振動デバイス20aをユーザが装着したとしても、表面的に振動が伝わるのに留まるので、体験の広がりが限定的である。これに対して、図4に示したように、身体を前後に挟むように胸骨付近と背骨付近に一つずつ振動デバイス20aをユーザが装着すると、発生される振動が身体の内部4に響くような感覚が得られる。そして、ユーザが得られる体験の広がりが大きくなる。
また、別の制御例として、処理制御部106は、一つの振動パターンに対応する振動を、前側の振動デバイス20aFおよび後ろ側の振動デバイス20aFの両方に同時に発生させてもよい。さらに、この場合、処理制御部106は、振動デバイス20aFから発生される当該振動の大きさを100%から0%になるように徐々に弱め、かつ、振動デバイス20aFから発生される当該振動の大きさを0%から100%になるように徐々に強めるように制御してもよい。あるいは、処理制御部106は、振動デバイス20aFから発生される当該振動の大きさを徐々に強め、かつ、振動デバイス20aFから発生される当該振動の大きさを徐々に弱めるように制御してもよい。
または、処理制御部106は、前側の振動デバイス20aFと後ろ側の振動デバイス20aFとで振動の開始タイミングに差をつけつつ、一つの振動パターンに対応する振動を前側の振動デバイス20aFおよび後ろ側の振動デバイス20aFから発生させてもよい。これらの制御例によれば、発生される振動が身体の中を通り抜けるような体験をユーザに提供することができる。
‐‐変形例
なお、変形例として、処理制御部106は、複数のデバイス20の各々に、それぞれ異なる楽器の種類、または、異なる音階に対応する処理を実行させてもよい。
または、処理制御部106は、複数のデバイス20の位置関係(距離など)や、関係の強さなどに応じて、発生される振動の強度、振動の回数、または、振動の速度が異なるように、複数のデバイス20を制御してもよい。
または、処理制御部106は、デバイス20ごとに、それぞれ異なる処理パターンに対応する処理を実行させることも可能である。例えば、処理制御部106は、ジャンルが「ロック」である処理パターンに対応する処理をデバイス20aに実行させ、かつ、ジャンルが「ジャズ」である処理パターンに対応する処理をデバイス20bに実行させてもよい。
または、処理制御部106は、デバイス20ごとに、出力される情報が異なるように制御することも可能である。例えば、決定部104により振動パターンおよびイルミネーションパターンが同時に決定された場合には、処理制御部106は、当該振動パターンの一部に対応する振動をデバイス20aに発生させ、当該振動パターンの残りの部分に対応する振動をデバイス20bに発生させ、かつ、当該イルミネーションパターンに対応するイルミネーションをデバイス20cに表示させてもよい。
‐複数のモジュールに対する制御
また、別の変形例として、複数の振動モジュールをデバイス20が搭載している場合には、処理制御部106は、振動モジュールごとに、発生される振動が異なるように、当該デバイス20に対する制御を行うことも可能である。例えば、一つの振動パターンに複数のサブパターンが含まれる場合には、処理制御部106は、当該複数のサブパターンの各々に対応する振動を、別々の振動モジュールに発生させてもよい。または、処理制御部106は、一つの振動パターンに対応する振動を時間差をつけて各振動モジュールに発生させてもよい。なお、一つのデバイス20に搭載される各振動モジュールは、特性が全て同じであってもよいし、特性が互いに異なってもよい。
(1−2−4−2.処理の動的変更)
‐処理パターンのテンポの調整
また、処理制御部106は、再生中の音楽に応じて、決定部104により決定された処理パターンに対応する処理自体を動的に調整することも可能である。例えば、楽曲解析などにより、再生対象の音楽のBPMを取得することにより、処理制御部106は、実行される処理パターンのBPMが再生中の音楽のBPMと一致するように、実行される処理パターンのBPMを調整してもよい。
なお、処理制御部106は、再生中の音楽のリアルタイムの解析結果に基づいて処理パターンのBPMを調整してもよい。この調整例によれば、リアルタイムに解析を行うので、任意の種類の音楽や任意の再生方法(例えばストリーミング再生など)であっても、決定された処理パターンのBPMを調整することができる。
または、曲ごとの過去の解析結果のログが用意されている場合には、処理制御部106は、当該ログを用いて、再生対象の音楽に関するBPMの変化を予測することにより、処理パターンのBPMを調整してもよい。さらに、処理制御部106は、当該ログと、再生中の音楽のリアルタイムの解析結果とを併用して、BPMの変化を予測することも可能である。これらの調整例によれば、再生中の音楽と、実行される処理パターンとの間でタイムラグが生じることを極力防止することができる。つまり、再生中の音楽に対する、実行される処理パターンの追従性を向上させることができる。
さらに、処理制御部106は、当該ログに基づいて曲の途中における変調や無音部分などを事前に特定することも可能である。そして、処理制御部106は、特定された変調や無音部分に合わせて、処理パターンを調整したり、または、別の処理パターンに切り替えることも可能である。
‐処理パターンの停止
または、再生対象の音楽が、曲の最後がフェードアウトするような曲である場合には、処理制御部106は、曲の最後において、実行中の処理パターンに対応する処理がフェードアウトするようにデバイス20を制御してもよいし、または、当該処理の実行をデバイス20に繰り返させてもよい(ループさせてもよい)。または、再生対象の音楽が、曲の最後が急に止まる(ピタッと止まる)ような曲である場合には、処理制御部106は、再生中の音楽と合わせて、実行中の処理パターンに対応する処理が急に停止するようにデバイス20を制御してもよい。
または、再生対象の音楽の途中において無音、または、音量が所定の閾値以下である継続時間の長さが所定の時間以上である場合には、処理制御部106は、検出された箇所において、実行中の処理パターンに対応する処理が急に停止するようにデバイス20を制御してもよい。
‐拍手の反映
または、再生対象の音楽の途中において拍手が含まれていることが検出される場合には、処理制御部106は、検出された拍手に応じて、実行中の処理パターンに対応する処理を動的に変化させてもよい。あるいは、この場合、処理制御部106は、拍手専用の処理パターンに対応する処理をデバイス20に実行させてもよい。
(1−2−4−3.その他の調整例)
‐画像解析
または、コンテンツが動画像を含む場合には、処理制御部106は、動画像の解析結果に応じて、決定された処理パターンに対応する処理を動的に変化させることも可能である。
‐コンテンツの再生状況
または、処理制御部106は、コンテンツの再生状況に応じて、決定された処理パターンに対応する処理を動的に変化させることも可能である。例えば、処理制御部106は、現在再生中のコンテンツの連続再生時間(または、現在までに再生した複数のコンテンツの連続再生時間)の長さに応じて、決定された処理パターンに対応する処理を動的に変化させてもよい。一例として、連続再生時間が所定の時間(例えば10分や一時間)を経過する度に、処理制御部106は、特別の処理(例えば、特別の振動の発生、特別のイルミネーションやアニメーションの表示、または、特別の動作)をデバイス20に実行させてもよい。これにより、コンテンツの利用を始めてからどの程度の時間が経過したかをユーザに知らせることができる。または、連続再生時間が所定の時間を経過した際には、処理制御部106は、実行中の処理をデバイス20に中断させたり、または、休憩を促す情報(テキスト、画像、音声など)をデバイス20に出力させてもよい。
‐デバイス20の状態
または、処理制御部106は、さらに、デバイス20の状態に関する情報、ユーザに関する情報、および/または、環境の情報に応じて、決定された処理パターンに対応する処理を動的に変化させることも可能である。なお、デバイス20の状態に関する情報、ユーザに関する情報、および、環境の情報の内容は、上記の説明と同様であり得る。
例えば、ユーザが足をタップしていることが検出された場合には、処理制御部106は、決定された処理パターンに対応する処理に対して、検出されたタップを反映してもよい。または、処理制御部106は、ユーザの行動の認識結果に応じて、決定された振動パターンに対応する振動のペースや振動の強さを変化させてもよい。例えば、ユーザが電車に乗っていることが検出される場合には、処理制御部106は、決定された振動パターンに対応する振動をより弱く発生させてもよい。
または、外部デバイスに対する通知の量、または、ユーザのアカウントに対する通知の量が所定の閾値以上である場合には、情報処理装置10は、所定の通知(音声、表示、または、振動)を再生中の音楽のBeatに混ざるような形式でデバイス20またはコンテンツ再生装置22に出力させてもよい。この出力例によれば、コンテンツの利用中に唐突な印象をユーザに与えることなく、かつ、通知の量が一定以上蓄積されていることをユーザに通知することができる。また、外部デバイスに対する通知の量、または、ユーザのアカウントに対する通知の量が所定の閾値未満である場合には、情報処理装置10は、ユーザに対して通知しないように制御することが可能である。これにより、仮にユーザに通知しなくても支障がないと思われる場合に関しては、コンテンツの利用を妨げないようにすることができる。
{1−2−5.通信部120}
通信部120は、他の装置との間で情報の送受信を行う。例えば、通信部120は、再生制御部102の制御に従って、再生制御情報をコンテンツ再生装置22へ送信する。また、通信部120は、処理制御部106の制御に従って、処理制御情報をデバイス20へ送信する。または、通信部120は、各種のセンサによる測定結果をデバイス20から受信する。
{1−2−6.記憶部122}
記憶部122は、例えば処理パターンDB124などの各種のデータや各種のソフトウェアを記憶する。
なお、第1の実施形態による情報処理装置10の構成は、上述した例に限定されない。例えば、処理パターンDB124は記憶部122に記憶される代わりに、情報処理装置10と通信可能な外部の装置(図示省略)に記憶されてもよい。
<1−3.適用例>
以上、第1の実施形態の構成について説明した。次に、第1の実施形態の適用例について説明する。以下では、4つの適用例(情報処理装置10が振動の発生を制御する例、イルミネーションの表示を制御する例、アニメーションの表示を制御する例、および、デバイス20の動作を制御する例)について説明する。
{1−3−1.適用例1:振動の制御}
まず、情報処理装置10が振動の発生を制御する例について説明する。例えば、情報処理装置10は、再生対象のコンテンツに応じて振動パターンを決定し、そして、決定した振動パターンに対応する振動をデバイス20に発生させる。より詳細には、情報処理装置10の決定部104は、処理パターンDB124に登録されている複数の振動パターンの中から、再生対象の音楽の拍子、ジャンル、テンポ、および、パートなどに応じて、該当の音楽の再生時に実行される振動パターンを決定する。なお、例えば変調が検出される際、および、パートが遷移する際などには、決定部104は、振動パターンを随時決定し直す。
そして、再生制御部102は、再生対象のコンテンツの再生をコンテンツ再生装置22に開始させる。同時に、処理制御部106は、決定部104により決定された振動パターンに対応する振動をデバイス20に発生させる。なお、この際、処理制御部106は、発生される振動の強さ、テンポ、または、周波数帯域などを所定の基準に基づいて動的に変化させる。
例えば、処理制御部106は、発生される振動の周波数帯が、人間が感じやすい振動の帯域の範囲(例えば、60Hz〜300Hzなど)内に収まるように、発生される振動を制御する。または、処理制御部106は、発生される振動の周波数帯を、時間の経過に応じて徐々に遷移させてもよい。例えば、コンテンツの再生開始時において、「80Hzに強い振動、かつ、150Hzに弱めの振動」という振動パターンが決定されたとする。この場合、コンテンツの再生開始時から所定の時間が経過する度に、処理制御部106は、当該振動パターンを20Hzずつ位相を随時ずらしてもよい。例えば、コンテンツの再生開始時から所定の時間が経過した際には、処理制御部106は、「100Hzに強い振動、かつ、170Hzに弱めの振動」というパターンに対応する振動をデバイス20に発生させる。
または、処理制御部106は、再生対象の音楽の音階などの何らかの種類の音階に対応するように、デバイス20により発生される振動の周波数帯を時間の経過に応じて変化させてもよい。この制御例によれば、振動の発生により音階を表現することができるので、触覚により音楽を感じ得るような体験をユーザに提供することができる。
なお、変形例として、デバイス20による振動の発生中に、処理制御部106は、デバイス20に対するユーザの操作の検出に応じて、デバイス20に実行させる処理を変化させてもよい。例えば、デバイス20が振動を発生中に、当該振動の振動パターンと同じパターンでユーザがデバイス20をタップすることが検出されたり、または、デバイス20を強く揺さぶることが検出された場合には、処理制御部106は、検出された操作に合わせて振動パターンを変化させたり、または、振動のテンポを調整してもよい。例えば、ユーザがデバイス20をどのようなパターンでタップしたかは、加速度センサ等の情報に基づいて認識され得る。また、デバイス20に対するユーザの操作が検出された場合には、処理制御部106は、振動パターンや振動のテンポをランダムに変更してもよいし、または、例えばデバイス20が揺さぶられた強度に応じて、振動パターンの変化具合の大小や、振動のテンポの上げ下げの度合いを決めてもよい。
{1−3−2.適用例2:イルミネーションの表示制御}
(1−3−2−1.カラーパレットの生成)
次に、情報処理装置10がイルミネーションの表示を制御する例について説明する。例えば、情報処理装置10は、再生対象のコンテンツに応じてイルミネーションパターンを決定し、そして、決定したイルミネーションパターンに対応するイルミネーションをデバイス20に表示(または発光)させる。ここで、イルミネーションパターンは、予め生成されるカラーパレットに設定されている色を用いて生成されるパターンである。
ここで、カラーパレットは、基準の色であるMain colorごとに生成されるグラデーションパレットの集合として構成される。また、各グラデーションパレットは、(当該グラデーションパレットに対応する)Main color、輝度に関する当該Main colorのグラデーション色、および、色相に関する当該Main colorのグラデーション色の組み合わせにより定義される。
ここで、カラーパレットの生成例について具体的に説明する。例えば、まず、所定の数(例えば10種類など)の基本的な色がBasic colorとして定義される。このBasic colorは、例えばシステム系の通知(デバイス20が充電中であることを示す通知や、Bluetooth(登録商標)のペアリング中であることを示す通知など)のために用いられ得る。また、Basic colorは、原則として、イルミネーションパターンには使用されない。
続いて、例えば、色相上で隣り合うBasic color間の中間色などが、カラーパレットにおける基準の色であるMain colorとして定義される。そして、隣り合うMain color間のグラデーション色、および、Main colorの輝度が変化されたグラデーション色が求められ、そして、これらのグラデーション色がカラーパレットで使用される色としてさらに定義される。
図5は、カラーパレットの一例(カラーパレット30)を示した説明図である。なお、図5に示した例では、色「A1」300aおよび色「B1」300bがMain colorとして定められていることを前提としている。図5に示したように、例えば、色「A1」300aに対して輝度を最大化した色「A5」と、色「A1」との間を所定の個数(例えば3個)で均等にグラデーションさせた色をそれぞれ、輝度に関する「A1」のグラデーション色(「A2」、「A3」、および、「A4」)として定義する。同様に、色「A1」と色「B1」との間を所定の個数(例えば4個)で均等にグラデーションさせた色をそれぞれ、色相に関する「A1」のグラデーション色(「Aa」、「Ab」、「Ac」、および、「Ad」)として定義する。そして、色「A1」、輝度に関する「A1」のグラデーション色、および、色相に関する「A1」のグラデーション色の組み合わせが、色「A1」のグラデーションパレットとして定義される。以上の作業を全てのMain colorに関して行うことにより、カラーパレット30が生成される。
(1−3−2−2.イルミネーションパターンの生成)
また、個々のイルミネーションパターンは、例えば、カラーパレット内の一つのグラデーションパレットに含まれる色のみを用いてイルミネーションするパターンとして生成され得る。ここで、イルミネーションパターンの具体例について図6および図7を参照して説明する。なお、図6および図7では、デバイス20が複数のLED220を有しており、かつ、複数のLED220を発光させることによりイルミネーションパターンを表示する例を示している。例えば、図6に示したように、イルミネーションパターンは、当該イルミネーションパターンに対応するグラデーションパレットに従って、複数のLED220の全てが発光する色の輝度および/または色相が時間の経過に応じてグラデーションするパターンであってもよい。または、図7に示したように、イルミネーションパターンは、出力される光がデバイス20b上で例えば時計回りや反時計回りに回転するように、デバイス20に含まれる複数のLED220のうち、発光させるLED220群を時間の経過に応じてずらしていくパターンであってもよい。
なお、上述したように、イルミネーションパターンは、(処理パターンDB124において)パートごとに分類(小分類)され得る。そして、パートが「イントロ」である場合と、パートが「Aメロ」である場合とでは、それぞれのパートに対応付けられている(複数のイルミネーションパターンの)Main colorの色相が3つ程度離れるように設定され得る。これにより、再生中のパートが「イントロ」から「Aメロ」に遷移すると、情報処理装置10は、色相が大きく異なるイルミネーションパターンをデバイス20に表示させることができる。これにより、パートの切り替わり時において、規則性がありつつ、ユーザにより強い印象を与える演出を可能とする。なお、パートの遷移に限定されずに、再生対象の音楽自体が切り替わる場合や、再生中の音楽が変調する場合に関しても同様に、情報処理装置10は、イルミネーションパターンのMain colorの色相が3つ程度離れるように、イルミネーションパターンを切り替えることが可能である。
また、(処理パターンDB124において)イルミネーションパターンに対応付けられる中分類は、再生対象の音楽のジャンルであってもよいし、または、Beatカテゴリーであってもよい。そして、後者の場合、カテゴリーが「Beat‐in」である場合のイルミネーションパターンよりも、カテゴリーが「Beat‐on(Flywheel)」である場合のイルミネーションパターンの方が、例えば色相や輝度の変化量、または、変化の速度がより大きいパターンになるように設定されてもよい。
(1−3−2−3.イルミネーションの変更例)
また、情報処理装置10の処理制御部106は、決定されたイルミネーションパターンに対応するイルミネーションのテンポを、再生中の音楽のBeatに応じて動的に変化させることが可能である。例えば、決定されたイルミネーションパターンが、回転するイルミネーションのパターンであり、かつ、再生中の音楽のBeatが「トン、トン、トン、〜」のように設定されている場合には、処理制御部106は、一回の「トン」ごとにイルミネーションが回転するようなテンポで、当該イルミネーションを表示させてもよい。また、中分類がBeatカテゴリーに設定される場合には、処理制御部106は、例えばカテゴリーがBeat‐inやBeat‐on(Flywheel)である場合に限り、イルミネーションパターンのテンポを、再生中の音楽のBeatに応じて変化させてもよい。
なお、処理制御部106は、同じイルミネーションパターン(およびテンポ)であっても、例えば再生中の音楽のBeatや音圧などに応じて、イルミネーションの輝度や色相域を動的に変更(例えば制限)してもよい。
{1−3−3.適用例3:アニメーションの表示制御}
(1−3−3−1.アニメーションパターン)
次に、情報処理装置10がアニメーションの表示を制御する例について説明する。例えば、情報処理装置10は、再生対象のコンテンツに応じてアニメーションパターンを決定し、そして、決定したアニメーションパターンに対応するアニメーションをデバイス20に表示させる。ここで、アニメーションパターンは、例えば、ダンサーが躍る様子(例えば、一つのダンスシーケンスなど)のアニメーションとして生成され得る。図8は、アニメーションパターンに含まれるフレーム画像の例(フレーム画像320)を示した説明図である。アニメーションパターンは、複数の枚数のフレーム画像320から構成され得る。
また、(処理パターンDB124において)アニメーションパターンに対応付けられる中分類は、再生対象の音楽のジャンルであってもよいし、Beatカテゴリーあってもよいし、または、例えばヒップホップダンスやタップダンスなどの、ダンスのジャンルであってもよい。
(1−3−3−2.アニメーションの変更例)
なお、情報処理装置10の処理制御部106は、決定されたアニメーションパターンに対応するアニメーションのテンポを、再生中の音楽のBeatに応じて動的に変更することが可能である。また、処理制御部106は、同じアニメーションパターン(およびテンポ)であっても、例えば再生中の音楽のBeatや音圧などに応じて、アニメーションの表示色を動的に変化させてもよい。
また、変形例として、処理制御部106は、決定部104により決定される複数のアニメーションパターン、および/または、複数の色を、再生中の音楽のテンポに同期させながら組み合わせることにより、アニメーションの表示を動的に変化させてもよい。これにより、さらに別の表現をユーザに提示することができる。
{1−3−4.適用例4:モーションの制御}
(1−3−4−1.モーションパターン)
次に、情報処理装置10がデバイス20の動作を制御する例について説明する。例えば、情報処理装置10は、再生対象のコンテンツに応じてモーションパターンを決定し、そして、決定したモーションパターンに対応する動作をデバイス20に実行させる。ここで、モーションパターンは、例えば、図9に示したようにデバイス20が卓上で移動するなど、デバイス20自体が移動するパターンであってもよい。または、モーションパターンは、例えば、デバイス20のアームを左右に振ったり、回転させるなど、デバイス20に含まれる特定の部位を動かすパターンであってもよい。または、モーションパターンは、デバイス20自体の移動とデバイス20に含まれる特定の部位の動作との組み合わせのパターンであってもよい。
また、(処理パターンDB124において)アニメーションパターンに対応付けられる中分類は、再生対象の音楽のジャンルであってもよいし、または、Beatカテゴリーあってもよい。
(1−3−4−2.モーションの変更例)
なお、情報処理装置10の処理制御部106は、決定されたモーションパターンのテンポを、再生中の音楽のBeatに応じて動的に変化させることが可能である。例えば、中分類がBeatカテゴリーに設定される場合には、処理制御部106は、例えばカテゴリーがBeat‐inやBeat‐on(Flywheel)である場合に限り、モーションパターンのテンポを、再生中の音楽のBeatに応じて変化させてもよい。
また、処理制御部106は、同じモーションパターン(およびテンポ)であっても、例えば、移動距離、移動方向、速度、加速度、または、回転角度などを、例えば再生中の音楽のBeatや音圧などに応じて動的に変化させてもよい。
なお、変形例として、決定部104により複数のモーションパターンが決定される場合には、処理制御部106は、複数のモーションパターンを、再生中の音楽のテンポに同期させたり、または、ずらしたりしながら組み合わせてもよい。これにより、さらに別の表現をユーザに提示することができる。
または、この場合、処理制御部106は、決定された複数のモーションパターンの各々に対応する動作を、別々のデバイス20に実行させてもよい。例えば、処理制御部106は、決定された複数のモーションパターンの各々に対応する動作のテンポを、再生中の音楽のテンポに同期させたり、または、ずらしたりしながら、別々のデバイス20に実行させてもよい。
<1−4.動作>
以上、第1の実施形態の適用例について説明した。次に、第1の実施形態による動作について、図10〜図19を参照して説明する。なお、以下では、音楽の再生と同時に、例えば振動やアニメーションなどの処理をデバイス20に実行させる例について説明する。
{1−4−1.動作の全体の流れ}
図10〜図13は、第1の実施形態による動作の全体的な流れを示したフローチャートである。図10に示したように、まず、ユーザは、音楽の再生の開始を指示する再生開始コマンドを例えば所定の入力装置(図示省略)に対して入力する。そして、情報処理装置10は、再生開始コマンドが入力されたことを当該入力装置から受信する(S101)。
その後、再生制御部102は、入力された再生開始コマンドに対応する音楽を再生対象の音楽として決定する。そして、再生制御部102は、再生対象の音楽のメタデータを所定のサーバ(図示省略)または記憶部122から取得する(S103)。
その後、決定部104は、取得されたメタデータに基づいて、該当の音楽の最初からBPMを取得可能であるか否かを判定する(S105)。該当の音楽の最初からBPMを取得可能である場合には(S105:Yes)、次に、決定部104は、例えば、各種の設定情報などに基づいて、該当の音楽の再生開始前に処理パターンをデバイス20に実行させるか否かを判定する(S107)。該当の音楽の再生開始前に処理パターンをデバイス20に実行させると判定された場合には(S107:Yes)、処理制御部106は、該当の音楽の再生が開始される前に、所定の処理パターンに対応する処理をイントロとしてデバイス20に実行させる(S109)。そして、情報処理装置10は、後述するS121の処理を行う。一方、該当の音楽の再生開始前に処理パターンをデバイス20に実行させないと判定された場合には(S107:No)、情報処理装置10は、後述するS121の処理を行う。
また、S105において、該当の音楽の最初のBPMを取得不可能である場合には(S105:No)、処理制御部106は、Beat無しの専用のパターンに対応する処理をデバイス20に実行させる(S111)。そして、情報処理装置10は、後述するS121の処理を行う。
ここで、図11を参照して、S121以降の動作について説明する。図11に示したように、決定部104は、例えば、取得されたメタデータに基づいて、該当の音楽に関して基本の拍子を取得可能であるか否かを判定する(S121)。該当の音楽に関して基本の拍子を取得可能ではない場合には(S121:No)、処理制御部106は、エラーの音声や表示を例えばデバイス20などに出力させる(S123)。そして、情報処理装置10は、本動作を終了する。
一方、該当の音楽に関して基本の拍子を取得可能である場合には(S121:Yes)、決定部104は、取得した基本の拍子を大分類として決定する(S125)。続いて、決定部104は、例えば、取得されたメタデータに基づいて、該当の音楽のジャンルを取得可能であるか否かを判定する(S127)。該当の音楽のジャンルを取得可能である場合には(S127:Yes)、決定部104は、取得したジャンルなどを中分類の候補として一以上決定する(S129)。そして、情報処理装置10は、後述するS141の処理を行う。
一方、該当の音楽のジャンルを取得可能ではない場合には(S127:No)、決定部104は、中分類の候補を決定しない(S131)。そして、情報処理装置10は、後述するS141の処理を行う。
ここで、図12を参照して、S141以降の動作について説明する。図12に示したように、S141では、決定部104は、決定した中分類の一以上の候補の各々に対して所定の基準を用いて評価値を計算し、そして、算出された評価値に基づいて確率的に中分類を決定する(S141)。
続いて、情報処理装置10は、後述する「中分類連続回避処理」を実行する(S143)。
その後、決定部104は、再生対象のパートを取得可能であるか否かを判定する(S145)。再生対象のパートを取得可能である場合には(S145:Yes)、決定部104は、再生対象のパートを取得し、そして、取得したパートを小分類として決定する(S147)。続いて、決定部104は、処理パターンDB124において、決定された大分類、中分類、および、小分類に対応付けられている複数の処理パターンのうちのいずれかを、実行される処理の処理パターンとしてランダムに決定する(S149)。
その後、再生制御部102は、再生対象の音楽の再生をコンテンツ再生装置22に開始させる(S151)。なお、同時に、処理制御部106は、S149、もしくは、後述するS153で決定された処理パターンに対応する処理の実行をデバイス20に開始させてもよい。その後、情報処理装置10は、後述するS161の処理を実行する。
一方、再生対象のパートを取得可能ではない場合には(S145:No)、決定部104は、該当の音楽の先頭のパートに対応付けられている複数の処理パターンの中から、実行される処理の処理パターンをランダムに決定する(S153)。そして、情報処理装置10は、上述したS151以降の処理を行う。
ここで、図13を参照して、S161以降の動作について説明する。図13に示したように、S161では、処理制御部106は、現在再生中の音楽のBPMに合わせて、該当の処理パターンに対応する処理のテンポを動的に変更し、そして、変更後のテンポで当該処理をデバイス20に実行させる(S161)。
続いて、決定部104は、該当の処理パターンのパラメータ値を例えば処理パターンDB124などから取得する(S163)。
その後、決定部104は、該当の処理パターンに対応する処理がN小節繰り返されるまで待機する(S165)。そして、該当の処理がN小節繰り返された場合には(S165:Yes)、情報処理装置10は、後述する「パターン変更処理」を実行する(S167)。その後、情報処理装置10は、後述する「曲終わり合わせ対応処理」を実行する(S169)。
その後、再生制御部102は、例えば、ユーザの入力の有無や設定情報などに基づいて、別の曲を連続して再生するか否かを判定する(S171)。別の曲を連続して再生することが判定された場合には(S171:Yes)、再生制御部102は、上述したS103以降の処理を繰り返す。一方、別の曲を再生しないことが判定された場合には(S171:No)、情報処理装置10は、本動作を終了する。
{1−4−2.中分類連続回避処理}
次に、図14を参照して、S143における「中分類連続回避処理」の流れについて説明する。図14に示したように、まず、決定部104は、現在の再生対象の音楽が一曲目であるか否かを判定する(S201)。一曲目である場合には(S201:Yes)、当該「中分類連続回避処理」は終了する。
一方、現在の再生対象の音楽が二曲目以降である場合には(S201:No)、決定部104は、現在の再生対象の音楽のジャンルが直前に再生した曲のジャンルと同じであるか否かを判定する(S203)。現在の再生対象の音楽のジャンルが直前に再生した曲のジャンルと同じである場合には(S203:Yes)、決定部104は、現在の再生対象の音楽のジャンルに対応付けられている複数の処理パターンのうち、前回の処理パターンとは異なる処理パターンのいずれかを(今回実行させる処理パターンとして)決定する(S205)。そして、当該「中分類連続回避処理」は終了する。
一方、現在の再生対象の音楽のジャンルが直前に再生した曲のジャンルとは異なる場合には(S203:No)、当該「中分類連続回避処理」は終了する。
{1−4−3.パターン変更処理}
次に、図15を参照して、S167における「パターン変更処理」の流れについて説明する。図15に示したように、まず、決定部104は、次の小節も同じパートに含まれるか否かを判定する(S301)。次の小節も同じパートに含まれる場合には(S301:Yes)、決定部104は、同じパートに対応付けられている、現在の処理パターン以外の処理パターンの中から、現在の処理パターンのパラメータ値を基準として−10以上10以下のパラメータ値を有するいずれかの処理パターンをランダムに選択し、そして、選択した処理パターンを、次に実行される処理パターンとして決定する(S303)。続いて、処理制御部106は、決定された処理パターンに対応する処理をデバイス20に実行させる(S305)。そして、当該「パターン変更処理」は終了する。
一方、次の小節が次のパートに含まれる場合には(S301:No)、決定部104は、次のパートに対応付けられている複数の処理パターンの中から、現在の処理パターンのパラメータ値を基準として−15以下または15以上のパラメータ値を有するいずれかの処理パターンをランダムに選択し、そして、選択した処理パターンを、次に実行される処理パターンとして決定する(S307)。そして、情報処理装置10は、上述したS305以降の処理を実行する。
{1−4−4.曲終わり合わせ対応処理}
次に、図16を参照して、S169における「曲終わり合わせ対応処理」の流れについて説明する。図16に示したように、まず、処理制御部106は、曲の終わりの直前に達した(例えば、残り時間が5秒以内になった)か否かを判定する(S401)。曲の終わりの直前に達した場合には(S401:Yes)、次に、処理制御部106は、該当の曲がフェードアウトで終了する曲であるか否かを判定する(S403)。該当の曲がフェードアウトで終了する曲である場合には(S403:Yes)、処理制御部106は、該当の処理パターンに対応する処理がフェードアウト(またはループ)するようにデバイス20を制御する(S405)。その後、該当の曲の再生が終了する(S407)。そして、当該「曲終わり合わせ対応処理」は終了する。
一方、該当の曲がフェードアウトで終了する曲ではない場合には(S403:No)、処理制御部106は、曲の終わりに合わせて、処理パターンに対応する処理がピタッと止まるように、デバイス20を制御する(S409)。その後、情報処理装置10は、上述したS407以降の処理を実行する。
また、S401において、曲の終わりの直前に達していない場合には(S401:No)、情報処理装置10は、後述する「曲内ブレイク対応処理」を実行する(S411)。続いて、情報処理装置10は、後述する「拍手対応処理」を実行する(S413)。続いて、情報処理装置10は、後述する「変拍子処理」を実行する(S415)。その後、情報処理装置10は、再び、上述したS161以降の処理を実行する。
{1−4−5.曲内ブレイク対応処理}
次に、図17を参照して、S411における「曲内ブレイク対応処理」の流れについて説明する。図17に示したように、まず、処理制御部106は、次の小節においてブレイクが存在する(つまり、無音、または、音量が所定の閾値以下である継続時間の長さが所定の時間以上である)か否かを判定する(S501)。次の小節においてブレイクが存在しない場合には(S501:No)、当該「曲内ブレイク対応処理」は終了する。
一方、次の小節においてブレイクが存在する場合には(S501:Yes)、処理制御部106は、検出されたブレイクの箇所において、現在の処理パターンに対応する処理の実行を急に停止させたり、または、ブレイクに対応する専用の処理パターンに対応する処理を新たに実行させるように、デバイス20を制御する(S503)。そして、当該「曲内ブレイク対応処理」は終了する。
{1−4−6.拍手対応処理}
次に、図18を参照して、S413における「拍手対応処理」の流れについて説明する。図18に示したように、まず、処理制御部106は、次の小節において拍手が含まれているか否かを判定する(S601)。次の小節において拍手が含まれていない場合には(S601:No)、当該「拍手対応処理」は終了する。
一方、次の小節において拍手が含まれている場合には(S601:Yes)、処理制御部106は、例えば、検出された拍手の箇所において、拍手専用の処理パターンに対応する処理をデバイス20に実行させる(S603)。そして、当該「拍手対応処理」は終了する。
{1−4−7.変拍子処理}
次に、図19を参照して、S415における「変拍子処理」の流れについて説明する。図19に示したように、まず、決定部104は、拍子の変化があることが検出されたか否かを判定する(S701)。拍子の変化があることが検出されていない場合には(S701:No)、当該「変拍子処理」は終了する。
一方、拍子の変化があることが検出された場合には(S701:Yes)、次に、決定部104は、変化後の拍子数が、処理パターンDB124に大分類として登録されているいずれかの拍子数と同一であるか否かを判定する(S703)。変化後の拍子数が、登録されているいずれかの拍子数と同一であると判定された場合には(S703:Yes)、決定部104は、中分類を維持しつつ、変化後の拍子数に応じて大分類および小分類を再設定する(S705)。そして、決定部104は、大分類および小分類の再設定に基づいて、新たに実行される処理パターンを決定する(S707)。
続いて、処理制御部106は、決定された処理パターンに対応する処理をデバイス20に実行させる(S709)。そして、当該「変拍子処理」は終了する。
また、S703において、変化後の拍子数が、登録されているいずれの拍子数とも同一ではないと判定された場合には(S703:No)、決定部104は、(BPMではなく)低音の音圧に合う処理パターンを、新たに実行される処理パターンとして決定する(S711)。そして、情報処理装置10は、上述したS709以降の処理を実行する。
<1−5.効果>
以上説明したように、第1の実施形態によれば、情報処理装置10は、再生対象のコンテンツに応じて、複数の処理パターンの中から、当該コンテンツの再生と関連付けて実行される処理の処理パターンを決定し、そして、決定した処理パターンに対応する処理の実行を制御する。このため、第1の実施形態によれば、再生対象のコンテンツに適した、より多くの種類の処理を、当該コンテンツの再生と関連付けて実行させることができる。
例えば、情報処理装置10は、再生対象の音楽の拍子、ジャンル、および、パートごとに、実行される処理(振動や表示などの)の処理パターンを異ならせる。また、情報処理装置10は、再生対象の音楽の無音部分で振動を発生させたり、または、再生中の音とタイミングをずらして振動を発生させることが可能である。これにより、再生対象の音楽に対して、あたかも別の楽器の演奏や別のジャンルの演奏が追加されたかのような印象を音楽を聴くユーザに与えることができる。その結果、当該ユーザにより強い印象を与える演出が可能になる。例えば、再生中の音楽を当該ユーザがより感動的または情熱的に感じ得る演出を実現することができる。
<1−6.応用例>
なお、第1の実施形態は上述した例に限定されない。次に、第1の実施形態の応用例について、「1−6−1.応用例1」〜「1−6−2.応用例2」において説明する。なお、以下では、上述した説明と重複する内容については説明を省略する。
{1−6−1.応用例1}
まず、応用例1について説明する。まず、応用例1を創作するに至った背景について説明する。一般的に、一曲の中に含まれる数多くの種類の楽器の演奏や声(歌声)はメジャーな音(例えば主旋律の楽器またはボーカルなど)に埋もれてしまい得る。このため、当該曲に含まれる他の種類の楽器の演奏や声をユーザは聴き難い(例えばはっきりと体感することが難しい)。
後述するように、応用例1によれば、一曲の中に含まれるマイナーな音を振動として際立たせることにより、明りょうにユーザに体感させることが可能である。
(1−6−2−1.構成)
応用例1では、一つの楽曲が解析され、そして、当該楽曲に含まれる例えば10種類の楽器と5種類の声(ボーカル、コーラスなど)が分解されている場面を想定する。あるいは、譜面データを利用して、当該楽曲に含まれる10種類の楽器および5種類の声の再生タイミングが正確に特定されている場面を想定する。
このような場面において、応用例1による情報処理装置10は、楽曲再生の進行に応じて、振動として再生するための元となる音データを切り替えながら曲を再生する。例えば、まず、曲の始まり(イントロ部分)では、情報処理装置10は、当該イントロ部分に含まれる特定の楽器の音を抽出し、そして、抽出した音のリズムに合わせて振動をデバイス20に発生させる。これにより、振動を用いることにより、当該特定の楽器の音を増強することができる。
そして、例えば所定の数の小節が経過する度に、情報処理装置10は、振動の元データの音を別の楽器(または声)の音に切り替える。これにより、振動として増強/強調される楽器または声が、曲の様々なパートの中で切り替わる。
以上説明したように、応用例1によれば、(仮に振動がなければ脇役として目立たなかった)マイナーな楽器やバックコーラスなどが振動としてしっかり際立つので、音としても、ユーザにしっかり認識されるようになることが期待できる。また、マイナーな音を時々強調することができるので、ユーザに新鮮な印象を与えることができ、飽きさせないことが期待できる。
{1−6−2.応用例2}
次に、応用例2について説明する。後述するように、応用例2によれば、情報処理装置10は、再生対象のコンテンツに関する盛り上がりの判定結果に基づいて、コンテンツの再生と同時に実行される処理の処理パターンを決定することが可能である。
(1−6−2−1.概要)
応用例2では、人物の動作の撮影画像に基づいてアニメーションパターンが生成されることを想定する。例えば、まず、プロのダンサーが複数の種類のステップを踊った映像が撮影され、そして、撮影結果に基づいて、ステップの種類ごとに動画ファイルが生成される。そして、当該動画ファイルは画像処理によりドットアニメーションに変換され得る。さらに、ドットアニメーションごとにキーフレームが設定され得る。このキーフレームは、音楽の再生と同時にドットアニメーションが表示される場合に、表示タイミングが音楽のBeatに合わせられるようなフレームである。
(1−6−2−1.構成)
次に、応用例2による情報処理装置10の構成について説明する。応用例2による決定部104は、再生対象の音楽に関する盛り上がりの判定結果に応じて、音楽の再生時に実行される処理の処理パターンを決定する。例えば、決定部104は、まず、再生対象の音楽の平均音圧などの解析結果に基づいて、当該音楽中の各部分における盛り上がりの程度を判定する。そして、決定部104は、判定結果に基づいて、音楽の盛り上がりと、実行される処理パターンの盛り上がりとが合うように、音楽中の各部分における、実行される処理パターンを決定する。例えば、決定部104は、音楽の中で盛り上がりが小さい箇所に関しては、速度の遅い、落ち着いた処理パターンを決定する。また、決定部104は、音楽の中で盛り上がりが大きい箇所に関しては、速度の速い、激しい処理パターンを決定する。
ここで、音楽のイントロの部分では緩やかなダンス(例えばウォーキングなど)のアニメーションを表示し、中間の部分ではステップのテンポが徐々に速くなるようなアニメーションを表示し、そして、サビの部分では、エクストリームなダンスのアニメーションを表示することが望まれる場合の例について説明を行う。この場合、決定部104は、音楽のイントロの部分に関しては、落ち着いたアニメーションパターンを決定する。そして、音楽の中間の部分に関しては、決定部104は、経過時間が長くなるほど、アニメーションのテンポがより速いアニメーションパターンを随時決定していく。そして、音楽のサビの部分に関しては、決定部104は、激しいアニメーションパターンを決定する。
なお、音楽の再生中に、音楽とアニメーションパターンとのタイミングがずれる場合も想定される。このような場合、仮にアニメーションのタイミングを急に補正してしまうと、アニメーションの円滑さが損なわれ得る。そこで、処理制御部106は、例えば、キーフレームのテンポを維持しながら、キーフレーム間の速度を緩やかに調整すること(例えば現在の速度を基準にして−50%以上50%以下の範囲内で速度を調整するなど)が望ましい。これにより、音楽とアニメーションパターンとのタイミングのずれを滑らかに補正することができる。
(1−6−2−3.変形例)
‐変形例1:振動の反映
なお、変形例として、表示画面に表示されるダンサーの動きに応じて、発生される振動の振動パターンが決定されてもよい。ここで、ダンサーの動きが表示画面に表示される場合とは、ダンサーの動きが撮影された動画が表示画面に表示される場合であってもよいし、または、ダンサーの動きのドットアニメーションが表示画面に表示される場合であってもよい。例えば、情報処理装置10(決定部104)は、表示画面に表示されるダンサーの動きに対応する撮影画像の解析結果に基づいて、振動パターンを決定する。但し、かかる例に限定されず、表示されるダンサーの動きの種類ごとに、ユーザが振動パターンを予め指定しておくことも可能である。
例えば、決定部104は、ダンサーが足を「ドン」と踏む動作が表示されるタイミングでは、「ドン」という振動を発生させる振動パターンを、実行される振動パターンとして決定する。また、決定部104は、ダンサーが手を「パン」と叩くアニメーションが表示されるタイミングでは、「パン」という振動を発生させる振動パターンを、実行される振動パターンとして決定する。これらの決定例によれば、より盛り上がる音楽体験を実現することができる。例えば、音楽を聴くユーザは、ダンサーの動きをよりダイナミックに、または情熱的に体感することができる。
‐変形例2:演奏の反映
また、別の変形例として、処理制御部106は、ユーザによる演奏の検出に応じて、表示されるアニメーションを動的に変化させることも可能である。例えば、ユーザにより仮想の鍵盤が操作された際には、処理制御部106は、表示画面に表示されているダンサーがジャンプするなど、表示されるアニメーションを動的に変化させる。
ここで、アニメーションは、モデリングデータにより構成されていてもよい。そして、この場合、処理制御部106は、ユーザによる演奏の検出に応じて、例えば表示されているキャラクターの各関節のポイントが動くように、表示を制御してもよい。この例では、ユーザは、演奏に応じて、キャラクターを複雑に動かすことが可能になる。
また、処理制御部106は、複数のユーザによる演奏の検出に応じて、表示されるアニメーションを動的に変化させることも可能である。例えば、一人のダンサーのアニメーションが表示される場合では、当該ダンサーの身体に関して動作をコントロール可能な部位がユーザごとに予め設定され得る。そして、当該アニメーションの表示中における、複数のユーザの各々による演奏の検出に基づいて、処理制御部106は、当該ユーザに割り当てられている当該ダンサーの身体の部分が動くように、表示を制御することが可能である。
なお、演奏に関する一つのインプットまたは一連のインプットと、(アニメーションにおける)一続きの動作とが対応付けられることが望ましい。例えば、一小節ごとに一個のインプットがなされると、ダンサーが一続きの動作を行うように、動作が割り当てられることが望ましい。このように、ユーザのインプットがおおざっぱに変換されることにより、ユーザは容易に、かつ、気軽にアニメーションを変化させることができる。そして、演奏を楽しむことができる。
<<2.第2の実施形態>>
以上、第1の実施形態について説明した。上述したように、第1の実施形態による情報処理装置10は、コンテンツの再生時に、当該コンテンツに応じて、デバイス20に実行させる処理の処理パターンを変化させる。
次に、第2の実施形態について説明する。後述するように、第2の実施形態による情報処理装置40は、例えば、他のユーザからの電話の着信やメールの受信などに応じて、実行される処理(振動の発生やイルミネーションの表示など)の処理パターンを変化させることが可能である。
<2−1.システム構成>
まず、第2の実施形態による情報処理システムの構成例について、図20を参照して説明する。図20に示すように、第2の実施形態による情報処理システムは、図1に示した第1の実施形態と比較して、情報処理装置10およびコンテンツ再生装置22を含まない代わりに、複数の情報処理装置40をさらに含む。なお、以下では、第1の実施形態と異なる内容についてのみ説明を行うこととし、同一の内容については説明を省略する。
{2−1−1.情報処理装置40}
情報処理装置40は、ユーザが他のユーザと通信を行うための装置である。例えば、情報処理装置40は、他のユーザからの電話を着信したり、または、他のユーザにより送信される電子メールやショートメッセージなどを受信することが可能である。この情報処理装置40は、図20に示すように、スマートフォンなどの携帯電話であってもよい。
なお、第2の実施形態による情報処理システムの構成は、上述した例に限定されない。例えば、当該情報処理システムは、デバイス20を含まなくてもよい。
<2−2.構成>
以上、第2の実施形態による情報処理システムの構成について説明した。次に、第2の実施形態による構成について説明する。図21は、第2の実施形態による情報処理装置40の構成例を示した機能ブロック図である。図21に示すように、情報処理装置40は、制御部400、通信部420、入力部424、出力部426、振動部428、および、記憶部422を有する。また、制御部400は、決定部404、および、処理制御部406を有する。
なお、通信部420および記憶部422の機能はそれぞれ、第1の実施形態による通信部120または記憶部122と概略同様である。
{2−2−1.決定部404}
決定部404は、他のユーザからの電話の着信や情報の受信に応じて、予め登録されている複数の処理パターンの中から、当該情報の受信と関連付けて実行される処理の処理パターンを決定する。例えば、決定部404は、情報を送信した他のユーザと、情報処理装置40を有するユーザ(以下、対象ユーザと称する)との関係性に応じて、当該情報の受信と関連付けて実行される処理の処理パターンを決定する。一例として、情報を送信した他のユーザが、対象ユーザと所定の関係を有する場合(例えば、家族や友人などである場合)には、決定部404は、当該情報の受信と関連付けて実行される処理パターンを、特別の処理パターンに決定する。また、情報を送信した他のユーザが、対象ユーザと所定の関係を有しない場合には、決定部404は、当該情報の受信と関連付けて実行される処理パターンを標準の処理パターンに決定する。
また、決定部404は、他のユーザにより送信された情報の内容に応じて、当該情報の受信と関連付けて実行される処理の処理パターンを決定することも可能である。例えば、決定部404は、当該情報(例えばテキストや画像など)から算出されるポジティブレベル(評価値)に応じて、当該情報の受信と関連付けて実行される処理の処理パターンを決定する。ここで、ポジティブレベルは、該当のテキストに含まれるキーワードや、該当の画像に映っている人物の表情などに基づいて算出され得る。
また、決定部404は、当該情報の受信時における対象ユーザの状態に関する情報に応じて、当該情報の受信と関連付けて実行される処理の処理パターンを決定することも可能である。ここで、対象ユーザの状態に関する情報は、例えば、対象ユーザの感情の推定結果や、対象ユーザの状況を示す情報などを含む。例えば、当該情報の受信時において、対象ユーザが楽しんでいることが推定される場合には、決定部404は、テンポの速い処理パターンを決定してもよい。また、当該情報の受信時において、対象ユーザが怒っていたり、悲しんでいることが推定される場合には、決定部404は、落ち着いた処理パターンを決定してもよい。また、当該情報の受信時において、対象ユーザが電車に乗っていたり、または、仕事や勉強中である場合には、決定部404は、落ち着いた処理パターンを決定してもよい。
{2−2−2.処理制御部406}
処理制御部406は、決定部404により決定された処理パターンに対応する処理を、デバイス20、出力部426、または、振動部428に実行させる。例えば、処理制御部406は、決定部404により決定された振動パターンに対応する振動をデバイス20または振動部428に発生させたり、決定されたイルミネーションパターンに対応するイルミネーションをデバイス20または出力部426に表示させたり、決定されたアニメーションパターンに対応する動画像をデバイス20または出力部426に表示させたり、または、決定されたモーションパターンに対応する動作をデバイス20に実行させる。
なお、処理制御部406の具体的な機能については、第1の実施形態による処理制御部106と概略同様である。
{2−2−3.入力部424}
入力部424は、例えば電話の着信操作などの、ユーザによる各種の入力を受け付ける。
{2−2−4.出力部426}
出力部426は、処理制御部406の制御に従って、発光したり、音声を出力する。例えば、出力部426は、LCDやOLEDなどから構成されるディスプレイや、LEDなどを含む表示部、および、音声出力部を含む。なお、ディスプレイがタッチディスプレイとして構成される場合など、入力部424の一部と表示部とは一体的に構成されてもよい。
{2−2−5.振動部428}
振動部428は、処理制御部406の制御に従って、振動を発生させる。
<2−3.動作>
以上、第2の実施形態による構成について説明した。次に、第2の実施形態による動作について、図22を参照して説明する。図22は、第2の実施形態による動作を示したフローチャートである。
図22に示したように、まず、情報処理装置40は、他のユーザからの電話の着信またはメールが受信されるまで待機する(S801)。そして、電話が着信した際、または、メールを受信した際には(S801:Yes)、決定部404は、他のユーザが、対象ユーザと特定の関係を有するか否かを判定する(S803)。他のユーザが、対象ユーザと特定の関係を有する場合には(S803:Yes)、決定部404は、処理パターンDB124に登録されている複数の処理パターンの中から、対象ユーザの現在の感情の推定結果、または、対象ユーザの現在の状況に応じて、実行される処理の処理パターンを決定する。または、S801でメールが受信された場合には、決定部404は、さらに、受信されたメールの内容に応じて、処理パターンを決定してもよい(S805)。
続いて、処理制御部406は、決定された処理パターンに対応する処理をデバイス20、出力部426、または、振動部428に実行させる(S807)。そして、情報処理装置40は、本動作を終了する。
また、S803において、他のユーザが、対象ユーザと特定の関係を有しない場合には(S803:No)、処理制御部406は、標準の処理パターンに対応する処理をデバイス20、出力部426、または、振動部428に実行させる(S809)。そして、情報処理装置40は、本動作を終了する。
<2−4.効果>
以上説明したように、第2の実施形態によれば、他のユーザからの電話の着信やメールの受信時に、情報処理装置40は、他のユーザと対象ユーザとの関係性、受信されたメールの内容、または、受信時の対象ユーザの状態などに応じて、実行される処理の処理パターンを変化させる。このため、電話の着信やメールの受信に関してより強い印象をユーザに与える演出を実現することができる。そして、ユーザは、他のユーザとの電話やメールのやりとりをさらに楽しむことができる。
<<3.ハードウェア構成>>
次に、第1の実施形態による情報処理装置10のハードウェア構成について、図23を参照して説明する。図23に示すように、情報処理装置10は、CPU150、ROM(Read Only Memory)152、RAM154、バス156、インターフェース158、ストレージ装置160、および通信装置162を備える。
CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。また、CPU150は、情報処理装置10において制御部100の機能を実現する。なお、CPU150は、マイクロプロセッサなどのプロセッサにより構成される。
ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
RAM154は、例えば、CPU150により実行されるプログラムなどを一時的に記憶する。
バス156は、CPUバスなどから構成される。このバス156は、CPU150、ROM152、およびRAM154を相互に接続する。
インターフェース158は、ストレージ装置160、および通信装置162を、バス156と接続する。
ストレージ装置160は、記憶部122として機能する、データ格納用の装置である。ストレージ装置160は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
通信装置162は、例えば通信網24などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置162は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置162は、通信部120として機能する。
なお、第2の実施形態による情報処理装置40のハードウェア構成に関しても、上記のハードウェア構成の全てを含む構成であってもよい。
<<4.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
<4−1.変形例1>
例えば、情報処理装置10または情報処理装置40は、デバイス20の振動に基づいて他の物体が共振するように、デバイス20に振動を発生させることも可能である。一例として、情報処理装置10は、デバイス20の振動がコップに伝達されることにより、所定の音階の音がコップから発せられるように、デバイス20に振動を発生させてもよい。また、情報処理装置10は、デバイス20の振動が太鼓やベルに伝達され太鼓やベルが鳴るように、デバイス20に振動を発生させてもよい。または、情報処理装置10は、デバイス20の振動が流体に伝達されることにより流体の動きが変化するように、デバイス20に振動を発生させてもよい。例えば、ビールまたは炭酸水がコップの中に入っている場面において、情報処理装置10は、デバイス20の振動がコップに伝達されることによりビールまたは炭酸水が泡立つように、デバイス20に振動を発生させてもよい。また、コーヒーおよびミルクがコップの中に入っている場面において、情報処理装置10は、デバイス20の振動がコップに伝達されることによりコーヒーとミルクが混ざるように、デバイス20に振動を発生させてもよい。
また、水面に光が照射されている場面において、情報処理装置10は、デバイス20の振動に基づいて水面が揺れるように、デバイス20に振動を発生させてもよい。これにより、水面に照射される光の変化により振動を表現することができるので、ユーザは、当該振動を視覚的に体験することができる。
<4−2.変形例2>
また、上述した各実施形態では、デバイス20に出力させる情報の種類が振動、イルミネーション、アニメーション、または、モーションである例について説明したが、本開示はかかる例に限定されない。例えば、当該情報の種類は、熱、圧力、痛さ、痒さ、味、または、においなど別の感覚の情報であってもよい。なお、熱は、ユーザが直接的または間接的に接触する固体の熱、送風される風の温度を上げるための熱、または、水の温度を上げるための熱であってもよい。また、圧力は、送風の風圧、ユーザの身体に対する押圧、または、ユーザが位置する空間における引力であってもよい。
または、当該情報の種類は、(人間が有する)通常の感覚とは異なる、擬似的な感覚の情報であってもよい。例えば、生体刺激デバイスによる電気パルス信号や、視覚生体デバイス(義眼など)による、視覚情報以外の付加情報などであってもよい。
<4−3.変形例3>
また、上述した各実施形態の動作における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
また、上述した各実施形態によれば、CPU150、ROM152、およびRAM154などのハードウェアを、情報処理装置10または情報処理装置40の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
再生対象のコンテンツに応じて、複数の処理パターンの中から、前記コンテンツの再生と関連付けて実行される処理の処理パターンを決定する決定部、
を備える、情報処理装置。
(2)
前記コンテンツは、音楽を含み、
前記決定部は、再生対象の音楽のジャンルに応じて、前記実行される処理の処理パターンを決定する、前記(1)に記載の情報処理装置。
(3)
前記コンテンツは、音楽を含み、
前記決定部は、再生対象の音楽に含まれる複数のパートのうち再生中のパートに応じて、前記実行される処理の処理パターンを決定する、前記(1)または(2)に記載の情報処理装置。
(4)
前記再生中のパートが次のパートに遷移する際に、前記決定部は、当該次のパートに対応付けられている複数の処理パターンのうちのいずれかを、新たに実行される処理の処理パターンとして決定する、前記(3)に記載の情報処理装置。
(5)
前記コンテンツは、音楽を含み、
前記決定部は、再生対象の音楽のテンポに応じて、前記実行される処理の処理パターンを決定する、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記コンテンツは、音楽を含み、
前記決定部は、再生対象の音楽の拍子に応じて、前記実行される処理の処理パターンを決定する、前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記情報処理装置は、前記決定部により決定された処理パターンに対応する処理を、前記コンテンツの再生と関連付けて制御対象に実行させる処理制御部をさらに備える、前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記処理制御部は、前記決定部により決定された処理パターンに対応する処理を、前記コンテンツの再生と関連付けて複数の前記制御対象に実行させる、前記(7)に記載の情報処理装置。
(9)
前記処理パターンは、複数のサブパターンを含み、
前記処理制御部は、前記決定部により決定された処理パターンに含まれる複数のサブパターンの各々に対応する処理を別々の前記制御対象に実行させる、前記(8)に記載の情報処理装置。
(10)
前記コンテンツは、音楽を含み、
前記処理制御部は、前記決定部により決定された処理パターンに対応する処理のテンポを、再生中の音楽のテンポに応じて変化させる、前記(7)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記処理は、振動を発生させる処理である、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記処理は、イルミネーションの表示処理、または、アニメーションの表示処理である、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(13)
前記処理は、制御対象を動かす処理である、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(14)
前記処理は、前記コンテンツの再生と同時に実行される、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記決定部は、さらに、制御対象の状態に関する情報に応じて、前記実行される処理の処理パターンを決定する、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記決定部は、さらに、前記コンテンツを利用するユーザに関する情報に応じて、前記実行される処理の処理パターンを決定する、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記決定部は、さらに、第1のユーザから第2のユーザへの情報の送信と関連付けて実行される処理の処理パターンを、前記第1のユーザと前記第2のユーザとの関係性に応じて、前記複数の処理パターンの中から決定する、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記決定部は、さらに、第1のユーザから第2のユーザへの情報の送信と関連付けて実行される処理の処理パターンを、前記第1のユーザから前記第2のユーザへ送信される情報に応じて、前記複数の処理パターンの中から決定する、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(19)
再生対象のコンテンツに応じて、複数の処理パターンの中から、前記コンテンツの再生と関連付けて実行される処理の処理パターンをプロセッサが決定すること、
を含む、情報処理方法。
(20)
コンピュータを、
再生対象のコンテンツに応じて、複数の処理パターンの中から、前記コンテンツの再生と関連付けて実行される処理の処理パターンを決定する決定部、
として機能させるための、プログラム。
10、40 情報処理装置
20 デバイス
22 コンテンツ再生装置
24 通信網
100、400 制御部
102 再生制御部
104、404 決定部
106、406 処理制御部
120、420 通信部
122、422 記憶部
424 入力部
426 出力部
428 振動部
124 処理パターンDB

Claims (20)

  1. 再生対象のコンテンツに応じて、複数の処理パターンの中から、前記コンテンツの再生と関連付けて実行される処理の処理パターンを決定する決定部、
    を備える、情報処理装置。
  2. 前記コンテンツは、音楽を含み、
    前記決定部は、再生対象の音楽のジャンルに応じて、前記実行される処理の処理パターンを決定する、請求項1に記載の情報処理装置。
  3. 前記コンテンツは、音楽を含み、
    前記決定部は、再生対象の音楽に含まれる複数のパートのうち再生中のパートに応じて、前記実行される処理の処理パターンを決定する、請求項1に記載の情報処理装置。
  4. 前記再生中のパートが次のパートに遷移する際に、前記決定部は、当該次のパートに対応付けられている複数の処理パターンのうちのいずれかを、新たに実行される処理の処理パターンとして決定する、請求項3に記載の情報処理装置。
  5. 前記コンテンツは、音楽を含み、
    前記決定部は、再生対象の音楽のテンポに応じて、前記実行される処理の処理パターンを決定する、請求項1に記載の情報処理装置。
  6. 前記コンテンツは、音楽を含み、
    前記決定部は、再生対象の音楽の拍子に応じて、前記実行される処理の処理パターンを決定する、請求項1に記載の情報処理装置。
  7. 前記情報処理装置は、前記決定部により決定された処理パターンに対応する処理を、前記コンテンツの再生と関連付けて制御対象に実行させる処理制御部をさらに備える、請求項1に記載の情報処理装置。
  8. 前記処理制御部は、前記決定部により決定された処理パターンに対応する処理を、前記コンテンツの再生と関連付けて複数の前記制御対象に実行させる、請求項7に記載の情報処理装置。
  9. 前記処理パターンは、複数のサブパターンを含み、
    前記処理制御部は、前記決定部により決定された処理パターンに含まれる複数のサブパターンの各々に対応する処理を別々の前記制御対象に実行させる、請求項8に記載の情報処理装置。
  10. 前記コンテンツは、音楽を含み、
    前記処理制御部は、前記決定部により決定された処理パターンに対応する処理のテンポを、再生中の音楽のテンポに応じて変化させる、請求項7に記載の情報処理装置。
  11. 前記処理は、振動を発生させる処理である、請求項1に記載の情報処理装置。
  12. 前記処理は、イルミネーションの表示処理、または、アニメーションの表示処理である、請求項1に記載の情報処理装置。
  13. 前記処理は、制御対象を動かす処理である、請求項1に記載の情報処理装置。
  14. 前記処理は、前記コンテンツの再生と同時に実行される、請求項1に記載の情報処理装置。
  15. 前記決定部は、さらに、制御対象の状態に関する情報に応じて、前記実行される処理の処理パターンを決定する、請求項1に記載の情報処理装置。
  16. 前記決定部は、さらに、前記コンテンツを利用するユーザに関する情報に応じて、前記実行される処理の処理パターンを決定する、請求項1に記載の情報処理装置。
  17. 前記決定部は、さらに、第1のユーザから第2のユーザへの情報の送信と関連付けて実行される処理の処理パターンを、前記第1のユーザと前記第2のユーザとの関係性に応じて、前記複数の処理パターンの中から決定する、請求項1に記載の情報処理装置。
  18. 前記決定部は、さらに、第1のユーザから第2のユーザへの情報の送信と関連付けて実行される処理の処理パターンを、前記第1のユーザから前記第2のユーザへ送信される情報に応じて、前記複数の処理パターンの中から決定する、請求項1に記載の情報処理装置。
  19. 再生対象のコンテンツに応じて、複数の処理パターンの中から、前記コンテンツの再生と関連付けて実行される処理の処理パターンをプロセッサが決定すること、
    を含む、情報処理方法。
  20. コンピュータを、
    再生対象のコンテンツに応じて、複数の処理パターンの中から、前記コンテンツの再生と関連付けて実行される処理の処理パターンを決定する決定部、
    として機能させるための、プログラム。
JP2016138922A 2016-07-13 2016-07-13 情報処理装置、情報処理方法、およびプログラム Pending JP2018011201A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016138922A JP2018011201A (ja) 2016-07-13 2016-07-13 情報処理装置、情報処理方法、およびプログラム
US15/639,657 US10290291B2 (en) 2016-07-13 2017-06-30 Information processing apparatus, method, and program for controlling output of a processing pattern in association with reproduced content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016138922A JP2018011201A (ja) 2016-07-13 2016-07-13 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2018011201A true JP2018011201A (ja) 2018-01-18

Family

ID=60941236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016138922A Pending JP2018011201A (ja) 2016-07-13 2016-07-13 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US10290291B2 (ja)
JP (1) JP2018011201A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254651A (zh) * 2018-08-08 2019-01-22 瑞声科技(新加坡)有限公司 一种人机交互方法及装置、终端和计算机可读存储介质
WO2020137606A1 (ja) * 2018-12-26 2020-07-02 ソニーセミコンダクタソリューションズ株式会社 半導体装置および電子機器
JP2020191601A (ja) * 2019-05-23 2020-11-26 株式会社ミラティブ 動画配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体
JP2022521902A (ja) * 2019-02-19 2022-04-13 ドンウン アナテック カンパニー リミテッド ユーザの入力信号を考慮したハプティックモータ駆動方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012051605A2 (en) 2010-10-15 2012-04-19 Jammit Inc. Dynamic point referencing of an audiovisual performance for an accurate and precise selection and controlled cycling of portions of the performance
WO2014204875A1 (en) * 2013-06-16 2014-12-24 Jammit, Inc. Synchronized display and performance mapping of musical performances submitted from remote locations
JP2021177264A (ja) * 2018-07-31 2021-11-11 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
US10755683B1 (en) * 2019-02-02 2020-08-25 Shawn Baltazor Transformation of sound to visual and/or tactile stimuli
US11755925B2 (en) * 2019-03-13 2023-09-12 Fair Isaac Corporation Computer-implemented decision management systems and methods
JP7415592B2 (ja) * 2020-01-24 2024-01-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4306754B2 (ja) * 2007-03-27 2009-08-05 ヤマハ株式会社 楽曲データ自動生成装置及び音楽再生制御装置
US20090260506A1 (en) * 2008-04-17 2009-10-22 Utah State University Method for controlling the tempo of a periodic conscious human physiological activity
JP2015231098A (ja) 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254651A (zh) * 2018-08-08 2019-01-22 瑞声科技(新加坡)有限公司 一种人机交互方法及装置、终端和计算机可读存储介质
JP2020024686A (ja) * 2018-08-08 2020-02-13 エーエーシー テクノロジーズ ピーティーイー リミテッド ヒューマンコンピュータインタラクション方法、装置、端末及びコンピュータ読み取り可能な記憶媒体
WO2020137606A1 (ja) * 2018-12-26 2020-07-02 ソニーセミコンダクタソリューションズ株式会社 半導体装置および電子機器
JP2022521902A (ja) * 2019-02-19 2022-04-13 ドンウン アナテック カンパニー リミテッド ユーザの入力信号を考慮したハプティックモータ駆動方法
JP7283809B2 (ja) 2019-02-19 2023-05-30 ドンウン アナテック カンパニー リミテッド ユーザの入力信号を考慮したハプティックモータ駆動方法
JP2020191601A (ja) * 2019-05-23 2020-11-26 株式会社ミラティブ 動画配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体
JP7337366B2 (ja) 2019-05-23 2023-09-04 株式会社ミラティブ 動画配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
US10290291B2 (en) 2019-05-14
US20180018950A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
US10290291B2 (en) Information processing apparatus, method, and program for controlling output of a processing pattern in association with reproduced content
KR102354274B1 (ko) Vr 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기
US10092827B2 (en) Active trigger poses
JP6515057B2 (ja) シミュレーションシステム、シミュレーション装置及びプログラム
US8987571B2 (en) Method and apparatus for providing sensory information related to music
TWI486904B (zh) 律動影像化方法、系統以及電腦可讀取記錄媒體
KR20220100054A (ko) 모션 기반의 미디어 생성
KR19990066862A (ko) 캐릭터 화상의 표시 제어방법 및 장치, 기록매체
TW201434600A (zh) 具有可因應不同聲音信號產生相對應肢體動作之機器人
JP2006202396A (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2014059576A (ja) 電子娯楽システムにおけるジェスチャーに関連するフィードバック
JP2005103240A (ja) プログラム、情報記憶媒体、及びゲームシステム
US10878718B2 (en) System and method for synchronizing audio, movement, and patterns
Hunt et al. Multiple media interfaces for music therapy
JP6268287B2 (ja) 動画像生成装置、動画像生成方法、プログラム
JP2006251053A (ja) 楽音制御装置
WO2020090223A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP7140447B2 (ja) 感知ユニットの動きからの少なくとも1つの検出される力を聴覚信号に変換するための装置及び方法
Hamilton Perceptually coherent mapping schemata for virtual space and musical method
Weinberg Local Performance Networks: musical interdependency through gestures and controllers
CN113318432B (zh) 游戏中的音乐控制方法、非易失性存储介质及电子装置
JP6603734B2 (ja) ゲームプログラムおよびゲーム装置
JP4407757B2 (ja) 演奏処理装置
JP2014046018A (ja) 情報処理装置、情報処理方法及びプログラム
JP4391885B2 (ja) プログラム、情報記憶媒体およびゲームシステム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190507