JP2021158587A - データ生成装置、データ生成方法及びデータ生成プログラム、並びにデータ再生装置、データ再生方法及びデータ再生プログラム - Google Patents

Abstract

【課題】動画または音声を収録したコンテンツを含む収録データを再生する際に、当該コンテンツに登場する人物と一体になったような感覚を提供することが可能な収録データを生成可能なデータ生成装置及び当該収録データを再生するデータ再生装置、並びにこれらのデータ生成及びデータ再生を実行する方法及びプログラムを提供する。【解決手段】データ生成装置は、動画または音声を含む収録データを取得する収録データ取得部と、動画または音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得部と、収録データ及び収録データに時間的に同期された生体データを含む合成データを生成する合成データ生成部と、を有する。【選択図】図４

Description

本発明は、データ生成装置及びデータ再生装置に関し、例えば、動画又は音声等のコンテンツに付加情報を加えたデータを生成するデータ生成装置及び当該生成されたデータを再生するデータ再生装置、並びにデータ生成及び再生方法及びプログラムに関する。

従来、例えば、動画コンテンツの再生に際し、マルチチャンネル・オーディオ・システムを用いて音声を出力し、臨場感のある音をユーザに聴かせることで、ユーザに与える動画の臨場感を向上させることが知られている（特許文献１）。

特開２０１３−１２８３１４号公報

上記特許文献１に記載されているように、動画（映像）または音声を収録したコンテンツの再生に、マルチチャンネル・オーディオ・システムを用いる場合、音声の効果によりユーザに臨場感を伝えることが可能である。しかし、例えば、音楽ライブの動画のような人物が登場するコンテンツの再生において上記したようなオーディオシステムを用いた場合、当該登場人物と一体となるような臨場感を得ることは困難であるということが問題の一例として挙げられる。

本発明は、上述の点に鑑みてなされたものであり、例えば、動画または音声を収録したコンテンツを含む収録データを再生する際に、当該コンテンツに登場する人物と一体になったような感覚を提供することが可能な収録データを生成可能なデータ生成装置及び当該収録データを再生するデータ再生装置、並びにこれらのデータ生成及びデータ再生を実行する方法及びプログラムを提供することを目的とする。

請求項１に記載のデータ生成装置は、動画または音声を含む収録データを取得する収録データ取得部と、前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得部と、前記収録データ及び前記収録データに時間的に同期された前記生体データを含む合成データを生成する合成データ生成部と、を含むことを特徴とする。

また、請求項８に記載のデータ再生装置は、動画または音声を含む収録データを取得する収録データ取得部と、前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得部と、前記収録データに基づいて前記動画または音声を再生する再生部と、前記生体データに基づいて生成された振動子を駆動するための振動信号を、前記再生部によって再生された動画または音声に同期して振動子を有する機器に出力する振動信号出力部と、を含むことを特徴とする。

実施例１のデータ生成装置を含むデータ生成システムを示す図である。 実施例１のデータ生成装置の構成の一例を示すブロック図である。 実施例１のデータ生成装置で実行されるデータ合成フローの一例を示す図である。 合成データの概念図である。 実施例２のデータ再生装置を含むデータ再生システムを示す図である。 実施例２のデータ再生装置の構成の一例を示すブロック図である。 実施例２のデータ再生装置で実行させるデータ再生フローの一例を示す図である。 データ生成装置、データ再生装置及び配信サーバからなる配信システムを示す図である。

以下に、本発明の実施例１であるデータ生成装置１０について添付図面を参照しつつ説明する。図１は、本発明の実施例１であるデータ生成装置１０を含むデータ生成システム１００を示している。図１においては、ステージにおいて行われている人物ＨＭ１、人物ＨＭ２及び人物ＨＭ３の３人の人物（パフォーマーまたは登場人物）のライブパフォーマンスを１つの収録シーンとして、当該収録シーンの動画及び音声を収録し、当該収録された動画及び音声を元に収録データを生成する場合を例に説明する。

例えば、データ生成装置１０は、光学ディスクドライブ１０Ａを有している。光学ディスクドライブ１０Ａは、例えば、ＢＤ−Ｒディスクドライブであり、ＢＤ−Ｒ等の書き込み可能光学ディスクにデータを書き込み可能である。

３人の登場人物ＨＭ１、ＨＭ２、ＨＭ３はそれぞれ、心音を検出しかつ当該検出結果を示す心音信号を発信可能な心音センサ２０Ａ及び当該心音センサ２０Ａから発信された心音信号を受信して当該心音信号をデータ化して心音データとして無線通信で外部に送信する送信機２０Ｂを含む心音送信装置２０を身に付けている。

送信機２０Ｂは、登場人物の鼓動（心拍）の状態を示す鼓動データとしての心音データを、心音センサ２０Ａによる心音の検出の後遅滞なく、すなわち心音の検出とほぼ同じタイミングでリアルタイムに外部に送信してもよい。また、送信機２０Ｂは、心音データを、しばらくデータを蓄積した後にまとめて外部に送信してもよい。その場合、送信機２０Ｂは、心音データに時刻の情報を含んだデータを送信する。なお、心音データには各送信機２０Ｂの識別子が含まれている。この識別子により、心音データがどの送信機２０Ｂから送信されたデータか、すなわち、心音データの各々がそれぞれどの登場人物の心音を表すデータなのかが特定可能である。

心音データ受信装置３０は、送信機２０Ｂから送信された心音データを受信する無線受信装置である。心音データ受信装置３０は、データ生成装置１０に通信可能に接続されており、受信した心音データをデータ生成装置１０に送信する。

マイク４０は、収録シーンであるライブパフォーマンスのステージの音声を電気信号に変換して出力するマイク装置である。マイク４０は、データ生成装置１０に接続されており音声から変換された電気信号をデータ生成装置１０に送信する。

カメラ５０は、収録シーンであるライブパフォーマンスのステージの様子を撮像可能なビデオカメラである。カメラ５０は、データ生成装置１０と通信可能に接続されており、撮像された動画を含む動画データをデータ生成装置１０に送信する。

図２に、データ生成装置１０の構成を示す。データ生成装置１０は、システムバス１１を介して、大容量記憶装置１２と、制御部１３と、入力部１４と、出力部１５と、データ通信部１６と、が協働する装置である。

大容量記憶装置１２は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。

すなわち、大容量記憶装置１２に記憶される各種プログラム（後述するデータ生成装置１０における処理を実行するためのデータ生成プログラムを含む）は、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

制御部１３は、ＣＰＵ（Central Processing Unit）１３Ａ、ＲＯＭ（Read Only Memory）１３Ｂ、ＲＡＭ（Random Access Memory）１３Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ１３Ａが、ＲＯＭ１３Ｂや大容量記憶装置１２に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

入力部１４は、外部機器からデータ生成装置に対する入力のインターフェースである。入力部１４は、心音データ受信装置３０、マイク４０及びカメラ５０と接続されており、これらからのデータ又は信号を受信可能である。制御部１３は、入力部１４を介して、心音データ受信装置３０から心音データを取得可能である。また、制御部１３は、入力部１４を介して、マイク４０からの音声信号を取得してこれに基づく音声データを生成可能である。また、制御部１３は、入力部１４を介して、カメラ５０から動画データを取得可能である。

なお、心音データ、音声データ及び動画データは、例えば収録シーン毎に大容量記憶装置１２に保存される。図２に示すように、例えば、心音データ、音声データ及び動画データは、収録シーン毎に「収録１」、「収録２」のようにまとめて保存される。なお、心音データ、音声データ及び動画データの各々にどの収録シーンのデータかを示す識別子がついていれば、これらのデータは、収録シーン毎にまとめて保存されていなくともよい。

心音データには、検出された心音を示すデータと実際の心音の検出時刻が含まれる。音声データには、音声を示すデータと当該音声がマイクに入力された時刻が含まれる。動画データには、動画を示すデータと動画が撮像された撮像時刻が含まれる。例えば、１の収録シーンの心音データ、音声データ及び動画データの各々は互いに共通の基準時刻に基づいたタイムコードが付いたデータとなっている。

すなわち、生体データとしての心音データは、生体情報の時系列データである。さらに言えば、心音データは、登場人物の時系列に沿った鼓動の状態を示す鼓動データである。従って、１の収録シーンの心音データ、音声データ及び動画データは、タイムコードを用いて互いに時間合わせをすることが可能である。

出力部１５は、制御部１３からのデータを出力するインターフェースである。出力部１５は、光学ディスクドライブ１０Ａに接続されており、制御部１３は、出力部１５を介してＢＤ−Ｒにデータを出力可能である。すなわち、制御部１３は、光学ディスクドライブ１０Ａを用いて、制御部１３から出力されたデータを、光学ディスクドライブ１０Ａに挿入されたＢＤ−Ｒ等の書き込み可能ディスクに書き込むことが可能である。

データ通信部１６は、インターネット等のネットワークに接続されており、種々のデータを他の機器との間で送受信することができるネットワークインターフェースである。データ生成装置１０は、データ通信部１６を介して、Ｗｉ-Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、または有線通信によってネットワークに接続可能である。

データ生成装置１０において、制御部１３は、入力部１４を介して心音データ、音声データ及び動画データを取得し、これらのデータを合成した合成データを生成し、これを出力部１５から出力可能となっている。具体的には、例えば、合成データは、タイムコードに沿って、互いに時間合わせがなされた動画データ、音声データ及び心音データを含むデータである。言い換えれば、合成データは、動画データ及び音声データを含む収録データに心音データを合成したデータすなわち生体データ付き収録データである。

図３に、合成データの一例である生体データ付き収録データＤ１を示す。生体データ付き収録データＤ１は、図１のような、３人の登場人物（パフォーマー）がパフォーマンスをしているライブシーンを収録した動画データ及び音声データからなる収録データと、当該動画データ及び音声データに時間的に同期された生体データである心音データと、が合成されたデータである。生体データ付き収録データＤ１において、音声データ及び心音データは、音波形で示されている。音声データ及び心音データの波形の振幅がそれぞれ、音声及び心音の大きさを示している。従って、鼓動データとしての心音データは、人の鼓動の強さを示すデータであるといえる。

心音データの波形によれば、その波形の周期またはピークを見ることで、鼓動の速さを認識可能である。すなわち、一定期間にピークが何回発生しているかで、鼓動数（ＢＰＭ：beats per minute）がわかる。従って、鼓動データとしての心音データは、鼓動の速さを示すデータといえる。

図３の生体データ付き収録データＤ１は、横軸がタイムコードになっており、タイムコードに沿って変化する動画データＶＩ、音声データＳＯ及び人物ＨＭ１、人物ＨＭ２及び人物ＨＭ３の３人それぞれの心音を示す心音データＨＢ１、ＨＢ２及びＨＢ３が含まれている。生体データ付き収録データＤ１において、動画データＶＩ、音声データＳＯ及び心音データＨＢ１、ＨＢ２及びＨＢ３は時間的に同期している。

このように、データ生成装置１０は、１のシーンを収録した動画及び音声のコンテンツに人間の鼓動のデータを付した生体データ付き収録データを生成可能である。このような合成データによれば、登場人物の生体活動を模したエフェクトまたは生理状態を再現したエフェクト、具体的には、例えばコンテンツの再生時に鼓動のデータを用いて振動を視聴者に伝える等のエフェクトを発生させることができる。

上記生体データ付き収録データによれば、このようなエフェクトによって、視聴者に登場人物の生体の状態または生理状態を伝えることで現場の臨場感を伝えることが可能となる。すなわち、実施例１のデータ生成装置１０によれば、再生時に視聴者に登場人物の生体の状態及び生理状態を伝えることで臨場感を与えることができる収録データを生成することが可能である。さらに言い換えれば、実施例１のデータ生成装置１０によれば、動画または音声を収録したコンテンツを含む収録データを再生する際に、当該コンテンツに登場する人物と一体になったような感覚を提供することが可能である。

なお、生成された生体データ付き収録データは、光学ディスクドライブ１０Ａを用いて、書き込み可能光学ディスクに保存されてもよい。また、生体データ付き収録データは、大容量記憶装置１２に保存され、必要に応じてネットワークを介して配信されてもよい。

以下に、実施例１のデータ生成装置１０において、生体データ付き収録データを生成する際に実行される処理ルーチンについて説明する。

図４は、生体データ付き収録データを生成する際の処理ルーチンの一例である生成ルーチンＲ１を示す図である。生成ルーチンＲ１は、例えば、データ生成装置１０の電源がオンになると開始され、電源がオフになるまで繰り返し実行される。

まず、制御部１３は、生体データ付き収録データの生成の要求があるか否かを判定する（ステップＳ１１）。この判定は、例えば、データ生成装置１０に接続されているキーボード（図示せず）等の操作入力装置に対して、特定の収録シーンの生体データ付き収録データの生成を求める操作があったか否かにも基づいて判定される。

ステップＳ１１において、生体データ付き収録データの生成の要求がないと判定されると、ルーチンＲ１は終了する。ステップＳ１１において、生体データ付き収録データの生成の要求があったと判定されると、制御部１３は、上記データの生成を求める操作において指定された収録シーンの動画データ及び音声データを含む収録データを大容量記憶装置１２から取得する（ステップＳ１２）。収録データ取得ステップとしてのステップＳ１２において、制御部１３は、収録データ取得部として機能する。

ステップＳ１２の終了後、制御部１３は上記データの生成を求める操作において指定された収録シーンの心音データ、すなわちステップＳ１２において取得された動画データ及び音声データと同一の収録シーンにおける心音データを大容量記憶装置１２から取得する（ステップＳ１３）。生体データ取得ステップとしてのステップＳ１３において、制御部１３は、生体データ取得部として機能する。

ステップＳ１３の終了後、制御部１３は、収録データと心音データとを時間的に同期させて合成し、収録データと心音データを含む生体データ付き収録データを生成する（ステップＳ１４）。具体的には、例えば、上述したように動画データ、音声データ及び心音データのそれぞれに付されているタイムコードを一致させることにより、収録データと心音データとを時間的に同期させた上でこれらを合成して生体データ付き収録データを生成する。合成データ生成ステップとしてのステップＳ１４において、制御部１３は、合成データ生成部として機能する。

ステップＳ１４の終了後、制御部１３は、ステップＳ１４において生成された生体データ付き収録データを保存する。上述のように、生体データ付き収録データは、光学ディスクドライブ１０Ａを用いて書き込み可能光学ディスクに書き込まれることで保存されてもよい。また、上述のように、生体データ付き収録データは、大容量記憶装置１２に保存されてもよい。

なお、上記説明においては、生体データ付き収録データとして、収録データに生体データとして心音データが付されている場合を例に挙げた。しかし、収録データに付される生体データは、鼓動を再現できるデータであれば他のデータであってもよい。例えば、収録データに付される生体データとして、所定期間毎の鼓動の速さの情報がメタデータで付されていてもよい。例えば、タイムコードにおける○秒〜○秒において、鼓動が○○○BPM（beats per minute）であることを示すメタデータが付されていてもよい。

例えば、生体データ付き収録データは、ＭＰ４フォーマットであってもよい。例えば、生体データ付き収録データが上記したような生体データ付き収録データＤ１のような態様の場合、生体データ付き収録データは、ＭＰ４フォーマットのｍｄａｔに格納されていてもよい。また、例えば、生体データ付き収録データにおいて収録データに付される生体データが、上記したようなメタデータで表すことができるデータの場合、収録データがｍｄａｔに保存され、メタデータである生体データがｍｏｏｖに格納されていてもよい。

また、生体データ付き収録データには、タイムコードの進行に応じて、すなわち経過時間に亘って変更自在に心音データＨＢ１〜Ｈ３のいずれかを指定する鼓動データ指定情報としての心音データ特定情報が含まれていてもよい。例えば、心音データ特定情報は、生体データ付き収録データ内の動画において主に映っている人の心音を指定するデータであってもよい。

例えば、心音データ特定情報によって、動画において人物ＨＭ１が主に映っている時間帯はＨＢ１が指定され、動画において人物ＨＭ２が主に映っている時間帯はＨＢ２が指定され、動画において人物ＨＭ３が主に映っている時間帯はＨＢ３が指定される。この心音データ特定情報は、例えばメタデータであり、ＭＰ４フォーマットのｍｏｏｖに格納されてもよい。

また、上記実施例においては、データ生成装置１０が光学ディスクドライブ１０Ａを有しており、当該光学ディスクドライブ１０Ａを用いて生体データ付き収録データを保存する場合を例に説明した。しかし、ブルーレイディスク等の光ディスクやフラッシュメモリ等の媒体を大量に生成可能な装置を用いて、同一の生体データ付き収録データが保存された媒体を大量に生成してもよい。

また、上記実施例においては、収録データと生体データである心音データを時間的に同期した後に生体データ付き収録データとして保存するとしたが、生体データ付き収録データ内のコンテンツデータと生体データとは読み出した後に時間的に同期可能になっていれば足りる。すなわち、１つの収録シーンに関する収録データ及び生体データに共通の基準時刻に基づくタイムコードが付されていれば足りる。

また、心音データは、音声データの音量に応じて振幅が補正されてもよい。例えば、心音データは、音声が大きいほど振幅が大きくなるように補正されてもよい。具体的な、例えば、ライブシーンにおいて、音量の小さな曲間または曲中の音量が小さい期間では補正を加えず、曲のサビ等音量が大きい期間で振幅が大きくなるように心音データが補正されてもよい。すなわち、鼓動データとしての心音データによって示される心音の大きさは、音量が大きくなるほど大きくなるように補正されてもよい。言い換えれば、鼓動データとしての心音データによって示される鼓動の強さは、音量が大きくなるほど強くなるように補正されてもよい。これにより、例えば、音量が大きいことによる振動エフェクトの埋没が防止可能である。

以下に、本発明の実施例２であるデータ再生装置６０について添付図面を参照しつつ説明する。図５は、本発明の実施例２であるデータ再生装置６０、表示装置７０及び人形８０を含むデータ再生システム２００を示している。図５においては、実施例１において説明した人物ＨＭ１、人物ＨＭ２及び人物ＨＭ３の３人の人物（パフォーマーまたは登場人物）のライブパフォーマンスを１つの収録シーンとして生成された生体データ付き収録データを再生する場合を例に説明する。また、実施例２では、生体データ付き収録データがブルーレイディスク等の光学ディスクＤＩに保存されている場合を例に説明する。

データ再生装置６０は、例えば、ＢＤ等の光学ディスクを読み込んで当該光学ディスクに保存されている生体データ付き収録データに含まれる動画及び音声を再生可能な装置である。データ再生装置６０は、例えば、装置内部に光学ディスクを取り込み可能なトレイ６０Ａを有している。データ再生装置６０は、光学ディスクＤＩから生体データ付き収録データを読み出して、当該生体データ付き収録データ内に含まれている収録データ内の動画及び音声を再生して動画信号及び音声信号として出力可能である。

また、データ再生装置６０は、生体データ付き収録データ内の心音データに基づいて、振動信号を出力可能である。例えば、この振動信号は、心音のＩ音のタイミングまたはＩ音及びＩＩ音のタイミングで振動子を振動させるような信号である。この振動信号は、動画及び音声を再生することにより出力される動画信号及び音声信号と時間的に同期された状態で出力される。

表示装置７０は、例えば液晶ディスプレイ等の表示装置である。表示装置７０は、液晶パネル用の表示パネル７０Ａ及び音声を出力可能なスピーカー７０Ｂを有している。表示装置７０は、データ再生装置６０によって出力された動画信号及び音声信号に基づいて動画を表示しかつ音を放つことが可能である。

人形８０は、データ再生装置６０から出力された振動信号を受信可能でありかつ当該振動信号に応じて振動可能な振動子（図示せず）を有する振動装置８０Ａを有している。振動装置８０Ａは、例えば、データ再生装置６０とＷｉ-Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信で接続され、当該無線通信を介して振動信号を受信可能である。本実施例では、一例として、人形８０は人物ＨＭ２を模した人形であり、振動装置８０Ａが人形が人物ＨＭ２を模したものであることを示す識別子を有している場合を例に説明する。

図６にデータ再生装置６０の構成を示す。データ再生装置６０は、システムバス６１を介して、大容量記憶装置６２と、制御部６３と、入力部６４と、出力部６５と、データ通信部６６と、が協働する装置である。

大容量記憶装置６２は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。

すなわち、大容量記憶装置６２に記憶される各種プログラム（後述するデータ再生装置６０における処理を実行するためのデータ再生プログラムを含む）は、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。

制御部６３は、ＣＰＵ（Central Processing Unit）６３Ａ、ＲＯＭ（Read Only Memory）６３Ｂ、ＲＡＭ（Random Access Memory）６３Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ６３Ａが、ＲＯＭ６３Ｂや大容量記憶装置１２に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

制御部６３は、生体データ付き収録データを取得して、当該生体データ付き収録データ内に含まれている収録データ内の動画及び音声を再生して動画信号及び音声信号を生成可能である。また、制御部６３は、生体データ付き収録データ内の心音データに基づいて、振動信号を生成可能である。

入力部６４は、データ再生装置６０に対する入力のインターフェースである。入力部６４は、光学ディスクＤＩからデータを読み込むデバイス（図示せず）に接続されている。制御部６３は、入力部６４を介して当該デバイスによって読み込まれたデータを取得する。なお、読み込まれたデータは、大容量記憶装置６２またはＲＡＭ６３Ｃに保存され得る。例えば、制御部６３（ＣＰＵ６３Ａ）が、生体データ付き収録データを取得する場合、当該生体データ付き収録データは、一度大容量記憶装置６２またはＲＡＭ６３Ｃにバッファされてから取得され得る。

出力部６５は、制御部６３からのデータを出力するインターフェースである。出力部６５は、表示装置７０及び振動装置８０Ａに通信可能に接続されている。制御部６３は、出力部６５を介して生体データ付き収録データ内の収録データに基づいて生成された動画及び音声信号を表示装置７０に送信可能である。

また、制御部６３は、出力部６５を介して生体データ付き収録データ内の心音データに基づいて生成された振動信号を振動装置８０Ａに送信可能である。例えば、制御部６３は、上述の心音データＨＢ１〜ＨＢ３のいずれかに基づいて生成された振動信号を振動装置８０Ａに送信する。

この振動信号は、例えば、心音データに基づいた心臓の鼓動を模した振動信号である。また、この振動信号は、再生されている動画及び音声と時間的に同期が取られている信号である。振動装置８０Ａが当該振動信号に基づいて振動子を振動させることにより、振動子が心臓の鼓動を模した振動を発生させる。

なお、制御部６３が出力する振動信号の生成に用いられる心音データは、上記した心音データ指定情報によって指定された心音データであってもよい。また、制御部６３が出力する振動信号に生成に用いられる心音データは、データ再生装置６０への操作入力によって指定されてもよい。すなわち、制御部６３は、鼓動データ指定情報としての心音データ指定情報を取得し、当該心音データ指定情報によって指定される心音データに基づいて振動信号を生成して出力してもよい。心音データが操作入力によって指定される場合は、当該操作入力の情報が制御部６３によって取得される心音データ指定情報となる。

また、制御部６３が出力する振動信号に生成に用いられる心音データは、振動装置８０Ａの識別子によって決定されてもよい。心音データが振動装置８０Ａの識別子によって指定される場合は、当該識別子が制御部６３によって取得される心音データ指定情報となる。

上述のように、振動装置８０Ａが人形が人物ＨＭ２を模したものであることを示す識別子を有している場合、人物ＨＭ２の心音データであるＨＢ２が振動信号の生成に用いられてもよい。この場合、データ再生装置６０と振動装置８０Ａとが、Ｗｉ-Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）等の方式で通信して、振動装置８０Ａの識別子が、データ再生装置６０に送信されてもよい。

なお、データ再生装置６０は、振動装置８０Ａに対して、当該振動装置８０Ａの識別子によって示される人物の心音データのみが送信可能であることとしてもよい。例えば、特定の登場人物に模した人形８０の振動装置８０Ａには、特定の登場人物の心音データに基づいた振動のみが可能であってもよい。

データ通信部６６は、インターネット等のネットワークに接続されており、種々のデータを他の機器との間で送受信することができるネットワークインターフェースである。データ生成装置１０は、データ通信部６６を介して、Ｗｉ-Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、または有線通信によってネットワークに接続可能である。

データ再生装置６０は、生体データ付き収録データを取り込み、当該生体データ付き収録データに含まれる動画データ及び音声データに基づいて動画及び音声をそれぞれ再生する。データ再生装置６０は、当該動画及び音声の再生と同時に上記取り込まれた生体データ付き収録データに含まれる心音データに基づいて鼓動を模した振動信号を出力する。

すなわち、データ再生システム２００においては、データ再生装置６０によって取り込まれた生体データ付き収録データに基づいて、動画及び音声が表示装置７０に表示される。それと同時に、当該動画及び音声に登場する人物の鼓動を模した振動が人形８０において発生する。従って、例えば、視聴者が人形８０を抱えて動画及び音声を視聴することにより、視聴者に人形を介して登場人物の生体活動を模したエフェクトまたは生理状態を再現したエフェクト、具体的には鼓動を模した振動のエフェクトを体感させることが可能である。

このようなエフェクトによって、視聴者に登場人物の状態を伝えることで現場の臨場感を伝えることが可能となる。すなわち、実施例２のデータ再生装置６０及びこれを含むデータ再生システム２００によれば、動画及び音声の再生時に視聴者に登場人物の生体に関する状態または生理状態を伝えることで視聴者に臨場感を与えることが可能である。

さらに言い換えれば、実施例２のデータ再生装置６０によれば、動画または音声を収録したコンテンツを含む収録データを再生する際に、当該コンテンツに登場する人物と一体になったような感覚を提供することが可能である。

なお、振動信号は、再生されている音声の音量に応じて振幅が補正されてもよい。例えば、振幅信号は、音声が大きいほど振幅が大きくなるように補正されてもよい。具体的な、例えば、ライブシーンにおいて、音量の小さな曲間または曲中の音量が小さい期間では補正を加えず、曲のサビ等音量が大きい期間で振幅が大きくなるように振幅信号が補正されてもよい。すなわち、音量が大きいほど振動子の振動が大きくなるようになされていてもよい。これにより、例えば、音量が大きいことによる振動エフェクトの埋没が防止可能である。

また、実施例１において説明したとおり、例えば、収録データに付される生体データとして、心音データの代わりに、所定期間毎の鼓動の速さの情報がメタデータで付されていてもよい。その際は、当該メタデータに応じて振動信号が生成され得る。

図７は、生体データ付き収録データを再生する際の処理ルーチンの一例である再生ルーチンＲ２を示す図である。再生ルーチンＲ２は、例えば、データ再生装置６０の電源がオンになると開始され、電源がオフになるまで繰り返し実行される。

まず、制御部６３は、生体データ付き収録データの再生の要求がなされたか否かを判定する（ステップＳ２１）。この判定は、例えば、データ再生装置６０の操作ボタンまたはリモコン等の操作入力装置に対して、生体データ付き収録データの再生を求める操作があったか否かに基づいて判定される。

ステップＳ２１において、生体データ付き収録データの再生の要求がなされていないと判定されると、ルーチンＲ２は終了する。ステップＳ２１において、生体データ付き収録データの再生の要求がなされたと判定されると、制御部６３は生体データ付き収録データを取り込み、その中から動画データ及び音声データを含む収録データを取得する（ステップＳ２２）。収録データ取得ステップとしてのステップＳ２２において、制御部６３は、収録データ取得部として機能する。

ステップＳ２２の終了後、制御部６３は、ステップＳ２２において取り込まれた生体データ付き収録データから心音データを取得する、すなわちステップＳ２２において取得された動画データ及び音声データと同一の収録シーンにおける心音データを取得する（ステップＳ２３）。ステップＳ２３において、制御部１３は、生体データ取得部として機能する。

ステップＳ２３の終了後、制御部６３は、収録データに含まれる動画及び音声の再生を開始して表示装置７０に向けて出力する。それと同時に、制御部６３は、心音データに基づいて生成された振動信号を当該出力される動画及び音声と時間的に同期させて振動装置８０Ａに向けて出力する（ステップＳ２４）。再生ステップ及び振動信号出力ステップとしてのステップＳ２４において、制御部６３は、再生部及び振動信号出力部として機能する。

ステップＳ２４の後、制御部１３は、生体データ付き収録データの再生の停止の要求がなされたか否かを判定する（ステップＳ２５）。この判定は、例えば、データ再生装置６０の操作ボタンまたはリモコン等の操作入力装置に対して、生体データ付き収録データの再生の停止を求める操作があったか否かに基づいて判定される。

ステップＳ２５において、生体データ付き収録データの再生の停止の要求がなされていないと判定されると、所定時間待機した後に再度ステップＳ２５が実行され、再度再生の要求がなされていないか否かが判定される。ステップＳ２５において、生体データ付き収録データの再生の停止の要求がなされたと判定されると、制御部６３は収録データの再生すなわち映像及び音声の再生を停止しつつ、振動信号の生成及び出力を停止し、その後ルーチンＲ２は終了する。

上記実施例においては、心音データに基づいてデータ再生装置６０が振動信号を生成して出力し、当該出力された振動信号に基づいて振動装置８０Ａが振動子を振動させる場合を例に説明した。必ずしもデータ再生装置６０が振動信号を生成しなくともよい。

例えば、データ再生装置６０が生体データ付き収録データを再生する際に、現在再生中の動画または音声と時間的に同期している心音データを振動装置８０Ａに送信することとしてもよい。振動装置８０Ａが、当該送られてきた心音データを受信した先から当該受信した心音データに基づいて振動信号を生成して振動子に出力することで、再生中の動画または音声と同期した振動、すなわち再生中の動画または音声と同期した心音データに基づく振動を発生することが可能である。

また、例えば、データ再生装置６０が生体データ付き収録データの再生を開始する前に、振動装置８０Ａに当該収録データ内の心音データを送信しておき、当該心音データに基づいて振動装置８０Ａが振動子を振動させてもよい。その際、振動装置８０Ａは、心音データに基づいて、再生されている動画又は音声に合わせたタイミングで振動子を振動させる。

具体的には、例えば、データ再生装置６０から現在再生中の動画または音声のデータ内のタイムコードを取得して、当該タイムコードに合わせて心音データから振動信号を生成して振動子に出力する。言い換えれば、現在再生中の動画または音声のデータ内のタイムコードと時間的に同期した心音データに基づいて振動信号を生成振動子に出力する。このようにすることで、再生中の動画または音声と同期した振動、すなわち再生中の動画または音声と同期した心音データに基づく振動を発生することが可能である。

なお、生体データ付き収録データの再生の際に予め心音データが振動装置８０Ａに送信されている場合、振動装置８０Ａは、再生が始まったタイミングさえ特定できれば、後はそこを起点とした時間経過に応じて振動信号を生成することが可能である。その場合は、再生中にデータ再生装置６０からタイムコードを受信する必要はない。

また、上記実施例１においては、心音データが心音センサ２０Ａによる心音の検出によって生成される場合を説明した。しかし、心音データは、動画を解析することで取得されてもよい。また、心音データは、動画内の人の動き、音声内の人の息づかい等から取得されてもよい。この場合、データ生成装置１０は、収録データのみを含むデータを生成し、データ再生装置６０において動画または音声から心音データが作成されてもよい。また、この場合、動画または音声に基づいて振動信号が直接生成されてもよい。

また、上記実施例においては、データ生成装置１０によって生体データ付き収録データが光ディスク等の記憶媒体に書き込まれ、データ再生装置６０によって当該記憶媒体から生体データ付き収録データが読み出される場合を例に説明した。しかし、生体データ付き収録データの全部または一部がネットワークを介して送受信されてもよい。

図８に、ネットワークＮＷを介して生体データ付き収録データを配信する収録データ配信システム３００を示す。収録データ配信システム３００において、上述したデータ生成装置１０、データ再生装置６０及び配信サーバ９０がネットワークに接続され、当該ネットワークを介してデータを送受信可能となっている。

収録データ配信システム３００において、データ生成装置１０は、生成した生体データ付き収録データを配信サーバ９０に送信し、配信サーバ９０は受信した生体データ付き収録データを保存する。

データ再生装置６０は、配信サーバ９０に、視聴者であるユーザによって再生が要求された生体データ付き収録データの送信を要求し、配信サーバ９０はその要求に応じてデータ再生装置６０に生体データ付き収録データを送信する。データ再生装置６０は、当該送信された収録データを受信し、実施例２において説明した態様で受信した生体データ付き収録データを再生し、生体に関するエフェクトと共に動画及び音声を再生可能である。

なお、データ再生装置６０における生体データ付き収録データの再生の態様は、ストリーミング方式でもよい。また、１の収録シーンの動画データ、音声データ及び心音データは別々に送信されてもよい。例えば、１の収録シーンの動画データ、音声データ及び心音データがそれぞれ別のサーバに保存されており、それぞれを別々にデータ再生装置６０が取得してもよい。この場合でも、データ再生装置６０においてタイムコードに基づいてデータ同士の時間的な同期を取ることで、実施例２において説明した態様で受信した生体データ付き収録データを再生し、生体に関するエフェクトと共に動画及び音声を再生可能である。

なお、配信サーバ９０を介さずに、データ生成装置１０から直接生体データ付き収録データをデータ再生装置６０に送信することとしてもよい。

また、配信サーバ９０を介すか介さないかに関わらず、収録シーンの動画、音声及び鼓動データをリアルタイムでデータ生成装置１０からデータ再生装置６０に送信してもよい。例えば、データ生成装置１０において、１つのシーンについて取得された動画、音声及び心音データに共通のタイムコードを付して、各データの取得と同時進行で生体データ付き収録データを生成し、リアルタイムでデータ再生装置６０に生体データ付き収録データを送信してもよい。

上記実施例においては、収録データが動画及び音声を含む場合を説明した、収録データは動画または音声のいずれかを含んでいれば足りる。

なお、上記実施例においては、生体データ付き収録データに付する生体データとして、人の鼓動の状態を示す鼓動データとしての心音データを付する場合を例に説明した。しかし、生体データ付き収録データに付する生体データとして、例えば体温等の鼓動以外の人の生理状態を示すデータが付されてもよい。例えば、生体データとして体温を付する場合には、上記した収録シーンにおいて、登場人物に体温計を装備させ、当該体温計からの体温のデータを取得することとしてもよい。また、人形８０にヒーターを内蔵させて、当該体温のデータに基づいて人形の温度を変化させてもよい。

なお、上述した実施例においては、データ再生装置６０と振動装置８０Ａが別々である場合を説明したが、データ再生装置６０及び振動装置８０Ａは一体になっていてもよい。例えば、映像及び音声を再生可能でありかつ振動子を有するスマートフォンやタブレットを、データ再生装置６０及び振動装置８０Ａが一体になった装置としてもよい。

上述した実施例におけるデータ生成装置１０及びデータ再生装置６０の構成、ルーチン、または信号の出力及び入力の態様等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。

１０ データ生成装置
２０ 心音送信装置
３０ 心音データ受信装置
４０ マイク
５０ カメラ
６０ データ再生装置６０と
７０ 表示装置
８０ 人形
８０Ａ 振動装置
１００ データ生成システム
２００ データ再生システム
３００ データ配信システム

Claims (18)

1. 動画または音声を含む収録データを取得する収録データ取得部と、
   前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得部と、
   前記収録データ及び前記収録データに時間的に同期された前記生体データを含む合成データを生成する合成データ生成部と、
   を含むことを特徴とするデータ生成装置。
2. 前記生体データは前記１または複数の人物の各々の時系列に沿った鼓動の状態を示す鼓動データであることを特徴とする請求項１に記載のデータ生成装置。
3. 前記鼓動データは前記１または複数の人物の各々の鼓動の速さを示すことを特徴とする請求項２に記載のデータ生成装置。
4. 前記鼓動データは、前記１または複数の人物の各々の鼓動の強さを示すことを特徴とする請求項２に記載のデータ生成装置。
5. 前記生体データ取得部は、前記１または複数の人物の各々の心音に基づいて前記鼓動データを生成することを特徴とする請求項２乃至４のいずれか１つに記載のデータ生成装置。
6. 前記生体データ取得部は、前記１または複数の人物の各々の心音及び前記音声に基づいて前記鼓動データを生成し、前記鼓動データによって示される鼓動の強さは前記音声が大きくなるほど強くなることを特徴とする請求項５に記載のデータ生成装置。
7. 前記合成データ生成部は、前記動画の経過時間に亘って変更自在に前記鼓動データのいずれかを指定する鼓動データ指定情報を含む前記合成データを生成することを特徴とする請求項２乃至６のいずれか１つに記載のデータ生成装置。
8. 動画または音声を含む収録データを取得する収録データ取得部と、
   前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得部と、
   前記収録データに基づいて前記動画または音声を再生する再生部と、
   前記生体データに基づいて生成された振動子を駆動するための振動信号を、前記再生部によって再生された動画または音声に同期して振動子を有する機器に出力する振動信号出力部と、
   を含むことを特徴とするデータ再生装置。
9. 前記生体データは前記１または複数の人物の鼓動の状態を示す鼓動データを含み、前記振動信号は前記鼓動データに基づいて生成されることを特徴とする請求項８に記載のデータ再生装置。
10. 前記振動信号は、前記音声が大きくなるほど振動子を大きく振動させるように変化することを特徴とする請求項９に記載のデータ再生装置。
11. 前記振動信号出力部は、前記１または複数の人物の鼓動データから１の人物の鼓動データを指定する鼓動データ指定情報を取得し、前記鼓動データ指定情報によって指定された１の人物の鼓動データに基づいて生成された前記振動信号を出力することを特徴とする請求項８乃至１０のいずれかに記載のデータ再生装置。
12. 前記振動信号出力部は、前記鼓動データ指定情報として前記振動子を有する機器に保存された識別子を取得し、前記振動信号出力部は、前記識別子に基づいて特定される前記１の人物の鼓動データに基づいて生成された前記振動信号を出力することを特徴とする請求項１１に記載のデータ再生装置。
13. 収録データ取得部が動画または音声を含む収録データを取得する収録データ取得ステップと、
    生体データ取得部が前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得ステップと、
    合成データ生成部が前記収録データ及び前記収録データに時間的に同期された前記生体データを含む合成データを生成する合成データ生成ステップと、
    を含むことを特徴とするデータ生成方法。
14. 収録データ取得部が動画または音声を含む収録データを取得する収録データ取得ステップと、
    生体データ取得部が前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得ステップと、
    再生部が前記収録データに基づいて前記動画または音声を再生する再生ステップと、
    振動信号出力部が前記生体データに基づいて生成された振動子を駆動するための振動信号を、前記再生部によって再生された動画または音声に同期して振動子を有する機器に出力する振動信号出力ステップと、
    を含むことを特徴とするデータ再生方法。
15. コンピュータに、
    動画または音声を含む収録データを取得する収録データ取得ステップと、
    前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得ステップと、
    前記収録データ及び前記収録データに時間的に同期された前記生体データを含む合成データを生成する合成データ生成ステップと、
    を実行させることを特徴とするデータ生成プログラム。
16. コンピュータに、
    動画または音声を含む収録データを取得する収録データ取得ステップと、
    前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得ステップと、
    前記収録データに基づいて前記動画または音声を再生する再生ステップと、
    前記生体データに基づいて生成された振動子を駆動するための振動信号を、前記再生ステップにおいて再生される動画または音声に同期して振動子を有する機器に出力する振動信号出力ステップと、
    を実行させることを特徴とするデータ再生プログラム。
17. コンピュータに、
    動画または音声を含む収録データを取得する収録データ取得ステップと、
    前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得ステップと、
    前記収録データ及び前記収録データに時間的に同期された前記生体データを含む合成データを生成する合成データ生成ステップと、
    を実行させるデータ生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
18. コンピュータに、
    動画または音声を含む収録データを取得する収録データ取得ステップと、
    前記動画または前記音声に登場する１または複数の人物の各々の生体情報の時系列データである生体データを取得する生体データ取得ステップと、
    前記収録データに基づいて前記動画または音声を再生する再生ステップと、
    前記生体データに基づいて生成された振動子を駆動するための振動信号を、前記再生ステップにおいて再生される動画または音声に同期して振動子を有する機器に出力する振動信号出力ステップと、
    を実行させるデータ再生プログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images