JP2017011596A - 制御方法 - Google Patents

Abstract

【課題】 映像情報の選択等の操作に応じて適切に音響情報の制御を行うことを可能にする。【解決手段】 インタフェースプログラム１０は、複数チャネルの映像情報の少なくとも１つのチャネルの映像情報に対する操作情報を検出する操作検出手段と、前記操作情報に基づいて、前記複数チャネルの映像情報に各々対応付けられた複数チャネルの音響情報に対する音響制御情報を生成する制御情報生成手段としての機能をＣＰＵ１に実現させる。【選択図】図１

Description

この発明は、操作情報に基づいて映像情報および音響情報に対する制御情報を生成する制御方法に関する。

昨今、多視点からの録画および録音により得られた複数組の映像情報および音響情報を処理する技術が各種提供されている。例えば非特許文献１および２に開示の技術では、ユーザは複数組の映像情報および音響情報を再生しつつ、再生された映像情報および音響情報の中から所望の組の映像情報および音響情報を選択し、１本の時系列の映像情報および音響情報を編集する。

Adobe社、一新された2015年版Premiere Pro CC。どこにいても、圧倒的な映像を制作、平成２７年６月４日検索、[online]、＜URL：http://www.adobe.com/jp/products/premiere.html＞

野々下裕子、ユーザーが自在にアングルを切り替えられる動画配信システム「VIXT」を発表、平成２７年６月４日検索、[online]、＜URL：http://wirelesswire.jp/2014/09/12337/＞

ところで、上述した従来の技術において、ユーザは、選択した所望の組の映像情報および音響情報のうち映像情報の表示位置、表示の大きさの変更等の操作を望む場合がある。この場合、映像および音響の再生をバランスの良いものにするため、映像情報に対する操作に応じて、音響情報の再生態様を制御する必要が生じる場合がある。しかしながら、従来の技術では、映像情報の選択に合わせて、音響情報を切り換える程度のことしかできなかった。このため、ユーザは、フェーダなどの操作子を操作して音響情報の再生音量、音像定位等の再生態様の操作を行う必要がある。しかし、映像情報とともに再生される音響情報の再生態様の操作は容易ではなく、この操作が不適切であると、映像再生に対してアンバランスな音響再生が行われる問題があった。

この発明は、以上説明した事情に鑑みてなされたものであり、映像情報の選択等の操作に応じて適切に音響情報の再生態様の制御を行うことを可能にする制御方法を提供することを目的としている。

この発明は、表示部に複数チャネルの映像情報を表示させるステップと、前記複数チャネルの映像情報の少なくとも１つのチャネルの映像情報に対するユーザの操作情報を検出する操作検出ステップと、前記操作情報に基づく映像情報の操作結果に基づいて、前記複数チャネルの映像情報に各々対応付けられた複数チャネルの音響情報に対する音響制御情報を生成する制御情報生成ステップとを具備することを特徴とする制御方法を提供する。

この発明によれば、複数チャネルの映像情報の少なくとも１つのチャネルの映像情報に対する操作情報が検出された場合、その操作情報が示す映像情報の操作結果に基づいて、映像情報の操作されたチャネル以外のチャネルをも含む複数チャネルの音響情報に対する音響制御情報が生成される。従って、映像情報の選択等の操作に応じて適切に音響情報の再生態様の制御を行うことができる。

この発明の第１実施形態である制御方法を実行するためのインタフェースプログラムがインストールされた情報処理装置の構成を示すブロック図である。 同実施形態におけるタッチパネルの表示状態を例示する図である。 同実施形態においてタッチパネルのメニューエリアに表示される映像を例示する図である。 同実施形態における時系列再生制御情報の構成を例示する図である。 同実施形態におけるインタフェースプログラムの処理内容を示すフローチャートである。 同実施形態における再生プログラムの処理内容を示すフローチャートである。 同実施形態においてレイアウトエリアに配置された映像の第１の例を示す図である。 同実施形態においてレイアウトエリアに配置された映像の第２の例を示す図である。 この発明の第２実施形態におけるインタフェースプログラムの一部の処理内容を示すフローチャートである。

以下、図面を参照し、この発明の実施の形態を説明する。

＜第１実施形態＞
図１はこの発明の第１実施形態である制御方法を実行するためのインタフェースプログラム１０がインストールされた情報処理装置１００の構成を示すブロック図である。この情報処理装置１００は、例えばパーソナルコンピュータ、スマートフォン、タブレット型端末等である。

この情報処理装置１００に特有の機能として、多視点からの録画および録音により得られた複数チャネルの時系列データの編集処理機能がある。ここで、各チャネルの時系列データは、録画により得られた時系列の映像情報と録音により得られた時系列の音響情報を含む。

情報処理装置１００は、各チャネルの時系列データの映像情報の表示部への表示を行うとともに、各チャネルの映像情報の中の少なくとも１つのチャネルの映像情報に対する選択、移動、サイズ変更等の操作を検出し、この検出結果に基づき、各チャネルの映像情報に対応した映像の画面内のレイアウト（位置と大きさ）を示す映像レイアウト情報を生成する。また、情報処理装置１００は、この映像レイアウト情報に応じて、複数チャネルの音響情報の再生態様を制御する音響制御情報を生成する。
以上が情報処理装置１００の機能の概略である。

図１に示すように、情報処理装置１００は、同情報処理装置１００の制御中枢であるＣＰＵ１と、タッチパネルインタフェース２と、通信インタフェース３と、メモリインタフェース４と、ＲＯＭ５と、ＲＡＭ６と、ＨＤＤ（ハードディスク装置）７と、サウンドシステム８とを有する。

タッチパネルインタフェース２には、図２に示すタッチパネル２Ａが接続されている。このタッチパネル２Ａは表示部としての機能および操作部としての機能を併せ持っている。タッチパネルインタフェース２は、ＣＰＵ１による制御の下、表示部であるタッチパネル２Ａの表示画面に各種の映像を表示するとともに、操作部であるタッチパネル２Ａに対して行われるタッチ操作を検出し、タッチ位置等を示す操作情報をＣＰＵ１に供給する。

通信インタフェース３は、例えばＮＩＣ（Network Interface Card）であり、ＣＰＵ１によって行われるインターネット等を経由した通信を仲介する装置である。

メモリインタフェース４は、ＣＰＵ１によって行われるＳＤメモリカード等の記憶媒体へのアクセスを仲介する装置である。本実施形態において、上述した多視点録画および録音により得られる複数チャネルの時系列データは、このメモリインタフェース４を介して情報処理装置１００に入力される。

さらに詳述すると、本実施形態では、スマートフォン等の複数台の録画録音装置により異なる視点からコンサート等の演奏シーンの録画および録音が行われる。各録画録音装置では、録画により得られる映像情報および録音により得られる音響情報からなる時系列データのコンテンツが記憶媒体に各々書き込まれる。そして、各録画録音装置により書き込みの行われた各記憶媒体がメモリインタフェース４に接続され、各記憶媒体内の各コンテンツがＣＰＵ１によって読み出される。

ＲＯＭ５は、ローダ等の基本的な制御プログラムを記憶した不揮発性記憶装置である。ＲＡＭ６は、ＣＰＵ１によってワークエリアとして使用される揮発性記憶装置である。

ＨＤＤ７は、ＣＰＵ１が実行する各種のプログラム、ＣＰＵ１の処理対象となる各種のデータを記憶する不揮発性記憶装置である。

図１において、ＣＰＵ１を示すボックスの中には、操作検出部１１としての機能および制御情報生成部１２としての機能を備えたインタフェースプログラム１０と再生プログラム２０が図示されている。これらのプログラムは、例えばインターネット上のサーバから通信インタフェース３を介してＨＤＤ７内にダウンロードされ、このＨＤＤ７から読み出され、ＣＰＵ１により実行されるプログラムである。また、図１には、ＨＤＤ７を示すボックス内に、ＣＰＵ１の処理対象となるデータとして、コンテンツＣＡＶ＿１〜ＣＡＶ＿４が例示されている。このコンテンツＣＡＶ＿１〜ＣＡＶ＿４は、ＣＰＵ１によってメモリインタフェース４に接続された記憶媒体から読み出され、ＨＤＤ７に格納されたコンテンツである。

インタフェースプログラム１０は、この発明の第１実施形態である制御方法をＣＰＵ１に実行させるプログラムである。このインタフェースプログラム１０の主要な機能は次の通りである。

＜＜ａ．ＧＵＩの制御を行う機能＞＞
インタフェースプログラム１０は、図２に示すＧＵＩをタッチパネル２Ａに表示させ、タッチパネル２Ａに対するユーザの操作を、操作情報として検出する。本実施形態においてタッチパネル２Ａの表示画面は、図２に示すように、メニューエリア２１と、レイアウトエリア２２と、操作キーエリア２３とに区分される。インタフェースプログラム１０は、操作キーエリア２３に、第１再生キーＫ１、早送りキーＫ２、停止キーＫ３、戻しキーＫ４、早戻しキーＫ５、第２再生キーＫ６、ロードキーＫ７および記録キーＫ８を表示する。

＜＜ｂ．操作検出部１１としての機能＞＞
本実施形態では、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出された各映像情報が図２に示すメニューエリア２１にメニュー用の映像Ｖ＿１〜Ｖ＿４として表示される。図３はこの映像Ｖ＿１〜Ｖ＿４を例示する図である。図３に示すように、この例では、チャネル１のコンテンツＣＡＶ＿１は、ギター演奏の映像情報および音響情報を含み、チャネル２のコンテンツＣＡＶ＿２は、ドラム演奏の映像情報および音響情報を含み、チャネル３のコンテンツＣＡＶ＿３は、ベース演奏の映像情報および音響情報を含み、チャネル４のコンテンツＣＡＶ＿４は、ボーカルの映像情報および音響情報を含む。ユーザは、メニュー用の映像Ｖ＿１〜Ｖ＿４を任意に選択し、レイアウトエリア２２に配置する映像操作を行うことができる。インタフェースプログラム１０は、ユーザによる映像情報に対する操作情報を検出し、操作情報に基づく映像情報の操作結果を示す情報、具体的にはレイアウトエリア２２における映像のレイアウトを示す映像レイアウト情報６２をＲＡＭ６に書き込む。

＜＜ｃ．制御情報生成部１２としての機能＞＞
インタフェースプログラム１０は、ＲＡＭ６内に記憶された映像レイアウト情報６２に基づいて、コンテンツＣＡＶ＿１〜ＣＡＶ＿４の各音響情報の再生態様を制御する音響制御情報６３を生成し、ＲＡＭ６内に書き込む。また、インタフェースプログラム１０は、第１再生キーＫ１へのユーザのタッチを示す操作情報を検出したとき、その時点におけるＲＡＭ６内の時刻情報６１と、映像レイアウト情報６２と、音響制御情報６３との組からなる時系列再生制御情報６４をＲＡＭ６内に蓄積する。図４はこの時系列再生制御情報６４を例示する図である。ここで、時刻情報６１は、再生プログラム２０によって更新される情報であり、コンテンツＣＡＶ＿１〜ＣＡＶ＿４の映像情報および音響情報の現在の再生位置（コンテンツの先頭を基準とした再生位置の相対時刻）を示す。

＜＜ｄ．再生プログラム２０に指示を与え、再生プログラム２０から供給される情報を処理する機能＞＞
インタフェースプログラム１０は、第１再生キーＫ１、早送りキーＫ２、停止キーＫ３、戻しキーＫ４、早戻しキーＫ５、第２再生キーＫ６に対するタッチ操作に応じて、第１再生指示、早送り指示、停止指示、戻し指示、早戻し指示、第２再生指示を再生プログラム２０に対して出力する。また、インタフェースプログラム１０は、再生プログラム２０がコンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した各映像情報をメニューエリア２１に映像Ｖ＿１〜Ｖ＿４として表示する。また、インタフェースプログラム１０は、再生プログラム２０が生成するレイアウト済み映像情報をレイアウトエリア２２に表示する。

＜＜ｅ．他の機能＞＞
以上の機能の他、インタフェースプログラム１０には、ロードキーＫ７に対するタッチ操作に応じて、メモリインタフェース４に装填された記憶媒体からコンテンツを読み出してＨＤＤ７に格納する機能等がある。

再生プログラム２０の主要な機能は次の通りである。

＜＜ｆ．第１再生機能＞＞
再生プログラム２０は、インタフェースプログラム１０から第１再生指示が与えられた場合、ＨＤＤ７内のコンテンツＣＡＶ＿１〜ＣＡＶ＿４から映像情報および音響情報を読み出す。再生プログラム２０は、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した各映像情報をインタフェースプログラム１０に供給する。また、再生プログラム２０は、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した各映像情報を用いてレイアウト済み映像情報を生成し、インタフェースプログラム１０に供給する。このレイアウト済み映像情報は、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した各映像情報をＲＡＭ６内の映像レイアウト情報６２に従ってレイアウトエリア２２内にレイアウトした映像を示す情報である。また、再生プログラム２０は、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した各音響情報に対し、ＲＡＭ６内の音響制御情報６３が示す音響処理を施してミキシングし、サウンドシステム８に供給する。

＜＜ｇ．第２再生機能＞＞
再生プログラム２０は、インタフェースプログラム１０から第２再生指示が与えられた場合、ＨＤＤ７内のコンテンツＣＡＶ＿１〜ＣＡＶ＿４から映像情報および音響情報を読み出す。再生プログラム２０は、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した映像情報をインタフェースプログラム１０に供給する。また、再生プログラム２０は、ＲＡＭ６内の時系列再生制御情報６４に含まれる現在時刻（時刻情報６１が示す時刻）に対応した映像レイアウト情報に従い、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した各映像情報からレイアウト済み映像情報を生成し、インタフェースプログラム１０に供給する。また、再生プログラム２０は、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した各音響情報に対し、ＲＡＭ６内の時系列再生制御情報６４に含まれる現在時刻（時刻情報６１が示す時刻）に対応した音響制御情報が示す音響処理を施してミキシングし、サウンドシステム８に供給する。

＜＜ｈ．他の機能＞＞
以上の機能の他、再生プログラム２０には、早送り指示、停止指示、戻し指示、早戻し指示に応じて、コンテンツＣＡＶ＿１〜ＣＡＶ＿４における映像情報および音響情報の再生位置の早送り、停止、戻し、早戻しを行う機能等がある。

図５は本実施形態におけるインタフェースプログラム１０の処理内容を示すフローチャートである。また、図６は本実施形態における再生プログラム２０の処理内容を示すフローチャートである。以下、これらのフローチャートを参照し、本実施形態の動作を説明する。

タッチパネル２Ａの操作等により、ＣＰＵ１に対して所定のコマンドが与えられると、ＣＰＵ１は、インタフェースプログラム１０および再生プログラム２０を起動する。

インタフェースプログラム１０において、ＣＰＵ１は、まず、インタフェースプログラム１０のためのＲＡＭ６内の各種の制御データの初期化を行う（ステップＳ１０）。具体的には、この初期化において、コンテンツＣＡＶ＿１〜ＣＡＶ＿４の再生位置を示す時刻情報６１が０とされる。

次にＣＰＵ１は、タッチパネル２Ａのメニューエリア２１内の映像またはレイアウトエリア２２内の映像に対する操作が行われたか否かを判断する（ステップＳ２０）。この判断結果が「ＮＯ」である場合、ＣＰＵ１は、操作キーエリア２３内のいずれかのキーに対するタッチ操作が行われたか否かを判断する（ステップＳ３０）。そして、操作キーエリア２３内のいずれのキーも操作されなかったと判断した場合、ＣＰＵ１の処理はステップＳ６０に進む。

このステップＳ６０において、ＣＰＵ１は、再生プログラム２０から供給される情報の処理、具体的には再生プログラム２０から供給される映像情報のメニューエリア２１またはレイアウトエリア２２への表示処理を行う。再生プログラム２０から何も情報が供給されない場合、このステップＳ６０においてＣＰＵ１は何も処理を実行しない。このステップＳ６０の処理が終了すると、ＣＰＵ１の処理はステップＳ２０に戻る。そして、映像の操作、操作キーエリア２３内のいずれかのキーに対するタッチ操作が行われるまでの間、ＣＰＵ１は、ステップＳ２０、Ｓ３０、Ｓ６０の処理を繰り返す。

ユーザがメモリインタフェース４に記憶媒体を装填し、タッチパネル２Ａの操作キーエリア２３内のロードキーＫ７にタッチしたとする。この場合、インタフェースプログラム１０（図５）におけるＣＰＵ１の処理は、ステップＳ３０からステップＳ４０に進む。そして、ＣＰＵ１は、ステップＳ４０において、キー操作に対応した処理、この例ではロードキーＫ７に対応した処理を実行する。具体的には、ＣＰＵ１は、メモリインタフェース４を介して記憶媒体から映像情報および音響情報からなるコンテンツを読み出し、ＨＤＤ７に格納する。その際、ＣＰＵ１は、ＨＤＤ７に書き込んだコンテンツにチャネル番号を割り当てる。図１に例示するコンテンツＣＡＶ＿１は、このようにしてＨＤＤ７に格納されたチャネル１のコンテンツである。このステップＳ４０が終了すると、ＣＰＵ１の処理はステップＳ６０を介してステップＳ２０に戻る。

ユーザは、記憶媒体をメモリインタフェース４に装填してロードキーＫ７にタッチする、という操作を繰り返すことにより、同様に記憶媒体内のコンテンツをＨＤＤ７に格納することが可能である。これにより、図１に例示するように、ＨＤＤ７内にチャネル１〜４のコンテンツＣＡＶ＿１〜ＣＡＶ＿４が記憶された状態となる。

一方、再生プログラム２０では、ＣＰＵ１は、ステップＳ１１０において、待機および初期化を行う。具体的には、ＣＰＵ１は、ステップＳ１１０において、編集対象であるコンテンツＣＡＶ＿１〜ＣＡＶ＿４をインタフェースプログラム１０がＨＤＤ７内に格納し終えるまで待機して初期化を実行する。編集対象であるコンテンツの全てがＨＤＤ７内に格納されたことを判断する方法に関しては各種の態様が考えられるが、例えばロードキーＫ７が所定時間以上に亙ってタッチされたことを以て全てのコンテンツの格納完了の合図とする、といった方法が考えられる。

全てのコンテンツの格納完了を示す情報がインタフェースプログラム１０から受信された場合、ＣＰＵ１は、再生プログラム２０のステップＳ１１０において初期化を開始する。この初期化において、ＣＰＵ１は、再生プログラム２０の状態を停止状態とする。また、ＣＰＵ１は、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から時刻情報＝０に対応した各映像情報を読み出してインタフェースプログラム１０に供給する。この結果、インタフェースプログラム１０では、上述したステップＳ６０において、コンテンツＣＡＶ＿１〜ＣＡＶ＿４の時刻情報＝０に対応した各映像情報がタッチパネル２Ａのメニューエリア２１に映像Ｖ＿１〜Ｖ＿４として表示されることとなる。

次に再生プログラム２０のステップＳ１２０において、ＣＰＵ１は、インタフェースプログラム１０からの指示を受信したか否かを判断する。この判断結果が「ＮＯ」である場合、ＣＰＵ１は、現在の状態に関する判断を行う（ステップＳ１３０）。現在の状態が停止状態である場合、ＣＰＵ１の処理はステップＳ１３０からステップＳ１６０に進む。このステップＳ１６０において、ＣＰＵ１は状態に応じた処理、この例では停止状態に応じた処理を行う。具体的にはＣＰＵ１は、何の処理も行わない。次にステップＳ１６１に進み、ＣＰＵ１は、状態に応じた時刻情報の更新処理を行う。この場合、再生プログラム２０の状態が停止状態であるので、ＣＰＵ１は、現状の時刻情報６１を維持する。ステップＳ１６１が終了すると、ＣＰＵ１の処理はステップＳ１２０に戻る。そして、インタフェースプログラム１０からの指示が受信されるまでの間、ＣＰＵ１は、ステップＳ１２０、Ｓ１３０、Ｓ１６０、Ｓ１６１の処理を繰り返す。

図２に示すタッチパネル２Ａにおいて、ユーザが例えばメニューエリア２１内のチャネル１の映像Ｖ＿１をタッチしてタッチ位置をレイアウトエリア２２内に移動させるフリック操作を行ったとする。この場合、インタフェースプログラム１０（図５）では、ステップＳ２０の判断結果が「ＹＥＳ」となる。そこで、ＣＰＵ１は、フリック操作により移動したレイアウトエリア２２内のタッチ位置にチャネル１の映像Ｖ＿１が配置された状態を示す映像レイアウト情報６２を生成し、ＲＡＭ６に書き込む（ステップＳ２１）。

次にＣＰＵ１は、ステップＳ２１において生成した映像レイアウト情報に基づいて、チャネル１〜４についての音響制御情報６３を生成し、ＲＡＭ６に書き込む（ステップＳ２２）。具体的には、ＣＰＵ１は、チャネル１〜４のうちチャネル１の音響情報の再生音量を大きくし、他のチャネル２〜４の音響情報の再生音量を小さくすべき旨の音量バランス指示情報を音響制御情報６３として生成する。
このステップＳ２２が終了すると、ＣＰＵ１の処理はステップＳ６０を介してステップＳ２０に戻る。

その後、ユーザがタッチパネル２Ａの操作キーエリア２３内の第１再生キーＫ１にタッチすると、ＣＰＵ１の処理はステップＳ３０からステップＳ５０に進む。このステップＳ５０において、ＣＰＵ１は、第１再生指示を再生プログラム２０に対して送信する。

次にステップＳ５１に進み、ＣＰＵ１は、その時点においてＲＡＭ６に記憶されている時刻情報６１と映像レイアウト情報６２と音響制御情報６３とをＲＡＭ６内の時系列再生制御情報６４に追加する。
このステップＳ２２の処理が終了すると、ＣＰＵ１の処理はステップＳ６０を介してステップＳ２０に戻る。

再生プログラム２０（図６）では、インタフェースプログラム１０から第１再生指示が受信されると、ステップＳ１２０の判断結果が「ＹＥＳ」となり、ＣＰＵ１の処理は、ステップＳ１２１に進む。このステップＳ１２１において、ＣＰＵ１は、インタフェースプログラム１０からの指示に対応した処理を実行する。この例では、ＣＰＵ１から第１再生指示が受信されている。そこで、ＣＰＵ１は、ステップＳ１２１において再生プログラム２０の状態を第１再生状態とする。次にステップＳ１３０に進むと、再生プログラム２０の状態が第１再生状態であるため、ＣＰＵ１の処理はステップＳ１３０からステップＳ１４０に進む。

このステップＳ１４０において、ＣＰＵ１は、ＲＡＭ６内の映像レイアウト情報６２と音響制御情報６３に基づいて映像および音響の再生を行う。具体的には次の通りである。まず、ＣＰＵ１は、ＨＤＤ７のコンテンツＣＡＶ＿１〜ＣＡＶ＿４の各々から所定時間長の映像情報および音響情報を並列に読み出す。そして、ＣＰＵ１は、読み出したコンテンツＣＡＶ＿１〜ＣＡＶ＿４の各映像情報をインタフェースプログラム１０に供給する。また、ＣＰＵ１は、読み出したコンテンツＣＡＶ＿１〜ＣＡＶ＿４の各映像情報を映像レイアウト情報６２に従ってレイアウトした画面を示すレイアウト済み映像情報を生成し、このレイアウト済み映像情報をインタフェースプログラム１０に供給する。このレイアウト済み映像情報は、上述したインタフェースプログラム１０のステップＳ６０において、タッチパネル２Ａのレイアウトエリア２２に表示される。

また、再生プログラム２０のステップＳ１４０において、ＣＰＵ１は、読み出したコンテンツＣＡＶ＿１〜ＣＡＶ＿４の各音響情報に音響制御情報に基づく音響処理を施してミキシングし、サウンドシステム８に供給する。例えば音響制御情報がチャネル１の音響情報の再生音量を大きくし、他のチャネル２〜４の音響情報の再生音量を小さくすべき旨の音量バランス指示情報であったとする。この場合、ＣＰＵ１は、コンテンツＣＡＶ＿１から読み出した音響情報の音量を大きくするとともに、他のコンテンツＣＡＶ＿２〜ＣＡＶ＿４から読み出した音響情報の音量を小さくする音量調整を行い、音量調整後の各音響情報をミキシングしてサウンドシステム８に供給する。

ここで、音量調整の具体的態様として、次のような態様がある。第１の態様では、チャネル１〜４の全音響情報の総エネルギー（パワー）に対して、選択されたチャネル１の音響情報のエネルギーが一定の比較的大きな割合（例えば７割）を占めるように調整し、残りの３割を他のチャネル２〜４の音響情報に割り当てる。この調整法によれば、本来の全体音量を損なうことなく、所望の映像の音響情報を強調することが可能となる。

第２の態様では、選択された映像の音量はそのままで、他の映像の音量を小さくする。

ステップＳ１４０の処理が終了すると、ステップＳ１４１に進み、ＣＰＵ１は、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した映像情報および音響情報の時間長だけ時刻情報６１が示す時刻を進める。このステップＳ１４１の処理が終了すると、ＣＰＵ１の処理はステップＳ１２０に戻る。

映像情報および音響情報の再生中に例えば演奏シーンの雰囲気が変化し、ユーザが現在選択しているチャネル１の映像よりもむしろチャネル２の映像を望むようになったとする。この場合、ユーザはタッチパネル２Ａの停止キーＫ３にタッチすればよい。この結果、図５のインタフェースプログラム１０において、ＣＰＵ１の処理はステップＳ３０からステップ４０に進む。このステップＳ４０において、ＣＰＵ１は、停止指示を再生プログラム２０に対して出力する。

再生プログラム２０では、停止指示が受信されると、ステップＳ１２０の判断結果が「ＹＥＳ」となり、ＣＰＵ１の処理はステップＳ１２１に進む。このステップＳ１２１において、ＣＰＵ１は停止指示に対応した処理を実行する。具体的には再生プログラム２０の状態を停止状態とし、ステップＳ１３０に進む。この場合、再生プログラム２０が停止状態であることから、ＣＰＵ１の処理はステップＳ１３０からステップ１６０に進む。この場合、ＣＰＵ１は、ステップＳ１６０において何も処理を実行せず、ステップＳ１６１において現状の時刻情報を維持する。

この状態において、停止キーＫ３のタッチ直前にコンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出された各映像情報がタッチパネル２Ａのメニューエリア２１に映像Ｖ＿１〜Ｖ＿４として表示され、コンテンツＣＡＶ＿１から読み出された映像情報がレイアウト済み映像情報としてレイアウトエリア２２に表示されている。

そこで、ユーザは所望の映像を選択する操作を行う。例えばユーザが現在選択されているチャネル１の映像情報Ｖ＿１に代えて、チャネル２の映像情報Ｖ＿２を選択するとする。この場合、ユーザは、レイアウトエリア２２内の映像Ｖ＿１にタッチしてタッチ位置をメニューエリア２１内に移動させるフリック操作を行う。次いでユーザはメニューエリア２１内の映像Ｖ＿２にタッチしてタッチ位置をレイアウトエリア２２内に移動させるフリック操作を行う。

この結果、インタフェースプログラム１０（図５）では、２回のフリック操作のいずれが行われた場合にも、ステップＳ２０の判断結果が「ＹＥＳ」となる。そして、２回目のフリック操作が行われた後のステップＳ２１において、ＣＰＵ１は、メニューエリア２１内に映像Ｖ＿２が配置された状態を示す映像レイアウト情報６２をＲＡＭ６に書き込む。次にＣＰＵ１は、ステップＳ２２において、チャネル２の音響情報の再生音量を大きくし、他のチャネル１、３、４の音響情報の再生音量を小さくすべき旨の音量バランス指示情報を音響制御情報６３としてＲＡＭ６に書き込む。

その後、ユーザがタッチパネル２Ａの操作キーエリア２３内の第１再生キーＫ１にタッチすると、ＣＰＵ１の処理はステップＳ３０からステップＳ５０に進む。このステップＳ５０において、ＣＰＵ１は、第１再生指示を再生プログラム２０に対して送信する。この場合の再生プログラム２０での処理内容は上述した通りである。

以下、同様であり、ユーザは、例えば演奏シーンの雰囲気が変わる任意のタイミングにおいて停止キーＫ３にタッチし、コンテンツＣＡＶ＿１〜ＣＡＶ＿４の各映像の中から所望の映像を選択してレイアウトエリア２２にレイアウトする映像操作を行い、その後、第１再生キーＫ１にタッチする、という操作を繰り返せばよい。ユーザがこの操作を繰り返すことにより、停止キーＫ３のタッチされた時刻を示す再生時刻情報と、映像操作に応じて生成された映像レイアウト情報および音響制御情報の組を序列化した時系列再生制御情報６４がＲＡＭ６内に蓄積される。

この時系列再生制御情報６４を適切に生成するためには、第１再生状態において例えば演奏シーンの雰囲気が切り換わる適切なタイミングにおいてユーザが停止キーＫ３にタッチし、レイアウトエリア２２に対する映像のレイアウトを行う必要がある。しかし、不慣れなユーザは、不適切なタイミングに停止キーＫ３へのタッチを行う場合がある。その場合、ユーザは、早送りキーＫ２、戻しキーＫ４、早戻しキーＫ５を操作して、コンテンツＣＡＶ＿１〜ＣＡＶ＿４の再生位置を調整し、所望の再生位置になったときに停止キーＫ３にタッチして、レイアウトエリア２２に対する映像のレイアウトを行えばよい。

ユーザは、時系列再生制御情報６４が意図した内容になっているか否かを確認したい場合に、第２再生キーＫ６にタッチすればよい。この場合、インタフェースプログラム１０（図５）におけるＣＰＵ１の処理は、ステップＳ３０からステップＳ４０に進む。そして、ＣＰＵ１は、ステップＳ４０において、第２再生キーＫ６に対応した処理を実行し、第２再生指示を再生プログラム２０に送信する。

再生プログラム２０（図６）では、インタフェースプログラム１０から第２再生指示が受信されると、ステップＳ１２０の判断結果が「ＹＥＳ」となり、ＣＰＵ１の処理は、ステップＳ１２１に進む。このステップＳ１２１において、再生プログラム２０の状態を第２再生状態とし、ＲＡＭ６内の時刻情報６１を０にする。次にステップＳ１３０に進むと、再生プログラム２０の状態が第２再生状態であるため、ＣＰＵ１の処理はステップＳ１３０からステップＳ１５０に進む。

このステップＳ１５０において、ＣＰＵ１は、ＲＡＭ６内の時系列再生制御情報６４に基づいて映像および音響の再生を行う。具体的には次の通りである。

第１再生の場合と同様、ＣＰＵ１は、ＨＤＤ７のコンテンツＣＡＶ＿１〜ＣＡＶ＿４の各々から現在の時刻情報６１の位置から始まる所定時間長の映像情報および音響情報を並列に読み出す。そして、ＣＰＵ１は、読み出したコンテンツＣＡＶ＿１〜ＣＡＶ＿４の各映像情報をインタフェースプログラム１０に供給する。

また、ＣＰＵ１は、時系列再生制御情報６４内の各再生時刻情報の中から現在の時刻情報６１より前の再生時刻情報であって、最も現在の時刻情報６１に接近した再生時刻情報を探索し、その再生時刻情報に対応した映像レイアウト情報および音響制御情報を読み出す。そして、ＨＤＤ７から読み出したコンテンツＣＡＶ＿１〜ＣＡＶ＿４の各映像情報を映像レイアウト情報に従ってレイアウトした画面を示すレイアウト済み映像情報を生成し、このレイアウト済み映像情報をインタフェースプログラム１０に供給する。

この結果、インタフェースプログラム１０では、上述したステップＳ６０において、再生プログラム２０から供給されたコンテンツＣＡＶ＿１〜ＣＡＶ＿４の各映像情報をタッチパネル２Ａのメニューエリア２１に映像Ｖ＿１〜Ｖ＿４として表示し、レイアウト済み映像情報をレイアウトエリア２２に表示することとなる。

また、再生プログラム２０のステップＳ１５０において、ＣＰＵ１は、読み出したコンテンツＣＡＶ＿１〜ＣＡＶ＿４の各音響情報に音響制御情報に基づく音響処理を施してミキシングし、サウンドシステム８に供給する。

ステップＳ１５０の処理が終了すると、ステップＳ１５１に進み、ＣＰＵ１は、コンテンツＣＡＶ＿１〜ＣＡＶ＿４から読み出した映像情報および音響情報の時間長だけ時刻情報６１が示す時刻を進める。このステップＳ１５１の処理が終了すると、ＣＰＵ１の処理はステップＳ１２０に戻る。

第２再生状態では、以上説明したステップＳ１５０およびＳ１５１の処理が繰り返され、時系列再生制御情報６４に基づく映像および音響の再生制御が行われる。すなわち、時刻情報６１が時系列再生制御情報６４の中のある再生時刻情報ｔ１になると、その再生時刻情報ｔ１に対応付けられた映像レイアウト情報および音響制御情報に基づく映像および音響の再生制御が行われ、時刻情報６１が次の再生時刻情報ｔ２（＞ｔ１）になると、その再生時刻情報ｔ２に対応付けられた映像レイアウト情報および音響制御情報に基づく映像および音響の再生制御が行われる、という動作が繰り返される。

ユーザは、その間にレイアウトエリア２２に表示される映像およびサウンドシステム８から再生される音響を確認することにより、時系列再生制御情報６４が意図した内容であるか否かを判断することができる。

ユーザが記録キーＫ８にタッチすると、インタフェースプログラム１０（図５）におけるＣＰＵ１の処理は、ステップＳ３０からステップＳ４０に進む。そして、ＣＰＵ１は、ステップＳ４０において、記録キーＫ８に対応した処理を実行する。具体的には、ＣＰＵ１は、ＲＡＭ６内の時系列再生制御情報６４をＨＤＤ７内に格納する。

さて、以上の説明では、簡単のため、ユーザは、１つのチャネルの映像をレイアウトエリア２２内に配置した。しかし、本実施形態において、レイアウトエリア２２内に複数のチャネルの映像を配置することも可能である。図７は、レイアウトエリア２２に２つのチャネルの映像Ｖ＿１およびＶ＿３を配置した例を示している。また、図８は、レイアウトエリア２２に３つのチャネルの映像Ｖ＿１、Ｖ＿２およびＶ＿３を配置した例を示している。また、これらの例において、ユーザは、映像Ｖ＿１に対してピンチアウト操作を行っており、映像Ｖ＿１が他の映像よりも大きくなっている。ここで、ピンチアウト操作とは、映像に対して２本の指をタッチし、その２本の指の間隔を広げるように各指を動かす操作のことである。なお、本実施形態では、ピンチイン操作を行って映像を小さくすることも可能である。このピンチイン操作とは、同様にタッチし、２本の指の間隔を狭めるように動かす操作である。

このような映像操作が行われた場合、ＣＰＵ１は、インタフェースプログラム１０（図５）のステップＳ２１においてその映像操作に基づく映像レイアウト情報６２を生成してＲＡＭ６に書き込んだ後、ステップＳ２２においてその映像レイアウト情報６２に基づいて音響制御情報６３を生成してＲＡＭ６に書き込む。この場合、ＣＰＵ１は、映像レイアウト情報６２が示す複数の映像の大きさに基づいて、各映像に対応した音響情報の再生音量を決定する。

例えば図７に示す例において、映像レイアウト情報６２は、ギター演奏の映像Ｖ＿１とベース演奏の映像Ｖ＿３を示しており、映像Ｖ＿１が映像Ｖ＿３よりも大きい。そこで、ＣＰＵ１は、音響制御情報６３を生成する際、映像Ｖ＿１およびＶ＿３に対応した各音響情報の各再生音量を他の映像Ｖ＿２およびＶ＿４に対応した各音響情報の各再生音量よりも大きくし、かつ、映像Ｖ＿１に対応した音響情報の再生音量を映像Ｖ＿３に対応した音響情報の再生音量よりも大きくする。ただし、このとき単に映像の大きさに応じて映像に対応した音響情報の再生音量を調節するのではなく、上述と同様に全体のエネルギーが損なわれないように、総エネルギーで正規化するといった処理を行うことが好ましい。

また、好ましい態様では、映像レイアウト情報６２が複数の映像を示す場合、ステップＳ２２においてＣＰＵ１は、その映像レイアウト情報６２に基づいて音像定位情報を含む音響制御情報６３を生成してＲＡＭ６に書き込む。

図８に示す例において、映像レイアウト情報６２は、ギター演奏の映像Ｖ＿１が左下に、ドラム演奏の映像Ｖ＿２が中央上に、ベース演奏の映像Ｖ＿３が右下に配置されたレイアウトを示している。そこで、ステップＳ２２においてＣＰＵ１は、ギター演奏の映像Ｖ＿１に対応したチャネル１の音響情報の音像位置を左側とし、ドラム演奏の映像Ｖ＿２に対応したチャネル２の音響情報の音像位置を中央とし、ベース演奏の映像Ｖ＿３に対応したチャネル３の音響情報の音像位置を右側とする音像定位情報を生成する。図８に示す例において、映像レイアウト情報６２は、ボーカルの映像Ｖ＿４の位置を示していない。この場合のボーカル音の再生態様の制御については各種の方法が考えられるが、例えば遠くからボーカル音が聴こえるようにしたり、あるいはサラウンド再生をする等、ギター演奏、ドラム演奏、ベース演奏の演奏音に対して目立たなくする演出を行うことが好ましい。また、図８に示す例では、映像Ｖ＿１が他の映像Ｖ＿２およびＶ＿３より大きい。そこで、ＣＰＵ１は、映像Ｖ＿１、Ｖ＿２およびＶ＿３に対応した各音響情報の各再生音量を他の映像Ｖ＿４に対応した音響情報の再生音量よりも大きくし、かつ、映像Ｖ＿１に対応した音響情報の再生音量を映像Ｖ＿２およびＶ＿３に対応した音響情報の再生音量よりも大きくする音量バランス情報を生成する。そして、ＣＰＵ１は、この音量バランス情報と上記音像定位情報とからなる音響制御情報６３をＲＡＭ６に書き込む。

再生プログラム（図６）のステップＳ１４０では、このようにしてＲＡＭ６に書き込まれた音響制御情報６３に基づいて、各チャネルの音響情報の再生音量の制御、音像定位の制御が行われる。

以上のように、本実施形態によれば、複数チャネルの映像情報の少なくとも１つのチャネルの映像情報への操作に連動して、複数チャネルの映像情報に対応した複数チャネルの音響情報に対する音響制御情報が生成される。従って、映像情報の選択等の操作に応じて適切に音響情報の制御を行うことができる。

＜第２実施形態＞
この発明の第２実施形態では、タッチパネル２Ａ（図２参照）を介して、音像定位、再生音量等、各チャネルの音響情報の再生態様に関する操作を受け入れるＧＵＩが提供される（図示略）。また、本実施形態では、上述したインタフェースプログラム１０がインタフェースプログラム１０Ａに置き換えられている。図９はこのインタフェースプログラム１０Ａの処理内容の一部を示すフローチャートである。このインタフェースプログラム１０Ａは、インタフェースプログラム１０（図５）に対し、ステップＳ２５〜Ｓ２７の処理を追加した内容になっている。

インタフェースプログラム１０ＡのステップＳ２５において、ＣＰＵ１は、各チャネルの音響情報の音像定位の操作等の音響操作が行われたか否かを判断する。この判断結果が「ＮＯ」である場合、ＣＰＵ１の処理はステップＳ３０に進む。これに対し、ステップＳ２５の判断結果が「ＹＥＳ」である場合、ＣＰＵ１は、音響操作に基づいて音響制御情報６３を生成してＲＡＭ６に書き込む。例えば、チャネル１の音響情報の音像定位に関する操作が行われた場合、ＣＰＵ１は、その操作に従ってチャネル１の音像定位情報を生成し、音響制御情報６３としてＲＡＭ６に書き込む（ステップＳ２６）。次にＣＰＵ１は、ＲＡＭ６内の音響制御情報６３に基づいて映像レイアウト情報６２を生成してＲＡＭ６に格納する（ステップＳ２７）。例えば音響制御情報６３がチャネル１の音響情報の音像定位を左側とする音像定位情報を含む場合、ＣＰＵ１は、チャネル１の映像をレイアウトエリア２２の左側に配置する映像レイアウト情報６２を生成してＲＡＭ６に書き込む。ステップＳ２７が終了すると、ＣＰＵ１の処理はステップＳ２０に進む。
以上が本実施形態の動作である。

本実施形態によれば、上記第１実施形態の効果に加え、各チャネルの音響情報の再生態様に対する操作を行った場合に、操作された音響再生態様に適した態様で映像再生を行うことができるという効果が得られる。

＜他の実施形態＞
以上、この発明の第１および第２実施形態について説明したが、この発明には他にも実施形態が考えられる。

（１）上記第１実施形態において、インタフェースプログラム１０は、ＨＤＤ７に記憶されたコンテンツＣＡＶ＿１〜ＣＡＶ＿４を処理対象とした。しかし、そのようにする代わりに、例えばインターネット上のサーバがコンテンツＣＡＶ＿１〜ＣＡＶ＿４を再生して情報処理装置１００にストリーム配信し、情報処理装置１００のインタフェースプログラム１０がストリーム配信されるコンテンツＣＡＶ＿１〜ＣＡＶ＿４を用いて所望のコンテンツを編集するようにしてもよい。

（２）上記各実施形態において、コンテンツＣＡＶ＿１〜ＣＡＶ＿４と時系列再生制御情報６４とに基づいて、１本の時系列の映像情報および音響情報を編集する機能をインタフェースプログラムあるいは再生プログラムに設けてもよい。

（３）上記各実施形態におけるインタフェースプログラムおよび再生プログラムの各機能を併せ持ったプログラムをネットワークを介して提供し、または記憶媒体に格納して提供してもよい。

（４）上記各実施形態では、表示部および操作部としてタッチパネルを使用し、複数チャネルの映像情報を表示部であるタッチパネルに表示し、映像情報に対するユーザの操作を操作部であるタッチパネルにより検出した。しかし、そのようにする代わりに、複数チャネルの映像情報を表示するための表示部として液晶ディスプレイパネル等の通常のディスプレイを使用し、映像情報に対するユーザの操作を検出するための操作部としてボタンやマウス等を使用してもよい。

（５）上記各実施形態では、この発明による制御方法を実施するための手段をコンピュータプログラムであるインタフェースプログラム１０または１０Ａにより実現した。しかし、この発明による制御方法を実施するための手段の態様は、コンピュータプログラムに限定されるものではない。例えば電子回路等により、インタフェースプログラム１０または１０Ａと同じ機能を有する制御装置を構成してもよい。

１００……情報処理装置、１……ＣＰＵ、２……タッチパネルインタフェース、３……通信インタフェース、４……メモリインタフェース、５……ＲＯＭ、６……ＲＡＭ、７……ＨＤＤ、８……サウンドシステム、１０，１０Ａ……インタフェースプログラム、２０……再生プログラム、１１……操作検出部、１２……制御情報生成部。

Claims (5)

1. 表示部に複数チャネルの映像情報を表示させるステップと、
   前記複数チャネルの映像情報の少なくとも１つのチャネルの映像情報に対するユーザの操作情報を検出する操作検出ステップと、
   前記操作情報に基づく映像情報の操作結果に基づいて、前記複数チャネルの映像情報に各々対応付けられた複数チャネルの音響情報に対する音響制御情報を生成する制御情報生成ステップと
   を具備することを特徴とする制御方法。
2. 前記制御情報生成ステップは、
   前記複数チャネルの音響情報の音量を制御する前記音響制御情報を生成することを特徴とする請求項１に記載の制御方法。
3. 前記制御情報生成ステップは、
   前記複数チャネルの音響情報の音像位置を制御する前記音響制御情報を生成することを特徴とする請求項１に記載の制御方法。
4. 前記制御情報生成ステップは、
   時刻情報と、前記時刻情報が示す時刻における映像および音響に対する制御情報の組からなる時系列再生制御情報を前記操作情報に基づいて生成するステップを含むことを特徴とする請求項１〜３のいずれか１の請求項に記載の制御方法。
5. 前記複数チャネルの音響情報の少なくとも１つのチャネルの音響情報に対する操作情報に基づく音響情報の操作結果に基づいて、前記複数チャネルの映像情報に対する制御情報を生成するステップを具備することを特徴とする請求項１〜４のいずれか１の請求項に記載の制御方法。
   

Images