JP2012124723A - 映像音声処理装置および映像音声処理方法 - Google Patents

Abstract

【課題】映像データを同期させるための事後的なタイミング調整作業を行うことなく、また、撮像環境におけるノイズの有無に拘わらず、複数の映像の同期を容易かつ確実にとることが可能となる。
【解決手段】映像音声処理装置１００の抽出部１０６は、ストリーム取得部１０４が取得したストリームから符号化音声データを抽出する。音声制御部１３２は、抽出された符号化音声データを復号した音声データを、音声出力部１１０に出力させる。撮像部１１２は、音声データの音声出力部への出力と同期させて被写体を撮像し、第１の映像データ（練習撮像映像データ）を生成する。多重化部１２０は、データ符号化部１１６が符号化し、記録制御部１３４が符号化メモリ１１８に保持させた第１の符号化映像データと、符号化音声データとを多重化し、第１のストリーム（符号化練習撮像映像／音声データ）を生成する。
【選択図】図１

Description

本発明は、別のタイミングで取得された映像データと音声データとを同期させる映像音声処理装置および映像音声処理方法に関する。

ダンスや日本舞踊、エアロビクス等の踊りや、フィットネスのための体操等を練習する場合、ユーザが、自身のフォームと、先生や師匠、インストラクター等の手本となるフォームとを見比べて比較したいという要望がある。そこで、ユーザ自身を撮像し、その撮像によって得られた映像と、手本となる先生等のフォームの映像とを同期させて並べて表示できれば、ユーザは、映像を通じて自身のフォームと手本となるフォームとを比較し、その違いを確認することが可能となる。

複数の映像を同期させて再生する技術として、例えば、撮像開始時にホイッスルや電子音、音声等を収音しておき、収音した音に基づき、複数の映像データ間の同期をとって再生する技術が提案されている（例えば、特許文献１）。

また、２つの撮像装置による撮像の際に録音された２つの音声データについて、時間をずらして相関値を導出し、相関値が高くなる時間のずれに基づいて、映像データの再生タイミングを制御し、映像を同期させる技術も提案されている（例えば、特許文献２）。

特開２００１−３６８６７号公報 特開２００８−１９３５６１号公報

しかし、上述した特許文献１および２の技術では、映像データを同期させるための煩雑なタイミング調整作業を要し、その作業は大変手間であった。また、特許文献１の技術では、撮像を開始する際に音の発生を要し、ユーザにタイミング調整作業だけでなく音の発生作業という面倒を強いることになっていた。さらに、特許文献１および２の技術では、周囲の雑音等に基づく音声信号のノイズや、映像信号のノイズの影響によって誤認識が生じてしまい、ユーザの意図した通りに映像信号や音声信号を同期させることができないといった事態が生じることが推察される。

そこで、本発明は、ユーザに煩雑なタイミング調整作業等を強いることなく、容易に複数の映像の同期をとることが可能な映像音声処理装置および映像音声処理方法を提供することを目的としている。

また、本発明は、周囲に雑音等のノイズが発生している撮像環境であっても、確実に複数の映像の同期をとることが可能な映像音声処理装置および映像音声処理方法を提供することを目的としている。

上記課題を解決するために、本発明の映像音声処理装置は、符号化音声データを取得するストリーム取得部（１０４）と、取得された前記符号化音声データを復号して音声データを生成するデータ復号部（１０８）と、生成された前記音声データを、音声出力部（１１０）に出力させる音声制御部（１３２）と、前記音声データの音声出力部（１１０）への出力と同期させて被写体を撮像し、第１の映像データを生成する撮像部（１１２）と、生成された前記第１の映像データを符号化して第１の符号化映像データを生成するデータ符号化部（１１６）と、前記第１の符号化映像データを、符号化メモリ（１１８）に保持させる記録制御部（１３４）と、符号化音声データと前記第１の符号化映像データとを多重化し、第１のストリームを生成する多重化部（１２０）とを備えることを特徴とする。

前記ストリーム取得部（１０４）は、第２の符号化映像データと符号化音声データが多重化された第２のストリームを取得し、前記映像音声処理装置（１００）は、前記ストリーム取得部（１０４）が前記第２のストリームを取得した場合、前記第２のストリームから前記符号化音声データを抽出する抽出部（１０６）をさらに備え、前記データ復号部（１０８）は、前記抽出部（１０６）が抽出した前記符号化音声データを復号して音声データを生成し、前記多重化部（１２０）は、前記抽出部（１０６）が抽出した前記符号化音声データと前記第１の符号化映像データとを多重化し、第１のストリームを生成してもよい。

上記映像音声処理装置（１００）の前記抽出部（１０６）は、前記第２のストリームから前記第２の符号化映像データを抽出し、前記データ復号部（１０８）は、抽出された前記第２の符号化映像データを復号して第２の映像データを生成し、生成された前記第２の映像データを、前記音声出力部（１１０）による音声データの出力と同期させて表示部（１４０）に表示させる表示制御部（１３６）をさらに備えてもよい。

上記課題を解決するために、本発明の映像音声処理方法は、符号化音声データを取得し、取得した前記符号化音声データを復号して音声データを生成し、生成された前記音声データを、音声出力部（１１０）に出力させ、前記音声データの音声出力部（１１０）への出力と同期させて被写体を撮像し、第１の映像データを生成し、生成した前記第１の映像データを符号化して第１の符号化映像データを生成し、前記第１の符号化映像データを保持し、前記符号化音声データと前記第１の符号化映像データとを多重化し、第１のストリームを生成することを特徴とする。

上記映像音声処理方法は、第２の符号化映像データと符号化音声データが多重化された第２のストリームを取得し、取得した前記第２のストリームから前記符号化音声データを抽出し、抽出した前記符号化音声データを復号して音声データを生成し、抽出した前記符号化音声データと前記第１の符号化映像データとを多重化し、第１のストリームを生成してもよい。

本発明によれば、ユーザは煩雑なタイミング調整作業等を行わなくとも、容易に複数の映像の同期をとることが可能となる。

また、周囲に雑音等のノイズが発生している撮像環境であっても、確実に複数の映像の同期をとること可能となる。

第１の実施形態にかかる映像音声処理装置の概略的な構成を示した機能ブロック図である。 第１の実施形態にかかる映像音声処理装置を用いた映像音声処理方法の処理の流れを説明したフローチャートである。 第１の実施形態にかかる映像音声処理装置を用いた映像音声処理方法の処理の流れを説明したフローチャートである。 第１の実施形態にかかる映像音声処理装置を用いた映像音声処理方法の処理の流れを説明したフローチャートである。 通常撮像モードにおけるデータ符号化部と多重化部の具体的な処理を説明するための概念図である。 練習撮像モードにおける多重化部の具体的な処理を説明するための概念図である。 表示制御部が通常撮像映像データと練習撮像映像データとを並行して映像表示装置に表示させる例を説明するための説明図である。 第２の実施形態にかかる映像音声処理装置の概略的な構成を示した機能ブロック図である。 第２の実施形態にかかる映像音声処理装置を用いた映像音声処理方法の処理の流れを説明したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（第１の実施形態）
ダンス等の踊りや体操等を練習する場合、ユーザが、自身のフォームと、手本となるフォームとを比較したいという要望がある。そこで、本実施形態では、踊りや体操等の練習を例に挙げ、容易かつ確実に練習風景の映像と手本となる映像との同期をとり、ユーザがそれらを比較することができる映像音声処理装置１００について述べる。

以下、映像音声処理装置１００の具体的な構成について詳述し、後に、映像音声処理装置１００を用いた映像音声処理方法について説明する。

また、本実施形態において映像音声処理装置１００は、手本となる映像と音声とに基づくストリーム（映像データおよび音声データ）を生成する通常の撮像モード（以下、単に「通常撮像モード」と称する）、ユーザ自身の練習風景の映像に基づくストリームを生成するモード（以下、単に「練習撮像モード」と称する）、および、生成したストリームを再生するモード（以下、単に「再生モード」と称する）の３つのモードを有する。ユーザは後述する操作部等への操作入力により何れかのモードを選択することで、これらの３つのモードを切り換えることができる。

通常撮像モードは、映像音声処理装置１００の撮像部が被写体を撮像して映像データ（以下、「通常撮像映像データ」という）を生成し、音声入力部が撮像と並行して入力された音声から音声データを生成し、生成された通常撮像映像データと音声データとを符号化し多重化してストリームを生成するモードである。

練習撮像モードは、通常撮像モードで生成したストリーム、又は外部記憶媒体から取得したストリームを参照して、撮像部が、その参照したストリームの音声データに合わせたユーザの動作を撮像し、その撮像した映像データ（以下、「練習撮像映像データ」という）と参照したストリームの音声データを符号化し多重化してストリームを生成するモードである。

以下、練習撮像モードで参照するストリームを、通常撮像モードで生成した符号化通常撮像映像／音声データとし、練習撮像モードで生成されるストリームを符号化練習撮像映像／音声データとする。

再生モードは、通常撮像モードや練習撮像モードで生成されたストリームや外部記憶媒体から取得したストリームのうち映像データを表示部等に出力させ、音声データを音声出力部に出力させる（再生する）モードである。

再生モードにおいて、映像音声処理装置１００は、通常撮像モードで生成されたストリーム、又は外部記憶媒体から取得したストリームと、練習撮像モードで生成されたストリームとを並行して再生することもできる（以下、単に「並行再生モードと称する」）。この場合、映像音声処理装置１００は、通常撮像モードで生成されたストリーム等の映像データと練習撮像モードで生成された練習撮像映像データを並行して表示し、通常撮像モードで生成されたストリーム等のストリームの音声データまたは練習撮像モードで生成された音声データを出力する。

以下、映像音声処理装置１００の具体的な構成を詳述し、その後、上述した各モードの処理の流れを説明する。

（映像音声処理装置１００）
図１は、第１の実施形態にかかる映像音声処理装置１００の概略的な構成を示した機能ブロック図である。図１に示すように、映像音声処理装置１００は、操作部１０２と、ストリーム取得部１０４と、抽出部１０６と、データ復号部１０８と、音声出力部１１０と、撮像部１１２と、タイムスタンプ生成部１１４と、データ符号化部１１６と、符号化メモリ１１８と、多重化部１２０と、装置メモリ１２２と、中央制御部１２４と、表示部１４０と、音声入力部１４２とを含んで構成される。図１中、データの流れを実線の矢印で示し、制御の流れを破線の矢印で示す。

操作部１０２は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、後述する表示部１４０の表示画面に配されたタッチパネル等で構成され、撮像の開始や停止、通常撮像モード、練習撮像モード、および、再生モードの選択による切り換え等のユーザによる操作入力を受け付ける。

ストリーム取得部１０４は、操作部１０２を通じてユーザに選択されたストリームの記録位置（後述する装置メモリ１２２やＤＶＤ（Digital Versatile Disc）の読み取り装置等、ストリームが確保されている場所）から、ストリームを取得する。例えば、練習撮像モードや再生モードにおいて、ユーザによる操作部１０２への操作入力に応じて、装置メモリ１２２が選択されると、ストリーム取得部１０４は、まず、ストリームの記録位置として、装置メモリ１２２を選択する。そして、ユーザによるさらなる操作部１０２への操作入力に応じて、符号化通常撮像映像／音声データが選択されると、ストリーム取得部１０４は、装置メモリ１２２から符号化通常撮像映像／音声データを取得する。

ここで、ストリームは、符号化映像データと符号化音声データとが多重化されたものである。本実施形態においてストリーム取得部１０４は、装置メモリ１２２から取得する例を挙げて説明するが、ストリームを、ＤＶＤ、ＢＤ（Blu-ray Disc）、フラッシュメモリ等の外部記録媒体１５０から取得してもよい。

抽出部１０６は、ストリーム取得部１０４が取得したストリームから符号化音声データおよび符号化映像データを抽出する。本実施形態において、抽出部１０６が符号化通常撮像映像／音声データから抽出する符号化映像データを符号化通常撮像映像データとし、符号化音声データを符号化通常音声データとする。

データ復号部１０８は、抽出部１０６が抽出した符号化音声データを復号して音声データを生成し、符号化映像データを復号して映像データを生成する。

音声出力部１１０は、スピーカ等で構成され、後述する音声制御部１３２の制御指令に応じて、データ復号部１０８が復号した音声データに基づく音声を出力する。以下、音声出力部１１０が、音声データに基づく音声を出力する動作を、単に、音声出力部１１０が音声データを出力するとして省略して記載する場合もある。

詳細は後述する映像音声処理方法の中で説明するが、音声出力部１１０は、通常撮像モードが選択されている場合、音声データの出力を行わないが、練習撮像モードが選択されている場合、参照する符号化通常撮像映像／音声データの通常音声データを出力する。

撮像部１１２は、図示しない焦点調整に用いられるフォーカスレンズ、露光調整に用いられる絞り（アイリス）、撮像対象の拡大および縮小に用いられるズームレンズ、各レンズを通じて入射した光を光電変換し映像データにＡ／Ｄ変換する撮像素子、フォーカスレンズ、絞り、ズームレンズ、および、撮像素子を駆動させる駆動回路等を含んで構成され、後述する撮像制御部１３０の制御に応じてこれらを制御し、映像データを生成する。

練習撮像モードでは、撮像部１１２は、音声出力部１１０による通常音声データの出力と同期をとって被写体（例えば、ユーザの練習風景）を撮像し、練習撮像映像データを生成する。

タイムスタンプ生成部１１４は、自機のクロックに基づいて、映像データや音声データの作成開始時刻を示す情報であるタイムスタンプを生成する。

データ符号化部１１６は、撮像部１１２が生成した映像データを符号化して、符号化映像データ（符号化通常撮像映像データおよび符号化練習撮像映像データ）を生成し、タイムスタンプ生成部１１４が生成したタイムスタンプをその符号化映像データに付す。また、データ符号化部１１６は、音声入力部１４２が生成した音声データを符号化して、符号化音声データを生成し、タイムスタンプ生成部１１４が生成したタイムスタンプをその符号化音声データに付す。

そして、データ符号化部１１６は、生成した符号化映像データおよび符号化音声データを符号化メモリ１１８に出力する。

符号化メモリ１１８は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic ＲＡＭ）等の記憶媒体で構成され、後述する記録制御部１３４の制御指令に応じて、データ符号化部１１６が生成した符号化映像データおよび符号化音声データを一時的に保持する。

多重化部１２０は、符号化メモリ１１８に保持された符号化映像データと符号化音声データとを多重化する。多重化部１２０は、通常撮像モードが選択されている場合は、符号化通常撮像映像データと符号化通常音声データとを多重化して符号化通常撮像映像／音声データを生成し、練習撮像モードが選択されている場合は、符号化練習撮像映像データと符号化通常撮像映像／音声データの符号化通常音声データとを多重化して符号化練習撮像映像／音声データを生成する。

通常撮像モードおよび練習撮像モードにおける多重化部１２０の具体的な処理については、後述する映像音声処理方法で説明する。

装置メモリ１２２は、ＲＡＭ、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶媒体で構成され、記録制御部の制御指令に応じて、多重化部１２０が生成したストリーム（符号化通常撮像映像／音声データおよび符号化練習撮像映像／音声データ）を記録する。

中央制御部１２４は、中央処理装置（ＣＰＵ）、中央制御部１２４を動作するためのプログラム等を格納したＲＯＭ、一時的なデータ保存およびワークエリアとして利用されるＲＡＭ等を含む半導体集積回路で構成され、装置メモリ１２２や他の電子回路と協働して映像音声処理装置１００全体を管理および制御する。また、中央制御部１２４は、撮像制御部１３０、音声制御部１３２、記録制御部１３４、表示制御部１３６としても機能する。

撮像制御部１３０は、ユーザの操作入力に応じて、撮像部１１２を制御する。例えば、撮像制御部１３０は、適切な映像データが得られるように、ズームレンズ、フォーカスレンズ、絞りおよび撮像素子を駆動回路に駆動させる。また、撮像制御部１３０は、ズーム機能（倍率変更機能）を遂行させる場合、ズームレンズおよびフォーカスレンズを移動させる。

音声制御部１３２は、データ復号部１０８が復号した音声データを音声出力部１１０に出力させる。本実施形態において音声制御部１３２は、練習撮像モードが選択されている場合、符号化通常撮像映像／音声データの符号化通常音声データを復号した通常音声データを音声出力部１１０に出力させ、並行再生モードが選択されている場合、符号化通常撮像映像／音声データまたは符号化練習撮像映像／音声データのいずれか一方の符号化通常音声データを復号した通常音声データを音声出力部１１０に出力させる。また、音声制御部１３２は、後述する音声入力部１４２に、収音した音声を音声データに変換させる。

記録制御部１３４は、符号化映像データおよび符号化音声データを符号化メモリ１１８に保持させる。さらに、記録制御部１３４は、多重化部１２０が生成したストリームを装置メモリ１２２に記録させる。

表示制御部１３６は、練習撮像モードにおいて、撮像中の映像やデータ復号部１０８が復号した通常撮像映像データに基づく映像を、音声出力部１１０による通常音声データの出力と同期させて、表示部１４０や、映像音声処理装置１００とは別体の映像表示装置１６０に表示させる。また、表示制御部１３６は、通常撮像モードにおいて、撮像中の映像を表示部１４０に表示させたり、再生モードにおいて、再生の対象となるストリームの映像データに基づく映像を表示部１４０や映像表示装置１６０に表示させる。以下、表示部１４０や映像表示装置１６０が、映像データに基づく映像を表示する動作を、単に、表示部１４０や映像表示装置１６０が、映像データを表示するとして省略して記載する場合もある。

したがって、練習撮像モードにおいて、ユーザは、通常音声データに基づく音声に加え、表示部１４０や映像表示装置１６０を通じて、撮像中の映像（自身の練習風景の映像）を視認することができる。また、ユーザは、通常音声データに基づく音声に加え、表示部１４０や映像表示装置１６０を通じて、手本となる通常撮像映像データに基づく映像をも視認しながら、踊りや体操等の何らかの動作を行うことができる。

本実施形態において、表示制御部１３６は、並行再生モードが選択されている場合、符号化通常撮像映像／音声データの通常撮像映像データと符号化練習撮像映像／音声データの練習撮像映像データとを並行して表示部１４０や映像表示装置１６０に表示させる。並行再生モードにおける表示制御部１３６の具体的な処理については、後述する映像音声処理方法で説明する。

表示部１４０は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、表示制御部１３６の制御指令に応じて、通常撮像映像データに基づく映像、撮像中の映像、再生の対象となるストリームの映像データ（通常撮像映像データおよび練習撮像映像データ）に基づく映像等を表示する。

音声入力部１４２は、マイク等で構成され、通常撮像モードである場合、音声制御部１３２の制御指令に応じて、撮像時に入力された音声を電気信号に変換して、通常音声データを生成する。

（映像音声処理方法）
図２〜図４は、第１の実施形態にかかる映像音声処理装置１００を用いた映像音声処理方法の処理の流れを説明したフローチャートである。ここで、図２は通常撮像モードにおける映像音声処理装置１００の処理の流れを示し、図３は、練習撮像モードにおける映像音声処理装置１００の処理の流れを示し、図４は、再生モードにおける映像音声処理装置１００の処理の流れを示す。

図２に示すように、ユーザによる操作部１０２への操作入力に応じて、通常撮像モードが選択された状態で、撮像の開始指示があると（Ｓ２００におけるＹＥＳ）、ユーザによる操作部１０２への撮像開始入力に応じて、撮像制御部１３０は、撮像部１１２に通常撮像映像データを生成させ、音声制御部１３２は、音声入力部１４２に入力された音声から通常音声データを生成する（Ｓ２０２）。

そして、データ符号化部１１６は、データ生成ステップＳ２０２で生成された通常撮像映像データを符号化しタイムスタンプを付して符号化通常撮像映像データを生成し、通常音声データを符号化しタイムスタンプを付して符号化通常音声データを生成し（Ｓ２０４）、記録制御部１３４は、符号化通常撮像映像データおよび符号化通常音声データを一旦符号化メモリ１１８に保持させる（Ｓ２０６）。

多重化部１２０は、符号化ステップＳ２０４において生成された符号化通常撮像映像データと符号化通常音声データとを多重化する（Ｓ２０８）。

そして、ユーザによる、操作部１０２への通常撮像モードの停止指示の入力があるまで（Ｓ２１０におけるＮＯ）、データ生成ステップＳ２０２以降の処理を遂行し、ユーザによる、操作部１０２への通常撮像モードの停止指示の入力があると（Ｓ２１０におけるＹＥＳ）、多重化部１２０は符号化通常撮像映像データと符号化通常音声データとを多重化した符号化通常撮像映像／音声データを生成する（Ｓ２１２）。そして記録制御部１３４は、ストリーム生成ステップＳ２１２で生成されたストリーム（符号化通常撮像映像／音声データ）を装置メモリ１２２に記録させる（Ｓ２１４）。

図５は、通常撮像モードにおけるデータ符号化部１１６と多重化部１２０の具体的な処理を説明するための概念図である。図５（ａ）に示すように、通常撮像モードである場合、データ符号化部１１６は、フレーム単位の通常撮像映像データ１７０を符号化して符号化通常撮像映像データ１７２を生成し、タイムスタンプ（図５中、ＶＴ０〜ＶＴ２で示す）を付す。また、データ符号化部１１６は、図５（ｂ）に示すように、フレーム単位の音声データ１７４を符号化して符号化通常音声データ１７６を生成し、タイムスタンプ（図５中、ＡＴ０〜ＡＴ３で示す）を付す。

そして、多重化部１２０は、図５（ｃ）に示すように、符号化通常撮像映像データと符号化通常音声データとを多重化して符号化通常撮像映像／音声データ１７８を生成する。

このような通常撮像モードでは、例えば、手本となる先生や師匠、インストラクター等の踊りや体操等のフォームを撮像して、手本となるストリームを生成できる。そして、生成された符号化通常撮像映像／音声データは、練習撮像モードで参照される。

＜練習撮像モード＞
図３に示すように、ユーザによる操作部１０２への操作入力に応じて、練習撮像モードが選択された状態で、符号化通常撮像映像／音声データの記録位置が選択されると（Ｓ２２０におけるＹＥＳ）、ストリーム取得部１０４は、選択された記録位置から符号化通常撮像映像／音声データを取得する（Ｓ２２２）。抽出部１０６は、ストリーム取得ステップＳ２２２で取得した符号化通常撮像映像／音声データから符号化通常音声データおよび符号化通常撮像映像データを抽出し（Ｓ２２４）、データ復号部１０８は、符号化通常音声データを復号して通常音声データを生成し、符号化通常撮像映像データを復号して通常撮像映像データを生成する（Ｓ２２６）。

そして、ユーザによる操作部１０２への操作入力に応じて、撮像の開始指示があると（Ｓ２２８におけるＹＥＳ）、音声制御部１３２は、復号ステップＳ２２６で復号された通常音声データを音声出力部１１０に順次出力させ（Ｓ２３０）、表示制御部１３６は、撮像中の映像を表示部１４０に順次表示させ、撮像部１１２は、通常音声データの音声出力部１１０への出力と同期させて被写体を撮像し、練習撮像映像データを生成する（Ｓ２３２）。

具体的に撮像部１１２は、抽出部１０６が符号化通常音声データの抽出を開始し（Ｓ２２４）、データ復号部１０８が通常音声データを生成して（Ｓ２２６）、音声バッファ（図示せず）に通常音声データがある程度保持されたところで、被写体の撮像を開始する。

そして、撮像ステップＳ２３２で、撮像部１１２が生成した練習撮像映像データは、フレーム単位で映像バッファ（図示せず）に入力されて、データ符号化部１１６は、フレーム単位の練習撮像映像データを符号化して符号化練習撮像映像データを生成し、タイムスタンプ生成部１１４が生成したタイムスタンプを付す（Ｓ２３４）。

具体的に音声制御部１３２は、練習撮像映像データが符号化された時刻を符号化通常撮像映像／音声データの時刻として扱い、練習撮像映像データが符号化されたときに付されたタイムスタンプに示された時刻に同期させて通常音声データを音声出力部１１０に出力させる。すなわち、練習撮像モードでは、映像データこそ基準となる時刻に応じてタイムスタンプが付されるが、音声データには予めタイムスタンプが付されており、そのタイムスタンプに示された時刻と基準となる時刻とが一致するように音声データが音声出力部１１０に出力される。

出力ステップＳ２３０で、表示制御部１３６が撮像中の映像を表示部１４０に表示させる構成により、ユーザは、通常音声データに基づく音声に加え、表示部１４０や映像表示装置１６０を通じて、撮像中の映像（自身の練習風景の映像）を視認することができる。

なお、出力ステップＳ２３０で、表示制御部１３６は、データ復号部１０８が復号した通常撮像映像データを表示部１４０に表示させることもできる。これにより、ユーザは、通常音声データに基づく音声に加え、表示部１４０や映像表示装置１６０を通じて、手本となる通常撮像映像データに基づく映像をも視認しながら、踊りや体操等の何らかの動作を行うことができる。

記録制御部１３４は、符号化ステップＳ２３４で符号化した符号化練習撮像映像データを符号化メモリ１１８に保持させ（Ｓ２３６）、多重化部１２０は、抽出部１０６が抽出した符号化通常音声データと符号化練習撮像映像データとを多重化する（Ｓ２３８）。

音声出力部１１０による通常音声データの出力（再生）が終了するまで、または、操作部１０２へのユーザによる、練習撮像モードの停止指示の入力があるまで（Ｓ２４０におけるＮＯ）、出力ステップＳ２３０以降の処理を遂行する。

音声出力部１１０による通常音声データの出力（再生）が終了した、または、操作部１０２へのユーザによる、練習撮像モードの停止指示の入力があると（Ｓ２４０におけるＹＥＳ）、多重化部１２０は符号化通常音声データと符号化練習撮像映像データとを多重化したストリーム（符号化練習撮像映像／音声データ）を生成する（Ｓ２４２）。そして記録制御部１３４は、ストリーム生成ステップＳ２４２で生成された符号化練習撮像映像／音声データを装置メモリ１２２に記録させる（Ｓ２４４）。この際、中央制御部１２４は、符号化通常音声データの基となる符号化通常撮像映像／音声データと、符号化練習撮像映像／音声データとを関連付けるための管理情報を生成し、装置メモリ１２２に保持させる。

図６は、練習撮像モードにおける多重化部１２０の具体的な処理を説明するための概念図である。図６（ａ）に示すように、ストリーム取得部１０４は、符号化通常撮像映像／音声データ１８０を取得し、抽出部１０６は、図６（ｂ）に示すように、符号化通常撮像映像／音声データ１８０から符号化通常音声データ１８２を抽出する。

撮像部１１２が、被写体の撮像を開始すると、図６（ｃ）に示すように、音声制御部１３２は、練習撮像映像データ１８４が符号化されたときに付されたタイムスタンプに示された時刻（図６中、ＶＴ０〜ＶＴ２で示す）を符号化通常撮像映像／音声データの時刻として扱い、練習撮像映像データ１８４が符号化されたときに付されたタイムスタンプに示された時刻に同期させて通常音声データ１８６を音声出力部１１０に出力させる。そして、多重化部１２０は、図６（ｄ）に示すように、生成された符号化練習撮像映像データと既存の符号化通常音声データ１８２とを多重化して符号化練習撮像映像／音声データ１８８を生成する。この際、中央制御部１２４は、符号化通常音声データの基となる符号化通常撮像映像／音声データと、符号化練習撮像映像／音声データとを関連付けるための管理情報を生成し、装置メモリ１２２に保持させる。

このように、練習撮像モードにおいて、ユーザは、通常音声データに基づく音声を聞きながら習っている踊りを踊る等の何らかの動作を行い、撮像部１１２は、かかる通常音声データに同期したユーザの動作を撮像して練習撮像映像データを生成する。したがって、練習撮像映像データ内の被写体の動作が通常音声データと同期する。

さらに多重化部１２０は、符号化通常音声データと、通常音声データを参照して何らかの動作を行っている被写体を撮像して生成した、通常音声データと同期した練習撮像映像データとを多重化して符号化練習撮像映像／音声データを生成するため、通常音声データを通じて符号化通常撮像映像／音声データに同期した符号化練習撮像映像／音声データを生成することができる。また、通常撮像モードで生成された符号化通常撮像映像／音声データと、これを参照して練習撮像モードで生成された符号化練習撮像映像／音声データとが管理情報によって関連付けられているため、ユーザは、練習撮像モードで生成した符号化練習撮像映像／音声データと、手本となる符号化通常撮像映像／音声データとを並行再生モードで比較することができる。

＜再生モード＞
図４に示すように、まず、映像音声処理装置１００は、ユーザによる、操作部１０２への操作入力が、並行再生モードを選択するものであるか否かを判定する（Ｓ２５０）。並行再生モードを選択するものでない（単なる再生モードを選択するものである）場合（Ｓ２５０のＮＯ）、ユーザによる、操作部１０２への操作入力に応じて、ストリームの記録位置が選択され、ストリーム取得部１０４は、選択された記録位置から、例えば、ストリームとして、符号化通常撮像映像／音声データや符号化練習撮像映像／音声データを順次取得する（Ｓ２５２）。抽出部１０６は、ストリーム取得ステップＳ２５２で取得したストリームから符号化映像データおよび符号化音声データを順次抽出し（Ｓ２５４）、データ復号部１０８は、符号化映像データを復号して映像データを生成し、符号化音声データを復号して音声データを生成する（Ｓ２５６）。そして、表示制御部１３６は、復号ステップＳ２５６で復号された映像データを表示部１４０に順次表示させ、音声制御部１３２は、音声データを音声出力部１１０に順次出力させる（Ｓ２５８）。

一方、並行再生モードを選択するものである場合（Ｓ２５０のＹＥＳ）、ユーザによる、操作部１０２への操作入力に応じて、ストリームの記録位置が選択され、ストリーム取得部１０４は、選択された記録位置から、符号化練習撮像映像／音声データを順次取得する。そして、ストリーム取得部１０４は、装置メモリ１２２の保持されている管理情報を参照し、取得した符号化練習撮像映像／音声データに関連付けられた符号化通常撮像映像／音声データをさらに順次取得する（Ｓ２６０）。抽出部１０６は、ストリーム取得ステップＳ２５２で取得した符号化通常撮像映像／音声データから符号化通常撮像映像データおよび符号化通常音声データを順次抽出し、符号化練習撮像映像／音声データから符号化練習撮像映像データを順次抽出する（Ｓ２６２）。データ復号部１０８は、符号化通常撮像映像データを復号して通常撮像映像データを、符号化練習撮像映像データを復号して練習撮像映像データを生成し、符号化通常音声データを復号して通常音声データを生成する（Ｓ２６４）。そして、表示制御部１３６は、復号ステップＳ２６４で復号された通常撮像映像データおよび練習撮像映像データを並行して表示部１４０に順次表示させ、音声制御部１３２は、通常音声データを音声出力部１１０に順次出力させる（Ｓ２６６）。

図７は、表示制御部１３６が通常撮像映像データと練習撮像映像データとを並行して映像表示装置１６０に表示させる例を説明するための説明図である。図７（ａ）に示すように、例えば、表示制御部１３６は、映像表示装置１６０の画面を２つに分割して、一方に通常撮像映像データに基づく映像１６２を、他方に練習撮像映像データに基づく映像１６４を表示させる。なお、符号化通常撮像映像／音声データと符号化練習撮像映像／音声データとは通常音声データを介して同期がとれているため、両者を先頭から再生するだけで通常撮像映像データと練習撮像映像データの同期をとることができる。

また、図７（ｂ）に示すように、表示制御部１３６は、映像表示装置１６０の画面のうち背景となる部分に、練習撮像映像データに基づく映像１６４を表示させ、ＰｉｎＰ（Picture in Picture）で通常撮像映像データに基づく映像１６２を表示させてもよい。

これにより、手本となる先生や師匠、インストラクター等を撮像して生成された通常撮像映像データと、ユーザの練習風景を撮像して生成された練習撮像映像データとが同期した状態で同時に映像表示装置１６０に表示されるので、ユーザは、表示（再生）された映像を視認して自身のフォームと手本となるフォームとの違いを容易に確認することが可能となる。

図４に戻って、表示部１４０による通常撮像映像データまたは練習撮像映像データの表示（再生）、もしくは、音声出力部１１０による通常音声データの出力（再生）が終了したか否か、または、操作部１０２へのユーザによる、再生モードの停止指示の入力があったか否かを判定し（Ｓ２７０）、表示部１４０による通常撮像映像データまたは練習撮像映像データの表示（再生）、もしくは、音声出力部１１０による通常音声データの出力（再生）が終了していない、または、操作部１０２へのユーザによる、再生モードの停止指示の入力がない場合で（Ｓ２７０におけるＮＯ）、現在のモードが、並行再生モードであるか否かを判定する（Ｓ２７２）。そして、並行再生モードでない場合（Ｓ２７２におけるＮＯ）、ストリーム取得ステップＳ２５２以降の処理を遂行し、並行再生モードである場合（Ｓ２７２におけるＹＥＳ）、ストリーム取得ステップＳ２６０以降の処理を遂行する。

以上説明したように、本実施形態にかかる映像音声処理方法によっても、ユーザは煩雑なタイミング調整作業等を行わなくとも、容易に複数の映像の同期をとることが可能となる。また、周囲に雑音等のノイズが発生している撮像環境であっても、確実に複数の映像の同期をとること可能となる。

（第２の実施形態：映像音声処理装置３００）
上述した第１の実施形態では、映像音声処理装置１００は、音声データと映像データとが多重化されたストリームを取得し、そのストリームから音声データを抽出しているが、音声データのみを取得して、その音声データの出力と同期させて映像データの生成を行うこともできる。第２の実施形態では、音声データのみに基づいて、複数の映像データを同期させることが可能な映像音声処理装置３００について説明する。

図８は、第２の実施形態にかかる映像音声処理装置３００の概略的な構成を示した機能ブロック図である。図８に示すように映像音声処理装置３００は、操作部１０２と、ストリーム取得部３０４と、データ復号部１０８と、音声出力部１１０と、撮像部１１２と、タイムスタンプ生成部１１４と、データ符号化部１１６と、符号化メモリ１１８と、多重化部１２０と、装置メモリ１２２と、中央制御部１２４と、表示部１４０と、音声入力部１４２とを含んで構成され、中央制御部１２４は、撮像制御部１３０、音声制御部１３２、記録制御部１３４、表示制御部１３６としても機能する。第１の実施形態における構成要素として既に述べた、操作部１０２、データ復号部１０８、音声出力部１１０、撮像部１１２、タイムスタンプ生成部１１４、データ符号化部１１６、符号化メモリ１１８、多重化部１２０、装置メモリ１２２、中央制御部１２４、表示部１４０、音声入力部１４２、撮像制御部１３０、音声制御部１３２、記録制御部１３４、表示制御部１３６は、実質的に機能が等しいので重複説明を省略し、ここでは、構成が相違する音声データ取得部３０４を主に説明する。

ストリーム取得部３０４は、ＤＶＤ、ＢＤ、フラッシュメモリ等の外部記録媒体３５０に記録された符号化音声データを取得する。映像音声処理装置３００に、音声入力部１４２が収音した音声に基づいて符号化音声データのみを生成する機能を備えている場合、ストリーム取得部３０４は、映像音声処理装置３００が生成した符号化音声データを、装置メモリ１２２から取得してもよい。

本実施形態では、練習撮像モードにおいて、複数回映像データを生成すると、ストリーム取得部３０４が取得した１の音声データと同期した映像データを複数作成することができる。これにより、例えば、手本となる映像データはないが、参照する音声データのみが決定している場合であっても、音声データに基づいて複数の映像データを同期させて生成することが可能となる。また、例えば、映像音声処理装置３００を用いて、一人のユーザが、１の楽曲について複数の楽器を演奏している様子をそれぞれ撮像して映像データを生成すれば、１の楽曲の音声データにすべての映像データを同期させることができるため、一人で複数の楽器を同時に演奏しているかのようなプロモーションビデオ等を制作することもできる。

（映像音声処理方法）
図９は、第２の実施形態にかかる映像音声処理装置３００を用いた映像音声処理方法の処理の流れ、特に練習撮像モードの処理の流れを説明したフローチャートである。なお、図９は、第１の実施形態における図３の練習撮像モードに対応し、第１の実施形態における映像音声処理方法としてすでに説明した、Ｓ２２８、Ｓ２３２〜Ｓ２４４は実質的に処理が等しいので同一の符号を付して重複説明を省略する。

図９に示すように、ユーザによる操作部１０２への操作入力に応じて、練習撮像モードが選択された状態で、符号化音声データの記録位置が選択されると（Ｓ４００におけるＹＥＳ）、ストリーム取得部３０４は、選択された記録位置から符号化音声データを取得する（Ｓ４０２）。データ復号部１０８は、符号化音声データを復号して音声データを生成する（Ｓ４０４）。そして、ユーザによる操作部１０２への操作入力に応じて、撮像の開始指示があると（Ｓ２２８におけるＹＥＳ）、音声制御部１３２は、復号ステップＳ４０４で復号された音声データを音声出力部１１０に順次出力させる（Ｓ４０６）。

以上、説明したように、本実施形態にかかる映像音声処理方法によっても、ユーザは煩雑なタイミング調整作業等を行わなくとも、容易に複数の映像の同期をとることが可能となる。また、周囲に雑音等のノイズが発生している撮像環境であっても、確実に複数の映像の同期をとること可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の映像音声処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、映像データと音声データとを同期させる映像音声処理装置および映像音声処理方法に利用することができる。

１００、３００ …映像音声処理装置
１０４、３０４ …ストリーム取得部
１０６ …抽出部
１０８ …データ復号部
１１０ …音声出力部
１１２ …撮像部
１１６ …データ符号化部
１１８ …符号化メモリ
１２０ …多重化部
１３２ …音声制御部
１３４ …記録制御部
１４０ …表示部

Claims (5)

1. 符号化音声データを取得するストリーム取得部と、
   取得された前記符号化音声データを復号して音声データを生成するデータ復号部と、
   生成された前記音声データを、音声出力部に出力させる音声制御部と、
   前記音声データの音声出力部への出力と同期させて被写体を撮像し、第１の映像データを生成する撮像部と、
   生成された前記第１の映像データを符号化して第１の符号化映像データを生成するデータ符号化部と、
   前記第１の符号化映像データを、符号化メモリに保持させる記録制御部と、
   前記符号化音声データと前記第１の符号化映像データとを多重化し、第１のストリームを生成する多重化部と、
   を備えることを特徴とする映像音声処理装置。
2. 前記ストリーム取得部は、第２の符号化映像データと符号化音声データが多重化された第２のストリームを取得し、
   前記映像音声処理装置は、前記ストリーム取得部が前記第２のストリームを取得した場合、前記第２のストリームから前記符号化音声データを抽出する抽出部をさらに備え、
   前記データ復号部は、前記抽出部が抽出した前記符号化音声データを復号して音声データを生成し、
   前記多重化部は、前記抽出部が抽出した前記符号化音声データと前記第１の符号化映像データとを多重化し、第１のストリームを生成することを特徴とする請求項１に記載の映像音声処理装置。
3. 前記抽出部は、前記第２のストリームから前記第２の符号化映像データを抽出し、
   前記データ復号部は、抽出された前記第２の符号化映像データを復号して第２の映像データを生成し、
   生成された前記第２の映像データを、前記音声出力部による前記音声データの出力と同期させて表示部に表示させる表示制御部をさらに備えることを特徴とする請求項２に記載の映像音声処理装置。
4. 符号化音声データを取得し、
   取得した前記符号化音声データを復号して音声データを生成し、
   生成された前記音声データを、音声出力部に出力させ、
   前記音声データの音声出力部への出力と同期させて被写体を撮像し、第１の映像データを生成し、
   生成した前記第１の映像データを符号化して第１の符号化映像データを生成し、
   前記第１の符号化映像データを保持し、
   前記符号化音声データと前記第１の符号化映像データとを多重化し、第１のストリームを生成することを特徴とする映像音声処理方法。
5. 第２の符号化映像データと符号化音声データが多重化された第２のストリームを取得し、
   取得した前記第２のストリームから前記符号化音声データを抽出し、
   抽出した前記符号化音声データを復号して音声データを生成し、
   抽出した前記符号化音声データと前記第１の符号化映像データとを多重化し、第１のストリームを生成することを特徴とする請求項４に記載の映像音声処理方法。

Images