JP2010283605A - 映像処理装置及び方法 - Google Patents

Abstract

【課題】 音声が聞き取り易い範囲となるように、映像コンテンツの再生速度を制御した映像処理装置を提供する。
【解決手段】 映像コンテンツの音声データを分析することにより得られる音声特性情報と所定の音声パラメータとに基いて映像コンテンツの適正再生速度範囲を算出する。ユーザにより選択された再生モードに基いて適正再生速度範囲内にある特定再生速度を算出し、適正再生速度で映像コンテンツを再生する。これにより各々の再生モードにおいて、音声の聞き取り易い状態での映像コンテンツの再生が可能となる。
【選択図】 図１

Description

本発明は、映像の再生速度を、音声の聞き取り易さに基づいて制御した映像処理装置及び方法に関する。

近年、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）程度の低いフレームレートから１０００ｆｐｓを超える高いフレームレートまでの複数のフレームレートで映像撮影が可能な撮影装置が知られている。この撮影装置では、撮影中に撮影フレームレートを動的に切り替えることも可能である。一方で、映像再生装置で映像を再生するフレームレートとしては、６０ｆｐｓや１２０ｆｐｓが一般的である。撮影装置の撮影フレームレートと、映像再生装置の再生フレームレートとの違いを利用することにより、特殊な映像効果をもった映像表示が可能となる。例えば、撮影フレームレートが再生フレームレートよりも高い場合、表示される映像は滑らかな動きのスロー再生映像となる。撮影フレームレートが再生フレームレートよりも低い場合、表示される映像はすばやい動きのファースト再生映像となる。

一方、音声データを含む映像をスロー再生する場合、音声の再生速度も遅くなるため、再生される音声の音域が実際よりも低くなり、音声の聞き取りが困難になってしまう場合がある。逆に、映像をファースト再生する場合、再生される音声の音域が実際よりも高くなり、聞き取りにくくなる場合がある。

下記特許文献１では、映像の音声区間と非音声区間を検出し、ユーザが指定した再生速度に応じて、非音声区間の音声データを一部削除して出力用音声データを作成する話速変換システムが開示されている。

特開２００２−３１４９４５号公報

しかしながら、従来は、ユーザが設定した再生速度に応じて一律に音声データを補正するので、必ずしもユーザが聞き取り易い音声が出力される訳ではなかった。さらに、１つの映像コンテンツの中で、複数の異なる撮影（記録）フレームレート部分を有する多フレームレート映像コンテンツに対しては、適正に音声データを補正することが困難であった。

本発明は上記の点を鑑みてなされたものであり、ユーザにとって聞き取り易い音声で、映像コンテンツが再生されるように再生速度を制御することを目的とする。

上記課題を解決するために、本発明は、映像の音声データから音声に関する所定の情報を抽出する音声情報抽出手段と、前記音声情報抽出手段によって抽出された所定の音声情報に基づき、映像の音声が聞き取り易くなる映像の再生フレームレートの範囲を計算する再生フレームレート計算手段と、ユーザによる再生方法の指示に従って、前記再生フレームレート計算手段により計算された再生フレームレートの範囲に関する情報に基づき、映像の再生フレームレートを決定する再生フレームレート決定手段を備えることを特徴とする。

本発明によれば、音声分析に基づいて映像コンテンツの再生速度を制御するため、音声の聞き取り易い範囲内でスロー再生やファースト再生を行うことができる。また、多フレームレート映像コンテンツについても、撮影者が撮影時に意図した映像効果を保持しながら、聞き取り易い音声での再生が可能となる。

本発明に係る映像再生装置のブロック図である。 本発明に係るユーザ選択画面の模式図である。 本発明に係る適正再生速度範囲を説明するための説明図である。 本発明に係る再生処理を説明するフローチャートである。 本発明に係る他の再生処理を説明するフローチャートである。 本発明に係る再生速度決定部のブロック図である。

（実施例１）
図１は本発明の映像処理装置の一形態である映像再生装置のブロック図である。記憶部１０１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はフラッシュメモリであり、映像コンテンツを記憶する。映像コンテンツは、撮影フレームレートの異なる複数の映像部分から構成された多フレームレート映像コンテンツであり、ＭＰＥＧ形式によって符号化された映像データ及び音声データを含む。また、映像コンテンツのメタデータとして、プレビュー画像データ、撮影（記録）フレームレート情報及び適正再生速度情報が記憶される。再生速度とは、撮影時における撮影対象物の動きの速さに対する、再生時におけるその撮影映像の動きの速さの比である。音声情報生成部１０２は、記憶部１０１に記録されている音声データを解析して音声特性情報を生成し、再生速度決定部１０３に出力する。音声特性は、音声の周波数特性であり、音声データの離散フーリエ変換又は高速フーリエ変換により得られる。音声特性は、映像データの１つのシーンに対応する複数のフレーム毎に算出される。音声特性情報は、映像データの所定数のフレーム毎に算出された音声特性のセットである。再生速度決定部１０３は、音声特性情報を用いて適正再生速度の範囲を算出する。適正再生速度範囲とは、ユーザにとって音声が聞き取り可能な、映像の適正再生速度の範囲である。再生速度決定部１０３は、適正再生速度範囲の情報とユーザによって選択された再生モードの情報とに基いて、再生速度を決定する。再生モードは、通常再生モード、オリジナル再生モード、スロー再生モード、ファースト再生モードとからなる。また、スロー再生モード及びファースト再生モードは、ユーザによる音優先の指示によりそれぞれ音優先スロー再生モード及び音優先ファースト再生とすることができる。モード再生速度決定部１０３によって決定された再生速度情報は、制御部１０４に送られる。映像コンテンツ読み出し部１０５は、ユーザから指定された映像コンテンツを、制御部１０４の指示により記憶部１０１から読み出す。映像・音声処理部１０６は、制御部１０４からの制御信号に従い、記憶部１０１から読み出された映像データを復号し、復号された映像データに対して再生速度に応じて間引き／補間処理を実行する。さらに記憶部１０１から読み出された音声データに対して圧縮／伸張処理を実行する。映像・音声出力部１０７は、映像・音声処理部１０６から出力される映像データ及び音声データを変換して、表示装置及びスピーカにそれぞれ出力する。

再生速度決定部１０３は、以下のように適正再生速度を算出する。記憶部１０１には、心理実験により求められた、映像に同期した音声の聞き取りが可能かどうか（可聴周波数範囲か否か）を判断するための音声パラメータが予め記録されている。具体的には、一般的なユーザ（人間）が聞き取り可能な音の周波数の最小値ｆｍｉｎを２０Ｈｚ、最大値ｆｍａｘを２０ｋＨｚとした音声パラメータのセットが記録されている。また、１００Ｈｚ程度以下の音が通常騒音の対象として扱われていることに基いて、最小値を１００Ｈｚとしてもよい。入力された音声データの音声特性情報、すなわち、所定数のフレーム毎に算出された各周波数帯域毎のデータから、最小の周波数Ｆｍｉｎと最大の周波数Ｆｍａｘとを抽出する。そのとき、データの大きさが所定の閾値以下である周波数帯域は無視するリミット処理を施す。次に、入力された音声データが、聞き取りが可能な最大周波数ｆｍａｘ及び最小周波数ｆｍｉｎに対してどの程度の余裕を有しているかを表す余裕度（ｌａｔｉｔｕｄｅ）Ｌｍａｘ、Ｌｍｉｎを以下の数式により算出する。
Ｌｍａｘ＝ｆｍａｘ／Ｆｍａｘ
Ｌｍｉｎ＝Ｆｍｉｎ／ｆｍｉｎ
最大周波数及び最小周波数に対する余裕度に基いて、以下のように適正再生速度を計算する。再生フレームレートは一定（６０ｆｐｓ）である。入力された音声データに対して求められた余裕度がそれぞれ（Ｌｍａｘ＝２、Ｌｍｉｎ＝３）であったとする。この場合、等倍速での再生（撮影時間と一致するような再生）は適正再生速度の範囲内である。しかし、最大周波数に対する余裕度Ｌｍａｘが２であるので、２倍速（撮影時間の１／２倍の時間）でも音声の聞き取りが可能である。逆に、最小周波数に対する余裕度が３であるので、１／３倍速（撮影時間の３倍の時間）でも音声の聞き取りが可能である。従って、適正再生速度範囲は、１／３倍速〜２倍速と決められる。図３は、上で述べた再生速度と音声周波数の関係を模式的に表している。

適正再生速度範囲は、映像コンテンツのシーン毎に決定され、制御部１０４が映像コンテンツ毎に付与したコンテンツＩＤ及びシーン毎に付与したシーンＩＤとに関連付けされて、記憶部１０１に記憶される。また、適正再生速度範囲の算出は、映像コンテンツを記憶部１０１に記憶させた時に、制御部１０４の指示により自動的に実行される。

図２は、再生する映像コンテンツ選択画面の例である。映像表示領域２０１は、ユーザに対して再生可能なコンテンツの一覧を表示するための領域であり、記憶部１０１から読み出されたコンテンツのプレビュー画像２０３が表示される。映像のプレビュー画像２０３に代えて、映像から抽出された静止画像や、コンテンツのタイトルを表示してもよい。再生モード表示領域２０２は、ユーザに対してコンテンツの再生モードの選択肢を表示するための領域である。以下に説明する４通りの再生モードを示すアイコン２０５が表示されている。また、スロー再生又はファースト再生のアイコンを選択した後、音優先アイコン２０６を選択すると、それぞれ音優先スロー再生又は音優先ファースト再生となる。ユーザは、リモコンを操作してカーソル２０４を所望のプレビュー画像及び再生モードアイコン上に合わせることにより、再生コンテンツ及び再生モードを選択することができる。

「通常再生」は、撮影フレームレートによらず、一定の再生速度で再生するモードである。３０ｆｐｓで撮影（記録）された映像も１２００ｆｐｓで撮影（記録）された映像も、１倍速（撮影時間と同じ時間）で再生される。このモードでは、撮影時と同じ速度で再生されるため、音声も自然なトーンで再生される。「オリジナル再生」は、撮影フレームレートに応じて、高フレームレートの映像はスロー再生、低フレームレートの映像はファースト再生されるモードである。再生フレームレートは一定（６０ｆｐｓ）であるので、 ３０ｆｐｓの映像は２倍速（撮影時間の１／２倍の時間）で再生が行われ、１２００ｆｐｓの映像の場合は１／２０倍速（撮影時間の２０倍の時間）で再生が行われる。このモードでは、撮影フレームレートに対応して再生されるため、映像効果を最大限に発揮することができる。しかし一方で、再生速度が速すぎる、又は遅すぎるために、ユーザにとって音声が聞き取れない場合がある。「スロー再生」及び「ファースト再生」は、それぞれ一定の再生速度１／３倍速及び３倍速で再生するモードである。「音優先スロー再生」は、適正再生速度範囲にある特定の再生速度として適正最小再生速度を選択し、適正最小再生速度で再生するモードである。例えば、コンテンツのあるシーンＡでは１／２倍速から２倍速再生、別のシーンＢでは１／３倍速から３倍速再生までであれば音声の聞き取りが可能であったとする。この場合、シーンＡが再生されるときは１／２倍速、シーンＢが再生されるときは１／３倍速と、動的に再生速度が切り替わって再生される。このモードでは、音声が聞き取れる範囲内で、なるべく遅いスロー再生で映像の動きの詳細を視聴したいというユーザの要求を満たすことが可能となる。なお、コンテンツのシーン毎に再生速度を切り替えるのではなく、１つのコンテンツ内では一定の再生速度としてもよい。「音優先ファースト再生」は、適正最大再生速度で再生するモードである。例えば、コンテンツのあるシーンＣでは１／２倍速から２倍速再生、別のシーンＤでは１／３倍速から３倍速再生までであれば音声の聞き取りが可能であったとする。このとき自動的に、シーンＡが再生されるときは２倍速、シーンＢが再生されるときは３倍速に切り替わって再生される。このモードでは、音声が聞き取れる範囲内で、なるべくスピード感のある映像を視聴したいというユーザの要求を満たすことが可能となる。あるいは、音声が聞き取れる範囲内で視聴時間を短縮したいという要求も満たすことが可能となる。

ここで、映像・音声処理部１０６で実行される間引き・補間処理と再生速度との関係について説明する。撮影フレームレートをＣ（ｆｐｓ）、再生フレームレートをＰ（ｆｐｓ）とする（但し、Ｐ，Ｃは正数）。入力した映像データに対して間引き・補間処理を実行しない場合は、再生速度は、Ｐ／Ｃ倍速となる。映像データを１／Ｎ（但し、Ｎは正数）に間引いた場合、再生速度は、ＰＮ／Ｃ倍速となる。逆に、映像データをＮ倍に補間した場合、再生速度は、Ｐ／ＣＮ倍速となる。また、２／５倍速の再生速度とするときは、５倍の補間処理と１／２倍の間引き処理を実行する。

図４は、制御部１０４の処理を示すフローチャートである。「通常再生」が選択された場合（Ｓ４００）、選択された映像コンテンツは等倍速（１倍速）で再生される。制御部１０４は、再生時間と撮影時間とが等しくなるように（Ｓ４０１）、選択された映像コンテンツの撮影フレームレート情報と、再生フレームレート情報とに基いて、映像・音声処理部１０６に、間引き・補間処理を実行させる（Ｓ４０８）。「オリジナル再生」が選択された場合（Ｓ３４０２）、選択された映像コンテンツは、撮影フレームレートに応じた再生速度となるようにスロー再生又はファースト再生される（Ｓ４０３）。制御部１０４は、間引き・補間処理を実行しないように映像・音声処理部を制御する。「音優先スロー再生」が選択された場合（Ｓ４０４）、選択された映像コンテンツは、適正最小再生速度で再生される。制御部１０４は、適正最小再生速度で再生されるように（Ｓ４０５）、選択された映像コンテンツの撮影フレームレート情報と、再生フレームレート情報とに基いて、映像・音声処理部１０６に、間引き・補間処理を実行させる（Ｓ４０８）。「音優先ファースト再生」が選択された場合（Ｓ４０６）、選択された映像コンテンツは、適正最大再生速度で再生される。制御部１０４は、適正最大再生速度で再生されるように（Ｓ４０７）、選択された映像コンテンツの撮影フレームレート情報と、再生フレームレート情報とに基いて、映像・音声処理部１０６に、間引き・補間処理を実行させる（Ｓ４０８）。

本実施例では、多フレームレート映像コンテンツの再生について説明したが、単一の撮影フレームレートの映像コンテンツであっても適用可能である。

（実施例２）
実施例１の「オリジナル再生」は、多フレームレート映像コンテンツの再生に際して、撮影フレームレートに応じて、高フレームレートの部分はスロー再生、低フレームレートの部分はファースト再生されるモードである。本実施例は、再生モードとして、高フレームレート部分及び低フレームレート部分の再生速度をそれぞれ適正再生速度で再生する「適正再生」モードを新たに追加するものである。「適正再生」モードは、図２の再生モード表示領域２０２に追加された「適正再生」アイコン（不図示）にカーソルを合わせることにより選択される。

本実施例における映像再生装置のブロック図は、図１と同様である。再生速度決定部１０３は、記憶部１０１に記録されている選択された映像コンテンツの適性再生速度範囲の情報と、撮影フレームレート情報及びユーザによって選択された再生モード情報とに基づいて、再生速度を決定する。

「適正再生」モードでは、多フレームレート映像コンテンツの中で、高フレームレートで撮影されたシーンは、適正最大再生速度で、低フレームレートで撮影されたシーンは、再生最小速度で再生する。再生フレームレートである６０ｆｐｓを映像コンテンツの撮影フレームレートの基準フレームレートとし、６０ｆｐｓよりも高いフレームレートを高フレームレート、６０ｆｐｓ低いフレームレートを低フレームレートとする。撮影フレームレートが基準フレームレートと等しいシーンでは、１倍速での再生を行う。「適正再生」モードでは、音声の聞き取りが可能で、且つ、高フレームレートで撮影されたシーンはなるべく遅い再生速度で、低フレームレートで撮影されたシーンはなるべく速い再生速度で再生が行われる。従って、音声の聞き取りが可能な範囲で、撮影者が意図した動的に変化する映像効果を保持することができる。

図５は、「適正再生」が選択された際の、制御部１０４の処理を示すフローチャートである。尚、ステップ４００からステップ４０８は実施例１と同様であるので、説明を省略する。選択された映像コンテンツでは、撮影フレームレートが、６０ｆｐｓ（シーンＡ）、３０ｆｐｓ（シーンＢ）、１２００ｆｐｓ（シーンＣ）と、動的に切り替わる。「適正再生」が選択された場合（Ｓ５０９）、まず撮影フレームレートと基準フレームレートとを比較し、撮影フレームレートが基準フレームレートに等しい場合は（Ｓ５１０）、等倍速（１倍速）再生とする（Ｓ５１１）。高フレームレートシーンでは（Ｓ５１２）、適正最大再生速度を選択する（Ｓ５１３）し、低フレームレートシーンでは（Ｓ５１２）、適正最小再生速度を選択する（Ｓ５１４）。

適正再生速度は、実施例１と同様に、映像コンテンツの音声データの音声特性情報と撮影フレームレート情報とに基いて、再生速度決定部１０３において求められる。その結果、適正再生速度範囲がそれぞれ、シーンＡでは１／２倍速から２倍速、シーンＢでは１／３倍速から３倍速、シーンＣでは１／４倍速から４倍速であったとする。このときシーンＡでは、撮影フレームレートが基準フレームレートと等しいため、１倍速で再生される。シーンＢでは、撮影フレームレートが基準フレームレートより低いため、適正最小再生速度である１／３倍速で再生される。シーンＣでは、撮影フレームレートが基準フレームレートより高いため、適正最大再生速度である４倍速で再生される。

（実施例３）
実施例１では、音声の聞き取りが可能かどうかを心理実験結果に基いて判断したが、本実施例では音声認識技術に基いて判断する。

図６は再生速度決定部１０３のブロック図である。再生速度決定部１０３には、音声情報生成部１０２より、映像コンテンツの音声データの周波数特性と振幅情報が入力される。このとき、周波数特性は特徴ベクトル抽出部６０２に、振幅情報は有音／無音判定部６０４にそれぞれ入力される。音響モデル記憶部６０１には、予め、音素や音節などの音響的な特徴を表す音響モデルが記憶されている。特徴ベクトル抽出部６０２は、入力される周波数情報についてＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）による音響分析を行い、音響分析結果を、特徴ベクトルとしてマッチング部６０３に出力する。マッチング部６０３は、音響モデル格納部６０１に記憶されている音響モデルを参照しながら、特徴ベクトル抽出部により抽出された特徴ベクトルを用いて、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）法に基づいて音声認識を行う。認識された結果は、文字発声時間判定部６０５に出力される。有音／無音判定部６０４は、入力された音声の振幅情報から、音声が含まれている区間と、音声が含まれていない区間とを判定する。これは、音声の振幅の値がある閾値を越える区間を有音区間、越えない区間を無音区間として判断する。文字発声時間判定部６０５は、マッチング部６０３によって音声認識された結果と、有音／無音判定部６０４によって判定された有音区間と無音区間の割合を元に、認識された文字が発声されている時間に存在するフレーム数を測定する。例えば、音声情報生成部１０２が、１０００フレーム単位毎に映像データの音声に関する周波数特性を抽出し、抽出した周波数情報を再生速度計算部１０３に出力しているとする。また、マッチング部６０３によって、上記１０００フレームの中に「あいうえお」という５文字が存在することが認識されたとする。さらに、有音／無音判定部６０４より、上記１０００フレーム中、有音の区間は５０フレームであると判定されたとする。この場合、文字発声時間判定部５０５は、「あいうえお」という５文字が合計５０フレームに渡って発声されていると判定する。再生速度計算実行部６０６は、文字発声時間判定部６０５の判定結果を元に、ユーザが話の内容の聞き取りが容易な再生速度を計算する。通常のニュース番組では、１秒間に６〜８文字程度の速度で文字が読まれている。従って、１秒間に６〜８文字が内容の聞き取りが容易な再生速度であるとすれば、１文字を再生する時間を１／８秒〜１／６秒の範囲とすることで、内容を聞き取ることが容易な再生速度であると考えることができる。従って、上記の例においては、「あいうえお」という５文字が５０フレームに渡って発声されており、１文字あたりの平均フレーム数は１０フレームである。従って再生速度計算実行部５０６は、１０フレームを１／６秒で再生するフレームレート（６０ｆｐｓ、１倍速）から、１０フレームを１／８秒で再生するフレームレート（８０ｆｐｓ、４／３倍速）を、内容を聞き取ることが容易な再生速度として決定する。

１００ 映像再生装置
１０１ 記憶部
１０２ 音声情報生成部
１０３、５００ 再生速度決定部
１０４ 制御部
１０５ 映像コンテンツ読み出し部
１０６ 映像・音声処理部
１０７ 映像・音声出力部
２００ 再生モード選択画面
２０１ 映像表示領域
２０２ 再生モード表示領域

Claims (5)

1. 記録された映像コンテンツを複数の再生モードで再生可能な映像処理装置であって、
   前記映像コンテンツの音声データの周波数特性を解析して音声特性情報を生成する音声情報生成手段と、
   前記音声特性情報と所定の音声パラメータとに基いて、適正再生速度範囲を決定する再生速度決定手段と、
   選択された再生モードに応じて、前記適正再生速度範囲にある特定の再生速度を決定する制御部と、
   前記特定の再生速度に基いて、前記映像コンテンツの映像データに対してフレームの間引き及び／又は補間処理を施す映像処理手段と、
   前記間引き及び／又は補間処理された映像データを表示装置に出力する映像出力手段とを有することを特徴とする映像処理装置。
2. 前記音声特性情報は、前記映像データの所定数のフレーム毎に算出された前記映像データに同期した音声データの周波数帯域の情報である請求項１記載の映像処理装置。
3. 前記所定の音声パラメータは、人間の可聴周波数範囲に基いたパラメータである請求項２記載の映像処理装置。
4. 前記映像コンテンツは、異なる撮影フレームレートを有する複数の映像部分により構成されている請求項１記載の映像処理装置。
5. 記録された映像コンテンツを複数の再生モードで再生する映像処理方法であって、
   前記映像コンテンツの音声データの周波数特性を解析して音声特性情報を生成するステップと、
   前記音声特性情報と所定の音声パラメータとに基いて、適正再生速度範囲を決定するステップと、
   選択された再生モードに応じて、前記適正再生速度範囲にある特定の再生速度を決定するステップと、
   前記特定の再生速度に基いて、前記映像コンテンツの映像データに対してフレームの間引き及び／又は補間処理を施すステップと、
   前記間引き及び／又は補間処理された映像データを表示装置に出力するステップとを有することを特徴とする映像処理方法。

Images