JP2006180315A - 動画撮影装置、動画再生装置および動画撮影方法、動画再生方法 - Google Patents

Abstract

【課題】撮影時および再生時の単位時間あたりのフレーム数をそれぞれ任意に設定して撮影することでスローモーション再生およびクイックモーション再生を実現し、さらに撮影した映像信号を撮影時のフレーム数から増減することなく動画圧縮して記録する。
【解決手段】動画撮影装置１は、映像信号取得部２０と映像信号取得部２０とマイク３０とＥＶＦ４０とを備えた撮影部１０と、信号処理部６０とデータ記録部８０と制御部７０とを備えた記録部５０とによって構成され、制御部７０の有するフレームレート設定部７１に撮影時のフレームレートおよび再生時のフレームレートを設定することで、撮影部１０では設定された撮影時のフレームレートで動画撮影し、記録部５０では設定された再生時フレームレートに関する情報を圧縮符号化した符号化映像信号に関連付けて記録媒体に記録する。
【選択図】図１

Description

本発明は、動画撮影装置、動画再生装置および動画撮影方法、動画再生方法に関する。

従来、映画の撮影は、光学的な記録方式のフィルムに毎秒２４フレームの動画映像（以下、動画映像を「映像」と略記する）を記録することでおこなわれていた。また、映画の視覚的な演出であるスローモーションやクイックモーションといった、時間を伸長または短縮した映像を動画再生（以下、単に「再生」と略記する）して見せる技術では、動画撮影（以下、単に「撮影」と略記する）の際、毎秒２４フレームよりも多いフレーム数または少ないフレーム数で撮影をおこない、それを毎秒２４フレームで再生することで実現していた。たとえば毎秒４８フレームで撮影した映像を毎秒２４フレームで再生すると１秒間に撮影した映像を２秒間で再生することになり、時間を２倍に伸長したスローモーション再生ができる。また、毎秒１２フレームで撮影した映像を毎秒２４フレームで再生すると２秒間に撮影した映像を１秒間で再生することになり、時間を２分の１に短縮したクイックモーション再生ができる。

一方で、映画を電子的に撮影、記録、再生する技術も開発され、普及してきている。一般に、このような技術においては、ＣＣＤ等の撮像素子を用いて映像を電気信号に変換し、それを磁気記録媒体等に電子的に記録し、それを再生装置を用いて再生する。したがって、撮影に失敗する等した場合、記録媒体に一旦映像情報が記録されてしまうと再使用ができないフィルムに比べ、電子的に撮影、記録する方法では、記録媒体の不要になった映像信号の上に新たに映像信号を上書きして記録する等の再使用ができるので、撮影にかかる費用を安く抑えることができるという特徴がある。

この、映画を電子的に撮影、記録、再生する方法における、上述したスローモーションおよびクイックモーションを実現する装置に関する技術が開示されている（たとえば、特許文献１を参照）。この装置では、撮影者が撮影の際に１秒間の撮影フレーム数を設定し、設定されたフレーム数で撮影された映像信号を毎秒６０フレームの映像信号に変換して記録し、再生時には撮影によって得られたフレームだけ抜き出してそれを再度毎秒２４フレームの映像信号に変換することで、スローモーション再生またはクイックモーション再生をおこなう。
特開２００２−１５２５６９号公報

近年、上述したような映画を電子的に撮影、記録、再生する方法において、撮影時の記録容量をできるだけ減らしたいといった要望が増えてきている。これは、撮影に要する費用をさらに削減したい、あるいは、撮影した映像信号を、たとえば半導体メモリ等の比較的記憶容量の少ない記録媒体に記録したい、といった理由による。

一方、上述した従来技術においては、毎秒６０フレーム以下で撮影した映像信号を毎秒６０フレームに変換して記録するため、実際に撮影されたフレーム数よりも記録されるフレーム数の方が多くなり、記録容量が大きくなるといった課題があった。

また、記録容量を少なくするために、たとえばＭＰＥＧに代表されるような、いわゆるフレーム間圧縮をおこなう動画圧縮方法を用いようとしても、一般にフレーム間圧縮をおこなう動画圧縮方法（以下、単に「動画圧縮」と記す）では、記録するときと再生するときとで単位時間あたりのフレーム数が等しくなるので、記録するときと再生するときとで単位時間あたりのフレーム数を変えることでスローモーション再生およびクイックモーション再生をおこなうようなシステムには、うまく導入することができないといった課題があった。

また、上述した従来技術においては、毎秒６０フレームの映像信号を記録するため、撮影するときに指定する単位時間あたりのフレーム数が毎秒６０フレーム以下に制限されるといった課題もあった。

本発明はこのような課題に鑑みてなされたもので、撮影するときの単位時間あたりのフレーム数と再生するときの単位時間あたりのフレーム数とをそれぞれ任意に設定することでスローモーションおよびクイックモーションによる再生を実現でき、さらに撮影した映像信号を撮影したときのフレーム数から増減することなく動画圧縮して記録することで撮影された映像信号の容量を削減して記録することができる動画撮影装置、動画再生装置および動画撮影方法、動画再生方法を提供することを目的とする。

本発明の動画撮影装置は、動画撮影した映像信号を記録媒体に記録する動画撮影装置であって、動画撮影の際に、動画撮影するときの単位時間あたりのフレーム数である撮影時フレームレートと、動画再生するときの単位時間あたりのフレーム数である再生時フレームレートとをそれぞれ任意に設定するフレームレート設定部と、フレームレート設定部において設定された撮影時フレームレートで動画撮影する撮影部と、設定された再生時フレームレートを表す再生時フレームレート情報を動画撮影された映像信号に関連付けて記録媒体に記録する記録部とを備えたことを特徴とする。

この構成により、設定した撮影時フレームレートで映像を撮影し、撮影された映像信号を設定した再生時フレームレートで再生するための情報をその映像信号に関連付けて記録媒体に記録することができる。

また、記録部は、フレームレート設定部において設定された撮影時フレームレートと再生時フレームレートとが異なるときには、再生時フレームレート情報を動画撮影された映像信号に関連付けて記録媒体に記録し、設定された撮影時フレームレートと再生時フレームレートとが等しいときには、再生時フレームレート情報を記録媒体に記録しない構成としてもよい。この構成によれば、設定された再生時フレームレートで再生する映像信号であるのか、撮影時フレームレートで再生する映像信号であるのかを容易に判別できるようにして記録媒体に記録できる。

また、動画撮影された映像信号にフレーム間圧縮による動画圧縮の符号化処理を施す映像符号化部を備えた構成としてもよい。この構成によれば、映像信号をフレーム間圧縮によって動画圧縮するので、記録媒体に記録する信号の量を削減することができる。

また、映像符号化部における符号化処理によって単位時間あたりに作成される符号化映像信号の量は、撮影時フレームレートと再生時フレームレートとの比にもとづいて設定される構成としてもよい。この構成によれば、動画撮影された映像信号から符号化処理によって作成する単位時間あたりの符号化映像信号の量が、撮影時フレームレートと再生時フレームレートとの比にもとづいて設定されるので、フレーム間圧縮による動画圧縮をした場合でも、撮影時フレームレートと異なるフレームレートで動画再生できるようになり、スローモーション再生やクイックモーション再生が可能となる。

また、フレームレート設定部は、設定された撮影時フレームレートを設定された再生時フレームレートで除算し、映像符号化部は、単位時間あたりに作成する符号化映像信号の量を、フレームレート設定部における除算の結果にもとづいた値とする構成としてもよい。この構成によれば、動画撮影された映像信号から符号化処理によって作成する単位時間あたりの符号化映像信号の量を、撮影時フレームレートが再生時フレームレートよりも大きいときには大きくし、撮影時フレームレートが再生時フレームレートよりも小さいときには小さくすることができる。したがって、撮影された映像信号をフレーム間圧縮による動画圧縮しても、再生時に、読み出した符号化映像信号に単位時間あたり所定の量で復号化処理を施すことで、撮影時フレームレートと異なるフレームレートで動画再生できるようになり、スローモーション再生やクイックモーション再生が可能となる。

また、映像符号化部は、単位時間あたりに作成する符号化映像信号の量を、設定された撮影時フレームレートと再生時フレームレートとが等しいときに符号化処理によって単位時間あたりに作成される符号化映像信号の量と、フレームレート設定部における除算の結果とを乗算して得られる値にもとづいた値とする構成としてもよい。この構成によれば、設定された撮影時フレームレートと設定された再生時フレームレートとが等しいときに作成される単位時間あたりの符号化映像信号の量を基準として符号化映像信号を作成することができるようになる。したがって、撮影された映像信号をフレーム間圧縮による動画圧縮する際の符号化処理において、より高精度にスローモーション再生やクイックモーション再生できる符号化映像信号を作成することが可能となる。

また、記録部は、記録媒体に符号化映像信号および再生時フレームレート情報を記録する際、符号化映像信号を記録するファイルのファイル名と、再生時フレームレート情報を記録するファイルのファイル名とを、ファイルの種類を区別するための拡張子を除いて、同じファイル名とする構成としてもよい。この構成によれば、記録媒体における、符号化映像信号を記録したファイルとその符号化映像信号に関連する再生時フレームレート情報を記録したファイルとが同じファイル名となるので、符号化映像信号を読み出す際、その符号化映像信号に関連する再生時フレームレート情報を容易に検出して読み出すことができる。

また、再生時フレームレートは、フレームレート設定部において毎秒２４フレームに固定された構成としてもよい。この構成によれば、たとえば、映画等の毎秒２４フレームで再生する映像を撮影する際、撮影時フレームレートを設定するだけで、スローモーション再生用、クイックモーション再生用の動画を撮影することができる。

また、記録部は、フレームレート設定部において設定された撮影時フレームレートと再生時フレームレートとが等しいときにのみ、音声信号を記録する構成としてもよい。この構成によれば、記録時と同じ周波数帯域で音声信号が再生される場合のみ音声信号が記録されるので、スローモーション再生あるいはクイックモーション再生によって周波数帯域が変わり、聞き取りにくくなった状態で音声信号が再生されることを防止することができる。

また、本発明の記録媒体は、動画撮影装置によって記録された記録媒体であって、設定された撮影時フレームレートで動画撮影された映像信号に、設定された再生時フレームレート情報が関連付けられて記録されたことを特徴とする。これにより、動画撮影された映像信号に、設定された再生時フレームレート情報を関連付けることができる。

また、記録媒体には、動画撮影時に作成され動画撮影された映像信号を動画再生する際の動作タイミングを規定した情報が動画撮影された映像信号に関連付けられて記録され、設定された再生時フレームレート情報は、動画再生する際の動作タイミングを規定した情報が無効であることを表していてもよい。これにより、動画撮影された映像信号に関連付けられて記録された再生時フレームレート情報によって、同じく映像信号に関連付けられて記録され映像信号を動画再生する際の動作タイミングを規定した情報が無効であることを表すことができる。

また、本発明の記録媒体は、動画撮影装置によって記録された記録媒体であって、設定された撮影時フレームレートと設定された再生時フレームレートとが異なるときに、設定された撮影時フレームレートで動画撮影されフレーム間圧縮による動画圧縮の符号化処理が施された符号化映像信号に、設定された再生時フレームレート情報が関連付けられて記録されたことを特徴とする。これにより、動画圧縮の符号化処理が施された符号化映像信号に、設定された再生時フレームレート情報を関連付けることができる。

また、記録媒体には、動画圧縮の符号化処理時に作成され符号化映像信号を復号化する際の動作タイミングを規定した情報が符号化映像信号に関連付けられて記録され、設定された再生時フレームレート情報は、復号化する際の動作タイミングを規定した情報が無効であることを表していてもよい。これにより、符号化映像信号に関連付けられて記録された再生時フレームレート情報によって、同じく符号化映像信号に関連付けられて記録され符号化映像信号を復号化する際の動作タイミングを規定した情報が無効であることを表すことができる。

また、本発明の動画再生装置は、動画撮影装置によって映像信号が記録された記録媒体から映像信号を読み出して動画再生する動画再生装置であって、記録媒体から、少なくとも映像信号と映像信号に関連付けて記録された再生時フレームレート情報とを読み出すデータ読み出し部と、読み出した映像信号を読み出した再生時フレームレート情報にもとづいて動画再生する再生部とを備えたことを特徴とする。

この構成により、記録媒体に記録された映像信号を、その映像信号に関連付けて記録された再生時フレームレートで再生することが可能となる。

また、本発明の動画再生装置は、動画撮影装置によって符号化映像信号が記録された記録媒体から符号化映像信号を読み出して復号化処理を施し復号化した映像信号を動画再生する動画再生装置であって、記録媒体から、少なくとも符号化映像信号を読み出すデータ読み出し部と、読み出した符号化映像信号に復号化処理を施して動画再生する再生部とを備え、データ読み出し部は、符号化映像信号に関連する再生時フレームレート情報が記録媒体に記録されている場合にはその再生時フレームレート情報を読み出し、再生部は、符号化映像信号に関連する再生時フレームレート情報が記録媒体に記録されている場合には、読み出した再生時フレームレート情報にもとづいた復号化処理を読み出した符号化映像信号に施して動画再生し、符号化映像信号に関連する再生時フレームレート情報が記録媒体に記録されていない場合には、符号化映像信号が撮影されたときのフレームレートと同じフレームレートとなるように、読み出した符号化映像信号に復号化処理を施して動画再生することを特徴とする。

この構成により、符号化映像信号に関連する再生時フレームレート情報が記録媒体に記録されている場合には、読み出した符号化映像信号を再生時フレームレートで再生し、符号化映像信号に関連する再生時フレームレート情報が記録媒体に記録されていない場合には、たとえば符号化映像信号に関連付けて記録されている、映像を撮影したときの時間情報やその時に設定された復号処理に関する時間情報等を参照する等して、読み出した符号化映像信号をその符号化映像信号が撮影されたときのフレームレートと同じフレームレートで再生することができる。

また、再生部において、読み出した符号化映像信号に復号化処理を施す際の単位時間あたりの処理量を、映像符号化部における、設定された撮影時フレームレートと再生時フレームレートとが等しいときに符号化処理によって単位時間あたりに作成される符号化映像信号の量と等しくする構成としてもよい。この構成によれば、読み出した再生時フレームレート情報にもとづいて映像信号を再生する際、符号化映像信号を記録媒体から読み出して復号化処理する一連の動作を滞りなくおこなうことができる。

また、本発明の動画撮影方法は、動画撮影するときの単位時間あたりのフレーム数である撮影時フレームレートと、動画再生するときの単位時間あたりのフレーム数である再生時フレームレートとをそれぞれ任意に設定するステップと、設定された撮影時フレームレートで動画撮影するステップと、動画撮影された映像信号を記録媒体に記録するステップと、設定された撮影時フレームレートと設定された再生時フレームレートとが異なるかどうかを判断するステップと、設定された撮影時フレームレートと設定された再生時フレームレートとが異なるときにのみ、設定された再生時フレームレートを表す再生時フレームレート情報を動画撮影された映像信号に関連付けて記録媒体に記録するステップとを備えたことを特徴とする。

この方法により、設定された撮影時フレームレートで映像を撮影し、その映像信号は設定された再生時フレームレートで再生する映像信号であるのか、あるいは撮影時フレームレートで再生する映像信号であるのかを容易に判別できるようにして、記録媒体に記録することができる。

また、動画撮影された映像信号にフレーム間圧縮による動画圧縮の符号化処理を施して符号化映像信号を作成するステップと、動画撮影された映像信号に代えて符号化映像信号を記録媒体に記録するステップと、設定された撮影時フレームレートを設定された再生時フレームレートで除算するステップと、除算するステップにおいて得られた値と、符号化処理を施して符号化映像信号を作成するステップにおける設定された撮影時フレームレートと再生時フレームレートとが等しいときに単位時間あたりに作成される符号化映像信号の量とを乗算するステップと、乗算するステップにおいて得られた値を、符号化映像信号を作成するステップにおいて単位時間あたりに作成する符号化映像信号の量として設定するステップとを備えた方法としてもよい。この方法によれば、設定された撮影時フレームレートと設定された再生時フレームレートとが等しいときに符号化処理によって単位時間あたりに作成する符号化映像信号の量を基準として符号化映像信号を作成することができるようになる。したがって、撮影された映像信号をフレーム間圧縮によって動画圧縮する際の符号化処理において、より高精度にスローモーション再生やクイックモーション再生できる符号化映像信号を作成することができる。

また、本発明の動画再生方法は、符号化映像信号が記録された記録媒体から符号化映像信号を読み出して動画再生する動画再生方法であって、符号化映像信号を記録媒体から読み出すステップと、符号化映像信号に関連する再生時フレームレート情報が記録媒体に記録されているかどうかを検出するステップと、再生時フレームレート情報を検出した場合には再生時フレームレート情報を記録媒体から読み出すステップと、読み出した符号化映像信号を、読み出した再生時フレームレート情報にもとづいて再生するステップと、再生時フレームレート情報が検出されない場合には、読み出した符号化映像信号を、その符号化映像信号が撮影されたときのフレームレートと同じフレームレートで再生するステップとを備えたことを特徴とする。

この方法により、符号化映像信号に関連する再生時フレームレート情報が記録媒体に記録されている場合には、読み出した符号化映像信号を読み出した再生時フレームレート情報にもとづいて再生し、符号化映像信号に関連する再生時フレームレート情報が記録媒体に記録されていない場合には、たとえば符号化映像信号に関連付けて記録されている撮影時の時間情報や撮影時に設定された復号処理に関する時間情報等を参照する等して、読み出した符号化映像信号をその符号化映像信号が撮影されたときのフレームレートと同じフレームレートで再生することができる。

本発明によれば、撮影時および再生時の単位時間あたりのフレーム数をそれぞれ任意に設定して撮影をおこなうことでスローモーション再生およびクイックモーション再生を実現でき、さらに撮影した映像信号を撮影したときのフレーム数から増減することなく動画圧縮して記録することができる動画撮影装置、動画再生装置および動画撮影方法、動画再生方法を提供できる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
本発明の実施の形態１における動画撮影装置１について、図１を用いて説明する。なお、本発明の実施の形態１における動画撮影装置１では、撮影者が、撮影時の１秒間のフレーム数（以下、「フレームレート」と略記する）と再生時のフレームレートとをそれぞれ任意に設定できる構成としている。すなわち、撮影者によって設定された撮影時のフレームレートで映像信号が撮影、記録され、撮影者によって設定された再生時のフレームレートで映像信号が再生される。そして、撮影時のフレームレートを再生時のフレームレートよりも大きく設定すればスローモーション再生がなされ、逆に撮影時のフレームレートを再生時のフレームレートよりも小さく設定すればクイックモーション再生がなされるようにしている。なお、ここでは、撮影時のフレームレートをＸ（Ｘは任意の実数）とし、再生時のフレームレートを２４に設定したものとして、以下の説明をおこなう。

図１は、本発明の実施の形態１における動画撮影装置１のブロック図である。本発明の実施の形態１における動画撮影装置１は撮影部１０と記録部５０とによって構成されている。そして、撮影部１０において取得された映像信号および音声信号が記録部５０において動画圧縮され、記録媒体に記録される。

撮影部１０は、映像を電気信号に変えて取得する映像信号取得部２０と、音声を電気信号に変えて取得するマイク３０と、取得中の映像信号を確認するための電子ビューファインダー（以下、「ＥＶＦ」と略記する）４０とを備えている。

映像信号取得部２０は、ＣＣＤ等の公知の素子で構成された撮像素子２１と、撮像素子２１を駆動する撮像素子駆動部２２と、撮像素子２１を駆動するための駆動パルスを発生する駆動パルス発生部２３と、撮像素子２１において取得された映像信号を記憶するフレームメモリ２４と、撮像素子２１において取得された映像信号に前処理を施す映像信号前処理部２５とを備えている。

撮像素子２１は、外部より取り込まれた光を光電効果により電気信号に変換して順次走査の映像信号として出力（以下、順次走査の映像信号を、順次走査を意味するプログレッシブの頭文字である「ｐ」を用いて表す。たとえば、毎秒２４フレームの順次走査の映像信号であれば「２４ｐ」と表示する）する。また、撮像素子２１は任意に定められたフレームレートの映像信号を出力することができる。

駆動パルス発生部２３は、撮影者によって設定された撮影時のフレームレートの映像信号を撮像素子２１から取り出すための駆動パルスを発生させ、撮像素子駆動部２２はその駆動パルスにもとづいて撮像素子２１を駆動し、撮像素子２１から映像信号を取り出す。そして、取り出された撮像素子２１からの映像信号は、一旦フレームメモリ２４に記憶される。したがって、撮影者が設定した撮影時のフレームレートがＸであれば、撮像素子２１からは毎秒Ｘフレームの映像信号、すなわちＸｐの映像信号が出力される。

映像信号前処理部２５では、フレームメモリ２４に記憶された映像信号を必要な回数繰り返し読み出すことで６０ｐの映像信号に変換し、さらにゲイン調整等、映像として表示するために必要な処理をおこなう。これは、６０ｐの映像信号を表示できるように構成されているモニターやビューファインダー等の一般的な映像表示装置に表示することができるようにするためである。一般的な映像表示装置では、通常、たとえば１２ｐや２４ｐといった特殊な映像信号を表示することはできない。したがって、本実施の形態では、このように撮像素子２１から出力されるＸｐの映像信号を一旦６０ｐの映像信号に変換することで、一般的なモニターやビューファインダーを用いて撮影時の映像信号を確認することができるようにしている。実施の形態１においては、６０ｐに変換された映像信号はＥＶＦ４０に表示され、撮影者はＥＶＦ４０に表示された映像によって、撮影中の映像信号を確認することができる。

また、映像信号前処理部２５は、６０ｐに変換した映像信号を記録部５０に出力するとき、その映像信号に同期して、フレームメモリ２４から繰り返して読み出された連続する同じ映像信号のうちの先頭フレーム（以下、「有効フレーム」と略記する）を識別するための信号を、有効フレームフラグとして出力する。したがって、有効フレームフラグによって識別されたフレームから、次の有効フレームフラグによって識別されるフレームの直前のフレームまでは、同じ映像信号のフレームが繰り返されることになる。

記録部５０は、撮影部１０から送られてくる映像信号および音声信号を符号化および多重化する信号処理部６０と、各ブロックの制御をおこなう制御部７０と、符号化された信号および撮影、記録、再生にかかる情報（以下、「メタ情報」と略記する）を記録媒体に記録するデータ記録部８０とを備え、撮影部１０において取得された映像信号および音声信号にメタ情報を付加して記録媒体に記録する。

制御部７０は、撮影者によって設定される撮影時のフレームレートおよび再生時のフレームレートを受付けるフレームレート設定部７１を備えている。制御部７０は、フレームレート設定部７１に設定された撮影時のフレームレート、再生時のフレームレートにもとづき、各ブロックを制御する。たとえば、撮影時のフレームレートがＸに設定された場合は、撮影部１０において毎秒Ｘフレームの映像信号、すなわちＸｐの映像信号が撮影されるよう撮影部１０を制御し、再生時のフレームレートがＹに設定された場合は、Ｘｐの映像信号が毎秒Ｙフレームの映像信号、すなわちＹｐの映像信号として再生されるようにＸｐの映像信号を圧縮符号化して記録するよう信号処理部６０およびデータ記録部８０を制御する。

信号処理部６０は、撮影部１０から送られてくる映像信号から有効フレームを抽出する有効フレーム抽出部６１と、有効フレーム抽出部６１において抽出された映像信号を圧縮符号化する映像符号化部６２と、撮影部１０から送られてくる音声信号を圧縮符号化する音声符号化部６３と、圧縮符号化された映像信号および音声信号を多重するＴＳ多重部６４とを備えている。

有効フレーム抽出部６１は、映像信号前処理部２５から送出される有効フレームフラグにもとづき６０ｐの映像信号から有効フレームだけを抽出し、撮影時のフレームレート、すなわちＸｐの映像信号に変換する。

映像符号化部６２は、そのＸｐの映像信号をＭＰＥＧの方式にもとづいて圧縮符号化する。このとき、映像符号化部６２では、撮影部１０において撮影されたＸｐの映像信号を圧縮符号化するが、映像符号化部６２における圧縮符号化処理によって単位時間あたりに作成される符号化映像信号の量であるビットレートについては、撮影時のフレームレートではなく、再生時のフレームレートにもとづいて設定する。後述する動画再生装置１００において、撮影時のフレームレートと再生時のフレームレートとが等しいときに符号化映像信号を復号化処理する際のビットレートを基準ビットレートとし、それを毎秒Ｒビットとすると、たとえば、撮影時のフレームレートがＸ、再生時のフレームレートが２４、すなわち、Ｘｐで撮影した映像信号を２４ｐで再生するような場合では、映像符号化部６２では、撮影されたＸｐの映像信号を、ビットレートが毎秒Ｒ×（Ｘ／２４）ビットになるように圧縮符号化する。したがって、Ｘｐの映像信号を圧縮符号化するときのビットレートは、撮影時のフレームレートが再生時のフレームレートよりも大きくなるスローモーション再生用の撮影の場合は基準ビットレートよりも大きくなり、逆に撮影時のフレームレートが再生時のフレームレートよりも小さくなるクイックモーション再生用の撮影の場合は基準ビットレートよりも小さくなる。

音声符号化部６３は、撮影部１０から送られてくる音声信号をＭＰＥＧオーディオの方式にもとづいて圧縮符号化する。このとき、本実施の形態では、撮影時のフレームレートと再生時のフレームレートとが等しい値に設定された場合、すなわちスローモーション再生やクイックモーション再生ではない通常の再生がおこなわれる場合にのみ、音声信号を圧縮符号化する構成としている。これは、記録時と同じ周波数帯域で音声信号が再生される場合のみ音声信号を記録して、スローモーション再生やクイックモーション再生によって周波数帯域が変わり聞き取りにくくなった状態で音声信号が再生されることを防止するためである。

ＴＳ多重部６４は、ＭＰＥＧの方式の一つであるトランスポート・ストリーム（以下、「ＭＰＥＧ−ＴＳ」と略記する）の形式にもとづき、圧縮符号化された映像信号、音声信号や復号処理の際に必要となる情報等を多重化し、さらに多重化された信号を見分けるためのヘッダ信号等も付加してトランスポートストリーム信号（以下、「ＴＳ信号」と略記する）を作成し、出力する。ここで、復号処理の際に必要となる情報としては、たとえば、復号化をおこなうブロックにおいて、復号処理および復号化された信号を出力する際のタイミングを規定する「プログラム時刻基準参照値」（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ、以下、「ＰＣＲ」と略記する）、復号処理後の各フレームの出力タイミングを規定する「再生出力時刻管理情報」（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ、以下、「ＰＴＳ」と略記する）、復号処理に関するタイミングを規定する復号時刻管理情報（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ、以下、「ＤＴＳ」と略記する）等がある。また、ＴＳ信号を構成する所定の信号のまとまりであるパケットが復号化をおこなうブロックに送出されるタイミングを規定する時刻管理情報（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｓｔａｍｐ、以下、「ＡＴＳ」と略記する）を、映像符号化部６２から符号化信号が出力されるタイミングに同期して付与してもよい。なお、これらの情報は、符号化や多重化の際にタイミングの基準となる同期信号（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ、以下、「ＳＴＣ」と略記する）を作成するためのＳＴＣ生成部（図示せず）において作成される。

データ記録部８０は、ＴＳ信号記録部８１とメタ情報記録部８２とを備え、ＴＳ多重部６４において作成されたＴＳ信号や、再生時のフレームレート情報を含むメタ情報を、磁気や光による記録媒体あるいは半導体を用いた記録媒体等の一般に知られた記録媒体に記録する。

次に、本発明の実施の形態１の動画再生装置１００について、図２を用いて説明する。図２は、本発明の実施の形態１における動画再生装置１００のブロック図である。本発明の実施の形態１における動画再生装置１００はデータ読み出し部１１０と再生部１２０とを備えている。そして、データ読み出し部１１０において記録媒体から読み出された再生信号が再生部１２０において復号化され、撮影者によって設定されたフレームレートの再生映像信号および再生音声信号として出力される。

データ読み出し部１１０は、ＴＳ信号読み出し部１１１とメタ情報読み出し部１１２とを備え、ＴＳ信号やその他のメタ情報が記録された記録媒体から、ＴＳ信号読み出し部１１１においてＴＳ信号を、メタ情報読み出し部１１２において再生時のフレームレート情報を含むメタ情報を、それぞれ読み出す。このとき、ＴＳ信号読み出し部１１１では、上述したように記録部５０において毎秒Ｒ×（Ｘ／２４）ビットのビットレート（Ｒ：基準ビットレート）で記録されたＴＳ信号を、基準ビットレートである毎秒Ｒビットで読み出す。したがって、たとえば撮影時のフレームレートであるＸが８であれば、データ読み出し部１１０では、記録時の３倍のビットレートで読み出すことになる。

再生部１２０は、ＴＳ信号を再生するＴＳ再生部１３０と、符号化信号を復号化する映像復号化部１４０、音声復号化部１５０とを備えている。

ＴＳ再生部１３０は、データ読み出し部１１０において読み出されたＴＳ信号およびメタ情報から、ＴＳ信号を再生し、符号化映像信号と符号化音声信号とをそれぞれ分離して取り出す。

映像復号化部１４０は、ＴＳ再生部１３０において取り出された符号化映像信号を復号化し、再生映像信号として出力する。このとき、映像復号化部１４０は、読み出された再生時のフレームレート情報にもとづき、撮影者によって設定された再生時のフレームレートで再生映像信号を出力する。たとえば、再生時のフレームレートが２４に設定されていれば、毎秒２４フレーム、すなわち２４ｐの再生映像信号を出力する。

音声復号化部１５０は、ＴＳ再生部１３０において取り出された符号化音声信号を復号化し、再生音声信号として出力する。このとき、上述したように、スローモーション再生やクイックモーション再生によって音声が聞き取りにくくなった状態で再生されることを防止するため、撮影時のフレームレートと再生時のフレームレートとが等しくない場合には、音声は再生されない。

なお、これらＴＳ再生部１３０および映像復号化部１４０の動作の詳細については後述する。

次に、本動画撮影装置１の撮影部１０において取得された映像信号がＴＳ信号として記録され、２４ｐの映像信号として再生、復号化されるまでを映像信号の概略図を用いて説明する。図３は、本発明の実施の形態１における動画撮影装置１および動画再生装置１００の映像信号の概略図である。なお、ここでは、撮影時のフレームレートを毎秒８フレーム、再生時のフレームレートを毎秒２４フレームとして説明をおこなう。また、図面の中に記された数字はフレームの番号を表す。

図３（ａ）は、撮像素子２１から出力された映像信号を示した図である。ここでは、撮影時のフレームレートを毎秒８フレームとしているので、図面に示すように、撮像素子２１からは、フレーム番号１から順に毎秒８フレーム、すなわち８分の１秒毎に映像信号が出力される。そして、この映像信号は、一旦フレームメモリ２４に蓄積される。

図３（ｂ）は、映像信号前処理部２５において毎秒６０フレームに変換された映像信号を示した図である。映像信号前処理部２５では、上述したように、フレームメモリ２４に蓄積された映像信号を６０分の１秒毎に繰り返し読み出すことで、６０ｐの映像信号に変換する。８ｐの映像信号を６０ｐの映像信号に変換する場合は、８ｐの映像信号の２フレームが６０ｐの映像信号の１５フレームに相当するので、図面に示すように、フレーム番号１の映像を８回繰り返して読み出し、続いてフレーム番号２の映像を７回繰り返して読み出す、というようにして８ｐの映像信号を６０ｐの映像信号に変換している。このようにして、撮影時のフレームレートで出力される映像信号を６０ｐの映像信号に変換する。こうして得られた６０ｐの映像信号はＥＶＦ４０に表示され、撮影者はＥＶＦ４０を見ることで撮影中の映像信号を確認することができる。

図３（ｃ）は、６０ｐの映像信号に同期して映像信号前処理部２５から出力される有効フレームフラグを示した図である。図３（ｂ）に示すように、６０ｐに変換された映像信号では、撮影時のフレームレートにもとづいた所定の回数だけ同じ映像信号のフレームが繰り返される。そして、実施の形態１では、記録部５０において、それらすべての映像信号を記録することはせず、繰り返し読み出された映像信号のうちの１フレームだけを有効フレームとして記録する。したがって、記録部５０では、映像信号前処理部２５から送出される６０ｐの映像信号とそれに同期した有効フレームフラグとを用い、連続する同じ映像信号のフレームのうちの先頭のフレームを有効フレームとして識別している。

図３（ｄ）は、有効フレーム抽出部６１において、６０ｐの映像信号から有効フレームフラグによって識別された有効フレームを、撮影時のフレームレートに変換した映像信号を示した図である。このように、有効フレーム抽出部６１では、撮影部１０から送られてきた６０ｐの映像信号から、有効フレームフラグによって識別された有効フレームを抜き出し、撮影時のフレームレート、ここでは８ｐの映像信号に変換する。

図３（ｅ）は、映像符号化部６２において圧縮符号化された信号を示した図である。映像符号化部６２は、８ｐの映像信号をＭＰＥＧの方式にもとづいて圧縮符号化する。このとき、それぞれのフレームは、ＭＰＥＧの方式によって規定されているＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかに圧縮符号化され、また、フレームの順番もＭＰＥＧの方式にもとづいて変更される。また、圧縮符号化時に設定されるビットレートは、再生時のフレームレートにもとづいて設定される。ここでは、８ｐで撮影した映像信号が２４ｐで再生されるように設定されているので、基準ビットレートを毎秒Ｒビットとすると、映像符号化部６２では、ビットレートが毎秒Ｒ×（８／２４）ビット、すなわち基準ビットレートの３分の１のビットレートになるように圧縮符号化する。こうして、圧縮符号化された映像信号は、ＴＳ多重部６４においてＴＳ信号となり、データ記録部８０において記録媒体に記録される。

図３（ｆ）は、記録媒体から読み出されたＴＳ信号から分離された符号化映像信号を示した図である。上述したように、本実施の形態においては、圧縮符号化時のビットレートを、再生時のフレームレートにもとづいて設定している。たとえば、８ｐで撮影された映像信号が２４ｐで再生されるように設定されている場合、上述したように、基準ビットレートの３分の１のビットレートのＴＳ信号が記録媒体に記録される。そして、本実施の形態におけるデータ読み出し部１１０においては、記録媒体からＴＳ信号を読み出すとき、記録されたときのビットレートにかかわらず、基準ビットレートで読み出しをおこなう。したがって、基準ビットレートの３分の１のビットレートで記録されたＴＳ信号であれば、基準ビットレートで読み出されることで、記録されたときの３倍のビットレートのＴＳ信号となる。

図３（ｇ）は、読み出された符号化映像信号を映像復号化部１４０において復号化した再生映像信号を示した図である。読み出されたＴＳ信号から分離された符号化映像信号は、映像復号化部１４０において、ＭＰＥＧの方式にもとづいて復号化され、２４ｐの映像信号として再生される。このとき、たとえば３倍のビットレートで読み出されたＴＳ信号であれば、８ｐで記録された映像信号が２４ｐの映像信号として再生されることになり、３秒間で撮影された映像を１秒間で再生する３倍のクイックモーション再生になる。このようにして、本実施の形態においては、スローモーション再生やクイックモーション再生を実現している。

次に、本発明の実施の形態１において、撮影時のフレームレートと再生時のフレームレートとが異なるときに、ＭＰＥＧの方式にもとづいて動画圧縮された符号化映像信号をいかにして再生時のフレームレートで復号化するのかを説明する。

通常、映像信号を復号化する際は、復号化をおこなうブロックにおいて、ＴＳ信号に多重されてくるＰＣＲを用いて、復号化をおこなうときのタイミングの基準となる同期信号であるＳＴＣを生成する。そして、復号化をおこなう装置では、撮影時の符号化処理の際に作成されＴＳ信号に多重されたＡＴＳ、ＰＴＳ、ＤＴＳ等の、復号化の際の各処理の動作タイミングを管理する情報によって規定されたそれぞれのタイミングで、パケットの送信、復号化処理、再生された映像信号の出力等の動作をおこなう。

たとえば、ＴＳ信号に多重されてくるＡＴＳを用いてパケットの送信タイミングを管理する場合、復号化をおこなうブロックにおいて生成されたＳＴＣによって規定される基準の時間がＡＴＳによって規定された時間になった時点で、記録媒体から読み出したＴＳ信号のパケットを復号化をおこなうブロックに送信する。

このように、符号化処理の際に作成されたＡＴＳ、ＰＴＳ、ＤＴＳ等の動作タイミングを管理する情報にもとづいて復号化処理をおこなうことで、撮影時とほぼ同じ状態の映像信号として再生することができる。

しかしながら、本実施の形態における動画撮影装置１および動画再生装置１００では、撮影時のフレームレートと再生時のフレームレートとを異なる値に設定して撮影、記録、再生することでスローモーション再生、クイックモーション再生をおこなう構成としている。したがって、撮影時と再生時とでフレームレートが異なる場合は、圧縮符号化の処理と復号化の処理とで各処理の動作タイミングが異なるため、ＴＳ信号に多重されてくるＡＴＳ、ＰＴＳ、ＤＴＳ等の情報にもとづいて復号化処理をおこなうことはできず、ＰＣＲから生成したＳＴＣを復号化の処理にそのまま用いることもできない。

たとえば記録時のフレームレートをＸ、再生時のフレームレートをＹとすると、本実施の形態においては、ＴＳ信号読み出し部１１１では、撮影時に映像符号化部６２が出力したビットレートのＹ÷Ｘ倍のビットレートでＴＳ信号を読み出し、映像復号化部１４０では、読み出されたＴＳ信号の符号化映像信号を映像符号化部６２のＹ÷Ｘ倍のビットレートで復号化する。したがって、ＸとＹの値が異なる場合、すなわち、記録時のフレームレートと再生時のフレームレートとが異なる場合、ＴＳ信号に多重されてくるＡＴＳで規定されたタイミングでＴＳ信号のパケットが映像復号化部１４０に送信されても、設定されたフレームレートで映像を再生することができない。

ＸがＹより小さい場合、すなわち、記録時のフレームレートが再生時のフレームレートよりも小さい場合であれば、映像復号化部１４０では、符号化映像信号を映像符号化部６２よりも高いビットレートで復号化しなければならなくなる。しかし、ＴＳ信号に多重されてくるＡＴＳによって規定されたタイミングは、映像符号化部６２における符号化処理の際の遅いビットレートによって規定されたものであるため、動画再生装置１００側がこのＡＴＳによって規定されたタイミングにしたがって動作すると、ＴＳ信号のパケットを映像復号化部１４０に送信するタイミングが遅れてしまい、映像がうまく再生されず、たとえば再生映像が途切れる等の問題が発生するおそれがある。このことは、ＰＴＳやＤＴＳについても同様である。

そこで、本実施の形態における動画撮影装置１では、撮影時のフレームレートと再生時のフレームレートとが異なる値に設定された場合、記録された映像信号が撮影されたときのフレームレートとは異なるフレームレートで再生される映像信号であること示す情報を設け、それをメタ情報記録部８２において記録媒体に記録する構成としている。なお、このように、撮影されたときのフレームレートとは異なるフレームレートで再生される映像信号を記録することを、以下、「ＶＦＲ記録」（ＶＦＲは、Ｖａｒｉａｂｌｅ Ｆｒａｍｅ Ｒａｔｅの略記）と記す。

本発明の実施の形態１における動画撮影装置１においては、ＶＦＲ記録された映像信号のメタ情報を以下のようなファイル構成で記録媒体に記録している。図４は、本発明の実施の形態１における動画撮影装置１の符号化映像信号とメタ情報とを記録媒体に記録する際のファイル構成を示した図である。

図４に示すように、記録媒体には、ルートディレクトリ３０１が形成され、ルートディレクトリ３０１のすぐ下の階層に符号化映像信号とメタ情報とを収めたＰ２ＡＶディレクトリ３０２が形成される。

Ｐ２ＡＶディレクトリ３０２のすぐ下の階層には、メタ情報を収めたＣＬＩＰディレクトリ３０３と符号化映像信号を収めたＴＳディレクトリ３０４とが形成される。

メタ情報は、ネットワークを経由してデータを送受信することができるコンピュータ言語の一つであるＸＭＬ形式（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述され、ファイル名に「．ｘｍｌ」という拡張子をつけられ（以下、「ｘｍｌファイル」と略記する）、ＣＬＩＰディレクトリ３０３のすぐ下の階層に記録される。

また、ＴＳ信号は、ファイル名に「．ｔｔｓ」という拡張子をつけられ（以下、「ｔｔｓファイル」と略記する）、ＴＳディレクトリ３０４のすぐ下の階層に記録される。

このとき、ＴＳ信号を収めたｔｔｓファイルと、そのＴＳ信号に関するメタ情報を収めたｘｍｌファイルとで、拡張子を除いて、ファイル名を同一にすることで、互いに対になっていることがわかるようにしている。すなわち、図面に示す「０００１．ｘｍｌ」ファイルには、「０００１．ｔｔｓ」ファイルに収められたＴＳ信号に関するメタ情報が収められている。

ｘｍｌファイルには、ＸＭＬ形式のスキーマによって定義されたメタ情報が記録されるが、このとき、そのｘｍｌファイルと対になったｔｔｓファイルに記録されたＴＳ信号が撮影時のフレームレートと再生時のフレームレートとが異なる映像信号であるとき、そのｘｍｌファイルには、ｔｔｓファイルに記録されたＴＳ信号を再生するときのフレームレートに関する情報を定義した「ＶＦＲＲａｔｉｏ」エレメントが含まれる。

すなわち、本実施の形態では、ＴＳ信号を再生するときのフレームレートを定義するための「ＶＦＲＲａｔｉｏ」エレメントを設け、ｘｍｌファイルのメタ情報にはその「ＶＦＲＲａｔｉｏ」エレメントによって再生時のフレームレートを記述する構成としている。したがって、動画再生装置１００では、再生時にこの「ＶＦＲＲａｔｉｏ」エレメントを読み取ることで、再生時のフレームレートがいくつに設定されているのかがわかる。

続いて、このｘｍｌファイルの記述について説明する。図５は、本発明の実施の形態１における動画撮影装置１のｘｍｌファイルの記述の例を示した図である。

図５（ａ）では、「ＶＦＲＲａｔｉｏ」エレメントを定義するスキーマの例を示している。この「ＶＦＲＲａｔｉｏ」エレメントの中で定義されている「ＶＦＲＳｔａｔｅ」によって再生時のフレームレートが表されている。そして図５（ｂ）では、「ＶＦＲＳｔａｔｅ」に具体的な数値を割り当てることで、再生時のフレームレートを定義している。たとえば、再生時のフレームレートが毎秒２４フレームであれば、＜Ｖｉｄｅｏ＞、＜／Ｖｉｄｅｏ＞でくくられた「Ｖｉｄｅｏ」エレメントの中で、＜ＶＦＲＲａｔｉｏ ＶＦＲＳｔａｔｅ＝”２４”／＞と記述することで、再生フレームレートを毎秒２４フレームに設定している。

なお、本実施の形態では、撮影時のフレームレートと再生時のフレームレートが同じ場合は、ｘｍｌファイルに「ＶＦＲＲａｔｉｏ」エレメントを記述しない。したがってｘｍｌファイルに「ＶＦＲＲａｔｉｏ」エレメントが記述されていない場合には、ＴＳ信号は撮影時と同じフレームレートで再生される。

ここで、再度、動画再生装置１００について説明する。図６は、本発明の実施の形態１における動画再生装置１００のブロック図である。なお、図６に示した動画再生装置１００は図２における動画再生装置１００と同じものであるが、ここでは映像の復号化処理に関する動作を説明するため、音声復号化部１５０は省略している。

図６において、動画再生装置１００は、上述したように、データ読み出し部１１０と再生部１２０とを備え、データ読み出し部１１０はＴＳ信号読み出し部１１１とメタ情報読み出し部１１２とを備え、再生部１２０はＴＳ再生部１３０と映像復号化部１４０と音声復号化部（図示せず）とを備えている。

ＴＳ再生部１３０は、メタ情報解釈部１３１を備えており、データ読み出し部１１０において読み出されたメタ情報にもとづいて符号化映像信号を映像復号化部１４０に送出し、また、読み出されたメタ情報にもとづいて映像復号化部１４０を制御し、設定されたフレームレートで再生映像信号を出力させる。

このとき、メタ情報解釈部１３１では、読み出されたｔｔｓファイルと同じファイル名のｘｍｌファイルを参照し、そのｘｍｌファイルに記述されたメタ情報にもとづいて上述した動作をおこなう。また、メタ情報解釈部１３１では、そのメタ情報に、「ＶＦＲＲａｔｉｏ」エレメントが記述されているかどうかを検出する。

そして、そのメタ情報に「ＶＦＲＲａｔｉｏ」エレメントが記述されていなかった場合には、メタ情報解釈部１３１は映像復号化部１４０に対し、ＴＳ信号に多重されてきたＡＴＳ、ＰＴＳ、ＤＴＳ等の、復号化の際の動作タイミングを規定した情報にもとづいて復号化の動作をおこなうよう指示する。

また、そのメタ情報に「ＶＦＲＲａｔｉｏ」エレメントが記述されていた場合には、メタ情報解釈部１３１はそのメタ情報の中から「ＶＦＲＳｔａｔｅ」に割り当てられた数値を検出し、それを再生時のフレームレートとして読み出す。そして、読み出したフレームレートを後述するフレームレート制御部１４５に送出する。

映像復号化部１４０は、データ受け渡し部１４１と、データバッファ１４２と、映像信号伸長部１４３と、フレームメモリ１４４と、フレームレート制御部１４５とを備えている。

データ受け渡し部１４１は、ＴＳ再生部１３０に符号化映像信号の転送を要求し、その要求にしたがってＴＳ再生部１３０から送出される符号化映像信号を受け取る。そして、その符号化映像信号を映像信号伸長部１４３に送出する。その際、符号化映像信号を一旦データバッファ１４２に蓄積させる等して、送出するタイミングを調整する。

映像信号伸長部１４３は、データ受け渡し部１４１から送出される符号化映像信号をＭＰＥＧの方式にもとづいて復号化し、圧縮されていた映像信号をもとの映像信号に伸長する。その際、復号化した映像信号を一旦フレームメモリ１４４に蓄積する等してフレームの順番をもとの状態に戻し、あらかじめ設定されたフレームレートの映像信号に再生して出力する。

このとき、メタ情報に「ＶＦＲＲａｔｉｏ」エレメントが記述されていなかった場合には、ＴＳ信号に多重されてきたＡＴＳ、ＰＴＳ、ＤＴＳ等の、復号化の際の動作タイミングを規定した情報にもとづいて復号化の動作をおこない、撮影時と同じフレームレートで映像信号を再生する。また、メタ情報に「ＶＦＲＲａｔｉｏ」エレメントが記述されていた場合には、「ＶＦＲＳｔａｔｅ」に割り当てられた数値にもとづいて復号化の動作をおこない、その数値にもとづくフレームレートで映像信号を再生する。

すなわち、映像復号化部１４０では、メタ情報に「ＶＦＲＲａｔｉｏ」エレメントが記述されておらず、ＴＳ信号に多重されてきたＡＴＳ、ＰＴＳ、ＤＴＳ等にもとづいて復号化の動作をおこなうようメタ情報解釈部１３１から指示された場合には、ＴＳ信号に多重されてきたＰＣＲを用いて、復号化をおこなうときのタイミングの基準となる同期信号であるＳＴＣを生成する。

そして、このＳＴＣにもとづいて設定した基準の時間と、ＴＳ信号に多重されてきたＡＴＳ、ＰＴＳ、ＤＴＳ等に規定された時間とを比較して、それぞれ指定されたタイミングでパケットの送信、復号化処理、再生映像信号の出力等の動作をおこなう。たとえば、データ受け渡し部１４１では、映像信号伸長部１４３へのＴＳ信号のパケットの供給を、ＡＴＳに規定されたタイミングでおこなう。また、映像信号伸長部１４３では、符号化映像信号の復号化処理をＤＴＳに規定されたタイミングでおこない、復号化した映像信号の出力をＰＴＳに規定されたタイミングでおこなう。したがって、この場合には、撮影時のフレームレートと同じフレームレートで映像信号が再生される。

また、メタ情報に「ＶＦＲＲａｔｉｏ」エレメントが記述されており、「ＶＦＲＳｔａｔｅ」に割り当てられた数値にもとづいて復号化の動作をおこなうようメタ情報解釈部１３１から指示された場合には、映像復号化部１４０は、次の動作をおこなう。

まず、メタ情報解釈部１３１は、「ＶＦＲＳｔａｔｅ」に割り当てられた数値を、再生時のフレームレートとしてフレームレート制御部１４５に設定する。

次に、フレームレート制御部１４５は、この設定したフレームレート情報を映像信号伸長部１４３に送出する。映像信号伸長部１４３では、このフレームレート情報にもとづき、データ受け渡し部１４１に、フレーム間圧縮されたときの複数のフレームのひとまとまり分（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ、以下、「ＧＯＰ」と略記する）の符号化映像信号を送出するように要求する。

データ受け渡し部１４１では、その要求を受け、あらかじめデータバッファ１４２に蓄積しておいたＴＳ信号から、要求されたＧＯＰに相当する符号化映像信号を読み出して映像信号伸長部１４３に送出する。また、要求されたＧＯＰに相当するＴＳ信号がデータバッファ１４２に蓄積されていない場合は、要求されたＧＯＰに相当するＴＳ信号をデータ読み出し部１１０において記録媒体から読み出し、それを再生部１２０に送出してデータバッファ１４２に蓄積する。そして、データ受け渡し部１４１は、要求されたＧＯＰに相当するＴＳ信号がデータバッファ１４２に蓄積された後、ＧＯＰに相当する符号化映像信号を読み出して映像信号伸長部１４３に送出する。

このとき、データ受け渡し部１４１では、ＧＯＰに相当する符号化映像信号を映像信号伸長部１４３に送出する際、ＴＳ信号に多重されたヘッダ信号を除いた符号化信号だけの形式（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ、以下、「ＥＳ」と略記する）の信号にして送出する。

映像信号伸長部１４３では、データ受け渡し部１４１から送信されてくるＧＯＰに相当する符号化映像信号を復号化し、復号化した映像信号をフレームメモリ１４４に蓄積する。フレームレート制御部１４５は、設定された再生時のフレームレートで映像信号を再生するように映像信号伸長部１４３を制御する。そして、映像信号伸長部１４３は、フレームメモリ１４４に蓄積された映像信号を、フレームレート制御部１４５において設定されたフレームレートにもとづき１フレームずつ読み出す。また、フレームメモリ１４４から映像信号を１フレームずつ読み出す際には、映像信号伸長部１４３は、撮影されたときのフレーム順になるように読み出す。こうして、設定されたフレームレートで再生映像信号を出力する。

フレームメモリ１４４から映像信号が読み出され、その結果フレームメモリ１４４に新たなＧＯＰの映像信号を蓄積するだけの空き容量が生じたときには、映像信号伸長部１４３は、データ受け渡し部１４１に、新たなＧＯＰの符号化映像信号を要求する。

本実施の形態では、これら一連の動作を繰り返すことで、メタ情報の「ＶＦＲＳｔａｔｅ」に規定されたフレームレートで映像信号を再生する。

以上述べたように、本発明の実施の形態１における動画撮影装置１および動画再生装置１００においては、撮影者によって任意に設定されたフレームレートで撮影をおこない、同じく任意に設定されたフレームレートで映像信号を再生することでスローモーション再生およびクイックモーション再生することができる。さらに、撮影した映像信号を撮影されたときのフレーム数から増減することなくＭＰＥＧ等のフレーム間圧縮による動画圧縮方法を用いて記録することができるので、撮影された映像信号の記録に必要な容量を大きく削減することができる。

なお、本実施の形態においては、撮影部において６０ｐの映像信号への変換をせず、撮影したときのフレームレートのまま記録部へと送出する構成としてもよい。この場合は、６０ｐの映像信号が表示できるような一般的なモニターやビューファインダーへの映像表示はできないが、６０ｐへの変換や、有効フレーム抽出といった処理が不要となる。

また、本実施の形態においては、有効フレームフラグを映像信号とは別に出力する構成として説明したが、たとえば、映像信号の垂直ブランキング期間に有効フレームフラグを多重する等映像信号に多重した形で出力する構成としてもよい。また、有効フレームフラグによって識別されるフレームは連続する同じフレームの先頭フレームでなくてもよく、連続する同じフレームの中から有効な１フレームを抜き出す構成であればよい。

また、本実施の形態においては、撮像素子を設定された任意のフレームレートで映像信号を出力する構成のものに限定するものではない。たとえば、撮像素子からは常に一定のフレームレートで映像信号の出力がおこなわれ、それをフレームメモリ等に一旦記憶させ、設定されたフレームレートになるように繰り返して読み出す等、実質的に設定されたフレームレートで映像信号を出力する構成としてもよい。

また、本実施の形態においては、撮影時のフレームレートが毎秒６０フレームより大きい場合は、毎秒６０フレームになるように撮影されたフレームを間引いてＥＶＦに表示する構成としてもよい。いうまでもなく、このような場合においても、本実施の形態では、撮影された映像信号を間引くことなく記録部へ送出する。したがって、このような場合、すべてのフレームが有効フレームになるので、有効フレームフラグを用いてすべてのフレームが有効フレームであることを示す構成としてもよいが、たとえば、有効フレームフラグを有効とするか、有効フレームフラグにかかわらずすべてのフレームが有効であるかを示す信号を別に設け、その信号によってすべてのフレームが有効フレームであることを示す構成としてもよい。

なお、本実施の形態において示した記録媒体に記録する際のディレクトリ構成は、単に一例を示したに過ぎず、なんらこのディレクトリ構成に限定するものではない。

また、本実施の形態においては、メタ情報をＸＭＬ形式で記録する構成を説明したが、再生時のフレームレートを規定する「ＶＦＲＲａｔｉｏ」エレメントに相当する情報を記述する構成であれば、単純なテキストファイルやバイナリファイルであってもかまわない。

また、本実施の形態においては、「ＶＦＲＲａｔｉｏ」エレメントによって規定されたフレームレートで映像信号を再生するときは、データ受け渡し部１４１が、映像信号伸長部１４３からのＧＯＰ転送要求にしたがってＴＳ信号の中からＧＯＰに相当するデータをＥＳ形式で転送する構成を説明したが、映像信号伸長部１４３からの転送要求はＧＯＰ単位ではなく任意のサイズであってもよい。また、データ受け渡し部１４１は、映像信号伸長部１４３に送出する信号をＭＰＥＧ−ＴＳ形式のままとしてもかまわない。このとき映像信号伸長部１４３は、ＴＳ信号に多重された動作タイミングを管理する情報を無視する。

なお、本実施の形態では、ＭＰＥＧによる動画圧縮方式、ＭＰＥＧ２−ＴＳによる符号化信号の多重化方式にもとづいて説明をおこなったが、なんらこの方式に限定するものではなく、どのようなフレーム間圧縮による動画圧縮方法であっても応用することが可能であり、また、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）等の符号化信号の多重化方式にも用いることができる。あるいは、非圧縮、またはフレーム内圧縮によって圧縮信号を得るような構成であっても、同様の効果を発揮することができる。

なお、本実施の形態における動画撮影装置１は、撮影部と記録部とを同一の装置内に組み込んで構成したものであってもよく、あるいは、撮影部と記録部とをそれぞれ別の装置として構成し、それらを信号伝達用のケーブル等で接続して構成したものであってもよい。

なお、本実施の形態においては、撮影時、任意に設定されたフレームレートで撮影した映像信号を、再生時のフレームレートとして設定した毎秒２４フレームの映像信号で再生して出力する構成を説明したが、たとえば、再生時のフレームレートを毎秒２４フレームに固定してもよい。映画の撮影用の動画撮影装置であれば、このように毎秒２４フレームに固定することで、再生時のフレームレートを設定する手間を省くことができる。また、このように再生時のフレームレートを固定にする構成では、たとえば、メタ情報には再生時のフレームレートに関する情報を記述せず、圧縮符号化時のビットレートを、設定された撮影時のフレームレートを固定された再生時のフレームレートである２４で除算しそれに基準ビットレートを掛けた値に設定する構成としてもよい。この構成の場合、動画再生装置から出力される映像信号は、常に２４ｐの映像信号となる。

本発明によれば、撮影時および再生時の単位時間あたりのフレーム数をそれぞれ任意に設定して撮影をおこなうことでスローモーション再生およびクイックモーション再生を実現でき、さらに撮影した映像信号を撮影したときのフレーム数から増減することなく動画圧縮して記録することができるので、動画撮影装置、動画再生装置および動画撮影方法、動画再生方法として有用である。

本発明の実施の形態１における動画撮影装置のブロック図 本発明の実施の形態１における動画再生装置のブロック図 本発明の実施の形態１における動画撮影装置および動画再生装置の映像信号の概略図 同動画撮影装置の符号化映像信号とメタ情報とを記録媒体に記録する際のファイル構成を示した図 同動画撮影装置のｘｍｌファイルの記述の例を示した図 本発明の実施の形態１における動画再生装置のブロック図

符号の説明

１ 動画撮影装置
１０ 撮影部
２０ 映像信号取得部
２１ 撮像素子
２２ 撮像素子駆動部
２３ 駆動パルス発生部
２４ フレームメモリ
２５ 映像信号前処理部
３０ マイク
４０ 電子ビューファインダー（ＥＶＦ）
５０ 記録部
６０ 信号処理部
６１ 有効フレーム抽出部
６２ 映像符号化部
６３ 音声符号化部
６４ ＴＳ多重部
７０ 制御部
７１ フレームレート設定部
８０ データ記録部
８１ ＴＳ信号記録部
８２ メタ情報記録部
１００ 動画再生装置
１１０ データ読み出し部
１１１ ＴＳ信号読み出し部
１１２ メタ情報読み出し部
１２０ 再生部
１３０ ＴＳ再生部
１３１ メタ情報解釈部
１４０ 映像復号化部
１４１ データ受け渡し部
１４２ データバッファ
１４３ 映像信号伸長部
１４４ フレームメモリ
１４５ フレームレート制御部
１５０ 音声復号化部

Claims (19)

1. 動画撮影した映像信号を記録媒体に記録する動画撮影装置であって、
   動画撮影の際に、動画撮影するときの単位時間あたりのフレーム数である撮影時フレームレートと、動画再生するときの単位時間あたりのフレーム数である再生時フレームレートとをそれぞれ任意に設定するフレームレート設定部と、
   前記フレームレート設定部において設定された撮影時フレームレートで動画撮影する撮影部と、
   設定された前記再生時フレームレートを表す再生時フレームレート情報を前記動画撮影された映像信号に関連付けて記録媒体に記録する記録部と
   を備えたことを特徴とする動画撮影装置。
2. 前記記録部は、前記フレームレート設定部において設定された前記撮影時フレームレートと前記再生時フレームレートとが異なるときには、前記再生時フレームレート情報を前記動画撮影された映像信号に関連付けて記録媒体に記録し、設定された前記撮影時フレームレートと前記再生時フレームレートとが等しいときには、前記再生時フレームレート情報を記録媒体に記録しない
   ことを特徴とする請求項１記載の動画撮影装置。
3. 前記動画撮影された映像信号にフレーム間圧縮による動画圧縮の符号化処理を施す映像符号化部を備えたことを特徴とする請求項２記載の動画撮影装置。
4. 前記映像符号化部における前記符号化処理によって単位時間あたりに作成される符号化映像信号の量は、前記撮影時フレームレートと前記再生時フレームレートとの比にもとづいて設定されることを特徴とする請求項３記載の動画撮影装置。
5. 前記フレームレート設定部は、設定された前記撮影時フレームレートを設定された前記再生時フレームレートで除算し、
   前記映像符号化部は、単位時間あたりに作成する符号化映像信号の量を、前記フレームレート設定部における前記除算の結果にもとづいた値とすることを特徴とする請求項４記載の動画撮影装置。
6. 前記映像符号化部は、単位時間あたりに作成する符号化映像信号の量を、設定された前記撮影時フレームレートと前記再生時フレームレートとが等しいときに前記符号化処理によって単位時間あたりに作成される符号化映像信号の量と、前記フレームレート設定部における前記除算の結果とを乗算して得られる値にもとづいた値とすることを特徴とする請求項５記載の動画撮影装置。
7. 前記記録部は、記録媒体に前記符号化映像信号および前記再生時フレームレート情報を記録する際、前記符号化映像信号を記録するファイルのファイル名と、前記再生時フレームレート情報を記録するファイルのファイル名とを、ファイルの種類を区別するための拡張子を除いて、同じファイル名とすることを特徴とする請求項６記載の動画撮影装置。
8. 前記再生時フレームレートは、前記フレームレート設定部において毎秒２４フレームに固定されたことを特徴とする請求項７記載の動画撮影装置。
9. 前記記録部は、前記フレームレート設定部において設定された前記撮影時フレームレートと前記再生時フレームレートとが等しいときにのみ、音声信号を記録することを特徴とする請求項６記載の動画撮影装置。
10. 請求項１から請求項９のいずれかに記載の動画撮影装置によって記録された記録媒体であって、
    設定された撮影時フレームレートで動画撮影された映像信号に、設定された再生時フレームレート情報が関連付けられて記録された記録媒体。
11. 前記記録媒体には、動画撮影時に作成され前記動画撮影された映像信号を動画再生する際の動作タイミングを規定した情報が前記動画撮影された映像信号に関連付けられて記録され、前記設定された再生時フレームレート情報は、前記動画再生する際の動作タイミングを規定した情報が無効であることを表していることを特徴とする請求項１０記載の記録媒体。
12. 請求項３から請求項９のいずれかに記載の動画撮影装置によって記録された記録媒体であって、
    設定された撮影時フレームレートと設定された再生時フレームレートとが異なるときに、前記設定された撮影時フレームレートで動画撮影されフレーム間圧縮による動画圧縮の符号化処理が施された符号化映像信号に、設定された再生時フレームレート情報が関連付けられて記録された記録媒体。
13. 前記記録媒体には、動画圧縮の符号化処理時に作成され前記符号化映像信号を復号化する際の動作タイミングを規定した情報が前記符号化映像信号に関連付けられて記録され、前記設定された再生時フレームレート情報は、前記復号化する際の動作タイミングを規定した情報が無効であることを表していることを特徴とする請求項１２記載の記録媒体。
14. 請求項１から請求項９のいずれかに記載の動画撮影装置によって映像信号が記録された記録媒体から前記映像信号を読み出して動画再生する動画再生装置であって、
    前記記録媒体から、少なくとも前記映像信号と前記映像信号に関連付けて記録された再生時フレームレート情報とを読み出すデータ読み出し部と、
    読み出した前記映像信号を読み出した前記再生時フレームレート情報にもとづいて動画再生する再生部と
    を備えたことを特徴とする動画再生装置。
15. 請求項３から請求項９のいずれかに記載の動画撮影装置によって符号化映像信号が記録された記録媒体から前記符号化映像信号を読み出して復号化処理を施し復号化した映像信号を動画再生する動画再生装置であって、
    前記記録媒体から、少なくとも前記符号化映像信号を読み出すデータ読み出し部と、
    読み出した前記符号化映像信号に前記復号化処理を施して動画再生する再生部と
    を備え、
    前記データ読み出し部は、前記符号化映像信号に関連する再生時フレームレート情報が前記記録媒体に記録されている場合にはその再生時フレームレート情報を読み出し、
    前記再生部は、前記符号化映像信号に関連する再生時フレームレート情報が前記記録媒体に記録されている場合には、読み出した前記再生時フレームレート情報にもとづいた前記復号化処理を読み出した前記符号化映像信号に施して動画再生し、前記符号化映像信号に関連する再生時フレームレート情報が前記記録媒体に記録されていない場合には、前記符号化映像信号が撮影されたときのフレームレートと同じフレームレートとなるように、読み出した前記符号化映像信号に前記復号化処理を施して動画再生する
    ことを特徴とする動画再生装置。
16. 前記再生部において、読み出した前記符号化映像信号に前記復号化処理を施す際の単位時間あたりの処理量を、
    前記映像符号化部における、設定された前記撮影時フレームレートと前記再生時フレームレートとが等しいときに前記符号化処理によって単位時間あたりに作成される符号化映像信号の量と等しくすることを特徴とする請求項１５記載の動画再生装置。
17. 動画撮影するときの単位時間あたりのフレーム数である撮影時フレームレートと、動画再生するときの単位時間あたりのフレーム数である再生時フレームレートとをそれぞれ任意に設定するステップと、
    設定された前記撮影時フレームレートで動画撮影するステップと、
    前記動画撮影された映像信号を記録媒体に記録するステップと、
    設定された前記撮影時フレームレートと設定された前記再生時フレームレートとが異なるかどうかを判断するステップと、
    設定された前記撮影時フレームレートと設定された前記再生時フレームレートとが異なるときにのみ、設定された前記再生時フレームレートを表す再生時フレームレート情報を前記動画撮影された映像信号に関連付けて記録媒体に記録するステップと
    を備えたことを特徴とする動画撮影方法。
18. 前記動画撮影された映像信号にフレーム間圧縮による動画圧縮の符号化処理を施して符号化映像信号を作成するステップと、
    前記動画撮影された映像信号に代えて前記符号化映像信号を前記記録媒体に記録するステップと、
    設定された前記撮影時フレームレートを設定された前記再生時フレームレートで除算するステップと、
    前記除算するステップにおいて得られた値と、前記符号化処理を施して符号化映像信号を作成するステップにおける設定された前記撮影時フレームレートと前記再生時フレームレートとが等しいときに単位時間あたりに作成される符号化映像信号の量とを乗算するステップと、
    前記乗算するステップにおいて得られた値を、前記符号化映像信号を作成するステップにおいて単位時間あたりに作成する符号化映像信号の量として設定するステップと、
    を備えたことを特徴とする請求項１７記載の動画撮影方法。
19. 符号化映像信号が記録された記録媒体から前記符号化映像信号を読み出して動画再生する動画再生方法であって、
    前記符号化映像信号を記録媒体から読み出すステップと、
    前記符号化映像信号に関連する再生時フレームレート情報が記録媒体に記録されているかどうかを検出するステップと、
    前記再生時フレームレート情報を検出した場合には前記再生時フレームレート情報を記録媒体から読み出すステップと、
    読み出した前記符号化映像信号を、読み出した前記再生時フレームレート情報にもとづいて再生するステップと、
    前記再生時フレームレート情報が検出されない場合には、読み出した前記符号化映像信号を、その符号化映像信号が撮影されたときのフレームレートと同じフレームレートで再生するステップと
    を備えたことを特徴とする動画再生方法。

Images