JP2004241906A - カムコーダ - Google Patents

Abstract

【課題】カムコーダ等による動画像の撮影において、撮像者が望む撮影開始時間からの確実な録画を可能とする、動画像符号化データの生成／格納方法を提供する。
【解決手段】撮像装置は、撮像者の撮像の指示に先立ち、撮像（プレ撮像）を開始する。
・プレ撮像中の動画像データは、固定長／可変長符号化された上で、ディスク上の所定の領域に繰り返し書き込まれる。
・プレ撮像中の動画像符号化データと、プレ撮像後の動画像符号化データは同一領域に並べて書き込まれる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を符号化する動画像符号化装置、動画像符号化データに対して再生処理を施す動画像再生装置及びその方法並びに記憶媒体に関するものである。
【０００２】
【従来の技術】
昨今、デジカメやカムコーダの低価格化に伴い、これらの撮像装置により動画像を撮像する機会が増えてきた。また、それに伴い、これらの撮像装置を使用するユーザーが要求するスペックは、ますます向上するばかりである。
【０００３】
これらのユーザーの要求にこたえるため、メーカーはより高性能な撮像装置の開発に取り組んでいる。特に、企業は、ユーザーに対して商品価値の高さをアピールできる高画素化を最も重要な開発項目のひとつとしている傾向にある。
【０００４】
【発明が解決しようとする課題】
このような開発競争により、一部のユーザーにとって、画素数に関しては十分満足される製品が揃ってきた。またこれに伴い、ユーザーは様々な機能上の不十分さにも目を向けるようになった。この機能上の不十分さのひとつに、撮影のディレイがある。このディレイとは、撮像者が所望とする撮像の開始時刻（希望開始時刻）と、実際に撮像が開始される時刻（実開始時刻）が異なることである。当問題は、撮像者が撮像を思い立ってから、撮像を撮像装置に指示するまで、タイムラグがあることに起因する。
【０００５】
【課題を解決するための手段】
そこで本発明が目的とするところは、デジカメやカムコーダ等による動画像の撮像において、希望開始時刻からの確実な動画像データの録画と再生を可能とする、動画像の取得方法と、当該動画像データを符号化する方法と、この符号化により得られた動画像符号化データを格納する方法を提供することである。
【０００６】
【発明の実施の形態】
（第１の実施の形態）
本発明における動画像は、図１に示されているように、画像と音声から構成され、さらに画像は瞬間瞬間の情報を表すフレームから構成されている。
【０００７】
このような動画像の撮像において、図３２に示されているように、撮像者が撮像を決めてから撮像の開始を命じるまでタイムラグが生じるため、動画像撮像装置が希望開始時刻から動画像データの取得を行えないことがある。そこで本実施の形態においては、希望開始時刻からの動画像データの取得を行う録画モード（確実録画モード）が設定されると、撮像者が撮像開始指示部により撮像の開始を命じなくても、本撮像装置は撮像を行う。また、本撮像装置は、この撮像を開始するにあたり、図３３に示されているように、確実録画モードが設定されてから、撮像開始の指示が与えられるまでの時刻に取得するフレーム（プレフレーム）のデータ（プレフレームデータ）を繰り返し書き換えていくための、ディスク上の領域（プレフレーム用領域）を確保する。なお、本実施の形態においては、プレフレーム符号化データによる再生時間は常に一定になるように、プレフレームデータは固定長符号化されるので、プレフレーム用領域として、（１プレフレームの符号量）ｘ（整数）の領域が確保される。同時に、このプレフレームの先頭アドレス（先頭アドレス１）と終了アドレス、それと１フレームあたりの符号量が不図示のＲＡＭ上に格納される。
【０００８】
さらに、撮像者から撮像の指示が与えられ、撮像（本撮像）を開始すると、プレフレームの内、最も時間的に早いプレフレームの先頭アドレス（先頭アドレス２）を不図示のＲＡＭ上に格納する。
【０００９】
その後、撮像装置は、本撮像で得られるフレームデータ（本フレームデータ）を符号化し、ディスクに書き込む。また、本撮像が終了し、全ての符号化された本フレームデータが格納されると、上述３つのアドレスをディスク上に書き込む。
【００１０】
このように本実施の形態は、これらのプレフレームデータをディスク上へ格納することと、上述３つのアドレスの保持により、希望開始時刻のフレームからの再生を可能とする。
【００１１】
以下の説明では、まず本撮像における動画像符号化装置の処理を説明し、それに続いて確実録画モードが設定された場合における撮像（プレ撮像）の説明を行う。
【００１２】
（本撮像の説明）
図２に本実施の形態における動画像符号化装置のブロック図を示すと共に、当該動画像符号化装置における本撮像の処理のフローチャートを図３に示す。
【００１３】
まず、本撮像開始／終了指示部２０９から本撮像の開始の指示がされると、動画像撮像装置は、画像データと音声データを、画像データ取得部２０１と音声データ取得部２０３から入力する（ステップＳ４０１）。この画像データ取得部２０１と音声データ取得部２０３は、例えばデジタルビデオカメラ、デジタルスチルカメラ等の撮像装置、或いはＣＣＤなどの撮像デバイス、或いはネットワーク回線のインターフェース等が用いられる。また、画像データ取得部２０１と音声データ取得部２０３はＲＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体であっても良い。
【００１４】
画像データ取得部２０１から取得された画像データは、フレームのデータ（フレームデータ）毎、フレームデータ符号化部２０２に入力され、音声データ取得部２０３から取得された音声データは、音声データ符号化部２０４に入力される。フレームデータ符号化部２０２，音声データ符号化部２０４に入力されたフレームデータと音声データは符号化されて（ステップＳ４０２）、データ統合部２０５に出力される。このフレームデータ符号化部２０２の動作については、後程詳述する。また、音声データの符号化方法として、ＭＰＥＧ４で規定される様々な音声データの符号化方式（ＡＡＣ，ＭＰ３，など）を使用するものとし、音声データ符号化部２０３の動作については、省略する。
【００１５】
データ統合部２０５に音声符号化データとフレーム符号化データが入力されると、図３４に示されているように、フレーム符号化データと音声符号化データが所定の規則に基づき並べられる。この統合されたフレーム符号化データと音声符号化データは、出力部２０６から記憶媒体２０８に出力され、当該記憶媒体に格納される（ステップＳ４０３）。なお本実施の形態においては、記憶媒体２０８として、ＣＤやＤＶＤ−Ｒ／＋ＲＷ／−ＲＷ／ＲＡＭなどの光ディスク，ＭＯなどの光磁気ディスク，ＨＤＤやＺＩＰなどの磁気ディスクを想定する。
【００１６】
統合されたフレーム符号化データと音声符号化データの記憶媒体２０８への格納が終了すると、本撮像開始／終了指示部２０９から本撮像の終了の指示がされたか否かが判断される（ステップＳ４０４）。もし終了の指示がなされていない場合（ステップＳ４０４でＮｏ）、処理はステップＳ４０１に戻される。一方、終了の指示がされていた場合（ステップＳ４０４でＹｅｓ）、図３５に示されているように、復号に必要となるデータを格納したヘッダをディスク上に書き込む（ステップＳ４０５）。これにより、ディスク上に動画像符号化データが形成され、処理が終了となる。
【００１７】
＜フレームデータ符号化部２０２における処理＞
次に、フレームデータ符号化部２０２のブロック図を図３に示し、当該処理部の処理のフローチャートを図５に示し、これらの図を用いて、フレームデータの符号化の処理を説明する。
【００１８】
本実施の形態におけるフレーム中の符号化対象となるフレームデータは、８ビットのモノクロフレームデータとする。しかしながら、各画素４ビット、１０ビット、１２ビットといった具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００１９】
まず、フレームデータ取得部２０１から、フレームデータ入力部３０１へ、符号化対象となるフレームデータを構成する画素データがラスタースキャン順に入力され、タイル分割部３０２に出力される。このフレームデータ入力部３０１は、例えばスキャナ、デジタルカメラ等の撮像装置、或いはＣＣＤなどの撮像デバイス、或いはネットワーク回線のインターフェース等が用いられる。また、フレームデータ入力部３０１はＲＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体であっても良い。
【００２０】
タイル分割部３０２は、フレームデータ入力部３０１から入力される１枚の画像をＮ枚のタイルに分割し（ステップＳ５０１）、各タイルを識別するためにラスタースキャン順にタイルナンバーｉ＝０， １， ２， ．．．，Ｎ−１を割り振るものとする。なお、本実施の形態では、図１６に示されているように、画像を横８，縦６に分割し、４８枚のタイルを作り出すものとする。
【００２１】
ここで、各タイルを表すデータをタイルデータと呼ぶことにする。これら生成されたタイルデータは、順に離散ウェーブレット変換部３０３に送られる。なお、離散ウェーブレット変換部３０３以降の処理において、タイルは独立に符号化されるものとする。また、ここで、当該フレームデータ符号化部２０２が処理しているタイルを認識するための不図示のカウンタがｉ＝０に設定される（ステップＳ５０２）。
【００２２】
離散ウェーブレット変換部３０３は、タイル分割部３０２から入力される、１つの静止画像中の１つのタイルデータｘ（ｎ）における複数の画素（参照画素）のデータ（参照画素データ）を用いて離散ウェーブレット変換を行う（ステップＳ５０３）。
【００２３】
以下に、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
【００２４】
Ｙ（２ｎ） ＝ Ｘ（２ｎ）＋ｆｌｏｏｒ｛ （Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２）／４ ｝
Ｙ（２ｎ＋１） ＝ Ｘ（２ｎ＋１）−ｆｌｏｏｒ｛ （Ｘ（２ｎ）＋Ｘ（２ｎ＋２））／２ ｝
Ｙ（２ｎ），Ｙ（２ｎ＋１）は離散ウェーブレット変換係数列であり、Ｙ（２ｎ）は低周波サブバンド、Ｙ（２ｎ＋１）は高周波サブバンドである。また、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図６である。
【００２５】
本変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図７（ａ）の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様に４つのサブバンドに分け（図７（ｂ））、その中のＬＬサブバンドをまた４サブバンドに分ける（図７（ｃ））。合計１０サブバンドを作る。１０個のサブバンドそれぞれに対して、図７（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。なおＬＬサブバンドは、レベル０のサブバンドとする。ＬＬサブバンドはひとつしかないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。
【００２６】
１０個のサブバンドの変換係数は、いったんバッファ３０４に格納されＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部３０５へ出力される。
【００２７】
係数量子化部３０５では、バッファ３０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部３０６へ出力する（ステップＳ５０４）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとするとき、量子化後の係数値Ｑ（Ｘ）は次式によって求めるものとする。
【００２８】
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝
本実施の形態における各周波数成分と量子化ステップとの対応を図８に示す。同図に示す様に、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部３０６へ出力する。
【００２９】
エントロピー符号化部３０６では、入力された係数量子化値がエントロピー符号化される（ステップＳ５０５）。ここでは、まず、図９に示されているように、入力された係数量子化値の集まりである各サブバンドが矩形（コードブロックと呼ぶ）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックは、図１０に示されているように、ビットプレーンに分割される。その上で、図１１に示されているように、あるビットプレーンにおける各ビットは、ある分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００３０】
なお、ここでエントロピー符号化の具体的な処理順序は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、その１コードブロックのあるビットプレーンに注目すると、図１１にある３種類のパスを上から順に符号化する様になっている。
【００３１】
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部３０７に出力される。
【００３２】
タイル符号化データ生成部３０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーが構成され、それらレイヤーをデータの単位としてタイル符号化データが生成される（ステップＳ５０６）。以下にレイヤーの構成に関する説明を行う。
【００３３】
当該処理部は、図１２に示されているように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。なお、図１３に示されているように、あるコードブロックからコーディングパスを取得する際、常に該コードブロックにおいて最上位に存在するコーディングパスが選ばれる。その後、タイル符号化データ生成部３０７は、図１４に示されているように、生成したレイヤーを、上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部３０８に出力される。
【００３４】
ここで、符号化すべきタイルデータが残っている場合は、処理をステップＳ５０３に戻し、符号化すべきタイルデータが残っていない場合は、処理をステップＳ５０８に進める（ステップＳ５０７）。
【００３５】
フレーム符号化データ生成部３０８では、図１５に示されているように、タイル符号化データを所定の順番で並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ５０８）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ，フレーム符号化データの符号長等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部３０９からデータ統合部２０５に出力される（ステップＳ５０９）。
【００３６】
（プレ撮像の説明）
図１７にプレ撮像の処理のフローチャートを示す。
【００３７】
まず、動画像撮像装置が、撮像者から確実録画モード指示部２０７より確実録画の指示を受けると（ステップＳ１７０１）、記憶媒体２０８上にプレフレーム用領域を確保する（ステップＳ１７０２）。これには、図３３に示されているように、ディスク上のプレフレーム用に使うための領域の一部もしくは全部を使う。このプレフレーム用領域は、プレフレーム１枚あたりに割り当てられる符号量を格納する区画に分割される。本実施の形態においては、プレフレーム用領域には、Ｍ枚のフレームが格納されるものとして、プレフレーム用領域はＭ個の区画に分割され、それぞれ、区画０，区画１，．．．，区画Ｍ−１と番号付けられる。なお以降の説明では、任意の区画を区画ｉと表現するものとする。また、各プレフレームは固定長符号化されるので、各区画の長さは一定である。なおこの区画に、ディスク上のデータが管理される単位であるセクタを適用することは好適である。
【００３８】
続いて、動画像撮像装置は、この確保された領域の先頭アドレス（先頭アドレス１）と終了アドレス，１フレームあたりの符号量を不図示のＲＡＭ上に格納し（ステップＳ１７０３）、これより符号化するフレームと音声データを格納する区画として区画０を設定する（ステップＳ１７０４）。
【００３９】
次に、画像データ取得部２０１と音声データ取得部２０３により、プレフレームデータとそれに付随する音声データの取得を行い（ステップＳ１７０６）、当該２つのデータをフレームデータ符号化部２０２と音声データ符号化部２０４により固定長符号化を行う。このフレームデータの符号化方法は、固定長化を図ること以外、本撮像におけるフレームデータの符号化方法と同様である。なお固定長化は、ステップＳ５０４の量子化の調整や、Ｓ５０８のタイル符号化データの生成においてタイル符号化データに組み込むコーディングパスの枚数の調整により、実現させることが可能である。また、適宜復号器が復号時に読み飛ばすデータ（コメントデータ）をフレーム符号化データ中に挿入することで実現させることも可能である。さらには、上述２つの調整とコメントデータを組み合わせることで、固定長化を実現することも可能である。
【００４０】
なお、音声符号化データの固定長化については、ここでは論じない。
【００４１】
固定長符号化により生成されたプレフレーム符号化データと音声符号化データは、データ統合部２０５により統合され、記憶媒体２０８に出力される。記憶媒体２０８に出力されたプレフレーム符号化データと音声符号化データは、区画ｉに書き込まれる（ステップＳ１７０７）。この書き込みが終ると、まず、本撮像開始／終了指示部２０９から本撮像の指示がなされているかどうかが検証される（ステップＳ１７０８）。もし、本撮像の指示がなされている場合（ステップＳ１７０８でＹｅｓ）、動画像撮像装置は、プレ撮像を終了する（ステップＳ１７０９）。さらに、時間的に最も早い時間を担持するプレフレーム符号化データが格納されている区画ｉ＋１のアドレス（先頭アドレス２）が不図示のＲＡＭ上に格納される（ステップＳ１７１０）。これをもって、プレ撮像は終了する。
【００４２】
なお、本撮像が終了した際には、図３５中のヘッダに、プレ撮像が行われたことを示す情報と、先頭アドレス１，２と終了アドレス，１フレームあたりの符号量，各プレフレーム符号化データは固定長化されていることを示す情報が格納される。これらの情報が格納されるヘッダ中の領域として、通常の復号装置は読み飛ばす領域（フリースペース）などが考えられる。
【００４３】
もし、本撮像の指示がなされていない場合（ステップＳ１７１０でＮｏ）、現在の書き込み区画の検証が行われる（ステップＳ１７１１）。もしｉ＝Ｍ−１であるならば（ステップＳ１７１１でＹｅｓ）、ｉ＝０に設定した上で（ステップＳ１７１２）、処理をＳ１７０５に戻す。また、ｉ＝Ｍ−１でなければ（ステップＳ１７１１でＮｏ）、ｉ＝ｉ＋１とした上で（ステップＳ１７１３）、処理をＳ１７０５に戻す。
【００４４】
以上、本実施の形態では、希望開始時刻からの動画像データの確実な取得／再生を行うための方法を示した。なお、プレフレーム符号化データによる再生時間は常に一定になるように、プレフレームデータは固定長符号化された。
【００４５】
（第２の実施の形態）
第１の実施の形態においては、プレフレーム符号化データを固定長化した上で、希望開始時刻からの動画像データの確実な取得／再生を行うための方法を示した。しかし、このプレフレーム符号化データの固定長化は、プレフレーム符号化データ毎に復号画質の大幅な変動を招く可能性がある。
【００４６】
そこで本実施の形態では、プレフレームデータを可変長符号化することで、プレフレーム符号化データの復号画質をほぼ一定とする方法を示す。
【００４７】
なお本実施の形態における動画像符号化装置の動作は、プレ撮像以外、第１の実施の形態における動作と同じであるので、以下では、プレ撮像のみが説明される。
【００４８】
図１８に本実施の形態における動画像符号化装置のブロック図を示す。同図は、図２におけるフレームデータ符号化部２０２と音声データ符号化部２０４を、フレームデータ符号化部１８０１と音声データ符号化部１８０２に置換したものである。
【００４９】
また、図１９にフレームデータ符号化部１８０１のブロック図を示す。同図は、図３におけるフレーム符号化データ生成部３０８をフレーム符号化データ生成部１９０１に置換したものである。
【００５０】
（プレ撮像）
図２０，２１，２２を用いて、プレ撮像の動作を説明する。
【００５１】
図２０に示されているように、各プレフレームの符号化と格納と、それに付随する音声データの符号化と格納は同時に行われる。以下では、プレフレームデータの符号化と格納方法のみが説明される。音声データの符号化方法としては公知な方法を用いることにするので、当該処理の説明は割愛される。また、音声データの格納方法は、プレフレーム符号化データの格納方法と同様であるので、当該処理の説明を割愛される。
【００５２】
まず、撮像者が確実録画モード指示部２０７から確実録画モードの設定を指示すると（ステップＳ２１０１）、動画像撮像装置は記憶媒体２０８上にプレフレーム用領域を確保する（ステップＳ２１０２）。これには、図３３に示されているように、ディスク上のプレフレーム用に使うための領域の一部もしくは全部を使う。また、同時に、図２３に示されているように、この確保された領域の先頭アドレス（先頭アドレス１）と終了アドレス，プレフレーム用領域の全容量Ａ（バイト）を、不図示のＲＡＭ上のインデックス領域に書き込む（ステップＳ２１０３）。さらに、図２８（ａ）に示されているように、プレフレーム符号化データを書き込むアドレスから終了アドレスまでのデータ量を格納する、不図示のＲＡＭ上のカウンタ（カウンタＲ）をＲ＝Ａ（バイト）に設定する。
【００５３】
上述処理が終了すると、動画像符号化装置は１枚のプレフレームデータの取得を行い（ステップＳ２１０５）、当該プレフレームデータの可変長符号化を行う（ステップＳ２２０６）。この可変長符号化は、フレーム符号化データ生成部１９０１がコーディングパスの破棄をしないことで達成する。
【００５４】
符号化終了後、生成されたプレフレーム符号化データのデータサイズＳが、不図示のＲＡＭ上に格納される（ステップＳ２１０７）。その後、図２３に示されているように、当該プレフレーム符号化データを書き込む領域の先頭のアドレス（先頭アドレス３）を、インデックス領域に書き込む（ステップＳ２１０８）。
【００５５】
続いて、図２４に示されるＤ＝Ｒ−Ｓが算出され、その大きさが０より大きいかどうかが判断される（ステップＳ２１０９）。もしＤ＞＝０であれば（ステップＳ２１０９でＹｅｓ）、図２５に示されているように、プレフレーム符号化データを全て書き込む（ステップＳ２２１０）。また、図２８（ｂ）に示されているように、カウンタＲをＲ＝Ｄに変更する（ステップＳ２１１１）。そして、処理をステップＳ２１１６に進める。
【００５６】
一方、もしＤ＜０であれば、図２７に示されているように、プレフレーム符号化データの先頭Ｒバイトを先頭アドレス３から書き込み（ステップＳ２１１２）、続くＳ−Ｒバイトのデータを先頭アドレス１から書き込む（ステップＳ２１１３）。その上で、カウンタＲをＲ＝Ａ−（Ｓ−Ｒ）に設定し（図２８（ｃ），ステップＳ２１１４）、処理をステップＳ２０１５に進める。
【００５７】
ステップＳ２１１５では、インデックス領域に示されているプレフレーム符号化データの並び換えが行われる。この処理のフローは図２２に示されている。
【００５８】
同図において、当該プレフレーム符号化データの書き込みより以前に書き込まれているプレフレーム符号化データの内、当該プレフレーム符号化データに上書きされてしまったプレフレームが存在するかどうかが判断される（ステップＳ２２０１，図２９（ａ）−（ｃ））。もし上書きされたデータがない場合（ステップＳ２２０１でＮｏ）、処理を戻す。一方、もし上書きされたデータが存在する場合（ステップＳ２２０１でＹｅｓ）、図３０に示されているように、上書きされたプレフレーム符号化データの先頭アドレス３を消去し、残っているプレフレーム符号化データの先頭アドレス３の格納を変更する（ステップＳ２２０２）。その後、処理を戻す。
【００５９】
ステップＳ２０１６では、本撮像開始／終了指示部２０９から本撮像の指示がなされているかどうかが検証される。もし、本撮像の指示がなされている場合（ステップＳ２１１７でＹｅｓ）、動画像撮像装置は、プレ撮像を終了する（ステップＳ２０１７）。
【００６０】
なお、本撮像が終了した際には、図３５中のヘッダに、プレ撮像が行われたことを示す情報と、先頭アドレス１，２と終了アドレス，１フレームあたりの符号量，各プレフレーム符号化データは可変長符号化されていることを示す情報が格納される（ステップＳ２１１８）。これらの情報が格納されるヘッダ中の領域として、通常の復号装置は読み飛ばす領域（フリースペース）などが考えられる。
【００６１】
もし、本撮像の指示がなされていない場合（ステップＳ２１１７でＮｏ）、処理をＳ２１０５に戻す。
【００６２】
なおプレフレーム符号化データの復号時においては、先頭アドレス２からデータの取得／復号を開始する。なお、各プレフレーム符号化データの取得／復号においては、プレフレーム符号化データの先頭にあるヘッダ内に書き込まれている、データ長が参照される。
【００６３】
以上、本実施の形態では、希望開始時刻からの動画像データの確実な取得／再生を行うための方法を示した。なお、各プレフレーム符号化データの画質が大きく変動することのないように、各プレフレームデータは可変長符号化された。
【００６４】
（第３の実施の形態）
一般的に、標準方式により符号化された動画像データは、様々なメーカーが提供する再生装置により再生される。しかし、第１，２の実施の形態において、フレームデータと音声データを符号化する方式が標準方式であるとしても、かならずしも多くのメーカーが提供する再生装置が、プレフレーム符号化データとそれに付随する音声符号化データを再生できるわけではない。なぜならば、プレフレーム符号化データとそれに付随する音声符号化データは、本撮像により得られた動画像符号化データが格納されているディスク上の領域とは異なる領域に格納されているからである。
【００６５】
そこで、本実施の形態においては、プレフレーム符号化データとそれに付随する音声符号化データが、多くのメーカーが提供する再生装置で再生されるような、データの格納方法が示される。
【００６６】
なお本実施の形態における動画像符号化装置の動作は、プレフレーム符号化データとそれに付随する音声符号化データのディスクへの書き込み以外、第１の実施の形態における動作と同じであるので、以下では、当該ディスクへの書き込みのみが説明される。
【００６７】
本実施の形態における動画像符号化装置のブロック図を図３１に示す。同図は、図２における記憶媒体２０８を記憶媒体３１０１に置換したものである。
【００６８】
本実施の形態における記憶媒体３１０１は、プレ撮像中、所定のディスク上の領域にプレフレーム符号化データとそれに付随する音声符号化データを書き込む。
【００６９】
撮像者からの本撮像の開始の指示があると、記憶媒体３１０１は、動画像符号化データを書き込むべき領域に、プレフレーム符号化データとそれに付随する音声符号化データを時間順にコピーする。その上で、本撮像により得られたフレーム符号化データとそれに付随する音声符号化データを、当該プレフレーム符号化データとそれに付随する音声符号化データに後続させて書き込む。
【００７０】
なお、動画像符号化データの先頭に付されるヘッダは、プレフレーム符号化データの前に書き込まれる。
【００７１】
以上、本実施の形態では、希望開始時刻からの動画像データの確実な取得／再生を行うための方法を示した。なお、プレフレーム符号化データとそれに付随する音声符号化データは、多くのメーカーが提供する再生装置で再生されるように、ディスク上に書き込まれた。
【００７２】
（その他の実施形態）
プレフレームデータとそれに付随する音声データは、符号化された上でプレフレームデータ用領域に書き換えられなくてもよい。本撮影の開始後、プレフレームデータ用領域に格納されているプレフレームデータを符号化してもよい。これにより、取得したプレフレームデータを逐次符号化する方法と比較して、省電力化が達成される。
【００７３】
データを格納するメディアは、ディスクに限られない。テープ，フラッシュメモリなどが使用されても構わない。
【００７４】
格納するデータの全てを、一つのメディアに格納する必要はない。例えば、動画像符号化データをディスクに格納し、プレデータに係るデータをフラッシュメモリに格納するという格納方法も、本発明の範疇である。
【００７５】
画像データの系列変換の方式はＤＷＴに限られるものではない。系列変換として、ＤＣＴ等を使用する方法も、本発明の範疇に入る。
【００７６】
第３の実施の形態において、プレフレームデータとそれに付随する音声データを可変長符号化しても構わない。
【００７７】
第２の実施の形態において、視覚的に重要でないコーディングパスの破棄を行った上で、可変長符号化を達成しても構わない。
【００７８】
第３の実施の形態における動画像符号化装置は、第２の実施の形態のような可変長符号化されたプレフレーム符号化データとそれに付随する音声符号化データを扱ってもよい。
【００７９】
（変形例）
なお、本発明は複数の機器（例えばホストコンピュ−タ、インタ−フェ−ス機器、リ−ダ、プリンタ等）から構成されるシステムの一部として適用しても、１つの機器（例えば複写機、デジタルカメラ等）からなる装置の１部に適用しても良い。
【００８０】
また、本発明は上記実施の形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュ−タ（ＣＰＵ或いはＭＰＵ）に、上記実施の形態を実現するためのソフトウエアのプログラムコ−ドを供給し、このプログラムコ−ドに従って上記システム或いは装置のコンピュ−タが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。
【００８１】
またこの場合、前記ソフトウエアに関するプログラムコ−ド自体が上記実施の形態の機能を実現することになり、そのプログラムコ−ド自体、及びそのプログラムコ−ドをコンピュ−タに供給するための手段、具体的には上記プログラムコ−ドを格納した記憶媒体は本発明の範疇に含まれる。
【００８２】
この様なプログラムコ−ドを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハ−ドディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テ−プ、不揮発性のメモリカ−ド、ＲＯＭ等を用いることができる。
【００８３】
また、上記コンピュ−タが、供給されたプログラムコ−ドのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコ−ドがコンピュ−タ上で稼動しているＯＳ（オペレ−ティングシステム）、或いは他のアプリケ−ションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコ−ドは本発明の範疇に含まれる。
【００８４】
更に、この供給されたプログラムコ−ドが、コンピュ−タの機能拡張ボ−ドやコンピュ−タに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコ−ドの指示に基づいてその機能拡張ボ−ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【００８５】
【発明の効果】
以上の説明により、本発明によれば、希望開始時刻からの動画像データの確実な取得／再生を行うことが可能となる。
【図面の簡単な説明】
【図１】動画像データの説明図である。
【図２】本発明の第１の実施形態における動画像符号化装置の概略構成を示すブロック図である。
【図３】本発明の第１の実施形態におけるフレームデータ符号化部２０２の概略構成を示すブロック図である。
【図４】本発明の第１の実施形態における動画像符号化装置が行う動画像データの、本撮像における符号化処理のフローチャートである。
【図５】本発明の第１の実施形態におけるフレームデータ符号化部２０２が行うフレームデータの符号化処理のフローチャートである。
【図６】１次元離散ウェーブレット変換の説明図である。
【図７】（ａ）は４つのサブバンドに分解する図、（ｂ）は（ａ）のＬＬサブバンドを更に４つのサブバンドに分解する図、（ｃ）は（ｂ）のＬＬサブバンドを更に４つのサブバンドに分解する図である。
【図８】量子化ステップの説明図である。
【図９】コードブロック分割の説明図である。
【図１０】ビットプレーン分割の説明図である。
【図１１】コーディングパスの説明図である。
【図１２】レイヤー生成の説明図である。
【図１３】レイヤー生成の説明図である。
【図１４】タイル符号化データの構成の説明図である。
【図１５】フレーム符号化データの構成の説明図である。
【図１６】タイル分割の説明図である。
【図１７】プレフレームデータの符号化処理のフローチャートである。
【図１８】本発明の第２の実施形態における動画像符号化装置の概略構成を示すブロック図である。
【図１９】本発明の第２の実施形態におけるフレームデータ符号化部１８０１の概略構成を示すブロック図である。
【図２０】本発明の第２の実施形態におけるプレ撮像のフローチャートである。
【図２１】本発明の第２の実施形態におけるプレ撮像のフローチャートである。
【図２２】本発明の第２の実施形態におけるプレ撮像のフローチャートである。
【図２３】本発明の第２の実施形態におけるプレフレーム符号化データの格納方法の説明図である。
【図２４】本発明の第２の実施形態におけるプレフレーム符号化データの格納方法の説明図である。
【図２５】本発明の第２の実施形態におけるプレフレーム符号化データの格納方法の説明図である。
【図２６】本発明の第２の実施形態におけるプレフレーム符号化データの格納方法の説明図である。
【図２７】本発明の第２の実施形態におけるプレフレーム符号化データの格納方法の説明図である。
【図２８】本発明の第２の実施形態におけるプレフレーム符号化データの格納方法の説明図である。
【図２９】（ａ）−（ｃ）は本発明の第２の実施形態におけるプレフレーム符号化データの格納方法の説明図である。
【図３０】本発明の第２の実施形態におけるプレフレーム符号化データの格納方法の説明図である。
【図３１】本発明の第３の実施形態における動画像再生装置の概略構成を示すブロック図である。
【図３２】希望開始時刻と実開始時刻の説明図である。
【図３３】プレフレーム用領域の確保の説明図である。
【図３４】動画像符号化データの構成の説明図である。
【図３５】動画像符号化データの構成の説明図である。

Claims (6)

1. 動画像を符号化して記録する記録装置であって、
   画像の撮像手段と、
   撮像された動画像をフレーム単位のデータに分割する分割手段と、
   フレーム単位のデータを１つもしくは１つ以上の所定の大きさのタイルに分割し、タイル単位のタイルデータを生成するタイルデータ生成手段と、
   前記タイルデータに対して離散ウェーブレット変換を行い、変換係数を生成する変換手段と、
   前記変換係数を量子化して量子化係数を生成する量子化手段と、
   前記量子化係数に対してエントロピー符号化を行い、エントロピー符号化値を生成するエントロピー符号化手段と、
   前記エントロピー符号化値に対して、復号に必要となるヘッダ等の情報を付加してタイル符号化データを生成するタイル符号化データ生成手段と、
   １つもしくは複数あるタイル符号化データを並べて、さらに並べられた複数のタイルに対して復号に必要となるヘッダ等の情報を付加してフレーム符号化データを生成するフレーム符号化データ生成手段と、
   前記フレーム符号化データを記録する記録手段とを有し、
   前記記録手段が本撮像に先立ってプレ撮像の開始を指示されたとき、前記記録手段は記憶媒体上にプレ撮像により得られたフレーム符号化データを繰り返し書き込むための領域を確保し、プレ撮像中は前記領域に画像を繰り返し記録する記録することを特徴とする記録装置。
2. 請求項１において、前記フレーム符号化データ生成手段は、１つもしくはそれ以上のエントロピー符号化値における、視覚上重要でないデータを破棄することでプレフレーム符号化データの固定長化を図ることを特徴とする記録装置。
3. 請求項１において、前記フレーム符号化データ生成手段は、エントロピー符号化値のデータの破棄を行わないで、プレフレーム符号化データの可変長化を図ることを特徴とする記録装置。
4. 請求項１において、前記フレーム符号化データ生成手段は、１つもしくはそれ以上のエントロピー符号化値における、視覚上重要でないデータを破棄した上で、プレフレーム符号化データの可変長化を図ることを特徴とする記録装置。
5. 請求項１において、前記記録手段は本撮像の開始とともに、前記領域に記録されたプレフレーム符号化データを、前記記録媒体上の別の領域に移動させることを特徴とする記録装置。
6. 請求項５において、前記領域は、前記記録媒体に記録されるデータを管理する為の管理用情報を記録する領域内にあって、前記別の領域とは本撮像による画像を記録する為の領域内にあることを特徴とする記録装置。

Images