【０００１】
【発明の属する技術分野】
本発明は、各コマが独立して符号化された動画像符号化データから、通常再生、或いはスロー再生用の復号を行う画像処理に関する。
【０００２】
【従来の技術】
可変フレームレートで動画像を撮像できる撮像装置による撮像動作中に、注目すべき撮像時間、通常のフレームレート（基本フレームレート）より高いフレームレート（高フレームレート）で撮像することがある。このようにして撮像された動画像データを再生する動画像再生装置は、通常、撮像時のフレームレートに追従して再生（追従再生）を行うが、必ずしもこの再生方法が好適であるとは限らない。
【０００３】
例えば、何らかの動作を詳しく観察したい場合には、高フレームレートで撮像して得られたフレーム群をゆっくりと再生（遅延再生）することが考えられる。
【０００４】
【発明が解決しようとする課題】
しかし、動画像再生装置が自動追従再生にしか対応していない場合、遅延再生により複数回観察を繰り返そうとすると、動画像再生装置に毎回手動で遅延再生を指示する必要があり、不便である。
【０００５】
本発明は上記問題点を鑑みてなされたものであり、異なるフレームレートで撮影された動画像が混在する画像データの再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）することを目的とする。
【０００６】
【課題を解決するための手段】
異なるフレームレートで撮影された動画像が混在する動画像データを再生する画像処理方法であって、撮影時のフレームレートで動画像データを再生する第１の再生モードと、予め決められた第１のフレームレートで撮影された動画像データを該第１のフレームレートで再生し、該第１のフレームレートよりも高いフレームレートで撮影された動画像データを、該フレームレートよりも低い第２のフレームレートで再生する第２の再生モードとのいずれかを選択する選択工程と、前記選択された第１または第２の再生モードで、動画像データを再生する再生工程とを有する。
【０００７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【０００８】
＜第１の実施形態＞
（動画像符号化の概略）
まず、動画像符号化データを作成する過程である撮影記録時の処理について、簡単に説明する。
【０００９】
図１は動画像を撮影可能なデジタルカメラ２０１の概念図である。詳細は公知であるので省略するが、本実施の形態においては、動画撮影ボタン２０２を半押しすることで例えば３０フレーム（コマ）／秒（ｆｐｓ）の動画撮影を、全押しすることで例えば６０ｆｐｓの動画撮影を可能であるものとする。例えば、撮影対象物の動きの速度／方向が突然変化するような場合には、通常は半押しで対象物を撮影し、上記変化が起こる前後のみにおいて全押しで対象物を撮影すれば、一連の撮影動作において、３０ｆｐｓと６０ｆｐｓのシーンが混在する動画像を記録することが可能である。
【００１０】
図２（ａ）は上記デジタルカメラ２０１で撮影された各コマの画像を符号化、記録するための、デジタルカメラ２０１内の構成を示す概念図である。図２（ａ）において、２１０は画像入力部、２１１はＪＰＥＧ２０００符号化部、２１２は記録部である。２１３は着脱可能な記録媒体であるが、内蔵されたメモリであってもよい。
【００１１】
上記方法で撮影される各コマは画像入力部２１０からコマ単位に発生する。そしてその各コマ（画像）は、ＪＰＥＧ２０００符号化部２１１において、各コマ毎に独立して符号化される。なお、このＪＰＥＧ２０００符号化部２１１の符号化方式は、後ほど説明する。また、本実施の形態においては、各コマが独立して符号化されていることが重要であり、その符号化方式については特に限定しない。従って、ＪＰＥＧ２０００符号化部２１１の代わりにＪＰＥＧ符号化器を用いても構わない。
【００１２】
ここで符号化された各コマの符号化データは、時系列順に記録部２１２により、記録媒体２１３に記録される。このとき、記録部２１２は、各コマが３０ｆｐｓで撮影して得られたものか、６０ｆｐｓで撮影して得られたものかを画像入力部２１０からの制御信号、或いは図１の撮影ボタン２０２からの制御信号等を監視することにより識別し、記録媒体２１３には、そのコマの符号化データと共に、この識別結果を示す情報も合わせて記録する。これにより、復号化をする際に、３０ｆｐｓまたは６０ｆｐｓのいずれで撮影記録されたコマかを知ることができる。
【００１３】
なお、記録媒体２１３には、各符号化データは連続的に図２（ｂ）に示すように記録される。
【００１４】
（ＪＥＰＧ２０００符号化方法の概略）
次に、ＪＥＰＧ２０００符号化部２１１におけるフレームデータの符号化処理について、図３に示すＪＥＰＧ２０００符号化部２１１の構成および図４のフローチャートを参照して説明する。なお、ヘッダの作成方法等、詳細についてはＩＳＯ／ＩＥＣ勧告書に説明されている通りであるので、ここでは説明を省略する。
【００１５】
以下の説明では、符号化対象となるフレームデータが８ビットのモノクロフレームデータであるものとして説明をする。しかしながら、フレームデータの形態はこれに限るものではなく、各画素４ビット、１０ビット、１２ビットと言った具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００１６】
まず、画像入力部２１０から、フレームデータ入力部３０１へ、符号化対象となる画像のフレームデータがラスタースキャン順に入力され、タイル分割部３０２に出力される。
【００１７】
タイル分割部３０２は、フレームデータ入力部３０１から入力される１枚の画像を図５に示すようなＮ枚のタイルに分割し（ステップＳ５０１）、各タイルを識別するために、本第１の実施形態ではラスタースキャン順にタイル番号０， １， ２， ．．．，Ｎ−１を割り振る。以下、各タイルを表すデータをタイルデータと呼ぶ。なお、図５では画像を横８縦６の４８枚のタイルに分割した例を示しているが、分割タイル数は適宜変更可能であることは言うまでもない。これら生成されたタイルデータは、順に離散ウェーブレット変換部３０３に送られる。離散ウェーブレット変換部３０３以降の処理においては、タイルデータ毎に符号化される。
【００１８】
ステップＳ５０２において、処理しているタイルを認識するためのカウンタをｉ＝０に設定する。
【００１９】
離散ウェーブレット変換部３０３は、タイル分割部３０２から入力される、１フレーム画像のフレームデータ中の１つのタイルデータにおける複数の画素（参照画素）のデータ（以下、「参照画素データ」）を用いて離散ウェーブレット変換を行う（ステップＳ５０３）。
【００２０】
ここで、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
【００２１】
Ｙ（２ｎ），Ｙ（２ｎ＋１）は離散ウェーブレット変換係数列であり、Ｙ（２ｎ）は低周波サブバンド、Ｙ（２ｎ＋１）は高周波サブバンドである。また、上記変換式（１）においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図６である。
【００２２】
上記変換式（１）は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図７（ａ）に示すようなＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じようにして４つのサブバンドに分け（図７（ｂ））、その中のＬＬサブバンドを更に４つのサブバンドに分ける（図７（ｃ））。このようにして合計１０のサブバンドを作る。１０個のサブバンドそれぞれを、図７（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶ。ここで、各サブバンドの名称における数字は、それぞれのサブバンドのレベルを示す。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２、レベル３のサブバンドは、ＨＬ３，ＨＨ３，ＬＨ３である。なおＬＬサブバンドは、レベル０のサブバンドである。ＬＬサブバンドは一つしかないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。
【００２３】
１０個のサブバンドの変換係数は、一旦バッファ３０４に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部３０５へ出力される。
【００２４】
係数量子化部３０５では、バッファ３０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部３０６へ出力する（ステップＳ５０４）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとすると、量子化後の係数値Ｑ（Ｘ）は次式（２）によって求めるものとする。
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝ …（２）
【００２５】
本実施の形態における各周波数成分と量子化ステップとの対応を図８に示す。同図に示すように、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部３０６へ出力する。
【００２６】
エントロピー符号化部３０６は、入力された係数量子化値をエントロピー符号化する（ステップＳ５０５）。ここでは、まず、図９に示すように、入力された係数量子化値の集まりである各サブバンドが矩形（「コードブロック」と呼ぶ。）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックを、図１０に示すように、ビットプレーンに分割する。その上で、各ビットプレーンにおける各ビットは、図１１に示すように所定分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００２７】
なお、エントロピー符号化は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、更にそのコードブロックのあるビットプレーンに注目すると、図１１に示す３種類のパスを上から順に符号化するようになっている。
【００２８】
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部３０７に出力される。
【００２９】
タイル符号化データ生成部３０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーを構成し、それらレイヤーをデータの単位としてタイル符号化データを生成する（ステップＳ５０６）。以下にレイヤーの構成に関する説明を行う。
【００３０】
タイル符号化データ生成部３０７は、図１２に示すように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。図１２は５枚のレイヤーを生成する場合を示している。なお、任意のコードブロックからコーディングパスを取得する際には、図１３に示すように、常にそのコードブロックにおいて最上位に存在するコーディングパスから順に選択する。その後、タイル符号化データ生成部３０７は、図１４に示すように、生成したレイヤーを上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部３０８に出力される。
【００３１】
次に、ステップＳ５０７で符号化すべきタイルデータが残っているかどうかをカウンタｉの値とタイル番号とを比較することにより判断する。符号化すべきタイルデータが残っている場合（つまりｉ＜Ｎ−１）は、ステップＳ５０８でカウンタｉを１増やし、ステップＳ５０３に戻って次のタイルに対してステップＳ５０７までの処理を繰り返す。符号化すべきタイルデータが残っていない場合（つまりｉ＝Ｎ−１）は、ステップＳ５０９に進む。
【００３２】
フレーム符号化データ生成部３０８では、図１４に示すようなタイル符号化データを、図１５に示すように所定の順番（例えば、タイル番号順）に並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ５０９）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部３０９から記録部２１２に出力される。
【００３３】
以上がＪＥＰＧ２０００によるフレームデータの符号化方法の説明である。
【００３４】
（復号再生）
次に、本第１の実施系多における、上述のようにして作成された動画像符号化データを復号化する処理ついて説明する。
【００３５】
図１６は、本実施の形態において使用する画像処理装置の概略図である。
【００３６】
図１６において、１００は各部の動作を制御する制御部である。この制御部１００は後述するユーザーインターフェイスからの指示（例えば、通常再生モードと自動スロー再生モードの切替、再生開始、再生停止、自動スロー再生モードの指示等）も受け取り、これに応じた動作制御を各部に行う。なお、上記各モードで行われる処理については、詳細に後述する。
【００３７】
１０１は読み取り器であり、上述した図２（ａ）の記録媒体２１３に記録された動画像符号化データを読み出すものである。１０２は読み取り器１０１が読み取った動画像符号化データを一旦蓄積するメモリである。メモリ１０２はその他に、この動画像符号化データを復号して得られる復号画像も一旦蓄積する。また、装置内の各部が使用するプログラムデータ等も格納可能であり、各種ワークメモリとしても使用される。
【００３８】
１０３は上述したＪＰＥＧ２０００符号化部３０２の復号側に相当するＪＰＥＧ２０００復号部である。ＪＰＥＧ２０００復号部１０３は、ＪＰＥＧ２０００で符号化され、記録媒体２１３に記録された各コマ毎の符号化データを順次復号する。このＪＥＰＧ２０００の復号方法については、後程説明する。
【００３９】
１０４は表示用メモリであり、次に表示したい１コマ分の画像を記憶させるものである。本実施の形態ではメモリ１０２に一旦格納された復号画像を制御部１００のタイミング制御に基づいて順次（繰り返し同一コマを読み出す場合もある）読み出し、表示用メモリ１０４に書き込むものとする。なお、表示用メモリ１０４は、書き込みと読み出しが重ならないように、複数コマ分の画像データを記憶可能な容量を備えることとし、制御部１００がその書き込みと読み出しも管理する。
【００４０】
１０５は表示部であり、パソコン等のディスプレイに相当する。表示部１０５には、表示部１０５に与えられた表示用フレームレートで、メモリ１０４に保持されたコマ（画像）を表示するものである。なお、本実施の形態では、通常再生時には、入力されたフレームのフレームレートに合わせたフレームレートで、自動スロー再生の有効時には、３０ｆｐｓで各コマを表示する。
【００４１】
１０６は、例えばマウス、キーボード、表示部１０５と一体化したタッチパネル等の指示入力部である。ユーザーは、表示部１０５に表示される操作画面を参照しつつ、指示入力部１０６を介して、再生に関するあらゆる指示を入力することができる。
【００４２】
図１７は、表示部１０５に表示される操作画面を示したものである。図１７において４００は、表示用メモリ１０４に格納された画像を実際に表示する表示領域である。表示部１０５の画面全体ではなく、領域４００に表示される。
【００４３】
４０１と４０２は、通常の時間軸方向への再生を指示するボタンであり、４０１が通常速度の再生を指示する通常再生ボタン、４０２がスロー再生（本第１の実施形態では２分の１の体感速度の再生）を指示するスロー再生ボタンである。４０３は停止ボタンである。
【００４４】
４０４と４０５は、通常の時間軸方向とは逆方向への再生（逆転再生）を指示するボタンであり、４０５が通常速度の逆転再生を指示する通常逆転再生ボタン、４０４がスロー逆転再生（本第１の実施形態では２分の１の体感速度の再生）を指示するスロー逆転再生ボタンである。なお、本実施の形態では、動画像を構成する各コマは独立して符号化されているので、それら各コマを逆順で復号化し表示することで、容易に逆転再生は可能である。なお、上記４０１〜４０５の他に、一時停止ボタンや頭出しボタン等の各種ボタンを設けるようにしてもよい。
【００４５】
次に、動画像符号化データを復号し、表示するまでの動作の流れを図１８を用いて詳しく説明する。
【００４６】
本来であれば、以下に説明する動作の前判断として、動画像符号化データのフレームレート（本第１の実施形態では６０ｆｐｓ及び３０ｆｐｓ）が、動画像符号化データが本発明の目的、効果を生じるべく十分高い値となっていることを確認した方がよいが、本第１の実施形態では３０ｆｐｓよりも十分大きな値である状況を前提とする。また、ここでは時間軸方向の動作指示及び動作についてのみ説明する。
【００４７】
図１８のステップＳ６０１において、再生又は停止の動作ボタン４０１〜４０３のいずれかがユーザにより押されたか否かを判断する。なお、ここでの“押す”という操作は、図１６の指示入力部１０６（マウス等）により、図１７に示す画面上で対応するボタンを選択、実行するものである。
【００４８】
ボタン４０１〜４０３のいずれかが押されると、次のステップＳ６０２において、停止ボタン４０３が押されたかを判断する。停止ボタン４０３が押されていた場合には、ステップＳ６０３に進み、全ての復号、再生動作を停止する。
【００４９】
停止ボタン４０３が押されていない場合は、ステップＳ６０４において、通常再生ボタン４０１が押されたかどうかを判断し、通常再生ボタン４０１が押されていた場合には、ステップＳ６０５に進んで通常再生モードを実行する。なお、通常再生モードの動作の詳細は後述する。通常再生ボタン４０１が押されていなければ、スロー再生ボタン４０２が押されたと判断し、ステップＳ６０６で自動スロー再生モードを実行する。なお、自動スロー再生モードの動作の詳細は後述する。
【００５０】
以上の制御は、ユーザーからの指示入力に基づいて、制御部１００が行う。なお、このボタン４０１〜４０３の押下の確認順は図１８に示す順番に特に限定されない。
【００５１】
（ＪＥＰＧ２０００復号方法）
次にＪＥＰＧ２０００復号部１０３における処理について、図１９にＪＥＰＧ２０００復号部１０３の詳細な構成を示し、図２０のフローチャートを参照して説明する。
【００５２】
フレーム符号化データ入力部２１０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部２１０２に出力される。復号対象タイル決定部２１０２は、図２１に示されているように、左上に存在するタイルから右に向かって、さらに上から下に向かって順に復号対象タイルを決定する。なお、ここでは、決定される復号対象のタイルの枚数をＭとし、各復号対象であるタイルを識別するために、各復号対象タイルに対して番号０〜Ｍ−１を割り振る。この番号の割り振り方は、図２１に示すように、左上に存在するタイルから右に向かって、さらに上から下に向かって番号が増えるようにする。
【００５３】
復号対象タイルを決定した後、処理しているタイルを認識するためのカウンタをｉ＝０に設定する（ステップＳ２５０２）。なおこのステップは、ｉ＞０の時にはスキップされる。
【００５４】
次に、復号対象であるタイル符号化データは、エントロピー復号部２１０３に入力されて、エントロピー復号が行われ、量子化値が復元される（ステップＳ２５０３）。そして復元された量子化値は逆量子化部２１０４に出力される。逆量子化部２１０４は入力した量子化値を逆量子化することにより、離散ウェーブレット変換係数を復元して後続の逆離散ウェーブレット変換部２１０５に出力する（ステップＳ２５０４）。逆量子化は以下の式により行われる。
Ｘｒ＝Ｑ×ｑ
【００５５】
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。逆離散ウェーブレット変換部２１０５では、以下に記述する式に基づいて、逆離散ウェーブレット変換を行う（ステップＳ２５０５）。
【００５６】
ここで、低周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ）、高周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ＋１）とする。また、Ｘ（ｎ）は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部２１０６に出力される（ステップＳ２５０６）。
【００５７】
次に、ステップＳ２５０７で復号対象タイルが残っているかどうかをカウンタｉとタイル番号とを比較することにより判断する。復号化すべきタイルが残っている場合（つまりｉ＜Ｍ−１）は、ステップＳ２５０８でカウンタｉを１増やし、ステップＳ２５０３に戻って次のタイルに対してステップＳ２５０７までの処理を繰り返す。一方、ステップＳ２５０７で復号すべきタイルが残っていない場合（つまりｉ＝Ｍ−１）は、ステップＳ２５０９に進む。
【００５８】
復号フレームデータ出力部２１０６は、復号タイルデータをｉ＝０，…，Ｍ−１の順番で並べた上で復号フレームデータを生成し、復号フレーム出力部２００４に出力する。（ステップＳ２５０８）。
【００５９】
次に、図１８のステップＳ６０５で行われる本第１の実施形態における通常再生モードと、ステップＳ６０６で行われる自動スロー再生モードについて詳細に説明する。
【００６０】
（通常再生モード）
次に通常再生モードの実行方法について詳細に説明する。図２（ｂ）に示すように、３０ｆｐｓ及び／または６０ｆｐｓで撮影されている場合、どちらのフレームレートで撮影、記録されている動画像データを復号する場合においても、通常再生モードでは、撮影時と同じレートで復号し、表示する。
【００６１】
まず、図１６における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されている図２（ｂ）に示すような動画像符号化データ（６０ｆｐｓ及び／または３０ｆｐｓで撮影記録されたもの）を時系列に順次ＪＰＥＧ２０００復号部１０３へ転送し、復号する。ここで得られる復号画像は、順次メモリ１０２の別領域に戻される。
【００６２】
そして動画像符号化データの撮影レートに応じて、３０ｆｐｓ及び／または６０ｆｐｓのタイミングで、復号画像データを表示用メモリ１０４に書き込む。そして、表示部１０５は３０ｆｐｓ及び／または６０ｆｐｓで表示を行う。
【００６３】
この様にして、可変フレームレートで撮像された動画像を通常再生させる。
【００６４】
（自動スロー再生モード）
次に自動スロー再生モード（２分の１倍速）の実行方法について詳細に説明する。６０ｆｐｓと３０ｆｐｓの２つのフレームレートが混在している動画像符号化データにおいて、この自動スロー再生モードでは、いずれの動画像符号化データも３０ｆｐｓの表示フレームレートで表示させる。
【００６５】
まず、図１６における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されている図２（ｂ）に示すような動画像符号化データ（６０ｆｐｓと３０ｆｐｓの混在レートで撮影記録されたもの）を時系列に、３０ｆｐｓの転送速度で、順次ＪＰＥＧ復号部１０３へ転送し、復号化する。
【００６６】
また、ここで得られる復号画像データを、３０ｆｐｓのタイミングで、表示用メモリ１０４に書き込む。自動スロー再生モードでは、表示部１０５は３０ｆｐｓで表示を行う。このように制御することで、６０ｆｐｓで撮影した画像が自動的に半分の速度で再生される。
【００６７】
上記の通り第１の実施形態によれば、自動スロー再生モードにおいて、スロー再生を自動的に行うことができる。
【００６８】
なお、逆転再生（逆転再生ボタン４０４とスロー逆転再生４０５の使用に相当）については、上記説明した通常再生と自動スロー再生における時間軸を全て逆に考えれば良いだけであり、当業者には容易に理解できる処理であるので、説明を省略する。
【００６９】
即ち、本第１の実施形態によれば、異なるフレームレートで撮影された動画像が混在する動画像データを再生する場合に、撮影時のフレームレートで動画像データを再生する第１の再生モードと、予め決められた第１のフレームレートで撮影された動画像データを該第１のフレームレートで再生し、該第１のフレームレートよりも高いフレームレートで撮影された動画像データを、該フレームレートよりも低い第２のフレームレートで再生する第２の再生モードとのいずれかを選択し、選択された第１または第２の再生モードで、動画像データを再生する。
【００７０】
より具体的には、第１のフレームレートと、第２のフレームレートとが同じフレームレートである。
【００７１】
また、更に具体的には、動画像データは、ＪＰＥＧ２０００符号化形式に基づいて、各フレーム毎に独立して符号化されている。
【００７２】
また、別の例では、動画像データは、ＪＰＥＧ符号化形式に基づいて、各フレーム毎に独立して符号化されている。
【００７３】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００７４】
本第２の実施形態では、ユーザーがスロー再生の再生速度を指定する場合について説明する。なお、撮影装置及び撮影処理は上記第１の実施形態と同様であるのでここでは説明を省略するが、本第２の実施形態では、説明の都合上、６０ｆｐｓの代わりに、９０ｆｐｓで撮影してあるものとする。従って、本第２の実施形態では、図２２に示すような動画像符号化データが記録媒体２１３に記録される。また、画像処理装置の構成も第１の実施形態において図１６を参照して説明したものと同様であるので、ここでは説明を省略する。
【００７５】
図２３は、本第２の実施形態において表示部１０５に表示される操作画面を示したものである。図１７とは、スロー再生の再生速度を指定するための表示がある所が異なる。図２３に示す操作画面の例では、ドロップダウンメニュー４０６を表示し、スロー再生ボタン４０２またはスロー逆転再生ボタン４０４の押下に先立って、指示入力部１０６を用いて、再生速度を指定することができる。
【００７６】
図２４は、本第２の実施形態において動画像符号化データを復号し、表示するまでの動作の流れを示すフローチャートである。
【００７７】
まずステップＳ７０１において、図２３の操作画面上で、指示入力部１０６により操作入力されるのを待つ。入力があると、ステップＳ７０２に進み、再生速度の選択指示かどうかを判断する。再生速度がドロップダウンメニュー４０６から選択された場合、ステップＳ７０３に進み、指定された再生速度を設定する。ステップＳ７０２でＮＯであればステップＳ６０２に進むが、これ以降の処理は図１８で同じステップ番号で示したものと同様であるので、説明を省略する。ただし、ステップＳ６０６では、ステップＳ７０３で設定された再生速度に基づいて、自動スロー再生モードを実行する。以下、本第２の実施形態における自動スロー再生モードの動作について説明する。
【００７８】
（自動スロー再生モード）
制御部１００は、スロー再生ボタン４０２またはスロー逆転再生ボタン４０４の押下により自動スロー再生が指示された場合、ドロップダウンメニュー４０６から指定された再生速度でスロー再生できるように、ＪＰＥＧ２０００復号部１０３に入力するフレーム数及び表示部１０５での表示フレームレートを制御する。
【００７９】
図２２に示す動画像符号化データにおいて、３０ｆｐｓで記録されているデータについては、通常再生モードと同様に、制御部１００は、そのまま３０ｆｐｓで読み取り器１０１により読み取り、ＪＰＥＧ２０００復号部１０３で復号し、表示部１０５に表示を行うように制御する。
【００８０】
一方、９０ｆｐｓで記録されているデータについては、例えば、表示部１０５の表示速度が３０ｆｐｓ固定である場合、１／１．５倍速スロー再生を実現するために、制御部１００は、９０ｆｐｓで撮像されたフレーム群に対して、２フレームに１フレームを間引きながら、つまり４５ｆｐｓのデータを、３０ｆｐｓでＪＰＥＧ２０００復号部１０３に出力するように制御する。または、表示部１０５の表示速度を６０ｆｐｓにし、９０ｆｐｓで撮影されたフレーム群を６０ｆｐｓでＪＰＥＧ２０００復号部１０３に順次出力することによっても１／１．５倍速スロー再生を実現することができる。
【００８１】
また、１／２倍速が選択されている場合、９０ｆｐｓで撮像されたフレーム群に対して、３フレームに１フレームを間引きながら、つまり６０ｆｐｓのデータを、３０ｆｐｓでＪＰＥＧ２０００復号部１０３に出力するように制御する。または、表示部１０５の表示速度を４５ｆｐｓにし、９０ｆｐｓで撮影されたフレーム群を４５ｆｐｓでＪＰＥＧ２０００復号部１０３に順次出力することによっても１／２倍速スロー再生を実現することができる。
【００８２】
また、１／３倍速が選択されている場合には、９０ｆｐｓで撮像されたフレーム群を、３０ｆｐｓで順次ＪＰＥＧ２０００復号部１０３に出力するように制御すればよい。
このように、読み出し速度、間引きレート、表示レートを適宜調整することにより、上記以外のスロー再生速度を達成することができることは言うまでもない。
【００８３】
以上説明したように、本第２の実施形態によれば、スロー再生モードにおいて、指定した速さで自動的にスロー再生を行うことができる。
【００８４】
即ち、本第２の実施形態によれば、本第１の実施形態の第２の再生モードでの再生時における、高いフレームレートで撮影された動画像データを再生する速度を設定する。
【００８５】
より具体的には、設定された再生速度に基づいて、高いフレームレートで撮影された動画像データを間引く。
【００８６】
更に、設定された再生速度に基づいて、第２のフレームレートを決定する。
【００８７】
【他の実施形態】
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００８８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図１８または図２４に示すフローチャートに対応するプログラムコードや、図１７または図２３に示す操作画面を表示させるプログラムコードが格納されることになる。
【００９０】
【発明の効果】
以上説明したように本発明によれば、異なるフレームレートで撮影された動画像が混在する画像データの再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における動画像を撮影可能なデジタルカメラの概略図である。
【図２】図１のデジタルカメラにおける符号化及び記録に関わる機能の概略を示すブロック図である。
【図３】本発明の実施の形態におけるＪＰＥＧ２０００符号化部の概略構成を示すブロック図である。
【図４】本発明の実施の形態におけるＪＰＥＧ２０００符号化部が行うフレームデータの符号化処理のフローチャートである。
【図５】タイル分割の説明図である。
【図６】１次元離散ウェーブレット変換の説明図である。
【図７】（ａ）は４つのサブバンドに分解する図、（ｂ）は（ａ）のＬＬサブバンドを更に４つのサブバンドに分解する図、（ｃ）は（ｂ）のＬＬサブバンドを更に４つのサブバンドに分解する図である。
【図８】量子化ステップの説明図である。
【図９】コードブロック分割の説明図である。
【図１０】ビットプレーン分割の説明図である。
【図１１】コーディングパスの説明図である。
【図１２】レイヤー生成の説明図である。
【図１３】レイヤー生成の説明図である。
【図１４】タイル符号化データの構成の説明図である。
【図１５】フレーム符号化データの構成の説明図である。
【図１６】本発明の第１の実施形態における画像処理装置の概略を示すブロック図である。
【図１７】本発明の第１の実施形態における表示部に表示される操作画面の一例を示す図である。
【図１８】本発明の第１の実施形態における操作画面からの指示に基づく画像処理装置の動作を示すフローチャートである。
【図１９】本発明の実施の形態におけるＪＰＥＧ２０００復号部の概略構成を示すブロック図である。
【図２０】本発明の実施の形態におけるＪＰＥＧ２０００復号部における復号処理を示すフローチャートである。
【図２１】タイルの復号順序の説明図である。
【図２２】本発明の第２の実施形態における画像符号化データの概念を示す図である。
【図２３】本発明の第２の実施形態における表示部に表示される操作画面の一例を示す図である。
【図２４】本発明の第２の実施形態における操作画面からの指示に基づく画像処理装置の動作を示すフローチャートである。
【符号の説明】
１００ 制御部
１０１ 読み取り器
１０２ メモリ
１０３ ＪＰＥＧ２０００復号部
１０４ 表示用メモリ
１０５ 表示部
１０６ 指示入力部
２０１ デジタルカメラ
２０２ 動画撮影ボタン
２１０ 画像入力部
２１１ ＪＰＥＧ２０００符号化部
２１２ 記録部
２１３ 記録媒体
３０１ フレームデータ入力部
３０２ タイル分割部
３０３ 離散ウェーブレット変換部
３０４ バッファ
３０５ 係数量子化部
３０６ エントロピー符号化部
３０７ タイル符号化データ生成部
３０８ フレーム符号化データ生成部
３０９ フレーム符号化データ出力部
４００ 表示領域
４０１ 通常再生ボタン
４０２ スロー再生ボタン
４０３ 停止ボタン
４０４ 通常逆転再生ボタン
４０５ スロー逆転再生ボタン
４０６ ドロップダウンメニュー
２１０１ フレーム符号化データ入力部
２１０２ 復号対象タイル決定部
２１０３ エントロピー復号部
２１０４ 逆量子化部
２１０５ 逆離散ウェーブレット変換部
２１０６ 復号フレームデータ出力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to image processing for performing decoding for normal reproduction or slow reproduction from moving image encoded data in which each frame is independently encoded.
[0002]
[Prior art]
During an imaging operation by an imaging device that can capture a moving image at a variable frame rate, an image may be captured at a remarkable imaging time and a frame rate (high frame rate) higher than a normal frame rate (basic frame rate). A moving image reproducing apparatus that reproduces moving image data captured in this way normally performs reproduction (follow-up reproduction) following the frame rate at the time of imaging, but this reproducing method is not always suitable. Absent.
[0003]
For example, when it is desired to observe some operation in detail, it is conceivable to slowly reproduce (delay reproduction) a frame group obtained by imaging at a high frame rate.
[0004]
[Problems to be solved by the invention]
However, when the moving image reproducing apparatus supports only the automatic follow-up reproduction, if the observation is repeated a plurality of times by the delayed reproduction, it is necessary to manually instruct the moving image reproducing apparatus to perform the delayed reproduction every time, which is inconvenient.
[0005]
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and automatically reproduces a group of frames shot at a high frame rate when playing back image data in which moving images shot at different frame rates are mixed. (Slow playback).
[0006]
[Means for Solving the Problems]
An image processing method for reproducing moving image data in which moving images photographed at different frame rates are mixed, wherein a first reproduction mode for reproducing moving image data at a frame rate at the time of photographing and a first predetermined reproduction mode Moving image data shot at the first frame rate, and reproducing moving image data shot at a frame rate higher than the first frame rate into a second moving image data lower than the frame rate. The method includes a selection step of selecting one of a second reproduction mode for reproducing at a frame rate, and a reproduction step of reproducing moving image data in the selected first or second reproduction mode.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0008]
<First embodiment>
(Outline of video coding)
First, the processing at the time of shooting and recording, which is a process of creating moving image encoded data, will be briefly described.
[0009]
FIG. 1 is a conceptual diagram of a digital camera 201 that can capture a moving image. Although the details are publicly known, the description is omitted. In the present embodiment, the moving image shooting button 202 is pressed halfway, for example, 30 frames (frames) / second (fps) moving image shooting is performed, and the moving image shooting button 202 is fully pressed, for example, 60 fps. It is assumed that video shooting can be performed. For example, when the speed / direction of the movement of the photographing object suddenly changes, the object is normally photographed by half-pressing, and the object is photographed by full pressing only before and after the above-mentioned change occurs. It is possible to record a moving image in which 30 fps and 60 fps scenes are mixed.
[0010]
FIG. 2A is a conceptual diagram showing a configuration inside the digital camera 201 for encoding and recording an image of each frame taken by the digital camera 201. In FIG. 2A, reference numeral 210 denotes an image input unit, 211 denotes a JPEG2000 encoding unit, and 212 denotes a recording unit. Reference numeral 213 denotes a removable recording medium, but it may be a built-in memory.
[0011]
Each frame photographed by the above method is generated from the image input unit 210 for each frame. Then, each frame (image) is independently encoded for each frame in the JPEG2000 encoding unit 211. The encoding method of the JPEG2000 encoding unit 211 will be described later. Also, in the present embodiment, it is important that each frame is independently encoded, and the encoding method is not particularly limited. Therefore, a JPEG encoder may be used instead of the JPEG2000 encoding unit 211.
[0012]
The encoded data of each frame encoded here is recorded on the recording medium 213 by the recording unit 212 in chronological order. At this time, the recording unit 212 determines whether each frame is obtained by shooting at 30 fps or obtained by shooting at 60 fps from the control signal from the image input unit 210 or from the shooting button 202 in FIG. By monitoring the control signal and the like of the frame, the identification information is recorded on the recording medium 213 together with the encoded data of the frame and information indicating the identification result. Thereby, when decoding, it is possible to know whether the frame was shot and recorded at 30 fps or 60 fps.
[0013]
Note that the encoded data is continuously recorded on the recording medium 213 as shown in FIG.
[0014]
(Outline of the JPEGG2000 encoding method)
Next, the encoding process of the frame data in the JPEG 2000 encoding unit 211 will be described with reference to the configuration of the JPEG 2000 encoding unit 211 shown in FIG. 3 and the flowchart of FIG. The details such as the method of creating the header are as described in the ISO / IEC recommendation, so that the description is omitted here.
[0015]
In the following description, it is assumed that frame data to be encoded is 8-bit monochrome frame data. However, the form of the frame data is not limited to this, and a monochrome image represented by a bit number other than 8 bits, such as 4 bits, 10 bits, and 12 bits, or each color component (RGB / Lab) in each pixel / YCrCb) can be applied to the case of color multi-valued frame data expressed by 8 bits. Further, the present invention can be applied to a case where it is multi-valued information indicating the state of each pixel constituting an image, for example, a case of a multi-valued index value indicating the color of each pixel. When applied to these, each type of multi-valued information may be used as monochrome frame data described later.
[0016]
First, frame data of an image to be encoded is input from the image input unit 210 to the frame data input unit 301 in raster scan order, and output to the tile division unit 302.
[0017]
The tile division unit 302 divides one image input from the frame data input unit 301 into N tiles as shown in FIG. 5 (step S501), and identifies the first tile in order to identify each tile. In the embodiment, tile numbers 0, 1, 2,. . . , N−1. Hereinafter, data representing each tile is referred to as tile data. Although FIG. 5 shows an example in which the image is divided into 48 tiles of 8 rows and 6 columns, it goes without saying that the number of divided tiles can be changed as appropriate. These generated tile data are sequentially sent to the discrete wavelet transform unit 303. In the processing after the discrete wavelet transform unit 303, encoding is performed for each tile data.
[0018]
In step S502, a counter for recognizing the tile being processed is set to i = 0.
[0019]
The discrete wavelet transform unit 303 uses data of a plurality of pixels (reference pixels) in one tile data in frame data of one frame image input from the tile division unit 302 (hereinafter, “reference pixel data”). A discrete wavelet transform is performed (step S503).
[0020]
Here, the frame data (discrete wavelet transform coefficients) after the discrete wavelet transform is shown.
[0021]
Y (2n) and Y (2n + 1) are discrete wavelet transform coefficient sequences, Y (2n) is a low frequency subband, and Y (2n + 1) is a high frequency subband. In the above conversion formula (1), floor {X} represents the maximum integer value not exceeding X. FIG. 6 schematically illustrates the discrete wavelet transform.
[0022]
The above conversion formula (1) is for one-dimensional data. By applying this conversion in the horizontal and vertical directions to perform two-dimensional conversion, LL, LL as shown in FIG. It can be divided into four subbands HL, LH, HH. Here, L indicates a low frequency sub-band, and H indicates a high frequency sub-band. Next, the LL sub-band is similarly divided into four sub-bands (FIG. 7 (b)), and the LL sub-band therein is further divided into four sub-bands (FIG. 7 (c)). In this way, a total of 10 subbands are created. Each of the ten subbands is called HH1, HL1,... As shown in FIG. Here, the number in the name of each subband indicates the level of each subband. That is, the level 1 subbands are HL1, HH1, LH1, the level 2 subbands are HL2, HH2, LH2, and the level 3 subbands are HL3, HH3, LH3. Note that the LL subband is a level 0 subband. Since there is only one LL subband, no subscript is added. A decoded image obtained by decoding the subbands from level 0 to level n is referred to as a level n decoded image. The higher the level of the decoded image, the higher the resolution.
[0023]
The transform coefficients of the ten subbands are temporarily stored in the buffer 304, and are arranged in the order of LL, HL1, LH1, HH1, HL2, LH2, HH2, HL3, LH3, and HH3, that is, from the subband with the lower level to the higher level. Output to coefficient quantization section 305 in the order of subbands.
[0024]
The coefficient quantization unit 305 quantizes the transform coefficient of each subband output from the buffer 304 at a quantization step determined for each frequency component, and a value after quantization (coefficient quantization value) is entropy coded. 306 (step S504). Assuming that the coefficient value is X and the value of the quantization step for the frequency component to which the coefficient belongs is q, the quantized coefficient value Q (X) is obtained by the following equation (2).
Q (X) = floor {(X / q) +0.5} (2)
[0025]
FIG. 8 shows the correspondence between each frequency component and the quantization step in the present embodiment. As shown in the figure, a larger quantization step is given to a subband having a higher level. It is assumed that the quantization step for each subband is stored in a memory such as a RAM or a ROM (not shown) in advance. Then, after quantizing all transform coefficients in one sub-band, those quantized values are output to entropy coding section 306.
[0026]
The entropy encoding unit 306 entropy-encodes the input coefficient quantization value (Step S505). Here, first, as shown in FIG. 9, each subband, which is a set of input coefficient quantization values, is divided into rectangles (called “code blocks”). The size of the code block is set to 2m × 2n (m and n are integers of 2 or more). Further, the code block is divided into bit planes as shown in FIG. Then, each bit in each bit plane is divided into three types based on a predetermined classification rule as shown in FIG. 11, and three types of coding paths in which bits of the same type are collected are generated. The input coefficient quantized value is subjected to binary arithmetic coding, which is entropy coding, using the obtained coding pass as a unit to generate an entropy coded value.
[0027]
In the entropy coding, when one code block is focused on, encoding is performed in the order from the upper bit plane to the lower bit plane. When focusing on a bit plane in which the code block is located, three types of paths shown in FIG. The encoding is performed in order.
[0028]
The entropy-coded coding pass is output to the tile-coded data generation unit 307.
[0029]
The tile coded data generation unit 307 forms a single or a plurality of layers from the input plurality of coding passes, and generates tile coded data using the layers as data units (step S506). The following describes the layer configuration.
[0030]
As illustrated in FIG. 12, the tile encoded data generation unit 307 forms a layer after collecting entropy-encoded coding paths from a plurality of code blocks in a plurality of subbands. FIG. 12 shows a case where five layers are generated. When acquiring a coding path from an arbitrary code block, as shown in FIG. 13, the coding path is always selected in order from the coding path existing at the top of the code block. Thereafter, as illustrated in FIG. 14, the tile encoded data generation unit 307 generates the tile encoded data by arranging the generated layers in order from the upper layer and adding a tile header to the top thereof. . The header stores information for identifying the tile, the code length of the tile encoded data, various parameters used for compression, and the like. The tile encoded data thus generated is output to the frame encoded data generating unit 308.
[0031]
Next, it is determined in step S507 whether tile data to be encoded remains by comparing the value of the counter i with the tile number. If tile data to be encoded remains (i.e., i <N-1), the counter i is incremented by 1 in step S508, and the process returns to step S503 to repeat the processing up to step S507 for the next tile. If tile data to be encoded does not remain (i.e., i = N-1), the process proceeds to step S509.
[0032]
The frame coded data generation unit 308 arranges the tile coded data as shown in FIG. 14 in a predetermined order (for example, in the order of tile numbers) as shown in FIG. Frame encoded data is generated (step S509). This header stores the vertical and horizontal sizes of the input image and tiles, various parameters used for compression, and the like. The frame coded data generated in this way is output from the frame coded data output unit 309 to the recording unit 212.
[0033]
The above is the description of the frame data encoding method according to JEPG2000.
[0034]
(Decryption playback)
Next, a process of decoding the encoded moving picture data created as described above in the first embodiment will be described.
[0035]
FIG. 16 is a schematic diagram of an image processing apparatus used in the present embodiment.
[0036]
In FIG. 16, reference numeral 100 denotes a control unit that controls the operation of each unit. The control unit 100 also receives instructions from a user interface to be described later (for example, switching between normal playback mode and automatic slow playback mode, playback start, playback stop, instructions for automatic slow playback mode, etc.), and performs operation control according to the instructions. Perform for each part. The processing performed in each of the above modes will be described later in detail.
[0037]
Reference numeral 101 denotes a reader for reading out the encoded moving image data recorded on the recording medium 213 shown in FIG. Reference numeral 102 denotes a memory for temporarily storing moving image encoded data read by the reader 101. The memory 102 also temporarily stores a decoded image obtained by decoding the encoded moving image data. Also, program data and the like used by each unit in the apparatus can be stored, and used as various work memories.
[0038]
Reference numeral 103 denotes a JPEG2000 decoding unit corresponding to the decoding side of the JPEG2000 encoding unit 302 described above. The JPEG2000 decoding unit 103 sequentially decodes the encoded data for each frame, which is encoded by JPEG2000 and recorded on the recording medium 213. The decoding method of this JEPG2000 will be described later.
[0039]
Reference numeral 104 denotes a display memory for storing an image of one frame to be displayed next. In the present embodiment, it is assumed that the decoded images once stored in the memory 102 are sequentially read (the same frame may be repeatedly read) and written into the display memory 104 based on the timing control of the control unit 100. The display memory 104 has a capacity capable of storing a plurality of frames of image data so that writing and reading do not overlap, and the control unit 100 manages writing and reading.
[0040]
A display unit 105 corresponds to a display of a personal computer or the like. The display unit 105 displays frames (images) stored in the memory 104 at the display frame rate given to the display unit 105. In the present embodiment, each frame is displayed at a frame rate that matches the frame rate of the input frame during normal playback, and at 30 fps when automatic slow playback is enabled.
[0041]
Reference numeral 106 denotes an instruction input unit such as a mouse, a keyboard, and a touch panel integrated with the display unit 105. The user can input any instruction related to reproduction via the instruction input unit 106 while referring to the operation screen displayed on the display unit 105.
[0042]
FIG. 17 shows an operation screen displayed on the display unit 105. In FIG. 17, reference numeral 400 denotes a display area for actually displaying an image stored in the display memory 104. The image is displayed not in the entire screen of the display unit 105 but in the area 400.
[0043]
401 and 402 are buttons for instructing playback in the normal time axis direction, 401 is a normal playback button for instructing playback at a normal speed, and 402 is slow playback (in the first embodiment, a half playback button). This is a slow playback button for instructing playback of the sensation speed). 403 is a stop button.
[0044]
Reference numerals 404 and 405 denote buttons for instructing playback in the direction opposite to the normal time axis direction (reverse playback). Reference numeral 405 denotes a normal reverse playback button for instructing normal speed reverse playback. In the first embodiment, the button is a slow reverse playback button for instructing (playback at half the perceived speed). In the present embodiment, since each frame constituting a moving image is independently encoded, reverse reproduction can be easily performed by decoding and displaying each frame in reverse order. Various buttons such as a pause button and a cue button may be provided in addition to the buttons 401 to 405.
[0045]
Next, the flow of operations from decoding of encoded video data to display will be described in detail with reference to FIG.
[0046]
Originally, the frame rate (60 fps and 30 fps in the first embodiment) of the encoded video data is determined as a pre-judgment for the operation described below. It is better to confirm that the value is as high as possible, but in the first embodiment, it is assumed that the value is sufficiently larger than 30 fps. Here, only the operation instruction and operation in the time axis direction will be described.
[0047]
In step S601 in FIG. 18, it is determined whether any of the play or stop operation buttons 401 to 403 has been pressed by the user. Note that the operation of “pressing” here is to select and execute a corresponding button on the screen shown in FIG. 17 by the instruction input unit 106 (mouse or the like) in FIG.
[0048]
When any of the buttons 401 to 403 is pressed, it is determined in the next step S602 whether the stop button 403 has been pressed. If the stop button 403 has been pressed, the process advances to step S603 to stop all decoding and reproduction operations.
[0049]
If the stop button 403 has not been pressed, it is determined in step S604 whether or not the normal play button 401 has been pressed. If the normal play button 401 has been pressed, the process proceeds to step S605 and the normal play mode is set. Execute. The details of the operation in the normal reproduction mode will be described later. If the normal play button 401 has not been pressed, it is determined that the slow play button 402 has been pressed, and the automatic slow play mode is executed in step S606. The details of the operation in the automatic slow motion play mode will be described later.
[0050]
The control described above is performed by the control unit 100 based on an instruction input from a user. The order in which the buttons 401 to 403 are pressed is not particularly limited to the order shown in FIG.
[0051]
(JPEG 2000 decoding method)
Next, the processing in the JEPG2000 decoding unit 103 will be described with reference to the flowchart of FIG.
[0052]
The encoded frame data and the information on the reproduction method input to the encoded frame data input unit 2101 are output to the decoding target tile determination unit 2102. As illustrated in FIG. 21, the decoding target tile determination unit 2102 determines the decoding target tile in order from the upper left tile to the right, and further from the top to the bottom. Here, the number of tiles to be determined is M, and numbers 0 to M−1 are assigned to each of the tiles to be decoded in order to identify each tile to be decoded. As shown in FIG. 21, the numbers are assigned such that the numbers increase from the upper left tile to the right, and further from the top to the bottom.
[0053]
After determining the decoding target tile, the counter for recognizing the tile being processed is set to i = 0 (step S2502). This step is skipped when i> 0.
[0054]
Next, the tile encoded data to be decoded is input to the entropy decoding unit 2103, where entropy decoding is performed, and the quantization value is restored (step S2503). Then, the restored quantization value is output to the inverse quantization unit 2104. The inverse quantization unit 2104 restores the discrete wavelet transform coefficient by inversely quantizing the input quantization value, and outputs the discrete wavelet transform coefficient to the subsequent inverse discrete wavelet transform unit 2105 (step S2504). The inverse quantization is performed by the following equation.
Xr = Q × q
[0055]
Here, Q is a quantization value, q is a quantization step, and Xr is a restored discrete wavelet transform coefficient. The inverse discrete wavelet transform unit 2105 performs an inverse discrete wavelet transform based on the following equation (step S2505).
[0056]
Here, the discrete wavelet transform coefficient of the low frequency sub-band is Y (2n), and the discrete wavelet transform coefficient of the high frequency sub-band is Y (2n + 1). X (n) is the decoded data. Although this conversion formula is for one-dimensional data, two-dimensional conversion is performed by applying this conversion in the horizontal and vertical directions in this order. Then, decoded tile data is generated and output to the decoded frame data output unit 2106 (step S2506).
[0057]
Next, in step S2507, it is determined whether or not the decoding target tile remains by comparing the counter i with the tile number. If tiles to be decoded remain (i.e., i <M-1), the counter i is incremented by 1 in step S2508, and the process returns to step S2503 to repeat the processing up to step S2507 for the next tile. On the other hand, if there is no tile to be decoded in step S2507 (i.e., i = M-1), the process advances to step S2509.
[0058]
The decoded frame data output unit 2106 generates decoded frame data after arranging the decoded tile data in the order of i = 0,..., M−1, and outputs the generated decoded frame data to the decoded frame output unit 2004. (Step S2508).
[0059]
Next, the normal reproduction mode in the first embodiment performed in step S605 of FIG. 18 and the automatic slow reproduction mode performed in step S606 will be described in detail.
[0060]
(Normal playback mode)
Next, a method of executing the normal reproduction mode will be described in detail. As shown in FIG. 2B, in the normal reproduction mode, when shooting at 30 fps and / or 60 fps, decoding the moving image data shot and recorded at either frame rate. Decode and display at the same rate as.
[0061]
First, moving picture coded data (photographed and recorded at 60 fps and / or 30 fps) as shown in FIG. 2B, which is read from the reader 101 in FIG. Are sequentially transferred to the JPEG2000 decoding unit 103 for decoding. The decoded images obtained here are sequentially returned to another area of the memory 102.
[0062]
The decoded image data is written to the display memory 104 at a timing of 30 fps and / or 60 fps according to the shooting rate of the encoded video data. Then, the display unit 105 performs display at 30 fps and / or 60 fps.
[0063]
In this way, a moving image captured at a variable frame rate is normally reproduced.
[0064]
(Automatic slow play mode)
Next, a method of executing the automatic slow play mode (1/2 speed) will be described in detail. In the moving image encoded data in which two frame rates of 60 fps and 30 fps are mixed, in the automatic slow motion playback mode, all the encoded image data are displayed at a display frame rate of 30 fps.
[0065]
First, as shown in FIG. 2B, the moving picture coded data (recorded at a mixed rate of 60 fps and 30 fps) as shown in FIG. 2B, which is read from the reader 101 in FIG. The stream is sequentially transferred to the JPEG decoding unit 103 at a transfer rate of 30 fps and decoded.
[0066]
The decoded image data obtained here is written into the display memory 104 at a timing of 30 fps. In the automatic slow motion playback mode, the display unit 105 performs display at 30 fps. By performing such control, an image captured at 60 fps is automatically reproduced at half speed.
[0067]
As described above, according to the first embodiment, the slow playback can be automatically performed in the automatic slow playback mode.
[0068]
Note that the reverse playback (corresponding to the use of the reverse playback button 404 and the slow reverse playback 405) can be realized by simply reversing the time axes of the normal playback and the automatic slow playback described above, and is easily understood by those skilled in the art. Since the process can be understood, the description is omitted.
[0069]
That is, according to the first embodiment, when reproducing moving image data in which moving images captured at different frame rates are mixed, the first reproduction mode for reproducing the moving image data at the frame rate at the time of photographing Moving image data shot at a predetermined first frame rate is reproduced at the first frame rate, and moving image data shot at a frame rate higher than the first frame rate is One of the second reproduction modes for reproducing at a second frame rate lower than the frame rate is selected, and the moving image data is reproduced in the selected first or second reproduction mode.
[0070]
More specifically, the first frame rate and the second frame rate are the same frame rate.
[0071]
More specifically, the moving image data is independently encoded for each frame based on the JPEG2000 encoding format.
[0072]
In another example, the moving image data is independently encoded for each frame based on the JPEG encoding format.
[0073]
<Second embodiment>
Next, a second embodiment of the present invention will be described.
[0074]
In the second embodiment, a case will be described in which the user specifies the playback speed of slow playback. Note that the photographing apparatus and the photographing process are the same as those in the first embodiment, and the description is omitted here. However, in the second embodiment, the photographing is performed at 90 fps instead of 60 fps for convenience of description. There is. Therefore, in the second embodiment, moving image encoded data as shown in FIG. 22 is recorded on the recording medium 213. Further, the configuration of the image processing apparatus is the same as that described in the first embodiment with reference to FIG.
[0075]
FIG. 23 shows an operation screen displayed on the display unit 105 in the second embodiment. 17 is different from FIG. 17 in that a display for designating the playback speed of the slow playback is provided. In the example of the operation screen shown in FIG. 23, a drop-down menu 406 is displayed, and the playback speed can be designated using the instruction input unit 106 before the slow playback button 402 or the slow reverse playback button 404 is pressed. .
[0076]
FIG. 24 is a flowchart showing the flow of operations from decoding encoded video data to displaying it in the second embodiment.
[0077]
First, in step S701, the process waits for an operation input by the instruction input unit 106 on the operation screen in FIG. If there is an input, the process proceeds to step S702, and it is determined whether the instruction is a reproduction speed selection instruction. If the playback speed has been selected from the drop-down menu 406, the process advances to step S703 to set the designated playback speed. If “NO” in the step S702, the process proceeds to the step S602, but the subsequent processes are the same as those indicated by the same step numbers in FIG. However, in step S606, the automatic slow playback mode is executed based on the playback speed set in step S703. Hereinafter, the operation in the automatic slow motion play mode according to the second embodiment will be described.
[0078]
(Automatic slow play mode)
When an automatic slow playback is instructed by pressing the slow playback button 402 or the slow reverse playback button 404, the control unit 100 inputs to the JPEG2000 decoding unit 103 so that slow playback can be performed at the playback speed designated from the drop-down menu 406. The number of frames to be displayed and the display frame rate on the display unit 105 are controlled.
[0079]
In the moving picture coded data shown in FIG. 22, with respect to the data recorded at 30 fps, the control unit 100 reads the data as it is at 30 fps by the reader 101 and decodes it at the JPEG2000 decoding unit 103, as in the normal playback mode. The display is controlled to be displayed on the display unit 105.
[0080]
On the other hand, for data recorded at 90 fps, for example, when the display speed of the display unit 105 is fixed at 30 fps, the control unit 100 captures images at 90 fps in order to realize 1 / 1.5 speed slow reproduction. With respect to the group of frames, control is performed such that data of 45 fps is output to the JPEG2000 decoding unit 103 at 30 fps while thinning one frame out of two frames. Alternatively, by setting the display speed of the display unit 105 to 60 fps and sequentially outputting a frame group shot at 90 fps to the JPEG2000 decoding unit 103 at 60 fps, 1 / 1.5-times slow playback can be realized.
[0081]
Also, when 1/2 × speed is selected, a frame group captured at 90 fps is output to the JPEG2000 decoding unit 103 while thinning out one frame out of three frames, that is, 60 fps data at 30 fps. Control. Alternatively, the display speed of the display unit 105 is set to 45 fps, and the frame group shot at 90 fps is sequentially output to the JPEG2000 decoding unit 103 at 45 fps, so that the half-speed slow reproduction can be realized.
[0082]
When 1/3 speed is selected, control may be performed so that a frame group captured at 90 fps is sequentially output to the JPEG2000 decoding unit 103 at 30 fps.
As described above, it is needless to say that a slow reproduction speed other than the above can be achieved by appropriately adjusting the reading speed, the thinning rate, and the display rate.
[0083]
As described above, according to the second embodiment, slow playback can be automatically performed at a specified speed in the slow playback mode.
[0084]
That is, according to the second embodiment, the speed at which the moving image data captured at a high frame rate is reproduced at the time of the reproduction in the second reproduction mode of the first embodiment is set.
[0085]
More specifically, moving image data shot at a high frame rate is thinned out based on the set playback speed.
[0086]
Further, a second frame rate is determined based on the set reproduction speed.
[0087]
[Other embodiments]
An object of the present invention is to supply a storage medium (or a recording medium) in which program codes of software for realizing the functions of the above-described embodiments are recorded to a system or an apparatus, and to provide a computer (or CPU or MPU) of the system or the apparatus. Can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the storage medium storing the program code constitutes the present invention. When the computer executes the readout program code, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing. Here, examples of the storage medium for storing the program code include a flexible disk, a hard disk, a ROM, a RAM, a magnetic tape, a nonvolatile memory card, a CD-ROM, a CD-R, a DVD, an optical disk, a magneto-optical disk, and an MO. Can be considered.
[0088]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function of the program is performed based on the instruction of the program code. It goes without saying that the CPU included in the expansion card or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0089]
When the present invention is applied to the storage medium, the storage medium has a program code corresponding to the flowchart shown in FIG. 18 or FIG. 24 described above or a program code for displaying the operation screen shown in FIG. 17 or FIG. Will be stored.
[0090]
【The invention's effect】
As described above, according to the present invention, when playing back image data in which moving images shot at different frame rates are mixed, a frame group shot at a high frame rate is automatically automatically delayed (slow playback). can do.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of a digital camera capable of capturing a moving image according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an outline of functions related to encoding and recording in the digital camera in FIG. 1;
FIG. 3 is a block diagram illustrating a schematic configuration of a JPEG2000 encoding unit according to the embodiment of the present invention.
FIG. 4 is a flowchart of a frame data encoding process performed by a JPEG2000 encoding unit according to the embodiment of the present invention.
FIG. 5 is an explanatory diagram of tile division.
FIG. 6 is an explanatory diagram of a one-dimensional discrete wavelet transform.
7A is a diagram in which the LL subband of FIG. 7A is decomposed into four subbands, FIG. 7B is a diagram in which the LL subband of FIG. 7A is further decomposed into four subbands, and FIG. Is further decomposed into four subbands.
FIG. 8 is an explanatory diagram of a quantization step.
FIG. 9 is an explanatory diagram of code block division.
FIG. 10 is an explanatory diagram of bit plane division.
FIG. 11 is an explanatory diagram of a coding pass.
FIG. 12 is an explanatory diagram of layer generation.
FIG. 13 is an explanatory diagram of layer generation.
FIG. 14 is an explanatory diagram of the configuration of tile encoded data.
FIG. 15 is an explanatory diagram of a configuration of frame encoded data.
FIG. 16 is a block diagram schematically illustrating an image processing apparatus according to the first embodiment of the present invention.
FIG. 17 is a diagram illustrating an example of an operation screen displayed on the display unit according to the first embodiment of the present invention.
FIG. 18 is a flowchart illustrating an operation of the image processing apparatus based on an instruction from an operation screen according to the first embodiment of the present invention.
FIG. 19 is a block diagram illustrating a schematic configuration of a JPEG2000 decoding unit according to the embodiment of the present invention.
FIG. 20 is a flowchart showing a decoding process in a JPEG2000 decoding unit according to the embodiment of the present invention.
FIG. 21 is an explanatory diagram of a tile decoding order.
FIG. 22 is a diagram illustrating the concept of image encoded data according to the second embodiment of the present invention.
FIG. 23 is a diagram illustrating an example of an operation screen displayed on a display unit according to the second embodiment of the present invention.
FIG. 24 is a flowchart illustrating an operation of the image processing apparatus based on an instruction from an operation screen according to the second embodiment of the present invention.
[Explanation of symbols]
100 control unit
101 Reader
102 memory
103 JPEG2000 decoding unit
104 Display memory
105 Display
106 Instruction input unit
201 Digital Camera
202 Movie shooting button
210 Image input unit
211 JPEG2000 encoder
212 Recorder
213 Recording medium
301 Frame data input section
302 Tile division
303 Discrete wavelet transform unit
304 buffer
305 coefficient quantizer
306 Entropy encoder
307 Tile encoded data generation unit
308 Frame encoded data generation unit
309 Frame encoded data output unit
400 display area
401 Normal play button
402 Slow playback button
403 Stop button
404 Normal reverse play button
405 Slow reverse play button
406 drop down menu
2101 Frame encoded data input unit
2102 Decoding target tile determination unit
2103 Entropy decoding unit
2104 Inverse quantization unit
2105 Inverse discrete wavelet transform unit
2106 Decoded frame data output unit
