JP2009100199A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2009100199A JP2009100199A JP2007269195A JP2007269195A JP2009100199A JP 2009100199 A JP2009100199 A JP 2009100199A JP 2007269195 A JP2007269195 A JP 2007269195A JP 2007269195 A JP2007269195 A JP 2007269195A JP 2009100199 A JP2009100199 A JP 2009100199A
- Authority
- JP
- Japan
- Prior art keywords
- motion information
- image data
- image
- rate
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】被写体の動きに合わせた最適な画像の記録および再生処理が行える画像処理装置、撮像装置、画像処理方法、およびプログラムを提供する。
【解決手段】フレームレートに対応した画像データの処理を行う画像処理装置であって、動き情報検出部１９が画像データＶｎから動き情報Ｍｎを検出すると、制御部が制御メモリ２５に動き情報検出部１９で検出された動き情報Ｍｎを付加した動き情報付き画像データＣｎを記憶させる。
【選択図】図７
【解決手段】フレームレートに対応した画像データの処理を行う画像処理装置であって、動き情報検出部１９が画像データＶｎから動き情報Ｍｎを検出すると、制御部が制御メモリ２５に動き情報検出部１９で検出された動き情報Ｍｎを付加した動き情報付き画像データＣｎを記憶させる。
【選択図】図７
Description
本発明は、たとえばフレームレートに対応して撮像装置が出力した画像データの記録および再生処理を行う画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。
動いている被写体を撮像する際に、ズーム（拡大）等の操作をしながら撮像することがある。
また、被写体の動きが激しいものについては、スローモーションで再生することがある。
一般的な画像撮像装置の動画記録方式には、Motion JPEG, MPEG2/4/H.264 AVCなどが採用され、フレームレートは予め静的な値(30fps/60fps etc)に固定されている。
したがって、一般的な画像撮像装置においては、動画で秒間あたり３０または６０フレームの記録である。
特開２００７−１１６４１８号公報
また、被写体の動きが激しいものについては、スローモーションで再生することがある。
一般的な画像撮像装置の動画記録方式には、Motion JPEG, MPEG2/4/H.264 AVCなどが採用され、フレームレートは予め静的な値(30fps/60fps etc)に固定されている。
したがって、一般的な画像撮像装置においては、動画で秒間あたり３０または６０フレームの記録である。
一般に、ズーム等の操作はユーザが手動で行う。このため、特にズームを行いながら動いている被写体を撮像する際にはユーザの技量によるところが大きく、ユーザの意図した画像が得られない場合がある。
また、再生時におけるスローモーション等の操作もユーザが手動で再生装置等を操作しなければならない。
また、再生時におけるスローモーション等の操作もユーザが手動で再生装置等を操作しなければならない。
本発明は、被写体の動きに合わせた最適な画像の記録および再生処理が行える画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。
本発明の第１の観点の画像処理装置は、フレームレートに対応した画像データの処理を行う画像処理装置であって、記憶部と、上記画像データから動き情報を検出する動き情報検出部と、上記記憶部に上記動き情報検出部で検出された動き情報を付加した当該動き情報付き画像データを記憶する制御部とを有する。
本発明の第２の観点の撮像装置は、被写体の像を撮像し画像データを出力する撮像部と、フレームレートに対応した画像データの処理を行う画像処理装置とを有し、上記画像処理装置は、記憶部と、上記画像データから動き情報を検出する動き情報検出部と、上記記憶部に上記動き情報検出部で検出された動き情報を付加した当該動き情報付き画像データを記憶する制御部とを含む。
好適には、撮像装置は、上記画像データが格納される第１の記憶部と、上記動き情報付き画像データが格納される第２の記憶部とを有し、上記動き情報検出部は、上記第１の記憶部に格納された画像データに基づいて上記動き情報の検出を行い、上記制御部は、上記動き情報が検出された画像データに対して動き情報を付加した当該動き情報付き画像データを上記第２の記憶部に格納する。
好適には、上記制御部は、上記動き情報検出部が順次出力する上記動き情報を時間前後のものでそれぞれ比較し、当該比較結果に応じて上記フレームレートを変化させる。
好適には、上記制御部は、上記動き情報の動き量が前の動き情報のものと比較して大きい場合、上記フレームレートを通常時よりも高くする。
好適には、上記画像処理部は、上記画像データの再生処理の際に、上記動き情報付き画像データの当該動き情報に応じた表示サイズの画像データを生成するスケーラを有する。
好適には、上記動き情報は、上記動き情報検出部が当該動き情報を認識した場合を有効とし、当該動き情報を認識しない場合を無効とする識別子を含み、上記制御部は、上記識別子が有効を示している場合は、上記スケーラの設定を行う。
好適には、撮像装置は、上記動き情報付き画像データが格納される第１の記憶部と、上記画像データが格納される第２の記憶部とを有し、上記制御部は、上記第１の記憶部に格納された上記動き情報付き画像データの上記動き情報に応じた設定を上記スケーラに対して行い、上記スケーラは、上記動き情報に応じた表示サイズの画像データを生成し、上記第２の記憶部に格納する。
本発明の第３の観点の画像処理方法は、フレームレートに対応した画像データの処理を行う画像処理方法であって、上記画像データから動き情報を検出するステップと、上記ステップにおいて上記動き情報検出部で検出された動き情報を付加した当該動き情報付き画像データを記憶するステップとを有する。
本発明の第４の観点のプログラムは、フレームレートに対応した画像データの処理を行う画像処理であって、上記画像データから動き情報を検出する処理と、上記処理において上記動き情報検出部で検出された動き情報を付加した当該動き情報付き画像データを記憶する処理とをコンピュータに実行させる。
本発明によれば、フレームレートに対応した画像データの処理を行う画像処理装置であって、動き情報検出部が画像データから動き情報を検出すると、制御部が記憶部に動き情報検出部で検出された動き情報を付加した動き情報付き画像データを記憶させる。
本発明によれば、被写体の動きに合わせた最適な画像の記録および再生処理が行える画像処理装置、撮像装置、画像処理方法、およびプログラムを提供できる。
以下、本発明の実施形態を図面に関連付けて説明する。
図２は、本発明の実施形態に係る画像処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。
本実施形態においては、所定のデータフォーマットとして、図１に示すRIFF AVI ファイルフォーマットを採用した場合を例として説明する。
本実施形態においては、所定のデータフォーマットとして、図１に示すRIFF AVI ファイルフォーマットを採用した場合を例として説明する。
RIFF AVI ファイルフォーマットは、図１に示すように、ヘッダ部１、ストリームデータ(Stream Data)部２、およびインデックス(Index)部３を含む。
ヘッダ部１は、ヘッダリスト(Header List ; hdrl)を有し、ヘッダリストには、動画の画サイズ、表示レート等、ファイル全体に関連する情報が記述されるＡＶＩメインヘッダ(AVI Main Header ; avih)、ビデオストリーム(Video Stream)の情報（画サイズやビデオストリームデータのフォーマット等）が記述されるビデオストリームリストチャンク(Video Steram List Chunk ; strl)、オーディオストリーム(Audio Stream)の情報（サンプリングレートやオーディオストリームデータのフォーマット等）が記述されるオーディオストリームリスト(Audio Stream List ; strl)、およびパディング(Padding)等の用途で挿入可能なチャンク(Playerは無視する)であるジュンクチャンク(JUNK Chunk)を含んでいる。
ストリームデータ部２は、ストリームデータのリストであって、リスト中のビデオ／オーディオストリームデータは圧縮、非圧縮データそのものが格納されるストリームデータリスト（Stream Data List ; movi）を含む。
インデックス部３は、各ストリームデータと対になるインデックスエントリ(Index Entry)が記述されるインデックス(Index ; idx1)を含む。
以下、本実施形態に係るカメラシステムの構成およびRIFF AVI ファイルフォーマットに関連付けた動画の記録再生制御動作について説明する。
本カメラシステム１０は、光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像素子）１２、アナログ信号処理部１３、アナログ／デジタル（Ａ／Ｄ）コンバータ１４、センサ制御部１５、デジタル信号処理部１６、画像圧縮伸長処理部１７、画像メモリ１８、動き情報検出部１９、スケーラ２０、表示装置インターフェース（Ｉ／Ｆ）２１、表示装置２２、制御ＣＰＵ２３、操作デバイス２４、制御メモリ２５、ストレージインターフェース（Ｉ／Ｆ）２６、および記録部としての外部保存用メモリ等からなる記録媒体２７を有している。
カメラシステム１０において、センサ制御部１５、デジタル信号処理部１６、画像圧縮伸長処理部１７、動き情報検出部１９、スケーラ２０、表示装置インターフェース２１、および制御ＣＰＵ２３がバス２８を介して接続されている。センサ制御部１５、デジタル信号処理部１６、画像圧縮伸長処理部１７、動き情報検出部１９、スケーラ２０、および表示装置インターフェース２１は、制御ＣＰＵ２３により動作等が制御される。
光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ１２、アナログ信号処理部１３等により撮像部が構成される。
また、画像圧縮伸長処理部１７、動き情報検出部１９、およびスケーラ２０で画像処理部が構成される。
光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ１２、アナログ信号処理部１３等により撮像部が構成される。
また、画像圧縮伸長処理部１７、動き情報検出部１９、およびスケーラ２０で画像処理部が構成される。
まず、図２のカメラシステム１０の各部の機能の概要について説明する。
光学系１１は、レンズを主体として構成され、図示しない被写体の像を撮像素子であるイメージセンサ１２の受光面に結像させる。
イメージセンサ１２は、光学系１１を通して結像した被写体像の情報を光電変換し、アナログ信号処理部１３に出力する。
アナログ信号処理部１３は、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理を行い、処理後のアナログ画像データをＡ／Ｄコンバータ１４に出力する。
Ａ／Ｄコンバータ１４は、アナログ信号処理部１３によるアナログ画像データをデジタル信号に変換し、デジタル信号処理部１６に出力する。
センサ制御部１５は、制御ＣＰＵ２３の制御の下、イメージセンサ１２の入力レートの制御、撮像タイミングの制御等を行う。
デジタル信号処理部１６は、制御ＣＰＵ２３の制御の下、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理等を行う。
画像圧縮伸長処理部１７は、制御ＣＰＵ２３の制御の下、撮像した画像データを所定の圧縮方式に従って圧縮処理して記録媒体である画像メモリ１８に書き込み、書き込んだ画像データを画像メモリ１８から読み出して伸長（展開）する処理等を行う。
動き情報検出部１９は、制御ＣＰＵ２３の制御の下、画像メモリ１８から画像データが入力され、動き情報を検出して制御メモリ２５に出力する。
この動き情報にはたとえば動きベクトルが含まれ、動き情報検出部１９は、この動きベクトルの大きさが増大すると、図６に示す複数のマクロブロックＢＬＫで構成される画面ＡＲＥ中に、動く被写体（図６の領域ＰＩＣ）が存在すると認識する。そして、動き情報検出部１９は、スケーラ２０の動作設定を行うか否かを識別する識別子（有効／無効）を動き情報に付加する。動きベクトルが検出され、動きベクトルの大きさが増大するとき、識別子は「有効」であり、増大しないとき、識別子は「無効」である。
また、動き情報には、領域ＰＩＣに関する表示位置（Ｘ，Ｙ）、その水平、垂直方向のピッチ幅（ＰｈおよびＰｖ）等の情報も含まれている。
この動き情報にはたとえば動きベクトルが含まれ、動き情報検出部１９は、この動きベクトルの大きさが増大すると、図６に示す複数のマクロブロックＢＬＫで構成される画面ＡＲＥ中に、動く被写体（図６の領域ＰＩＣ）が存在すると認識する。そして、動き情報検出部１９は、スケーラ２０の動作設定を行うか否かを識別する識別子（有効／無効）を動き情報に付加する。動きベクトルが検出され、動きベクトルの大きさが増大するとき、識別子は「有効」であり、増大しないとき、識別子は「無効」である。
また、動き情報には、領域ＰＩＣに関する表示位置（Ｘ，Ｙ）、その水平、垂直方向のピッチ幅（ＰｈおよびＰｖ）等の情報も含まれている。
スケーラ２０は、制御ＣＰＵ２３の制御の下、画像メモリ１８に記録された画像データから動き情報に応じた表示サイズになるように表示する画像を生成する、画像生成部として機能する。
表示装置インターフェース２１は、制御ＣＰＵ２３の制御の下、表示すべき画像データを表示装置２２に出力し表示させる。
表示装置２２としては、液晶表示装置（ＬＣＤ）等が適用可能である。
表示装置２２としては、液晶表示装置（ＬＣＤ）等が適用可能である。
制御ＣＰＵ２３は、デジタル信号処理部１６、画像圧縮伸長処理部１７や回路全体の制御を行う。
制御ＣＰＵ２３は、図示しないヒューマンインターフェースを通して操作デバイス２４の操作、および動き情報に応じた記録、再生の制御を行う。
また、制御ＣＰＵ２３は、動き情報検出部１９が順次出力する動き情報を時間前後のものでそれぞれ比較し、比較結果に応じて記録（フレーム）レートを変化させる。
また、制御ＣＰＵ２３は、記録データの再生時には動き情報を解析し、解析結果に基づいてスケーラ２０の設定を行う。この制御ＣＰＵ２３の動作については後で詳述する。
制御ＣＰＵ２３は、図示しないヒューマンインターフェースを通して操作デバイス２４の操作、および動き情報に応じた記録、再生の制御を行う。
また、制御ＣＰＵ２３は、動き情報検出部１９が順次出力する動き情報を時間前後のものでそれぞれ比較し、比較結果に応じて記録（フレーム）レートを変化させる。
また、制御ＣＰＵ２３は、記録データの再生時には動き情報を解析し、解析結果に基づいてスケーラ２０の設定を行う。この制御ＣＰＵ２３の動作については後で詳述する。
操作デバイス２４は、シャッタボタン、ジョグダイヤル、タッチパネル等を含んで構成されている。
図３は、本実施形態に係る操作デバイスの要部の構成例を示す図である。
操作デバイス２４は、図３に示すように、記録、再生の開始／停止(START／STOP)スイッチ（たとえば押下ボタン）２４１、記録／再生レート切替スイッチ（たとえばダイヤル形式）２４２等を含んで構成されている。
操作デバイス２４は、図３に示すように、記録、再生の開始／停止(START／STOP)スイッチ（たとえば押下ボタン）２４１、記録／再生レート切替スイッチ（たとえばダイヤル形式）２４２等を含んで構成されている。
画像保存用メモリとしての記録媒体２７としては、不揮発性のメモリであるフラッシュメモリやＨＤＤ、ＤＶＤ等が適用可能である。
また、本実施形態に係るカメラシステム１０は、イメージセンサ１２で少なくとも２つ以上のレートで撮像された動画ファイルの記録を行うことが可能で、この記録処理で２つ以上のレートで記録された画像を含んだ動画ファイルの再生を行う機能を有する。
さらに、本実施形態に係るカメラシステム１０は、イメージセンサ１２の撮像処理、デジタル信号処理部１６の信号処理、画像圧縮伸長処理部１７の画像圧縮は、たとえば６０,９０，１２０，２４０ｆｐｓのレートで処理を行うことが可能な装置として構成される。
次に、上記構成における記録時の制御および再生時の制御について説明する。
まず、図４〜図１５に関連付けて記録時の制御について説明する。
まず、図４〜図１５に関連付けて記録時の制御について説明する。
（記録時の制御）
記録時は制御ＣＰＵ２３上の制御プログラムは、操作デバイス２４の開始／停止スイッチ（記録開始ボタン）２４１が押下されると図４のフローに従って記録動作を開始する。
記録時は制御ＣＰＵ２３上の制御プログラムは、操作デバイス２４の開始／停止スイッチ（記録開始ボタン）２４１が押下されると図４のフローに従って記録動作を開始する。
図４は、本実施形態に係る記録動作開始処理を示すフローチャートである。
図４の処理においては、操作デバイス２４の開始／停止スイッチ（記録開始ボタン）２４１が押下されると（ＳＴ０）、制御ＣＰＵ２３（具体的にはその制御プログラムであるが、以下の説明では制御ＣＰＵとして説明する場合もある）は、デジタル信号処理部１６、画像圧縮伸長処理部１７の画像圧縮処理部への記録開始設定（指示）を実行する（ＳＴ１）。
次に、制御ＣＰＵ２３は、制御メモリ２５上にＡＶＩファイルのヘッダ部１を生成し、ストレージインターフェース２６を介して記録媒体２７に書き込む（ＳＴ２）。
次に、制御ＣＰＵ２３は、イメージセンサ１２の入力レートの設定が完了すると（ＳＴ３）、記録レート管理情報の初期設定を行う（ＳＴ４）。
次に、制御ＣＰＵ２３は、制御メモリ２５上にＡＶＩファイルのヘッダ部１を生成し、ストレージインターフェース２６を介して記録媒体２７に書き込む（ＳＴ２）。
次に、制御ＣＰＵ２３は、イメージセンサ１２の入力レートの設定が完了すると（ＳＴ３）、記録レート管理情報の初期設定を行う（ＳＴ４）。
この記録レート管理情報は記録時のセンサ入力レートやレート切替制御の管理情報として制御メモリ２５上に形成される（用意される）。
図５は、本実施形態に係る記録レート管理情報のデータ構造例を示す図である。
図５に示す記録レート管理情報３００は、レート切替フラグchg flag、センサ入力レートsens rate、現在の記録レートrec rate、および記録済画像データ数rec cntの各管理情報を含む。
そして、記録レート管理情報３００は、図４に示されているように、ステップＳＴ４において、センサ入力レートsens rateは６０ｆｐｓに、現在の記録レートrec rateも６０ｆｐｓに、記録済画像データ数rec cntは０に、レート切替フラグchg flagはＯＦＦに初期設定される。
そして、記録レート管理情報３００は、図４に示されているように、ステップＳＴ４において、センサ入力レートsens rateは６０ｆｐｓに、現在の記録レートrec rateも６０ｆｐｓに、記録済画像データ数rec cntは０に、レート切替フラグchg flagはＯＦＦに初期設定される。
次に、動画記録（撮像）の開始後について、図７を中心に図２、図８を適宜参照しながら説明する。
図７は、本実施形態に係る画像処理部の動画記録開始後における動作例を説明するデーターフロー図である。図７（ａ）は、動画記録中の任意の時刻ｔ＝ｎでのデータフロー、図７（ｂ）は、同じく時刻ｔ＝（ｎ＋１）でのデータフローを示している。図７中では、時刻ｔ＝ｎでの各種データにインデックスｎを付与して（たとえば画像データＶｎ）表記する。
まず、図２に示すようにイメージセンサ１２で、センサ制御部１５の制御の下、光学系１１を通して初期設定の入力レート６０ｆｐｓで取り込まれる、撮像面に結像した被写体像の情報が光電変換され、アナログ信号処理部１３に出力される。
アナログ信号処理部１３においては、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等が行われる。そして、処理後のアナログ画像データがＡ／Ｄコンバータ１４でデジタル信号に変換され、デジタル信号処理部１６に入力される。
図７（ａ）に示すデジタル信号処理部１６において、制御ＣＰＵ２３の制御の下、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理等が行われ、処理された画像データＶｎが画像メモリ１８に格納される。
この画像メモリ１８の画像データＶｎは、画像圧縮伸長処理部１７および動き情報検出部１９に読み出される。
画像圧縮伸長処理部１７は、画像データＶｎに所定の圧縮方式に従った圧縮処理を施して画像フレームＣｎを出力し、動き情報検出部１９は、画像データＶｎから動き情報を検出して識別子を付加し、動き情報Ｍｎを出力する。
そして、制御メモリ２５には、動き情報Mnが付加された画像フレームCnが格納される。
この時、制御ＣＰＵ２３には割り込み信号（不図示）が入力され、制御ＣＰＵ２３は制御メモリ２５に格納されている動き情報Ｍｎ付き画像フレームＣｎをマルチプレクスし、ストレージインターフェース２６を介して記録媒体２７に記録する。
また、制御ＣＰＵ２３に割り込み信号が入力されたと同時に、保持している画像データＶｎを解放させる解放信号（不図示）が画像メモリ１８に入力され、画像メモリ１８は、図７（ｂ）に示すように、デジタル信号処理部１６が出力する次の画像データＶ（ｎ＋１）の入力を許可し、解放した画像データＶｎの格納領域に新たな画像データＶ（ｎ＋１）を格納し、解放信号を切断する。
以後、上述の処理を繰り返し、動き情報Mnが付加された画像フレームCnを生成し、画像データの記録を行う。
アナログ信号処理部１３においては、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等が行われる。そして、処理後のアナログ画像データがＡ／Ｄコンバータ１４でデジタル信号に変換され、デジタル信号処理部１６に入力される。
図７（ａ）に示すデジタル信号処理部１６において、制御ＣＰＵ２３の制御の下、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理等が行われ、処理された画像データＶｎが画像メモリ１８に格納される。
この画像メモリ１８の画像データＶｎは、画像圧縮伸長処理部１７および動き情報検出部１９に読み出される。
画像圧縮伸長処理部１７は、画像データＶｎに所定の圧縮方式に従った圧縮処理を施して画像フレームＣｎを出力し、動き情報検出部１９は、画像データＶｎから動き情報を検出して識別子を付加し、動き情報Ｍｎを出力する。
そして、制御メモリ２５には、動き情報Mnが付加された画像フレームCnが格納される。
この時、制御ＣＰＵ２３には割り込み信号（不図示）が入力され、制御ＣＰＵ２３は制御メモリ２５に格納されている動き情報Ｍｎ付き画像フレームＣｎをマルチプレクスし、ストレージインターフェース２６を介して記録媒体２７に記録する。
また、制御ＣＰＵ２３に割り込み信号が入力されたと同時に、保持している画像データＶｎを解放させる解放信号（不図示）が画像メモリ１８に入力され、画像メモリ１８は、図７（ｂ）に示すように、デジタル信号処理部１６が出力する次の画像データＶ（ｎ＋１）の入力を許可し、解放した画像データＶｎの格納領域に新たな画像データＶ（ｎ＋１）を格納し、解放信号を切断する。
以後、上述の処理を繰り返し、動き情報Mnが付加された画像フレームCnを生成し、画像データの記録を行う。
最終的にRIFF AVI データフォーマットには、図８に示すように、動き情報Ｍｎ(Motion Index Entry(00ex))がインデックス部３に埋め込まれて動き情報付きビデオインデックス（Video Index Entry(00dc)）が作成される。また、動き情報Ｍｎ(Motion Data Chunk Entry(00ex))がストリームデータ部２に埋め込まれて動き情報付きビデオストリームデータ（Video Stream Chunk (00dc)）が作成される。
次に、制御メモリ２５上に圧縮された画像データが出力され圧縮画像データが出力されたタイミングで制御ＣＰＵ２３に対する通知が行われる。
以下に、圧縮データ出力通知検出処理について説明する。通知を受けた制御ＣＰＵ２３上の制御プログラムでは、圧縮データ出力通知検出処理を行う。
図９は、本実施形態に係る記録時の圧縮データ出力通知検出処理を示すフローチャートである。
また、図１０は、圧縮データに付与されるチャンクヘッダ（Chunk Header）の構造を示す図である。
図１１は、制御メモリ上に形成されるインデックスエントリ（Index Entry）の構造を示す図である。
また、図１０は、圧縮データに付与されるチャンクヘッダ（Chunk Header）の構造を示す図である。
図１１は、制御メモリ上に形成されるインデックスエントリ（Index Entry）の構造を示す図である。
通知を受けた制御ＣＰＵ２３上の制御プログラムでは、圧縮データ出力通知検出処理において、ストレージインターフェース２６経由で記録媒体２７に記録された圧縮画像データにチャンクヘッダ（Chunk Header）３１０を付与して、図１０に示す形式で記録媒体２７に書き込む（ＳＴ１１）。
そして、制御ＣＰＵ２３は、記録した圧縮画像データに対応する図１１に示す形式のインデックスエントリ（Index Entry）３２０のデータを制御メモリ２５上に形成（生成)する（ＳＴ１２）。
そして、制御ＣＰＵ２３は、記録した圧縮画像データに対応する図１１に示す形式のインデックスエントリ（Index Entry）３２０のデータを制御メモリ２５上に形成（生成)する（ＳＴ１２）。
制御メモリ２５上に形成されるインデックスエントリ（Index Entry）１２０のデータは、図１１に示すように、チャンクＩＤ（ChunkID）、フラグ（Flags）、チャンクオフセット（Chunk Offset）、チャンク長（Chunk Length）を含み、各データはそれぞれ３２ビットのデータとなっている。
このインデックスエントリ（Index Entry）３２０のフラグ（Flags）の領域には１２ビットの未使用領域があるので、たとえば図１２に示すように、この未使用領域に記録レートを数値として記録（または、各ビットにレートを割り当て該当するレートのビットに“1”を記録）し、ストリームデータ（Stream Data）として書き込まれた画像データと対となるデータ内に記録レートrec rateを記録していく（ＳＴ１３）。
そして、制御ＣＰＵ２３は、イメージセンサの入力レート、記録レート切替処理を行う（ＳＴ１４）。
このインデックスエントリ（Index Entry）３２０のフラグ（Flags）の領域には１２ビットの未使用領域があるので、たとえば図１２に示すように、この未使用領域に記録レートを数値として記録（または、各ビットにレートを割り当て該当するレートのビットに“1”を記録）し、ストリームデータ（Stream Data）として書き込まれた画像データと対となるデータ内に記録レートrec rateを記録していく（ＳＴ１３）。
そして、制御ＣＰＵ２３は、イメージセンサの入力レート、記録レート切替処理を行う（ＳＴ１４）。
図１３は、記録動作中の記録／再生レート切替処理を示すフローチャートである。
また、図１４は、図１１イメージセンサの入力レート、記録レート切替処理を具体的に示すフローチャートである。
また、図１４は、図１１イメージセンサの入力レート、記録レート切替処理を具体的に示すフローチャートである。
制御ＣＰＵ２３は記録動作中に記録、再生レート切替スイッチ２４２が操作されると、図１３に示すように、操作に応じて指定されたレートを記録レート管理情報３００の記録レートrec rateに設定する（ＳＴ２１）。
また、制御ＣＰＵ２３は、図示しない操作デバイス２４での操作により、自動で記録動作中の記録レート切り替え処理を行うこともできる。具体的には、制御ＣＰＵ２３は、図７に示す動き情報検出部１９が検出した動き情報ＭｎおよびＭ（ｎ＋１）を比較し、時刻ｔ＝（ｎ＋１）での動き情報Ｍ（ｎ＋１）の動きベクトル量ＭＶ（ｎ＋１）（ベクトルの大きさ）が時刻ｔ＝ｎのものよりも大きい場合（ＭＶ（ｎ＋１）＞ＭＶｎ）、現時点での記録レートよりも大きい記録レートになるように上記と同様に記録レート管理情報３００の記録レートrec rateに設定する（ＳＴ２１）。
すなわち、制御ＣＰＵ２３は、記録レート管理情報３００の記録レートrec rateを指定されたレートで更新する。
そして、制御ＣＰＵ２３は、記録レートの切り替えが行われたことを示すために、記録レート管理情報３００のレート切替フラグchg flagをＯＮに設定する（ＳＴ２２）。
また、制御ＣＰＵ２３は、図示しない操作デバイス２４での操作により、自動で記録動作中の記録レート切り替え処理を行うこともできる。具体的には、制御ＣＰＵ２３は、図７に示す動き情報検出部１９が検出した動き情報ＭｎおよびＭ（ｎ＋１）を比較し、時刻ｔ＝（ｎ＋１）での動き情報Ｍ（ｎ＋１）の動きベクトル量ＭＶ（ｎ＋１）（ベクトルの大きさ）が時刻ｔ＝ｎのものよりも大きい場合（ＭＶ（ｎ＋１）＞ＭＶｎ）、現時点での記録レートよりも大きい記録レートになるように上記と同様に記録レート管理情報３００の記録レートrec rateに設定する（ＳＴ２１）。
すなわち、制御ＣＰＵ２３は、記録レート管理情報３００の記録レートrec rateを指定されたレートで更新する。
そして、制御ＣＰＵ２３は、記録レートの切り替えが行われたことを示すために、記録レート管理情報３００のレート切替フラグchg flagをＯＮに設定する（ＳＴ２２）。
次に、制御ＣＰＵ２３は、図１４に示すイメージセンサの入力レート、記録レート切替処理を行う。
なお、入力レートの切り替えは、後述の再生制御のためにある固定の時間分の画像データ(Ｎフレーム分のデータ)が記録されたタイミングで行い、同一の記録レートの画像データおよびインデックスエントリ（Index Entry）がＮフレーム分連続して記録されるようにする。
レート切替処理においては、図１４に示すように、記録レート管理情報３００の記録済画像データ数rec cntをインクリメントする（ＳＴ１４１）。
次に、記録済画像データ数rec cntがＮフレームとなったか否かを判別し（ＳＴ１４２）、Ｎフレームとなったと判別すると、記録レート管理情報３００のレート切替フラグchg flagがＯＮで、センサ入力レートsens rateと記録レートrec rateが等しいか否かを判別する（ＳＴ１４３）。
ステップＳＴ１４３で肯定的な判別結果が得られると、センサ入力レートを記録レート管理情報３００のセンサ入力レートsens rateの値に変更する（ＳＴ１４５）。
そして、記録レート管理情報３００の記録済画像データ数rec cntを０に設定し、レート切替フラグchg flagをＯＦＦに設定する（ＳＴ１４７）。
これにより、イメージセンサの入力レート、記録レート切替処理が完了する。
なお、入力レートの切り替えは、後述の再生制御のためにある固定の時間分の画像データ(Ｎフレーム分のデータ)が記録されたタイミングで行い、同一の記録レートの画像データおよびインデックスエントリ（Index Entry）がＮフレーム分連続して記録されるようにする。
レート切替処理においては、図１４に示すように、記録レート管理情報３００の記録済画像データ数rec cntをインクリメントする（ＳＴ１４１）。
次に、記録済画像データ数rec cntがＮフレームとなったか否かを判別し（ＳＴ１４２）、Ｎフレームとなったと判別すると、記録レート管理情報３００のレート切替フラグchg flagがＯＮで、センサ入力レートsens rateと記録レートrec rateが等しいか否かを判別する（ＳＴ１４３）。
ステップＳＴ１４３で肯定的な判別結果が得られると、センサ入力レートを記録レート管理情報３００のセンサ入力レートsens rateの値に変更する（ＳＴ１４５）。
そして、記録レート管理情報３００の記録済画像データ数rec cntを０に設定し、レート切替フラグchg flagをＯＦＦに設定する（ＳＴ１４７）。
これにより、イメージセンサの入力レート、記録レート切替処理が完了する。
図１５は、本実施形態に係る記録停止処理を示すフローチャートである。
最後に、制御ＣＰＵ２３上の制御プログラムは、操作デバイス２４の開始／停止スイッチ（記録停止ボタン）２４１が押下され、または記録媒体２７の空き領域がなくなったことを検出すると、図１５のフローに示す制御を行う。
制御ＣＰＵ２３は、デジタル信号処理部１６、および画像圧縮伸長処理部１７の画像圧縮処理部への記録停止設定を実行する（ＳＴ３１）。
そして、記録停止が完了すると（ＳＴ３２）、制御メモリ２５上のヘッダ部１を更新し、ファイル上の記録済みヘッダ部を上書きする（ＳＴ３３）。
次に、記録媒体２７に記録済のＡＶＩファイルのヘッダ部１およびストリームデータ（Stream Data）部２に制御メモリ２５上のインデックス（Index）部３を結合して、ＡＶＩファイルの生成を行い一連の記録動作を終了する（ＳＴ３４、ＳＴ３５）。
制御ＣＰＵ２３は、デジタル信号処理部１６、および画像圧縮伸長処理部１７の画像圧縮処理部への記録停止設定を実行する（ＳＴ３１）。
そして、記録停止が完了すると（ＳＴ３２）、制御メモリ２５上のヘッダ部１を更新し、ファイル上の記録済みヘッダ部を上書きする（ＳＴ３３）。
次に、記録媒体２７に記録済のＡＶＩファイルのヘッダ部１およびストリームデータ（Stream Data）部２に制御メモリ２５上のインデックス（Index）部３を結合して、ＡＶＩファイルの生成を行い一連の記録動作を終了する（ＳＴ３４、ＳＴ３５）。
次に、再生時の制御について、図１６〜図２６に関連付けて説明する。
（再生時の制御）
再生時は再生するAVIファイルを選択した状態で操作デバイス２４の開始／停止スイッチ（再生開始ボタン）２４１が押下されると、図１６のフローに従って再生動作を開始する。
再生時は再生するAVIファイルを選択した状態で操作デバイス２４の開始／停止スイッチ（再生開始ボタン）２４１が押下されると、図１６のフローに従って再生動作を開始する。
図１６は、本実施形態に係る再生動作開始処理を示すフローチャートである。
図１４の処理においては、操作デバイス２４の開始／停止スイッチ（再生開始ボタン）２３１が押下されると(ＳＴ４０)、ＡＶＩファイルのヘッダ部１を制御メモリ２５に読み出し、ファイル全体の情報およびストリームヘッダ(Stream Header)の情報を取得する（ＳＴ４１）。
次に、ＡＶＩファイルのインデックス部３から先頭のインデックスエントリ（Index Entry）データを読み出す（ＳＴ４２）。
次に、再生レート管理情報の初期設定を行う（ＳＴ４３）。
次に、ＡＶＩファイルのインデックス部３から先頭のインデックスエントリ（Index Entry）データを読み出す（ＳＴ４２）。
次に、再生レート管理情報の初期設定を行う（ＳＴ４３）。
この再生レート管理情報は、再生レート切替、および再生時の画面表示更新制御の管理情報として制御メモリ２５上に形成される。
図１７は、本実施形態に係る再生レート管理情報のデータ構造例を示す図である。
図１７に示す再生レート管理情報４００は、再生レート切替支持フラグchg flag、切替後の再生レートnext disp rate、現在の再生レートcur disp rate、前回の読み出した記録レートprev rec rate、および表示回数disp cntの各管理情報を含む。
そして、再生レート管理情報４００は、図１６に示されるように、再生レート切替支持フラグchg flagがＯＦＦ、切替後の再生レートnext disp rateが全フレーム再生に、現在の再生レートcur disp rateが全フレーム再生に、前回の読み出した記録レートprev rec rateはステップＳＴ４２で読み出したインデックスエントリの記録レートに、表示回数disp cntが１に初期設定される。
そして、再生レート管理情報４００は、図１６に示されるように、再生レート切替支持フラグchg flagがＯＦＦ、切替後の再生レートnext disp rateが全フレーム再生に、現在の再生レートcur disp rateが全フレーム再生に、前回の読み出した記録レートprev rec rateはステップＳＴ４２で読み出したインデックスエントリの記録レートに、表示回数disp cntが１に初期設定される。
ここで、再生動作開始後の処理について、図１８を中心に図１６、１９を適宜参照しながら説明する。
図１８は、本実施形態に係る画像処理部の再生動作開始後における動作例を説明するデーターフロー図である。図１８（ａ）は、動画再生中の任意の時刻ｔ＝ｎでのデータフロー、図１８（ｂ）は、同じく時刻ｔ＝（ｎ＋１）でのデータフローを示している。図１８中も図７と同様に、時刻ｔ＝ｎでの各種データにインデックスｎを付与して表記する。
図１８は、本実施形態に係る画像処理部の再生動作開始後における動作例を説明するデーターフロー図である。図１８（ａ）は、動画再生中の任意の時刻ｔ＝ｎでのデータフロー、図１８（ｂ）は、同じく時刻ｔ＝（ｎ＋１）でのデータフローを示している。図１８中も図７と同様に、時刻ｔ＝ｎでの各種データにインデックスｎを付与して表記する。
再生動作が開始されると、図１８（ａ）に示すデータフローのように画像メモリ１８上に表示画像データＰｎが生成され、内蔵ＬＣＤまたは外部モニタ等の表示装置インターフェース２１に画像が表示される。
具体的には、読み出したインデックエントリ（Index Entry）のチャンクオフセット(Chunk Offset)、チャンク長(Chunk Length)を元に圧縮画像データを制御メモリ２５上に読み出す（ＳＴ４４）。
次に、制御メモリ２５上の圧縮データ（動き情報Ｍｎ付き画像フレームＣｎ）が画像圧縮伸長処理部１７で伸長され、伸長された画像データＶｎが一旦画像メモリ１８に格納された後、スケーラ２０に入力される。
また、画像圧縮伸長処理部１７による圧縮画像データの読み出しとともに、制御ＣＰＵ２３が制御メモリ２５上の圧縮データから動き情報Ｍｎを解析し、スケーラ２０の各種設定を行う。
具体的には、図１９のフローチャートに示すように制御ＣＰＵ２３が圧縮データの動き情報Ｍｎからスケーラ２０の動作設定を行うか否かを識別する識別子（有効／無効）、領域ＰＩＣに関する表示位置（Ｘ，Ｙ）、その水平、垂直方向のピッチ幅（ＰｈおよびＰｖ）等の情報（図６参照）を解析する（ＳＴ４５１）。
制御ＣＰＵ２３によって識別子の解析が行われ（ＳＴ４５２）、判定が「有効」であれば、制御ＣＰＵ２３はスケーラ２０に対して動き情報Ｍｎに応じた表示画像が得られるように、表示位置やピッチ幅を調整して（領域ＰＩＣに対する）表示画像の拡大、パン・チルト設定を行い（ＳＴ４５３）、「無効」であれば等倍で画像を表示するように設定する（ＳＴ４５４）。
そして、スケーラ２０は画像メモリ１８から画像データＶｎを読み出して、制御ＣＰＵ２３による設定に基づいた表示画像（表示フレーム）Ｐｎを生成し（ＳＴ４５５）、再度画像メモリ１８に格納する（ＳＴ４５６）。その後、画像メモリ１８の表示画像Ｐｎが表示装置インターフェース２１に出力され、制御メモリ２５には、図示しない圧縮データ（動き情報Ｍｎ付き画像フレームＣｎ）を解放する解放信号が入力され、この圧縮データが解放された後、図１８（ｂ）に示すように次の圧縮データ（一組の動き情報Ｍ（ｎ＋１）付き画像フレームＣ（ｎ＋１）が入力される。
以後、上記の処理を繰り返すことで画像データの再生を行う。
そして、表示装置インターフェース２１に応じた表示切替通知（Ｖｓｙｎｃ通知）が開始されて（ＳＴ４６）、再生中処理へと移行する。
具体的には、読み出したインデックエントリ（Index Entry）のチャンクオフセット(Chunk Offset)、チャンク長(Chunk Length)を元に圧縮画像データを制御メモリ２５上に読み出す（ＳＴ４４）。
次に、制御メモリ２５上の圧縮データ（動き情報Ｍｎ付き画像フレームＣｎ）が画像圧縮伸長処理部１７で伸長され、伸長された画像データＶｎが一旦画像メモリ１８に格納された後、スケーラ２０に入力される。
また、画像圧縮伸長処理部１７による圧縮画像データの読み出しとともに、制御ＣＰＵ２３が制御メモリ２５上の圧縮データから動き情報Ｍｎを解析し、スケーラ２０の各種設定を行う。
具体的には、図１９のフローチャートに示すように制御ＣＰＵ２３が圧縮データの動き情報Ｍｎからスケーラ２０の動作設定を行うか否かを識別する識別子（有効／無効）、領域ＰＩＣに関する表示位置（Ｘ，Ｙ）、その水平、垂直方向のピッチ幅（ＰｈおよびＰｖ）等の情報（図６参照）を解析する（ＳＴ４５１）。
制御ＣＰＵ２３によって識別子の解析が行われ（ＳＴ４５２）、判定が「有効」であれば、制御ＣＰＵ２３はスケーラ２０に対して動き情報Ｍｎに応じた表示画像が得られるように、表示位置やピッチ幅を調整して（領域ＰＩＣに対する）表示画像の拡大、パン・チルト設定を行い（ＳＴ４５３）、「無効」であれば等倍で画像を表示するように設定する（ＳＴ４５４）。
そして、スケーラ２０は画像メモリ１８から画像データＶｎを読み出して、制御ＣＰＵ２３による設定に基づいた表示画像（表示フレーム）Ｐｎを生成し（ＳＴ４５５）、再度画像メモリ１８に格納する（ＳＴ４５６）。その後、画像メモリ１８の表示画像Ｐｎが表示装置インターフェース２１に出力され、制御メモリ２５には、図示しない圧縮データ（動き情報Ｍｎ付き画像フレームＣｎ）を解放する解放信号が入力され、この圧縮データが解放された後、図１８（ｂ）に示すように次の圧縮データ（一組の動き情報Ｍ（ｎ＋１）付き画像フレームＣ（ｎ＋１）が入力される。
以後、上記の処理を繰り返すことで画像データの再生を行う。
そして、表示装置インターフェース２１に応じた表示切替通知（Ｖｓｙｎｃ通知）が開始されて（ＳＴ４６）、再生中処理へと移行する。
図２０は、本実施形態に係る再生中処理を示すフローチャートである。
再生動作中の制御ＣＰＵ２３上の制御プログラムは、表示切替通知（Ｖｓｙｎｃ通知）を受けるとＡＶＩファイルに記録されている全ての画像データの読み出しが終了するまで図２０のフローに示す制御を行う。
表示切替通知を受信すると（ＳＴ５１）、生成済みの表示画像を表示装置インターフェース２１に設定し、表示装置インターフェース２１に画像を表示する（ＳＴ５２）。
次に、再生レート管理情報４００の表示回数disp cntをデクリメントし(ＳＴ５３)、表示回数disp cntが０になったか否かの判別を行う（ＳＴ５４）。
ステップＳＴ５４で表示回数disp cntが０になったと判別すると、全画像データの読み出しが完了したか否かを判別する（ＳＴ５５）。
ステップＳＴ５５で全画像データの読み出しが完了していないと判別すると、再生レートに応じた圧縮画像データの読み出し処理を行い（ＳＴ５６)、画像メモリ１８上の圧縮データを伸長して表示用画像を生成する（ＳＴ５７）。
ステップＳＴ５５で全画像データの読み出しが完了したと判別すると、再生処理を終了する。
次に、再生レート管理情報４００の表示回数disp cntをデクリメントし(ＳＴ５３)、表示回数disp cntが０になったか否かの判別を行う（ＳＴ５４）。
ステップＳＴ５４で表示回数disp cntが０になったと判別すると、全画像データの読み出しが完了したか否かを判別する（ＳＴ５５）。
ステップＳＴ５５で全画像データの読み出しが完了していないと判別すると、再生レートに応じた圧縮画像データの読み出し処理を行い（ＳＴ５６)、画像メモリ１８上の圧縮データを伸長して表示用画像を生成する（ＳＴ５７）。
ステップＳＴ５５で全画像データの読み出しが完了したと判別すると、再生処理を終了する。
図２１は、再生動作中に記録／再生レート切替スイッチが操作されたときの処理を示すフローチャートである。
また、図２２は、図２０の再生レートに応じた圧縮画像データ読み出し処理を具体的に示すフローチャートである。
また、図２２は、図２０の再生レートに応じた圧縮画像データ読み出し処理を具体的に示すフローチャートである。
制御ＣＰＵ２３は、再生動作中に記録／再生レート切替スイッチ２４２が操作されると、図２１のフローに従って、操作に応じて指定されたレートを再生レート管理情報４００の切替後の再生レートnext disp rateに設定する（ＳＴ６１）。
すなわち、制御ＣＰＵ２３は、再生レート管理情報４００の切替後の再生レートnext disp ratを指定されたレートで更新する。
そして、制御ＣＰＵ２３は、再生レートの切り替えが行われたことを示すため、再生レート管理情報４００の再生レート切替支持フラグchg flagをＯＮに設定する（ＳＴ６２）。
すなわち、制御ＣＰＵ２３は、再生レート管理情報４００の切替後の再生レートnext disp ratを指定されたレートで更新する。
そして、制御ＣＰＵ２３は、再生レートの切り替えが行われたことを示すため、再生レート管理情報４００の再生レート切替支持フラグchg flagをＯＮに設定する（ＳＴ６２）。
次に、制御ＣＰＵ２３は、図２２に示す再生レートに応じた圧縮画像データ読み出し処理を行う。
この場合、インデックスエントリ（Index Entry）のフラグ（Flags）領域に予め記録されていた記録レートを元に、この画像データが現在の再生レートで表示する、しないまたは何回表示するのかの判定を行い画像の読み出しと表示装置インターフェース２１への出力を行う。
この場合、インデックスエントリ（Index Entry）のフラグ（Flags）領域に予め記録されていた記録レートを元に、この画像データが現在の再生レートで表示する、しないまたは何回表示するのかの判定を行い画像の読み出しと表示装置インターフェース２１への出力を行う。
具体的には、図２２に示すように、まず、次のインデックスエントリ（Index Entry）の記録レートを取得する（ＳＴ５６１）。
次に、再生レートの切り替えがあるか否かの判別を行う（ＳＴ５６２）。制御ＣＰＵ２３は、再生レート管理情報４００の再生レート切替支持フラグchg flagがＯＮ、ステップＳＴ５６１で取得した記録レートが再生レート管理情報４００の前回の読み出した記録レートprev rec rateと同じ場合には再生レート切替を行う。
再生レートの切り替えが有る場合、制御ＣＰＵ２３は、再生レート管理情報４００の現在の再生レートcur disp rateを切替後の再生レートnext disp rateとし、再生レート切替支持フラグchg flagをＯＦＦに設定する（ＳＴ５６３）。
次に、全フレーム再生が現在の再生レートcur disp rateであり、読み出した記録レートが現在の再生レートcur disp rate以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
次に、再生レートの切り替えがあるか否かの判別を行う（ＳＴ５６２）。制御ＣＰＵ２３は、再生レート管理情報４００の再生レート切替支持フラグchg flagがＯＮ、ステップＳＴ５６１で取得した記録レートが再生レート管理情報４００の前回の読み出した記録レートprev rec rateと同じ場合には再生レート切替を行う。
再生レートの切り替えが有る場合、制御ＣＰＵ２３は、再生レート管理情報４００の現在の再生レートcur disp rateを切替後の再生レートnext disp rateとし、再生レート切替支持フラグchg flagをＯＦＦに設定する（ＳＴ５６３）。
次に、全フレーム再生が現在の再生レートcur disp rateであり、読み出した記録レートが現在の再生レートcur disp rate以下であるかの判定結果によって、読み出しデータで間引くか読み出しデータを繰り返し表示するかを切り替える。
図２３は、本実施形態に係るインデックスエントリ（Index Entry）の読み出し間隔の定義表の一例を示す図である。
また、図２４は、本実施形態に係る再生レートに対する記録レート画像の繰り返し表示回数の一例を示す図である。
また、図２４は、本実施形態に係る再生レートに対する記録レート画像の繰り返し表示回数の一例を示す図である。
図２３の定義表において、分数表記の意味は、分母を配列の要素数、分子を読み出すデータの数である。
たとえば、３／８の場合は｛１，０，０，１，０，０，１，０｝となる。ここで１は読み出す、０は読み出さないことを意味する。
たとえば、３／８の場合は｛１，０，０，１，０，０，１，０｝となる。ここで１は読み出す、０は読み出さないことを意味する。
図２５は、６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を６０ｆｐｓで通常表示する場合（読み出しを間引く）の例を示す図である。
図２５（Ａ）のように記録されている画像データを、図２５（Ｂ）のように間引いて読み出す。
図２５（Ａ）のように記録されている画像データを、図２５（Ｂ）のように間引いて読み出す。
図２４の例では、分数表記されている部分は、繰り返し表示回数が定義されている配列データを参照する。
たとえば記録レート９０ｆｐｓ、再生レート２４０ｆｐｓの場合は｛３，３，２，３，３，２，３，３，２｝として、９枚単位の画像データに対する表示回数を配列の要素に定義する。
たとえば記録レート９０ｆｐｓ、再生レート２４０ｆｐｓの場合は｛３，３，２，３，３，２，３，３，２｝として、９枚単位の画像データに対する表示回数を配列の要素に定義する。
図２６は、６０ｆｐｓ、９０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓで記録された画像を２４０ｆｐｓ相当でスロー再生する場合（表示回数を増やす）の例を示す図である。
図２６（Ａ）のように記録されている画像データを、図２６（Ｂ）のように表示回数を増やして再生する。
図２６（Ａ）のように記録されている画像データを、図２６（Ｂ）のように表示回数を増やして再生する。
ここで、図２２の処理に戻る。
ステップＳＴ５６４で読み出しデータを間引くと判定した場合には、図２３の表を元に、ステップＳＴ５６１で取得した記録レートと再生レート管理情報４００の現在の再生レートcur disp rateから決定したインデックスエントリ（Index Entry）を読み出す（ＳＴ５６５）。
次に、読み出したインデックスエントリ（Index Entry）の記録レートを再生レート管理情報４００の前回の読み出した記録レートprev rec rateに設定する（ＳＴ５６６）。
そして、再生レート管理情報４００の表示回数disp cntを１に設定する（ＳＴ５６７）。
ステップＳＴ５６４で読み出しデータを間引くと判定した場合には、図２３の表を元に、ステップＳＴ５６１で取得した記録レートと再生レート管理情報４００の現在の再生レートcur disp rateから決定したインデックスエントリ（Index Entry）を読み出す（ＳＴ５６５）。
次に、読み出したインデックスエントリ（Index Entry）の記録レートを再生レート管理情報４００の前回の読み出した記録レートprev rec rateに設定する（ＳＴ５６６）。
そして、再生レート管理情報４００の表示回数disp cntを１に設定する（ＳＴ５６７）。
ステップＳＴ５６４で読み出しデータを繰り返し表示すると判定した場合には、インデックスエントリ（Index Entry）を読み出す（ＳＴ５６８）。
次に、読み出したインデックスエントリ（Index Entry）の記録レートを再生レート管理情報４００の前回の読み出した記録レートprev rec rateに設定する（ＳＴ５６９）。
次に、図２４の表を元に読み出したインデックスエントリ（Index Entry）の記録レートと現在の再生レートcur disp rateから決定した表示回数を再生レート管理情報４００のdisp cntに設定する（ＳＴ５７０）。
次に、読み出したインデックスエントリ（Index Entry）の記録レートを再生レート管理情報４００の前回の読み出した記録レートprev rec rateに設定する（ＳＴ５６９）。
次に、図２４の表を元に読み出したインデックスエントリ（Index Entry）の記録レートと現在の再生レートcur disp rateから決定した表示回数を再生レート管理情報４００のdisp cntに設定する（ＳＴ５７０）。
ステップＳＴ５６７またはステップＳＴ５７０の処理の後、読み出したインデックエントリ（Index Entry）のチャンクオフセット(Chunk Offset)、チャンク長(Chunk Length)を元に圧縮画像データを画像メモリ１８上に読み出す（ＳＴ５７１）。
以上の処理によって、記録時にストリームデータ（Stream Data）と対となるデータであるインデックスエントリ（Index Entry）に記録レートを埋め込み、再生時は記録時に埋め込んでおいた記録レートを参照することで、図２５および図２６に示すように複数の記録レートで記録されている動画を任意の再生レートでの再生を実行する。
また、記録時に記録レートを固定時間単位（Ｎフレーム分)でのみ切替可能とすることで、図２３および図２４に示すように再生時のインデックスエントリ（Index Entry）の読み出し間隔および繰り返し表示回数をある固定パターンの繰り返しで表現する。
なお、本実施形態では、RIFF AVIファイルフォーマットで示したが、たとえばＭＰＥＧ等のファイルフォーマットで実現する場合は、インデックスエントリ（Index Entry）の代わりにＭＰＥＧのユーザデータ（user_data）フィールドを利用して、記録時にuser_data領域に対して画像単位で記録レートを保持しておき、再生時に保持しておいた記録レートを参照することで一般的なファイルフォーマットを崩すことなく同様の制御を行うことが可能である。
また、ＡＶＩファイルフォーマットに関しても、ストリームデータ（Stream Data）本体の圧縮データフォーマット中にユーザーが任意に使用可能な領域、たとえば、ＪＰＥＧであればＣＯＭマーカー(コメントマーカー)等に記録レートを記録しておくことでも同様の制御を行うことが可能である。
上述したように、本実施形態に係る撮像装置は、画像圧縮伸長処理部１７、動き情報検出部１９、およびスケーラ２０で構成された画像処理部を有し、フレームレートに対応した画像データの記録および再生処理を行う。
撮像画像の記録処理時には画像データが画像メモリ１８に格納され、動き情報検出部１９が画像メモリ１８から画像データを読み出して動き情報を検出し、識別子を動き情報に付加する。一方、画像圧縮伸長処理部１７も画像メモリ１８から画像データを読み出して、画像フレームに圧縮処理を施す。そして、制御部２３は、この画像フレームに動き情報を付加して動き情報付き画像データとし、制御メモリ２５に格納する。
また、制御ＣＰＵ２３は、動き情報検出部１９が出力する動き情報を時間前後で順次比較し、動き情報の動きベクトル量が前の時間のものよりも大きい場合には、通常記録時のフレームレートより高くする。
撮像画像の再生処理時には、記録媒体２７に記録された画像データが制御メモリ２５に格納され、画像圧縮伸長処理部１７は制御メモリ２５の画像フレームを読み出して伸長し、画像メモリ１８に格納する。
そして、制御ＣＰＵ２３は、制御メモリ２５に格納された動き情報から識別子を判断し、判断結果が有効であればスケーラ２０の設定を行う。
スケーラ２０は、制御ＣＰＵ２３による設定に基づいて、画像メモリ１８に格納された画像データを読み出し、動きベクトル量が大きい領域に対しては拡大等の処理を行い、再び画像メモリ１８に表示画像データを出力する。
撮像画像の記録処理時には画像データが画像メモリ１８に格納され、動き情報検出部１９が画像メモリ１８から画像データを読み出して動き情報を検出し、識別子を動き情報に付加する。一方、画像圧縮伸長処理部１７も画像メモリ１８から画像データを読み出して、画像フレームに圧縮処理を施す。そして、制御部２３は、この画像フレームに動き情報を付加して動き情報付き画像データとし、制御メモリ２５に格納する。
また、制御ＣＰＵ２３は、動き情報検出部１９が出力する動き情報を時間前後で順次比較し、動き情報の動きベクトル量が前の時間のものよりも大きい場合には、通常記録時のフレームレートより高くする。
撮像画像の再生処理時には、記録媒体２７に記録された画像データが制御メモリ２５に格納され、画像圧縮伸長処理部１７は制御メモリ２５の画像フレームを読み出して伸長し、画像メモリ１８に格納する。
そして、制御ＣＰＵ２３は、制御メモリ２５に格納された動き情報から識別子を判断し、判断結果が有効であればスケーラ２０の設定を行う。
スケーラ２０は、制御ＣＰＵ２３による設定に基づいて、画像メモリ１８に格納された画像データを読み出し、動きベクトル量が大きい領域に対しては拡大等の処理を行い、再び画像メモリ１８に表示画像データを出力する。
本実施形態によれば、以下の効果を得ることができる。
動いている被写体をオートフォーカスした撮像画像が自動的に得られる。これにより、画像データの再生時には、元の撮像画像（図２７（ａ））での被写体の動きが激しい領域ＰＩＣａが自動的に拡大されて図２７（ｂ）のように再生される。また、被写体の動きが激しい領域ＰＩＣａでは、スローモーションで再生することもできる。
換言すれば、本撮像装置によって、動きの激しい場面は動作している被写体に自動的にオートフォーカスし、再生時にはスローモーションで自動的に再生される。動きの少ない場面では、通常時と同様に記録再生が行われる。
さらには、動画ファイルに記録される各フレームに記録レートを保持するだけなので、記録時のファイル生成が簡潔に実現できる。
一般的に、使用されているファイルフォーマットの形式に対する、拡張が少ないため、一般的なＰＣ上のプレーヤーソフトウェアでも可変レートの動画を再生することができる。
本実施形態の構成機能を有する再生制御を行うことで、６０ｆｐｓの低速フレームレート固定での再生および動画ファイル中に記録されている高レートで記録されている部分の再生をユーザー操作等の要因によって再生レートを切り替えることができる。
また、図２に示す構成例に対して、サンプリングレートがリニアに変更することが可能な音声出力器を追加することで、固定サンプリングレートで記録された音声データに対して、画像の記録レートを付与し、画像出力時と同様に音声データの出力レートを画像の表示時間と合うように制御することで、画音ありの動画の可変レート再生を実現することも可能となる。
動いている被写体をオートフォーカスした撮像画像が自動的に得られる。これにより、画像データの再生時には、元の撮像画像（図２７（ａ））での被写体の動きが激しい領域ＰＩＣａが自動的に拡大されて図２７（ｂ）のように再生される。また、被写体の動きが激しい領域ＰＩＣａでは、スローモーションで再生することもできる。
換言すれば、本撮像装置によって、動きの激しい場面は動作している被写体に自動的にオートフォーカスし、再生時にはスローモーションで自動的に再生される。動きの少ない場面では、通常時と同様に記録再生が行われる。
さらには、動画ファイルに記録される各フレームに記録レートを保持するだけなので、記録時のファイル生成が簡潔に実現できる。
一般的に、使用されているファイルフォーマットの形式に対する、拡張が少ないため、一般的なＰＣ上のプレーヤーソフトウェアでも可変レートの動画を再生することができる。
本実施形態の構成機能を有する再生制御を行うことで、６０ｆｐｓの低速フレームレート固定での再生および動画ファイル中に記録されている高レートで記録されている部分の再生をユーザー操作等の要因によって再生レートを切り替えることができる。
また、図２に示す構成例に対して、サンプリングレートがリニアに変更することが可能な音声出力器を追加することで、固定サンプリングレートで記録された音声データに対して、画像の記録レートを付与し、画像出力時と同様に音声データの出力レートを画像の表示時間と合うように制御することで、画音ありの動画の可変レート再生を実現することも可能となる。
なお、本発明の実施形態は、上述した実施形態に拘泥せず、当業者であれば、本発明の要旨を変更しない範囲内で様々な改変が可能である。
また、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
１０・・・カメラシステム、１１・・・光学系、１２・・・イメージセンサ（撮像素子）、１３・・・アナログ信号処理部、１４・・・アナログ／デジタル（Ａ／Ｄ）コンバータ、１５・・・センサ制御部、１６・・・デジタル信号処理部、１７・・・画像圧縮伸長処理部、１８・・・画像メモリ、１９・・・動き情報検出部、２０・・・スケーラ、２１・・・表示装置インターフェース（Ｉ／Ｆ）、２２・・・表示装置、２３・・・制御ＣＰＵ、２４・・・操作デバイス、２５・・・制御メモリ、２６・・・ストレージインターフェース、２７・・・記憶媒体（外部保存用メモリ）、２８・・・バス。
Claims (16)
- フレームレートに対応した画像データの処理を行う画像処理装置であって、
記憶部と、
上記画像データから動き情報を検出する動き情報検出部と、
上記記憶部に上記動き情報検出部で検出された動き情報を付加した当該動き情報付き画像データを記憶する制御部と
を有する画像処理装置。 - 上記画像データが格納される第１の記憶部と、
上記動き情報付き画像データが格納される第２の記憶部と
を有し、
上記動き情報検出部は、
上記第１の記憶部に格納された画像データに基づいて上記動き情報の検出を行い、
上記制御部は、
上記動き情報が検出された画像データに対して動き情報を付加した当該動き情報付き画像データを上記第２の記憶部に格納する
請求項１記載の画像処理装置。 - 上記制御部は、
上記動き情報検出部が順次出力する上記動き情報を時間前後のものでそれぞれ比較し、当該比較結果に応じて上記フレームレートを変化させる
請求項１記載の画像処理装置。 - 上記制御部は、
上記動き情報の動き量が前の動き情報のものと比較して大きい場合、上記フレームレートを通常時よりも高くする
請求項３記載の画像処理装置。 - 上記画像処理部は、
上記画像データの再生処理の際に、上記動き情報付き画像データの当該動き情報に応じた表示サイズの画像データを生成するスケーラを有する
請求項１記載の画像処理装置。 - 上記動き情報は、上記動き情報検出部が当該動き情報を認識した場合を有効とし、当該動き情報を認識しない場合を無効とする識別子を含み、
上記制御部は、
上記識別子が有効を示している場合は、上記スケーラの設定を行う
請求項５記載の画像処理装置。 - 上記動き情報付き画像データが格納される第１の記憶部と、
上記画像データが格納される第２の記憶部と
を有し、
上記制御部は、
上記第１の記憶部に格納された上記動き情報付き画像データの上記動き情報に応じた設定を上記スケーラに対して行い
上記スケーラは、
上記動き情報に応じた表示サイズの画像データを生成し、上記第２の記憶部に格納する
請求項６記載の画像処理装置。 - 被写体の像を撮像し画像データを出力する撮像部と、
フレームレートに対応した画像データの処理を行う画像処理装置とを有し、
上記画像処理装置は、
記憶部と、
上記画像データから動き情報を検出する動き情報検出部と、
上記記憶部に上記動き情報検出部で検出された動き情報を付加した当該動き情報付き画像データを記憶する制御部と
を含む撮像装置。 - 上記画像データが格納される第１の記憶部と、
上記動き情報付き画像データが格納される第２の記憶部と
を有し、
上記動き情報検出部は、
上記第１の記憶部に格納された画像データに基づいて上記動き情報の検出を行い、
上記制御部は、
上記動き情報が検出された画像データに対して動き情報を付加した当該動き情報付き画像データを上記第２の記憶部に格納する
請求項８記載の撮像装置。 - 上記制御部は、
上記動き情報検出部が順次出力する上記動き情報を時間前後のものでそれぞれ比較し、当該比較結果に応じて上記フレームレートを変化させる
請求項８記載の撮像装置。 - 上記制御部は、
上記動き情報の動き量が前の動き情報のものと比較して大きい場合、上記フレームレートを通常時よりも高くする
請求項１０記載の撮像装置。 - 上記画像処理部は、
上記画像データの再生処理の際に、上記動き情報付き画像データの当該動き情報に応じた表示サイズの画像データを生成するスケーラを有する
請求項８記載の撮像装置。 - 上記動き情報は、上記動き情報検出部が当該動き情報を認識した場合を有効とし、当該動き情報を認識しない場合を無効とする識別子を含み、
上記制御部は、
上記識別子が有効を示している場合は、上記スケーラの設定を行う
請求項１２記載の撮像装置。 - 上記動き情報付き画像データが格納される第１の記憶部と、
上記画像データが格納される第２の記憶部と
を有し、
上記制御部は、
上記第１の記憶部に格納された上記動き情報付き画像データの上記動き情報に応じた設定を上記スケーラに対して行い
上記スケーラは、
上記動き情報に応じた表示サイズの画像データを生成し、上記第２の記憶部に格納する
請求項１３記載の撮像装置。 - フレームレートに対応した画像データの処理を行う画像処理方法であって、
上記画像データから動き情報を検出するステップと、
上記ステップにおいて上記動き情報検出部で検出された動き情報を付加した当該動き情報付き画像データを記憶するステップと
を有する画像処理方法。 - フレームレートに対応した画像データの処理を行う画像処理であって、
上記画像データから動き情報を検出する処理と、
上記処理において上記動き情報検出部で検出された動き情報を付加した当該動き情報付き画像データを記憶する処理と
をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007269195A JP2009100199A (ja) | 2007-10-16 | 2007-10-16 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007269195A JP2009100199A (ja) | 2007-10-16 | 2007-10-16 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009100199A true JP2009100199A (ja) | 2009-05-07 |
Family
ID=40702790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007269195A Pending JP2009100199A (ja) | 2007-10-16 | 2007-10-16 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009100199A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012527801A (ja) * | 2009-05-19 | 2012-11-08 | ソニーモバイルコミュニケーションズ， エービー | デジタル画像を撮像する方法及び撮像装置 |
-
2007
- 2007-10-16 JP JP2007269195A patent/JP2009100199A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012527801A (ja) * | 2009-05-19 | 2012-11-08 | ソニーモバイルコミュニケーションズ， エービー | デジタル画像を撮像する方法及び撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7692690B2 (en) | Image sensing apparatus for recording a moving image and a still image and its control method | |
| JP5333229B2 (ja) | 再生装置及び再生方法、並びにコンピュータ・プログラム | |
| WO2006028172A1 (ja) | 記録装置および方法、再生装置および方法、並びにプログラム | |
| JP2005051813A (ja) | 映像記録方法及び装置、映像再生方法及び装置、及び記録媒体 | |
| JP5018332B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
| JP5164610B2 (ja) | 撮像装置及びその制御方法 | |
| JP2007110223A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム | |
| JP4901673B2 (ja) | 撮像装置、記録装置、再生装置、撮像方法、記録方法、再生方法及びプログラム | |
| JPH11215458A (ja) | 画像記録装置及び方法、画像再生装置及び方法、画像記録再生装置及び方法、並びに記録媒体 | |
| JP2012156587A (ja) | 動画記録装置 | |
| JP2011147119A (ja) | 画像処理装置および画像処理プログラム | |
| JP5076457B2 (ja) | 映像信号処理装置、映像信号処理方法 | |
| JP2010263374A (ja) | 記録再生装置及び記録再生方法 | |
| JP2009100199A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
| JP5828251B2 (ja) | 画像処理装置およびデジタルカメラ | |
| JP2008097727A (ja) | 動画再生装置 | |
| JP2008160564A (ja) | カメラ装置およびカメラ装置におけるチャプタデータ生成方法 | |
| KR101480407B1 (ko) | 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체 | |
| JP4177081B2 (ja) | 画像再生装置および方法 | |
| JP2006005610A (ja) | パノラマ映像記録再生装置 | |
| JP2011139300A (ja) | 画像処理装置及びプログラム | |
| JP2006174086A (ja) | 画像記録再生装置および画像記録再生方法 | |
| KR101589490B1 (ko) | 디지털 영상 처리기에서 이미지 압축 및 해제 장치 및 방법 | |
| JP2007081463A (ja) | 画像処理装置及び方法 | |
| JP2010034933A (ja) | 画像処理装置、画像処理方法、及びプログラム |