JP2011146976A

JP2011146976A - データ処理装置

Info

Publication number: JP2011146976A
Application number: JP2010006808A
Authority: JP
Inventors: Daisuke Amano; 大輔天野
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2010-01-15
Filing date: 2010-01-15
Publication date: 2011-07-28
Anticipated expiration: 2030-01-15
Also published as: JP5631598B2

Abstract

【構成】前処理回路２０から周期的に出力された生画像データは、ＳＤＲＡＭ２４に取り込まれる。後処理回路２６は取り込まれた生画像データを１０８０／６０ｉ方式の画像データに変換し、ＭＰＥＧ４エンコーダ３８は変換された画像データに基づいてＭＰ４データを作成する。後処理回路２８は取り込まれた生画像データを４８０／３０ｉ方式の画像データに変換し、ＭＰＥＧ４エンコーダ４０は変換された画像データに基づいて３ＧＰデータを作成する。ここで、ＭＰ４データおよび３ＧＰデータは互いに並列して作成され、ＭＰ４データの品質は３ＧＰデータの品質よりも高い。ＣＰＵ４６は、ＡＡＣエンコーダ３６から出力されたＡＡＣデータを、ＭＰ４データの作成処理の経過を参照してＭＰ４データおよび３ＧＰデータの各々に割り当てる。
【効果】ＡＡＣデータの割り当て処理に掛かる負荷を低減できる。
【選択図】図２

Description

この発明は、データ処理装置に関し、特にディジタルビデオカメラに適用され、互いに異なる品質を有する画像データに共通の音声データを割り当てる、データ処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、映像信号および音声信号は、カメラ部およびマイクロフォンからそれぞれ入力される。入力された映像信号および音声信号は、テープ記録再生部によってテープカセットに記録されるとともに、メモリカード記録再生部によってメモリカードに記録される。

特開２００５−１０９９２３号公報

しかし、背景技術では、テープカセットに対する音声信号の記録タイミングをメモリカードに対する音声信号の記録タイミングと正確に一致させることを想定していない。ここで、各々の記録タイミングを正確に合わせようとすると、記録方式の相違から負荷が増大するおそれがある。

それゆえに、この発明の主たる目的は、互いに異なる方式ないし品質に対応する画像データに共通の音声データを割り当てるときの負荷を低減することができる、データ処理装置を提供することである。

この発明に従うデータ処理装置(10：実施例で相当する参照符号。以下同じ)は、元画像データを周期的に取り込む画像取り込み手段(22)、画像取り込み手段によって取り込まれた元画像データに基づいて第１品質に対応する第１画像データを作成する第１作成手段(26, 38)、画像取り込み手段によって取り込まれた元画像データに基づいて第１品質よりも低い第２品質に対応する第２画像データを作成する処理を第１作成手段の作成処理と並列して実行する第２作成手段(28, 40)、第１作成手段によって作成された第１画像データおよび第２作成手段によって作成された第２画像データの各々に音声データを割り当てる割り当て手段(S21, S25)、および第１作成手段による作成処理の経過を参照して割り当て手段を起動する制御手段(S17)を備える。

好ましくは、第１画像データのフレームレートは元画像データのフレームレートの１／Ｍ（Ｍ：整数）に相当し、第２画像データのフレームレートは元画像データのフレームレートの１／Ｎ（Ｎ：Ｍを上回る整数）に相当する。

好ましくは、第２画像データの解像度は第１画像データの解像度を下回る。

好ましくは、制御手段は第１作成手段によって作成された第１画像データのフレーム数が既定値に達する毎に割り当て手段を起動する。

さらに好ましくは、第１画像データはイントラ符号化画像とインター符号化画像とが混在したストリームデータに相当し、既定値はイントラ符号化画像が出現する周期に対応する。

好ましくは、音声データを取り込む音声取り込み手段(36)がさらに備えられ、割り当て手段は音声取り込み手段によって取り込まれた音声データを対象とする。

好ましくは、被写界を表す画像データを出力する撮像手段(16)がさらに備えられ、取り込み手段によって取り込まれる元画像データは撮像手段から出力された画像データに相当する。

この発明によれば、第１画像データおよび第２画像データは、周期的に取り込まれる共通の元画像データに基づいて作成される。また、第１画像データの作成処理および第２画像データの作成処理は互いに並列して実行される。さらに、第２画像データの品質は第１画像データの品質よりも低い。したがって、或る周期で取り込まれた元画像データに注目したとき、この元画像データに基づく第１画像データの作成処理が完了した時点では、対応する第２画像データは完成している。音声データは、第１画像データの作成処理の経過を参照して、第１画像データおよび第２画像データの各々に割り当てられる。これによって、互いに異なる方式ないし品質に対応する画像データに共通の音声データを割り当てるときの負荷を低減することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の基本的構成を示すブロック図である。この発明の一実施例の構成を示すブロック図である。図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。ＳＤＲＡＭの生画像エリアにおける２つの切り出しエリアの割り当て状態の一例を示す図解図である。（Ａ）はＭＰ４データに対応する画像のアスペクト比を示す図解図であり、（Ｂ）は３ＧＰデータに対応する画像のアスペクト比を示す図解図である。（Ａ）はＭＰ４ファイルのデータ構造の一例を示す図解図であり、（Ｂ）は３ＧＰファイルのデータ構造の一例を示す図解図である。図２実施例の動作の一部を示すタイミング図である。図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。画像取り込み手段１は、元画像データを周期的に取り込む。第１作成手段２は、画像取り込み手段１によって取り込まれた元画像データに基づいて第１品質に対応する第１画像データを作成する。第２作成手段３は、画像取り込み手段１によって取り込まれた元画像データに基づいて第１品質よりも低い第２品質に対応する第２画像データを作成する処理を第１作成手段２の作成処理と並列して実行する。割り当て手段４は、第１作成手段２によって作成された第１画像データおよび第２作成手段３によって作成された第２画像データの各々に音声データを割り当てる。制御手段５は、第１作成手段２による作成処理の経過を参照して割り当て手段４を起動する。

第１画像データおよび第２画像データは、周期的に取り込まれる共通の元画像データに基づいて作成される。また、第１画像データの作成処理および第２画像データの作成処理は互いに並列して実行される。さらに、第２画像データの品質は第１画像データの品質よりも低い。したがって、或る周期で取り込まれた元画像データに注目したとき、この元画像データに基づく第１画像データの作成処理が完了した時点では、対応する第２画像データは完成している。音声データは、第１画像データの作成処理の経過を参照して、第１画像データおよび第２画像データの各々に割り当てられる。これによって、互いに異なる方式ないし品質に対応する画像データに共通の音声データを割り当てるときの負荷を低減することができる。
［実施例］

図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。被写界の光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。なお、撮像面の有効画像エリアは、水平２５６０画素×垂直１６００画素の解像度を有する。

電源が投入されると、ＣＰＵ４６は、記録制御タスクの下で動画取り込み処理を実行するべく、ドライバ１８ｃを起動する。ドライバ１８ｃは、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷を順次走査態様で読み出す。イメージセンサ１６からは、被写界を表す生画像データが６０ｆｐｓのフレームレートで出力される。

前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４の生画像エリア２４ａ（図３参照）に書き込まれる。

図４を参照して、生画像エリア２４ａには、切り出しエリアＣＴ１およびＣＴ２が割り当てられる。切り出しエリアＣＴ１は水平１９２０画素×垂直１０８０画素に相当する解像度（アスペクト比は１６：９）を有する。一方、切り出しエリアＣＴ２は水平６４０画素×垂直４８０画素に相当する解像度（アスペクト比は４：３）を有する。

後処理回路２６は、メモリ制御回路２２を通して生画像エリア２４ａにアクセスし、切り出しエリアＣＴ１に対応する生画像データを順次走査態様で１／６０秒毎に読み出す。読み出された生画像データは色分離，白バランス調整，ＹＵＶ変換，エッジ強調，ズームなどの処理を施され、この結果、１０８０／６０ｐ方式に対応する画像データ（図５（Ａ）参照）が作成される。作成された画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｂ（図３参照）に書き込まれる。

ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｂに格納された画像データを繰り返し読み出し、読み出された画像データをＬＣＤモニタ３２の解像度に適合するように縮小し、そして縮小された画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

前処理回路２０はまた、生画像データを簡易的にＹデータに変換し、変換されたＹデータをＣＰＵ４６に与える。ＣＰＵ４６は、撮像条件調整タスクの下でＹデータにＡＥ処理を施し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、これによってスルー画像の明るさが適度に調整される。ＣＰＵ４６はまた、ＡＦ起動条件が満足されるときに、Ｙデータの高周波成分にＡＦ処理を施す。フォーカスレンズ１２はドライバ１８ａによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。

キー入力装置４８に向けて記録開始操作が行われると、ＣＰＵ４６は、記録制御タスクの下でＩ／Ｆ４２を通して記録媒体４４にアクセスし、ＭＰ４ファイルおよび３ＧＰファイルを記録媒体４４に新規に作成する（作成されたＭＰ４ファイルおよび３ＧＰファイルはオープされる）。

ファイル作成＆オープン処理が完了すると、ＣＰＵ４６は、ＭＰ４符号化処理を開始するべくＭＰＥＧ４エンコーダ３８を起動し、３ＧＰ符号化処理を開始するべく後処理回路２８およびＭＰＥＧ４エンコーダ４０を起動し、そして音声取り込み処理を開始するべくＡＡＣエンコーダ３６を起動する。

ＭＰ４エンコーダ３８は、ＹＵＶ画像エリア２４ｂに格納された１０８０／６０ｐ方式の画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された画像データをＭＰＥＧ４方式に従って符号化し、そして符号化画像データつまりＭＰ４データをメモリ制御回路２２を通してＳＤＲＡＭ２４の符号化画像エリア２４ｄ（図３参照）に書き込む。

後処理回路２８は、切り出しエリアＣＴ２に属する一部の生画像データをメモリ制御回路２２を通して読み出し、読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換，エッジ強調，ズームなどの処理を施して４８０／３０ｐ方式の画像データ（図５（Ｂ）参照）を作成し、そして作成された画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｃ（図３参照）に書き込む。

ＭＰ４エンコーダ４０は、ＹＵＶ画像エリア２４ｃに格納された４８０／３０ｐ方式の画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された画像データをＭＰＥＧ４方式に従って符号化し、そして符号化画像データつまり３ＧＰデータをメモリ制御回路２２を通してＳＤＲＡＭ２４の符号化画像エリア２４ｅ（図３参照）に書き込む。

ＡＡＣエンコーダ３６は、マイクロフォン３４から出力された音声データをＡＡＣ方式に従って符号化し、符号化音声データつまりＡＡＣデータをメモリ制御回路２２を通してＳＤＲＡＭ２４の符号化音声エリア２４ｆ（図３参照）に書き込む。

ＣＰＵ４６はその後、６０フレームのＭＰ４データが得られる毎に、最新６０フレームのＭＰ４データおよび最新１秒分のＡＡＣデータをオープン状態のＭＰ４ファイルに転送し、最新３０フレームの３ＧＰデータおよび最新１秒分のＡＡＣデータをオープン状態の３ＧＰファイルに転送する。

最新６０フレームのＭＰ４データおよび最新１秒分のＡＡＣデータは、メモリ制御回路２２によって符号化画像エリア２４ｄおよび符号化音声エリア２４ｆから読み出され、Ｉ／Ｆ４２を介してＭＰ４ファイルに書き込まれる。また、最新３０フレームの３ＧＰデータおよび最新１秒分のＡＡＣデータは、メモリ制御回路２２によって符号化画像エリア２４ｅおよび符号化音声エリア２４ｆから読み出され、Ｉ／Ｆ４２を介して３ＧＰファイルに書き込まれる。

したがって、ＭＰ４データおよびＡＡＣデータは、図６（Ａ）に示す要領でＭＰ４ファイルに収められる。また、３ＧＰデータおよびＡＡＣデータは、図６（Ｂ）に示す要領で３ＧＰファイルに収められる。

キー入力装置４８に向けて記録終了操作が行われると、ＣＰＵ４６は、ＭＰ４符号化処理を終了するべくＭＰＥＧ４エンコーダ３８を停止し、３ＧＰ符号化処理を終了するべく後処理回路２８およびＭＰＥＧ４エンコーダ４０を停止し、そして音声取り込み処理を開始するべくＡＡＣエンコーダ３６を停止する。

ＣＰＵ４６はその後、終端処理を実行する。これによって、ＳＤＲＡＭ２４に残存する６０フレーム未満のＭＰ４データおよび１秒未満のＡＡＣデータがＭＰ４ファイルに書き込まれ、ＳＤＲＡＭ２４に残存する３０フレーム未満の３ＧＰデータおよび１秒未満のＡＡＣデータが３ＧＰファイルに書き込まれる。オープン状態のＭＰ４ファイルおよび３ＧＰファイルは、終端処理が完了した後にクローズされる。

図７を参照して、ＭＰ４符号化処理および３ＧＰ符号化処理は、互いに並列して実行される。ただし、３ＧＰデータの品質はＭＰ４データの品質よりも低いため（品質：フレームレートおよび／または解像度）、或るフレームの生画像データに基づくＭＰ４データの作成処理が完了した時点では、対応する３ＧＰデータは完成している。このような時間特性に注目して、この実施例では、ＭＰ４データの作成処理の経過を参照しつつ、ＡＡＣデータをＭＰ４データおよび３ＧＰデータの各々に割り当てるようにしている。

具体的に説明すると、ＭＰ４データおよび３ＧＰデータはいずれも、イントラ符号化ピクチャ（＝Ｉピクチャ）およびインター符号化ピクチャ（＝ＰピクチャまたはＢピクチャ）が混在したデータストリームである。また、１ＧＯＰは、Ｉピクチャから始まる６０フレームのＭＰ４データ或いはＩピクチャから始まる３０フレームの３ＧＰデータによって形成される。さらに、６０フレームのＭＰ４データおよび３０フレームの３ＧＰデータはいずれも、１秒分の動画像を表す。

これを踏まえて、１秒分のＡＡＣデータは、ＭＰ４データを形成するＩピクチャが作成されるタイミングで、１秒分のＭＰ４データおよび１秒分の３ＧＰデータの各々に割り当てられる。これによって、互いに異なる方式ないし品質に対応する動画像に共通の音声を割り当てるときの負荷を低減することができる。

ＣＰＵ４６は、図８〜図１０に示す記録制御タスクと図１１に示す撮像条件調整タスクとを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ５０に記憶される。

図８を参照して、ステップＳ１では動画取り込み処理を実行する。これによって、スルー画像がＬＣＤモニタ３２に表示される。ステップＳ３では記録開始操作が行われたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ５に進む。ステップＳ５およびＳ７では、Ｉ／Ｆ４２を通して記録媒体４４にアクセスし、オープン状態のＭＰ４ファイルおよび３ＧＰファイルを記録媒体４４に新規に作成する。ステップＳ９ではＭＰ４符号化処理を開始するべくＭＰＥＧ４エンコーダ３８を起動し、ステップＳ１１では３ＧＰ符号化処理を開始するべく後処理回路２８およびＭＰＥＧ４エンコーダ４０を起動し、ステップＳ１３では音声取り込み処理を開始するべくＡＡＣエンコーダ３６を起動する。

ＭＰ４エンコーダ３８は、ＹＵＶ画像エリア２４ｂに格納された１０８０／６０ｐ方式の画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された画像データをＭＰＥＧ４方式に従って符号化し、そして符号化画像データつまりＭＰ４データをメモリ制御回路２２を通して符号化画像エリア２４ｄに書き込む。

後処理回路２８は、切り出しエリアＣＴ２に属する一部の生画像データをメモリ制御回路２２を通して読み出し、読み出された生画像データに基づいて４８０／３０ｐ方式の画像データを作成し、そして作成された画像データをメモリ制御回路２２を通してＹＵＶ画像エリア２４ｃに書き込む。

ＭＰ４エンコーダ４０は、ＹＵＶ画像エリア２４ｃに格納された４８０／３０ｐ方式の画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された画像データをＭＰＥＧ４方式に従って符号化し、そして符号化画像データつまり３ＧＰデータをメモリ制御回路２２を通して符号化画像エリア２４ｅに書き込む。

ＡＡＣエンコーダ３６は、マイクロフォン３４から出力された音声データをＡＡＣ方式に従って符号化し、符号化音声データつまりＡＡＣデータをメモリ制御回路２２を通して符号化音声エリア２４ｆに書き込む。

ステップＳ１５では変数Ｋを“１”に設定し、ステップＳ１７では６０＊Ｋフレーム目のＭＰ４データが完成したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ１９以降の処理を実行する。

ステップＳ１９では、符号化画像エリア２４ｄに格納された最新６０フレームのＭＰ４データをメモリ制御回路２２を通して読み出し、読み出されたＭＰ４データをＩ／Ｆ４２を介してオープン状態のＭＰ４ファイルに書き込む。ステップＳ２１では、符号化音声エリア２４ｆに格納された最新１秒分のＡＡＣデータをメモリ制御回路２２を通して読み出し、読み出されたＡＡＣデータをＩ／Ｆ４２を介してオープン状態のＭＰ４ファイルに書き込む。

ステップＳ２３では、符号化画像エリア２４ｅに格納された最新３０フレームの３ＧＰデータをメモリ制御回路２２を通して読み出し、読み出された３ＧＰデータをＩ／Ｆ４２を介してオープン状態の３ＧＰファイルに書き込む。ステップＳ２５では、符号化音声エリア２４ｆに格納された最新１秒分のＡＡＣデータをメモリ制御回路２２を通して読み出し、読み出されたＡＡＣデータをＩ／Ｆ４２を介してオープン状態の３ＧＰファイルに書き込む。

ステップＳ２７では、記録終了操作が行われたか否かを判別する。判別結果がＮＯであれば、ステップＳ２９で変数ＫをインクリメントしてからステップＳ１７に戻る。したがって、ステップＳ１９〜Ｓ２５の処理は、６０フレームのＭＰ４データが得られる毎に実行される。ステップＳ２７の判別結果がＮＯからＹＥＳに更新されると、ステップＳ３１に進む。

ステップＳ３１では、ＭＰ４符号化処理を終了するべくＭＰＥＧ４エンコーダ３８を停止し、ステップＳ３３では３ＧＰ符号化処理を終了するべく後処理回路２８およびＭＰＥＧ４エンコーダ４０を停止し、ステップＳ３５では音声取り込み処理を開始するべくＡＡＣエンコーダ３６を停止する。

ステップＳ３７では、終端処理を実行する。これによって、ＳＤＲＡＭ２４に残存する６０フレーム未満のＭＰ４データおよび１秒未満のＡＡＣデータがＭＰ４ファイルに書き込まれ、ＳＤＲＡＭ２４に残存する３０フレーム未満の３ＧＰデータおよび１秒未満のＡＡＣデータが３ＧＰファイルに書き込まれる。ステップＳ３９〜Ｓ４１では、Ｉ／Ｆ４２を通して記録媒体４４にアクセスし、オープン状態のＭＰ４ファイルおよび３ＧＰファイルをクローズする。クローズ処理が完了すると、ステップＳ３に戻る。

図１１を参照して、ステップＳ５１ではフォーカス，絞り量および露光時間を初期化する。ステップＳ５３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ５５でＡＥ処理を実行する。これによって、スルー画像の明るさが適度に調整される。ステップＳ５７ではＡＦ起動条件が満足されるか否かを判別し、ＮＯであればそのままステップＳ５３に戻る一方、ＹＥＳであればステップＳ５９でＡＦ処理を実行してからステップＳ５３に戻る。ＡＦ処理の結果、フォーカスレンズ１２は合焦点に配置され、これによってスルー画像の鮮鋭度が向上する。

以上の説明から分かるように、メモリ制御回路２２は、前処理回路２０から出力された生画像データを周期的にＳＤＲＡＭ２４に取り込む。後処理回路２６は取り込まれた生画像データを１０８０／６０ｐ方式の画像データに変換し、ＭＰＥＧ４エンコーダ３８は変換された画像データに基づいてＭＰ４データを作成する。後処理回路２８は取り込まれた生画像データを４８０／３０ｐ方式の画像データに変換し、ＭＰＥＧ４エンコーダ４０は変換された画像データに基づいて３ＧＰデータを作成する。ここで、ＭＰ４データおよび３ＧＰデータは互いに並列して作成され、ＭＰ４データの品質は３ＧＰデータの品質よりも高い。ＣＰＵ４６は、ＡＡＣエンコーダ３６から出力されたＡＡＣデータをこうして作成されたＭＰ４データおよび３ＧＰデータの各々に割り当てる(S21, S25)。ＣＰＵ４６はまた、ＡＡＣデータの割り当て処理をＭＰ４データの作成処理の経過を参照して起動する(S17)。

このように、ＭＰ４データおよび３ＧＰデータは、周期的に取り込まれる共通の生画像データに基づいて作成される。また、ＭＰ４データの作成処理および３ＧＰデータの作成処理は互いに並列して実行される。さらに、ＭＰ４データの品質は３ＧＰデータの品質よりも高い。したがって、或る周期で取り込まれた生画像データに注目したとき、この生画像データに基づくＭＰ４データの作成処理が完了した時点では、対応する３ＧＰデータは完成している。ＡＡＣデータは、ＭＰ４データの作成処理の経過を参照して、ＭＰ４データおよび３ＧＰデータの各々に割り当てられる。これによって、互いに異なる方式ないし品質を有する画像データに共通の音声データを割り当てるときの負荷を低減することができる。

なお、この実施例では、１０８０／６０ｐ方式の画像データおよび４８０／３０ｐ方式の画像データのいずれもＭＰＥＧ４方式で符号化される。しかし、１０８０／６０ｐ方式の画像データおよび４８０／３０ｐ方式の画像データのいずれか一方をＪＰＥＧ方式で符号化するようにしてもよい。

また、この実施例ではディジタルビデオカメラを想定しているが、この発明は据え置き型のビデオレコーダにも適用できる。

さらに、この実施例では、音声データの符号化方式としてＡＡＣ方式を採用しているが、ＡＡＣ方式以外の符号化方式で音声データを符号化するようにしてもよい。

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２６，２８ …後処理回路
３８，４０ …ＭＰＥＧ４エンコーダ
４４ …記録媒体
４６ …ＣＰＵ

Claims

元画像データを周期的に取り込む画像取り込み手段、
前記画像取り込み手段によって取り込まれた元画像データに基づいて第１品質に対応する第１画像データを作成する第１作成手段、
前記画像取り込み手段によって取り込まれた元画像データに基づいて前記第１品質よりも低い第２品質に対応する第２画像データを作成する処理を前記第１作成手段の作成処理と並列して実行する第２作成手段、
前記第１作成手段によって作成された第１画像データおよび前記第２作成手段によって作成された第２画像データの各々に音声データを割り当てる割り当て手段、および
前記第１作成手段による作成処理の経過を参照して前記割り当て手段を起動する制御手段を備える、データ処理装置。
前記第１画像データのフレームレートは前記元画像データのフレームレートの１／Ｍ（Ｍ：整数）に相当し、
前記第２画像データのフレームレートは前記元画像データのフレームレートの１／Ｎ（Ｎ：Ｍを上回る整数）に相当する、請求項１記載のデータ処理装置。
前記第２画像データの解像度は前記第１画像データの解像度を下回る、請求項１または２記載のデータ処理装置。
前記制御手段は前記第１作成手段によって作成された第１画像データのフレーム数が既定値に達する毎に前記割り当て手段を起動する、請求項１ないし３のいずれかに記載のデータ処理装置。
前記第１画像データはイントラ符号化画像とインター符号化画像とが混在したストリームデータに相当し、
前記既定値は前記イントラ符号化画像が出現する周期に対応する、請求項４記載のデータ処理装置。
音声データを取り込む音声取り込み手段をさらに備え、
前記割り当て手段は前記音声取り込み手段によって取り込まれた音声データを対象とする、請求項１ないし５のいずれかに記載のデータ処理装置。
被写界を表す画像データを出力する撮像手段をさらに備え、
前記取り込み手段によって取り込まれる元画像データは前記撮像手段から出力された画像データに相当する、請求項１ないし６のいずれかに記載のデータ処理装置。