JP2008271336A - 画像処理装置 - Google Patents

Abstract

【課題】
面倒な手間無しで、同時静止画撮影が行われた期間の動画を他の期間に比べて高画質で記録する。
【解決手段】
動画符号化装置２２、符号化レート制御装置２４及び動画記録装置２６が動画記録系を構成し、静止画符号化装置２８と静止画記録装置３０が静止画記録系を構成する。システム制御装置３２は、動画記録／停止スイッチ３４の操作に応じて、動画記録系による動画記録を開始又は停止する。システム制御装置３２はまた、レリーズスイッチ３６の操作に応じて、静止画記録系に静止画記録を実行させる。動画記録中のレリーズスイッチ３６による静止画記録操作に対して、システム制御装置３２は、符号化レート制御装置２４を介して動画圧縮の符号化レートを制御し、動画記録を一時的に高画質化する。
【選択図】 図１

Description

本発明は、画像処理装置に関し、より具体的には、動画撮影中に静止画が撮影された場合における動画の画質を向上させる画像処理装置に関する。

近年、静止画と動画の両方を撮影可能なデジタルカメラが製品化されている。ユーザは、これらの装置或いはパーソナルコンピュータなどを用いて、記録画像を視聴できる。静止画と動画の両方を撮影可能なデジタルカメラの中には、動画撮影中に静止画を撮影すること（以下、同時静止画撮影と呼ぶ）が可能なものがある。ユーザは、この同時静止画撮影機能により、動画撮影中においても好みのシーンで静止画を撮影することが可能となる。

一方、デジタルビデオカメラ等で撮影された動画を高能率符号化する技術として、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ ２）といった符号化方式が確立されている。

ＭＰＥＧ２符号化方式の符号化効率を向上させる技術の一つに可変ビットレート（ＶＢＲ）符号化方式がある。可変ビットレート（ＶＢＲ）符号化では、動画の各フレームにおいて、画像の複雑さや動きの激しさに応じて符号化レートを変更する。

しかし、ただ単に画像の複雑さや動きの激しさに応じて符号化レートを変更するだけではなく、ユーザからの指示された期間の符号化レートを高くすることにより、その指示された期間の動画を高画質に符号化することも、知られている（例えば、特許文献１）。
特開２００６−１２１５７４号公報

特許文献１に記載の技術は、ユーザの意図的な操作を必要とする。即ち、ユーザは、高画質で撮影したい期間において、意識的に特定の指示をカメラに入力しなければならず、操作が煩雑になる。

そこで、本発明は、上記の問題点に鑑み、ユーザの意識的な指示無しで動画の符号化レートを高くする画像処理装置を提示することを目的とする。

上記の目的を達成するために、本発明に係る画像処理装置は、被写体の光学像を画像信号に変換する撮像手段と、動画の記録を指示する動画記録指示手段と、前記動画記録手段の操作に応じて、前記撮像手段から出力される画像信号を動画として記録する動画記録手段と、静止画の記録を指示する静止画記録指示手段と、前記動画記録手段による動画記録を行いながら、前記静止画記録指示手段の操作に応じて、前記撮像手段から出力される画像信号を静止画として記録する静止画記録手段と、前記動画記録手段によって記録される動画データのうち、前記静止画記録指示手段の操作に応じた所定期間における動画データは、他の期間の動画データよりもビットレートを高くするよう制御するレート制御手段とを具備することを特徴とする。

本発明に係る画像処理装置は、被写体の光学像を画像信号に変換する撮像手段と、動画の記録を指示する動画記録指示手段と、前記動画記録指示手段の操作に応じて、前記撮像手段から出力される画像信号を動画として記録する動画記録手段と、静止画の記録を指示する静止画記録指示手段と、前記動画記録手段による動画記録を行いながら、前記静止画記録指示手段の操作に応じて、前記撮像手段から出力される画像信号を静止画として記録する静止画記録手段とを具備する画像処理装置であって、前記動画記録手段が、前記撮像手段から出力される画像信号を圧縮符号化する動画符号化手段と、動画記録中の前記静止画記録指示手段の操作に応じて、前記動画符号化手段の符号化レートを一時的に高く制御する符号化レート制御手段とを具備することを特徴とする。

本発明に係る画像処理装置は、第１の符号化レートで符号化された動画及び動画付帯情報を記録する動画記録手段と、静止画像及び静止画付帯情報を記録する静止画記録手段と、前記第１の符号化レートで符号化された動画を復号化する復号化手段と、前記復号化手段によって復号化された動画を第２の符号化レートで再符号化する符号化手段と、前記動画付帯情報、及び前記静止画付帯情報に基づき、前記第１の符号化レートで符号化された動画を撮影中に静止画が撮影されたかを判定し、静止画が撮影された時刻情報を示す同時静止画撮影情報を作成する同時静止画撮影情報作成手段と、前記同時静止画撮影情報作成手段からの前記同時静止画撮影情報に従い、前記静止画の撮影時刻を含む期間の前記第２の符号化レートを他の期間よりも高く制御する再符号化レート制御手段とを具備することを特徴とする。

本発明によれば、動画撮影中に静止画が撮影された場合において、静止画が撮影された期間の動画の符号化レートを高くする。これにより、面倒な手間無しで、同時静止画撮影が行われた期間の動画を高画質で記録できる。

また、動画の再符号化においても、面倒な手間無しで、同時静止画撮影が行われた期間の動画を高画質で記録できる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の実施例１である画像処理装置としての撮像装置１０の概略構成ブロック図である。実施例１では、動画撮影中の静止画撮影操作に応じて、動画の符号化レートを高くする。

カメラユニット１２は、撮影レンズ１４、撮像素子１６、Ａ／Ｄ変換器１８及びカメラ信号処理装置２０から構成される。撮影レンズ１４は、光学ズーム機能と合焦機能を具備する。撮像素子１６は、例えば、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）といったイメージセンサからなる。撮像素子１６は、撮影レンズ１４による被写体の光学像を電気画像信号に変換する。Ａ／Ｄ変換器１８は、撮像素子１６からのアナログ画像信号をデジタル画像信号に変換する。カメラ信号処理装置２０は、Ａ／Ｄ変換器１８からのデジタル画像信号に対して、γ補正及びホワイトバランス等の処理を行い、所定フォーマットの映像信号を出力する。

動画符号化装置２２は、符号化レート制御装置２４により制御される符号化レートで、カメラユニット１２からの映像信号を動画として圧縮符号化する。動画記録装置２６は、動画符号化装置２２で符号化された動画データを記録媒体に記録する。動画記録装置２６は、撮影時刻を動画の付帯情報として動画データに付加して記録する。

他方、静止画符号化装置２８は、カメラユニット１２から出力される映像信号の１コマを静止画像として圧縮符号化する。静止画記録装置３０は、静止画符号化装置２８により符号化された静止画データを記録媒体に記録する。静止画記録装置３０は、撮影時刻を静止画像の付帯情報として静止画データに付加して記録する。静止画記録装置３０が静止画データを記録する記録媒体は、動画記録装置２６が動画データを記録する記録媒体と同じでも、異なっても良い。

動画符号化装置２２、符号化レート制御装置２４及び動画記録装置２６が動画記録系を構成し、静止画符号化装置２８と静止画記録装置３０が静止画記録系を構成する。

システム制御装置３２は、動画記録／停止スイッチ３４の操作に応じて、動画記録系による動画記録を開始又は停止する。システム制御装置３２はまた、レリーズスイッチ３６の操作に応じて、静止画記録系に静止画記録を実行させる。動画記録／停止スイッチ３４は、特許請求の範囲の動画記録指示手段として機能する。レリーズスイッチ３６は、特許請求の範囲の静止画記録指示手段として機能する。

本実施例の特徴的な動作として、動画記録中のレリーズスイッチ３６による静止画記録操作に対して、システム制御装置３２は、符号化レート制御装置２４を介して動画圧縮の符号化レートを制御し、記録中の動画を一時的に高画質にする。

同時撮影された動画と静止画の一方又は両方には、互いを関連付けるリンク情報を付帯情報として付加的に記録しても良い。動画には、同時に撮影された静止画の撮影時刻の情報を付加しても良い。

静止画撮影に使われるレリーズスイッチ３６は２段階スイッチであり、周知の通り、その半押し状態（静止画撮影の準備操作、又は第１の押下段階）で、カメラユニット１２の露出と合焦が制御され、全押し（第２の押下段階）で静止画像撮影が実行される。レリーズスイッチ３６の全押しに応じて、静止画符号化装置２８が、カメラユニット１２の出力映像信号を取り込んで圧縮符号化し、静止画記録装置３０が、圧縮された静止画データを記録媒体に記録する。静止画のみの撮影の場合、カメラユニット１２が、動画撮影時に比べて画素数の多い画像信号を出力することもある。

図２は、動画符号化装置２２の概略構成ブロック図を示す。符号化方式としてＭＰＥＧ（Moving Picture Experts Group）符号化方式を採用した構成を説明するが、符号化方式はこれに限ったものではなく、例えば、Ｈ．２６４符号化方式でもよい。

動画符号化装置２２の入力バッファ５２は、後段での処理のために、カメラユニット１２からの映像信号を一時的に記憶する。入力バッファ５２の容量が、動画符号化装置２２の遅延時間に影響する。減算器５４は、フレーム内符号化の場合には、入力バッファ５２からの画像データをそのまま出力し、フレーム間符号化の場合には、入力バッファ５２からの画像データから予測画像データを減算して、画像差分データを出力する。予測画像データについては後述する。

離散コサイン変換（ＤＣＴ）装置５６は、減算器５４からのデータを離散コサイン変換し、その変換係数を出力する。量子化装置５８は、ＤＣＴ装置５６からの変換係数データを量子化スケールに基づき量子化する。量子化スケールを変化させることによって、発生符号量、従って符号化レートが大きく変化する。

可変長符号化装置７２は、量子化装置５８で量子化された変換係数及び動き検出装置７０からの動きベクトルを可変長符号化する。出力バッファ７４は、可変長符号化装置７２の出力符号を一時記憶し、後段（ここでは動画記録装置２６）に出力する。

符号量制御装置７６は、出力バッファ７４の記憶データ量又は占有率をモニタする。符号量制御装置７６は、基本的には、モニタした出力バッファ７４の記憶データ量がほぼ一定になるように量子化装置５８の量子化スケールを制御する。本実施例では、符号量制御装置７６は、符号化レート制御装置２４からの制御信号にも応じて、可変ビットレート（ＶＢＲ）方式で量子化装置５８の量子化スケールを制御する。

量子化装置５８で量子化された変換係数は、ローカルで復号化され、予測画像データの生成に使用される。逆量子化装置６０は、量子化装置５８で量子化された変換係数を逆量子化する。逆ＤＣＴ装置６２は、逆量子化装置６０で逆量子化された変換係数を逆離散コサイン変換する。加算器６４は、フレーム内符号化の場合には、逆ＤＣＴ装置６２の出力データをそのまま出力し、フレーム間符号化の場合には、逆ＤＣＴ装置６２の出力データ（差分データ）に予測画像データを加算する。これにより、ＤＣＴ装置５６及び量子化装置５８で圧縮された画像データが伸長され、復元される。このようにローカルで復元された再構成画像データは、フレームメモリ６６に格納される。再構成画像データの中で、以降のフレーム間符号化で参照される可能性がある画像データは、フレームメモリ６６に暫くの期間、保存される。

動き検出装置７０は、入力バッファ５２からの現在の画像と、フレームメモリ６６に格納される画像とを参照して画像の動きを検出し、検出した動きベクトルを動き補償装置６８と可変長符号化装置７２に供給する。動き補償装置６８は、動き検出装置７０からの動きベクトルに従い、フレームメモリ６６からの画像の動きを補償する。動きを補償された画像データが、予測画像データとして減算器５４及び加算器６４に供給される。

動画記録中の静止画撮影に対する符号化レート制御装置２４の動作を説明する。図３は、動画撮影中に静止画撮影を行ったときの符号化レートの変化例を示す模式図である。ただし、図３は、４０秒間の動画撮影中に、撮影開始から２０秒後に静止画を撮影した場合を示す。

まず、撮影が開始されると（時刻：０秒）、符号化レート制御装置２４は、動画符号化装置２２の符号化レートを既定の符号化レート、例えば５Ｍｂｐｓに制御する。動画撮影中に、ユーザによりレリーズスイッチ３６が半押しされると（時刻：１０秒）、符号化レート制御装置２４は、ある最大の符号化レート、例えば、１０Ｍｂｐｓまで徐々に動画符号化装置２２の符号化レートを高くする。最大符号化レート（１０Ｍｂｐｓ）に到達すると（時刻：１５秒）、最大符号化レート（１０Ｍｂｐｓ）を維持する。

レリーズスイッチ３６の半押しから所定時間内に、ユーザがレリーズスイッチ３６を全押し状態にすると（時刻：２０秒）、符号化レート制御装置２４は、最大符号化レート（１０Ｍｂｐｓ）を所定時間、例えば、５秒間、維持する（時刻：２５秒）。その後、符号化レート制御装置２４は、符号化レートを元の符号化レート、この例では５Ｍｂｐｓまで徐々に低くする。符号化レートが元の既定の符号化レート（５Ｍｂｐｓ）まで低くなると（時刻：３０秒）、符号化レート制御装置２４は、既定の符号化レート（５Ｍｂｐｓ）を維持する。

このような符号化レート制御装置２４の動作により、動画撮影中に静止画が撮影された場合において、静止画が撮影された時間的前後の期間は符号化レートを所定の符号化レートよりも高くする。これにより、同時静止画撮影が行われた所定期間の動画を高画質で符号化し、記録できる。

なお、徐々に符号化レートを変更するのは、符号化レートの急激な変更による画質の変化を視聴者に認識させないためである。図３の例では、符号化レートを高くするときも、低くするときもそれぞれ５秒かけて変化させている。また、既定の符号化レート又は最大符号化レートは、ユーザによる画質モード等の選択に応じて変更できることは明らかである。

図４は、符号化レート制御装置２４の動作フローチャートである。動画記録／停止スイッチ３４の操作に応じて、動画撮影が開始される（Ｓ１１）。ユーザによりレリーズスイッチ３６が半押しされていない場合には（Ｓ１２）、符号化レート制御装置２４は、動画符号化装置２２の符号化レートを既定の符号化レート、例えば、５Ｍｂｐｓに制御する（Ｓ１３）。

ユーザによりレリーズスイッチ３６が半押しされると（Ｓ１２）、符号化レート制御装置２４は、動画符号化装置２２の符号化レートを最大符号化レート、例えば、１０Ｍｂｐｓに向けて徐々に高くしていく（Ｓ１４）。設定された最大符号化レート（１０Ｍｂｐｓ）に達したときは、そのまま維持する。但し、レリーズスイッチ３６の半押し状態が所定時間以上経過した場合、又は、半押しが解除された場合は（Ｓ１５）、符号化レート制御装置２４は、符号化レートを既定の符号化レート（５Ｍｂｐｓ）に向けて徐々に低くする（Ｓ１６）。一方、Ｓ１５において、半押し開始から所定時間内にレリーズスイッチ３６が全押しされると（Ｓ１７）、符号化レート制御装置２４は、動画符号化装置２２の符号化レートを最大符号化レートのまま所定時間（５秒間）維持する。なお、半押しの直後に全押しされたような場合は、最大符号化レートに達してから所定時間（５秒間）、最大符号化レートを維持する。その後、符号化レート制御装置２４は、動画符号化装置２２の符号化レートを既定の符号化レート（５Ｍｂｐｓ）まで徐々に低くする（Ｓ１８）。なお、Ｓ１７でレリーズスイッチ３６が全押しされないときは、Ｓ１２に戻る。

以上の処理を、動画撮影終了まで繰り返す（Ｓ１９）。

このようにして、本実施例では、静止画撮影時の近辺の動画を、静止画撮影に伴った操作のみによって、高画質で記録できる。

次に、本発明の実施例２を説明する。図５は、本発明の実施例２の概略構成ブロック図である。実施例２の撮像装置２１０は、実施例１と同様、動画撮影中に静止画の同時撮影が可能である。但し、静止画撮影に応じて同時撮影中の動画を高画質化する構成ではなく、動画データの再符号化によって同時撮影された動画を高画質化する構成である。

撮像装置２１０のカメラユニット２１２は、カメラユニット１２と同様の構成からなる。動画記録再生装置２１４は、カメラユニット２１２から出力される画像を動画として圧縮符号化し、記録する。静止画像記録装置２１６は、カメラユニット２１２から出力される画像のうち、ユーザにより指示されたタイミングの画像を静止画として圧縮符号化し、記録する。

動画記録再生装置２１４と静止画像記録装置２１６の一方又は両方には、事後的な参照が可能なように、同時静止画撮影に関するリンク情報が付帯情報として記録される。この付帯情報は例えば、動画には、同時撮影の静止画のファイル名や撮影時刻の情報であり、静止画には、同時撮影の動画のファイル名とフレーム番号等の情報である。

動画復号化装置２１８は、動画記録再生装置２１４に記録されている圧縮符号化された動画データを復号化し、復号された映像信号を動画符号化装置２２０に供給する。同時静止画撮影情報作成装置２２２は、動画記録再生装置２１４及び静止画像記録装置２１６に記録される動画と静止画の付帯情報を参照し、同時静止画撮影された動画と静止画を検出する。同時静止画撮影情報作成装置２２２は、その検出結果を示す同時静止画撮影情報を再符号化レート制御装置２２４に出力する。

再符号化レート制御装置２２４は、同時静止画撮影情報作成装置２２２からの同時静止画撮影情報に応じて、動画符号化装置２２０が再符号化を行う場合の符号化レートを決定し、制御する。動画符号化装置２２０は、再符号化レート制御装置２２４により制御される符号化レートで、動画復号化装置２１８からの復号された映像信号を再符号化する。再符号化された動画データは、動画記録再生装置２１４により記録媒体に記録される。その際、以前の符号化動画データは、削除しても良いし、そのまま保存しても良い。

図６は、動画復号化装置２１８の概略構成ブロック図を示す。ＭＰＥＧ符号化方式により符号化された動画データを復号化するＭＰＥＧ復号化方式の構成を説明するが、復号化方式はこれに限ったものではなく、例えば、Ｈ．２６４符号化方式により符号化された動画を復号化する場合には、Ｈ．２６４復号化方式になる。

動画復号化装置２１８は、入力バッファ２８２、可変長復号化装置２８４、逆量子化装置２８６、逆ＤＣＴ装置２８８、加算器２９０、フレームメモリ２９２及び動き補償装置２９４からなる。

入力バッファ２８２は、動画記録再生装置２１４から再生された符号化動画データを一時記憶する。可変長復号化装置２８４は、入力バッファ２８２からの符号化動画データを可変長復号化して、量子化変換係数を逆量子化装置２８６に出力する。可変長復号化装置２８４は、符号化動画データに多重されていた動きベクトル情報を抽出し、動き補償装置２９４に出力する。

逆量子化装置２８６は、量子化された変換係数を逆量子化し、逆ＤＣＴ装置２８８は、逆量子化装置２８６の出力を逆離散コサイン変換する。加算器２９０は、フレーム内符号化された動画データに対して、逆ＤＣＴ装置２８８の出力データをそのまま出力する。加算器２９０はまた、フレーム間符号化された動画データに対しては、動き補償装置２９４からの動き補償された予測画像データを、逆ＤＣＴ装置２８８の出力データに加算する。これらの処理により、動画の各画面の画像データが復元される。

フレームメモリ２９２は、このように復元された画像データフレーム間符号化の予測画像のために、一時記憶する。動き補償装置２９４は、可変長復号化装置２８４からの動きベクトル情報を参照して、フレームメモリ２９２に一時記憶される画像データの動きを補償し、予測画像データとして加算器２９０に供給する。

同時静止画撮影情報作成装置２２２の動作を説明する。同時静止画撮影情報作成装置２２２は、動画記録再生装置２１４の動画付帯情報及び静止画像記録装置２１６の静止画付帯情報を参照し、静止画像記録装置２１６に記録された静止画が動画記録再生装置２１４に記録された動画の撮影中に撮影されたものかどうかを判定する。そして、同時静止画撮影情報作成装置２２２は、同時撮影の静止画が存在する場合、動画撮影中に撮影された静止画の撮影時刻情報を同時静止画撮影情報として再符号化レート制御装置２２４に出力する。静止画の時刻情報は、例えば、同時撮影の動画が撮影開始されてから静止画が撮影されるまでの経過時間でも良い。

図７を参照して、再符号化レート制御装置２２４の動作を説明する。図７は、実施例２における動画データの再符号化の際の符号化レートの変化例を示す。図７に示す例では、４０秒間の動画において、動画の先頭から２０秒後に静止画が同時撮影されている。同時静止画撮影情報作成装置２２２は、動画の記録開始から時２０秒後に静止画が同時撮影されたことを示す同時静止画撮影情報を再符号化レート制御装置２２４に供給する。また、図７では、破線はトランスコード前の符号化レート（第１の符号化レート）を示し、実線はトランスコード後の符号化レート（第２の符号化レート）を示す。本実施例では、１０Ｍｂｐｓの符号化レートで符号化されていた動画を、静止画同時撮影部分を除いて、１０Ｍｂｐｓよりも低い５Ｍｂｐｓの符号化レートで再符号化（トランスコード）する。

動画データのトランスコードが開始されると（時刻：０秒）、再符号化レート制御装置２２４は、動画符号化装置２２０の符号化レートを既定の符号化レート（この説明例では、５Ｍｂｐｓ）に制御する。すなわち、符号化レートが１０Ｍｂｐｓであった動画を５Ｍｂｐｓで再符号化する。

同時静止画撮影情報作成装置２２２からの同時静止画撮影情報によると、撮影開始から２０秒後に静止画が同時撮影されている。そこで、再符号化レート制御装置２２４は、静止画が撮影された時刻（時刻：２０秒）よりも所定時間前になった時刻（例えば、時刻：１０秒）から、設定された最大符号化レート（ここでは、元の符号化レート（１０Ｍｂｐｓ）とする）に向けて徐々に動画符号化装置２２０の符号化レートを高くする。符号化レートが最大符号化レート（１０Ｍｂｐｓ）になったら（時刻：１５秒）、最大符号化レートを維持する。その後、静止画が撮影された時刻の５秒後（時刻：２５秒）から、既定の符号化レート（５Ｍｂｐｓ）に向けて徐々に符号化レートを低くする。符号化レートを既定の符号化レート（５Ｍｂｐｓ）まで低くすると（時刻：３０秒）、既定の符号化レート（５Ｍｂｐｓ）を維持する。なお、徐々に符号化レートを変更するのは、符号化レートの急激な変更による画質の変化を視聴者に認識させないためである。図７の例では、符号化レートを高くするときも、低くするときもそれぞれ５秒かけて変化させている。

このようにして、再符号化しようとする動画の撮影中に、同時に静止画が撮影されている場合に、静止画が撮影された時間を含むその前後の期間で動画の符号化レートを他の期間の符号化レートよりも高くする。これにより、同時静止画撮影が行われた時点に基づく所定期間の動画を高画質で再符号化できる。

図８は、再符号化レート制御装置２２４の動作フローチャートを示す。動画のトランスコードが開始される（Ｓ５１）。同時静止画撮影情報作成装置２２２からの同時静止画撮影情報に基づき、同時撮影された静止画があるかどうかを判定する（Ｓ５２）。同時撮影の静止画がない場合（Ｓ５２）、再符号化レート制御装置２２４は、動画符号化装置２２０の符号化レートを既定の符号化レート（５Ｍｂｐｓ）に制御する（Ｓ５３）。

同時撮影された静止画がある場合（Ｓ５２）、同時撮影の静止画の撮影時刻の所定時間前（１０秒前）になるまでは（Ｓ５４）、再符号化レート制御装置２２４は、動画符号化装置２２０の符号化レートを既定の符号化レート（５Ｍｂｐｓ）に維持する（Ｓ５３）。同時撮影の静止画の撮影時刻まで所定時間以内（１０秒以内）になると（Ｓ５４）、再符号化レート制御装置２２４は、動画符号化装置２２０の符号化レートを最大符号化レート（１０Ｍｂｐｓ）に向けて徐々に高くする（Ｓ５５）。

同時撮影の静止画の撮影時刻から所定時間後（５秒後）になるまで（Ｓ５６）、再符号化レート制御装置２２４は、動画符号化装置２２０の符号化レートを最大符号化レート（１０Ｍｂｐｓ）に維持する。

同時撮影の静止画の撮影時刻から所定時間（５秒）、経過すると（Ｓ５６）、再符号化レート制御装置２２４は、動画符号化装置２２０の符号化レートを既定の符号化レート（５Ｍｂｐｓ）まで徐々に低くする（Ｓ５７）。

以上のような処理を、トランスコードの終了まで繰り返す（Ｓ５８）。

本実施例では、動画撮影中に静止画が撮影された場合に、静止画が撮影された時間を含むその前後の期間で、動画の符号化ビットレートを他のシーンよりも相対的に高くするので、静止画撮影近辺の動画を高画質で記録できる。これにより、煩雑な処理なく、ユーザが静止画撮影を行った好みのシーンの動画を高画質で記録できる。

本発明の実施例１の概略構成ブロック図である。 動画符号化装置２２の概略構成ブロック図である。 同時静止画撮影と動画の符号化レートの関係の模式図である。 符号化レート制御装置２４の動作フローチャートである。 本発明の実施例２の概略構成ブロック図である。 動画復号化装置２１８の概略構成ブロック図である。 実施例２における同時静止画撮影と動画の符号化レートの関係の模式図である。 再符号化レート制御装置２２４の動作フローチャートである。

符号の説明

１０ 撮像装置
１２ カメラユニット
１４ 撮影レンズ
１６ 撮像素子
１８ Ａ／Ｄ変換器
２０ カメラ信号処理装置
２２ 動画符号化装置
２４ 符号化レート制御装置
２６ 動画記録装置
２８ 静止画符号化装置
３０ 静止画記録装置
３２ システム制御装置
３４ 動画記録／停止スイッチ
３６ レリーズスイッチ
５２ 入力バッファ
５４ 減算器
５６ ＤＣＴ（離散コサイン変換）
５８ 量子化装置
６０ 逆量子化装置
６２ ＩＤＣＴ（逆離散コサイン変換）
６４ 加算器
６６ フレームメモリ
６８ 動き補償装置
７０ 動き検出装置
７２ 可変長符号化装置
７４ 出力バッファ
７６ 符号量制御装置
２１０ 撮像装置
２１２ カメラユニット
２１４ 動画記録再生装置
２１６ 静止画像記録装置
２１８ 動画復号化装置
２２０ 動画符号化装置
２２２ 同時静止画撮影情報作成装置
２２４ 再符号化レート制御装置
２８２ 入力バッファ
２８４ 可変長復号化装置
２８６ 逆量子化装置
２８８ 逆ＤＣＴ（離散コサイン変換）装置
２９０ 加算器
２９２ フレームメモリ
２９４ 動き補償装置

Claims (11)

1. 被写体の光学像を画像信号に変換する撮像手段と、
   動画の記録を指示する動画記録指示手段と、
   前記動画記録手段の操作に応じて、前記撮像手段から出力される画像信号を動画として記録する動画記録手段と、
   静止画の記録を指示する静止画記録指示手段と、
   前記動画記録手段による動画記録を行いながら、前記静止画記録指示手段の操作に応じて、前記撮像手段から出力される画像信号を静止画として記録する静止画記録手段と、
   前記動画記録手段によって記録される動画データのうち、前記静止画記録指示手段の操作に応じた所定期間における動画データは、他の期間の動画データよりもビットレートを高くするよう制御するレート制御手段
   とを具備することを特徴とする画像処理装置。
2. 被写体の光学像を画像信号に変換する撮像手段と、
   動画の記録を指示する動画記録指示手段と、
   前記動画記録指示手段の操作に応じて、前記撮像手段から出力される画像信号を動画として記録する動画記録手段と、
   静止画の記録を指示する静止画記録指示手段と、
   前記動画記録手段による動画記録を行いながら、前記静止画記録指示手段の操作に応じて、前記撮像手段から出力される画像信号を静止画として記録する静止画記録手段
   とを具備する画像処理装置であって、
   前記動画記録手段が、
   前記撮像手段から出力される画像信号を圧縮符号化する動画符号化手段と、
   動画記録中の前記静止画記録指示手段の操作に応じて、前記動画符号化手段の符号化レートを一時的に高く制御する符号化レート制御手段
   とを具備する
   ことを特徴とする画像処理装置。
3. 前記符号化レート制御手段は、前記静止画記録指示手段の準備操作に応じて、前記符号化レートを高くし始め、前記静止画記録指示手段の操作に応じた静止画記録の後に前記符号化レートを前記静止画記録指示手段の準備操作の前の符号化レートに戻すことを特徴とする請求項２に記載の画像処理装置。
4. 前記静止画記録指示手段は、準備操作の第１の押下段階と、撮影を行う第２の押下段階の２段階を持つレリーズスイッチからなることを特徴とする請求項２に記載の画像処理装置。
5. 前記符号化レート制御手段は、前記レリーズスイッチが前記第１の押下段階の時に、符号化レートを高くし始め、前記第２の押下段階の時からある時間、経過した後に符号化レートを前記レリーズスイッチが前記第１の押下段階になる前の符号化レートまで低くすることを特徴とする請求項４に記載の画像処理装置。
6. 第１の符号化レートで符号化された動画及び動画付帯情報を記録する動画記録手段と、
   静止画像及び静止画付帯情報を記録する静止画記録手段と、
   前記第１の符号化レートで符号化された動画を復号化する復号化手段と、
   前記復号化手段によって復号化された動画を第２の符号化レートで再符号化する符号化手段と、
   前記動画付帯情報、及び前記静止画付帯情報に基づき、前記第１の符号化レートで符号化された動画を撮影中に静止画が撮影されたかを判定し、静止画が撮影された時刻情報を示す同時静止画撮影情報を作成する同時静止画撮影情報作成手段と、
   前記同時静止画撮影情報作成手段からの前記同時静止画撮影情報に従い、前記静止画の撮影時刻を含む期間の前記第２の符号化レートを他の期間よりも高く制御する再符号化レート制御手段
   とを具備することを特徴とする画像処理装置。
7. 前記再符号化レート制御手段は、前記静止画の撮影時刻の前から前記第２の符号化レートを高くし始め、前記静止画の撮影時刻の後に、前記第２の符号化レートを低くすることを特徴とする請求項６に記載の画像処理装置。
8. 前記静止画付帯情報は、前記静止画が撮影された時刻を示す情報を有することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記動画付帯情報は、前記動画が撮影された時刻を示す情報を有することを特徴とする請求項６又は７に記載の画像処理装置。
10. 前記静止画付帯情報は、前記静止画が撮影されたときに撮影されている動画を関連付ける情報を有することを特徴とする請求項６又は７に記載の画像処理装置。
11. 前記動画付帯情報は、同時に撮影された静止画と関連付ける情報を有することを特徴とする請求項６又は７に記載の画像処理装置。

Images