JP2011239240A - 撮像装置 - Google Patents

Abstract

【課題】回路規模の増加を抑えつつ、高画質な静止画像を生成することが可能な撮像装置を提供することを目的とする。
【解決手段】動画像を圧縮して圧縮後の動画像を出力するとともに、圧縮後の動画像を伸張して伸張後の動画像を出力する第１の圧縮伸張部６と、伸張後の動画像と、その伸張後の動画像に対応する動画像との差分動画像を生成する画像間演算部８と、差分動画像を圧縮して圧縮後の差分動画像を出力する第２の圧縮伸張部９と、静止画像を生成する高画質化部１０とを備えて撮像装置を構成し、第２の圧縮伸張部９は、圧縮後の差分動画像を伸張して伸張後の差分動画像を出力し、画像間演算部８は、伸張後の動画像と、伸張後の差分動画像とを加算して加算動画像を生成し、静止画像生成手段は、加算動画像を用いて静止画を生成する。
【選択図】図１

Description

本発明は、複数の動画像を用いて静止画を生成する撮像装置に関する。

動画像撮影中に高画質な静止画像を撮影したいという要望が以前からある。
この要望に対し、例えば、動画像撮影中に静止画像撮影指示を受けた時に、自動的に動画像撮影を中断して静止画像を撮影し、静止画像撮影完了後、動画像撮影に復帰する手法や、電子手ぶれ補正に対応する為に余分に設けてあるセンサの出力まで利用して画素数を増やした静止画を記録する撮像装置がある。

また、複数の動画像を用いて静止画像を生成することにより高画質な静止画像を得る手法が提案されている（例えば、特許文献１参照）。
また、動画像撮影中に静止画像を撮影する際、静止画像と動画像との差分をとることで高い圧縮率で静止画像を記録することによりメモリの容量を抑え回路規模の増大を抑える手法も提案されている（例えば、特許文献２参照）。

特開２０００−２４４８５１号公報 特開２００８−９２５０３号公報

しかしながら、上述したように、複数の動画像を用いて静止画像を生成する手法において、静止画像の高画質化のために、静止画像の生成に使用する動画像の枚数を増やしたり、合成手法をより適応的に細かく変更したりする場合、動画像間の類似性評価や画像変換の回数が増える。そのため、動画像撮影中に高画質な静止画像の生成処理をリアルタイムに処理するためには、回路規模やデータバス帯域を大幅に増やさなければならない。

そこで、回路規模を抑える方法として、リアルタイム処理を諦め、動画像撮影後、又は、動画像撮影中の空き時間を利用して静止画を生成する方法が考えられる。この場合、静止画像の生成に用いられる各動画像を静止画生成処理で使用されるまで一時的に記憶する為に大容量のメモリが必要となる。

そこで、必要なメモリ容量の増加を抑えるために、圧縮後の動画像を使う方法があるが、圧縮後の動画像は、量子化ノイズやブロックノイズ等の画像劣化が激しく、動画像間の相関性評価の精度が落ち、高画質な静止画を生成できない。

そこで、本発明は、回路規模の増加を抑えつつ、高画質な静止画像を生成することが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、動画像を生成する撮像手段と、前記動画像を圧縮して圧縮後の動画像を出力するとともに、前記圧縮後の動画像を伸張して伸張後の動画像を出力する第１の圧縮伸張手段と、前記伸張後の動画像と、その伸張後の動画像に対応する前記圧縮前の動画像との差分動画像を生成する画像間演算手段と、前記差分動画像を圧縮して圧縮後の差分動画像を出力する第２の圧縮伸張手段と、前記圧縮後の動画像と、前記圧縮後の差分動画像との対応関係を示す関連情報を生成する管理情報生成手段と、前記圧縮動画像、前記圧縮差分動画像、及び前記関連情報を記憶する記憶手段と、静止画像を生成する静止画像生成手段とを備え、前記第２の圧縮伸張手段は、前記関連情報に基づいて、前記記憶手段から前記圧縮後の動画像に対応する前記圧縮後の差分動画像を読み出し、その読み出した圧縮後の差分動画像を伸張して伸張後の差分動画像を出力し、前記画像間演算手段は、前記伸張後の動画像と、前記伸張後の差分動画像とを加算して加算動画像を生成し、前記静止画像生成手段は、前記加算動画像を用いて前記静止画像を生成する。

本発明によれば、複数の動画像を用いて静止画像を生成する撮像装置において、回路規模の増加を抑えつつ、高画質な静止画像を生成することができる。

本発明の実施形態の撮像装置を示す図である。 動画像撮影中に静止画像撮影指示を受けた場合にメモリや記憶部に保存されるデータの一例を示す図である。 第１の圧縮伸張部の内部構成の一例を示す図である。 第２の圧縮伸張部の内部構成の一例を示す図である。 動画像撮影中に静止画像撮影指示を受けた後の制御部の動作を説明するためのフローチャートである。

図１は、本発明の実施形態の撮像装置を示す図である。
図１に示す撮像装置は、レンズ１と、センサ２と、デジタル変換部３と、メモリ４と、三板化処理部５と、第１の圧縮伸張部６（第１の圧縮伸張手段）と、記憶部７と、画像間演算部８（画像間演算手段）と、第２の圧縮伸張部９（第２の圧縮伸張手段）と、高画質化部１０（静止画像生成手段）と、表示部１１と、管理情報生成部１２（管理情報生成手段）と、制御部１３と、ユーザＩ／Ｆ部１４とを備えている。なお、特許請求の範囲における撮像手段は、例えば、レンズ１、センサ２、デジタル変換部３、メモリ４、及び三板化処理部５などにより構成されるものとする。

レンズ１は、被写体像をセンサ２上に結像させる。例えば、図示していないレンズ駆動部によりフォーカスやズームが調整される。また、同じく図示していない絞り駆動部により絞りが調整される。
センサ２は、表面に単板モザイクカラーフィルタが配されており、画素毎に異なるカラーフィルタを通過した被写体像の輝度に応じた電気信号を出力する。なお、センサ２は、例えば、ダイクロックミラーを用いて被写体像をＲＧＢに分離してそれぞれ異なるセンサで撮像する三板式のセンサ等、多板式のセンサとしてもよい。

デジタル変換部３は、センサ２から出力される画像データとしての電気信号をデジタル値に変換し、一旦メモリ４に保存する。
三板化処理部５は、メモリ４に保存される画像データに対して、デモザイク処理、ゲイン調整、ホワイトバランス、輪郭強調、ノイズ除去等の画質向上処理を行うことにより、１枚の静止画像又は動画像を生成する。

ユーザによりユーザＩ／Ｆ部１４が操作され、動画像撮影指示を受けると、制御部１３は、撮像装置全体を「動画記録モード」として動作させる。制御部１３は、第１の圧縮伸張部６の動作を制御することにより、三板化処理部５から出力される動画像に対してＭＰＥＧ形式による圧縮処理を行い、その圧縮後の動画像を一旦メモリ４に保存した後、記憶部７に記憶する。また、「動画記録モード」では、三板化処理部５から出力される動画像を表示部１１に表示させる。これにより、ユーザは、動画像撮影状況を確認することができる。

また、ユーザによりユーザＩ／Ｆ部１４が操作され、動画像再生指示を受けると、制御部１３は、第１の圧縮伸張部６の動作を制御することにより、記憶部７に記憶されている動画像に対して伸張処理を行い、その伸張後の動画像を一旦メモリ４に保存した後、表示部１１に表示させる。

また、動画像撮影中でないときにユーザによりユーザＩ／Ｆ部１４が操作され、静止画像撮影指示を受けると、制御部１３は、撮像装置全体を「静止画記録モード」として動作させる。制御部１３は、第１の圧縮伸張部６の動作を制御することにより、三板化処理部５から出力される静止画像に対してＪＰＥＧ形式による圧縮処理を行い、その圧縮後の静止画像を一旦メモリ４に保存した後、記憶部７に記憶する。

また、ユーザによりユーザＩ／Ｆ部１４が操作され、静止画像再生指示を受けると、制御部１３は、第１の圧縮伸張部６の動作を制御することにより、記憶部７に記憶されている静止画像に対して伸張処理を行い、その伸張後の静止画像を一旦メモリ４に保存した後、表示部１１に表示させる。

また、動画像撮影中にユーザによりユーザＩ／Ｆ部１４が操作され、静止画像撮影指示を受けると、制御部１３は、撮像装置全体を「動画像撮影中の静止画像撮影モード」として動作させる。

まず、第１の圧縮伸張部６は、三板化処理部５から出力される動画像（例えば、図２に示す原画像ｅ）に対してＭＰＥＧ形式による圧縮処理を行い、その圧縮後の動画像（例えば、図２に示す圧縮ｅ）を一旦メモリ４に保存した後、記憶部７に記憶する。また、同時に、第１の圧縮伸張部６は、メモリ４に一旦保存した圧縮後の動画像に対して伸張処理を行い、その伸張後の動画像（例えば、図２に示す伸張ｅ）をメモリ４に保存する。

次に、画像間演算部８は、メモリ４に保存されている伸張後の動画像と、その伸張後の動画像に対応し三板化処理部５から出力された動画像（例えば、図２に示す原画像ｅ）との差分動画像（例えば、図２に示す差分ｅ）を演算する。なお、伸張後の動画像は、差分動画像の演算のために読み出されたものから順にメモリ４から削除されていくようにしてもよい。

次に、第２の圧縮伸張部９は、画像間演算部８で演算された差分動画像に対して圧縮処理を行い、その圧縮後の差分動画像（例えば、図２に示す差圧縮ｅ）をメモリ４のみ又はメモリ４と記憶部７とに保存する。

なお、圧縮後の差分動画像は、以前に生成されたもののうち、現在生成されたものからユーザなどにより予め定められた数までのものがメモリ４のみ又はメモリ４と記憶部７とに保存され、それよりも前に生成されたものは順次メモリ４又は記憶部７から削除されていくようにしてもよい。例えば、図２に示す差圧縮ｅが生成されるとき、差圧縮ａよりも前に作成された差圧縮を削除する。

また、動画像撮影中に静止画像撮影指示を受けると、それ以降に生成される圧縮後の差分動画像のうち、現在生成されたものからユーザなどにより予め定められた数までがメモリ４のみ又はメモリ４と記憶部７とに保存され、それよりも後に生成されるものはメモリ４又は記憶部７に保存しないようにしてもよい。例えば、図２に示す差圧縮ｅが生成されたときに静止画像撮影指示を受ける場合、差圧縮ｉよりも後に生成される差圧縮を削除する。

また、動画像撮影中に静止画像撮影指示を受けると、管理情報生成部１２は、動画像撮影中に静止画像撮影指示を受けたこと、シャッタータイミング情報、複数のシャッタータイミング情報をそれぞれ識別するためのシャッター番号、シャッタータイミング情報に対応する基準となる動画像圧縮データの位置、静止画像の生成に用いる加算動画像の保存フレーム数、及び圧縮後の動画像と圧縮後の差分動画像との対応関係を示す関連情報、生成後の静止画像を識別するための静止画像情報などの管理情報を生成して記憶部７に記憶する。動画像撮影中に静止画像の連写撮影が行われた場合、各シャッター番号にそれぞれ対応して静止画像が生成される。

次に、動画像撮影終了後又は動画像撮影の空き時間において、第１の圧縮伸張部６は、管理情報のシャッタータイミング情報、シャッター番号、位置データ、及び保存フレーム数などを参照して記憶部７に記憶されている保存フレーム数の圧縮後の動画像（例えば、図２に示す保存ｃ〜ｇ）に対してそれぞれ伸張処理を行い、その伸張後の動画像（例えば、図２に示す伸張ｃ〜ｇ）をメモリ４に保存する。また、第２の圧縮伸張部９は、管理情報のシャッタータイミング情報、シャッター番号、位置データ、保存フレーム数、及び関連情報などを参照してメモリ４又は記憶部７に保存されている圧縮後の差分動画像の内、必要なフレーム（例えば、図２に示す差保存ｃ〜ｇ）に対してそれぞれ伸張処理を行い、その伸張後の差分動画像（例えば、図２に示す差伸張ｃ〜ｇ）をメモリ４に保存する。また、画像間演算部８は、第１の圧縮伸張部６により伸張されメモリ４に保存される伸張後の動画像（例えば、図２に示す伸張ｃ〜ｇ）と、第２の圧縮伸張部９により伸張されメモリ４に保存される伸張後の差分動画像（例えば、図２に示す差伸張ｃ〜ｇ）との加算動画像（例えば、図２に示す合成画像ｃ〜ｇ）を演算する。

次に、高画質化部１０は、基準となる動画像圧縮データに対応する加算動画像（例えば、図２に示す合成画像ｅ）の解像度を被写体の動きベクトルを考慮して拡大するとともに、その加算動画像の前後の加算動画像（例えば、図２に示す合成画像ｃ、ｄ、ｆ、ｇ）を、被写体の動きベクトルを考慮して同様に解像度を拡大し、それら加算動画像（例えば、図２に示す合成画像ｃ〜ｇ）を互いに合成することにより、静止画像（例えば、図２に示す高画質化画像ｅ）を生成する。

そして、高画質化部１０により生成された静止画像は、表示部１１に表示される。
このとき、ユーザは、表示部１１に表示される静止画像に不満がある場合や表示部１１に表示される静止画像と異なる静止画像を見たい場合、ユーザＩ／Ｆ部１４を操作することにより、シャッタータイミング変更指示を撮像装置に与えた後、表示部１１に表示される動画像を見ながら静止画像を生成したいところでシャッタータイミング決定指示を撮像装置に与える。第１の圧縮伸張部６は、シャッタータイミング決定指示が与えられたときに表示部１１に表示される動画像に基づいて、伸張対象の圧縮後の動画像を変更し、変更した伸張後の動画像（例えば、図２に示す伸張ｃ）を出力する。また、第２の圧縮伸張部９は、変更した伸張後の動画像及び関連情報に基づいて、伸張対象の圧縮後の差分動画像を変更し、変更した伸張後の差分動画像（例えば、図２に示す差伸張ｃ）を出力する。画像間演算部８は、それら変更した伸張後の動画像と伸張後の差分動画像とにより加算動画像（例えば、図２に示す合成画像ｃ）を生成する。高画質化部１０は、その変更後の加算動画像を拡大するとともに、その加算動画像の前後の加算動画像（例えば、図２に示す合成画像ａ、ｂ、ｄ、ｅ）を、動きを考慮して同様に解像度を拡大し、それら加算動画像（例えば、図２に示す合成画像ａ〜ｅ）を互いに合成することにより、静止画像（例えば、図２に示す高画質化画像ｃ）を生成する。

また、動画像撮影中に静止画像撮影指示を受けて生成された静止画像は、第１の圧縮伸張部６で圧縮された後、管理情報と共に記憶部７に記憶される。この静止画像は、生成後すぐに記憶部７に記憶されてもよいし、ユーザがユーザＩ／Ｆ部１４を操作することにより与えられる記録指示のタイミングで記憶部７に記憶されてもよい。そして、この静止画像を再生する場合、記憶部７に記憶された静止画像が第１の圧縮伸張部６で伸張され、表示部１１に表示される。

また、ユーザによりユーザＩ／Ｆ部１４が操作され、静止画像生成用の伸張後の動画像（例えば、図２に示す伸張ｃ〜ｇ）の削除指示を受けると、制御部１３は、管理情報を参照して、メモリ４に保存されている伸張後の動画像及びその伸張後の動画像に対応する管理情報を削除する。

また、ユーザによりユーザＩ／Ｆ部１４が操作され、静止画像生成用の伸張後の差分動画像（例えば、図２に示す差伸張ｃ〜ｇ）の削除指示を受けると、制御部１３は、管理情報を参照して、メモリ４に保存されている伸張後の差分動画像及びその伸張後の差分動画像に対応する管理情報を削除する。

このように、本実施形態の撮像装置は、動画像撮影中、圧縮後の動画像を伸張した後の動画像と圧縮前の動画像との差分動画像を圧縮し、その圧縮後の差分動画像と、その圧縮後の差分動画像に対応する圧縮後の動画像とをメモリ４や記憶部７に保存しておき、動画像撮影中に静止画像撮影指示を受けると、所定数の加算動画像が得られるように、メモリ４や記憶部７に保存されている圧縮後の動画像と圧縮後の差分動画像とを加算する。これにより、高解像度の加算動画像を得ることができ、その加算動画像を用いて高画質な静止画像を生成することができる。また、圧縮後の差分動画像は、圧縮前の動画像と最も相関の高い伸張後の動画像との差分を圧縮したものであるため、圧縮率を最も高くすることができ、圧縮後の差分動画像を保存しておくためのメモリ４又は記憶部７の容量を抑えることができる。一般に動画像圧縮に利用されるMPEGでは予測画像の生成の為に一度圧縮した画像を伸張して利用するので、その回路を利用することが出来る。これにより、回路規模の増大を抑えることができる。また、圧縮後の差分動画像をメモリ４や記憶部７に保存しているため、シャッタータイミングの変更に伴って静止画像生成用の圧縮後の差分動画像を変更することができ、変更後のシャッタータイミングに対応して高画質な静止画像を生成することができる。

図３は、第１の圧縮伸張部６の内部構成の一例を示す図である。
図３に示す第１の圧縮伸張部６は、ＤＣＴ部２１と、量子化部２２と、ハフマン符号化部２３と、動き検出部２４と、動き補償部２５と、逆量子化部２６と、情報付加部２７と、ＩＤＣＴ部２８と、ハフマン復号化部２９とを備えている。

第１の圧縮伸張部６は、三板化処理部５から出力される動画像に対して、ＭＰＥＧ形式による圧縮処理を行うことにより、圧縮後の動画像としてＩフレーム（Intra-coded Frame）、Ｐフレーム（Predicted Frame）、Ｂフレーム（Bi-directional Predicted Frame）を生成する。

（Ｉフレーム）
まず、三板化処理部５で処理された後の動画像は、ＤＣＴ部２１により複数のブロックに分割され、それら各ブロックがそれぞれ周波数変換され、量子化部２２によりブロック毎に圧縮される。次に、各ブロックは、ハフマン符号化部２３により符号化されることにより更に圧縮され、情報付加部２７によりフレーム番号や音声データ等の情報が付加されてＩフレームが生成される。そして、このＩフレームは、一旦メモリ４に保存された後、記憶部７に記憶される。Ｉフレームは、動画像生成開始時に生成される。

（Ｐフレーム）
まず、三板化処理部５で処理されメモリ４に保存された動画像と、それ以前に生成されたＩフレーム又はＰフレームを伸張した後の動画像（以下、前＿参照画像という）とが動き検出部２４により比較されることにより被写体の動きベクトルが検出され、この動きベクトルに応じて動き補償部２５により前＿参照画像が変形されて予測画像が生成されるとともに、その予測画像と、三板化処理部５で処理されメモリ４に保存された動画像との差分データが生成される。そして、その差分データは、ＤＣＴ部２１、量子化部２２、及びハフマン符号化部２３により圧縮され、情報付加部２７によりフレーム番号、音声データ、及び動き情報等の情報が付加された後、記憶部７に記憶される。このように、Ｐフレームは、三板化処理部５で処理された動画像と、予測画像との差分をとるため、三板化処理部５で処理された動画像と、予測画像との相関が高い程、圧縮率を高くすることができる。

（Ｂフレーム）
まず、三板化処理部５で処理されメモリ４に保存された動画像と、前＿参照画像とが動き検出部２４により比較され、被写体の動きベクトルとして前＿動きベクトルが検出されるとともに、三板化処理部５で処理されメモリ４に保存された動画像と、それ以降に生成されたＩフレーム又はＰフレームを伸張した後の動画像（以下、後＿参照画像という）とが動き検出部２４により比較され、被写体の動きベクトルとして後＿動きベクトルが検出される。次に、前＿動きベクトル及び後＿動きベクトルに応じて動き補償部２５により前＿参照画像と後＿参照画像とがそれぞれ変形及び合成され、予測画像が生成され、その予測画像と、三板化処理部５で処理されメモリ４に保存された動画像との差分データが生成される。そして、その差分データは、ＤＣＴ部２１、量子化部２２、及びハフマン符号化部２３により圧縮され、情報付加部２７によりフレーム番号、音声データ、及び動き情報等の情報が付加された後、記憶部７に記憶される。このように、Ｂフレームは、前＿参照画像及び後＿参照画像を用いて予測画像を生成するため、Ｐフレームよりもさらに相関の高い画像が得られやすく、圧縮率を高くすることができる。

また、第１の圧縮伸張部６は、圧縮後の動画像をハフマン復号化部２９により付加情報の分離及び復号化を行い、逆量子化部２６及びＩＤＣＴ部２８で伸張を行う。
（Ｉフレーム）
Ｉフレームの場合は、上述のように伸張された後、表示部１１に表示される。

（Ｐフレーム）
Ｐフレームの場合は、まず、動き補償部２５により動きベクトルに応じて伸張後の前＿参照画像が変形されて予測画像が生成される。そして、ＩＤＣＴ部２８により予測画像と伸張後の差分データとが加算されることで動画像が再生され、表示部１１に表示される。

（Ｂフレーム）
Ｂフレームの場合は、まず、動き補償部２５により前＿動きベクトル、後＿動きベクトル、及び重みに応じて伸張後の前＿参照画像及び後＿参照画像が変形及び合成されて予測画像が生成される。そして、ＩＤＣＴ部２８により予測画像と伸張後の差分データとが加算されることで動画像が再生され、表示部１１に表示される。

また、第１の圧縮伸張部６は、静止画像撮影指示を受けると、三板化処理部５から出力される静止画像又は高画質化部１０から出力される静止画像に対して、ＤＣＴ部２１、量子化部２２、及びハフマン符号化部２３により圧縮処理を行う。

また、第１の圧縮伸張部６は、静止画像再生指示を受けると、記憶部７に記憶されている静止画像に対して、ハフマン復号化部２９、逆量子化部２６、ＩＤＣＴ部２８により伸張処理を行う。

また、第１の圧縮伸張部６は、動画像撮影中に静止画像撮影指示を受けると、量子化部２２から出力される圧縮後の動画像（例えば、図２に示す圧縮ｅ）を逆量子化部２６及びＩＤＣＴ部２８で伸張し，その伸張後の動画像（例えば、図２に示す伸張ｅ）をメモリ４に保存する。

図４は、第２の圧縮伸張部９の内部構成の一例を示す図である。
図４に示す第２の圧縮伸張部９は、ＤＣＴ部３１と、量子化部３２と、符号化部３３と、情報付加部３４と、ＩＤＣＴ部３５と、逆量子化部３６と、復号化部３７と、付加情報分離部３８とを備えている。

画像間演算部８から出力された差分動画像は、ＤＣＴ部３１、量子化部３２、及び符号化部３３により圧縮されるとともに、情報付加部３４により量子化係数やハフマン符号化情報等の情報が付加される、また、更に図１の管理情報生成部１２で生成される管理情報を付加しても良い。その後、圧縮後の差分動画像としてメモリ４や記憶部７に記憶される。

また、動画像撮影中に静止画像撮影指示を受けて静止画像を生成する際に管理情報に基づいてメモリ４や記憶部７から読み出された圧縮後の差分動画像は、付加情報分離部３８により付加情報が分離されるとともに、復号化部３７、逆量子化部３６、ＩＤＣＴ部３５により伸張される。そして、その伸張後の差分動画像は、画像間演算部８により、対応する伸張後の動画像と加算されることで加算動画像が生成される。

なお、第２の圧縮伸張部９では、画像間演算部８から出力された差分動画像に対して、ＤＣＴ、量子化、符号化により圧縮処理を行っているが、例えば、算術符号化やウェーブレット変換を用いた圧縮処理を行ってもよい。可逆圧縮を用いる場合は、圧縮時の動画像の劣化が無くなるため、より高画質な静止画像を生成することができる。

図５は、動画像撮影中に静止画像撮影指示を受けた後の制御部１３の動作を説明するためのフローチャートである。本実施例では、管理情報として、シャッター番号、シャッタータイミング情報、対応する動画像位置データ、差分動画像位置データ、差分動画保存フレーム数、生成した静止画像のシャッタータイミングデータ、及び生成した静止画像の位置データである。
まず、制御部１３は、管理情報の静止画像情報を参照し、静止画像が生成済みか否かを判断する（Ｓ１０１）。

静止画像が生成済みでないと判断すると（Ｓ１０１のＮｏ）、制御部１３は、管理情報のシャッタータイミング情報、シャッター番号、位置データ、及び保存フレーム数などを参照し、静止画像を生成し表示部１１に表示する（Ｓ１０２）。

次に、制御部１３は、ユーザからのシャッタータイミング変更指示、静止画像記録指示、又は終了指示を待つ（Ｓ１０５）。
シャッタータイミング変更指示を受け取ったと判断すると（Ｓ１０５の「変更指示」）、制御部１３は、管理情報に基づく動画像を表示部１１に表示（スキップ、スロー、リバース、ポーズ、コマ送り）し、ユーザからのシャッタータイミング決定指示又は終了指示を待つ（Ｓ１０９）。

シャッタータイミング決定指示を受け取ったと判断すると（Ｓ１０９の「決定指示」）、制御部１３は、シャッタータイミング決定指示を受け取ったときに表示部１１に表示される動画像を、基準となる動画像圧縮データとし、その変更後の動画像圧縮データに対応する加算動画像と、その加算動画像の前後の加算動画像とを用いて静止画像を生成し表示部１１に表示した後（Ｓ１１０）、Ｓ１０５に戻る。

一方、終了指示を受け取ったと判断すると（Ｓ１０９の「終了指示」）、制御部１３は、ユーザからの差分動画像削除指示又は終了指示を待つ（Ｓ１１１）。
差分動画像削除指示を受け取ったと判断すると（Ｓ１１１の「削除指示」）、制御部１３は、静止画像生成用の伸張後の差分動画像及びその伸張後の差分動画像に対応する管理情報をメモリ４又は記憶部７から削除する（Ｓ１１２）。ここで、生成した静止画を残した状態で差分動画像と管理情報を削除した場合は、この生成した静止画像は、通常の静止画撮影で撮影された静止画と同じ扱いとなる。

一方、終了指示を受け取ったと判断すると（Ｓ１１１の「終了指示」）、制御部１３は、静止画像生成用の伸張後の差分動画像及びその伸張後の差分動画像に対応する管理情報を削除せずに終了する（Ｓ１１３）。

また、静止画像記憶指示（上書き指示又は別保存指示）を受け取ったと判断すると（Ｓ１０５の「記憶指示」）、制御部１３は、上書き指示であれば、既に保存されている静止画像を消去し、Ｓ１０２で生成された静止画像を記憶部７に記憶するとともに、その静止画像に対応する静止画像情報を管理情報に上書きしてその管理情報を記憶部７に記憶する（Ｓ１０６）。別保存指示であれば、Ｓ１０２で生成された静止画像を通常の静止画として記憶部７に記憶する。よって、ここで生成された静止画像は通常の静止画撮影画像と同等に扱われることになる。本実施例では、後から生成した静止画を差分動画像との関連のない、通常の静止画撮影で撮影された静止画と同じ扱いとなるようにしているが、管理情報を書き換えることにより、後から生成した静止画に関連付け、以前に生成した静止画像との関連づけを取り去っても良い。また、管理情報に複数の静止画データとの関連を記録できる構成にしても良い。

次に、制御部１３は、ユーザからのシャッタータイミング変更指示、差分動画像削除指示、又は終了指示を待つ（Ｓ１０８）。なお、Ｓ１０５において、終了指示を受け取ったと判断すると（Ｓ１０５の「終了指示」）、制御部１３は、Ｓ１０８に進む。

制御部１３は、シャッタータイミング変更指示を受け取ったと判断すると（Ｓ１０８の「変更指示」）、Ｓ１０９に進み、差分動画像削除指示を受け取ったと判断すると（Ｓ１０８の「削除指示」）、Ｓ１１２に進み、終了指示を受け取ったと判断すると（Ｓ１０８の「終了指示」）、終了する（Ｓ１１３）。

また、制御部１３は、Ｓ１０１において、静止画像が生成済みであると判断すると（Ｓ１０１のＹｅｓ）、その静止画像を表示部１１に表示する（Ｓ１０３）。
次に、制御部１３は、ユーザからのシャッタータイミング変更指示、削除指示（静止画像削除指示、差分動画像削除指示、静止画・差分動画像削除指示）又は終了指示を待つ（Ｓ１０４）。

制御部１３は、シャッタータイミング変更指示を受け取ったと判断すると（Ｓ１０４の「変更指示」）、Ｓ１０５に進み、終了指示を受け取ったと判断すると（Ｓ１０４の「終了指示」）、終了し（Ｓ１１３）、削除指示の内、静止画像削除を含む指示を受け取ったと判断すると（Ｓ１０４の「削除指示（静止画像削除指示、静止画像・差分動画像削除指示）」）、その静止画像を記憶部７から削除するとともに、その静止画像に対応する管理情報を修正する（Ｓ１０７）。

次に、Ｓ１０４での削除指示に差分動画像削除指示（削除指示（差分動画像削除指示、静止画像・差分動画像削除指示））が含まれていたかを判別し（Ｓ１１４）。
制御部１３は、差分動画像削除指示が含まれていた場合（Ｓ１１４の「Ｙｅｓ」）、Ｓ１１２に進み、そうでない場合は（Ｓ１１４の「Ｎｏ」）、終了する（Ｓ１１３）。

なお、上記実施形態では、静止画像の高画質化処理として、高解像度の静止画像を生成する構成であるが、静止画像の高画質化処理として、ノイズリダクションや高階調化を行ってもよい。

また、上記実施形態において、高画質化部１０は、複数の動画像間の動きベクトルに応じてそれら動画像を変形合成し、高画質な動画像を生成するように構成してもよい。このように構成することにより、より高画質な静止画像を生成することができる。

また、上記実施形態では、基準となる動画像圧縮データに対応する加算動画像と、その加算動画像の前後の加算動画像とを用いて静止画像を生成する構成であるが、基準となる動画像圧縮データに対応する加算動画像と、その加算動画像よりも以前又は以降に生成される加算動画像とを用いて静止画像を生成してもよい。

１ レンズ
２ センサ
３ デジタル変換部
４ メモリ
５ 三板化処理部
６ 第１の圧縮伸張部
７ 記憶部
８ 画像間演算部
９ 第２の圧縮伸張部
１０ 高画質化部
１１ 表示部
１２ 管理情報生成部
１３ 制御部
１４ ユーザＩ／Ｆ部
２１ ＤＣＴ部
２２ 量子化部
２３ ハフマン符号化部
２４ 動き検出部
２５ 動き補償部
２６ 逆量子化部
２７ 情報付加部
２８ ＩＤＣＴ部
２９ ハフマン復号化部
３１ ＤＣＴ部
３２ 量子化部
３３ 符号化部
３４ 情報付加部
３５ ＩＤＣＴ部
３６ 逆量子化部
３７ 復号化部
３８ 付加情報分離部

Claims (4)

1. 動画像を生成する撮像手段と、
   前記動画像を圧縮して圧縮後の動画像を出力するとともに、前記圧縮後の動画像を伸張して伸張後の動画像を出力する第１の圧縮伸張手段と、
   前記伸張後の動画像と、その伸張後の動画像に対応する前記圧縮前の動画像との差分動画像を生成する画像間演算手段と、
   前記差分動画像を圧縮して圧縮後の差分動画像を出力する第２の圧縮伸張手段と、
   前記圧縮後の動画像と、前記圧縮後の差分動画像との対応関係を示す関連情報を生成する管理情報生成手段と、
   前記圧縮後の動画像、前記圧縮後の差分動画像、及び前記関連情報を記憶する記憶手段と、
   静止画像を生成する静止画像生成手段と、
   を備え、
   前記第２の圧縮伸張手段は、前記関連情報に基づいて、前記記憶手段から前記圧縮後の動画像に対応する前記圧縮後の差分動画像を読み出し、その読み出した圧縮後の差分動画像を伸張して伸張後の差分動画像を出力し、
   前記画像間演算手段は、前記伸張後の動画像と、前記伸張後の差分動画像とを加算して加算動画像を生成し、
   前記静止画像生成手段は、前記加算動画像を用いて前記静止画像を生成する
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記静止画像生成手段は、動画像撮影中に静止画像撮影指示を受けたときに生成される前記圧縮後の動画像に対応する加算動画像と、その加算動画像よりも以前又は以降に生成される前記加算動画像とを用いて前記静止画像を生成する
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記第１の圧縮伸張手段は、シャッタータイミング変更指示を受けると、伸張対象の前記圧縮後の動画像を変更し、
   前記第２の圧縮伸張手段は、変更後の前記伸張後の動画像及び前記関連情報に基づいて、伸張対象の前記圧縮後の差分動画像を変更し、
   前記画像間演算手段は、変更後の前記伸張後の動画像と、変更後の前記伸張後の差分動画像とを加算して前記加算動画像を生成する
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記第１の圧縮伸張手段は、
   前記撮像手段により生成される第１の動画像と、その第１の動画像よりも前に前記撮像手段により生成される第２の動画像との間における被写体の動きベクトルを検出する動き検出部と、
   前記動き検出部により検出される動きベクトルに基づいて、前記第２の動画像に対応する予測画像を生成するとともに、その予測画像と前記第１の動画像との差分データを生成する動き補償部と、
   前記第１の動画像の分割後の各ブロックをそれぞれ周波数変換するＤＣＴ部と、
   前記ＤＣＴ部の出力を量子化する量子化部と、
   前記量子化部の出力を符号化する符号化部と、
   前記符号化部の出力を復号化する復号化部と、
   前記復号化部の出力を逆量子化する逆量子化部と、
   前記逆量子化部の出力を画像信号に変換するＩＤＣＴ部と、
   を備え、
   前記伸張後の動画像は、前記ＩＤＣＴ部の出力と、前記差分データとの加算結果である
   ことを特徴とする撮像装置。

Images