JP2001160947A - 画像記録装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 動画像の圧縮符号化し、圧縮符号化したデー
タを記録媒体上に記録するのと同時に、縮小画像を生成
することを可能とする。 【解決手段】 撮像装置１によって撮影された画像信号
がディジタル化され、ディジタル化された画像信号が圧
縮装置３で圧縮符号化され、符号化されたビットストリ
ームが書き込み装置４によって記録媒体５に記録され
る。入力画像の圧縮符号化および記録処理と同時に、圧
縮制御装置６が圧縮装置３内のフレームメモリをアクセ
スし、撮影開始時から一定フレーム間隔で抜き出した入
力画像から縮小画像を生成し、生成した縮小画像をフレ
ームメモリに確保したメモリエリアに記憶する。撮影の
終了時に、生成した縮小画像が圧縮符号化される。圧縮
符号化された縮小画像データが記録媒体５に記録され
る。これらの縮小画像の生成、符号化および記録の処理
が自動的になされる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば撮影され
た動画像の画像信号を圧縮して記録媒体に記録する記録
装置および記録方法に関する。

【０００２】

【従来の技術】ディジタル静止画カメラにおいて、記録
した画像の縮小画像（サムネール画像と称する）を生成
し、インデックス用として記録することが知られてい
る。静止画カメラの場合には、サムネール画像を生成す
るための処理を行う時間的余裕が十分にあった。また、
テープを記録媒体とする動画カメラの場合では、一度テ
ープに記録した動画像系列から再度、サムネール用の画
像を生成することが可能である。しかしながら、テープ
のアクセス性の不便さから、サムネール画像を参照して
所望の画像を検索することは、実用的とはいえない。

【０００３】

【発明が解決しようとする課題】ところが、ディスク、
半導体メモリを記録媒体とする動画カメラでは、その特
徴であるランダム・アクセス性を十分に有効活用するた
めにも、記録した動画像系列の検索や頭出しが重要な機
能になる。その際、各動画像系列の中身を素早くユーザ
ーが知るためにも、サムネール動画像の生成が重要であ
る。しかしながら、一度ディスク等に記録したデータか
ら再度、サムネール用の画像を作り直す手法は、手間も
時間もかかってしまう問題点があった。

【０００４】したがって、この発明の目的は、動画撮影
時に同時にサムネール画像を生成することによって、サ
ムネール画像を生成するための手間と時間を省くことが
可能とした画像記録装置および方法を提供することにあ
る。

【０００５】

【課題を解決するための手段】上述した課題を解決する
ために、請求項１の発明は、動画像を圧縮符号化して記
録媒体に記録する画像記録装置において、入力画像を圧
縮符号化する符号化手段と、符号化手段により生成され
た圧縮符号化データを記録媒体に記録する記録手段と、
圧縮符号化データの記録媒体への記録と同時に、入力画
像から１または複数の画像を抜き出し、抜き出した１ま
たは複数の画像から入力画像の縮小画像を生成する画像
生成手段とを備えたものである。

【０００６】請求項１４の発明は、動画像を圧縮符号化
して記録媒体に記録する画像記録方法において、入力画
像を圧縮符号化するステップと、生成された圧縮符号化
データを記録媒体に記録するステップと、圧縮符号化デ
ータの記録媒体への記録と同時に、入力画像から１また
は複数の画像を抜き出し、抜き出した１または複数の画
像から入力画像の縮小画像を生成するステップとを備え
たものである。

【０００７】この発明では、入力画像の圧縮および記録
処理と同時に、入力画像系列から取り出した画像の縮小
画像を自動的に生成することが可能になる。したがっ
て、新たに縮小画像生成の手続きを後から取る必要がな
くなり、後で再生する時、縮小画像の動画系列を参照す
ることによって、容易に撮影内容の概要を把握すること
ができる。

【０００８】

【発明の実施の形態】以下、この発明の一実施形態につ
いて説明する。一実施形態は、動画像を撮影し、記録す
るカメラのような例において、圧縮符号化を施したデー
タを記録媒体に記録する画像圧縮システムの中に、サム
ネール画像生成機能を組み込むようにしたものである。

【０００９】図１は、一実施形態の動画像圧縮記録装置
全体の構成を示す。図１において、１がＣＣＤ等の撮像
素子、レンズ等の光学系からなる撮像装置であり、２が
撮像装置１によって撮影された画像信号をディジタル化
するＡ／Ｄ変換器である。Ａ／Ｄ変換器２でディジタル
化された画像信号が圧縮装置３に入力される。そして、
圧縮装置３において画像信号が圧縮符号化され、ビット
ストリームが生成される。このビットストリームが書き
込み装置４によって光ディスク、磁気ディスク、半導体
メモリ等の記録媒体５に記録される。記録媒体５として
は、ランダムアクセス性が優れたものが好ましい。ま
た、圧縮制御装置６は、主に圧縮装置３との間でのエン
コードパラメータのやり取りと、圧縮装置３内のフレー
ムメモリとのアクセスによるサムネール画像生成と、書
き込み装置４への記録の開始・停止等の制御を行う。

【００１０】図１に示す構成例は、例えば蓄積媒体を使
って記録再生するディジタルビデオカメラとしての応用
を主に想定した場合に相当するものである。

【００１１】図２は、図１中の圧縮装置３の一例の構成
を示す。図１中のＡ／Ｄ変換器２から出力されるディジ
タル画像信号が圧縮装置３の入力として供給される。圧
縮制御装置６との間で受け渡しされる符号化のためのパ
ラメータに基づいて圧縮符号化されたビットストリーム
が圧縮装置３から出力される。加えて、圧縮制御装置６
からフレームメモリに対してサムネール縮小画像生成の
ためのデータアクセスが行われる。圧縮装置３は、入力
画像に対して適当な解像度・画素数変換を施す前処理装
置７と、フレーム間の動き量を求める動きベクトル検出
装置８と、符号化を行ってビットストリームを生成する
符号化装置９とから構成される。

【００１２】前処理装置７は、入力されるディジタル画
像信号を圧縮制御装置６からの指令にしたがって、符号
化する対象画像に適した解像度変換すなわち周波数特性
変換を行うフィルタ演算器１０と、画素数変換すなわち
標本化数変換を行う間引き処理器１１で構成される。前
処理装置７での各種解像度・画素数変換の例としては、
例えばディジタルフィルタを用いてそのフィルタ係数を
変えることによって、周波数成分の通過域特性を制御し
て解像度変換を施したり、水平方向の画素を間引くこと
によって画素数変換を行う手法がある。

【００１３】図３Ａは、フィルタ演算器１０の周波数特
性の一例を示し、図３Ｂは、その他の例を示す。これら
のフィルタ演算器１０は、前置フィルタとしてディジタ
ル画像信号の帯域を制限する。図３において、周波数軸
（横軸）は、ナイキスト周波数で正規化された正規化周
波数を示す。図３Ａに示す周波数特性は、図３Ｂに示す
周波数特性より広い通過帯域を有する。

【００１４】フィルタ演算器１０の出力が間引き処理器
１１に供給され、水平方向、垂直方向の画素数が間引か
れ、通常サイズの画像が生成される。このように前処理
された結果の画像信号が、動きベクトル検出装置８と符
号化装置９へと供給される。図４Ａは、（水平方向の画
素数×垂直方向のライン数）が（７０４×４８０）のサ
イズの画像を示す。図４Ｂが水平方向の画素数を３／４
に変換した画像である。図４Ｃが水平方向の画素数を１
／２に変換した画像である。これらの３種類の画像は、
通常サイズとして取り扱うことが可能な画像であり、前
処理装置７は、３種類の画像の内の一つを出力する。例
えば図４Ｂの画素数の場合には、図３Ａに示すフィルタ
特性が用いられ、図４Ｃの画素数の場合には、図３Ｂに
示すフィルタ特性が用いられる。

【００１５】動きベクトル検出装置８は、符号化対象画
像を蓄えるフレームメモリ１２と順方向・逆方向のフレ
ーム間の動きベクトル検出を行う動き検出器１３とで構
成される。なお、フレームメモリ１２は、複数フレーム
の画像データを蓄えることができる容量を有し、通常の
動画像圧縮のための画像データ（図４参照）に加え、サ
ムネール画像のためのデータも同時にメモリ上の異なる
エリアに蓄える構成とされている。つまり、フレームメ
モリ１２は、撮影中、逐次記録媒体に記録していく前の
非圧縮状態の画像データを一旦蓄えるエリアと、後に述
べるサムネール生成画像を一旦蓄えるエリアの両方を有
する。

【００１６】動きベクトル検出装置８では、各フレーム
の時間的並びにおいて順方向と逆方向に相当するフレー
ム間の各マクロブロック毎に対する動き量を求める。具
体的には、ブロックマッチング法等を用いて最適な動き
ベクトル値を求める演算を行い、動きベクトル値を蓄え
ておく。

【００１７】一般的にＭＰＥＧ(Moving Picture Expert
s Group)に代表される動画像圧縮システムでは、動きベ
クトルを求める際のフレーム間の動き予測方向によっ
て、フレーム間符号化するフレームは、順方向のみの予
測によるＰピクチャ(Predictive-coded picture ）と、
順方向及び逆方向の両方向予測によるＢピクチャ(Bidir
ectionally predictive-coded picture ）に分けられ、
フレーム内符号化するフレームはＩ(Intra-coded pictu
re：イントラ符号化画像) ピクチャと呼ばれる。Ｂピク
チャは、予測画像（差分をとる基準となる画像）とし
て、時間的に前の既に復号されたＩピクチャまたはＰピ
クチャ、時間的に後ろの既に復号されたＩピクチャまた
はＰピクチャ、並びにこの両方から作られた補間画像の
３種類を使用する。この３種類のそれぞれの動き補償後
の差分の符号化と、イントラ符号化の中で、最も効率の
良いものをマクロブロック単位で選択する。

【００１８】したがって、マクロブロックタイプとして
は、フレーム内符号化(Intra) マクロブロックと、過去
から未来を予測する順方向(Forward) フレーム間予測マ
クロブロックと、未来から過去を予測する逆方向(Backw
ard)フレーム間予測マクロブロックと、前後両方向から
予測する両方向マクロブロックとがある。Ｉピクチャ内
の全てのマクロブロックは、フレーム内符号化マクロブ
ロックである。また、Ｐピクチャ内には、フレーム内符
号化マクロブロックと順方向フレーム間予測マクロブロ
ックとが含まれる。Ｂピクチャ内には、上述した４種類
の全てのタイプのマクロブロックが含まれる。

【００１９】そして、ＭＰＥＧでは、ランダムアクセス
を可能とするために、複数枚のピクチャのまとまりであ
るＧＯＰ(Group Of Picture)構造が規定されている。Ｇ
ＯＰに関するＭＰＥＧの規則では、第１にビットストリ
ーム上で、ＧＯＰの最初がＩピクチャであること、第２
に、原画像の順で、ＧＯＰの最後がＩまたはＰピクチャ
であることが規定されている。また、ＧＯＰとしては、
以前のＧＯＰの最後のＩまたはＰピクチャからの予測を
必要とする構造も許容されている。図５は、ＩおよびＰ
ピクチャの周期をＭとし、ＧＯＰのピクチャ数をＮとす
ると、Ｍ＝３，Ｎ＝１５のＧＯＰの例を示す。

【００２０】符号化装置９は、このようなＭＰＥＧの符
号化を行う。符号化装置９は、離散コサイン変換ＤＣＴ
器１４、量子化器１５、可変長符号化器１６を通して圧
縮された画像信号のビットストリームを出力する。それ
と同時に量子化器１５の出力を、逆量子化器１７、逆Ｄ
ＣＴ器１８を通して画像データを復号し、既に再構築し
た参照フレームの画像データと足し合わせる加算器１９
に供給し、加算器１９の出力をフレームメモリ２０に蓄
える。

【００２１】フレームメモリ２０の画像データに対し
て、動きベクトル検出装置８で得られた動きベクトルを
用いて動き補償器２１で動き補償を行なう。再構築した
画像データをフレーム間で符号化するモード時には、減
算器２２で前処理装置７から入力される画像データとの
引き算を行なう。すなわち、スイッチ２３は、ａ側に接
続されている。また、フレーム内で符号化するモードの
時は、スイッチ２３は、ｂ側に接続されている。そし
て、可変長符号化器１６から出力されるビットストリー
ムは、バッファ２４を介して図１中の書き込み装置４へ
出力される。また、量子化制御器２５は、量子化器１５
で行なわれる量子化パラメータを制御することによっ
て、ビットレートを制御する。この制御は、図１の圧縮
制御装置６からの量子化に関する指令に基づいて、バッ
ファ２４でのバッファ量を監視しながらなされる。

【００２２】かかる符号化装置９は、動きベクトル検出
装置８で得られた動きベクトル値を用いて動き補償を行
ない、時間軸方向のデータの冗長度を削減し、かつＤＣ
Ｔによる空間軸方向から周波数軸方向への変換により冗
長度を削減したデータに対して、周波数軸に対して重み
づけを施した量子化を行なう。そして、可変長符号化を
行なうことで、最終的なビットストリームを得るように
している。

【００２３】以上が通常の画像サイズの動画像系列に対
する圧縮符号化処理の概要であるが、本実施形態は、一
般的にＭＰＥＧに代表される上記処理に加えて、通常の
圧縮符号化処理と同時にサムネール画像を生成し、生成
したサムネール画像をフレームメモリに格納し、例えば
撮影終了時に、生成したサムネール画像を動画系列とし
て読み出し、読み出したサムネール動画系列を圧縮符号
化し、圧縮符号化データを記録媒体５に記録するもので
ある。圧縮符号化としては、例えば通常サイズの画像と
同様にＭＰＥＧを使用できる。

【００２４】本実施形態の動作の概要を図６を参照して
説明する。動画像圧縮装置３によって撮影した動画像入
力系列に対して、通常の画像サイズでの圧縮符号化を行
った結果が記録媒体、例えば光ディスク５’に逐次書き
込まれている。この基本動作と同時に、圧縮制御装置６
が一定フレーム間隔で、入力画像が一旦蓄えられている
動きベクトル検出装置８内のフレームメモリ１２、例え
ば半導体メモリの中から対象フレーム画像を１枚読み出
す。読み出した対象フレーム画像に対してサムネール画
像を生成し、生成したサムネール画像をフレームメモリ
１２のサムネール画像専用のエリアに書き込む。これら
の一連の動作が繰り返される。

【００２５】以降の説明では、通常の圧縮符号化処理と
同時に行うサムネール画像生成処理を中心として一実施
形態の動作説明を行うことにする。一例として、１フレ
ーム分の入力画像信号は、図４Ａに示すような水平方向
に７０４画素、垂直方向に４８０ラインからなる。１フ
レームの画像を水平および垂直方向に１６画素づつ分割
したマクロブロックは、水平方向に４４個、垂直方向に
３０個、構成される。また、入力される動画像系列は１
秒間に３０フレームであるとする。

【００２６】この入力画像に対して図２中の前処理装置
７で施される処理によって、動きベクトル検出装置８内
のフレームメモリ１２に書き込まれる通常サイズの圧縮
符号化対象画像データは、本例では、水平方向に間引き
を行わない図４Ａに示すサイズ、図４Ｂに示す水平方向
に３／４変換したサイズ、図４Ｃに示す水平方向に１／
２変換したサイズの３種類を扱うことにする。

【００２７】これらの通常画像サイズの画像に対して生
成されるサムネール画像は、一律、水平方向に１７６画
素、垂直方向に１２０ラインからなる。サムネール画像
は、元の入力画像を水平および垂直方向にそれぞれ１／
４のサイズに縮小したことに相当する。例えば、図４Ａ
に示す通常サイズの画像に対しては、図７Ａに示すよう
に、水平方向には４画素毎に１画素をサブサンプリング
し、垂直方向には４ライン毎に１ラインをサブサンプリ
ングすることでサムネール画像が生成される。また、図
４Ｂに示す通常サイズの画像に対しては、図７Ｂに示す
ように、水平方向には３画素毎に１画素をサブサンプリ
ングし、垂直方向には４ライン毎に１ラインをサブサン
プリングすることでサムネール画像が生成される。さら
に、図４Ｃに示す通常サイズの画像に対しては、図７Ｃ
に示すように、水平方向には２画素毎に１画素をサブサ
ンプリングし、垂直方向には４ライン毎に１ラインをサ
ブサンプリングすることでサムネール画像が生成され
る。

【００２８】このようなサムネール画像の生成は、図８
に示すように、通常サイズ画像データを蓄えた図２中の
動きベクトル検出装置８内のフレームメモリ１２にアク
セスすることで行う。これを担うのが図１中の圧縮制御
装置６である。圧縮制御装置６のサムネール画像生成処
理に関する構成部分を図８に示す。この構成部分は、フ
レームメモリ読み出し処理部２６、間引き処理部２７お
よびフレームメモリ書き込み処理部２８で構成される。

【００２９】撮影中、入力される動画像は、フレーム単
位で、フレームメモリ１２中の通常画像のためのエリア
として用意した７フレーム分に順次格納され、通常サイ
ズの圧縮符号化の対象として処理される。つまり、フレ
ーム１〜フレーム７の７フレーム分のメモリエリアに、
撮影中、入力画像順に巡回して各フレームの画像を上書
きするように、一旦画像データをフレームメモリ１２内
に取り込み、取り込まれた各フレームの画像を圧縮符号
化する。

【００３０】また、サムネール画像を生成するために、
フレームメモリ読み出し処理部２６は、通常サイズ画像
の系列から１フレームを一定フレーム間隔で読み出す。
読み出したフレーム画像が間引き処理部２７に供給さ
れ、間引き処理部２７において、必要な水平および垂直
方向の間引き処理がなされ、サムネール画像が生成され
る。サムネール画像は、フレームメモリ書き込み処理部
２８によって、フレームメモリ１２中のサムネール画像
用のメモリエリアに順次書き込まれる。

【００３１】図８は、フレームメモリ１２中で、通常サ
イズの画像に換算して６フレーム分のエリアをサムネー
ル画像用に使用する例を示す。この時、図７Ａに示した
ように、通常サイズの画像に対して、サムネール画像
は、水平および垂直方向に１／４のサイズなので、水平
・垂直方向にサムネール画像を４つずつ並べて書き込み
ことができる。すなわち、通常画像サイズで１フレーム
分のエリアに合計１６フレーム分のサムネール画像を書
き込むことができる。したがって、図９に示すように、
フレームメモリ１２の６フレーム分のサムネール画像用
エリアに、合計９６フレーム分のサムネール画像を蓄え
られる。

【００３２】次に、図１の圧縮制御装置６が司る、本実
施形態で採用する一定フレーム間隔で入力画像の１フレ
ームを抜き出してサムネール画像生成を行う動作につい
て説明する。まず、本例では、サムネール画像用に用意
しているフレームメモリのエリアに書き込める最大フレ
ーム数（最大枚数）は、上述したように、９６枚であ
る。そこで、図１０に示すように撮影開始フレームの先
頭から一定フレーム間隔で、入力画像の中からサムネー
ル画像を生成する対象フレームを抜き出す。

【００３３】図１０では、１０フレーム毎に１枚のフレ
ームを抜き出し、抜き出した各フレームからサムネール
画像生成している例である。したがって、１秒間の３０
フレームからは、３枚のフレーム画像が抜き取られる。
このような例では、図１の圧縮制御装置６は、１０フレ
ーム間隔でフレームメモリ１２内の通常サイズ画像デー
タにアクセスしてサムネール画像を生成し、生成したサ
ムネール画像を順にフレームメモリ１２内に格納する処
理を行う。

【００３４】撮影中、通常サイズの動画像を逐次、圧縮
符号化して得られたビットストリームは、光ディスク
５’等の記録媒体にリアルタイムに記録され、その過程
で同時に生成されるサムネール画像は、撮影終了時にフ
レームメモリ１２内のサムネール画像エリアから読み出
される。それによって、サムネール画像系列による撮影
内容の一覧が可能になる。例えば、通常サイズの画像フ
レーム単位、すなわち、サムネール画像の１６枚単位を
読み出すことによって内容の閲覧が可能となる。この場
合の画像は、図９に示したような１６分割の画面の静止
画として表示される。

【００３５】この一実施形態は、サムネール画像による
静止画の代わりに、動画系列を生成するようにしたもの
である。すなわち、撮影終了時にフレームメモリ１２内
に蓄えられたサムネール画像の１枚ずつを、入力画像系
列の中から抜き出した時間間隔で、且つ書き込んだ時間
順に出力することによって動画系列を生成する。さら
に、サムネール動画像系列を圧縮符号化することでサム
ネール動画のビットストリームを生成し、記録媒体に記
録する。但し、撮影した本来の入力画像の時間変化と合
わせるために、１秒間に３０フレームを表示する時に、
抜き出したフレーム間隔に相当する１０フレーム分、１
枚のサムネール画像の表示を繰り返すように、圧縮符号
化する。

【００３６】圧縮符号化を行う場合、１枚のサムネール
画像を１０フレーム同じように、例えばＩピクチャとし
てエンコードすることができる。その場合には、符号量
が増大してしまう。そこで、図１１に示すように、１０
フレーム毎に１フレームを抜き出してサムネール画像を
生成した場合には、サムネール画像の１フレームをＩピ
クチャとして圧縮符号化し、それに続く９フレームの各
フレームを、動きベクトルの値が全マクロブロックで０
で、且つその動きベクトルによる順方向予測の差分値も
全マクロブロックで０のＰピクチャに符号化する。それ
によって、９フレームの画像を直前のＩピクチャとして
処理したフレームの画像と全く同じ画像とできる。すな
わち、一種のフレームコピーを意図的に発生させること
で符号量を最低限に抑える。この場合、ＩまたはＰピク
チャの周期が（Ｍ＝１）で、ＧＯＰのピクチャ数が（Ｎ
＝１０）のビットストリームが形成される。

【００３７】このように形成されたサムネール画像の動
画ストリームが記録媒体５または他の記録媒体に対して
記録される。この例の場合では、通常の画像に比べフレ
ームレート（１秒間のフレーム枚数）を落とすだけで、
ある程度スムーズな動きを実現することに、サムネール
画像による動画系列を生成することができる。

【００３８】さらに、この一実施形態における圧縮制御
装置６（図１）の動作の一例について説明する。一例と
して、１回の撮影中に、入力画像を一定間隔で抜き出
し、動画サムネールを生成するための処理について説明
する。

【００３９】図１２は、圧縮制御装置６の動作を示すフ
ローチャートである。まず、最初に撮影開始、つまりエ
ンコード圧縮符号化処理が開始されると、ステップＳ１
では、逐次入力される動画像系列の通常サイズ画像のエ
ンコードが行われ、圧縮符号化された結果のビットスト
リームが光ディスク等の記録媒体に記録される。この通
常の圧縮符号化処理と同時に行われるサムネール画像生
成処理は、エンコードが終了するまで行われる。終了す
るかどうかの判定のステップＳ２において、まだ終了で
ないと決定される時には、入力画像のフレーム数のカウ
ントを行う（ステップＳ３）。

【００４０】ステップＳ３に続いて、現在の処理フレー
ムが、撮影開始フレームを含んで、開始フレームからの
一定フレーム間隔周期のフレームであるかどうかが判定
される（ステップＳ４）。ここで、一定間隔のフレーム
と判定された場合には、ステップＳ５において、そのフ
レームに対してサムネール画像を生成する。そうでなか
った場合には無処理でステップＳ１に戻る。

【００４１】そして、撮影終了となり、ステップＳ２に
おいて、通常画像サイズのエンコード処理が終了したと
判定したら、ステップＳ６の処理がなされる。ステップ
Ｓ６では、上述したように、フレームメモリ１２内のサ
ムネール画像エリアに書いたサムネール画像を、フレー
ム単位で切り出して、一つのサムネール動画像系列とし
てエンコードし、その結果のビットストリームを光ディ
スク等の記録媒体に記録する。そのサムネール画像のビ
ットストリームの記録が終了した時点で、全ての動作も
終了となる。

【００４２】以上の動作によるサムネール画像生成は、
撮影開始フレームを含み、開始フレームから１０フレー
ム間隔毎に１枚のサムネール画像を生成する、図１０に
示すような入力画像との関係にあり、圧縮符号化して記
録媒体に書かかれたビットストリームは、伸張復号化し
た時点では図１１に示すような動画像系列として表され
る。

【００４３】このように、この発明の一実施形態では、
以上の処理を図１の圧縮制御装置６で行うことで、通常
の動画像を圧縮符号化して光ディスク等の記録媒体に逐
次ビットストリームを記録しながら、同時にサムネール
画像をフレームメモリ内に蓄えておき、撮影が終了した
時点で、今度はサムネール画像を圧縮符号化してそのビ
ットストリームを記録媒体に記録するようになされる。

【００４４】次に、一実施形態のように圧縮装置３内に
存在するフレームメモリ１２に蓄えることができるサム
ネール画像のフレーム枚数が有限である場合には、１回
の撮影時間が長いと、サムネール画像のフレーム数が最
大サムネール枚数を越えるような場合が生じる。

【００４５】このような場合に対して何も対処しない場
合には、１回の撮影でサムネール画像の蓄えられるフレ
ームメモリ１２内のエリアが満杯になった時点で、サム
ネール画像の生成とそのフレームメモリへの書き込みを
強制的に中止させる制御を行う。これは、一番容易な処
理ではあるが、後で撮影した内容を閲覧する目的では、
撮影中の途中までしかサムネール画像が存在しないこと
になる。

【００４６】そこで、次に述べるような手法がより好ま
しい。それは、撮影中に生成されたサムネール画像の枚
数が最大サムネール画像の枚数を越えた場合、図１３に
示すような順序１〜９６で一度書き込んだサムネール画
像の上に、新たなサムネール画像を上書きする。上書き
されるフレームを図１３では、斜線を付して示す。但
し、その場合の上書きは、常にフレームメモリ１２上の
サムネール画像系列に対して、当初、偶数フレーム番目
に書き込んだサムネール画像のエリアに対してのみ行う
ようになされる。

【００４７】つまり、図１３に示すようなフレームメモ
リ１２上に書かれるサムネール画像のマップに対して、
サムネール動画像系列の並びは、最初に書き込んだ奇数
フレーム番目を順に読み出し、フレームメモリ１２上の
最後のサムネール画像に達したら、こんどは２度目に書
き換えた偶数フレーム目のサムネール画像を順に読み出
すことで、約２倍の撮影時間ぶんの動画サムネール系列
を作ることが可能になる。この場合、生成されるサムネ
ール画像のフレーム間隔が倍の時間になり、内容閲覧の
密度が下がるが、１回の撮影中のサムネール内容を撮影
終了まで用意することができる。

【００４８】上述したように生成されたサムネール画像
を再生するための構成例を図１４に示す。通常サイズの
画像およびサムネール画像は、一般的なＭＰＥＧシステ
ムでの再生系に相当する。記録媒体５からビットストリ
ームを読み取り装置３１によって読み取り、読み取った
ビットストリームを復号化装置３２で復号化し、後処理
装置３３を介することによって画像信号を生成する。画
像信号は、Ｄ／Ａ変換器３４によりアナログ画像信号へ
変換され、表示装置３５にて表示される。

【００４９】復号化装置３２は、破線で囲んで示すよう
に、読み取り装置３１からのビットストリームがバッフ
ァ４１に供給される。バッファ４１の出力が可変長符号
の復号化器４２に供給され、可変長符号の復号処理がな
される。可変長復号化器４２の出力が逆量子化器４３に
供給され、記録時の量子化処理と逆の処理がなされる。
逆量子化器４３の出力が加算器４５に供給される。加算
器４５の出力に復号された画像信号が取り出される。

【００５０】加算器４５からの復号出力がフレームメモ
リ４６および動き補償器４７に供給される。フレームメ
モリ４６は、復号した画像信号を一旦蓄積する。動き補
償器４７は、可変長復号化器４２において分離された動
きベクトルを用いて動き補償を行う。動き補償器４７の
出力が前フレームの復号画像信号であり、復号画像信号
が加算器４５に供給され、逆ＤＣＴ器３４の出力と加算
される。

【００５１】加算器４５からの復号画像信号が後処理装
置３３の補間処理器４８に供給される。補間処理器４８
に対してフィルタ演算器４９が接続される。後処理装置
３３は、記録時の前処理と逆の処理を行い、元の画素数
の復号画像が後処理装置３３からＤ／Ａ変換器３４に供
給される。

【００５２】この発明によって生成されたサムネール動
画像系列は、図１１に示し、上述したようなフレーム間
隔でもってＭＰＥＧ圧縮されている。したがって、伸張
処理中のＭＰＥＧ復号は、通常サイズの画像と同じ処理
でなされる。復号されたサムネール動画像系列をどのよ
うに表示するかは、機器の構成によっていくつかの方法
を採用できる。

【００５３】一つの方法は、サムネール画像の縮小され
たサイズのままで、ＣＲＴモニタ、フラットディスプレ
イ等の表示装置３５に動画として表示するものである。
他の方法は、サムネール画像を拡大して画面全体に表示
するものである。拡大して表示する方法は、解像度が低
い問題があるので、縮小されたサイズ（小画面）の動画
として表示する方法が主たるものである。しかしなが
ら、ビデオカメラに付属している液晶モニタ程度の表示
画面の大きさであれば、拡大したサムネール画像を表示
することも可能である。

【００５４】さらに、図９に示すような分割表示も可能
である。その場合には、サムネール動画像系列のＭＰＥ
Ｇ圧縮データを伸張して表示する仕組みが通常サイズの
画像の復号・表示と多少相違する。復号過程において、
ＭＰＥＧデータの中からＩピクチャのみを抜き出して画
面分割位置に表示する処理が必要となる。Ｐピクチャと
した部分は、表示上ではカットする。

【００５５】なお、上述した一実施形態では、フレーム
メモリ１２上に逐次、未圧縮状態のサムネール画像を生
成し、通常の画像サイズによる撮影が終了してから、サ
ムネール画像についての圧縮符号化と記録媒体への記録
を行っているが、サムネール画像生成とその圧縮符号化
も含めた処理速度が十分に得られるシステムにおいて
は、１回の撮影において通常画像サイズの撮影と同時
に、サムネール画像を圧縮符号化し、得られた圧縮符号
化データ（ビットストリーム）をフレームメモリ１２上
に蓄えておき、通常の撮影終了時にフレームメモリ１２
から圧縮符号化データを読み出し、記録媒体に記録して
も良い。

【００５６】また、サムネール画像生成とその圧縮符号
化に加え、記録媒体への記録も含めた処理速度が得られ
るシステムにおいては、通常画像サイズの撮影と同時
に、サムネール画像を圧縮符号化し、得られたビットス
トリーム圧縮状態を記録媒体に記録しても良い。

【００５７】なお、一実施形態では、サムネール画像の
サイズを、本来の入力画像の水平・垂直方向にそれぞれ
１／４にしたものを扱っているが、このサイズに限る必
要はなく、撮影動画像系列の内容を閲覧するのに適した
小さなサイズであることに意味がある。また、サムネー
ル画像の生成を、水平および垂直方向の処理を簡易にす
るため、画素及びラインの単純間引き処理だけで行って
いるが、一実施形態における前処理装置７のようにデジ
タルフィルタによる周波数特性の変換と併用した間引き
処理を行って、より高度なサムネール画像生成を行うこ
とも可能である。

【００５８】さらに、一実施形態では、一定フレーム間
隔毎のサムネール画像の生成において、そのフレーム間
隔を１０フレームとして説明しているが、この値に限る
必要はない。

【００５９】よりさらに、一実施形態では、サムネール
画像を蓄えるものとして、一般にＭＰＥＧ等に代表され
る動画像圧縮装置内に必ず含まれるフレームメモリ上
に、通常の画像サイズの格納エリア以外にサムネール画
像専用のエリアを用意することで実現しているが、圧縮
装置内のメモリとは限らず、外部の半導体メモリ等の記
録媒体上に蓄えても同様である。

【００６０】本実施形態で、圧縮装置内に存在するフレ
ームメモリ１２として、汎用の６４Ｍｂｉｔの記憶容量
を持つＤＲＡＭを採用して、入力画像（７０４画素、４
８０ライン）の７フレーム分を通常サイズの動画像圧縮
符号化のための最低限必要なフレーム枚数として使った
場合、残りのメモリ上に上述のサイズ（１７６画素、１
２０ライン）のサムネール画像用として最大限確保でき
る総サムネール画像フレーム数は、約１４０フレーム程
度になる。

【００６１】本実施形態では、通常画像サイズの圧縮符
号化したビットストリームのデータも、サムネール画像
を圧縮符号化したビットストリームの両者を光ディスク
等の記録媒体に記録しているが、サムネール画像の圧縮
したデータについてはデータ量が少ないので、インター
ネット等の通信回線に直接送信することもできる。つま
り、高画質な映像は光ディスク等の記録媒体に記録しつ
つ、サムネール画像のようなサイズの小さい画像は通信
用に送出することも可能である。

【００６２】

【発明の効果】以上の説明から明らかなように、この発
明によれば、通常の動画像カメラの記録媒体への記録と
同時に、その画像系列から抽出したサムネール画像を自
動的に生成することが可能になる。すなわち、ユーザか
ら見れば、通常のビデオ撮影をしていると、その一回の
撮影が終了するのと殆ど同時に、そのショットの概要と
なるサムネール画像による動画像系列が作成できている
ことになる。したがって、新たにサムネール生成の手続
きを後から取る必要がなくなり、後で再生する時、サム
ネール動画系列を参照することによって、容易に撮影内
容の概要を把握することができる。

【００６３】また、この発明によって自動的に生成され
たサムネール動画像は、記録媒体に記録する通常の画像
サイズのデータよりもデータ量が少ないので、そのまま
インターネット等の通信媒体上に、例えばビデオメール
のような応用の形で送ることもできる。

【００６４】さらに、この発明を実現するのに、通常の
動画エンコードに不可欠なメモリの容量に対してサムネ
ール動画生成用のエリアに必要な容量を多くするだけで
良く、ハードウエアの規模が増大しない利点がある。

【図面の簡単な説明】

【図１】この発明の一実施形態のブロック図である。

【図２】この発明の一実施形態の主要部のより詳細な構
成を示すブロック図である。

【図３】この発明の一実施形態における前処理装置のフ
ィルタの特性を示す略線図である。

【図４】この発明の一実施形態における通常画像のサイ
ズの例を示す略線図である。

【図５】この発明の一実施形態における圧縮符号化の一
例を説明するための略線図である。

【図６】この発明の一実施形態の概略的構成を示すブロ
ック図である。

【図７】この発明の一実施形態におけるサムネール画像
のサイズを説明するための略線図である。

【図８】この発明の一実施形態におけるサムネール画像
生成処理を説明するためのブロック図である。

【図９】この発明の一実施形態におけるメモリ上のサム
ネール画像用フレーム配置を説明するための略線図であ
る。

【図１０】この発明の一実施形態におけるサムネール画
像生成のフレーム間隔を説明するための略線図である。

【図１１】この発明の一実施形態におけるサムネール動
画像系列の構成を説明するための略線図である。

【図１２】この発明の一実施形態におけるサムネール画
像生成処理を説明するためのフローチャートである。

【図１３】この発明の一実施形態におけるメモリ上のサ
ムネール画像用フレーム配置を説明するための略線図で
ある。

【図１４】この発明の一実施形態によって生成されたサ
ムネール画像を再生するための構成例を示すブロック図
である。

【符号の説明】

１・・・撮像装置、３・・・圧縮装置、５・・・記録媒
体、６・・・圧縮制御装置、７・・・前処理装置、８・
・・動きベクトル検出装置、９・・・符号化装置、２６
・・・フレームメモリ読み出し処理部、２７・・・間引
き処理部、２８・・・フレームメモリ書き込み処理部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B075 ND12 PQ02 PQ20 PQ46 PQ48 5C052 AA17 AC01 AC03 DD08 5C053 FA14 GB21 GB37 HA21 HA22 KA01

Claims (14)

【特許請求の範囲】
1. 【請求項１】 動画像を圧縮符号化して記録媒体に記録
   する画像記録装置において、 入力画像を圧縮符号化する符号化手段と、 上記符号化手段により生成された圧縮符号化データを記
   録媒体に記録する記録手段と、 上記圧縮符号化データの記録媒体への記録と同時に、上
   記入力画像から１または複数の画像を抜き出し、抜き出
   した１または複数の画像から上記入力画像の縮小画像を
   生成する画像生成手段とを備えたことを特徴とする画像
   記録装置。
2. 【請求項２】 請求項１において、 さらに、撮影手段を有し、上記撮影手段によって撮影さ
   れた画像が入力されることを特徴とする画像記録装置。
3. 【請求項３】 請求項１において、 一連の入力画像に対する圧縮および記録処理の終了時
   に、上記縮小画像を圧縮符号化することを特徴とする画
   像記録装置。
4. 【請求項４】 請求項１において、 上記圧縮符号化データの記録媒体への記録と同時に、上
   記縮小画像の生成に加えて生成した縮小画像の圧縮処理
   を行うことを特徴とする画像記録装置。
5. 【請求項５】 請求項３または４において、 上記縮小画像の圧縮符号化データを上記記録媒体または
   他の記録媒体に記録することを特徴とする画像記録装
   置。
6. 【請求項６】 請求項３または４において、 上記縮小画像の圧縮符号化データを通信媒体を使用して
   送信することを特徴とする画像記録装置。
7. 【請求項７】 請求項１において、 上記圧縮符号化データの記録媒体への記録と同時に、上
   記縮小画像の生成に加えて生成した縮小画像の圧縮処理
   および圧縮された縮小画像の記録または送信処理を行う
   ことを特徴とする画像記録装置。
8. 【請求項８】 請求項１において、 上記画像生成手段が動画像の圧縮および記録処理を開始
   する時の先頭の１枚の画像から上記縮小画像を生成する
   ことを特徴とする画像記録装置。
9. 【請求項９】 請求項１において、 上記画像生成手段が動画像の圧縮および記録処理を行う
   間で、抜き出した複数の画像からそれぞれ上記縮小画像
   を生成することを特徴とする画像記録装置。
10. 【請求項１０】 請求項９において、 複数の画像を抜き出す間隔が一定間隔であることを特徴
    とする画像記録装置。
11. 【請求項１１】 請求項１において、 上記符号化手段は、圧縮符号化を行うために、入力画像
    が蓄えられるメモリを有し、 上記メモリ上に、上記縮小画像処理用のメモリエリアが
    確保され、 生成された上記縮小画像が上記メモリエリアに格納さ
    れ、 一連の入力画像に対する圧縮および記録処理の終了時
    に、上記メモリエリアから読み出した上記縮小画像を圧
    縮符号化し、圧縮符号化データを記録または送信するこ
    とを特徴とする画像記録装置。
12. 【請求項１２】 請求項１において、 上記符号化手段は、圧縮符号化を行うために、入力画像
    が蓄えられるメモリを有し、 上記メモリ上に、上記縮小画像処理用のメモリエリアが
    確保され、 生成された上記縮小画像の圧縮符号化データが上記メモ
    リエリアに格納され、 一連の入力画像に対する圧縮および記録処理の終了時
    に、上記メモリエリアから読み出した上記縮小画像の圧
    縮符号化データを記録または送信するようにしたことを
    特徴とする画像記録装置。
13. 【請求項１３】 請求項１１または１２において、 上記縮小画像処理用のメモリエリアの容量が不足する時
    に、偶数番目および奇数番目の一方に書いたデータの上
    に新しいデータを上書きし、 最初に偶数番目および奇数番目の他方に書いたデータを
    読み出し、次に、偶数番目および奇数番目の一方に書い
    たデータを読み出すことを特徴とする画像記録装置。
14. 【請求項１４】 動画像を圧縮符号化して記録媒体に記
    録する画像記録方法において、 入力画像を圧縮符号化するステップと、 生成された圧縮符号化データを記録媒体に記録するステ
    ップと、 上記圧縮符号化データの記録媒体への記録と同時に、上
    記入力画像から１または複数の画像を抜き出し、抜き出
    した１または複数の画像から上記入力画像の縮小画像を
    生成するステップとを備えたことを特徴とする画像記録
    方法。