JP2000138941A - 符号化装置、カメラ装置および記録方法 - Google Patents

Abstract

(57)【要約】 【課題】 撮影した静止画に関連するオーディオを付加
したＭＰＥＧフォーマットに準拠した出力を発生する。 【解決手段】 ＣＣＤ２により静止画を撮影し、同時に
マイクロホン１６によってオーディオ信号を記録する。
静止画およびオーディオデータは、メモリコントローラ
５を介してＤＲＡＭ９に書込まれる。静止画データは、
エンコーダ／デコーダ１５によりＭＰＥＧビデオで圧縮
され、オーディオデータは、ＣＰＵ１２のソフトウェア
によってＭＰＥＧオーディオで圧縮され、圧縮ビデオと
圧縮オーディオとの多重化データがＤＲＡＭ９に格納さ
れる。ＭＰＥＧビデオで圧縮する時に、１枚の画像デー
タを符号化してＩピクチャを生成し、全てのマクロブロ
ックの動きベクトルが０であり、時間的に前のピクチャ
をコピーするように符号化されたＰピクチャを生成し、
オーディオの時間に相当する枚数のＰピクチャがＩピク
チャに続くフレーム構造の出力を発生する。多重化デー
タが外部記憶媒体１１に記録される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮影された静止
画像を記録媒体に記録するディジタルスチルカメラに適
用できる符号化装置、カメラ装置および記録方法に関す
る。

【０００２】

【従来の技術】ディジタル画像情報をフロッピーディス
ク、半導体メモリ等の記録媒体に記録するディジタルカ
メラが普及している。ディジタルカメラは、撮影された
画像をディジタル画像信号に変換し、ディジタル画像信
号を圧縮し、圧縮した画像情報を記録媒体に記録する構
成とされている。ディジタルカメラは、静止画の記録以
外に動画の記録にまで拡張することが可能である。

【０００３】静止画を圧縮する符号化の一つであるＪＰ
ＥＧ(Joint Photographic ExpertsGroup)、ＭＰＥＧ(Mo
ving Picture Experts Group)は、ＩＳＯで規格化され
た汎用的フォーマットであり、ディジタルカメラで撮影
された画像データをパーソナルコンピュータ（パソコン
と略す）で利用するのに適している。ＪＰＥＧは、カラ
ー静止画を圧縮する符号化で、ＤＣＴ（Discrete Cosin
e Transform)符号化を行い、係数データを量子化し、量
子化出力を可変長符号化で符号化する方式である。ＭＰ
ＥＧは、カラー動画を圧縮する符号化で、入力画像と動
き補償で得られた予測画像とのフレーム間差分をＤＣＴ
で圧縮する符号化方式である。

【０００４】

【発明が解決しようとする課題】ディジタルカメラにお
いて、静止画のみならず、静止画に付随するオーディオ
信号を記録することができれば、静止画に関連したメモ
をオーディオ信号として記録できる。しかしながら、Ｊ
ＰＥＧは、静止画情報の記録、伝送を目的としたもので
あって、静止画と関連付けられたオーディオ情報を同時
に記録、伝送することができない。他の静止画フォーマ
ット（ＧＩＦ、ＴＩＦＦ、ＢＭＰ等）も、同様に、静止
画とオーディオ情報とを同時に記録、伝送することがで
きない。静止画とオーディオ情報とを同時に記録、伝送
することを可能とするソフトウェア（Ｅｘｉｆ）も存在
する。しかしながら、このソフトウェアは、一般的でな
い。また、このソフトウェアによってオーディオ付き静
止画データを作成したとしても、それを再生するプレイ
ヤーのソフトウェアも簡単に入手できない問題がある。

【０００５】従って、この発明の目的は、静止画と、こ
れに関連付けられたオーディオ情報とを汎用性のあるＭ
ＰＥＧフォーマットで符号化することが可能な符号化装
置を提供することにある。

【０００６】この発明の他の目的は、静止画撮影時に、
これに関連付けられたオーディオ情報を同時に記録でき
る符号化装置、カメラ装置および記録方法を提供するこ
とにある。

【０００７】上述した課題を達成するために、請求項１
の発明は、ビデオ信号をＭＰＥＧビデオフォーマットで
符号化し、オーディオ信号をＭＰＥＧオーディオフォー
マットで符号化し、ＭＰＥＧビデオデータおよびＭＰＥ
Ｇオーディオデータを多重化した多重化データを生成す
るようにした符号化装置において、ビデオ符号化手段
は、静止画データをフレーム内符号化によって符号化し
てＩピクチャを生成し、全てのマクロブロックの動きベ
クトルが０であり、時間的に前のピクチャをコピーする
ように符号化されたＰピクチャまたはＢピクチャを生成
し、Ｉピクチャの後に複数のＰピクチャまたはＢピクチ
ャが続くフレーム構造のＭＰＥＧビデオデータを発生す
る構成とされ、ＰピクチャまたはＢピクチャの続く期間
とＭＰＥＧオーディオで符号化されるオーディオ信号の
記録時間とが略等しくされたことを特徴とする符号化装
置である。

【０００８】請求項４の発明は、記録媒体に撮影画像を
ディジタル信号として記録するようにしたディジタルカ
メラ装置において、撮影した静止画を出力する撮像手段
と、撮像手段からの信号を処理する信号処理手段と、信
号処理手段からのディジタル画像信号をＭＰＥＧ符号化
し、ＭＰＥＧビデオデータを生成するビデオ符号化手段
と、オーディオ入力手段と、入力オーディオ信号をディ
ジタルオーディオ信号に変換し、ディジタルオーディオ
信号をＭＰＥＧオーディオ符号化し、ＭＰＥＧオーディ
オデータを生成するオーディオ符号化手段と、ＭＰＥＧ
ビデオデータとＭＰＥＧオーディオデータとを多重化し
た多重化データを記憶するメモリ手段と、メモリ手段へ
の多重化データの取り込み動作を制御する制御手段と、
ディジタル画像信号を表示する表示手段と、メモリ手段
に格納された多重化データを記憶する記憶媒体および記
憶媒体駆動手段と、シャッターボタンを含む操作手段と
からなり、ビデオ符号化手段は、撮影された静止画デー
タをフレーム内符号化によって符号化してＩピクチャを
生成し、全てのマクロブロックの動きベクトルが０であ
り、時間的に前のピクチャをコピーするように符号化さ
れたＰピクチャまたはＢピクチャを生成し、Ｉピクチャ
の後に複数のＰピクチャまたはＢピクチャが続くフレー
ム構造のビデオ符号化出力を発生し、Ｐピクチャまたは
Ｂピクチャの続く期間とＭＰＥＧオーディオデータの記
録時間とが略等しくされたことを特徴とするディジタル
カメラ装置である。

【０００９】請求項９の発明は、記録媒体に撮影画像を
ディジタル信号として記録するようにしたディジタルカ
メラ装置において、撮影した静止画を出力する撮像手段
と、撮像手段からの信号を処理する信号処理手段と、信
号処理手段からのディジタル画像信号を符号化し、第１
の符号化ビデオデータを生成する第１のビデオ符号化手
段と、信号処理手段からのディジタル画像信号を符号化
し、第２の符号化ビデオデータを生成する第２のビデオ
符号化手段と、オーディオ入力手段と、入力オーディオ
信号をディジタルオーディオ信号に変換し、ディジタル
オーディオ信号を符号化し、符号化オーディオデータを
生成するオーディオ符号化手段と、メモリ手段へのデー
タの取り込み動作を制御する制御手段と、ディジタル画
像信号を表示する表示手段と、メモリ手段に格納された
データを記憶する記憶媒体および記憶媒体駆動手段と、
シャッターボタンを含む操作手段とからなり、第１の符
号化ビデオデータからなる出力と、第２の符号化ビデオ
データと符号化オーディオデータとが多重化された出力
とを生成することを特徴とするディジタルカメラ装置で
ある。

【００１０】請求項１３の発明は、撮像手段から供給さ
れるビデオ信号とオーディオ入力手段から供給されるオ
ーディオ信号を符号化しメモリ手段に記憶するカメラ装
置において、撮像手段から供給されるビデオ信号を第１
または第２の符号化方法で符号化し、第１または第２の
符号化データを生成するビデオ符号化手段と、メモリ手
段へのデータの取り込みを制御すると共に、選択された
記録モードに応じてビデオ符号化手段の符号化方法を切
り換え制御する制御手段を備え、制御手段は、ビデオデ
ータのみを記録するモードが選択されている場合には、
ビデオ信号を第１の符号化方法によって符号化するよう
にビデオ符号化手段を制御すると共に、ビデオデータと
オーディオデータを記録するモードが選択されている場
合には、ビデオ信号を第２の符号化方法によって符号化
するようにビデオ符号化手段を制御することを特徴とす
るカメラ装置である。

【００１１】請求項１４の発明は、撮像手段から供給さ
れるビデオ信号とオーディオ入力手段から供給されるオ
ーディオ信号を符号化しメモリ手段に記憶するカメラ装
置の記録方法において、撮像手段から供給されるビデオ
信号を第１または第２の符号化方法で符号化し、第１ま
たは第２の符号化データを生成するビデオ符号化手段を
使用し、ビデオデータのみを記録するモードが選択され
ている場合には、ビデオ信号を第１の符号化方法によっ
て符号化し、符号化ビデオデータをメモリ手段に記憶
し、ビデオデータとオーディオデータを記録するモード
が選択されている場合には、ビデオ信号を第２の符号化
方法によって符号化し、符号化ビデオデータを符号化オ
ーディオデータと共にメモリ手段に記憶することを特徴
とする記録方法である。

【００１２】この発明は、静止画データを記録、伝送す
る時に、ＭＰＥＧフォーマットに準拠して、静止画デー
タに関連付けられたオーディオ情報を多重化することが
できる。従って、パソコンを使用して、汎用性のあるソ
フトウェアによって静止画およびオーディオ情報を再生
することができる。

【００１３】この発明は、静止画を撮影する時に、静止
画に関連したオーディオ情報も記録することが可能とな
る。そして、静止画およびオーディオ情報をＭＰＥＧフ
ォーマットに準拠して多重化できる。従って、記録され
た静止画およびオーディオ情報を広く提供されているソ
フトウェアによって、パソコンにより再生することがで
きる。

【００１４】この発明は、デジタルスチルカメラが静止
画のみならず、同時にオーディオ信号を記録することが
可能な機能を実現できる。また、オーディオ付き静止画
を記録する時に、同時に静止画のみを記録することがで
きる。従って、用途に応じて記録データを利用すること
が可能となる

【００１５】

【発明の実施の形態】以下、この発明によるディジタル
カメラの一実施形態について説明する。この一実施形態
は、静止画の撮影、記録と、オーディオ付き静止画の撮
影、記録と、オーディオ付き動画の撮影、記録とが可能
なディジタルカメラである。全体の構成を示す図１に示
すように、レンズ部１とＣＣＤ(Charge Coupled Devic
e) ２とによって撮像部が構成される。レンズ部１に
は、ＣＰＵ１２からの制御信号が供給され、自動絞り制
御動作、自動焦点制御動作がなされる。ＣＣＤ２は、全
画素を読出す動作モード（撮影モード）と、ライン数を
１／３に減少させた信号を出力するライン間引きの動作
モード（ＥtoＥモード）とがＣＰＵ１２からの制御信号
によって切り替え可能とされている。ＣＣＤ２の画素数
は、ＸＧＡ（eXtendedGraphics Array,1024ｘ768 画
素）とされている。

【００１６】このようなＣＣＤ２についてより具体的に
説明する。静止画撮影モードでは、各フォトセンサから
の信号電荷を混合することなく垂直ＣＣＤに読出し、全
画素の信号電荷を順次、水平ＣＣＤに転送するようにな
される。また、E to Eモード並びに後述する動画を撮影
する時では、各フォトセンサからの信号電荷の読出しに
寄与する転送ゲートに対して読出し信号を供給するため
の配線を分割することによって、ライン数を例えば１／
３に間引くようになされる。

【００１７】なお、この発明は、他の構成によってライ
ン間引きが可能とされた固体撮像素子（ＣＣＤに限られ
ない）、水平方向の画素数の間引きが可能とされた固体
撮像素子、または垂直方向のライン数および水平方向の
画素数の間引きが可能とされた固体撮像素子を使用して
も良い。

【００１８】ＥtoＥモードは、撮影画像のデータをメモ
リ（ＤＲＡＭ９）に取り込むことなく、表示部（ＬＣＤ
８）に表示するモードである。ＥtoＥモードにおいて、
撮影時に画角を決めたり、焦点、露出、ホワイトバラン
スが適切に調整される。すなわち、撮影モードでシャッ
ターを押す前の被写体を確認している状態がＥtoＥモー
ドである。ＥtoＥモードでは、ＣＣＤ２から１０２４×
２５６画素の撮像信号が得られる。一例として、撮影モ
ードでは、毎秒１０フレームの撮像信号が出力され、Ｅ
toＥモードでは、毎秒３０フレームの撮像信号が出力さ
れる。

【００１９】ＣＣＤ２の出力信号がサンプルホールドお
よびＡ／Ｄ変換部３に供給され、サンプルホールドおよ
びＡ／Ｄ変換部３から１サンプル１０ビットのディジタ
ル撮像信号が発生する。サンプルホールドおよびＡ／Ｄ
変換部３は、相関二重サンプリング回路の構成とされ、
ノイズの除去、波形整形、欠陥画素の補償がなされる。

【００２０】ディジタル撮像信号がカメラ信号処理部４
に供給される。カメラ信号処理部４は、ディジタルクラ
ンプ回路、輝度信号処理回路、色信号処理回路、輪郭補
正回路、欠陥補償回路、自動絞り制御回路、自動焦点制
御回路、自動ホワイトバランス補正回路等が含まれる。
カメラ信号処理部４からは、ＲＧＢ信号から変換された
輝度信号および色差信号からなるディジタルコンポーネ
ント信号が発生する。

【００２１】カメラ信号処理部４からのディジタル撮像
信号の各コンポーネントがメモリコントローラ５に供給
される。メモリコントローラ５に対しては、表示用バッ
ファメモリ６と、ＣＰＵ１２のバス１４とが接続され
る。バッファメモリ６は、コンポーネント信号を処理す
ることによって、ＲＧＢ信号を生成し、ＲＧＢ信号をＤ
／Ａ変換器７に出力する。Ｄ／Ａ変換器７からのアナロ
グ信号がＬＣＤ８に供給される。また、バッファメモリ
６は、ＬＣＤ８の表示タイミングに合わせたタイミング
で、ＲＧＢ信号を出力する。

【００２２】バス１４に対して、ＤＲＡＭ(Dynamic Ran
dom Access Memory)９、ＣＰＵ１２、エンコーダ／デコ
ーダ１５、インターフェース１０が接続されている。Ｄ
ＲＡＭ９は、メモリコントローラ５またはＣＰＵ１２か
ら供給されるアドレス信号、制御信号によって制御され
る。また、メモリコントローラ５は、画素数変換機能を
有し、撮影者の設定した画像サイズまたは動作モードに
対応して画素数を変換した画像信号を発生する。

【００２３】一例として、図２に示すように、ＸＧＡ
と、ＶＧＡ（Video Graphics Array,640ｘ480 画素）
と、ＣＩＦ（Common Intermediate Format,320ｘ240 画
素 )と、ＱＣＩＦ（Quater CIF,160ｘ120 画素）との中
で、何れかの画像サイズに対応した画像を記録すること
が可能とされる。但し、ＭＰＥＧのマクロブロックが１
６×１６であるので、実際には、上下の一部を切り捨て
て（１６０×１１２）のサイズの画像としてＱＣＩＦの
画像を取り扱う。ＸＧＡは、ＣＣＤ２の撮像信号をその
まま記録する場合の画素数である。ＸＧＡおよびＶＧＡ
は、静止画記録用の画像フォーマットとして使用され、
ＣＩＦは、オーディオ付き静止画記録用の画像フォーマ
ットとして使用され、ＣＩＦおよびＱＣＩＦは、オーデ
ィオ付き動画記録用の画像フォーマットとして使用され
る。

【００２４】エンコーダ／デコーダ１５は、画像データ
を圧縮（エンコード）または伸張（デコード）する。例
えば静止画の処理する時には、ＪＰＥＧ(Joint Photogr
aphic Experts Group)が使用され、動画を処理する時に
は、ＭＰＥＧ(Moving Picture Experts Group)が使用さ
れる。エンコーダ／デコーダ１５は、両方の符号化方式
に対応した機能を有する。より具体的には、動画を圧縮
するフォーマットとしてＭＰＥＧ１が使用される。

【００２５】ＭＰＥＧ１のフォーマットでは、ピクチャ
タイプとして、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの
３種類が存在する。Ｉピクチャは、符号化されるときそ
の画像１枚の中だけで閉じた情報を使用するものであ
る。従って、復号時には、Ｉピクチャ自身の情報のみで
復号できる。Ｐピクチャは、予測画像（差分をとる基準
となる画像）として、時間的に前の既に復号されたＩピ
クチャまたはＰピクチャを使用するものである。動き補
償された予測画像との差を符号化するか、差分を取らず
に符号化するか、効率の良い方をマクロブロック単位で
選択する。Ｂピクチャは、予測画像（差分をとる基準と
なる画像）として、時間的に前の既に復号されたＩピク
チャまたはＰピクチャ、時間的に後ろの既に復号された
ＩピクチャまたはＰピクチャ、並びにこの両方から作ら
れた補間画像の３種類を使用する。この３種類のそれぞ
れの動き補償後の差分の符号化と、イントラ符号化の中
で、最も効率の良いものをマクロブロック単位で選択す
る。

【００２６】従って、マクロブロックタイプとしては、
フレーム内符号化(Intra) マクロブロックと、過去から
未来を予測する順方向(Foward)フレーム間予測マクロブ
ロックと、未来から過去を予測する逆方向(Backward)フ
レーム間予測マクロブロックと、前後両方向から予測す
る両方向フレーム間予測マクロブロックとがある。Ｉピ
クチャ内の全てのマクロブロックは、フレーム内符号化
マクロブロックである。また、Ｐピクチャ内には、フレ
ーム内符号化マクロブロックと順方向フレーム間予測マ
クロブロックとが含まれる。Ｂピクチャ内には、上述し
た４種類の全てのタイプのマクロブロックが含まれる。

【００２７】ＭＰＥＧ１の場合では、８×８画素のブロ
ックでＤＣＴを行い、４個の輝度（Ｙ）ブロックと２個
の色差（Ｃｂ、Ｃｒ）ブロックとで上述したマクロブロ
ックが構成される。また、任意の数のマクロブロックが
集まってスライス層が構成され、複数のスライス層によ
ってピクチャ層が構成される。マクロブロック層の中に
は、マクロブロックのタイプを示すコード、マクロブロ
ックのアドレス増加分を示すコード、その前にスキップ
するマクロブロックの数に＋１を表すコード、動きベク
トルの水平成分およびその垂直成分、そのマクロブロッ
ク内の６個のブロックが係数を持つかどうかを示すコー
ド等が含まれる。そのスライスの最初のマクロブロック
と最後のマクロブロックとはスキップできない規則とさ
れている。スライス層には、スライス層の始まりのコー
ド等が含まれる。

【００２８】この発明の一実施形態では、オーディオ付
き静止画を記録する時、並びにオーディオ付き動画を記
録する時に、ＭＰＥＧフォーマットを使用して、ビデオ
データを符号化する。後述するように、エンコーダ／デ
コーダ１５において、動き補償フレーム間予測の処理を
省略したＭＰＥＧ符号化を行い、発生する符号量を削減
する。

【００２９】インターフェース１０は、外部記憶媒体１
１とＣＰＵ１２との間のインターフェースである。外部
記憶媒体としては、フロッピーディスク等のディスク状
記録媒体、メモリカードを使用できる。さらに、ＣＰＵ
１２には、操作入力部１３からの操作信号が供給され
る。操作入力部１３は、シャッターボタンその他の撮影
者が操作する各種のスイッチを含む。操作入力部１３に
は、ディジタルカメラの撮影（記録）モードを設定する
スイッチ、外部記憶媒体に記憶する画像サイズを指定す
るためのスイッチが含まれている。操作入力部１３は、
ボタン、スイッチ等の操作を検出し、検出した信号を操
作信号としてＣＰＵ１２に送出する。なお、シャッター
速度および絞りは、被写体や撮影状況に応じて自動的に
設定される。自動モード以外の複数の撮影モードを持つ
こともできる。

【００３０】上述したディジタルカメラで撮影する場合
には、ＣＣＤ２がＥtoＥモードとされ、画角を決め、焦
点および露出を適切なものに設定する動作がなされる。
ＥtoＥモードでは、レンズ部１を通してＣＣＤ２に結像
した映像信号がＥtoＥモード動作により、Ｖ（垂直）方
向が１／３に間引かれた撮像信号(1024 ｘ 256画素）が
出力される。カメラ信号処理部４からのディジタルコン
ポーネント信号がメモリコントローラ５に供給される。
メモリコントローラ５を通って撮像信号が表示用バッフ
ァメモリ６に書込まれる。そして、ＬＣＤ８の表示タイ
ミングに合わせたタイミングでバッファメモリ６から読
出され、Ｄ／Ａ変換器７によりアナログ信号となり表示
される。この時、バッファメモリ６に書込まれた1024ｘ
256 画素の領域の内で960 ｘ240 画素の領域を切り出
し、倍速でバッファメモリ６から読出し表示している。

【００３１】次に、シャッターを押す撮影がなされる。
予め、撮影モードが静止画撮影モード（ＸＧＡまたはＶ
ＧＡの撮影モード）に設定されている時には、シャッタ
ーが押されることによって、撮影画像を取り込む静止画
撮影モードとなる。静止画の撮影モードでは、ＣＰＵ１
２によって、ＣＣＤ２が撮像モードで動作するように制
御される。それによって、高解像度（ＸＧＡ）の画像を
１０フレーム／秒でＣＣＤ２が出力する。メモリコント
ローラ５の制御によって、ＤＭＡ（Direct Memory Acce
ss）動作により、撮影画像（原画像データ（ＸＧＡまた
はＶＧＡ））が直接ＤＲＡＭ９に格納される。

【００３２】原画像データがＤＲＡＭ９へ格納される
と、ＣＰＵ１２の制御によって、原画像データがエンコ
ーダ／デコーダ１５によって圧縮される。圧縮画像デー
タ（ＪＰＥＧデータ）がＤＲＡＭ９に格納される。この
場合、原画像データの格納されている領域とは、別の領
域にＪＰＥＧデータが格納される。その後、ＣＰＵ１２
の制御によって、ＪＰＥＧデータをＤＲＡＭ９から読出
して、ＪＰＥＧデータをインターフェース１０を介して
外部記憶媒体１１例えばフロッピーディスクの所定の領
域に書込む。

【００３３】さらに、この発明の一実施形態は、撮影さ
れる静止画または動画に関連するオーディオ信号を記録
／再生できる機能を有する。シャッターボタンを押すこ
とをトリガーとして、ある時間の間、オーディオデータ
が取り込まれる。図１中で、１６がマイクロホンを示
し、マイクロホン１６からのオーディオ信号がアンプ１
７を介してＡ／Ｄ変換器１８に供給され、３２ｋHzのサ
ンプリング周波数でサンプリングされ、ディジタル信号
に変換される。Ａ／Ｄ変換器１８からのディジタルオー
ディオ信号がメモリコントローラ５に供給され、メモリ
コントローラ５内のバッファメモリに一時的に蓄えられ
る。

【００３４】そして、ＣＰＵ１２が割り込み処理によっ
てこのバッファメモリを読みに行き、ソフトウェア処理
によってＭＰＥＧオーディオレイヤ２（ＩＳ０１１７２
−３）に準拠した圧縮処理を行う。ＭＰＥＧオーディオ
レイヤ２の符号化は、サブバンド符号化と、スケーリン
グと、ビットアロケーションとを使用するものである。
この場合、レイヤ１、レイヤ３等他のＭＰＥＧオーディ
オの符号化を行っても良い。ソフトウェアによる圧縮処
理で生成されたＭＰＥＧオーディオストリームがＤＲＡ
Ｍ９に書込まれる。この書込み時に、ＭＰＥＧビデオス
トリームとの多重化処理がＣＰＵ１２の制御によってな
され、多重化処理で得られたシステムストリームがＤＲ
ＡＭ９に書込まれる。また、ＤＲＡＭ９から読出された
システムストリームがインターフェース１０例えばフロ
ッピーディスクコントローラを介して外部記憶媒体１１
例えばフロッピーディスクに対して汎用性のあるフォー
マットで記録される。

【００３５】オーディオ付き動画撮影モードが選択され
ている時には、シャッターが押されることによって、動
画を取り込む動画撮影モードとなる。動画撮影モードで
は、上述した静止画撮影モードと異なり、ＣＣＤ２がＥ
toＥモードで動作し、ラインが１／３に間引かれた撮像
信号が出力される。これは、動画の場合では、動きに追
従する必要があり、また、画像データの量が多くなるこ
とを防止するためである。また、動画撮影モードでは、
シャッターを押すと、一定時間（例えば５秒）単位で撮
影がなされる。但し、シャッターの操作によって１回の
動画撮影時間を延長することもできる。

【００３６】動画撮影モードでは、予めサイズがＣＩＦ
およびＱＣＩＦの一方に設定され、メモリコントローラ
５が設定されたサイズに応じて画素数変換を行い、画素
数変換された原画像データがエンコーダ／デコーダ１５
によって圧縮され、圧縮画像データ（ＭＰＥＧデータ）
がＤＲＡＭ９に格納される。画像の圧縮処理と取り込み
処理が終了すると、ＣＰＵ１２の制御によって、静止画
撮影モードと同様に、ＭＰＥＧデータが外部記憶媒体１
１の所定の領域に書込まれる。例えばＣＩＦのサイズで
は、１枚のフロッピーディスクに１５秒の動画を記録で
き、ＱＣＩＦのサイズでは、１枚のフロッピーディスク
に６０秒の動画を記録できる。

【００３７】外部記憶媒体１１に記録されている静止画
（ＸＧＡまたはＶＧＡ）を再生する時には、インターフ
ェース１０を経由してＪＰＥＧデータを外部記憶媒体１
１から読出し、エンコーダ／デコーダ１５にて伸張す
る。伸張した静止画データをＤＲＡＭ９に書込む。メモ
リコントローラ５は、この静止画データをＤＲＡＭ９か
らＤＭＡの方法で読出し、バッファメモリ２６に転送
し、ＬＣＤ８によって表示する。この場合は、メモリコ
ントローラ５によって画素数が変換され、ＥtoＥモード
と同様の画素数で再生画像が表示される。

【００３８】外部記憶媒体１１に記録されている動画を
再生する時には、フロッピーディスクから読出したＭＰ
ＥＧデータ（動画ファイル）をＤＲＡＭ９に書込む。Ｄ
ＲＡＭ９から読出したデータをエンコーダ／デコーダ１
５にてＭＰＥＧ伸張する。伸張した画像データに対し
て、記録時のサイズに応じた画素数変換をメモリコント
ローラ５が行う。画素数変換されたデータがＬＣＤ８に
表示される。動画（ＣＩＦまたはＱＣＩＦ）を再生し、
表示する場合では、ＬＣＤ８において、縮小されたサイ
ズの画像を表示する。

【００３９】静止画または動画と、これに関連するオー
ディオ信号を再生する時には、外部記憶媒体１１から再
生されたシステムストリームをＤＲＡＭ９に格納する。
ＤＲＡＭ９から読出されたシステムストリームからＣＰ
Ｕ１２がオーディオストリームを分離し、ＭＰＥＧオー
ディオの復号を行い、メモリコントローラ５内のバッフ
ァメモリにオーディオデータを転送する。そして、Ｄ／
Ａ変換器１９によってアナログオーディオ信号へ変換
し、アナログオーディオ信号がアンプ２０を介してスピ
ーカ２１にて再生される。

【００４０】この発明の一実施形態は、静止画撮影時に
は、ＤＲＡＭ９に原画像データを格納し、次に、エンコ
ーダ／デコーダ１５によってＪＰＥＧで圧縮した画像デ
ータを生成し、ＪＰＥＧデータをＤＲＡＭ９の別の領域
に格納する。その後、外部記憶媒体１１に対してＪＰＥ
Ｇデータを記憶する。また、動画撮影時には、ＤＲＡＭ
９の作業用領域に撮影した１枚の画像を格納し、エンコ
ーダ／デコーダ１５によってＭＰＥＧ１で圧縮し、得ら
れたＭＰＥＧデータをＤＲＡＭ９のさらに別の領域に格
納する。この処理を撮影された動画の１枚ずつに対して
行う。ＭＰＥＧデータを外部記憶媒体１１に対して記憶
する。また、動画撮影時には、オーディオの録音も同時
に行うオーディオ付き動画撮影動作がなされる。

【００４１】さらに、静止画のみの撮影動作以外に、オ
ーディオ付き静止画撮影動作が可能とされている。すな
わち、静止画を撮影する時でも、シャッターボタンを押
してから所定時間、またはシャッターボタンを押し続け
ている期間のオーディオ信号を録音し、ＭＰＥＧオーデ
ィオストリームを生成し、ＭＰＥＧオーディオストリー
ムと静止画から生成されたＭＰＥＧビデオストリームと
を多重化したシステムストリームをＤＲＡＭ９に書込
み、さらに、外部記憶媒体１１に記録できるようになさ
れている。

【００４２】このオーディオ付き静止画撮影動作につい
て説明すると、先ず、ＣＣＤ２が撮影モードで動作して
得られる高解像度の１枚の原画像データ（ＸＧＡまたは
ＶＧＡ）がＤＲＡＭ９に格納される。ＣＰＵ１２はＤＲ
ＡＭ９から原画像データを読出して画素数変換を行い、
ＣＩＦの縮小画像を生成する。この縮小画像に対してエ
ンコーダ／デコーダ１５によってＭＰＥＧ圧縮を行う。
元の１枚の縮小画像からＩピクチャを生成し、このＩピ
クチャをＤＲＡＭ９に書込む。

【００４３】また、Ｉピクチャの後のピクチャは、固定
のデータ、すなわち、１画面の全マクロブロックにわた
り、動きベクトルが０であり、前の画面からの予測符号
化画像（Ｐピクチャ）または前後の画面からの予測符号
化画像（Ｂピクチャ）をストリーム中に挿入する。Ｐピ
クチャまたはＢピクチャを挿入する時間的長さは、オー
ディオ信号の長さと略等しいものとされる。このような
ビデオストリームを復号して表示する時には、単純に前
のフレームの画像をコピーして表示することになり、見
かけ上、ＰピクチャまたはＢピクチャを挿入した時間、
静止画を表示することができる。

【００４４】一方、シャッターボタンを押したことをト
リガーとして所定時間、例えばシャッターボタンを押し
続けている期間のオーディオ信号がマイクロホン１６、
アンプ１７、Ａ／Ｄ変換器１８を介してメモリコントロ
ーラ５のバッファメモリに供給される。ＣＰＵ１２がこ
のバッファメモリのオーディオデータをＭＰＥＧオーデ
ィオで符号化することによってＭＰＥＧオーディオスト
リームを生成する。

【００４５】ＣＰＵ１２が上述したＭＰＥＧビデオスト
リームとＭＰＥＧオーディオストリームとを多重化処理
して、ＭＰＥＧシステムストリームを生成し、このＭＰ
ＥＧシステムストリームをＤＲＡＭ９の記録データ用の
領域に格納する。ＤＲＡＭ９の記録データ用の領域に格
納されたシステムストリームがインターフェース１０を
介して外部記憶媒体１１（例えばフロッピーディスク）
に記録される。

【００４６】外部記憶媒体１１へのＭＰＥＧシステムス
トリーム（ビデオストリームとオーディオストリームの
多重化ストリーム）の記録が終了すると、ＤＲＡＭ９に
残っている原画像データ（ＸＧＡまたはＶＧＡ）を読出
し、エンコーダ／デコーダ１５によってＪＰＥＧ圧縮を
行う。ＪＰＥＧに準拠した静止画ストリームをＤＲＡＭ
９の記録データ用の領域に上書きする。そして、ＤＲＡ
Ｍ９の記録データ用の領域に格納された静止画ストリー
ムがインターフェース１０を介して外部記憶媒体１１
（例えばフロッピーディスク）に記録される。このよう
に、オーディオ付き静止画撮影動作では、静止画のみか
らなるＪＰＥＧファイルと、全く同一の時に撮影された
Ｉピクチャとオーディオ情報とを含むＭＰＥＧファイル
とが同時に生成されることになる。

【００４７】上述したオーディオ付き静止画撮影動作に
おいて使用されるＭＰＥＧ符号化について、図３を参照
してより詳細に説明する。ビデオ信号処理装置に入力さ
れた１枚の静止画に相当する画像信号（ＸＧＡまたはＶ
ＧＡの静止画信号を画素数変換して形成されたＣＩＦま
たはＱＣＩＦ）が入力端子２３からＩピクチャエンコー
ダ２４に供給され、ＭＰＥＧビデオのＩピクチャに変換
される。また、マイクロホン１６（またはライン入力）
から入力端子２５に入力されたオーディオ信号がＭＰＥ
Ｇオーディオエンコーダ２６においてＭＰＥＧオーディ
オフォーマットに準拠した信号に変換される。

【００４８】ＰまたはＢピクチャ生成器２７は、実際に
は動き検出等の動き補償フレーム間予測に必要な処理を
行わず、画像サイズに応じた固定のデータを発生する。
従って、ＰまたはＢピクチャ生成器２７に対してビデオ
信号を供給する必要がない。固定データの内容は、上述
したように、全画面にわたり、動きベクトルが０、前の
画面からの予測符号である。この内容は、単に前のフレ
ームの画像を表示することを意味する。より具体的に
は、ＣＩＦまたはＱＣＩＦのサイズのピクチャを１個の
スライスとし、スライスの最初のマクロブロックと最後
のマクロブロックをスキップし、最初および最後のマク
ロブロックは、動きベクトル０で符号化している内容と
する。複数のスライスにピクチャを分割しても良いが、
その場合には、ヘッダ情報が増加する。

【００４９】また、ＰまたはＢピクチャ生成器２７が発
生するピクチャのデータ量は、スキップするマクロブロ
ックの数を符号化するので、画像サイズによって変動す
る。具体的には、ＣＩＦの画像サイズで、ＭＰＥＧ１の
Ｐピクチャの場合で、２８バイトで済み、ＱＣＩＦの画
像サイズで、ＭＰＥＧ１のＰピクチャの場合で、１９バ
イトで済む。従って、同じ画像を繰り返しストリーム上
に挿入し、見かけ上静止画像として復号画像を表示する
場合に、このようなＰまたはＢピクチャを使用すること
で、データ量を大幅に削減することができる。

【００５０】２８は、ＭＰＥＧシステムエンコーダを示
し、Ｉピクチャエンコーダ２４は、エンコーダ／デコー
ダ１５に含まれ、ＰまたはＢピクチャ生成器２７、ＭＰ
ＥＧオーディオエンコーダ２６およびＭＰＥＧシステム
エンコーダ２８の処理は、ＣＰＵ１２のソフトウェア処
理によってなされる。

【００５１】図３の構成は、オーディオ付き静止画撮影
動作に限らず、オーディオ付き動画撮影動作に対しても
同様に適用される。この動作では、Ｉピクチャ符号化器
２４に対して、撮影された動画の１フレームに相当する
ビデオ信号（ＣＣＤ２の撮像信号を画素数変換して形成
されたＣＩＦまたはＱＣＩＦ）が供給される。また、Ｐ
またはＢピクチャ生成器２７は、上述したように、動き
補償フレーム間予測の処理を行わず、固定データを発生
する。

【００５２】図４は、オーディオ付き動画撮影時に、Ｉ
ピクチャ符号化器２４からのＩピクチャに対して、Ｐま
たはＢピクチャ生成器２７からのＰまたはＢピクチャを
挿入したフレーム構造の一例を示す。各Ｉピクチャの後
に、２枚のＰピクチャが挿入される。この２枚のＰピク
チャは、ＰまたはＢピクチャ生成器２７からのＰピクチ
ャであり、そのデータ量は、Ｉピクチャと比較して極め
て少ないものである。図３の例では、１／３の割合でフ
レーム駒落としがされ、フレームレートが１／３とな
る。従って、ＭＰＥＧ規格の最低のフレームレートを満
足するフレームレート例えば２５Hzのフレームレートと
することができる。但し、各Ｉピクチャの間にＰまたは
Ｂピクチャを挿入する枚数は、目的とするフレームレー
トによって定まり、最低１枚以上のＰまたはＢピクチャ
を挿入することによって、フレームレートを下げること
ができる。

【００５３】上述したＭＰＥＧシステムエンコーダ２８
が発生するシステムストリームの構成例（パック構造）
について図５および図６を参照して説明する。図５は、
オーディオ付き動画撮影時のパック構造を示し、図６
は、オーディオ付き静止画撮影時のパック構造を示す。
動画撮影時ののパック構造は、ＭＰＥＧ１のシステムス
トリームに準拠していると共に、多重化効率を良くする
ために、次のような特徴を有している。

【００５４】１パックの大きさを固定長とし、この中に
オーディオ／ビデオのアクセスユニットを同じ時間に相
当する分配する。例えばオーディオの１０フレーム、ビ
デオの９フレームの情報を１個のパックに入れる。ビデ
オフレームは、１／２５秒である。また、ＭＰＥＧオー
ディオのレイヤ２のアクセスユニットは、１１５２サン
プル／１フレームのデータを含む。オーディオサンプリ
ング周波数が３２ｋHzである。従って、上述した情報に
相当する時間は、０．３６秒の時間に相当する。

【００５５】また、一つのパケット内には、アクセスユ
ニットの整数倍のデータが収まるようにする。さらに、
固定長であるオーディオパケットをパックの先頭に配す
る。そして、ビデオの３フレーム（例えば１フレームの
Ｉピクチャと２フレームのＰピクチャ）当たりに対し
て、１個のパケットを与え、パックの最後にパディング
ストリームパケット（ダミーデータ）を設け、パックを
固定長とする。

【００５６】図５に示すように、先頭のパケットにオー
ディオ情報の１０フレームが含まれる。第２番目、第３
番目、第４番目の各パケットにビデオの３フレーム分の
情報がそれぞれ含まれ、最後のパケットにパディングス
トリームが含まれる。

【００５７】このようなパック構成によって、オーディ
オエンコーダおよびビデオエンコーダから出力されるデ
ータをバッファリングすることなく、撮影時にリアルタ
イムに多重化することが可能となる。また、Ｉピクチャ
は、レートコントロールによって、固定長のパックに収
まるようになされる。パックを固定長にすることによっ
て、ＳＣＲ(System Clock Referece) 、ＰＴＳ(Present
ation Time Stamp) の値が単純な加算処理により表現す
ることができる利点がある。

【００５８】オーディオ付き静止画撮影動作の場合のパ
ック構成について、図６を参照して説明する。パック１
（最初のパック）は、静止画本体（Ｉピクチャ）を含
む。すなわち、パック１は、ＰＴＳが互いに同一であ
る、オーディオパケットと静止画（縮小画像）を符号化
したＩピクチャを含むビデオパケットと、上述した全画
面にわたり、動きベクトルが０、前の画面からの予測符
号を示すＰまたはＢピクチャ（最低１枚）とを含む。パ
ック２は、オーディオパケットと、ＰまたはＢピクチャ
（最低１枚）を含む構成である。

【００５９】符号化時には、先ず、最初のパックである
パック１に相当する符号化を行い、静止画とオーディオ
とを復号側で再生できるようにする。それ以降のパック
においては、データ量を削減したい場合には、パック２
のような構成を適時挿入することによって、静止画を表
示しながら、それに付随するオーディオを再生できるよ
うにする。記録するオーディオ情報の長さとほぼ同一の
時間、ビデオの情報を必要とするので、ほぼこの時間に
相当する時間のビデオパケットをパック２の構成でもっ
て挿入する。しかしながら、符号量を削減する必要がな
い場合には、全てパック１の構成でシステムストリーム
を構成しても良い。

【００６０】さらに、パックの構成例としては、上述し
たパック１およびパック２に限らず、図６のパック３に
示すように、１パック当たりのパケット数を１個にする
構成も可能であり、パック４、パック５に示すように、
二つのパックをまたいで、Ｉピクチャと、ＰまたはＢピ
クチャとが存在する構成も可能である。さらに、表示す
る静止画が複数枚ある場合も考えられる。この場合に
は、パック１をある時間間隔毎にストリーム中に配置
し、異なる静止画を再生しながら付随するオーディオを
再生するスライドショーを実現することができる。

【００６１】上述したこの発明の一実施形態では、エン
コーダ／デコーダ１５がＪＰＥＧおよびＭＰＥＧのエン
コード／デコードを行う必要がある。図７は、このエン
コーダ／デコーダ１５の一構成例を示す。この発明の一
実施形態では、ＭＰＥＧフォーマットの符号化において
フレーム間動き補償予測を行うことを除外している。そ
の結果、共にＤＣＴを採用するＪＰＥＧエンコーダおよ
びＭＰＥＧのエンコーダ間で共用できる構成を増やすこ
とができる。

【００６２】図７において、３１で示す入力端子に縦横
８×８画素にブロック化された画像データが供給され
る。画像データがＤＣＴ部３２に供給され、コサイン変
換される。各ブロックの画像データに対応する６４個の
係数（１個の直流分と、６３個の交流分）が発生する。
この係数データがスキャン部３３に供給される。スキャ
ン部３３は、係数データを二通りの方法（ジグザグスキ
ャン、オルタネートスキャン）の一方で出力する。

【００６３】スキャン部３３の出力が量子化部３４ａお
よび３４ｂに供給される。量子化部３４ａおよび３４ｂ
は、スケーリングファクタを使用して係数データを量子
化する。量子化部３４ａおよび３４ｂの一方の量子化出
力がスイッチ回路ＳＷ１で選択される。スイッチ回路Ｓ
Ｗ１によって、ＪＰＥＧ符号化の時には、量子化部３４
ａの量子化出力が選択され、ＭＰＥＧ符号化の時には、
量子化３４ｂの量子化出力が選択される。

【００６４】スイッチ回路ＳＷ１で選択された量子化出
力がＪＰＥＧ可変長符号化部３５ａおよびＭＰＥＧ可変
長符号化部３５ｂに供給される。ＪＰＥＧとＭＰＥＧで
は、可変長符号化に使用するハフマン(Huffman) テーブ
ルが相違するので、二つのハフマンテーブル３６ａおよ
び３６ｂが備えられている。ＪＰＥＧ符号化の時では、
可変長符号化部３５ａおよびハフマンテーブル３６ａに
より係数データの交流分を可変長符号化し、その符号化
出力がスイッチ回路ＳＷ２によって選択される。ＭＰＥ
Ｇ符号化の時では、可変長符号化部３５ｂおよびハフマ
ンテーブル３６ｂにより係数データの交流分を可変長符
号化し、その符号化出力がスイッチ回路ＳＷ２によって
選択される。

【００６５】スイッチ回路ＳＷ２に対してヘッド付加部
３７ａおよび３７ｂが接続される。ヘッド付加部３７ａ
は、ＪＰＥＧフォーマットに準拠したヘッダをストリー
ムに対して付加し、ヘッド付加部３７ｂは、ＭＰＥＧフ
ォーマットに準拠したヘッダをストリームに対して付加
する。ＪＰＥＧ符号化とＭＰＥＧ符号化とに対応して切
り替えられるスイッチ回路ＳＷ３を介して出力端子３８
にストリーム出力が取り出される。

【００６６】量子化部３４ａ、３４ｂは、別々の構成要
素として図示されているが、ハードウエアとしては、か
なりの部分を共用可能であり、ヘッダ付加部３７ａ、３
７ｂ、並びにＪＰＥＧ可変長符号化部３５ａ、ＭＰＥＧ
可変長符号化部３５ｂについても同様にハードウエアを
共用できる部分が多い。従って、ハードウエアとして別
々に持つ必要があるのは、ハフマンテーブル３６ａ、３
６ｂである。また、図７は、エンコーダ／デコーダ１５
の内で、エンコーダ部分の構成を示している。デコーダ
部分は、ヘッダ分離部、可変長符号の復号部、逆量子化
部、逆ＤＣＴ部によって構成され、エンコーダ部分と同
様にハードウエアをかなり共用することができる。この
ように、ＭＰＥＧフォーマットの符号化においてフレー
ム間動き補償予測を行うことを除外した結果、エンコー
ダ／デコーダのハードウエアの規模を小さくでき、エン
コーダ／デコーダの集積回路を容易に設計することがで
きる。

【００６７】なお、この発明は、外部記憶媒体１１とし
て、各種脱着式カード、フロッピーディスクなどのディ
スクメディアを使用できる。また、この発明による符号
化は、ネットワーク、ＲＳ２３２Ｃ、非接触のＩｒＤＡ
その他の通信路に対してデータを送出する場合にも適用
できる。

【００６８】

【発明の効果】この発明によれば、静止画データを記
録、伝送する時に、ＭＰＥＧフォーマットに準拠して、
静止画データに関連付けられたオーディオ情報を多重化
することができる。従って、パソコンを使用して、汎用
性のあるソフトウェアによって静止画およびオーディオ
情報を再生することができる。

【００６９】この発明によれば、静止画を撮影する時
に、静止画に関連したオーディオ情報も記録することが
可能となる。そして、静止画およびオーディオ情報をＭ
ＰＥＧフォーマットに準拠して多重化できる。従って、
記録された静止画およびオーディオ情報を広く提供され
ているソフトウェアによって、パソコンにより再生する
ことができる。

【００７０】この発明によれば、デジタルスチルカメラ
が静止画のみならず、同時にオーディオ信号を記録する
ことが可能な機能を実現できる。また、オーディオ付き
静止画を記録する時に、同時に静止画のみを記録するこ
とができる。従って、用途に応じて記録データを利用す
ることが可能となる

【図面の簡単な説明】

【図１】この発明によるディジタルカメラの一実施形態
の全体の構成を示すブロック図である。

【図２】この発明の一実施形態における画像サイズの説
明に用いる略線図である。

【図３】この発明による符号化装置の構成の一例を示す
ブロック図である。

【図４】この発明による符号化装置の出力のフレーム構
造を示す略線図である。

【図５】オーディオ付き動画撮影時に符号化装置が出力
するシステムストリームのデータ構成例を示す略線図で
ある。

【図６】オーディオ付き静止画撮影時に符号化装置が出
力するシステムストリームのデータ構成例を示す略線図
である。

【図７】この発明の一実施形態におけるエンコーダ／デ
コーダの構成を示すブロック図である。

【符号の説明】

２・・・ＣＣＤ、４・・・カメラ信号処理部、５・・・
メモリコントローラ、８・・・ＬＣＤ、９・・・ＤＲＡ
Ｍ、１１・・・外部記憶媒体、１２・・・ＣＰＵ、１３
・・・操作入力部、１５・・・エンコーダ／デコーダ

フロントページの続き (72)発明者 上野 克彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 小野 佳弘 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (14)

【特許請求の範囲】
1. 【請求項１】 ビデオ信号をＭＰＥＧビデオフォーマッ
   トで符号化し、オーディオ信号をＭＰＥＧオーディオフ
   ォーマットで符号化し、ＭＰＥＧビデオデータおよびＭ
   ＰＥＧオーディオデータを多重化した多重化データを生
   成するようにした符号化装置において、 ビデオ符号化手段は、 静止画データをフレーム内符号化によって符号化してＩ
   ピクチャを生成し、 全てのマクロブロックの動きベクトルが０であり、時間
   的に前のピクチャをコピーするように符号化されたＰピ
   クチャまたはＢピクチャを生成し、 上記Ｉピクチャの後に複数の上記ＰピクチャまたはＢピ
   クチャが続くフレーム構造のＭＰＥＧビデオデータを発
   生する構成とされ、 上記ＰピクチャまたはＢピクチャの続く期間とＭＰＥＧ
   オーディオで符号化されるオーディオ信号の記録時間と
   が略等しくされたことを特徴とする符号化装置。
2. 【請求項２】 請求項１において、 さらに、記憶媒体に対して多重化データを記録すること
   を特徴とする符号化装置。
3. 【請求項３】 請求項１において、 さらに、通信路に対して多重化データを送出することを
   特徴とする符号化装置。
4. 【請求項４】 記録媒体に撮影画像をディジタル信号と
   して記録するようにしたディジタルカメラ装置におい
   て、 撮影した静止画を出力する撮像手段と、 上記撮像手段からの信号を処理する信号処理手段と、 上記信号処理手段からのディジタル画像信号をＭＰＥＧ
   符号化し、ＭＰＥＧビデオデータを生成するビデオ符号
   化手段と、 オーディオ入力手段と、 入力オーディオ信号をディジタルオーディオ信号に変換
   し、上記ディジタルオーディオ信号をＭＰＥＧオーディ
   オ符号化し、ＭＰＥＧオーディオデータを生成するオー
   ディオ符号化手段と、 上記ＭＰＥＧビデオデータと上記ＭＰＥＧオーディオデ
   ータとを多重化した多重化データを記憶するメモリ手段
   と、 上記メモリ手段への上記多重化データの取り込み動作を
   制御する制御手段と、 上記ディジタル画像信号を表示する表示手段と、 上記メモリ手段に格納された多重化データを記憶する記
   憶媒体および記憶媒体駆動手段と、 シャッターボタンを含む操作手段とからなり、 上記ビデオ符号化手段は、 撮影された静止画データをフレーム内符号化によって符
   号化してＩピクチャを生成し、 全てのマクロブロックの動きベクトルが０であり、時間
   的に前のピクチャをコピーするように符号化されたＰピ
   クチャまたはＢピクチャを生成し、 上記Ｉピクチャの後に複数の上記ＰピクチャまたはＢピ
   クチャが続くフレーム構造のビデオ符号化出力を発生
   し、 上記ＰピクチャまたはＢピクチャの続く期間と上記ＭＰ
   ＥＧオーディオデータの記録時間とが略等しくされたこ
   とを特徴とするディジタルカメラ装置。
5. 【請求項５】 請求項４において、 静止画の撮影時点から所定時間経過するまでのオーディ
   オ信号が上記オーディオ符号化手段によって符号化さ
   れ、ＭＰＥＧオーディオデータが生成されることを特徴
   とするディジタルカメラ装置。
6. 【請求項６】 請求項４において、 上記制御手段は、上記メモリ手段へ上記多重化データが
   取り込まれると、上記多重化データを上記メモリ手段か
   ら読出し、読出された多重化データを上記記憶媒体に記
   録するように、上記メモリ手段および上記記憶媒体駆動
   手段を制御することを特徴とするディジタルカメラ装
   置。
7. 【請求項７】 請求項４において、 さらに、ＭＰＥＧビデオデータを復号するビデオ復号手
   段と、ＭＰＥＧオーディオデータを復号するオーディオ
   復号手段と、オーディオ再生手段とを有し、 上記制御手段は、上記記憶媒体から多重化データを再生
   し、再生された多重化データを上記メモリ手段に格納す
   るように、上記メモリ手段および上記記憶媒体駆動手段
   を制御し、 上記メモリ手段からの上記ＭＰＥＧビデオデータを上記
   ビデオ復号手段により復号し、復号された画像データを
   上記表示手段に表示すると共に、上記メモリ手段からの
   ＭＰＥＧオーディオデータを上記オーディオ復号手段に
   より復号し、復号されたオーディオデータを上記オーデ
   ィオ再生手段により再生するようにしたディジタルカメ
   ラ装置。
8. 【請求項８】 請求項４において、 上記多重化データは、複数のパックからなるストリーム
   であり、先頭のパックに上記ＭＰＥＧオーディオデータ
   と上記ＭＰＥＧビデオデータの上記Ｉピクチャのデータ
   とを詰め込むことを特徴とするディジタルカメラ装置。
9. 【請求項９】 記録媒体に撮影画像をディジタル信号と
   して記録するようにしたディジタルカメラ装置におい
   て、 撮影した静止画を出力する撮像手段と、 上記撮像手段からの信号を処理する信号処理手段と、 上記信号処理手段からのディジタル画像信号を符号化
   し、第１の符号化ビデオデータを生成する第１のビデオ
   符号化手段と、 上記信号処理手段からのディジタル画像信号を符号化
   し、第２の符号化ビデオデータを生成する第２のビデオ
   符号化手段と、 オーディオ入力手段と、 入力オーディオ信号をディジタルオーディオ信号に変換
   し、上記ディジタルオーディオ信号を符号化し、符号化
   オーディオデータを生成するオーディオ符号化手段と、 メモリ手段へのデータの取り込み動作を制御する制御手
   段と、 上記ディジタル画像信号を表示する表示手段と、 上記メモリ手段に格納されたデータを記憶する記憶媒体
   および記憶媒体駆動手段と、 シャッターボタンを含む操作手段とからなり、 上記第１の符号化ビデオデータからなる出力と、上記第
   ２の符号化ビデオデータと上記符号化オーディオデータ
   とが多重化された出力とを生成することを特徴とするデ
   ィジタルカメラ装置。
10. 【請求項１０】 請求項９において、 上記第１のビデオ符号化手段がＪＰＥＧフォーマットの
    上記第１の符号化ビデオデータを生成し、 上記第２のビデオ符号化手段がＭＰＥＧフォーマットの
    上記第２の符号化ビデオデータを生成し、 上記オーディオ符号化手段がＭＰＥＧオーディオフォー
    マットの上記符号化オーディオデータを生成することを
    特徴とするディジタルカメラ装置。
11. 【請求項１１】 請求項９において、 上記制御手段は、メモリ手段に対して上記ディジタル画
    像信号を書込む処理と、上記第２の符号化ビデオデータ
    と上記符号化オーディオデータとを多重化した多重化デ
    ータをメモリ手段に書込む処理と、上記メモリ手段から
    上記ディジタル画像信号を読出して上記第１のビデオ符
    号化手段に供給し、上記第１の符号化ビデオデータを上
    記メモリ手段に書込む処理とを制御することを特徴とす
    るディジタルカメラ装置。
12. 【請求項１２】 請求項１０において、 上記第２の符号化ビデオデータと上記符号化オーディオ
    データとを多重化した多重化データを上記メモリ手段に
    書込んだ後、上記メモリ手段から上記多重化データを読
    出し、読出された上記多重化データを上記記憶媒体に記
    憶し、 上記多重化データの記憶に続いて、上記第１のビデオ符
    号化手段により上記ディジタル画像信号から上記第１の
    符号化ビデオデータを生成し、上記第１の符号化ビデオ
    データを上記メモリ手段に書込んだ後、上記メモリ手段
    から上記第１の符号化ビデオデータを読出し、読出され
    た上記第１の符号化ビデオデータを上記記憶媒体に記憶
    するようにしたことを特徴とするディジタルカメラ装
    置。
13. 【請求項１３】 撮像手段から供給されるビデオ信号と
    オーディオ入力手段から供給されるオーディオ信号を符
    号化しメモリ手段に記憶するカメラ装置において、 撮像手段から供給されるビデオ信号を第１または第２の
    符号化方法で符号化し、第１または第２の符号化データ
    を生成するビデオ符号化手段と、 上記メモリ手段へのデータの取り込みを制御すると共
    に、選択された記録モードに応じて上記ビデオ符号化手
    段の符号化方法を切り換え制御する制御手段を備え、 上記制御手段は、ビデオデータのみを記録するモードが
    選択されている場合には、ビデオ信号を上記第１の符号
    化方法によって符号化するように上記ビデオ符号化手段
    を制御すると共に、ビデオデータとオーディオデータを
    記録するモードが選択されている場合には、ビデオ信号
    を上記第２の符号化方法によって符号化するように上記
    ビデオ符号化手段を制御することを特徴とするカメラ装
    置。
14. 【請求項１４】 撮像手段から供給されるビデオ信号と
    オーディオ入力手段から供給されるオーディオ信号を符
    号化しメモリ手段に記憶するカメラ装置の記録方法にお
    いて、 撮像手段から供給されるビデオ信号を第１または第２の
    符号化方法で符号化し、第１または第２の符号化データ
    を生成するビデオ符号化手段を使用し、 ビデオデータのみを記録するモードが選択されている場
    合には、ビデオ信号を上記第１の符号化方法によって符
    号化し、符号化ビデオデータを上記メモリ手段に記憶
    し、 ビデオデータとオーディオデータを記録するモードが選
    択されている場合には、ビデオ信号を上記第２の符号化
    方法によって符号化し、符号化ビデオデータを符号化オ
    ーディオデータと共に上記メモリ手段に記憶することを
    特徴とする記録方法。