JP2005175974A - 撮像装置 - Google Patents

Abstract

【課題】撮影モードに適した符号化処理にて画像データを符号化可能とする撮像装置を提供する。
【解決手段】複数の撮影モードのうちの任意の撮影モードを設定するモード切り替え手段と、単位時間当たりの符号量が一定になるように前記撮像手段により得られた動画像データを符号化する符号化手段と、モード切り替え手段により設定された撮影モードに応じて符号化手段による符号化処理を変更する制御手段とを備える。
【選択図】 図１

Description

本発明は、例えば、ディスクや半導体メモリ等のランダムアクセス可能な記録媒体に対して、ディジタル動画像を記録する装置やシステムに用いられ、特に、撮影者が被写体に応じて任意の撮影モードを選択する事が可能なディジタルビデオカメラ等のカメラ一体型画像記録装置に関する。

映像の符号化方式として、ＭＰＥＧ符号化と呼ばれる方式が普及している。このＭＰＥＧ符号化方式では、各フレーム（又は、フィールド、以下同様）を、Ｉピクチャ、Ｐピクチャ、及びＢピクチャの３種類に分類する。

Ｉピクチャ（Intra-Picture）は、フレーム内符号化が適用されたフレームであり、他のフレームの情報を必要とせずに、単独に符号化できるが、一般的には符号量を多く必要とする。

Ｐピクチャ（Predictive-Picture）は、時間的に１フレーム〜複数フレーム先行する（以前の）Ｉ又はＰピクチャから動き補償予測したフレームとの差分のみを符号化する、つまりフレーム間予測符号化が適用されたフレームであり、一般的にはＩピクチャに比べて符号量を大幅に減らすことが可能である。

Ｂピクチャ（Bidirectionally-Picture）は、時間的に先行するＩ又はＰピクチャから予測するだけではなく、時間的には自フレーム以降に後続するＩ又はＰピクチャからも予測を行う双方向フレーム間予測符号化を行うフレームであり、一般的にはＰピクチャよりもさらに符号量を削減する事ができる。

以上より、符号化効率を向上させるためには、Ｉピクチャをなるべく使用せずに、Ｐピクチャ、Ｂピクチャを多用する事により、圧縮率の高い符号化を行う事ができる。しかし、このように構成した場合、ビットエラーによって動き補償予測が正常に機能しなかった場合には、それに関連するフレームにおいて大きな画質劣化が生じ復帰できないという問題がある。

また、記録媒体に記録された符号化信号をサーチ再生(早送り再生／巻き戻し再生)する場合には、通常、Ｐピクチャ、Ｂピクチャを使用せず、自フレームのみで復号可能なＩピクチャだけを使用する。

したがって、あまりにもＩピクチャの頻度が低い場合には、サーチ再生の画質が不十分となってしまう問題がある。このため、適当な間隔でＩピクチャを用いる必要がある。

また、ＰピクチャよりもＢピクチャを多く用いた方が符号化効率の点では有利であるが、後方予測が必要なため、符号化順序変更用のフレームメモリが多く必要になり、コスト面で問題がある。

したがって、ＭＰＥＧ符号化方式では、Ｉ，Ｐ，Ｂピクチャの総合的なバランスを考慮して、例えば、ＧＯＰ長を１５フレームとした場合には、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂというフレーム構成がよく用いられる。

さらに、特許文献１では、上記ピクチャ種別の決定に、撮影中のカメラのシャッタ動作情報を利用する方式について提案されている。通常のシャッタ動作時には、上記フレーム構成を使用するが、スローシャッタになるにつれてフレームレートを落とし、フレームレートにあわせて、Ｂピクチャ、Ｐピクチャを減らして行くという制御が行われる。

つまり、フレームレートを落とすかわりに、１フレームあたりの符号量をＢピクチャ、Ｐピクチャ、Ｉピクチャと増加させることで、１ＧＯＰあたりの符号量を増加させることなく、画質を上げる事ができる。また、フレームレートを落として符号化するため、消費電力の面でも有効である。
特開２００１−２５０１１号公報

しかしながら、上記従来技術に関しては以下のような問題点が有った。

即ち、カメラ一体型画像記録装置に上記のようなＭＰＥＧ符号化方式を使用する場合には、撮影時間を保証するために一般的にはＣＢＲ（Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ）方式を採用する。ＣＢＲ方式では、どのような映像であるかに関わらず符号化後のデータ量は、ある時間あたり（１ＧＯＰ時間あたり）一定である必要がある。したがって、ＣＢＲ方式において高画質な映像符号化を実現するためには、以下のような工夫が必要となる。

被写体の動きが激しいような映像の場合にはフレーム間の相関が低くなるため、ＰピクチャやＢピクチャのようなフレーム間予測符号化による符号量を増やす事で、高画質を実現する。

その一方でビットレートを一定に維持するためには、Ｉピクチャの符号量を減らす必要があるが、人間の視覚として、動きの激しいものを見る場合に、解像感に対する感度が鈍くなるという特性を利用し、解像度に対する情報量を減少させる事で、Ｉピクチャのデータ量を削減できる。

また、風景撮影に代表されるような撮影対象に解像感が必要な映像の場合には、Ｉピクチャの符号量を増やし、解像度に対する情報量を増やす事で、高画質を実現する。その一方でビットレートを一定に維持するためには、Ｐ，Ｂピクチャのデータ量を減らす必要があるが、このような風景の映像の場合には、被写体の動き自体は激しくない事が多く、フレーム間の相関が高いため問題にはならない。

撮影対象に応じて、上述のようなピクチャ毎の符号量の制御を自動的に行うためには、符号化装置内に被写体の特性を判定するための機構が必要で、少なくとも複数フレームを保持し、それらのフレームから被写体の状況を判定しなくてはならない。このような構成はメモリ量、システム規模が増大するため、コスト高となる問題がある。

また、コストを低く抑えるためには、上記のような撮影対象に応じてピクチャ毎の符号量を制御するような処理を削減している場合が多い。このような場合、動きの激しい被写体を撮影した場合には、ノイズが目立つようになり、風景などが撮影対象の場合には、解像間が不足するという問題がある。

本発明はこの様な問題に鑑みてなされたものであり、撮影モードに適した符号化処理にて画像データを符号化可能とする撮像装置を提供することを目的とする。

上記課題を解決するために、本発明は、撮像手段と、複数の撮影モードのうちの任意の撮影モードを設定するモード切り替え手段と、単位時間当たりの符号量が一定になるように前記撮像手段により得られた動画像データを符号化する符号化手段と、前記モード切り替え手段により設定された撮影モードに応じて前記符号化手段による符号化処理を変更する制御手段とを備える。

本発明よれば、撮影者が選択した撮影モードに応じて、ＭＰＥＧ符号化処理を変更する事で、システム規模、コストを抑えつつ、それぞれの撮影モードについて、より高画質となるような符号化処理を選択し、実行させる事が可能となる。

以下に本発明の実施例について説明する。

以下に、本発明の第１の実施例の撮像装置を図１〜図４に基づいて説明する。

本発明は、例えば図１に示すようなカメラ一体型画像記録装置に適用される。このカメラ一体型画像記録装置は、動画像の圧縮符号化方式として、ＭＰＥＧ符号化方式を採用している。以下、本実施の形態におけるカメラ一体型画像記録装置の構成及び動作について具体的に説明する。

カメラ一体型画像記録装置は、シャッタ速度変更機能を有するものであり、上記図１に示すように、撮像レンズ１０１、撮像素子（ＣＣＤ）１０２、カメラ信号処理回路１０３、画面並替回路１０４、撮影モード信号入力端子１０５、システム制御回路１０６、スイッチ１０７、減算器１０８、ＤＣＴ回路１０９、量子化回路１１０、可変長符号化回路１１１、逆量子化回路１１２、ＩＤＣＴ（逆ＤＣＴ）回路１１３、加算器１１４、動き補償予測回路１１５、バッファ１１６、レート制御回路１１７、音声データ入力端子１１８、音声符号化回路１１９、バッファ１２０、スイッチ１２１、記録媒体１２２、及びスイッチ１２３で構成されている。

レンズ１０１により、被写体光はＣＣＤ１０２の撮像面に結像され、ＣＣＤ１０２の光電変換作用により撮像信号に変換される。この撮像信号は、カメラ信号処理回路１０３に入力される。

カメラ信号処理回路１０３は、ＣＣＤ１０２からの撮像信号からノイズを低減し、画像信号を取り出し、その画像信号を補正した後に色差信号と輝度信号に分離して、１フレーム単位で画面並替回路１０４に供給する機能を有する。このとき、システム制御回路１０６には、撮影モード信号入力端子１０５から撮影モード信号が供給されている。ここでいう撮影モードとは、本カメラの利用者が撮影対象に応じて設定するモードである。例えば人物を撮影するためのポートレートモードや、動きの激しい被写体を撮影するようなスポーツモード、風景を撮影する時の風景モード、暗がりを撮影する時のスローシャッタモード、ネットワークやＰＣと接続し、ＴＶ会議や監視カメラ用途に使用する場合のネットワークモード等がある。また、利用者が明示的にモードを指定しない場合のＡＵＴＯモード（通常モード）も設けている。本装置では、選択された撮影モードに応じて、シャッタ動作等が変化し、符号化のフレーム構成も変化する。さらにはそれぞれのピクチャ毎の量子化レベルについても、それぞれのモードに適応した処理が指示される（図１の点線で示す部分）。

システム制御回路１０６は、撮影モード信号入力端子１０５からの撮影モード信号により、シャッタ速度を決定し、その決定結果に基づいてＭＰＥＧのピクチャ構成を決定し、Ｂピクチャを使用する場合には、画面並替回路１０４に対して画面並替順序を指示する。このときの画面並替順序についての詳細は後述する。また、システム制御回路１０６は、上記撮影モード信号に基づいて、フレームに同期した符号化切換信号をスイッチ１０７に供給することで、フレーム内符号化（以下、「イントラ符号化」と言う）とフレーム間予測符号化（以下、「インター符号化」と言う）を切り替える制御を行う。さらにシステム制御回路１０６は、各フレーム毎の量子化レベルの初期パラメータを撮影モード信号に応じて決定し、後述のレート制御１１７に通知する。

画面並替回路１０４は、複数フレームを記憶できるメモリを有し、システム制御回路１０６から指示された画面並替順序に従って、カメラ信号処理回路１０３からの画像信号を上記メモリに一旦記憶し、入力時のフレーム順を入れ替えて出力する機能を有する。

以下、画面並替回路１０４以降の各回路の動作を、システム制御回路１０６によりイントラ内符号化に切り替えられた場合と、インター符号化に切り替えられた場合とに分けて説明する。尚、”イントラ符号化”とは、フレーム内の画像データのみで符号化するものであり、Ｉピクチャを生成するための符号化である。

一方、”インター符号化”とは、フレーム間予測も含めて符号化するものであり、Ｐ及びＢピクチャを生成するための符号化である。

まず、イントラ符号化に切り替えられた場合について説明する。

スイッチ１０７は、システム制御回路１０６からの制御により、Ａ側（画面並替回路１０４の出力側）に切り替えられる。これにより、画面並替回路１０４から出力された画像信号は、スイッチ１０７を介して、ＤＣＴ回路１０９に供給される。ＤＣＴ回路１０９は、スイッチ２０７を介して供給された画面並替回路１０４からの画像信号に対して直交変換処理を行い、その処理後の画像信号を量子化回路１１０に供給する。量子化回路１１０は、ＤＣＴ回路１０９からの画像信号に対して量子化処理を行い、その処理後の画像信号を逆量子化回路１１２及び可変長符号化回路１１１にそれぞれ供給する。

量子化処理の量子化レベルについては、システム制御回路１０６から初期設定され、この設定された量子化レベルに応じて量子化処理におけるステップ幅を変更し、後述するようにバッファ１の残容量に応じてフィードバック制御される。逆量子化回路１１２は、量子化回路１１０からの画像信号に対して逆量子化処理を行うことで、量子化前の画像信号を復元し、これをＩＤＣＴ回路１１３に供給する。ＩＤＣＴ回路１１３は、逆量子化回路１１２からの画像信号に対してＩＤＣＴ処理を行うことで、量子化誤差を含む直交変換前の画像信号を復元し、これを加算器１１４に供給する。このときスイッチ１２３は、システム制御回路１０６からの制御により、ＯＦＦ状態となっている。したがって、ＩＤＣＴ回路１１３の出力はそのまま動き補償予測回路１１５に供給される。動き補償予測回路１１５には、画面並替回路１０４から出力された画像信号も供給されており、動き補償予測回路１１５は、次のインター符号化のために、ＩＤＣＴ回路１１３からの画像信号と、画面並替回路１０４からの画像信号とから、予測画像信号を生成する。一方、可変長符号化回路１１１は、量子化回路１１０からの画像信号を可変長符号化し、それをバッファ１１６に書き込む。バッファ１１６に書き込まれた画像信号は、スイッチ１２１の入力端Ａに供給される。

続いて、インター符号化に切り替えられた場合について説明する。

スイッチ１０７は、システム制御回路１０６からの制御により、Ｂ側（減算器１０８の出力側）に切り替えられる。また、スイッチ１２３は、システム制御回路１０６からの制御により、常にＯＮ状態となる。これにより、減算器１０８は、画面並替回路１０４から出力された画像信号と、動き予測回路１１３にて生成された予測画像信号との減算処理を行う。

これは、画像の時間軸方向の相関による冗長度を落とすためである。減算器１０６により得られた、時間軸方向の冗長度が落とされた画像信号の差分画像信号は、スイッチ１０７を介して、ＤＣＴ回路１０９に供給される。

ＤＣＴ回路１０９は、スイッチ１０７を介して供給された減算器１０８からの差分画像信号に対して直交変換処理を行い、その処理後の差分画像信号を量子化回路１１０に供給する。量子化回路１１０は、ＤＣＴ回路１０９からの差分画像信号に対して量子化処理を行い、その処理後の差分画像信号を逆量子化回路１１２及び可変長符号化回路１１１にそれぞれ供給する。

量子化処理の量子化レベルについては、システム制御回路１０６からＰピクチャ、Ｂピクチャのそれぞれに対し初期設定され、後述するようにバッファ１の残容量に応じてフィードバック制御される。

逆量子化回路１１２は、量子化回路１１０からの差分画像信号に対して逆量子化処理を行うことで、量子化前の差分画像信号を復元し、これをＩＤＣＴ回路２１３に供給する。

ＩＤＣＴ回路２１３は、逆量子化回路２１２からの差分画像信号に対してＩＤＣＴ処理を行うことで、量子化誤差を含む直交変換前の差分画像信号を復元し、これを加算器１１４に供給する。

このときスイッチ１２３はＯＮ状態であるため、加算器１１４には、動き補償予測回路１１５にて生成された前フレームの予測画像信号が供給される。したがって、加算器１１４は、動き補償予測回路１１３からの前フレームの予測画像信号と、ＩＤＣＴ回路１１３からの差分画像信号とを加算することで、現在のフレームの画像信号を復号し、これを動き補償予測回路１１５に供給する。動き補償予測回路１１５は、次の画像符号化のために、加算器１１４からの復号画像信号と、画面並替回路１０４から出力された画像信号とから、予測画像信号及び動きベクトルを取得し、予測画像信号をインター符号化のために減算器１０８に供給すると共にスイッチ１２３を介して加算器１１４に供給し、動きベクトルを可変長符号化回路１１１に供給する。

可変長符号化回路１１１は、動き補償予測回路１１５からの動きベクトルに基づいて、量子化回路１１０からの画像信号を可変長符号化し、それをバッファ１１６に書き込む。バッファ１１６に書き込まれた画像信号は、スイッチ１２１の入力端に供給される。

上述のようなイントラ符号化又はインター符号化に切り替えられた時のレート制御は、レート制御回路１１７により行われる。すなわち、レート制御回路１１７は、バッファ１１６の容量を監視し、その容量が目標容量より少ない場合には、次の量子化が粗く行われるように量子化レベルを制御し、その容量が目標容量若しくはそれ以上の場合には、予め初期値として与えられている通常の量子化を行うように、量子化回路１１０を制御することで、バッファ１１５の記録レートをＧＯＰ時間に情報量がおよそ一定になるように制御する。このとき、スイッチ１２１は、システム制御回路１０６からの制御により、Ａ側（バッファ１１６の出力側）に切り替えられており、したがって、バッファ１１６からスイッチ１２１の入力端子（Ａ側の端子）に対して入力された画像信号（符号化後の画像信号）は、記録媒体２２２に記録されることになる。

上述のようにして、カメラ一体型画像記録装置では、符号化後の画像信号が記録媒体１２２に記録される。また、音声信号については、次のようにして符号化されて記録媒体１２２に記録される。

先ず、音声信号は、音声データ入力端子１１８から入力され、音声符号化回路１１９に供給される。音声符号化回路１１９は、音声データ入力端子１１８からの音声信号に対して、ＭＰＥＧ符号化方式等に従った符号化処理を行い、その処理後の音声信号をバッファ１２０に書き込む。

バッファ１２０に書き込まれた音声信号は、スイッチ１２１の入力端に供給される。スイッチ１２１は、システム制御回路１０６からの制御により、Ｂ側（バッファ１２０の出力側）に切り替えられており、これにより、バッファ１２０からスイッチ１２１の入力端子（Ｂ側の端子）に対して入力された音声信号（符号化後の音声信号）は、記録媒体１２２に記録されることになる。尚、スイッチ１２１は、システム制御回路１０６からの制御により、画像信号が書き込まれるバッファ１１６の出力と、音声信号が書き込まれるバッファ１２０の出力とが時分割多重して記録媒体１２２へ記録されるように、Ａ側とＢ側の切り替えが行われる。

以上が、本カメラ一体型画像記録装置の符号化時の動作である。

以下に、本カメラ一体型画像記録装置の特徴である、各撮影モードによる符号化処理について説明する。

［ＡＵＴＯモード（通常撮影モード）における符号化処理］ここでは、上述したカメラ一体型画像記録装置の一連の動作において、撮影モード信号入力端子１０５からの撮影モード信号によりＡＵＴＯモードが指定され、これに基づいたシステム制御回路１０６の制御により、画面並替回路１０４にて実行される画面並替処理、及びその後段での符号化処理について説明する。

図２は、画面並替回路１０４に対して入力される画像信号、及び画面並替回路１０４から出力される画像信号、さらにそれらから生成されるピクチャ種別を示したものである。この図で示されているような並べ替えはＢピクチャ使用時に必要となる。図２（ａ）に示すように、画面並替回路１０４に対しては、第１フレーム、第２フレーム、第３フレーム、・・・と１／３０秒毎に画像信号が入力され、これと同時にシステム制御回路１０６から画面並替順序の指示が入力される。通常撮影モードの場合においては、画面並替回路１０４は、システム制御回路１０６からの画面並替順序の指示に基づいて、第１フレーム、第２フレーム、第３フレーム、・・・を、第３フレーム、第１フレーム、第２フレーム、・・・に並び替えて出力する（図２（ｂ））。

そして、システム制御回路１０６は、画面並替回路１０４から第３フレーム、第１フレーム、第２フレーム、・・・の順で出力される画像信号に対して、図２（ｃ）に示すようなイントラ符号化及びインター符号化が行われるように、スイッチ１０７の切り替え制御を行う。

イントラ符号化及びインター符号化については上述したように、まずイントラ符号化とは、フレーム内のデータのみで符号化するものであり、上記図２（ｃ）に示すように第３フレームは、第３フレームのデータのみでＩピクチャが生成される。また、インター符号化とは、フレーム間予測も含めて符号化するものであり、上記図２（ｃ）に示すようなＰ及びＢピクチャを生成する符号化である。例えば、第６フレームのＰピクチャは、第３フレームのＩピクチャとの差分、又は動きベクトル情報によって生成される。また、第１フレーム及び第２フレームのＢピクチャは、第３フレームのＩピクチャと第６フレームの差分、又は動きベクトル情報によって生成される。

図３（ａ）に、ＡＵＴＯモード時に生成される各ピクチャの符号量の関係を示す。ここでは説明の便宜上１ＧＯＰは９フレームで構成されているものとする。符号３０１が１ＧＯＰに相当する符号量であり、この単位でＣＢＲである事（一定符号量である事）を保証する。Ｉピクチャ３０２は、イントラ符号化されたフレームであり、インター符号化されたＢピクチャ３０３、Ｐピクチャ３０４よりも符号量が多い。

また、レート制御１１７にもＡＵＴＯ制御モードである事が通知されており、それぞれのピクチャに対する量子化レベルの初期設定は、図４の符号４０１のようになっている。ここで全てのピクチャについて量子化レベル「中」となっているが、これは後述するその他のモードの場合をわかりやすくするため、ＡＵＴＯモード時における量子化レベルを中程度と便宜上定義する事を意味し、他のモードの場合には、相対的にどの程度の量子化レベルとなるかを示すものである。また、前述したが、ＣＢＲを保証するために、量子化レベルはバッファ１の容量に応じてフィードバック制御され動的に変化し、それぞれの生成ピクチャの符号量は増減する。

［スポーツモードにおける符号化処理］撮影モード信号入力端子１０５からの撮影モード信号によりスポーツモードが指定され、これに基づいたシステム制御回路１０６の制御により、画面並替回路１０４にて実行される画面並替処理、及びその後段での符号化処理について説明する。

スポーツモードが選択された場合には、被写体の動きが激しい事が予想されるため、インター符号化量を増やす事で画質の劣化を抑える必要がある。これにより、必然的にイントラ符号化量については減らす必要がある。

図４の符号４０２に、スポーツモード時の各種設定を示す。図のとおり、１ＧＯＰあたりのフレーム構成はＡＵＴＯモードと同じであるが、それぞれのピクチャに対する量子化レベルの初期設定が異なり、Ｉピクチャでは小さく、Ｐ，Ｂピクチャについては大きくすることで、ＣＢＲの条件のもと、上述の画質劣化への対応を行う事ができる。この時の各フレームの符号量について、図３（ｂ）に示す。通常モードと同様に、ＣＢＲを保証するために、該量子化レベルはバッファ１の容量に応じてフィードバック制御され、動的に変化する。

［風景モード／ポートレートモードにおける符号化処理］撮影モード信号入力端子１０５からの撮影モード信号により風景モード、またはポートレートモードが指定され、これに基づいたシステム制御回路１０６の制御により、画面並替回路１０４にて実行される画面並替処理、及びその後段での符号化処理について説明する。両モードは、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）制御や絞り制御等の面では異なるが、符号化処理という点については共通の処理となる。

風景／ポートレートモードが選択された場合には、映像としてはより解像度が要求される。その一方、被写体の激しい動きはそれほど多くないと想定される。したがって、イントラ符号化量を増やす事で解像感を増加させ、必然的にインター符号化量を減らす必要がある。

図４の符号４０３に、該モード時の各種設定を示す。図のとおり、１ＧＯＰあたりのフレーム構成はＡＵＴＯモードと同じであるが、それぞれのピクチャに対する量子化レベルの初期設定が異なり、Ｉピクチャでは大きく、Ｐ，Ｂピクチャについては小さくすることで、ＣＢＲの条件のもと、上述の解像感への対応を行う事ができる。この時の各フレームの符号量について、図４（ｃ）に示す。通常モードと同様に、ＣＢＲを保証するために、該量子化レベルはバッファ１の容量に応じてフィードバック制御され、動的に変化する。

［スローシャッタモードにおける符号化処理］撮影モード信号入力端子１０５からの撮影モード信号によりスローシャッタモードが指定され、これに基づいたシステム制御回路１０６の制御により、画面並替回路１０４にて実行される画面並替処理、及びその後段での符号化処理について説明する。

スローシャッタモード時には、例えば３フレーム分の時間をかけてＣＣＤ１０２に電化が蓄積され、３フレーム毎にカメラ信号処理部から出力されるフレーム単位の画像信号が更新される。したがって、１ＧＯＰあたり９フレームの符号化をする必要がなく、１ＧＯＰあたり３フレームの符号化を実施すればよい。

画面並替回路１０４は、１ＧＯＰあたり３フレーム入力されるフレームに対し、システム制御回路１０６からの画面並替順序の指示に基づいて、入力された第１フレーム、第２フレーム、第３フレーム、・・・を並び替えずに、そのまま第１フレーム、第２フレーム、第３フレーム、・・・の順で出力する。システム制御回路１０６は、画面並替回路１０４から第１フレーム、第２フレーム、第３フレーム、・・・の順で出力される画像信号に対して、図４の符号４０４に示すように全てイントラ符号化が行われるように（Ｉピクチャ）、スイッチ１０７の切り替え制御を行う。この時の各フレームの符号量について、図３（ｄ）に示す。図からわかるとおり、１ＧＯＰあたり３フレームであれば、中程度の量子化レベルのＩピクチャでも符号量として問題ない。通常モードと同様に、ＣＢＲを保証するために、該量子化レベルはバッファ１の容量に応じてフィードバック制御され、動的に変化する。

［ネットワークモードにおける符号化処理］撮影モード信号入力端子１０５からの撮影モード信号によりネットワークモードが指定され、これに基づいたシステム制御回路１０６の制御により、画面並替回路１０４にて実行される画面並替処理、及びその後段での符号化処理について説明する。

ネットワークモードが選択された場合には、本装置はネットワークやＰＣに接続され、ＴＶ会議カメラや監視カメラとして利用される。この場合、符号化遅延が大きすぎると、ＴＶ会議の場合にはお互いの会話が重なる等の不具合が生じ、監視カメラとしてはリアルタイム性の面で問題がある。このような観点から、フレーム順序の入れ替えの要因となるＢピクチャの使用は避けた方が良い。

図４の符号４０５に、スポーツモード時の各種設定を示す。図のとおり、１ＧＯＰあたりのフレーム構成はＡＵＴＯモードと同じ９フレームであるが、Ｂピクチャの代わりにＰピクチャを使用している点が特徴である。この時の各フレームの符号量について、図４（ｅ）に示す。通常モードと同様に、ＣＢＲを保証するために、該量子化レベルはバッファ１の容量に応じてフィードバック制御され、動的に変化する。

上述のように、本実施の形態では、撮影モードによって決まるシャッタ速度に基づいて、フレーム内符号化とフレーム間符号化の切り替えを行い、特にスローシャッタの場合には、複数フレーム期間は同じ画像であることを利用し、符号化時のフレームレートを落とし、それぞれのフレームに対してはイントラ符号化を適用する。

また、本実施の形態では、撮影モードによって、それぞれの被写体に対応して、より高画質となるように、各ピクチャに対する量子化レベルを制御する。

また、本実施の形態では、撮影モードによって、よりリアルタイム性の要求されるような場合には、Ｂピクチャを使用せず、また、符号化遅延が少なくなるように符号化処理を制御する。

上述のスポーツモードにおける符号化処理については、以下のような処理を行っても良い。図５に、本実施例における各種設定５０１、および各フレームの符号量５０２を示す。実施例１のスポーツモードに対し、ＰピクチャがＩピクチャに置き換わっており、Ｉピクチャの頻度を高くすることで、フレーム間予測の頻度を下げ、符号化によるノイズを抑えている。しかし、Ｂピクチャについては量子化レベルを中程度に抑えておく必要があるため、映像として実施例１のスポーツモードよりも高画質な符号化が実施できるとは必ずしも言えない。

上記、実施例１、２については、各モードともに同じビットレートである事を前提にした場合であるが、各モードによってビットレートを変化させても良い（但し、ＣＢＲ）。例えば、スポーツモード時には、Ｉピクチャの量子化レベルを中程度のままで、Ｐ，Ｂピクチャについては量子化レベルを大にする事により、全体のビットレートとしては高くなってしまうが、より高画質な符号化が行える。同様に風景／ポートレートモード時は、Ｉピクチャの量子化レベルを大とし、Ｐ，Ｂピクチャについては中程度とする事により、全体のビットレートとしては高くなるが、より高画質な符号化が行える。

また反対に、スローシャッタモード時には、各フレームそのものの情報量が少ない場合もあるため、全体のビットレートを落とすことで、より長時間の記録が可能となるように設定しても良い。

このように、撮影モードによってビットレートを変える場合には、同じ容量の記録媒体であってもモードによって記録可能な時間が変わってしまうため、モード毎に記録可能時間をユーザに明示する手段が必要である。

上記、各実施例は独立して実施される必要はなく、それぞれを組み合わせて同時に実施し、本発明の装置を構成しても良い。その場合、ユーザはより多くのモードつまりは符号化処理の中から、任意の処理を選ぶ事ができる。

尚、本発明の目的は、上述した各実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成される。この場合、記憶媒体から読み出されたプログラムコード自体が各実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク（登録商標）、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。また、コンピュータが読みだしたプログラムコードを実行することにより、各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれる。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれる。

本発明の実施例１に係るカメラ一体型画像記録装置の構成を示す図である。 本発明の実施例１に係るＡＵＴＯモード時における並べ替え処理および生成ピクチャの関係を示す図である。 本発明の実施例１に係る各モードにおける各ピクチャの符号量を示す図である。 本発明の実施例１に係る各モードにおける各ピクチャに対する量子化レベル設定を示す図である。 本発明の実施例２に係るスポーツモードの例を示す図である。

符号の説明

１０１ 撮像レンズ
１０２ 撮像素子（ＣＣＤ）
１０３ カメラ信号処理回路
１０４ 画面並替回路
１０５ 撮影モード信号入力端子
１０６ システム制御回路
１０７ スイッチ
１０８ 減算器
１０９ ＤＣＴ回路
１１０ 量子化回路
１１１ 可変長符号化回路
１１２ 逆量子化回路
１１３ ＩＤＣＴ（逆ＤＣＴ）回路
１１４ 加算器
１１５ 動き補償予測回路
１１６ バッファ
１１７ レート制御回路
１１８ 音声データ入力端子
１１９ 音声符号化回路
１２０ バッファ
１２１ スイッチ
１２２ 記録媒体
１２２、１２３ スイッチ

Claims (12)

1. 複数の撮影モードのうちの任意の撮影モードを設定するモード切り替え手段と、
   単位時間当たりの符号量が一定になるように前記撮像手段により得られた動画像データを符号化する符号化手段と、
   前記モード切り替え手段により設定された撮影モードに応じて前記符号化手段による符号化処理を変更する制御手段とを備える撮像装置。
2. 前記制御手段は、前記設定された撮影モードに応じて前記動画像データのフレームレートを変更することを特徴とする請求項１記載の撮像装置。
3. 前記制御手段は、前記設定された撮影モードに応じてフレーム毎の符号量を変更することを特徴とする請求項１記載の撮像装置。
4. 前記符号化手段はＭＰＥＧ符号化方式にて前記動画像データを符号化することを特徴とする請求項１〜３いずれか記載の撮像装置。
5. 前記制御手段は、前記設定された撮影モードに応じて１ＧＯＰを形成するピクチャ構成を変更することを特徴とする請求項４記載の撮像装置。
6. 前記制御手段は、前記設定された撮影モードに応じて１ＧＯＰを構成する複数のフレームに対して割り当てる符号量を変更することを特徴とする請求項４記載の撮像装置。
7. 前記制御手段は、前記設定された撮影モードに応じて、１ＧＯＰを構成する画面内符号化フレームと画面間符号化フレームの量子化レベルを変更することを特徴とする請求項４記載の撮像装置。
8. 前記モード切り替え手段により動きの速い被写体用の撮影モードが設定された場合、前記制御手段は、通常の撮影モード時よりも画面内符号化フレームの符号化時の量子化レベルを下げ、画面間符号化フレームの符号化時の量子化レベルを上げるよう前記符号化手段を制御することを特徴とする請求項５記載の撮像装置。
9. 前記モード切り替え手段により動きの速い被写体用の撮影モードが設定された場合、前記制御手段は、通常の撮影モードよりも画面内符号化フレームの挿入頻度を高くするよう前記符号化手段を制御することを特徴とする請求項５記載の撮像装置。
10. 前記モード切り替え手段により風景撮影用のモードが選択された場合、前記制御手段は、通常撮影モード時よりも画面内符号化フレームの量子化レベルを上げ、画面間符号化フレームの量子化レベルを下げるよう前記符号化手段を制御することを特徴とする請求項５記載の撮像装置。
11. 前記モード切り替え手段により低照度の被写体用の撮影モードが設定された場合、前記制御手段は、前記撮像手段から出力された動画像データ中、前記撮像手段のシャッタ動作に同期したフレームのみを抽出すると共に、全て画面内符号化処理により符号化するよう前記符号化手段を制御することを特徴とする請求項５記載の撮像装置。
12. ネットワークに対して前記符号化手段により符号化された動画像データを送信する送信手段を備え、前記モード切り替え手段により前記ネットワークに対する動画像データの送信用の撮影モードが設定された場合、前記制御手段は、双方向予測符号化フレームを生成せずに前記動画像データを符号化するよう前記符号化手段を制御することを特徴とする請求項５記載の撮像装置。

Images