JP2015050688A - 撮像装置、撮像装置の制御方法、プログラム - Google Patents

Abstract

【課題】 たとえば装置の回路規模増大を抑制することができ、動画データと静止画データを生成することができる撮像装置、撮像装置の制御方法、プログラムを提供する。
【解決手段】 動画記録開始の指示が入力されたことに応じて、撮像手段により得られた画像信号を静止画として符号化するとともに、動画として符号化するように符号化手段を制御し、静止画として符号化する場合は、動画として符号化する場合と異なるフォーマットになるように撮像手段により得られた画像信号を処理するように画像処理手段を制御する。
【選択図】 図４

Description

本発明は、撮像装置、撮像装置の制御方法、プログラムに関する。

従来、画像処理として、撮像した画像を符号化して記録媒体に記録する撮像装置が知られている。撮像装置の例としては、デジタルカメラ、携帯電話、コンピュータなどが知られている。これらの撮像装置は、撮像素子により被写体の光学像を撮像し、得られた画像信号を動画として符号化し、符号化後の動画データを記録媒体に記録することができるものが存在する。また、このような動画データを記録することができる撮像装置には、たとえば特許文献１のように、動画データのサムネイル画像を動画データとは別にＪＰＥＧ方式で符号化した静止画として生成して、動画データとともに動画ファイルに格納するものがあった。

特開２００６−３０４１０３号公報

しかしながら、従来の撮像装置において、サムネイル画像を生成する場合、たとえば特許文献１のように、撮像装置内に動画用の符号化部、静止画用の符号化部を別々に設け、異なる符号化処理を実行させなければならなかった。そのため、たとえば各符号化部をハード構成とすると、撮像装置の回路構成が複雑化してしまうことがあった。また、符号化処理をソフトウェア処理とすると、複数の符号化処理をするソフトウェアを用意しなければならなかった。そのため、たとえば撮像装置の回路規模増大につながってしまうという問題があった。

そこで、本発明は、たとえば装置の回路規模増大を抑制することができ、動画データと静止画データを生成することができる撮像装置、撮像装置の制御方法、プログラムを提供することを目的とする。

このような目的を達成するために、本発明の撮像装置は、撮像手段と、前記撮像手段により得られた画像信号を処理する画像処理手段と、前記画像処理手段により処理された画像信号をフレーム内予測符号化処理及びフレーム間予測符号化処理を用いて符号化する符号化手段と、前記符号化手段により符号化された画像データを記録媒体に記録する記録手段と、制御手段とを有し、前記制御手段は、動画撮影開始の指示が入力されたことに応じて、前記動画撮影開始の指示に対応する特定のタイミングで前記撮像手段により得られた画像信号を静止画として符号化するとともに、前記撮像手段により得られた画像を動画として符号化するように前記符号化手段を制御し、前記制御手段は、前記静止画として符号化する場合は、前記動画として符号化する場合と異なるフォーマットになるように前記撮像手段により得られた画像信号を処理するように前記画像処理手段を制御するとともに、前記画像処理手段により処理された画像信号をフレーム内予測符号化処理を用いて符号化するように前記符号化手段を制御することを特徴とする。

本発明によれば、たとえば装置のコスト高を抑制することができる。

本実施例の撮像装置の構成を示す図。 本実施例の符号化復号化部の符号化のための構成を示す図。 本実施例の符号化順を示す図。 本実施例の動画記録モードにおける動作を示すフロー図。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

（実施例１）
本実施例では、撮像装置を例にとって説明するが、入力された画像信号を符号化し、符号化された静止画データ、符号化された動画データを生成することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

本実施例の撮像装置は、撮像部、符号化（復号化）部、を有する。撮像部は、レンズにより取得された被写体の光学像を光電変換し、得られたアナログ画像信号をデジタル画像信号に変換する。そして、符号化（復号化）部は、撮像部により得られたデジタル画像信号を符号化する。本実施例の撮像装置は、動画記録モードにおいて、動画記録開始の指示があると、符号化（復号化）部は、順次取得される画像信号を動画として符号化するとともに、動画記録開始の指示に対応する画像信号を静止画として符号化をする。動画として符号化する場合は、撮像部により得られた画像信号をフレーム内予測符号化処理およびフレーム間予測符号化処理の両方を用いて符号化する。一方、静止画として符号化する場合は、撮像部により得られた画像信号をフレーム内予測符号化処理を用いて符号化する。静止画データは、サムネイル画像として動画データとともに動画ファイルに格納して記録媒体に記録されるほか、動画データとは別の静止画ファイルとして記録媒体に記録されてもよい。または、動画データが階層符号化されている場合には、動画として符号化された画像に対応する動画データとは別の階層に静止画データが含まれるように階層構造を決定する。なお、サムネイル画像として静止画データを符号化する場合には、画像信号を縮小してから静止画として符号化してもよい。

また、本実施例の撮像装置は、さらに画像処理部を有する。動画記録モードにおいて、動画記録開始の指示があると、符号化（復号化）部は、順次取得される画像信号を動画として符号化するとともに、動画記録開始の指示に対応する画像信号を静止画として符号化をする。このとき、画像処理部は、静止画として符号化される画像信号に、動画と異なる所定のフォーマットに変換する処理を実行する。たとえば、動画として符号化される画像信号がＲＧＢの色信号で表現されるＲＧＢフォーマットであったとすると、静止画として符号化する画像信号については、輝度信号と色差信号で表現されるＹＵＶフォーマットに変換する。なお、動画として符号化される画像信号がＹＵＶフォーマットであれば、静止画として符号化される画像信号を変換しなくてもよい。また、たとえば、動画として符号化される画像信号がＹＵＶフォーマットの４：４：４フォーマットであったとすると、静止画として符号化する画像信号については、ＹＵＶフォーマットの４：２：０フォーマットに変換する。すなわち、輝度成分と色差成分の割合を変換する。なお、動画として符号化される画像信号が４：２：０フォーマットであれば、静止画として符号化される画像信号を変換しなくてもよい。また、たとえば、動画として符号化される画像信号の輝度成分のビット深度が１０ｂｉｔであったとすると、静止画として符号化する画像信号については、輝度成分のビット深度を８ｂｉｔに変換する。すなわち、輝度成分のビット深度を変換する。なお、動画として符号化される画像信号の輝度成分が８ｂｉｔであれば、静止画として符号化される画像信号を変換しなくてもよい。また、たとえば、動画として符号化される画像信号の色差成分のビット深度が１０ｂｉｔであったとすると、静止画として符号化する画像信号については、色差成分のビット深度を８ｂｉｔに変換する。すなわち、色差成分のビット深度を変換する。なお、動画として符号化される画像信号の色差成分が８ｂｉｔであれば、静止画として符号化される画像信号を変換しなくてもよい。

また、本実施例の撮像装置は、符号化部においても、動画として符号化する場合と静止画として符号化する場合とで、異なる符号化パラメータを設定する。たとえば、静止画として符号化する際の符号化ユニットの最大サイズを、動画として符号化する際の符号化ユニットの最大サイズをよりも小さくする。また、たとえば、静止画として符号化する際の符号化ユニットの最初サイズを、動画として符号化する際の符号化ユニットの最小サイズをよりも大きくする。

また、本実施例の撮像装置の符号化部においては、動画として符号化する際には、符号化部で量子化された画像を復号して得られた画像に対してデブロッキングフィルタ処理および／またはＳＡＯ処理を行う。一方で、静止画として符号化する際には、符号化部で量子化された画像を復号して得られた画像に対してデブロッキングフィルタ処理およびＳＡＯ処理を行わない。

このような構成とすることで、本実施例の撮像装置は、簡易的な構成で動画データと静止画データを生成することができる。また、そのため、装置のコスト高を抑制することができる。また、このように静止画として符号化する際に、画像を動画と異なるフォーマットに変換することで、静止画として符号化した画像データに関しては、今後登場してくる他の再生機器で再生できる可能性を上げることができる。

なお、静止画として符号化する画像信号は、動画記録開始の指示に応じたタイミングで撮像された画像データであるが、たとえば、動画記録開始の指示の直後に撮像された１フレーム目、２フレーム目の画像であってもよいし、静止画記録開始の指示が入力されるよりも前に撮像された画像であってもよい。また、この場合、静止画として符号化したときの符号化パラメータや符号量の情報に基づいて、動画として符号化する際の符号化パラメータ、量子化ステップ等を決定してもよい。このような構成とすることで、動画データの最初の画質とデータ量を最適な状態に近づけることができる。

また、本実施例の撮像装置は、画像信号を動画データとして符号化する際に、フレーム内予測符号化処理のみを用いてもよい。また、本実施例の撮像装置は、記録媒体に記録された動画データ、静止画データを復号化して表示部表示させることもできる。

以下、このような撮像装置について説明する。

＜全体構成＞
まず、図１を用いて、本実施例の撮像装置１００の構成を説明する。

本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、撮像部１１０と、画像処理部１１１と、マイクユニット１２０と、音声処理部１２１と、スピーカユニット１２２とを有する。また、撮像装置１００は、符号化復号化処理部１３０と、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、通信部１６０とを有する。

なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。ＲＡＭ１０２に記憶されたデジタル画像信号は、その後、画像処理部１１１に送信される。画像処理部１１１は、デジタル画像信号のホワイトバランスや色、明るさなどをユーザに設定された設定値や画像の特性から自動的に判定した設定値に基づいて調整する画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。また、画質調整処理済みまたは未処理のデジタル画像信号を、後述の表示制御部１４１に送信し、表示部１４０に撮像中の画像として表示することもできる。また、再生時においては、画像処理部１１１は、記録媒体１５１から記録再生部１５０によって読出され、符号化復号化処理部１３０において復号化された静止画ファイルや動画ファイルに含まれる画像データの画質調整等を行う。そして、画質調整済みまたは未処理のデジタル画像信号を、後述の表示制御部１４１に送信し、表示部１４０に画像として表示することもできる。

符号化復号化処理部１３０では、記録時においては、画像処理部１１１により処理されＲＡＭ１０２に記憶されたデジタル画像信号に対して、画像圧縮処理を行い、圧縮された動画データや静止画データを生成し、ＲＡＭ１０２に一時的に記憶する処理を行う。また、再生時においては、記録媒体１５１から読出された画像ファイルの圧縮された動画データや静止画データを復号してデジタル画像信号を抽出し、ＲＡＭ１０２に記憶していく処理を行う。符号化復号化処理部１３０の詳細な動作については後述する。本実施例においては、特に符号化復号化処理部１３０は、様々な圧縮符号化方式の動画データ、静止画データを生成することができる。なお、一般に、フレーム内符号化されたフレーム画像データをＩピクチャと呼び、前方のフレームとの差分を用いてフレーム間符号化された画像データをＰピクチャと呼び、前方後方のフレームとの差分を用いてフレーム間符号化された画像データをＢピクチャと呼ぶ。

マイクユニット１２０は、たとえば、撮像装置１００のハウジング内に内蔵された無指向性のマイクとＡＤ変換部を有する。マイクユニット１２０では、マイクにより周囲の音声を集音（収音）し、取得したアナログ音声信号をＡＤ変換部で、デジタル信号に変換してＲＡＭ１０２に一時的に記憶させる。ＲＡＭ１０２に記憶されたデジタル音声信号は、その後、音声処理部１２１に送信される。音声処理部１２１では、記録時においては、ＲＡＭ１０２に記憶されたデジタル音声信号の、レベルの適正化処理や雑音低減処理等の処理を行い、処理をしたデジタル音声信号を再びＲＡＭ１０２に記憶する。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いているため説明を省略する。また、再生時においては、記録媒体１５１から記録再生部１５０によって読出された音声ファイルや動画ファイルに含まれる圧縮音声データ復号する処理や音声レベルの適正化処理、なども行い、順次ＲＡＭ１０２に記憶する処理も行う。スピーカユニット１２２は、スピーカとＤＡ変換部とを有する。スピーカユニット１２２では、音声処理部１２１によりＲＡＭ１０２に記憶されたデジタル音声信号を読出してアナログ音声信号に変換し、アナログ音声信号によりスピーカから音声を出力する。

表示部１４０は、例えば、液晶表示デバイス、または有機ＥＬ表示デバイスなどからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理され、ＲＡＭ１０２に記憶されたデジタル画像信号に基づいて、表示部１４０に画像を表示する。また、表示制御部１４１は、表示部１４０に表示するデジタル画像信号に基づく映像信号に対し、マトリクス変換、ブライト調整、コントラスト調整、ガンマ調整、クロマゲイン調整、シャープネス調整等の画像信号処理を行ってもよい。

記録再生部１５０では、動画記録時においては、ＲＡＭ１０２に記憶されている、符号化復号化処理部１３０により生成された動画データ、静止画データ及び、音声処理部１２１で生成された音声データをよみだす。そして、撮影日等の各種情報とともに、動画ファイルとして記録媒体１５１に書き込む。また静止画記録時においては、ＲＡＭ１０２に記憶されている静止画データを撮影日等の各種情報とともに静止画ファイルとして記録媒体１５１に記録する。動画ファイルを記録媒体１５１に記録する際は、圧縮動画データと音声データとからなるデータストリームを形成し、順次記録媒体１５１に記録していき、ファイルヘッダ等を付加してＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形で動画ファイルを記録媒体に記録する。また、再生時においては、記録媒体１５１に記録された動画ファイルや静止画ファイルを前述のファイルフォーマットに従って読出す。読出された動画ファイルや静止画ファイルは、ＣＰＵ１０１によりヘッダが解析され、圧縮された動画データ、静止画データが抽出される。抽出された圧縮動画データ、静止画データは、ＲＡＭ１０２に記憶されて、符号化復号化処理部１３０により復号される。

また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。

また、通信部１６０は、撮像装置１００とは異なる外部装置との間で、制御信号や動画ファイル、静止画ファイル、各種データ等を送受信するものであり、有線接続、無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。

ここで、前述の画像処理部１１１、音声処理部１２１、符号化復号化処理部１３０、表示し制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

なお、本実施例では記録媒体１５１のファイル管理システムは組み込み機器で一般的に使用されているＦＡＴファイルシステムを使用するものとして説明をする。ＦＡＴファイルシステムの技術自体は広く公知であるので、本実施例の特徴的な動作でのみその説明をする。また、ＦＡＴファイルフォーマットであるＮＴＦＳフォーマットやｅｘＦＡＴフォーマットなどを用いても良い。

＜基本動作＞
次に、本実施例の撮像装置１００の動作について説明する。

本実施例の撮像装置１００において、ＣＰＵ１０１は、ユーザによって操作部１０４が操作され電源を投入する指示が捜査部１０４から入力されると、不図示の電源供給部を撮像装置１００の各ブロックに電源を供給するように制御する。

次に、ＣＰＵ１０１は、操作部１０４により設定されたカメラのモードが、再生モードであるか、静止画記録モード、動画記録モードであるかを判定する。

まず、動画記録モードについて説明する。

操作部１０４により設定されたカメラのモードが、動画記録モードである場合、ＣＰＵ１０１は、撮像装置１００の各ブロックを制御し、以下の動作を実行させる。

まず、撮像部１１０は、得られたデジタル画像信号をＲＡＭ１０２に送信し、一時的に記憶させる。次に、画像処理部１１１は、設定された撮影設定に従って、ＲＡＭ１０２に記憶されたデジタル画像信号に、前述の各種画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。また、表示制御部１４１は、ＲＡＭ１０２に記憶された処理済みのデジタル画像信号または未処理のデジタル画像信号を読み出して表示部１４０に表示させる。

すなわち、操作部１０４から動画記録開始の指示が入力されるまでは、表示部１４０に撮像部１１０により撮像された画像に基づく画像が表示される。

次に、操作部１０４から動画記録開始の指示が入力されると、撮像部１１０は、得られたデジタル画像信号をＲＡＭ１０２に送信し、一時的に記憶させる。次に、画像処理部１１１は、設定された撮影設定に従って、ＲＡＭ１０２に記憶されたデジタル画像信号に、前述の各種画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。また、表示制御部１４１は、ＲＡＭ１０２に記憶された処理済みのデジタル画像信号または未処理のデジタル画像信号を読み出して表示部１４０に表示させる。さらに、符号化復号化処理部１３０は、画像処理部１１１によって処理されたデジタル画像信号を符号化するための符号化処理を行う。なお、記録時の符号化復号化処理部１３０の詳細な動作については後述する。なお、本実施例の符号化復号化処理部１３０は、ＲＡＭ１０２に記録された画像信号を動画として符号化するとともに、静止画として符号化する。

また、音声処理部１２１は、マイクユニットから入力されたデジタル音声信号に対して種々の調整処理を適用し、処理をしたデジタル音声信号を再びＲＡＭ１０２に記憶する。さらに、必要に応じて、予め設定された音声用の符号化方式に従って符号化処理を実行し、得られた符号化された音声データをＲＡＭ１０２に記憶させる。なお、以後の説明では、音声データについては説明を省略するが、動画データとともに処理されるものとする。

次に、記録再生部１５０は、ＲＡＭ１０２に一時記憶されている符号化済みの動画データを、記録媒体１５１のファイルシステムに適合する動画ファイルとして記録する。また、ＣＰＵ１０１により生成された必要な管理情報を動画ファイルに含めて記録する。

ＣＰＵ１０１は、動画記録終了の指示が入力されるまでは、これら一連の処理を撮像装置１００の各ブロックに実行させる。

次に、操作部１０４から動画記録終了の指示が入力されると、符号化復号化処理部１３０は、記録終了の指示が入力されるまでのデジタル画像信号を符号化し終わるまで動作し、その後動作を終了する。また、記録再生部１５０も、ＲＡＭ１０２に一時記憶されている符号化済みの動画データを記録媒体１５１に記録し終わるまで動作し、その後、動作を終了する。それ以外の撮像部１１０、画像処理部１１１、表示部１４０、表示制御部１４１、は動作を継続する。

以上のように、本実施例の撮像装置１００は、動画記録モードにおいて動画ファイルを記録媒体１５１に記録してゆく。

次に、静止画記録モードについて説明する。

操作部１０４により設定されたカメラのモードが、静止画記録モードである場合、ＣＰＵ１０１は、撮像装置１００の各ブロックを制御し、以下の動作を実行させる。

まず、撮像部１１０は、得られたデジタル画像信号をＲＡＭ１０２に送信し、一時的に記憶させる。次に、画像処理部１１１は、設定された撮影設定に従って、ＲＡＭ１０２に記憶されたデジタル画像信号に、前述の各種画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。また、表示制御部１４１は、ＲＡＭ１０２に記憶された処理済みのデジタル画像信号または未処理のデジタル画像信号を読み出して表示部１４０に表示させる。

すなわち、操作部１０４から静止画記録開始の指示が入力されるまでは、表示部１４０に撮像部１１０により撮像された画像に基づく画像が表示される。

次に、操作部１０４から静止画記録開始の指示が入力されると、撮像部１１０は、得られたデジタル画像信号をＲＡＭ１０２に送信し、一時的に記憶させる。次に、画像処理部１１１は、設定された撮影設定に従って、ＲＡＭ１０２に記憶されたデジタル画像信号に、前述の各種画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。また、表示制御部１４１は、ＲＡＭ１０２に記憶された処理済みのデジタル画像信号または未処理のデジタル画像信号を読み出して表示部１４０に表示させる。さらに、符号化復号化処理部１３０は、画像処理部１１１によって処理されたデジタル画像信号を静止画として符号化するための符号化処理を行う。

次に、記録再生部１５０は、ＲＡＭ１０２に一時記憶されている符号化済みの静止画データを、記録媒体１５１のファイルシステムに適合する静止画ファイルとして記録する。また、ＣＰＵ１０１により生成された必要な管理情報を静止画ファイルに含めて記録する。

以上のように、本実施例の撮像装置１００は、静止画記録モードにおいて静止画ファイルを記録媒体１５１に記録する。

次に、再生モードについて、説明する。

操作部１０４により再生モードが設定されると、ＣＰＵ１０１は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。

記録再生部１５０は、記録媒体１５１に記録された、符号化された動画データと符号化された音声データとからなる動画ファイルを読み出す。ＣＰＵ１０１は読み出された符号化された動画データと符号化された音声データとを、ＲＡＭ１０２にバッファする。そして、ＣＰＵ１０１は、符号化された動画データを復号するように符号化復号化処理部１３０を制御する。また、ＣＰＵ１０１は、符号化された音声データを復号するように音声処理部１２１を制御する。

そして、ＣＰＵ１０１は、符号化復号化処理部１３０によって復号された動画データの各フレームデータを表示制御部１４１に送り、表示部１４０に各フレームの画像を表示させる。また、音声処理部１２１で、復号された音声データをスピーカユニット１２２に送信し、音声データに対応する音声を出力させる。

以上のように、本実施例の撮像装置１００は、再生モードにおいて動画ファイルを再生して、動画ファイルの動画データに基づく画像を表示部１４０に表示する。

＜符号化復号化処理部１３０の構成＞
ここで、本実施例の符号化復号化処理部１３０の詳細な構成について説明する。

符号化復号化処理部１３０における符号化動作は、大符号化ユニット単位に分割して実行する。この大符号化ユニットはサイズは、輝度成分換算で、６４画素×６４画素、３２画素×３２画素、１６画素×１６画素のいずれかであり、符号化復号化処理部１３０が符号化開始時に選択することができる。なお、大符号化ユニットに対する予測、変換、量子化、エントロピー符号化などの処理は、符号化ブロック単位で行う。符号化ブロックは、輝度成分の大符号化ユニット、色差成分の大符号化ユニットを階層的に四分木分割（ｑｕａｄｔｒｅｅ ｐａｒｔｉｔｉｏｎｉｎｇ）を行ったものである。

また、本実施例において、フレーム内予測符号化をイントラ符号化、フレーム間予測符号化をインター符号化と呼ぶこともある。イントラ符号化、インター符号化共に、予測差分画像に対する変換、量子化処理を行う。この処理単位は、符号化ブロックと同じサイズまたはそれよりも小さいサイズで行われる。また、イントラ符号化、インター符号化共に、予測処理を行う。この処理単位は、符号化ブロックと同じサイズまたはそれよりも小さいサイズで行われる。

図２は、本実施例の符号化復号化処理部１３０の特に、符号化のための構成を示す図である。図２に示すように、本実施例の符号化復号化処理部１３０は、ブロック分割部２０１、加算器２０２、直交変換部２０３、量子化部２０４、エントロピー符号化部２０５、符号量制御部２０６を有する。また、逆量子化部２１１、逆直交変換部２１２、加算器２１３、ループフィルタ２１４、フレームメモリ２１５を有する。動き検出部２２１、動き補償部２２２、イントラ予測部２２３、スイッチ２３１を有する。

ブロック分割部２０１は、入力されたデジタル画像信号を符号化ブロックに分割する。なお、前述したように、符号化ブロックは、大符号化ユニットを分割した単位であり、大符号化ユニットのサイズは、別途画像の複雑度や撮像装置１００の撮影モード等に応じて決定されるものである。ブロック分割部２０１は、大符号化ユニットのサイズと同じサイズまたはそれよりも小さいサイズの符号化ブロックにデジタル画像信号を分割する。すなわち、大符号化ユニットのサイズが６４画素×６４画素であれば、６４画素×６４画素から８画素×８画素までのサイズのいずれかのサイズに分割する。なお、この先、輝度成分、色差成分は、別々に符号化されるが、動作はほぼ同じであるため、輝度成分についての説明を行う。

加算器２０２は、ブロック分割部２０１で、符号化ブロック単位に分割された画像と、イントラ予測部２２３または動き補償部２２２で生成された予測画像との差分画像を生成する。直交変換部２０３は、加算器２０２で生成された、差分画像に対して直交変換を行う。具体的には、離散コサイン変換（ＤＣＴ変換）および／または離散サイン変換（ＤＳＴ変換）を行う。なお、直交変換部２０３は、符号化ブロック単位の画像をさらに分割した単位で直交変換することもできる。量子化部２０４は、直交変換部２０３の直交変換により生成された変換係数を、符号量制御部２０６により指定された量子化パラメータを用いて量子化する。

エントロピー符号化部２０５は、量子化部２０４で量子化された変換係数、及び、動きベクトル、予測モード等、符号化過程で生じる符号化パラメータを取得し、これらのデータに対して、エントロピー符号化処理を行う。具体的には、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）を用いて算術符号化を行う。エントロピー符号化された情報は、ＣＰＵ１０１の制御のもと、ＲＡＭ１０２に順次蓄積されていく。また、エントロピー符号化された情報の符号量についての情報を符号量制御部２０６に送信する。符号量制御部２０６は、エントロピー符号化部２０５より受信した符号量の情報に基づいて、たとえば１フレームの画像の符号量が所定の符号量以内に収まるように、量子化部２０４の量子化パラメータを決定する。すなわち、符号化ブロック単位の画像に対応する符号量を積算し、目標としている所定の符号量を超えそうな場合には、量子化ステップが大きくなるように所定の符号量を大きく下回りそうな場合は、量子化ステップが小さくなるようにそれぞれ量子化パラメータを決定する。

このように、符号化復号化処理部１３０は、符号化ブロック単位で符号化された情報を順次生成し、ＣＰＵ１０１は、ＲＡＭ１０２に、符号化ブロック単位の符号化された情報を蓄積していく。

一方、符号化した符号化ブロックより後に符号化する別の符号化ブロックの符号化に用いる画像を生成するために、符号化復号化処理部１３０はさらに以下の構成が以下の動作を行う。

逆量子化部２１１は、量子化部２０４で量子化された変換係数を、量子化部２０４で用いられた量子化パラメータに基づいて逆量子化する。逆直交変換部２１２は、逆量子化部２１１により逆量子化された変換係数を逆直交変換する。具体的には、逆離散コサイン変換（ＩＤＣＴ変換）および／または逆離散サイン変換（ＩＤＳＴ変換）を行う。当然、離散コサイン変換された変換係数には逆離散コサイン変換を行い、離散サイン変換された変換係数には逆離散サイン変換を行う。逆直交変換により生成される画像は、実質的に加算器２０２の出力である差分画像に相当するが、量子化、逆量子化により情報に差が生じている状態である。加算器２１３は、逆直交変換部２１２で生成された差分画像と、イントラ予測部２２３または動き補償部２２２により生成された予測画像を加算する。これにより局所的に復号化された画像（ローカルデコード画像）が生成される。なお、加算器２１３で生成されたローカルデコード画像は、ループフィルタ２１４および、イントラ予測部２２３に送信される。

ループフィルタ２１４は、ローカルデコード画像の予測の処理単位もしくは、変換・量子化の処理単位でフィルタ処理を施し、ブロックノイズを除去し、参照画像として使用されるローカルデコード画像の品質を向上させるものである。すなわち、いわゆるデブロッキングフィルタ処理が施される。また、さらに、フィルタを施したローカルデコード画像に対して、信号波形の歪みを補正するためのＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）処理がさらに施される。フィルタ処理後のローカルデコード画像はフレームメモリ２１５に格納される。

フレームメモリ２１５は、ループフィルタ２１４で画質補正されたローカルデコード画像を保存するメモリである。このメモリは、ＲＡＭ１０２と同じメモリであってもよいし、符号化用に別途設けられたメモリであってもよい。フレームメモリ２１５に保存されているローカルデコード画像は、以下の説明のフレーム間予測時に参照画像として使用される。なお、前述したように動き検出部２２１および動き補償部２２２、イントラ予測部２２３の予測の単位は、符号化ブロックそのままのサイズまたは、符号化ブロックをさらに分割した単位で行われる。

動き検出部２２１は、フレーム間予測符号化（インター符号化）を行う際に使用される。動き検出部２２１は、フレームメモリ２１５に格納されたローカルデコード画像のうち、ブロック分割部２０１で分割された符号化ブロックの画像の予測単位の画像と、類似度の高い位置をブロックマッチング法等により特定する。この位置を、符号化ブロックの予測単位ごとに特定し、符号化対象画像からの移動量を検出する。この移動量が動きベクトルである。検出された動きベクトルは、エントロピー符号化部２０５および、動き補償部２２２に送信される。動き補償部２２２は、フレームメモリ２１５に格納されたローカルデコード画像の、動き検出部２２１で検出された動きベクトルにより示される画像を予測画像として、スイッチ２２４に送信する。この予測画像も予測の単位で生成して、スイッチ２２４に送信される。

フレーム間予測符号化を行う場合には、この後、スイッチ２２４に入力された予測画像と、符号化ブロックの画像との差分は、前述した加算器２０２で生成され、前述の手順で直交変換、量子化エントロピー符号化が行われることになる。また、量子化された画像は再び逆量子化、逆直交変換を経て、スイッチ２２４から出力された予測画像と加算器２１３において加算されて、ローカルデコード画像となり、ループフィルタ２１４を通過後にフレームメモリに格納される。これを繰り返すことで、他のフレームの符号化ブロックのフレーム間予測符号化の際に、ローカルデコード画像を用いることができる。なお、符号化対象フレームの別のスライスのフレーム内間予測符号化に用いられるため、ループフィルタ２１４を通過する前のローカルデコード画像は、イントラ予測部２２３にも送信される。

一方、イントラ予測部２２３は、フレーム内予測符号化（イントラ符号化）を行う際に使用される。イントラ予測部２２３は、加算器２１３で生成されたループフィルタ２１４を通していないローカルデコード画像と、符号化ブロックの画像を取得する。そして、符号化ブロックの予測単位でフレーム内予測を行い、予測画像を生成してスイッチ２２４に送信する。フレーム内予測では、予測単位のブロックを、その予測単位のブロックの左下、左、上、右上の画素を参照として、予測画像の生成を行う。予測画像は、入力された符号化ブロック単位の画像と、ローカルデコード画像を複数の予測モードに基づいて生成した予測画像との差が小さいものになるように、予測モードを決定することで生成される。イントラ予測部２２３で決定された予測モードについての情報は、エントロピー符号化部２０５に送信され、生成された予測画像は、スイッチ２２４に送信される。

フレーム内予測符号化を行う場合には、この後、スイッチ２２４に入力された予測画像と、符号化ブロックの画像との差分は、前述した加算器２０２で生成され、前述の手順で直交変換、量子化エントロピー符号化が行われることになる。また、量子化された画像は再び逆量子化、逆直交変換を経て、スイッチ２２４から出力された予測画像と加算器２１３において加算されて、ローカルデコード画像となり、イントラ予測部２２３に送信される。これを繰り返すことで、同じフレームの別の符号化ブロックのフレーム内予測符号化の際に、ローカルデコード画像を用いることができる。なお、別のフレームのフレーム間予測符号化に用いられるため、ローカルデコード画像は、ループフィルタ２１４を通過後にフレームメモリにも格納される。

次に、スイッチ２２４は、前述したようにイントラ予測部２２３、動き補償部２２２から送信された予測画像を、符号化ブロックの符号化方式に合わせて選択する。符号化ブロックがフレーム間予測符号化（インター符号化）される場合には、動き補償部２２２の出力を選択し、フレーム内予測符号化（イントラ符号化）される場合には、イントラ予測部２２３の出力を選択する。

このような構成により、本実施例の符号化復号化部１３０は、入力された画像信号を、動画として符号化したり、静止画として符号化したりすることができる。なお、静止画として符号化を行う場合には、前述したフレーム間予測符号化は用いずに、フレーム内予測符号化を用いる。

＜符号化処理＞
続いて、本実施例の符号化復号化部１３０における、動画としての符号化、静止画としての符号化の動作について説明する。

まず、ＲＡＭ１０２に記録された画像信号の動画として符号化する場合の動作について説明する。この場合、符号化復号化部１３０は、撮像部１１０により得られた画像信号に対してフレーム内予測符号化処理および／またはフレーム間予測符号化処理をする。

フレーム内予測符号化処理する場合は、ブロック分割部２０１において、画像信号を符号化ブロック単位に分割する。次に、加算器２０２において、ブロック分割部２０１で分割された符号化ブロック単位の画像とイントラ予測部２２３で生成された予測画像との差分画像を生成する。次に、直交変換部２０３において、加算器２０２で生成された差分画像を直交変換する。次に、量子化部２０４において、直交変換部２０３で生成された変換係数を、量子化制御部２０６により指定された量子化パラメータを用いて量子化する。次に、エントロピー符号化部２０５において、量子化された変換係数を算術符号化する。そして、エントロピー符号化部２０５の出力を、ＲＡＭ１０２に格納させる。一方で、量子化部２０４で生成された量子化された変換係数は、逆量子化部２１１に入力される。逆量子化部２１１においては、量子化された変換係数を量子化部２０４で使用した量子化パラメータを用いて逆量子化する。次に、逆直交変換部２１２において、逆量子化部２１１の出力である変換係数を逆直交変換して、差分画像（逆量子化後）を生成する。次に、加算器２１３で、イントラ予測部２２３で生成された予測画像を加算して、局所的に復号化された画像（ローカルデコード画像）を生成する。加算器２１３で生成されたローカルデコード画像は、ループフィルタ２１４及び、イントラ予測部２２３に入力される。イントラ予測部２２３においては、加算器２１３から入力されたローカルデコード画像とブロック分割部２０１から入力された符号化ブロック単位の画像とを比較して、ローカルデコード画像に基づく予測画像を生成するための予測モードを決定する。そして、決定された予測モードに従って生成された予測画像をスイッチ２２４に出力する。一方、ループフィルタ２１４においては、加算器２１３から入力されたローカルデコード画像に対して、デブロッキングフィルタ処理および、ＳＡＯ処理を施し、フレームメモリ２１５に格納する。今回は、フレーム内予測符号化する場合について説明しているので、スイッチ２２４は、イントラ予測部２２３の出力を選択して、加算器２０２に送信している。加算器２０２は、ブロック分割部２０１から入力された符号化ブロック単位の画像との差分画像を生成する。以上の処理を、フレーム内予測符号化処理する際には、繰り返し実行する。なお、エントロピー符号化部２０５から出力され、ＲＡＭ１０２に格納された符号化済みの符号化ブロック単位の画像に対応するデータは、記録再生部１５０によって、順次記録媒体１５１に動画データの１フレームの画像として記録される。

フレーム間予測符号化処理する場合は、ブロック分割部２０１において、画像信号を符号化ブロック単位に分割する。次に、加算器２０２において、ブロック分割部２０１で分割された符号化ブロック単位の画像とイントラ予測部２２３で生成された予測画像との差分画像を生成する。次に、直交変換部２０３において、加算器２０２で生成された差分画像を直交変換する。次に、量子化部２０４において、直交変換部２０３で生成された変換係数を、量子化制御部２０６により指定された量子化パラメータを用いて量子化する。次に、エントロピー符号化部２０５において、量子化された変換係数を算術符号化する。そして、エントロピー符号化部２０５の出力を、ＲＡＭ１０２に格納させる。一方で、量子化部２０４で生成された量子化された変換係数は、逆量子化部２１１に入力される。逆量子化部２１１においては、量子化された変換係数を量子化部２０４で使用した量子化パラメータを用いて逆量子化する。次に、逆直交変換部２１２において、逆量子化部２１１の出力である変換係数を逆直交変換して、差分画像（逆量子化後）を生成する。次に、加算器２１３で、動き補償部２２２で生成された予測画像を加算して、局所的に復号化された画像（ローカルデコード画像）を生成する。加算器２１３で生成されたローカルデコード画像は、ループフィルタ２１４に入力される。次に、ループフィルタ２１４においては、加算器２１３から入力されたローカルデコード画像に対して、デブロッキングフィルタ処理および、ＳＡＯ処理を施し、フレームメモリ２１５に格納する。次に、動き検出部２２１において、ブロック分割部２０１から入力された符号化ブロック単位の画像に対応する、フレームメモリ２１５に格納されたローカルデコード画像を比較して、動きベクトルを検出する。次に、動き補償部２２２において、動き検出部２２１において検出された動きベクトルに対応するフレームメモリ２１５に格納された画像を予測画像としてスイッチ２２４に出力する。今回は、フレーム間予測符号化する場合について説明しているので、スイッチ２２４は、動き補償部２２２の出力を選択して、加算器２０２に送信している。加算器２０２は、ブロック分割部２０１から入力された符号化ブロック単位の画像との差分画像を生成する。以上の処理を、フレーム間予測符号化処理する際には、繰り返し実行する。なお、エントロピー符号化部２０５から出力され、ＲＡＭ１０２に格納された符号化済みの符号化ブロック単位の画像に対応するデータは、記録再生部１５０によって、順次記録媒体１５１に動画データの１フレームの画像として記録される。

次に、ＲＡＭ１０２に記録された画像信号の静止画として符号化する場合の動作について説明する。この場合、符号化復号化部１３０は、撮像部１１０により得られた画像信号をフレーム内予測符号化処理する。

ブロック分割部２０１において、画像信号を符号化ブロック単位に分割する。次に、加算器２０２において、ブロック分割部２０１で分割された符号化ブロック単位の画像とイントラ予測部２２３で生成された予測画像との差分画像を生成する。次に、直交変換部２０３において、加算器２０２で生成された差分画像を直交変換する。次に、量子化部２０４において、直交変換部２０３で生成された変換係数を、量子化制御部２０６により指定された量子化パラメータを用いて量子化する。次に、エントロピー符号化部２０５において、量子化された変換係数を算術符号化する。そして、エントロピー符号化部２０５の出力を、ＲＡＭ１０２に格納させる。一方で、量子化部２０４で生成された量子化された変換係数は、逆量子化部２１１に入力される。逆量子化部２１１においては、量子化された変換係数を量子化部２０４で使用した量子化パラメータを用いて逆量子化する。次に、逆直交変換部２１２において、逆量子化部２１１の出力である変換係数を逆直交変換して、差分画像（逆量子化後）を生成する。次に、加算器２１３で、イントラ予測部２２３で生成された予測画像を加算して、局所的に復号化された画像（ローカルデコード画像）を生成する。静止画として符号化する場合には、フレーム間予測符号化を行わないので、ループフィルタ２１４、動き検出部２２１、動き補償部２２２は動作させない。一方で、イントラ予測部２２３は動作させる。すなわち、加算器２１３で生成されたローカルデコード画像は、イントラ予測部２２３に入力される。イントラ予測部２２３においては、加算器２１３から入力されたローカルデコード画像とブロック分割部２０１から入力された符号化ブロック単位の画像とを比較して、ローカルデコード画像に基づく予測画像を生成するための予測モードを決定する。そして、決定された予測モードに従って生成された予測画像をスイッチ２２４に出力する。スイッチ２２４は、イントラ予測部２２３で生成された予測画像を加算器２０２に出力し、加算器２０２は、ブロック分割部２０１から入力された符号化ブロック単位の画像との差分画像を生成する。以上の処理を、画像信号を静止画として符号化する際には繰り返し実行する。なお、エントロピー符号化部２０５から出力され、ＲＡＭ１０２に格納された符号化済みの符号化ブロック単位の画像に対応するデータは、記録再生部１５０によって、順次記録媒体１５１に静止画データとして記録される。

なお、本実施例の撮像装置は、動画記録モードにおいて、動画記録開始の指示があると、撮像部１１０で撮像された画像を動画として符号化するとともに、動画記録開始の指示に対応する画像を静止画として符号化する。

このとき静止画として符号化する画像に対して、画像処理部１１１において、以下のような処理を行う。

たとえば、撮像された画像がＲＧＢ信号であり、動画として符号化する際にもＲＧＢ信号の状態で符号化を行う場合、静止画として符号化する画像についてはＹＵＶ信号に変換する。すなわち、動画として符号化する画像信号を静止画として符号化する場合には、画像処理部は、ＲＧＢ信号の画像信号をＹＵＶ信号に変換することがある。なお、ＲＡＭ１０２に格納された画像信号がＹＵＶ信号であれば変換しなくてもよい。また、撮像された画像信号が、ＲＧＢ信号からＹＵＶ信号の４：４：４フォーマットに変換されており、動画として符号化も４：４：４フォーマットで行う場合、静止画として符号化する画像信号については、４：２：０フォーマットに変換する。なお、ＹＵＶ信号の画像信号が４：２：２である場合にも、静止画として符号化する画像信号については、４：２：０フォーマットに変換する。すなわち、動画として符号化する画像信号を静止画として符号化する場合には、画像処理部１１１は、ＹＵＶフォーマットを変換することがある。なお、ＲＡＭ１０２に格納された画像信号が４：２：０フォーマットあれば変換しなくてもよい。言い換えれば、静止画として符号化する際には、動画として符号化する画像を異なるＹＵＶフォーマットに変換することがある。なお、ＹＵＶフォーマットの４：４：４フォーマット、４：２：０フォーマットは、輝度成分と色差成分の割合を示すものである。

また、ＲＡＭ１０２に格納された画像信号の輝度成分が８ｂｉｔを超えるビット深度の画像である場合には、符号化復号化部１３０に入力する前に、輝度成分を８ｂｉｔの画像に変換する。また、ＲＡＭ１０２に格納された画像信号の色差成分が８ｂｉｔを超えるビット深度の画像である場合には、符号化復号化部１３０に入力する前に、色差成分を８ｂｉｔの画像に変換する。すなわち、動画として符号化する画像信号を静止画として符号化する場合には、画像処理部１１１は、輝度成分、色差成分それぞれのビット深度を変換することがある。なお、ＲＡＭ１０２に格納された画像信号が輝度成分、色差成分ともに８ｂｉｔのビット深度であれば変換しなくてもよい。言い換えれば、静止画として符号化する際には、動画として符号化する画像を異なるビット深度の画像に変換することがある。

また、このとき静止画として符号化する画像に対して、符号化復号化部１３０においても、以下のような処理を行う。

復号化バッファの最大サイズが所定のサイズ以下で済むように、フレーム内予測符号化を行う場合に、符号量を所定の値より小さい値になるように量子化ステップ等を調節する。すなわち、動画として符号化するときには、フレーム内予測符号化された画像１画面分の符号量が前述の所定の値よりも小さくなるようにしなくてもよいが、静止画として符号化するときには、符号量が前述の所定の値よりも小さくなるようにする。たとえば動画に比べて量子化ステップを大きくするなどすることにより、符号量を抑える。

また、前述の大符号化ユニットのサイズを輝度換算で、６４画素×６４画素、３２画素×３２画素、１６画素×１６画素のいずれかの間に設定する。すなわち、動画として符号化する際に、大符号化ユニットのサイズがこれ以外のサイズであった場合であっても、静止画として符号化する際には、これらのサイズに設定することを示す。

また、画像を複数の領域（タイル）に分割して符号化する場合には、一つの分割領域の水平方向の幅を２５６以上、垂直方向の高さを６４以上に設定する。すなわち、動画として符号化する際には、利用方法に応じて、分割符号化するときに、水平方向の幅を２５６未満、垂直方向の高さを６４未満にすることがある。一方で、静止画として符号化する際には、少なくとも一つの分割領域の水平方向の幅を２５６以上、垂直方向の高さを６４以上に設定する。

また、エントロピー符号化で用いる、コンテキスト変数について、動画として符号化を行う時には、最初の大符号化ユニットで用いられるコンテキスト変数を規定することがあるが、静止画として符号化する場合には、これを規定しないようにしてもよい。なお、コンテキスト変数については、静止画として符号化する場合に規定しても構わない。また、動画として符号化する場合には、直前の大符号化ユニットで用いられたコンテキスト変数を、次の大符号化ユニットを復号する際に参照して復号することがある。一方で、静止画として符号化する場合には、直前の大符号化ユニットで用いられたコンテキスト変数を、次の大符号化ユニットを復号する際に参照しなくても復号ができるようにしてもよい。

＜符号化手順＞
次に、撮像部１１０により撮像された画像の符号化について、得られたデジタル画像信号の順番に注目して説明を行う。本実施例の撮像装置１００は、前述したように、動画撮影モードにおいて、撮像した画像の一部の画像を静止画データとして符号化を行うとともに、撮像した画像を動画データとしても符号化を行う。この手順について説明する。

図３は、撮像部１１０により撮像された画像の符号化復号化部１３０への入力順と、符号化順を示した図である。図３Ａは、撮像部１１０により得られた画像の順番を示すものであり、図３Ｂは、各フレームの符号化順を示している。なお、図３において、時刻Ｔ０は、動画記録開始の指示が入力されたタイミングを、時刻Ｔ１は、動画の符号化が開始されるタイミングを、それぞれ示している。

図３Ａに示すように、撮像部１１０により撮像された画像の入力順は、３０１、３０２、３０３、・・・という順である。一方、符号化復号化処理部１３０において動画データとして符号化される順番は、図３Ｂに示すように３０３、３０１、３０２、の順番である。これは、３０３に対応する画像がフレーム内符号化され、３０３の符号化済みの画像に基づいて、３０１がフレーム間予測符号化され、また、３０２も、３０３及び３０１の符号化済みの画像に基づいてフレーム間予測符号化されるためである。図３における、Ｉ、Ｐ、Ｂは、それぞれフレームの符号化タイプを示しており、Ｉはフレーム内予測符号化される画像を示し、Ｐはフレーム間予測符号化される画像の中でも、前方予測符号化される画像を示し、Ｂは、フレーム間予測符号化される画像の中でも、双方向予測符号化される画像を示す。

本実施例の符号化復号化部１３０は、動画記録開始の指示が入力された時刻Ｔ０から画像３０３が取得される時刻Ｔ１の間、動画データとしての符号化は行わないが、画像３０１をフレーム内予測符号化により静止画として符号化する。このとき、符号化復号化部１３０は、画像３０１または画像３０２をフレーム内予測符号化を実行する。符号化復号化部１３０で符号化された静止画データは、記録再生部１５０により記録媒体１５１に記録される。このときの静止画データは、動画ファイルの一部として記録されてもよいし、静止画ファイルとして、この後に符号化される動画データとは別のファイルとして記録媒体１５１に記録されてもよい。

このような手順で符号化を行うための動作を図４のフロー図を用いて説明する。

図４のフロー図は、動画記録モードに設定されたときをスタートとするフロー図であり、ＣＰＵ１０１がＲＡＭ１０２に展開したプログラムに基づいて、撮像装置１００の各ブロックを制御することにより、実行される処理である。

（Ｓ４０１）
ＣＰＵ１０１は、動画記録モードに設定されると、まず、動画記録モードの終了が指示されていないかを判定する。すなわち、ＣＰＵ１０１は、操作部１０４のスイッチを確認し、動画記録モード以外のモードに設定されていないか、または別の操作が入力されていないかを判定し、動画記録モードの終了が指示されているか否かを判定する。ここで、動画記録モードの終了が指示されていた場合（Ｓ４０１でＹｅｓ）は、図４のフロー図に示す処理を終了する。一方、動画記録モードの終了が指示されていない場合（Ｓ４０１でＮｏ）は、処理をＳ４１１に移行する。

（Ｓ４１１）
次に、ＣＰＵ１０１は、操作部１０４のスイッチ操作により記録開始の指示が入力されたかを判定する。ここで、記録開始の指示が入力されていない場合（Ｓ４１１でＮｏ）は、処理をＳ４０１に移行する。一方、記録開始の指示が入力されている場合（Ｓ４１１でＹｅｓ）は、処理をＳ４２１に移行する。

（Ｓ４２１）
次に、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号を画像処理部１１１に処理させ、その後、符号化対象の画像として、ＲＡＭ１０２に記憶させる。

（Ｓ４２２）
次に、ＣＰＵ１０１はＲＡＭ１０２に記憶された画像が、Ｓ４１１の記録開始の指示から１フレーム目の画像であるかを判定する。すなわち、図３で示す画像３０１に相当する画像であるか否かを判定する。ここで、Ｓ４１１の記録開始の指示から１フレーム目の画像であると判定した場合（Ｓ４２２でＹｅｓ）は、処理をＳ４２３に移行する。一方、Ｓ４１１の記録開始の指示から１フレーム目の画像でないと判定した場合（Ｓ４２２でＮｏ）は、処理をＳ４３１に移行する。

（Ｓ４２３）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された画像を静止画用のフォーマットに変換するように、画像処理部１１１を制御する。変換については前述したように、たとえばＹＵＶ信号の４：２：０フォーマットへの変換、輝度成分のビット深度を８ｂｉｔにする変換、色差成分のビット深度を８ｂｉｔにする変換等が含まれる。そして、変換された画像を、静止画として符号化するように符号化復号化部１３０を制御する。具体的には、符号化復号化部１３０に、入力画像をフレーム内予測符号化データとして符号化させる。このときも、前述したように、符号化復号化部１３０において、符号量が所定の値よりも小さくなるように量子化ステップサイズを設定したり、大符号化ユニットのサイズが所定のサイズになるように設定したりする。そして、ＣＰＵ１０１は、符号化復号化部１３０で符号化された静止画データを、記録再生部１５０により記録媒体１５１へ記録させる。この処理が終了すると、再び、処理をＳ４２１に移行させる。

（Ｓ４３１）
一方、Ｓ４２２で、ＲＡＭ１０２に記憶された符号化対象の画像が、Ｓ４１１の記録開始の指示から１フレーム目の画像でないと判定した場合（Ｓ４２２でＮｏ）は、以下の処理を行う。ＣＰＵ１０１は、ＲＡＭ１０２に記憶された符号化対象の画像が、Ｓ４１１の記録開始の指示から３フレーム目以降の画像であるかを判定する。すなわち図３で示す画像３０３以降に撮影された画像であるか否かを判定する。ここで、Ｓ４１１の記録開始の指示から３フレーム目以降の画像でないと判定した場合（Ｓ４３１でＮｏ）、処理をＳ４２１に移行する。一方、Ｓ４１１の記録開始の指示から３フレーム目以降の画像であると判定した場合（Ｓ４３１でＹｅｓ）、処理をＳ４３２に移行する。なお、ここで、３フレーム目以降であるかを判定基準としたが、これは動画の符号化手順に応じて４フレーム目、５フレーム目を判定基準としても構わない。

（Ｓ４３２）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された画像を動画として符号化するように符号化復号化部１３０を制御する。具体的には、符号化復号化部１３０に、入力画像をフレーム内予測符号化及びフレーム間予測符号化を用いて符号化させる。そして、ＣＰＵ１０１は、符号化復号化部１３０で符号化された動画データを、記録再生部１５０により記録媒体１５１へ記録させる。

（Ｓ４３３）
次に、ＣＰＵ１０１は、操作部１０４のスイッチ操作により撮影終了の指示が入力されたかを判定する。ここで、記録開始の指示が入力されている場合（Ｓ４３３でＹｅｓ）は、処理をＳ４１１に移行する。一方、撮影終了の指示が入力されていない場合（Ｓ４３３でＮｏ）は、処理をＳ４２１に移行する。すなわち、撮影終了の指示が入力されるまではＳ４２１からＳ４３３の処理を繰り返し行うことで、撮像された画像を順次動画データとして符号化して記録媒体に記録させることができる。

以上、図４のフロー図を用いて説明したように、本実施例の撮像装置１００は、動画撮影モードにおいて、符号化復号化部１３０に、所定のフレームの画像を静止画データとして符号化することができる。また、それ以降に撮影されたフレームについても、動画データとして符号化することができる。

以上説明したように、本実施例の撮像装置１００は、動画を符号化する符号化復号化部１３０において、入力された画像を動画データとして符号化するだけでなく、静止画データとして符号化することができる。そのため、たとえば装置の回路規模増大を抑制することができ、動画データと静止画データを生成することができる。

また、本実施例の撮像装置１００は、動画記録モードにおいて、入力された画像の所定のフレームの画像信号を、静止画として符号化して、記録媒体に記録することができる。また、この静止画として符号化した静止画データを静止画ファイルとして記録媒体に記録することができる。また、この静止画として符号化した静止画データを以降に動画として符号化した動画データを格納する動画ファイルに含める形で記録媒体に記録することができる。

また、本実施例の撮像装置１００は、動画として符号化する画像のフォーマットやビット深度を所定の形式に変換してから静止画として符号化を行う。そのため、たとえば、汎用的な機器での静止画の再生が可能となる。

また、本実施例の撮像装置１００は、静止画として符号化した静止画データを単体で静止画ファイルとして記録媒体に記録したり、または、動画ファイルに含めて記録したりしていた。しかし、たとえば、動画ファイルに含めて記録する場合にはサムネイル画像として静止画データを格納してもよい。このときは画像を静止画として符号化する前に、さらに画像の縮小処理をしてもよい。この縮小処理は、画像のトリミングも含む。また、縮小した際に、画像の縦サイズ及び横サイズを符号化復号化部１３０における大符号化ユニットの縦サイズの整数倍、横サイズの整数倍としてもよい。

また、本実施例の撮像装置１００は、動画記録モードにおいて、最初の１フレームまたは所定フレームをフレーム内予測符号化して静止画データとしている。このときに静止画データとして符号化したフレーム内予測符号化の結果の符号量の情報に基づいて、動画の符号化の最初の量子化パラメータを設定してもよい。また、静止画データとして符号化したときのイントラ予測部２２３の画面上の座標と、選択された予測モードの情報に基づいて、動画の符号化の最初のフレーム内予測符号化されるフレームのイントラ予測における予測モードを選択してもよい。これにより、動画の符号化開始時の処理が高速化され、処理遅延が起きる可能性を低減することができる。すなわち、動画記録モードにおいて、記録開始の指示から所定フレーム以内の画像を静止画として符号化し、静止画として符号化したときの符号化パラメータまたは符号量に基づいて、動画の符号化における符号化パラメータを設定してもよい。

（実施例２）
実施例２では、実施例１の動画記録モードにおける、動画の符号化方式と、静止画として符号化された符号化データの格納方法にさらに特徴的なものとした撮像装置について説明する。なお、本実施例の撮像装置の基本的な構成は図１に示す撮像装置１００と同様であり、また、符号化復号化部１３０の構成も図２に示すものと同様であるため、説明を割愛する。

実施例２においては、画像信号を動画として符号化する際に、各フレームの画像データを階層的に符号化する階層符号化を行う。階層符号化された動画データは、たとえば、基本階層、拡張階層１、拡張階層２からなり、基本階層のみを復号すると１５フレーム毎秒の動画を表示することができる。さらに、基本階層と拡張階層１を復号すると、３０フレーム毎秒の動画を表示することができる。また、基本階層と拡張階層１と拡張階層２を復号すると、６０フレーム毎秒の動画を表示することができる。ここで、動画データはフレーム間予測符号化されているが、各階層の画像は、復号対象の階層と同じまたはそれよりも下位階層を参照し、それよりも上位階層を参照しないように符号化されている。なお、フレーム間予測符号化、及びフレーム内予測符号化の手法については実施例１と変わらない。実施例２の符号化復号化部１３０は、このように画像を動画として符号化する。階層を示す情報は、符号化された各フレームの画像のたとえば、スライスヘッダまたはＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ヘッダに格納される。

ここで、実施例２の動画記録モードにおける動作を説明する。実施例２の動画記録モードにおいては、符号化された静止画データと、符号化された動画データを同じ動画ファイル内に格納する。

動画記録開始の指示があると、ＣＰＵ１０１は、撮像部１１０により得られたデジタル画像信号を画像処理部１１１に処理させ、その後、符号化対象の画像として、ＲＡＭ１０２に記憶させる。次にＣＰＵ１０１はＲＡＭ１０２に記憶された画像が、記録開始の指示から１フレーム目の画像であれば（図３で示す画像３０１に相当する画像）、ＲＡＭ１０２に記憶された画像を静止画として符号化するように符号化復号化部１３０を制御する。具体的には、符号化復号化部１３０に、入力画像をフレーム内予測符号化データとして符号化させる。実施例２では、このとき、符号化後の動画データの含まれる階層とは別の階層を示す情報を静止画データのスライスヘッダまたはＮＡＬヘッダに格納する。そして、ＣＰＵ１０１は、符号化復号化部１３０で符号化された静止画データを、記録再生部１５０により記録媒体１５１へ記録させる。

次に、記録開始の指示から３フレーム目以降の画像がＲＡＭ１０２に格納されると、ＣＰＵ１０１は、ＲＡＭ１０２に記憶された画像を動画として符号化するように符号化復号化部１３０を制御する。具体的には、符号化復号化部１３０に、入力画像をフレーム内予測符号化及びフレーム間予測符号化を用いて符号化させる。実施例２では、このとき、符号化後の静止画データの含まれる階層とは別の階層を示す情報を、符号化済みの各フレームの動画データのスライスヘッダまたはＮＡＬヘッダに格納する。そして、ＣＰＵ１０１は、符号化復号化部１３０で符号化された動画データを、記録再生部１５０により記録媒体１５１へ記録させる。

このように、実施例２では、動画記録モードにおいて記録された動画ファイル内に、符号化された静止画データと、符号化された動画データを格納する。そして、動画データを階層符号化するとともに、動画データの階層とは別の階層として、符号化された静止画データを格納することができる。たとえば、動画データは１から３階層までの３階層の階層符号化をした場合には、静止画データを４階層目以降の階層のデータとして格納する。

以上説明したように、本実施例の撮像装置１００は、動画を符号化する符号化復号化部１３０において、入力された画像を動画データとして符号化するだけでなく、静止画データとして符号化することができる。そのため、たとえば装置の回路規模増大を抑制することができ、動画データと静止画データを生成することができる。また、動画ファイル内の動画データの動画とは別の階層に静止画データを格納することができるので、復号する階層を選択するだけで、静止画の再生を行う場合と行わない場合を使い分けることができるので利便性が向上する。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (26)

1. 撮像手段と、
   前記撮像手段により得られた画像信号を処理する画像処理手段と、
   前記画像処理手段により処理された画像信号をフレーム内予測符号化処理及びフレーム間予測符号化処理を用いて符号化する符号化手段と、
   前記符号化手段により符号化された画像データを記録媒体に記録する記録手段と、
   制御手段とを有し、
   前記制御手段は、動画記録開始の指示が入力されたことに応じて、前記動画記録開始の指示に対応する特定のタイミングで前記撮像手段により得られた画像信号を静止画として符号化するとともに、前記撮像手段により得られた画像を動画として符号化するように前記符号化手段を制御し、
   前記制御手段は、前記静止画として符号化する場合は、前記動画として符号化する場合と異なるフォーマットになるように前記撮像手段により得られた画像信号を処理するように前記画像処理手段を制御するとともに、前記画像処理手段により処理された画像信号をフレーム間予測符号化処理を用いずに符号化するように前記符号化手段を制御することを特徴とする撮像装置。
2. 前記フォーマットとは、ＲＧＢフォーマットまたはＹＵＶフォーマットであることを特徴とする請求項１に記載の撮像装置。
3. 前記フォーマットとは、ＹＵＶのフォーマットのうち、輝度成分と色差成分の割合であることを特徴とする請求項１に記載の撮像装置。
4. 前記フォーマットとは、輝度成分または色差成分のビット深度であることを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記静止画として符号化する場合は、前記動画として符号化する場合と異なる符号化パラメータを用いて、前記画像処理手段により処理された画像信号を符号化することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記符号化パラメータとは、前記符号化手段における符号化ユニットのサイズであることを特徴とする請求項５に記載の撮像装置。
7. 前記符号化パラメータとは、前記画像処理手段により処理された画像信号を複数の領域に分割して符号化する場合の領域のサイズであることを特徴とする請求項５に記載の撮像装置。
8. 前記符号化手段は、前記静止画として符号化する場合は、前記画像処理手段により処理された画像信号をフレーム内予測符号化処理することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記符号化手段は、前記動画として符号化する場合は、前記画像処理手段により処理された画像信号をフレーム内予測符号化処理およびフレーム間予測符号化処理することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記符号化手段は、前記動画として符号化する場合は、前記符号化手段で量子化された画像を復号して得られた画像に対してデブロッキングフィルタ処理および／またはＳＡＯ処理を行うが、前記静止画として符号化する場合は、前記符号化手段で量子化された画像を復号して得られた画像に対してデブロッキングフィルタ処理およびＳＡＯ処理を行わないことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 撮像手段と、
    前記撮像手段により得られた画像信号をフレーム内予測符号化処理及びフレーム間予測符号化処理を用いて符号化する符号化手段と、
    前記符号化手段により符号化された画像データを記録媒体に記録する記録手段と、
    制御手段とを有し、
    前記制御手段は、動画記録開始の指示が入力されたことに応じて、前記動画記録開始の指示に対応する特定のタイミングで前記撮像手段により得られた画像信号を静止画として符号化するとともに、前記撮像手段により得られた画像を動画として符号化するように前記符号化手段を制御し、
    前記符号化手段は、前記動画として符号化する場合は、前記符号化手段で量子化された画像を復号して得られた画像に対してデブロッキングフィルタ処理およびＳＡＯ処理を行うが、前記静止画として符号化する場合は、前記符号化手段で量子化された画像を復号して得られた画像に対してデブロッキングフィルタ処理およびＳＡＯ処理を行わないことを特徴とする撮像装置。
12. 前記撮像手段により得られた画像を処理する画像処理手段を有し、
    前記画像処理手段は、前記静止画として符号化する画像を所定のフォーマットに変換することを特徴とする請求項１１記載の撮像装置。
13. 前記所定のフォーマットとは、ＹＵＶフォーマットであることを特徴とする請求項１２に記載の撮像装置。
14. 前記所定のフォーマットとは、ＹＵＶのフォーマットのうち、４：２：０フォーマットであることを特徴とする請求項１２に記載の撮像装置。
15. 前記所定のフォーマットとは、輝度成分または色差成分のビット深度が８ｂｉｔであることを特徴とする請求項１４に記載の撮像装置。
16. 前記制御手段は、前記静止画として符号化する場合は、所定の符号化パラメータを用いて、符号化することを特徴とする請求項１１から１５のいずれか１項に記載の撮像装置。
17. 前記所定の符号化パラメータとは、前記符号化手段における符号化ユニットのサイズであることを特徴とする請求項１６に記載の撮像装置。
18. 撮像装置の制御方法であって、
    撮像工程と、
    前記撮像工程で得られた画像信号を処理する画像処理工程と、
    前記画像処理工程で処理された画像信号をフレーム内予測符号化処理及びフレーム間予測符号化処理を用いて符号化する符号化工程と、
    前記符号化工程により符号化された画像データを記録媒体に記録する記録工程とを有し、
    前記符号化工程において、動画記録開始の指示が入力されたことに応じて、前記動画記録開始の指示に対応する特定のタイミングで前記撮像工程で得られた画像信号を静止画として符号化するとともに、前記撮像工程で得られた画像を動画として符号化するように制御し、
    前記画像処理工程において、前記静止画として符号化する場合は、前記動画として符号化する場合と異なるフォーマットになるように前記撮像工程で得られた画像信号を処理するように制御し、
    前記符号化工程において、前記画像処理工程で処理された画像信号をフレーム間予測符号化処理を用いずに符号化するように制御することを特徴とする撮像装置の制御方法。
19. 撮像装置の制御方法であって、
    撮像工程と、
    前記撮像工程で得られた画像信号をフレーム内予測符号化処理及びフレーム間予測符号化処理を用いて符号化する符号化工程と、
    前記圧縮符号化工程で符号化された画像データを記録媒体に記録する記録工程とを有し、
    前記符号化工程において、動画記録開始の指示が入力されたことに応じて、前記動画記録開始の指示に対応する特定のタイミングで前記撮像工程により得られた画像信号を静止画として符号化するとともに、前記撮像工程により得られた画像を動画として符号化するよう制御し、
    前記符号化工程において、前記動画として符号化する場合は、前記符号化工程で量子化された画像を復号して得られた画像に対してデブロッキングフィルタ処理およびＳＡＯ処理を行うが、前記静止画として符号化する場合は、前記符号化工程で量子化された画像を復号して得られた画像に対してデブロッキングフィルタ処理およびＳＡＯ処理を行わないように制御することを特徴とする撮像装置の制御方法。
20. 請求項１８または１９に記載の制御方法を、コンピュータに実行させるためのプログラム。
21. 撮像手段と、
    前記撮像手段により得られた画像信号を処理する画像処理手段と、
    前記画像処理手段により処理された画像信号をフレーム内予測符号化処理及びフレーム間予測符号化処理を用いて符号化する符号化手段と、
    前記符号化手段により符号化された画像データを記録媒体に記録する記録手段と、
    制御手段とを有し、
    前記制御手段は、動画記録開始の指示が入力されたことに応じて、前記動画記録開始の指示に対応する特定のタイミングで前記撮像手段により得られた画像信号を静止画として符号化するとともに、前記撮像手段により得られた画像を動画として符号化するように前記符号化手段を制御し、
    前記制御手段は、前記静止画として符号化する場合は、前記撮像手段により得られた画像信号を所定のフォーマットにする処理をするように前記画像処理手段を制御するとともに、前記画像処理手段により処理された画像信号をフレーム間予測符号化処理を用いずに符号化するように前記符号化手段を制御することを特徴とする撮像装置。
22. 前記所定のフォーマットとは、ＹＵＶフォーマットであることを特徴とする請求項２１に記載の撮像装置。
23. 前記所定のフォーマットとは、ＹＵＶのフォーマットの４：２：０フォーマットであることを特徴とする請求項２１に記載の撮像装置。
24. 前記所定のフォーマットとは、輝度成分または色差成分のビット深度が８ｂｉｔのフォーマットであることを特徴とする請求項２１に記載の撮像装置。
25. 撮像装置の制御方法であって、
    撮像工程と、
    前記撮像工程で得られた画像信号を処理する画像処理工程と、
    前記画像処理工程で処理された画像信号をフレーム内予測符号化処理及びフレーム間予測符号化処理を用いて符号化する符号化工程と、
    前記符号化工程により符号化された画像データを記録媒体に記録する記録工程とを有し、
    前記符号化工程において、動画記録開始の指示が入力されたことに応じて、前記動画記録開始の指示に対応する特定のタイミングで前記撮像工程で得られた画像信号を静止画として符号化するとともに、前記撮像工程で得られた画像を動画として符号化するように制御し、
    前記画像処理工程において、前記静止画として符号化する場合は、前記撮像工程で得られた画像信号を所定のフォーマットにする処理をするように制御し、
    前記符号化工程において、前記画像処理工程で処理された画像信号をフレーム間予測符号化処理を用いずに符号化するように制御することを特徴とする撮像装置の制御方法。
26. 請求項２５に記載の制御方法を、コンピュータに実行させるためのプログラム。

Images