JP2010035133A - 動画像符号化装置及び動画像符号化方法 - Google Patents

Abstract

【課題】複数の装置で動画像データを符号化する際に、編集に適した符号化画像データを生成する。
【解決手段】動画像符号化装置であって、被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化手段と、前記符号化手段で行われる符号化処理に係る設定を行う設定手段と、前記設定手段による設定情報を外部の動画像符号化装置に対して送信する送信手段と、前記外部の動画像符号化装置から送信された符号化処理に係る設定情報を受信する受信手段と、前記設定手段による第１の設定と、前記受信手段によって受信した設定情報に基づく第２の設定とに従って前記符号化手段で行われる符号化処理を制御する符号化制御手段とを備えることを特徴とする動画像符号化装置を提供する。
【選択図】図１０

Description

本発明は動画像符号化装置及びその方法に関し、特に、符号化ビットストリームを記録、再生、及び編集するために用いて好適な技術に関する。

画像データを高能率に符号化するための技術として、静止画像を圧縮符号化するＪＰＥＧ方式や、画像間の動き予測／動き補償技術を用いて動画像を圧縮符号化するＭＰＥＧ１及びＭＰＥＧ２といった符号化方式が確立されている。各メーカーは、これらの符号化方式を利用して画像データを記録媒体に記録可能としたデジタルカメラやデジタルビデオカメラといった撮像装置或いはＤＶＤレコーダなどを開発し製品化している。

それらの製品の中には、複数の撮像装置間において、撮影した静止画像データを無線通信等の技術を用いて送受信することにより、リアルタイムに共有できる製品もある。ユーザは、これらの装置を用いて、好みの被写体を撮影し、記録することができる。

一方、それらの製品の中には、撮像装置によって撮像された動画像に対して、所望の期間の動画像を切り出したり、他の動画像を繋ぎ合わせたりするといった、編集機能を備えたものもある。例えば、複数台の撮像装置で撮像された動画像を素材として編集を行うことにより、異なる撮像装置で記録された動画像を繋ぎ合わせた新たな動画像を作成することが可能となっている。

ところで、ディジタル化された動画像データは膨大なデータ量となる。そこで、前述したＭＰＥＧ１及びＭＰＥＧ２などよりも更なる高圧縮率が望める動画像データの符号化方式が研究され続けてきている。そして、近年、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）とＩＳＯ（国際標準化機構）とにより、Ｈ．２６４／ＭＰＥＧ−４ ｐａｒｔ１０という符号化方式（以下、「Ｈ．２６４」と称す）が標準化された。

ここで、Ｈ．２６４方式における符号化データの構成について、図１１及び図１２を参照しながら説明する。

なお、図１１（ａ）〜（ｃ）及び図１２（ａ）、（ｂ）は、符号化される動画像データを表わすピクチャ群（画像シーケンス）及び各ピクチャのピクチャタイプを表している。図１１（ａ）〜（ｃ）及び図１２（ａ）、（ｂ）において、上段が表示順序（左から順に表示）を示し、下段が符号化順序（左から順に符号化）を表わしている。

Ｈ．２６４方式における画像フレームのピクチャタイプは、同一フレーム内の情報のみから符号化するＩピクチャと、時間的に前のフレームとの差分を利用して符号化するＰピクチャとがある。更に、時間的に前のフレームとの差分に加えて時間的に後のフレームとの差分も利用できるＢピクチャがある。

例えば、図１１（ａ）において、Ｐ８ピクチャは９番目に表示されるＰピクチャのフレームであることを示している。また、図中の矢印は参照関係を示しており、例えば、図１１（ａ）に示した例では、Ｐ８ピクチャがＢ０ピクチャを参照していることを示す。また、図１１（ｂ）に示した例では、Ｂ０ピクチャがＰ２ピクチャとＢ７ピクチャとを参照していることを示す。

Ｈ．２６４方式においては、フレーム間予測を行う際に画像シーケンス中の任意のフレーム及びピクチャタイプを参照画像として利用することが可能である。例えば、図１１（ａ）に示したようにＰピクチャであるＰ８ピクチャは、Ｉピクチャだけでなく、Ｉピクチャを飛び越してフレームを参照することが可能である。同様に、図１１（ｂ）に示したようにＢピクチャであるＢ０ピクチャもＩピクチャだけでなく、Ｉピクチャを飛び越して他のフレームを参照することが可能である。

このように、Ｈ．２６４方式では柔軟に参照画像が許容されている。従って、ＭＰＥＧ２方式のようにＰピクチャであれば当該Ｐピクチャの直前のＩピクチャもしくはＰピクチャしか参照できないような方式と比較して、Ｈ．２６４方式では、フレーム間予測精度が向上し、符号化効率を向上させることができる。

一方、前述したような柔軟に参照画像が許容されているため、Ｈ．２６４方式においては、ランダムアクセスを迅速に行うことができなくなる場合がある。例として、図１１（ｃ）において、ランダムアクセスにより画像シーケンスの途中のフレームであるＩ５ピクチャより再生する場合について説明する。

画像シーケンス中のＩ５ピクチャから再生を開始して、Ｐ８ピクチャを復号する場合には、Ｐ８ピクチャがＢ０ピクチャを参照しているので、このＢ０ピクチャを前もって復号しておく必要がある。更に、Ｂ０ピクチャはＰ２ピクチャとＢ７ピクチャとを参照しているので、Ｂ０ピクチャを復号するには、これらＰ２ピクチャ及びＢ７ピクチャを前もって復号しておく必要がある。同様に、図示していないが、Ｐ２ピクチャ及びＢ７ピクチャもそれぞれ他のピクチャを参照しているので、Ｐ２ピクチャ及びＢ７ピクチャを復号するには、他のピクチャを前もって復号しておく必要がある。

このように、Ｉ５ピクチャから再生を開始したい場合であっても、Ｉ５ピクチャを飛び越して参照を許容しているために、Ｉ５ピクチャ以前のデータに遡って復号を開始する必要が生じ、迅速にＩ５ピクチャから再生を開始することが困難になる。また、符号化後のビットストリーム上において、Ｉ５ピクチャをカットフレームとしたカット編集を行いたい場合であっても、Ｉ５ピクチャを飛び越して参照を許容しているために、Ｉ５ピクチャ以前のデータに遡って復号を開始する必要が生じる。従って、Ｉ５ピクチャをカットフレームとしたカット編集が困難になる。

そこで、この問題を解消し迅速なランダムアクセスを実現可能とするために、定期的にＩピクチャに制限を設ける方法が例えば特許文献１で提案されている。この制限付きのＩピクチャは、Ｈ．２６４方式ではＩＤＲピクチャと呼ばれている。ここで、図１２（ａ）及び図１２（ｂ）を参照しながら、ＩＤＲピクチャについて説明する。なお、図１２（ａ）及び図１２（ｂ）に示した画像シーケンスは、図１１（ａ）及び図１１（ｂ）と同様の画像シーケンスに対して、Ｉ５ピクチャをＩＤＲピクチャに設定した画像シーケンスである。

Ｉ５ピクチャをＩＤＲピクチャに設定すると、ＩＤＲピクチャを符号化するときに参照画像を記録しているフレームメモリがクリアされる。従って、ＩＤＲピクチャ以降に符号化されるピクチャが、そのＩＤＲピクチャ以前に符号化されたピクチャを参照することができない。同様に、ＩＤＲピクチャ以前に符号化されたピクチャが、そのＩＤＲピクチャ以降に符号化されるピクチャを参照することができない。

図１２（ａ）に示した例では、ＩＤＲピクチャであるＩＤＲ５ピクチャ以降に符号化されるＰピクチャやＢピクチャは、そのＩＤＲピクチャ以前に符号化されるＰピクチャやＢピクチャを参照することができない。具体的には、ＩＤＲ５ピクチャ以降に符号化されるＰ８ピクチャやＢ７ピクチャなどのピクチャは、ＩＤＲ５ピクチャ以前に符号化されたＰ２ピクチャやＢ０ピクチャなどのピクチャを参照することができない。

逆に、図１２（ｂ）に示した例では、ＩＤＲピクチャであるＩＤＲ５ピクチャ以前に符号化されるＰピクチャやＢピクチャは、そのＩＤＲピクチャ以降に符号化されるＰピクチャやＢピクチャを参照することができない。具体的には、ＩＤＲ５ピクチャ以前に符号化されるＰ２ピクチャやＢ０ピクチャなどのピクチャは、ＩＤＲ５ピクチャ以降に符号化されるＰ８ピクチャやＢ７ピクチャなどのピクチャを参照することができない。

このように、Ｈ．２６４方式の場合、符号化データのうち、ＩＤＲピクチャから再生を開始すれば、ＩＤＲピクチャ以前の画像データまで遡って復号する必要がなく、迅速なランダムアクセスを実現して再生することができる。また、ＩＤＲピクチャを飛び越して参照することが禁止されるので、ＩＤＲピクチャをカットフレームとした編集が可能となる。

次に、Ｈ．２６４における発生符号量の制御について説明する。符号量制御技術の１つに、可変符号化ビットレート（ＶＢＲ）方式がある。ＶＢＲ方式の符号量制御を以下に簡単に説明する。

ＶＢＲ方式は、符号化ビットレートを平均目標符号化ビットレートに近づけつつ、局所的な映像の特徴に応じて目標符号化ビットレートを可変制御する符号量制御方式である。映像の特徴に応じた目標符号化ビットレートで映像信号を符号化するので、映像品質の変動が小さいといった特徴がある。すなわち、符号化が難しく映像品質が低くなりそうなフレームを、高い目標符号化ビットレートで符号化し、符号化が簡単で映像品質が十分高くなりそうフレームを低い目標符号化ビットレートで符号化する。

このような、符号量制御技術を用いることにより、近年のデジタルビデオカメラでは、高画質録画又は長時間録画を可能にするための、複数の記録モード（符号化モード）が用意されている。例えば、平均目標符号化ビットレートに従い符号化を行うＬＰモード（Long Play Mode）、ＳＰモード（Standard Play Mode）及びＸＰモード（Excellent Play Mode）の３つの記録モードを有するものがある。どの記録モードでも、ＶＢＲ方式を用いるのが一般的となっている。ＬＰモードの平均目標符号化ビットレートが最も低く、ＸＰモードの平均目標符号化ビットレートが最も高い。ＳＰモードの平均目標符号化ビットレートは、ＬＰモードとＸＰモードのそれの中間である。

ＬＰモードでは、符号化ビットレートが低いので、画質は低下してしまうが、ファイルサイズが小さくなり、長時間の記録が可能になる。一方、ＸＰモードでは、符号化ビットレートが高いので、画質は良くなるが、ファイルサイズが大きくなり、短時間の映像しか記録できない。ユーザは、記録映像の画質と記録媒体の残量等を考慮して、好みの記録モードで撮影を行うことができる。

ＶＢＲ方式を用いる画像符号化装置については特許文献２に記載されている。当該文献には、入力画像を小解像度画像に分割し、複数の画像符号化装置に分けて符号化する場合に、各画像符号化装置による小解像度画像の映像品質が同等となるように、符号量を各符号化装置に割り振ることが記載されている。

特開２００３−１９９１１２号公報 特開２００１−３４６２０１号公報

前述したようにＨ．２６４方式では、フレーム間予測の参照関係を制限するＩＤＲピクチャを利用することにより、迅速なランダムアクセスや容易な編集を行うことができる。そのため、符号化ビットストリームの任意の場所から迅速な再生や符号化ビットストリームを素材とした容易な編集を行うには、適切な位置にＩＤＲピクチャが設定されている必要がある。

しかしながら、ＩＤＲピクチャを設定することにより前述したように参照関係が制限されるために、数多くのＩＤＲピクチャを設定すると符号化効率が低下する可能性がある。すなわち、符号化効率を考慮するならばＩＤＲピクチャの設定は必要最低限が望ましい。従来技術のように、定期的にＩＤＲピクチャを設定する方法では、ランダムアクセスや編集に必要のないフレームもＩＤＲピクチャに設定され、符号化効率が低下してしまうという問題点があった。

また、複数の撮影者が、各々の撮像装置を用いて撮像した複数の動画像（符号化ビットストリーム）を編集するようなことを想定した場合、それぞれの符号化ビットストリームに設定されるＩＤＲピクチャの間隔やタイミングは異なっている場合が多い。そのため、符号化効率が低下しないようにＩＤＲピクチャの設定を少なくすると、撮影者が異なる複数の符号化ビットストリームを編集する場合に、所望の期間の映像を繋ぎ合わせることが困難になってしまう。

更に、上記のように別々の装置で記録された複数の動画像（符号化ビットストリーム）を編集することを想定した場合には、画像間の映像品質の均一性を保つことも重要な課題である。個々の符号化ビットストリームで画質がばらばらであったならば、編集した場合に、ストリームの繋ぎ部分での画質の差が視覚的に目立ってしまうことがある。

例えば、図２１に示す例のように、撮影者ＡがシーンＡをＳＰモードに基づく目標符号化ビットレートで録画し、撮影者ＢがシーンＢをＸＰモードに基づく目標符号化ビットレートで録画したとする。図２１（ａ）は、撮影者ＡによるシーンＡの録画の平均目標符号化ビットレートの変化を示しており、時刻ｔ２にシーンＡの撮影を開始し、時刻ｔ３に撮影を終了していることを表わす。図２１（ｂ）は、撮影者ＢによるシーンＢの録画の平均目標符号化ビットレートの変化を示しており、時刻ｔ１にシーンＢの撮影を開始し、時刻ｔ２に撮影を終了していることを表わす。そして、図２１（ｃ）は、シーンＢにシーンＡをカット編集によって繋いだ場合の、符号化ビットストリームの平均目標符号化ビットレートの変化を表わしている。

図２１（ｃ）で、時刻ｔ２におけるシーンＢとシーンＡの繋ぎ目では、ＳＰモードとＸＰモードとの平均目標符号化ビットレートの相違により、符号化ビットレートが急激に低くなる。すなわち、図２１（ｃ）で、時刻ｔ２以後の期間は、時刻ｔ２以前の期間と比較して、急激に画質が低下したように見える。そのため、このような符号化ビットストリームの映像を再生した視聴者は、時刻ｔ２の直後に違和感を感じてしまう。

本発明は前述の問題点に鑑み、複数の装置で動画像データを符号化する際に、編集に適した符号化画像データを生成することを目的とする。

上記課題を解決するために、第１の本発明は、動画像符号化装置であって、被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化手段と、前記符号化手段で行われる符号化処理に係る設定を行う設定手段と、前記設定手段による設定情報を外部の動画像符号化装置に対して送信する送信手段と、前記外部の動画像符号化装置から送信された符号化処理に係る設定情報を受信する受信手段と、前記設定手段による第１の設定と、前記受信手段によって受信した設定情報に基づく第２の設定とに従って前記符号化手段で行われる符号化処理を制御する符号化制御手段とを備えることを特徴とする動画像符号化装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、複数の装置で動画像データを符号化する際に、編集に適した符号化画像データを生成することが可能となる。

本発明の第１の実施形態における撮像装置の構成例を示すブロック図である。 本発明の第１の実施形態における撮像装置のカメラ部の構成例を示すブロック図である。 本発明の第１の実施形態における撮像装置の符号化部の構成例を示すブロック図である。 本発明の実施形態における撮像装置の基準フレーム設定判定部の構成例を示すブロック図である。 グループ撮影の一例を示す図である。 撮影開始、終了、及び基準フレーム設定釦押下による基準フレームの設定の一例を示す図である。 カメラ制御情報及びシーンチェンジに応じた基準フレームの設定の一例を示す図である。 カメラ制御情報及びシーンチェンジに応じた基準フレームの設定の他の一例を示す図である。 被写体情報に応じた基準フレームの設定の一例を示す図である。 本発明の第１の実施形態に係る撮像装置による基準フレームを設定する動作手順の一例を示すフローチャートである。 参照画像の選択の一例を説明する図である。 ＩＤＲピクチャを説明する図である。 本発明の第２の実施形態における撮像装置の構成例を示すブロック図である。 本発明の第２の実施形態における撮像装置のカメラ部の構成例を示すブロック図である。 本発明の第２の実施形態における撮像装置の符号化部の構成例を示すブロック図である。 グループ撮影の一例を示す図である。 映像品質設定例を示す図である。 事前設定モードでの撮影シーンとカット編集の平均目標符号化ビットレートの変化例を示す図である。 動的設定モードでの撮影シーンとカット編集の平均目標符号化ビットレートの変化例を示す図である。 本発明の第２の実施形態に係る撮像装置による映像品質を共通化する動作手順の一例を示すフローチャートである。 撮影シーンとカット編集のストリームの符号化ビットレートの変化例を示す図である。 本発明の第３の実施形態における撮像装置の構成例を示すブロック図である。 本発明の第３の実施形態における撮像装置の符号化部の構成例を示すブロック図である。 映像品質設定例を示す図である。 事前設定モードでの撮影シーンとカット編集の平均目標ＰＳＮＲの変化例を示す図である。 動的設定モードでの撮影シーンとカット編集の平均目標ＰＳＮＲの変化例を示す図である。 本発明の第３の実施形態に係る撮像装置による映像品質を共通化する動作手順の一例を示すフローチャートである。

（第１の実施形態）
以下、図面を参照しながら本発明の好適な実施形態について説明する。

図１は、第１の実施形態として、本発明に係る動画像符号化装置を適用した撮像装置の機能構成例を示すブロック図である。本実施形態における撮像装置は、カメラ制御情報、シーンチェンジ、被写体情報、基準フレーム設定釦の押下等に応じて基準フレームとなるピクチャタイプで符号化を行う装置である。以下、本実施形態の撮像装置の構成例について図１を参照しながら説明する。

本実施形態における撮像装置１００は、カメラ部１０１、符号化部１０２、符号化ストリーム記録部１０３、基準フレーム設定判定部１０４及び基準フレーム設定情報送受信部１０５を有する。

カメラ部１０１は、被写体光を撮像し、映像信号とカメラ制御情報とを出力する。符号化部１０２は、カメラ部１０１から出力された映像信号を圧縮符号化し、符号化ビットストリームを符号化ストリーム記録部１０３に出力する。符号化ストリーム記録部１０３は、符号化部１０２から出力された符号化ビットストリームを図示しない記録媒体に記録する。

なお、符号化方式は、Ｈ．２６４方式などのフレーム間予測方式を利用した符号化方式であり、以下、Ｈ．２６４方式を例として説明する。詳細は後述するが、基準フレーム設定判定部１０４は、符号化部１０２で符号化するフレームを基準フレームとして符号化するものと判定した場合に、基準フレーム設定情報（符号化設定情報）を符号化部１０２及び基準フレーム設定情報送受信部１０５に出力する。ここで、基準フレームとは、該基準フレームを飛び越した参照を禁止することにより、迅速にランダムアクセスが可能なピクチャタイプに設定されたフレームである。Ｈ．２６４符号化方式においては、基準フレームとは、ＩＤＲピクチャのフレームを示す。

基準フレーム設定情報送受信部１０５は、本実施形態の撮像装置１００と同様の機能を具備した他の撮像装置（外部装置）との間で、前述した基準フレーム設定情報を送受信する。具体的には、送信手段として機能し、基準フレーム設定判定部１０４から出力される基準フレーム設定情報（第１の設定）を他の撮像装置に対して送信する。一方、受信手段として機能し、外部の他の撮像装置が送信した基準フレーム設定情報（第２の設定）を受信し、基準フレーム設定判定部１０４に出力する。

なお、撮像装置１００は図示しない撮影開始終了釦を具備し、撮影者は撮影開始終了釦を押下することにより撮影開始及び終了を指示することができる。また、この撮影開始終了情報は、前述したカメラ制御情報に含まれるものとする。

次に、カメラ部１０１、符号化部１０２及び基準フレーム設定判定部１０４の構成について詳しく説明する。
［カメラ部１０１］
まず、カメラ部１０１の構成例について、図２を参照しながら詳細に説明する。図２は、カメラ部１０１の構成例を示すブロック図である。

図２に示すように、カメラ部１０１は、レンズ２０１、撮像部２０２、Ａ／Ｄ（アナログ−ディジタル）変換部２０３、カメラ信号処理部２０４、振動検出部２０５及びカメラ制御部２０６を有している。前述したようにカメラ部１０１は、被写体光が入力されると、映像信号とカメラ制御情報とを出力する。

次に、カメラ部１０１の動作について説明する。

図２において、レンズ２０１は、被写体光を撮像部２０２に導くためのものである。また、レンズ２０１は、後述のカメラ制御部２０６から出力される制御信号に対応してズーム動作や焦点整合動作などを行う。撮像部２０２は、ＣＣＤやＣＭＯＳ等を用いて被写体を撮像し、得られた被写体像を電気信号に変換してＡ／Ｄ変換部２０３に出力する。Ａ／Ｄ変換部２０３は、アナログ信号をディジタル信号に変換する。

カメラ信号処理部２０４は、Ａ／Ｄ変換部２０３より出力されたディジタル信号に対して、γ補正、ホワイトバランス等の処理を行い、映像信号（動画像データ）を符号化部１０２に出力する。振動検出部２０５は、ジャイロ等を用いた既知の方式を適用して撮像装置１００本体の振動を検出することにより、撮像装置１００本体の手ぶれやパン・チルトを検出する。カメラ制御部２０６は、カメラ部１０１全体を制御してカメラ制御情報を基準フレーム設定判定部１０４に出力する。このカメラ制御情報には、前述のカメラ部１０１を構成するモジュールの制御データが含まれる。なお、手ぶれや撮像装置１００本体のパン・チルトは、カメラ信号処理部２０４により特定フレームとその直前フレームとの画素差分値を評価することにより検出するようにしてもよい。
［符号化部１０２］
次に、符号化部１０２の構成例について、図３を参照しながら詳細に説明する。図３は、符号化部１０２の構成例を示すブロック図である。

図３に示すように、符号化部１０２は、フレーム並び替え部３０１、減算器３０２、整数変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆整数変換部３０７及び加算器３０８を有している。更に、第１のフレームメモリ３０９、第２のフレームメモリ３１３、イントラ予測部３１０、第１のスイッチ３１１及び第２のスイッチ３１７を有している。更に、デブロッキングフィルタ３１２、インター予測部３１４、動き検出部３１５及びピクチャタイプ制御部３１６を有している。符号化部１０２は、入力された映像信号を分割することによりブロックを構成し、ブロック単位に符号化処理を行って符号化ビットストリームを符号化ストリーム記録部１０３に出力する。

次に、符号化部１０２における符号化処理について説明する。

図３において、フレーム並び替え部３０１は、表示順で入力された映像信号を符号化順に並び替える。減算器３０２は、入力画像データから予測画像データを減算して画像残差データを整数変換部３０３に出力する。なお、予測画像データの生成については後述する。

整数変換部３０３は、減算器３０２から出力された画像残差データを直交変換処理して変換係数を量子化部３０４に出力する。量子化部３０４は、整数変換部３０３より出力された変換係数を所定の量子化パラメータを用いて量子化する。エントロピー符号化部３０５は、量子化部３０４で量子化された変換係数を入力し、これをエントロピー符号化して符号化ビットストリームとして出力する。

一方、量子化部３０４で量子化された変換係数は、前述した予測画像データの生成にも用いられる。逆量子化部３０６は、量子化部３０４で量子化された変換係数を逆量子化する。逆整数変換部３０７は、逆量子化部３０６で逆量子化された変換係数を逆整数変換し、復号画像残差データとして加算器３０８に出力する。加算器３０８は、逆整数変換部３０７より出力された復号画像残差データと、予測画像データとを加算して、再構成画像データとして出力する。

加算器３０８から出力された再構成画像データは、第１のフレームメモリ３０９に記録される。また、再構成画像データに対してデブロッキングフィルタ処理を施す場合には、デブロッキングフィルタ３１２を介して第２のフレームメモリ３１３に再構成画像データが記録される。一方、デブロッキングフィルタ処理を施さない場合には、デブロッキングフィルタ３１２を介さずに第２のフレームメモリ３１３に再構成画像データが記録される。

第１のスイッチ３１１は、加算器３０８から出力された再構成画像データに対してデブロッキングフィルタ処理を施すか否かを選択する選択部として機能する。再構成画像データの中で、以降の予測で参照される可能性があるデータは、第１のフレームメモリ３０９または第２のフレームメモリ３１３に暫くの期間保存される。

イントラ予測部３１０は、第１のフレームメモリ３０９に記録された再構成画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。また、インター予測部３１４は、第２のフレームメモリ３１３に記録された再構成画像データを用いて動き検出部３１５により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像データを生成する。ここで、動き検出部３１５は、入力画像データにおける動きベクトルを検出して、検出した動きベクトル情報をエントロピー符号化部３０５及びインター予測部３１４にそれぞれ出力する。

ピクチャタイプ制御部３１６は情報の取得手段として機能し、後述する基準フレーム設定判定部１０４により符号化フレームを基準フレームにすると判定された場合には、基準フレーム設定情報を取得する。そして、フレーム設定情報による指示に対応してフレームのピクチャタイプをＩＤＲピクチャと決定する。また、そうでない場合には、フレームのピクチャタイプを符号化方式に準拠したピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に決定する。

なお、ピクチャタイプ制御部３１６は、符号化フレームが基準フレームと判定された場合に、該当するフレームに基準フレームフラグを付加し、そのフレームのピクチャタイプを符号化方式に準拠したピクチャタイプに決定してもよい。また、符号化フレームが基準フレームと判定された場合に、該当するフレームのピクチャタイプをＩピクチャと決定すると共に、該当するフレームに飛び越し参照禁止フラグを付加してもよい。そして、インター予測部３１４により該当するＩピクチャを飛び越さないような参照関係を決定させてもよい。

第２のスイッチ３１７は、予測画像データとしてイントラ予測部３１０で生成された予測画像データ又はインター予測部３１４で生成された予測画像データのどちらを用いるかを選択するためのスイッチである。すなわち、第２のスイッチ３１７は、イントラ予測又はインター予測のどちらを用いるかを選択するための選択部として機能する。ピクチャタイプ制御部３１６は、決定したピクチャタイプに応じて第２のスイッチ３１７を制御して、イントラ予測部３１０からの出力とインター予測部３１４からの出力のどちらか一方を選択する。そして、選択された予測画像データは減算器３０２及び加算器３０８に出力される。
［基準フレーム設定判定部１０４］
次に、基準フレーム設定判定部１０４（符号化制御手段）の構成例について、図４を参照しながら詳細に説明する。図４に示すように、基準フレーム設定判定部１０４は、シーンチェンジ検出部４０１、被写体判定部４０２、基準フレーム設定釦４０３及び基準フレーム情報作成判定部４０４を有している。基準フレーム設定判定部１０４は、例えば、以下の（１）〜（７）の情報に応じて、フレームを飛び越した動き参照を禁止する飛び越し参照禁止情報（基準フレーム設定情報）を出力する。
（１）撮影（記録）の開始及び終了
（２）撮像装置本体移動（手ぶれ、パン、チルト）の開始及び終了
（３）撮影条件（ホワイトバランス、露出、合焦具合、ズーム倍率）の変更
（４）シーンチェンジ
（５）被写体情報の変化
（６）基準フレーム設定釦４０３の押下
（７）基準フレーム設定情報送受信部１０５における基準フレーム設定情報の受信有無
シーンチェンジ検出部４０１は、カメラ部１０１から出力された映像信号のフレーム間の相関性を判定することにより、シーンチェンジを検出する。そして、検出結果を基準フレーム情報作成判定部４０４に送る。フレーム間の相関性は、例えば、フレーム間の画素差分値に応じて判定する。被写体判定部４０２は、カメラ部１０１から出力された映像信号に含まれる被写体を画像認識により判別する。そして、解析結果を基準フレーム情報作成判定部４０４に送る。画像認識は、例えば、形状認識等の既知の方式を使用して被写体認識を行うものであり、詳細な説明は省略する。以上のように、シーンチェンジ検出部４０１及び被写体判定部４０２は画像解析手段として機能する。

基準フレーム設定釦４０３は、後述する基準フレームの設定を撮影者が基準フレーム設定釦４０３を押下することにより、撮影者の好みのタイミングで基準フレームの設定を行うための釦である。基準フレーム情報作成判定部４０４は、基準フレームを設定するか否かを判定し、基準フレームを設定すると判定した場合は、符号化部１０２で符号化するフレームを基準フレームとして符号化するための基準フレーム設定情報を作成する。そして、基準フレーム設定情報を符号化部１０２及び基準フレーム設定情報送受信部１０５に出力する。

次に、基準フレーム設定判定部１０４の動作について、図５〜図９を参照しながら詳細に説明する。図５は、３人の撮影者がそれぞれ本実施形態の（グループ化された）撮像装置１００を用いて、グループ撮影を行っている状況を説明する図である。

図５において、撮影者の１人であるＡさんは第１の撮像装置１００Ａを用いて撮影を行っており、Ｂさんは第２の撮像装置１００Ｂを用いて撮影を行っており、Ｃさんは第３の撮像装置１００Ｃを用いて撮影を行っている。第１の撮像装置１００Ａ、第２の撮像装置１００Ｂ及び第３の撮像装置１００Ｃは、それぞれの基準フレーム設定情報送受信部１０５によって、例えば、ＩＥＥＥ ８０２．１１ｇ規格等の無線通信ネットワークを介して基準フレーム設定情報を送受信している。

図６〜図９は、図５に示すようなグループ撮影をしている場合における基準フレームの設定を説明する図である。まず、グループ撮影時において、他の撮像装置の撮影開始及び終了制御情報に応じて基準フレームを設定する例について、図６を参照しながら説明する。なお、撮影開始は、記録開始を元に判断しても良い。

図６（ａ）に示す例では、Ａさんの第１の撮像装置１００Ａにおいて、時刻ｔ１に撮影を開始し、時刻ｔ６に撮影を終了している。また、Ｂさんの第２の撮像装置１００Ｂにおいて、時刻ｔ２に撮影を開始し、時刻ｔ４に撮影を終了している。一方、Ｃさんの第３の撮像装置１００Ｃにおいて、時刻ｔ３に撮影を開始し、時刻ｔ７に撮影を終了している。更に、Ａさんの第１の撮像装置１００Ａにおいて、時刻ｔ５で第１の撮像装置１００Ａにおける基準フレーム設定釦４０３が押下されている。

まず、Ａさんの第１の撮像装置１００Ａにおける符号化部１０２が時刻ｔ２において、基準フレームを設定する例について図６（ａ）を参照しながら説明する。

時刻ｔ２において、Ｂさんにより撮影開始終了釦が押下されて撮影を開始すると、Ｂさんの第２の撮像装置１００Ｂにおける基準フレーム情報作成判定部４０４は、撮影開始終了釦が押下されたことにより基準フレームを設定すると判定する。そして、基準フレーム設定情報を第２の撮像装置１００Ｂの基準フレーム設定情報送受信部１０５に出力する。
次に、基準フレーム設定情報送受信部１０５によって、Ａさんの第１の撮像装置１００Ａ及びＣさんの第３の撮像装置１００Ｃに基準フレーム設定情報を送信する。時刻ｔ２において、撮影中であるＡさんの第１の撮像装置１００Ａは、Ｂさんの第２の撮像装置１００Ｂによって送信された基準フレーム設定情報を基準フレーム設定情報送受信部１０５によって受信する。

そして、受信した基準フレーム設定情報をＡさんの第１の撮像装置１００Ａにおける基準フレーム情報作成判定部４０４が入力することにより、基準フレーム情報作成判定部４０４は基準フレームを設定すると判定する。そして、基準フレーム設定情報を第１の撮像装置１００Ａにおける符号化部１０２に出力する。すると、Ａさんの第１の撮像装置１００Ａにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

また、時刻ｔ４において、Ｂさんにより撮影開始終了釦が押下されて撮影を終了すると、Ｂさんの第２の撮像装置１００Ｂにおける基準フレーム情報作成判定部４０４は、撮影開始終了釦が押下されたことにより基準フレームを設定すると判定する。そして、基準フレーム設定情報を第２の撮像装置１００Ｂの基準フレーム設定情報送受信部１０５に出力する。

そして、基準フレーム設定情報を基準フレーム設定情報送受信部１０５によって、Ａさんの第１の撮像装置１００Ａ及びＣさんの第３の撮像装置１００Ｃに基準フレーム設定情報を送信する。一方、時刻ｔ４において、撮影中であるＡさんの第１の撮像装置１００Ａ及びＣさんの第３の撮像装置１００Ｃは、Ｂさんの第２の撮像装置１００Ｂによって送信された基準フレーム設定情報をそれぞれ基準フレーム設定情報送受信部１０５から受信する。

そして、受信した基準フレーム設定情報をＡさんの第１の撮像装置１００Ａ及びＣさんの第３の撮像装置１００Ｃにおける基準フレーム情報作成判定部４０４が入力することにより、基準フレーム情報作成判定部４０４は基準フレームを設定すると判定する。そして、基準フレーム設定情報をそれぞれの符号化部１０２に出力する。すると、Ａさんの第１の撮像装置１００Ａ及びＣさんの第３の撮像装置１００Ｃにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

同様に、時刻ｔ３において、Ｃさんの第３の撮像装置１００Ｃが撮影を開始すると、時刻ｔ３において撮影中であるＡさんの第１の撮像装置１００Ａ及びＢさんの第２の撮像装置１００Ｂにおける符号化部１０２が基準フレームを設定する。また、時刻ｔ６において、Ａさんの第１の撮像装置１００Ａが撮影を終了すると、時刻ｔ６において撮影中であるＣさんの第３の撮像装置１００Ｃにおける符号化部１０２が基準フレームを設定する。

次に、時刻ｔ５において、Ａさんの第１の撮像装置１００Ａ及びＣさんの第３の撮像装置１００Ｃにおける符号化部１０２が基準フレームを設定する例について図６（ａ）を参照しながら説明する。

Ａさんの第１の撮像装置１００Ａの基準フレーム情報作成判定部４０４は、時刻ｔ５において、基準フレーム設定釦４０３が押下されたことにより基準フレームを設定すると判定する。そして、基準フレーム設定情報を出力する。すると、Ａさんの第１の撮像装置１００Ａにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

また、同時に、Ａさんの第１の撮像装置１００Ａの基準フレーム設定情報送受信部１０５によってＢさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃに基準フレーム設定情報を送信する。一方、時刻ｔ５において、撮影中であるＣさんの第３の撮像装置１００Ｃは、Ａさんの第１の撮像装置１００Ａによって送信された基準フレーム設定情報を基準フレーム設定情報送受信部１０５によって受信する。

そして、受信した基準フレーム設定情報をＣさんの第３の撮像装置１００Ｃにおける基準フレーム情報作成判定部４０４が入力することにより、基準フレーム情報作成判定部４０４は基準フレームを設定すると判定する。そして、基準フレーム設定情報を第３の撮像装置１００Ｃにおける符号化部１０２に出力する。すると、Ｃさんの第３の撮像装置１００Ｃにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

以上のように、他の撮像装置の撮影開始（記録開始）及び撮影終了（記録終了）時や基準フレーム設定釦４０３の押下時に基準フレームを設定することにより、基準フレームから迅速に再生したり基準フレームをカットフレームとしたカット編集をしたりすることが可能となる。

次に、カット編集について、図６（ｂ）を参照しながら説明する。図６（ｂ）に示す例は、Ａさん、Ｂさん及びＣさんがそれぞれの撮像装置を用いてグループ撮影し、符号化した３つの符号化ビットストリームにおいて、基準フレームをカットフレームとした編集後の符号化ビットストリームを示している。

図６（ｂ）に示す編集後の符号化ビットストリームは、図６（ａ）における時刻ｔ１〜ｔ２のＡさんの映像、時刻ｔ２〜ｔ４のＢさんの映像、時刻ｔ４〜ｔ５のＡさんの映像及び時刻ｔ５〜ｔ７のＣさんの映像を繋ぎ合わせたものである。このようなカット編集することにより、例えば、撮影開始及び撮影終了時において、別の撮影者の映像に切り替わるようなストリームを作成することが可能となる。また、撮影者が基準フレーム設定釦４０３を押下することにより、好みのタイミングで別の撮影者の映像に切り替わるようなストリームを作成することが可能となる。

次に、グループ撮影時において、カメラ制御情報及びシーンチェンジに応じて基準フレームを設定する例について、図７及び図８を参照しながら説明する。図７（ａ）及び図８（ａ）に示す例では、Ａさんの第１の撮像装置１００Ａにおいて、時刻ｔ１に撮影を開始し、時刻ｔ９に撮影を終了している。また、Ｂさんの第２の撮像装置１００Ｂにおいて、時刻ｔ２に撮影を開始し、時刻ｔ６に撮影を終了している。一方、Ｃさんの第３の撮像装置１００Ｃにおいて、時刻ｔ４に撮影を開始し、時刻ｔ１０に撮影を終了している。

また、図７（ａ）に示す例では、更に、Ａさんの第１の撮像装置１００Ａにおいて、時刻ｔ５及び時刻ｔ８でシーンチェンジが発生し、Ｂさんの第２の撮像装置１００Ｂにおいて、時刻ｔ３でホワイトバランスの設定値を変更している。更に、Ｃさんの第３の撮像装置１００Ｃにおいて、時刻ｔ７で露出の設定値を変更している。また、図８（ａ）に示す例では、Ａさんの第１の撮像装置１００Ａにおいて、時刻ｔ３〜ｔ５の期間で焦点整合調整を行っている。更に、Ｃさんの第３の撮像装置１００Ｃにおいて、時刻ｔ７〜ｔ８で撮影構図を変更するために第３の撮像装置１００Ｃの方向を変更させるパン動作をしている。なお、焦点整合制御情報や、ズーム動作制御情報、ホワイトバランスや露出の設定値といった画像処理制御情報、パン・チルト動作といった移動情報、手ぶれによる振動情報は、カメラ制御情報に含まれるものとする。

まず、Ａさんの第１の撮像装置１００Ａ及びＢさんの第２の撮像装置１００Ｂにおける符号化部１０２が時刻ｔ３において、基準フレームを設定する例について、図７（ａ）を参照しながら説明する。

Ｂさんの第２の撮像装置１００Ｂにおいて、時刻ｔ３でホワイトバランスの設定値を変更すると、第２の撮像装置１００Ｂにおける基準フレーム情報作成判定部４０４は、ホワイトバランスの設定値が変更されたことにより基準フレームを設定すると判定する。そして、Ｂさんの第２の撮像装置１００Ｂにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

さらに、Ｂさんの第２の撮像装置１００Ｂの基準フレーム設定情報送受信部１０５によって、Ａさんの第１の撮像装置１００Ａ及びＣさんの第３の撮像装置１００Ｃに基準フレーム設定情報を送信する。一方、時刻ｔ３において、撮影中であるＡさんの第１の撮像装置１００Ａは、Ｂさんの第２の撮像装置１００Ｂによって送信された基準フレーム設定情報を基準フレーム設定情報送受信部１０５によって受信する。

そして、受信した基準フレーム設定情報をＡさんの第１の撮像装置１００Ａにおける基準フレーム情報作成判定部４０４が入力することにより、基準フレーム情報作成判定部４０４は基準フレームを設定すると判定する。そして、基準フレーム設定情報を第１の撮像装置１００Ａにおける符号化部１０２に出力する。すると、Ａさんの第１の撮像装置１００Ａにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

同様の手順により、Ｃさんの第３の撮像装置１００Ｃにおいて、時刻ｔ７で露出の設定値を変更することにより、Ｃさんの第３の撮像装置１００Ｃ及び時刻ｔ７において撮影中であるＡさんの第１の撮像装置１００Ａが基準フレームを設定する。

次に、Ａさんの第１の撮像装置１００Ａ、Ｂさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃにおける符号化部１０２が時刻ｔ５において、基準フレームを設定する例について、図７（ａ）を参照しながら説明する。

まず、Ａさんの第１の撮像装置１００Ａにおけるシーンチェンジ検出部４０１が時刻ｔ５において、シーンチェンジを検出する。これにより、Ａさんの第１の撮像装置１００Ａにおける基準フレーム情報作成判定部４０４は、シーンチェンジが検出されたことにより基準フレームを設定すると判定する。そして、Ａさんの第１の撮像装置１００Ａにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャとし、基準フレームを設定する。

さらに、Ａさんの第１の撮像装置１００Ａの基準フレーム設定情報送受信部１０５によって、Ｂさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃに基準フレーム設定情報を送信する。一方、時刻ｔ５において、撮影中であるＢさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃは、Ａさんの第１の撮像装置１００Ａによって送信された基準フレーム設定情報を基準フレーム設定情報送受信部１０５によって受信する。

そして、受信した基準フレーム設定情報をＢさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃにおける基準フレーム情報作成判定部４０４が入力することにより、基準フレーム情報作成判定部４０４は基準フレームを設定すると判定する。そして、基準フレーム設定情報をそれぞれの符号化部１０２に出力する。すると、Ｂさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

なお、基準フレーム（ＩＤＲピクチャ）を設定することにより、基準フレームを飛び越してピクチャを参照することが禁止されるため、符号化効率が低下する場合がある。そのため、基準フレームを多く設定すると画質が劣化してしまう恐れがある。そこで、基準フレームを設定した後の所定期間は、基準フレームの設定を禁止してもよい。

例えば、Ａさんの第１の撮像装置１００Ａにおけるシーンチェンジ検出部４０１は、時刻ｔ８において、シーンチェンジを検出している。ところが、Ａさんの第１の撮像装置１００Ａにおける基準フレーム情報作成判定部４０４は、前回の時刻ｔ７における基準フレーム設定時刻から所定時間が経過していないので、基準フレームを設定しないと判定する。従って、Ａさんの第１の撮像装置１００Ａにおける符号化部１０２は、符号化方式に準拠したピクチャタイプで符号化を行う。また、Ａさんの第１の撮像装置１００Ａにおける基準フレーム設定情報送受信部１０５は、基準フレーム設定情報を送信しないようにする。

以上のように、撮影条件の変更やシーンチェンジの検出に応じて基準フレームを設定することにより、基準フレームから迅速に再生したり、基準フレームをカットフレームとしたカット編集をしたりすることが可能となる。

次に、カット編集について、図７（ｂ）を参照しながら説明する。図７（ｂ）に示す例は、Ａさん、Ｂさん及びＣさんがそれぞれの撮像装置を用いてグループ撮影し、符号化した３つの符号化ビットストリームにおいて、基準フレームをカットフレームとした編集後の符号化ビットストリームを示している。

例えば、時刻ｔ３において、Ｂさんの第２の撮像装置１００Ｂにおいて時刻ｔ３以前では不適正なホワイトバランスであった設定値を適切なホワイトバランスに設定値を変更したものとする。時刻ｔ３において設定した基準フレームをカットフレームとすることにより、図７（ｂ）に示すように適正なホワイトバランスの映像部分のみを使用したカット編集をすることができる。

同様に、例えば、時刻ｔ７において、Ｃさんの第３の撮像装置１００Ｃにおいて時刻ｔ７以前では不適正な露出であった設定値を適切な露出の設定値を変更したものとする。時刻ｔ７において設定した基準フレームをカットフレームとすることにより、図７（ｂ）に示すように適正な露出の映像部分のみを使用したカット編集をすることができる。

また、時刻ｔ５において、Ａさんの第１の撮像装置１００Ａにおけるシーンチェンジによって設定した基準フレームをカットフレームとする。これにより、図７（ｂ）に示す時刻ｔ１〜ｔ３におけるＡさんの第１の撮像装置１００Ａによる撮影映像シーン（１）とは異なるシーン（撮影映像シーン（２））を図７（ｂ）に示す時刻ｔ５〜ｔ７にカット編集することができる。

次に、Ａさんの第１の撮像装置１００Ａ、Ｂさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃにおける符号化部１０２が時刻ｔ３及びｔ５において、基準フレームを設定する例について、図８（ａ）を参照しながら説明する。

Ａさんの第１の撮像装置１００Ａにおいて、時刻ｔ３で焦点整合調整を開始すると、第１の撮像装置１００Ａにおける基準フレーム情報作成判定部４０４は、焦点整合調整が開始されたことにより基準フレームを設定すると判定する。そして、Ａさんの第１の撮像装置１００Ａにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

さらに、Ａさんの第１の撮像装置１００Ａの基準フレーム設定情報送受信部１０５によって、Ｂさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃに基準フレーム設定情報を送信する。一方、時刻ｔ３において、撮影中であるＢさんの第２の撮像装置１００Ｂは、Ａさんの第１の撮像装置１００Ａによって送信された基準フレーム設定情報を基準フレーム設定情報送受信部１０５によって受信する。

そして、受信した基準フレーム設定情報をＢさんの第２の撮像装置１００Ｂにおける基準フレーム情報作成判定部４０４が入力することにより、基準フレーム情報作成判定部４０４は基準フレームを設定すると判定する。そして、基準フレーム設定情報を第２の撮像装置１００Ｂにおける符号化部１０２に出力する。すると、Ｂさんの第２の撮像装置１００Ｂにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

また、Ａさんの第１の撮像装置１００Ａにおいて、時刻ｔ５で焦点整合調整を終了すると、Ａさんの第１の撮像装置１００Ａにおける基準フレーム情報作成判定部４０４は、焦点整合調整が終了されたことにより基準フレームを設定すると判定する。そして、Ａさんの第１の撮像装置１００Ａにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

さらに、Ａさんの第１の撮像装置１００Ａの基準フレーム設定情報送受信部１０５によって、Ｂさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃに基準フレーム設定情報を送信する。一方、時刻ｔ５において、撮影中であるＢさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃは、Ａさんの第１の撮像装置１００Ａによって送信された基準フレーム設定情報を基準フレーム設定情報送受信部１０５によって受信する。

そして、受信した基準フレーム設定情報をＢさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃにおける基準フレーム情報作成判定部４０４が入力することにより、基準フレーム情報作成判定部４０４は基準フレームを設定すると判定する。そして、基準フレーム設定情報をそれぞれの符号化部１０２に出力する。すると、Ｂさんの第２の撮像装置１００Ｂ及びＣさんの第３の撮像装置１００Ｃにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

同様の手順により、Ｃさんの第３の撮像装置１００Ｃにおいて、時刻ｔ７でパン動作を開始することにより、Ｃさんの第３の撮像装置１００Ｃ及び時刻ｔ７において撮影中であるＡさんの第１の撮像装置１００Ａで基準フレームを設定する。また、Ｃさんの第３の撮像装置１００Ｃにおいて、時刻ｔ８でパン動作を終了することにより、Ｃさんの第３の撮像装置１００Ｃ及び時刻ｔ８において撮影中であるＡさんの第１の撮像装置１００Ａで基準フレームを設定する。

なお、前述した例では、焦点整合調整及びパン動作について説明をしたが、焦点整合調整やパン動作だけではなく、ズーム動作や振動検出部２０５で検出するチルト動作や手ぶれの場合でも同様である。また、基準フレーム情報作成判定部４０４は、パン、チルトの移動速度及びズーム速度がある閾値よりも大きい場合にのみ、基準フレームを設定するように判定してもよい。

以上のように、カメラ制御情報及びシーンチェンジに応じて基準フレームを設定することにより、基準フレームから迅速に再生したり、基準フレームをカットフレームとしたカット編集をしたりすることが可能となる。

次に、カット編集について、図８（ｂ）を参照しながら説明する。図８（ｂ）に示す例は、Ａさん、Ｂさん及びＣさんがそれぞれの撮像装置を用いてグループ撮影し、符号化した３つの符号化ビットストリームにおいて、基準フレームをカットフレームとした編集後の符号化ビットストリームを示している。

図８（ａ）に示した時刻ｔ２〜ｔ３の期間では、Ａさんの第１の撮像装置１００Ａにおいて焦点整合調整を行っているため、時刻ｔ２〜ｔ３の期間でＡさんの第１の撮像装置１００Ａにおいて撮影した映像は、合焦せずにぼけた映像となっている。そこで、図８（ａ）に示した時刻ｔ３及び時刻ｔ５において設定した基準フレームをカットフレームとする。これにより、図８（ｂ）に示す時刻ｔ３〜ｔ５の期間では、Ａさんの第１の撮像装置１００Ａにおいて撮影したぼけた映像とは別の映像（例えば、Ｂさんの映像）を使用したカット編集をすることができる。

同様に、図８（ａ）に示した時刻ｔ７〜ｔ８の期間では、Ｃさんの第３の撮像装置１００Ｃにおいてパン動作を行っている。このときのパン動作の速度が大きいと、撮影映像は乱れ、視聴者が被写体を認識することが困難な映像となってしまう。そこで、図８（ａ）に示した時刻ｔ７及び時刻ｔ８において設定した基準フレームをカットフレームとする。これにより、図８（ｂ）に示す時刻ｔ７〜ｔ８の期間ではＣさんの第３の撮像装置１００Ｃにおいて撮影した乱れた映像とは別の映像（例えば、Ａさんの映像）を使用したカット編集をすることができる。

次に、グループ撮影時において、被写体情報に応じて基準フレームを設定する例について図９を参照しながら説明する。図９（ａ）に示す例では、Ａさんの第１の撮像装置１００Ａにおいて、時刻ｔ１に撮影を開始し、時刻ｔ９に撮影を終了している。また、Ｂさんの第２の撮像装置１００Ｂにおいて、時刻ｔ２に撮影を開始し、時刻ｔ６に撮影を終了している。一方、Ｃさんの第３の撮像装置１００Ｃにおいて、時刻ｔ４に撮影を開始し、時刻ｔ１０に撮影を終了している。

更に、Ａさんの第１の撮像装置１００Ａにおいて、時刻ｔ１〜ｔ３の期間は、被写体（１）を撮影し、時刻ｔ３〜７の期間は、被写体（２）を撮影し、時刻ｔ７〜ｔ９の期間は、被写体（３）を撮影している。また、Ｂさんの第２の撮像装置１００Ｂにおいて、時刻ｔ２〜ｔ５の期間は、被写体（４）を撮影し、時刻ｔ５〜６の期間は、被写体（１）を撮影している。一方、Ｃさんの第３の撮像装置１００Ｃにおいて、時刻ｔ４〜ｔ８の期間は、被写体（３）を撮影し、時刻ｔ８〜ｔ１０の期間は、被写体（２）を撮影している。なお、このような被写体判定は、それぞれの撮像装置の被写体判定部４０２によって判定される。

まず、Ａさんの第１の撮像装置１００Ａ及びＢさんの第２の撮像装置１００Ｂにおける符号化部１０２が、時刻ｔ３において基準フレームを設定する例について図９（ａ）を参照しながら説明する。

時刻ｔ３において、Ａさんの第１の撮像装置１００Ａにおいて撮影する被写体が被写体（１）から被写体（２）に変化すると、第１の撮像装置１００Ａの基準フレーム情報作成判定部４０４は、被写体情報が変化したことにより基準フレームを設定すると判定する。そして、Ａさんの第１の撮像装置１００Ａにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

さらに、Ａさんの第１の撮像装置１００Ａの基準フレーム設定情報送受信部１０５によって、Ｂさんの第２の撮像装置１００Ｂ及びＣさんの撮像装置１００Ｃに基準フレーム設定情報を送信する。一方、時刻ｔ３において、撮影中であるＢさんの第２の撮像装置１００Ｂは、Ａさんの第１の撮像装置１００Ａによって送信された基準フレーム設定情報を基準フレーム設定情報送受信部１０５によって受信する。

そして、受信した基準フレーム設定情報をＢさんの第２の撮像装置１００Ｂにおける基準フレーム情報作成判定部４０４が入力することにより、基準フレーム情報作成判定部４０４は基準フレームを設定すると判定する。そして、基準フレーム設定情報を第２の撮像装置１００Ｂにおける符号化部１０２に出力する。すると、Ｂさんの第２の撮像装置１００Ｂにおける符号化部１０２は、ピクチャタイプをＩＤＲピクチャと設定し、基準フレームを設定する。

また、時刻ｔ５において、Ｂさんの第２の撮像装置１００Ｂにおいて撮影する被写体が被写体（４）から被写体（１）に変化する場合も同様である。この場合、Ｂさんの第２の撮像装置１００Ｂ、時刻ｔ５において撮影中であるＡさんの第１の撮像装置１００Ａ及びＣさんの第３の撮像装置１００Ｃでは基準フレームを設定する。

更に、時刻ｔ７において、Ａさんの第１の撮像装置１００Ａにおいて撮影する被写体が被写体（２）から被写体（３）に変化すると、Ａさんの第１の撮像装置１００Ａ及び撮影中であるＣさんの第３の撮像装置１００Ｃでは基準フレームを設定する。また、時刻ｔ８において、Ｃさんの第３の撮像装置１００Ｃにおいて撮影する被写体が被写体（３）から被写体（２）に変化すると、Ｃさんの第３の撮像装置１００Ｃ及び撮影中であるＡさんの第１の撮像装置１００Ａでは基準フレームを設定する。

以上のように、被写体情報の変化に応じて基準フレームを設定することにより、基準フレームから迅速に再生したり、基準フレームをカットフレームとしたカット編集をしたりすることが可能となる。

次に、カット編集について、図９（ｂ）を参照しながら説明する。図９（ｂ）に示す例は、Ａさん、Ｂさん及びＣさんがそれぞれの撮像装置を用いてグループ撮影し、符号化した３つの符号化ビットストリームにおいて、基準フレームをカットフレームとした編集後の符号化ビットストリームを示している。

図９（ｂ）に示す編集後の符号化ビットストリームは、被写体情報の変更に応じて設定される基準フレームをカットフレームとしている。図９（ｂ）に示す例では、時刻ｔ１〜ｔ３のＡさんによる映像、時刻ｔ５〜ｔ６のＢさんによる映像、時刻ｔ４〜ｔ７のＣさんによる映像、時刻ｔ７〜ｔ９のＡさんによる映像及び時刻ｔ２〜ｔ５のＢさんによる映像を繋ぎあわせている。このようなカット編集することにより、例えば、同じ被写体を違う角度から撮影した映像が時間的に連続するような符号化ビットストリームを作成することが可能となる。

次に、図１０のフローチャートを参照しながら、グループ撮影時において、基準フレームを設定する処理手順について説明する。図１０は、本実施形態の撮像装置１００による基準フレームを設定する処理手順の一例を示すフローチャートである。

まず、ステップＳ１００１において、基準フレーム設定判定部１０４は、図示しない操作部材における撮影者の操作に応じて、グループ撮影を行う他の撮像装置を撮影グループに登録し、グループを形成する。このグループ形成は、例えば、複数の撮像装置の間において、グループＩＤを共有することにより形成する。

次に、ステップＳ１００２において、基準フレーム設定判定部１０４は、図示しない操作部材における撮影者の操作に応じて、ステップＳ１００１で形成した撮影グループにおいて、少なくとも１つの基準フレーム設定条件を決定する。ここで、基準フレーム設定条件とは、基準フレーム設定判定部１０４が基準フレームの設定判定に用いる条件のことである。例えば、他の撮像装置の撮影開始及び終了に応じて基準フレームを設定する条件や基準フレーム設定釦４０３の押下に応じて基準フレームを設定する条件等の条件である。
なお、選択する基準フレーム設定条件は、撮影グループに参加する複数の撮像装置１００において同一であることが望ましいが、複数の撮像装置において別々の基準フレーム設定条件を選択してもよい。また、撮影グループに参加する複数の撮像装置において基準フレーム設定条件を同一にする場合には、１つの撮像装置で基準フレーム設定条件を設定し、設定した基準フレーム設定条件を他の撮像装置に送信するようにしてもよい。

次に、ステップＳ１００３において、撮影者による撮影開始終了釦の押下に応じてカメラ部１０１は、撮影を開始する。なお、撮影グループに参加する複数の撮像装置における撮影開始及び終了タイミングは同一でもよいし、別々でもよい。そして、ステップＳ１００４において、基準フレーム設定情報送受信部１０５は受信手段として機能し、他の撮像装置から基準フレーム設定情報を受信したか否かを判断する。この判断の結果、基準フレーム設定情報を受信した場合（ステップＳ１００４でＹｅｓ）は、ステップＳ１００５に進み、ピクチャタイプ制御部３１６は取得手段として機能し、基準フレーム設定情報を取得する。そして、符号化部１０２により、基準フレームを設定する。

一方、ステップＳ１００４の判断の結果、基準フレーム設定情報を受信していない場合（ステップＳ１００４でＮｏ）は、ステップＳ１００６に進む。そして、ステップＳ１００６において、基準フレーム情報作成判定部４０４は判定手段として機能し、カメラ制御情報や映像解析情報等に基づいて基準フレームを設定するか否かを判定する。この判定の結果、基準フレームを設定する場合（ステップＳ１００６でＹｅｓ）は、ステップＳ１００７に進み、基準フレーム情報作成判定部４０４は生成手段として機能し、基準フレーム設定情報を生成する。そして、基準フレーム設定情報送受信部１０５は送信手段として機能し、生成した基準フレーム設定情報を他の撮像装置に送信する。次に、ステップＳ１００５において、符号化部１０２は、基準フレームを設定する。

一方、ステップＳ１００６の判定の結果、基準フレームを設定しない場合（ステップＳ１００６でＮｏ）は、ステップＳ１００８に進み、符号化部１０２は、符号化方式に準拠したピクチャタイプを設定する。次に、ステップＳ１００９において、カメラ部１０１は、撮影が終了したか否かを判断する。この判断の結果、撮影が終了していない場合（ステップＳ１００９でＮｏ）は、ステップＳ１００４に戻り、前述したステップＳ１００４〜Ｓ１００８の処理を繰り返す。一方、ステップＳ１００９の判断の結果、撮影が終了した場合（ステップＳ１００９でＹｅｓ）は、そのまま処理を終了する。

また、図示しないが、例えば「撮影終了」が基準フレーム設定条件として選択されている場合、ステップＳ１００９でＹｅｓと判定された場合も、ステップＳ１００７と同様に、基準フレーム設定情報が生成されて送信される。

以上のように本実施形態によれば、撮影記録動作、カメラ制御、映像解析等に基づく撮影状況に応じて、自装置と他の装置においてそれぞれ生成される符号化ビットストリーム中にフレームの飛び越し参照を禁止するための基準フレームを設定するようにした。これにより、従来に比べて、符号化効率が大きく低下しないように画像を圧縮符号化することができ、編集に適した符号化ビットストリームを得ることができる。
（第２の実施形態）
図１３は、第２の実施形態として、本発明に係る動画像符号化装置を適用した撮像装置の機能構成例を示すブロック図である。本実施形態の撮像装置は、他の撮像装置で撮影される映像の映像品質と同等の映像品質で撮影を行うことができる。

撮像装置１０は主たる要素として、カメラ部１２、符号化部１４、符号化ビットストリーム記録部１６、表示部１８、映像品質決定部２０及び映像品質情報送受信部２２を具備する。

カメラ部１２は被写体を撮像し、映像信号を出力する。符号化部１４は、カメラ部１２から出力された映像信号を圧縮符号化する。符号化ビットストリーム記録部１６は、符号化部１４から出力された符号化ビットストリームを記録媒体に記録する。表示部１８は、カメラ部１２から出力される映像信号を表示し、また、映像品質の設定等を行うメニュー画面を表示する。

映像品質決定部２０は、メニュー画面で設定された映像品質設定と、映像品質情報送受信部２２からの映像品質情報に従い、符号化部１４の出力符号化ビットストリームの映像品質を決定する。映像品質情報送受信部２２は、同等の機能を具備する他の撮像装置との間で、映像品質情報を送受信する。つまり、映像品質決定部２０から出力される映像品質情報を他の撮像装置に送信し、他の撮像装置からの映像品質情報を受信し、映像品質決定部２０に供給する。

撮像装置１０は、撮影者が操作装置２４の撮影開始終了釦を押下するごとに、撮影画像の録画を開始し、終了する。
［カメラ部１２］
図１４は、カメラ部１２の概略構成ブロック図を示す。レンズ３０は、被写体の光学像を撮像素子３２に結像する。撮像素子３２は、レンズ３０による光学像を電気画像信号に変換するＣＣＤ又はＣＭＯＳ式等の固体撮像素子からなる。Ａ／Ｄ変換器３４は、撮像素子３２から出力されるアナログ画像信号をディジタル画像信号に変換する。カメラ信号処理部３６は、Ａ／Ｄ変換器３４からの画像データに露出調整、γ補正、ホワイトバランス及び解像度変換等の処理を行い、規定形式のディジタル映像信号を出力する。

カメラ制御部３８は、映像品質決定部２０から出力される画像解像度を示す情報（解像度情報）に基づき、撮像素子３２、Ａ／Ｄ変換器３４及びカメラ信号処理部３６を制御する。カメラ信号処理部３６は、カメラ制御部３８からの解像度情報に基づき、映像信号の解像度を変換する。例えば、解像度情報が、Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＨＤ：１９２０×１０８０）画像を示す場合、カメラ信号処理部３６は、ＨＤ解像度の映像信号を出力する。

カメラ制御部３８はまた、レンズ３０のズームを制御し、カメラ信号処理部３６で得られる映像信号に従い、レンズ３０のフォーカスを制御する。
［符号化部１４］
図１５は、符号化部１４の概略構成ブロック図を示す。ここでの、符号化方式としては、例えばＭＰＥＧ方式や、Ｈ．２６４符号化方式である。符号化部１４は、例えば、Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＨＤ：１９２０×１０８０）とＳｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ （ＳＤ：７２０×４８０）といった、解像度が異なる２種類の映像信号を符号化することができる。また、Ｈ．２６４符号化方式とＭＰＥＧ符号化方式の両機能を装備する場合、例えば、ＨＤ解像度画像をＨ．２６４符号化方式で符号化し、ＳＤ解像度画像をＭＰＥＧ符号化方式で符号化するというように、解像度毎に符号化方式を変更しても良い。

図１５に示す符号化部１４の構成と動作を説明する。ブロック分割部４０は、カメラ部１２からの映像信号をフレーム（画面）単位で所定サイズにブロックに分割し、ブロック単位で画像データを出力する。減算器４２は、予測符号化を適用しないブロックではブロック分割部４０の出力画像データをそのまま出力し、予測符号化を適用するブロックでは、ブロック分割部４０の出力画像データから予測値（予測画像データ）を減算して残差データを出力する。予測画像データの生成については後述する。

離散コサイン変換部４４は、減算器４２から出力データを離散コサイン変換（直交変換）して、変換係数を出力する。量子化部４６は、離散コサイン変換部４４からの変換係数を量子化スケールに基づき量子化する。量子化スケールを変化させることによって、量子化後の変換係数値は大きく変化し、発生符号量が変化する。すなわち、量子化スケールを変更することにより、圧縮率を制御できる。量子化部４６から出力される量子化変換係数は、可変長符号化部４８と逆量子化部５２に供給される。

量子化部４６から出力される量子化変換係数は予測画像データの生成に利用される。逆量子化部５２は、量子化部４６からの量子化変換係数を逆量子化し、変換係数代表値を出力する。逆離散コサイン変換部５４は、逆量子化部５２からの変換係数代表値を逆離散コサイン変換する。逆離散コサイン変換部５４の出力データは、予測符号化を適用しないブロックでは、画像データであり、予測符号化を適用するブロックでは、予測画像データからの残差データである。加算器５６は、予測符号化を適用しないブロックでは、逆離散コサイン変換部５４の出力データをそのまま出力する。他方、予測符号化を適用するブロックでは、加算器５６は、逆離散コサイン変換部５４の出力データに、減算器４２で減算したのと同じ予測画像データを加算する。加算器５６の出力データは、ローカルで復号化された画像データであり、再構成画像データと呼ぶ。

フレームメモリ５８は、複数フレーム分の画像データを記憶可能であり、加算器５６から出力される再構成画像データのうち、以降の予測で参照される可能性がある画像データを一時記憶する。動き検出部６０は、ブロック分割部４０から出力される符号化対象の現画像データと、フレームメモリ５８に記憶される参照画像データとを対比して、現画像データの動きベクトルを検出する。動き検出部６０は、検出した動きベクトル情報を動き補償部６２と可変長符号化部４８に供給する。動き補償部６２は、動き検出部６０により検出された動きベクトルに従い、フレームメモリ５８の参照画像データを動き補償し、予測画像データとして減算器４２及び加算器５６に供給する。

可変長符号化部４８は、量子化部４６からの量子化変換係数を可変長符号化して、動き検出部６０からの動きベクトル情報と共に、符号化ビットストリームを生成する。符号化ビットストリームは、符号量制御のために一旦、出力バッファ５０に溜められた後、符号化ビットストリーム記録部１６に出力される。符号化ビットストリーム記録部１６は、出力バッファ５０からの符号化ビットストリームを記録媒体に記録する。

符号量制御部６４は、映像品質決定部２０からの平均目標符号化ビットレート（目標ビットレート）と、出力バッファ５０からの符号量情報とに従い、符号化ビットレートが平均目標符号化ビットレートに近づくように量子化部４６の量子化スケールを制御する。本実施形態では、符号量制御方式は、映像品質の変動が小さい可変符号化ビットレート（ＶＢＲ）方式として説明するが、符号量制御方式は、これに限定されない。符号化ビットレートが一定の固定符号化ビットレート（ＣＢＲ）方式でも良い。

図１６、図１７、図１８、図１９及び図２０を参照して、映像品質決定部２０の作用を詳しく説明する。

図１６に示すように、撮影者Ａが撮像装置１０Ａを使ってシーンＡをＳＰモードで録画し、撮影者Ｂが撮像装置１０Ｂを使ってシーンＢをＸＰモードで録画したとする。撮像装置１０Ａ，１０Ｂは、撮像装置１０と同じ構成からなる。撮像装置１０Ａ，１０Ｂは、それぞれの映像品質情報送受信部２２により、例えば、ＩＥＥＥ ８０２．１１g規格等の無線通信ネットワークを介して映像品質情報を送受信している。本実施形態では、映像品質情報は、カメラ部１２から出力される映像信号の画像解像度と、符号化部１４の符号量制御部６４で使用される平均目標符号化ビットレートからなるが、映像品質情報は、この組み合わせに限定されない。例えば、カメラ信号処理部３６で処理され、映像の色味を決定するホワイトバランス情報、又は、映像の明るさを決定する露出調整等でもよく、これら全部を映像品質情報に含めても良い。

図１７は、表示部１８に表示される映像品質設定メニュー画面例（ａ），（ｂ），（ｃ）を示す。グループ撮影を開始する前に、まず、撮影者Ａ，Ｂは、図１７に示すようなメニュー画面で映像品質（画像解像度と平均目標符号化ビットレート）を設定する。本実施形態では、グループ撮影では、各撮像装置の映像品質を同じにするが、どの項目をどの時点で同じにする（共通化する）かで、事前設定モードと動的設定モードの２種類の動作モードを選択できる。

事前設定モードでは、グループに属する全撮像装置の画像解像度と平均目標符号化ビットレートの両方を事前に同じ設定に強制する。

動的設定モードでは、グループに属する全撮像装置の画像解像度を事前に同じ設定に強制するものの、平均目標符号化ビットレートが自由に設定可能である。但し、グループに属する他の撮像装置の撮影開始（記録開始）と終了（記録終了）に応じて動的に各撮像装置の平均目標符号化ビットレートを他の撮像装置のそれと、一定期間、合致させる。例えば、任意の撮像装置が撮影を開始している状況で他の撮像装置が撮影を開始すると、先に撮影を開始していた撮像装置の平均目標符号化ビットレートを一定期間、他の撮像装置のそれに合致させる。また、他の撮像装置が撮影を終了すると、残って撮影している撮像装置の映像品質を一定期間、撮影を終了した撮像装置のそれに合致させる。

画像解像度設定メニュー７０で、画像解像度を設定する。カメラ部１２は、設定された画像解像度の映像信号を出力する。画像解像度の設定値としては、例えば、ＨＤ解像度とＳＤ解像度がある。図１７（ａ）に示す例では、ＳＤ解像度が設定されている。図１７（ｂ）及び図１７（ｃ）に示す例では、ＨＤ解像度が設定されている。

共通化設定メニュー７２により、映像情報をグループ撮影に属する他の撮像装置と共通化するかどうかを設定する。これは、事前設定モード又は動的設定モードを選択設定するものである。記録モード設定メニュー７４では、符号化部１４の符号化処理による圧縮率を設定する。本実施形態では、圧縮率が低い順にＸＰモード、ＳＰモード又はＬＰモードを設定できる。

他方、共通化設定メニュー７２で記録モードを共通化することにした場合、事前設定モードが設定される。例えば、グループ撮影に参加する何れか１つの撮像装置が主となり、他の撮像装置は、主たる撮像装置の映像品質情報を受け取り、その映像品質情報と同じ映像品質情報を設定する。このようにして、グループ撮影に参加する全撮像装置の映像品質条件を事前に同じに設定できる。映像品質情報を共通化するタイミングとしては、撮影開始前にグループ撮影に参加する全撮像装置が集まった段階でもよく、通信経路を確保できるのであれば、個々の撮像装置の撮影開始前であってもよい。

他方、共通化設定メニュー７２で記録モードを共通化しないことにした場合、動的設定モードが選択されたことになる。即ち、グループ撮影に参加する複数の撮像装置間は、それぞれに設定された一般的には異なる映像品質情報（本実施形態では、平均目標符号化ビットレートが異なる）で撮影を実行できる。しかし、上述したように、グループ内の任意の撮像装置の開始又は終了に応じて、撮影中の他の撮像装置の平均目標符号化ビットレートが動的に、撮影を開始又は終了する撮像装置のそれに合致するように、一定期間、調整される。

図１７（ａ）に示す設定例では、記録モードを撮影グループで共通化し、ＸＰモードに設定している。図１７（ｂ）の例では、記録モードの共通化はせずに、ＳＰモードに設定している。図１７（ｃ）の例では、記録モードの共通化はせずに、ＸＰモードに設定している。説明例として、本実施形態では、記録モードがＸＰモードの時の平均目標符号化ビットレートを１５Ｍｂｐｓとする。記録モードがＳＰモードの時の平均目標符号化ビットレートを９Ｍｂｐｓとする。記録モードがＬＰモードの時の平均目標符号化ビットレートは３Ｍｂｐｓとする。

記録モードを共通化する事前設定モードでは、映像品質決定部２０は、共通化された記録モードに応じて平均目標符号化ビットレートを決定する。符号化部１４は、その平均目標符号化ビットレートで符号化ビットレートを制御する。他方、記録モードを共通化しない動的設定モードでは、映像品質決定部２０は、撮像装置毎に設定された記録モードに応じて平均目標符号化ビットレートを決定し、符号化部１４は、その平均目標符号化ビットレートで符号化ビットレートを制御する。

事前設定モードが選択された場合で、各撮像装置での映像品質を同等にする動作を具体的に説明する。即ち、図１７（ａ）に示す設定例では、事前設定モードが設定される。

同じ撮影グループに属する各撮像装置の映像品質決定部２０は、撮影開始前に、撮影グループの他の撮像装置の映像品質設定と同じ設定値が映像品質設定として設定されているか否かを判定する。具体的には、予め設定画面で行った画像解像度及び記録モードの設定と映像品質情報送受信部２２が受信した他の撮像装置の映像品質情報（画像解像度及び記録モード）の設定と同じかどうかを判定する。

もしグループ撮影に参加する撮像装置間で画像解像度又は記録モードの設定に違いがあれば、映像品質設定の相違を警告する警告メッセージを表示部１８に表示し、撮影者に映像品質設定の変更を促す。そのとき、撮影グループの映像品質設定を同時に表示部１８に表示するのが好ましい。例えば、グループ撮影に参加する複数の撮像装置のうち１台がＳＤ解像度を設定し、他の撮像装置がＨＤ解像度を設定していた場合、画像解像度をＳＤ解像度と設定している撮像装置の表示部１８に上記警告メッセージと画像解像度をＨＤ解像度にすべき旨を表示する。

図１８は、事前設定モードにある撮像装置１０Ａ，１０Ｂの撮影シーンと繋ぎ編集後のシーンの平均目標符号化ビットレートの変化例を示す模式図である。図１８（ａ）は撮像装置１０Ａの撮影状況を示す。図１８（ｂ）は撮像装置１０Ｂの撮影状況を示す。図１８（ｃ）は、撮像装置１０Ａによる時刻ｔ１〜ｔ２間のシーンとｔ３〜ｔ４間のシーンの間に、撮像装置１０Ｂによる時刻ｔ２〜ｔ３間のシーンを挿入した結果を示す。横軸は時間を示し、縦軸は、平均目標符号化ビットレートを示す。例えば、同じ被写体を撮像装置１０Ａ，１０Ｂで異なる方向又はズームで撮影し、これらの撮影シーンを同じ時間軸上で繋ぎたい場合を想定している。

事前設定モードでの映像品質情報の共通化により、撮像装置１０Ａ，１０Ｂは共に、ＳＤ解像度、ＸＰモードでの録画が事前設定されている。撮像装置１０Ａは、図１８（ａ）に示すように、時刻ｔ１から時刻ｔ４まで、ＳＤ解像度及びＸＰモードで撮影を行う。撮像装置１０Ｂは、図１８（ｂ）に示すように、時刻ｔ２から時刻ｔ３まで、ＳＤ解像度及びＸＰモードで撮影を行う。

撮像装置１０Ａ，１０Ｂの画像解像度及び記録モード（平均目標符号化ビットレート）が同じ設定になっているので、撮像装置１０Ａ，１０Ｂによる撮影画像の映像品質はほぼ同等である。従って、図１８（ｃ）に示すように、繋ぎ編集の後でも、平均目標符号化ビットレートがフラットになり、再生しても、繋ぎ目（時刻ｔ２の前後とｔ４の前後）で映像品質の相違が目立たなくなる。

次に、図１７（ｂ）又は図１７（ｃ）に示す設定のように、動的設定モードを設定した場合の、各撮像装置の映像品質を同等化する動作を説明する。

動的設定モードでは、撮影グループに属する各撮像装置の撮影者は、好みの記録モードを撮像装置に設定できる。但し、撮影グループに属する撮像装置は、通信可能圏に存在する必要があり、以下の動作例では、図１６に示す撮像装置１０Ａ，１０Ｂが、通信可能圏に存在するとする。

図１９は、動的設定モードにある撮像装置１０Ａ，１０Ｂの撮影シーンと繋ぎ編集後のシーンの平均目標符号化ビットレートの変化例を示す模式図である。図１９（ａ）は、撮像装置１０Ａの撮影状況を示す。図１９（ｂ）は、撮像装置１０Ｂの撮影状況を示す。図１９（ｃ）は、撮像装置１０Ａによる撮影シーンと撮像装置１０Ｂによる撮影シーンの第１のカット編集例を示し、図１９（ｄ）は、第２のカット編集例を示す。横軸は時間を示し、縦軸は、平均目標符号化ビットレートを示す。

撮像装置１０Ａは、図１７（ｂ）に示すように、画像解像度としてＨＤ解像度が設定され、記録モードとしてＳＰモードが設定されている。撮像装置１０Ｂは、図１７（ｃ）に示すように、画像解像度としてＨＤ解像度が設定され、記録モードとしてＸＰモードが設定されている。撮像装置１０Ａは、図１９（ａ）に示すように、時刻ｔ１に撮影を開始し、時刻ｔ６に撮影を終了する。撮像装置１０Ｂは、図１９（ｂ）に示すように、時刻ｔ２に撮影を開始し、時刻ｔ１０に撮影を終了する。

図１９（ａ）で、時刻ｔ１において、撮影者Ａが撮像装置１０Ａの撮影開始終了釦を押下したとする。撮像装置１０Ａの映像品質決定部２０は、カメラ部１２にＨＤ解像度を指示し、符号化部１４に平均目標符号化ビットレート９Ｍｂｐｓ（ＳＰモード）を指示し、撮影を開始する。

図１９（ｂ）で、時刻ｔ２において、撮影者Ｂが撮像装置１０Ｂの撮影開始終了釦を押下したとする。撮像装置１０Ｂの映像品質決定部２０は、カメラ部１２にＨＤ解像度を指示し、符号化部１４に平均目標符号化ビットレート１５Ｍｂｐｓを指示し、撮影を開始する。更に、撮像装置１０Ｂの映像品質情報送受信部２２は、平均目標符号化ビットレート１５Ｍｂｐｓという映像品質情報を、同じ撮影グループの撮像装置、ここでは撮像装置１０Ａに送信する。

撮像装置１０Ａの映像品質情報送受信部２２は、撮像装置１０Ｂから送信された映像品質情報を受信し、映像品質決定部２０に供給する（図１９（ａ）の時刻ｔ２）。映像品質決定部２０は、撮像装置１０Ｂの平均目標符号化ビットレートと同等になるように、徐々に平均目標符号化ビットレートを９Ｍｂｐｓから１５Ｍｂｐｓへと高くしていく。図１９（ａ）の時刻ｔ３に、撮像装置１０Ａにおける平均目標符号化ビットレートが１５Ｍｂｐｓになったとする。この後の所定期間、即ち、図１９（ａ）の時刻ｔ３からｔ４の期間、撮像装置１０Ａは、平均目標符号化ビットレート１５Ｍｂｐｓを維持する。時刻ｔ３からｔ４の期間、撮像装置１０Ａは、平均目標符号化ビットレート１５Ｍｂｐｓ（ＸＰモード）で撮影を行うので、撮像装置１０Ａ、１０Ｂの撮影画像の映像品質が同等になる。

平均目標符号化ビットレート維持期間（図１９（ａ）の時刻ｔ３からｔ４の期間）の終了後、撮像装置１０Ａの映像品質決定部２０は、平均目標符号化ビットレートを徐々に元の平均目標符号化ビットレートに戻す。図１９（ａ）に示す例では、時刻ｔ５に、元の平均目標符号化ビットレートである９Ｍｂｐｓに戻る。時刻ｔ２〜ｔ４及びｔ４〜ｔ５の期間は、平均目標符号化ビットレートの変化による画質の変化を目立たせないための緩和期間である。

図１９（ａ）で、時刻ｔ６に、撮影者Ａが撮像装置１０Ａの撮影開始終了釦を押下して、撮影を終了したとする。これに応じて、撮像装置１０Ａの映像品質情報送受信部２２は、設定されていた平均目標符号化ビットレート（ＳＰモード）を示す映像品質情報を同じ撮影グループの撮像装置、ここでは撮像装置１０Ｂに送信する。図１９（ｂ）で、時刻ｔ６に、撮像装置１０Ｂの映像品質情報送受信部２２は撮像装置１０Ａからの映像品質情報を受信し、映像品質決定部２０に供給する。撮像装置１０Ｂの映像品質決定部２０は、撮像装置１０Ａの映像品質と同等になるように、徐々に平均目標符号化ビットレートを１５Ｍｂｐｓから９Ｍｂｐｓへと下げていく。図１９（ｂ）の時刻ｔ７に、撮像装置１０Ｂにおける平均目標符号化ビットレートが９Ｍｂｐｓになったとする。この後の所定期間、即ち、図１９（ｂ）の時刻ｔ７からｔ８の期間、撮像装置１０Ｂは、平均目標符号化ビットレート９Ｍｂｐｓを維持する。時刻ｔ７からｔ８の期間、撮像装置１０Ｂは、平均目標符号化ビットレート９Ｍｂｐｓ（ＳＰモード）で撮影を行うので、撮像装置１０Ａ、１０Ｂの撮影画像の映像品質が同等になる。

平均目標符号化ビットレート維持期間（図１９（ｂ）の時刻ｔ７からｔ８の期間）の終了後、撮像装置１０Ｂの映像品質決定部２０は、平均目標符号化ビットレートを徐々に元の平均目標符号化ビットレートに戻す。図１９（ｂ）に示す例では、時刻ｔ９に、元の平均目標符号化ビットレートである１５Ｍｂｐｓに戻る。時刻t６〜t７及びｔ８〜ｔ９の期間は、時刻t２〜t３及びｔ４〜ｔ５の期間と同様、平均目標符号化ビットレートの変化による画質の変化を目立たせないための緩和期間といえる。

以上のように、本実施形態では、撮影グループ内の他の撮像装置の撮影開始や終了（又は、記録開始や終了）に応じて、平均目標符号化ビットレートを当該他の撮像装置のそれと一致させる維持期間と、その両側の緩和期間が設けられる。

図１９（ｃ）は、図１９（ａ），（ｂ）に示す撮影シーンの第１のカット編集例を示す。横軸は時間を示し、縦軸は平均目標符号化ビットレートを示す。図１９（ｃ）に示す例では、図１９（ａ）における時刻ｔ１〜ｔ３の撮像装置１０Ａの撮影シーンに、図１９（ｂ）における時刻ｔ３〜ｔ１０の撮像装置１０Ｂの撮影シーンを繋ぎあわせている。時刻ｔ３における撮像装置１０Ａの撮影シーンと撮像装置１０Ｂの撮影シーンの繋ぎ目では、撮像装置１０Ａと撮像装置１０Ｂの映像品質が同等になっている。従って、時刻ｔ３の前後において、映像品質の差が少なくなる。

図１９（ｄ）は、図１９（ａ），（ｂ）に示す撮影シーンの第２のカット編集例を示す。横軸は時間を示し、縦軸は平均目標符号化ビットレートを示す。図１９（ｄ）に示す編集例では、図１９（ａ）における時刻ｔ１〜ｔ６の撮像装置１０Ａの撮影シーンに、図１９（ｂ）における時刻ｔ７〜ｔ１０の撮像装置１０Ｂの撮影シーンを繋ぎあわせている。時刻ｔ６，ｔ７における撮像装置１０Ａの撮影シーンの終端（時刻ｔ６）と撮像装置１０Ｂの撮影シーンの始端（時刻ｔ７）の繋ぎ目では、先に説明した映像品質の共通化動作により映像品質が同等になっている。従って、繋ぎ目部分での映像品質の差が少なくなる。

このように、２つの符号化ビットストリームの映像品質が同等となる時刻ｔ３〜ｔ４の期間又は時刻ｔ７〜ｔ８の期間をカット編集する際の繋ぎ目とすることにより、編集後の符号化ビットストリームの繋ぎ目の映像品質の差が少なくなる。これにより、再生時の視聴者の違和感が低減される。

図２０は、本実施形態における映像品質共通化動作のフローチャートを示す。ステップＳ１として、グループ撮影を行いたい複数の撮像装置１０Ａ，１０Ｂ間で撮影グループを形成する。このグループ形成は、例えば、複数の撮像装置１０Ａ，１０Ｂ間で、グループＩＤを共有することにより形成する。次に、ステップＳ２として、各撮像装置において、映像品質を設定する。次に、ステップＳ３として、各撮像装置の映像品質決定部２０は、ステップＳ１で形成した撮影グループにおいて、映像品質設定が同じ設定値か否かを判定する。但し、ステップＳ３では、映像品質設定の設定情報のうち、共通化すると設定したものが同じ設定値かどうかを判定する。判定された映像品質設定が異なれば（ステップＳ３でＮｏ）、ステップＳ４としてその旨を警告し、ステップＳ２に戻り、再度の設定をユーザに促す。

判定された各撮像装置の映像品質設定が同じ設定値の場合（ステップＳ３でＹｅｓ）、ステップＳ５において、各撮像装置は撮影及び記録を開始できる状態となる。撮影開始後、映像品質決定部２０は、ステップＳ６において、映像品質設定のうち記録モードを共通化すると設定しているかどうかを調べる。共通化を設定している場合には（ステップＳ６でＹｅｓ）、事前設定モードに相当し、撮影グループに属する各撮像装置の映像品質設定は同じになっている。従って、この場合ステップＳ９に進み、先に説明したように、撮像装置１０の各部は設定済みの記録モードにしたがって設定される平均目標符号化ビットレートで映像の記録を開始する。

一方、映像品質設定のうち記録モードを共通化すると設定していない場合（ステップＳ６でＮｏ）、動的設定モードを選択したことになる。この場合、ステップＳ７として、映像品質決定部２０は、撮影グループに属する他の撮像装置の撮影開始又は終了を判定する。撮影グループに属する他の撮像装置の撮影開始又は終了を判定した場合（ステップＳ７でＹｅｓ）は、ステップＳ８として、映像品質決定部２０は、先に説明したように、符号化部１４の平均目標符号化ビットレートを他の撮像装置の平均目標符号化ビットレートに合わせる。勿論、平均目標符号化ビットレート維持期間の前後に緩和期間を設ける。そして、ステップＳ９として、撮像装置１０の各部はステップＳ８で設定された平均目標符号化ビットレートで映像の記録を開始する。なお、撮影グループに属する他の撮像装置の撮影開始も撮影終了も無ければ（ステップＳ７でＮｏ）、緩和期間を除いて、撮像装置１０の各部はステップＳ２で設定された平均目標符号化ビットレートで映像の記録を開始する（ステップＳ９）。

次に、ステップＳ１０において、映像品質決定部２０は、撮影が終了したか否かを判断する。この判断の結果、撮影が終了していない場合（ステップＳ１０でＮｏ）は、ステップＳ６に戻り、前述したステップＳ６〜Ｓ９の処理を繰り返す。一方、ステップＳ１０の判断の結果、撮影が終了した場合（ステップＳ１０でＹｅｓ）は、そのまま処理を終了する。

本実施形態によれば、ユーザが個別に手動で設定しなくても、符号化ビットストリームの映像品質を他の動画像符号化装置の映像品質と同等とすることができる。これにより、符号化ビットストリームをカット編集した場合において、映像の繋ぎ目の前後期間における映像品質の差が減少するという効果がある。

画像解像度を事前に共通の設定値に設定し、記録モードを事前又は動的に設定する実施形態を説明したが、記録モードを事前に同じモードに設定し、画像解像度を事前又は動的に設定してもよい。即ち、複数の要素を持つ映像品質情報の１又はいくつかの要素を撮影前に共通の設定値に設定し、残りの要素を事前又は動的に設定するようにしてもよい。

ＶＢＲ方式の動画像符号化装置の実施形態を説明したが、本発明は、固定符号化ビットレート方式の画像符号化方式にも適用可能である。その場合、上述の説明の平均目標符号化ビットレートを単に符号化ビットレートと読み替えれば良い。
（第３の実施形態）
図２２は、第３の実施形態として、本発明に係る動画像符号化装置を適用した撮像装置の機能構成例を示すブロック図である。本実施形態の撮像装置は、他の撮像装置で撮影される映像の映像品質と同等の映像品質で撮影を行うことができる。図２２において、図１３（第２の実施形態）と同様の構成要素には同一の符号を付し、説明を省略する。図１３との違いは、カメラ部１２と映像品質決定部２０とが接続されていないこと、及び、符号化部１４が符号化部２６に置き換わったことである。
［符号化部２６］
図２３は、符号化部２６の概略構成ブロック図を示す。ここでの、符号化方式としては、例えばＭＰＥＧ方式や、Ｈ．２６４符号化方式である。

図２３に示す符号化部２６の構成と動作を説明する。但し、図２３において、図１５（第２の実施形態における符号化部１４）と同様の構成要素には同一の符号を付し、説明を省略する。

符号化部２６において、第３の実施形態において、量子化部４６の量子化スケールを変更することにより、量子化誤差による画像劣化度合いが変化する。そのため、後述の符号化ＰＳＮＲの値が変化することになる。量子化部４６から出力される量子化変換係数は、可変長符号化部４８と逆量子化部５２に供給される。

符号化ＰＳＮＲ算出部６８は、加算器５６から出力された再構成画像データと、ブロック分割部４０から出力された映像信号と、における符号化ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を算出し、符号量制御部６４に出力する。ＰＳＮＲとは、映像信号とノイズとの比（Ｓ／Ｎ比）を表す。そして、符号化ＰＳＮＲは、Ｓ／Ｎ比に係る符号化の設定情報（パラメータ）を表わし、値が高いほど画質が良いとされる。

８ビット映像信号のＰＳＮＲの算出方法について式１を参照して説明する。式１において、Ｃｉは映像信号の各画素値、Ｄｉは再構成画像の各画素値を示す。ＮはＰＳＮＲを算出する画素値の個数である。本実施例では、符号化前の映像信号とローカルで復号化された再構成画像データとの比を算出しているため、この符号化ＰＳＮＲの値は、符号化による劣化度合いを表していることになる。
なお、ＰＳＮＲの算出に使用する映像信号の各画素値及び再構成画像の各画素値は、輝度信号もしくは色差信号の少なくともどちらか一方であるものとする。

符号量制御部６４は、符号化ＰＳＮＲ算出部６８から出力された符号化ＰＳＮＲの値が、映像品質決定部２０からの平均目標ＰＳＮＲに近づくように量子化部４６の量子化スケールを制御する。これにより、符号化による劣化度合いが変化し、符号化ＰＳＮＲが変化する。

図１６、図２４、図２５、図２６及び図２７を参照して、映像品質決定部２０の作用を詳しく説明する。

図１６に示すように、撮影者Ａが撮像装置１０Ａを使ってシーンＡを録画し、撮影者Ｂが撮像装置１０Ｂを使ってシーンＢを録画したとする。撮像装置１０Ａ，１０Ｂは、本実施形態における撮像装置１０と同じ構成からなる。撮像装置１０Ａ，１０Ｂは、それぞれの映像品質情報送受信部２２により、例えば、ＩＥＥＥ ８０２．１１g規格等の無線通信ネットワークを介して映像品質情報を送受信している。本実施形態では、映像品質情報は、平均目標ＰＳＮＲとなるが、映像品質情報は、これに限定されない。例えば、映像信号と再構成画像とでの高周波数領域成分の差でも良い。

図２４は、表示部１８に表示される映像品質設定メニュー画面例を示す。グループ撮影を開始する前に、まず、撮影者Ａ，Ｂは、図２４（ａ）〜（ｃ）に示すようなメニュー画面で映像品質（平均目標ＰＳＮＲ）を設定する。本実施形態では、グループ撮影では、各撮像装置の映像品質を同じにするが、どの項目をどの時点で同じにする（共通化する）かで、事前設定モードと動的設定モードの２種類の動作モードを選択できる。

事前設定モードでは、グループに属する全撮像装置の平均目標ＰＳＮＲを事前に同じ値に設定する。

動的設定モードでは、グループに属する各撮像装置の平均目標ＰＳＮＲを自由に設定可能である。但し、グループに属する他の撮像装置の撮影開始（記録開始）と終了（記録終了）に応じて動的に各撮像装置の平均目標ＰＳＮＲを他の撮像装置のそれと、一定期間、合致させる。例えば、任意の撮像装置が撮影を開始している状況で他の撮像装置が撮影を開始すると、先に撮影を開始していた撮像装置の平均目標ＰＳＮＲを一定期間、他の撮像装置のそれに合致させる。また、他の撮像装置が撮影を終了すると、残って撮影している撮像装置の映像品質を一定期間、撮影を終了した撮像装置のそれに合致させる。

共通化設定メニュー７２により、映像情報をグループ撮影に属する他の撮像装置と共通化するかどうかを設定する。これは、事前設定モード又は動的設定モードを選択設定するものである。平均目標ＰＳＮＲ設定メニュー７８では、符号化部２６において目標とする符号化ＰＳＮＲの値を設定する。

他方、共通化設定メニュー７２で平均目標ＰＳＮＲを共通化することにした場合、事前設定モードが設定される。例えば、グループ撮影に参加する何れか１つの撮像装置が主となり、他の撮像装置は、主たる撮像装置の映像品質情報を受け取り、その映像品質情報と同じ映像品質情報を設定する。このようにして、グループ撮影に参加する全撮像装置の映像品質条件を事前に同じに設定できる。映像品質情報を共通化するタイミングとしては、撮影開始前にグループ撮影に参加する全撮像装置が集まった段階でもよく、通信経路を確保できるのであれば、個々の撮像装置の撮影開始前であってもよい。

他方、共通化設定メニュー７２で平均目標ＰＳＮＲを共通化しないことにした場合、動的設定モードが選択されたことになる。即ち、グループ撮影に参加する複数の撮像装置間は、それぞれに設定された一般的には異なる映像品質情報（本実施形態では、平均目標ＰＳＮＲが異なる）で撮影を実行できる。しかし、上述したように、グループ内の任意の撮像装置の開始又は終了に応じて、撮影中の他の撮像装置の平均目標ＰＳＮＲが動的に、撮影を開始又は終了する撮像装置のそれに合致するように、一定期間、調整される。

図２４（ａ）に示す設定例では、平均目標ＰＳＮＲを撮影グループで共通化し、５０ｄＢに設定している。図２４（ｂ）の例では、平均目標ＰＳＮＲの共通化はせずに、３０ｄＢに設定している。図２４（ｃ）の例では、平均目標ＰＳＮＲの共通化はせずに、５０ｄＢに設定している。

平均目標ＰＳＮＲを共通化する事前設定モードでは、映像品質決定部２０は、共通化された平均目標ＰＳＮＲに応じて平均目標ＰＳＮＲを決定する。符号化部２６は、符号化ＰＳＮＲがその平均目標ＰＳＮＲに近づくよう量子化スケールを制御する。他方、平均目標ＰＳＮＲを共通化しない動的設定モードでは、映像品質決定部２０は、撮像装置毎に設定された平均目標ＰＳＮＲに応じて平均目標ＰＳＮＲを決定し、符号化部２６は、符号化ＰＳＮＲがその平均目標ＰＳＮＲに近づくよう量子化スケールを制御する。

事前設定モードが選択された場合で、各撮像装置での映像品質を同等にする動作を具体的に説明する。即ち、図２４（ａ）に示す設定例では、事前設定モードが設定される。

同じ撮影グループに属する各撮像装置の映像品質決定部２０は、撮影開始前に、撮影グループの他の撮像装置の映像品質設定と同じ設定値が映像品質設定として設定されているか否かを判定する。具体的には、予め設定画面で行った平均目標ＰＳＮＲの設定と映像品質情報送受信部２２が受信した他の撮像装置の映像品質情報（平均目標ＰＳＮＲ）の設定と同じかどうかを判定する。

もしグループ撮影に参加する撮像装置間で平均目標ＰＳＮＲの設定に違いがあれば、映像品質設定の相違を警告する警告メッセージを表示部１８に表示し、撮影者に映像品質設定の変更を促す。そのとき、撮影グループの映像品質設定を同時に表示部１８に表示するのが好ましい。例えば、グループ撮影に参加する複数の撮像装置のうち１台が平均目標ＰＳＮＲ３０ｄＢを設定し、他の撮像装置が平均目標ＰＳＮＲ５０ｄＢを設定していた場合、平均目標ＰＳＮＲを３０ｄＢと設定している撮像装置の表示部１８に上記警告メッセージと平均目標ＰＳＮＲを５０ｄＢにすべき旨を表示する。

図２５は、事前設定モードにある撮像装置１０Ａ，１０Ｂの撮影シーンと繋ぎ編集後のシーンの平均目標ＰＳＮＲの変化例を示す模式図である。図２５（ａ）は撮像装置１０Ａの撮影状況を示す。図２５（ｂ）は撮像装置１０Ｂの撮影状況を示す。図２５（ｃ）は、撮像装置１０Ａによる時刻ｔ１〜ｔ２間のシーンとｔ３〜ｔ４間のシーンの間に、撮像装置１０Ｂによる時刻ｔ２〜ｔ３間のシーンを挿入した結果を示す。横軸は時間を示し、縦軸は、平均目標ＰＳＮＲを示す。例えば、同じ被写体を撮像装置１０Ａ，１０Ｂで異なる方向又はズームで撮影し、これらの撮影シーンを同じ時間軸上で繋ぎたい場合を想定している。

事前設定モードでの映像品質情報の共通化により、撮像装置１０Ａ，１０Ｂは共に、平均目標ＰＳＮＲ＝５０ｄＢでの録画が事前設定されている。撮像装置１０Ａは、図２５（ａ）に示すように、時刻ｔ１から時刻ｔ４まで、平均目標ＰＳＮＲ５０ｄＢで撮影を行う。撮像装置１０Ｂは、図２５（ｂ）に示すように、時刻ｔ２から時刻ｔ３まで、平均目標ＰＳＮＲ５０ｄＢで撮影を行う。

撮像装置１０Ａ，１０Ｂの平均目標ＰＳＮＲが同じ設定になっているので、撮像装置１０Ａ，１０Ｂによる撮影画像の映像品質はほぼ同等である。従って、図２５（ｃ）に示すように、繋ぎ編集の後でも、平均目標ＰＳＮＲがフラットになり、再生しても、繋ぎ目（時刻ｔ２の前後とｔ４の前後）で映像品質の相違が目立たなくなる。

次に、図２４（ｂ）又は図２４（ｃ）に示す設定のように、動的設定モードを設定した場合の、各撮像装置の映像品質を同等化する動作を説明する。

動的設定モードでは、撮影グループに属する各撮像装置の撮影者は、好みの平均目標ＰＳＮＲを撮像装置に設定できる。但し、撮影グループに属する撮像装置は、通信可能圏に存在する必要があり、以下の動作例では、図１６に示す撮像装置１０Ａ，１０Ｂが、通信可能圏に存在するとする。

図２６は、動的設定モードにある撮像装置１０Ａ，１０Ｂの撮影シーンと繋ぎ編集後のシーンの平均目標ＰＳＮＲの変化例を示す模式図である。図２６（ａ）は、撮像装置１０Ａの撮影状況を示す。図２６（ｂ）は、撮像装置１０Ｂの撮影状況を示す。図２６（ｃ）は、撮像装置１０Ａによる撮影シーンと撮像装置１０Ｂによる撮影シーンの第１のカット編集例を示し、図２６（ｄ）は、第２のカット編集例を示す。横軸は時間を示し、縦軸は、平均目標符号化ビットレートを示す。

撮像装置１０Ａは、図２４（ｂ）に示すように、平均目標ＰＳＮＲとして３０ｄＢが設定されている。撮像装置１０Ｂは、図２４（ｃ）に示すように、平均目標ＰＳＮＲとして５０ｄＢが設定されている。撮像装置１０Ａは、図２６（ａ）に示すように、時刻ｔ１に撮影を開始し、時刻ｔ６に撮影を終了する。撮像装置１０Ｂは、図２６（ｂ）に示すように、時刻ｔ２に撮影を開始し、時刻ｔ１０に撮影を終了する。

図２６（ａ）で、時刻ｔ１において、撮影者Ａが撮像装置１０Ａの撮影開始終了釦を押下したとする。撮像装置１０Ａの映像品質決定部２０は、符号化部２６に平均目標ＰＳＮＲ３０ｄＢを指示し、撮影を開始する。

図２６（ｂ）で、時刻ｔ２において、撮影者Ｂが撮像装置１０Ｂの撮影開始終了釦を押下したとする。撮像装置１０Ｂの映像品質決定部２０は、符号化部２６に平均目標ＰＳＮＲ５０ｄＢを指示し、撮影を開始する。更に、撮像装置１０Ｂの映像品質情報送受信部２２は、平均目標ＰＳＮＲ５０ｄＢという映像品質情報を、同じ撮影グループの撮像装置、ここでは撮像装置１０Ａに送信する。

撮像装置１０Ａの映像品質情報送受信部２２は、撮像装置１０Ｂから送信された映像品質情報を受信し、映像品質決定部２０に供給する（図２６（ａ）の時刻ｔ２）。映像品質決定部２０は、撮像装置１０Ｂの平均目標ＰＳＮＲと同等になるように、徐々に平均目標ＰＳＮＲを３０ｄＢから５０ｄＢへと高くしていく。図２６（ａ）の時刻ｔ３に、撮像装置１０Ａにおける平均目標ＰＳＮＲが５０ｄＢになったとする。この後の所定期間、即ち、図２６（ａ）の時刻ｔ３からｔ４の期間、撮像装置１０Ａは、平均目標ＰＳＮＲ５０ｄＢを維持する。時刻ｔ３からｔ４の期間、撮像装置１０Ａは、平均目標ＰＳＮＲ５０ｄＢで撮影を行うので、撮像装置１０Ａ、１０Ｂの撮影画像の映像品質が同等になる。

平均目標ＰＳＮＲ維持期間（図２６（ａ）の時刻ｔ３からｔ４の期間）の終了後、撮像装置１０Ａの映像品質決定部２０は、平均目標ＰＳＮＲを徐々に元の平均目標ＰＳＮＲに戻す。図２６（ａ）に示す例では、時刻ｔ５に、元の平均目標ＰＳＮＲである３０ｄＢに戻る。時刻ｔ２〜ｔ４及びｔ４〜ｔ５の期間は、平均目標ＰＳＮＲの変化による画質の変化を目立たせないための緩和期間である。

図２６（ａ）で、時刻ｔ６に、撮影者Ａが撮像装置１０Ａの撮影開始終了釦を押下して、撮影を終了したとする。これに応じて、撮像装置１０Ａの映像品質情報送受信部２２は、設定されていた平均目標ＰＳＮＲ（３０ｄＢ）を示す映像品質情報を同じ撮影グループの撮像装置、ここでは撮像装置１０Ｂに送信する。図２６（ｂ）で、時刻ｔ６に、撮像装置１０Ｂの映像品質情報送受信部２２は撮像装置１０Ａからの映像品質情報を受信し、映像品質決定部２０に供給する。撮像装置１０Ｂの映像品質決定部２０は、撮像装置１０Ａの映像品質と同等になるように、徐々に平均目標ＰＳＮＲを５０ｄＢから３０ｄＢへと下げていく。図２６（ｂ）の時刻ｔ７に、撮像装置１０Ｂにおける平均目標ＰＳＮＲが３０ｄＢになったとする。この後の所定期間、即ち、図２６（ｂ）の時刻ｔ７からｔ８の期間、撮像装置１０Ｂは、平均目標ＰＳＮＲ３０ｄＢを維持する。時刻ｔ７からｔ８の期間、撮像装置１０Ｂは、平均目標ＰＳＮＲ３０ｄＢで撮影を行うので、撮像装置１０Ａ、１０Ｂの撮影画像の映像品質が同等になる。

平均目標ＰＳＮＲ維持期間（図２６（ｂ）の時刻ｔ７からｔ８の期間）の終了後、撮像装置１０Ｂの映像品質決定部２０は、平均目標ＰＳＮＲを徐々に元の平均目標ＰＳＮＲに戻す。図２６（ｂ）に示す例では、時刻ｔ９に、元の平均目標ＰＳＮＲである５０ｄＢに戻る。時刻t６〜t７及びｔ８〜ｔ９の期間は、時刻t２〜t３及びｔ４〜ｔ５の期間と同様、平均目標ＰＳＮＲの変化による画質の変化を目立たせないための緩和期間といえる。

以上のように、本実施形態では、撮影グループ内の他の撮像装置の撮影開始や終了（又は、記録開始や終了）に応じて、平均目標ＰＳＮＲを当該他の撮像装置のそれと一致させる維持期間と、その両側の緩和期間が設けられる。

図２６（ｃ）は、図２６（ａ）（ｂ）に示す撮影シーンの第１のカット編集例を示す。横軸は時間を示し、縦軸は平均目標ＰＳＮＲを示す。図２６（ｃ）に示す例では、図２６（ａ）における時刻ｔ１〜ｔ３の撮像装置１０Ａの撮影シーンに、図２６（ｂ）における時刻ｔ３〜ｔ１０の撮像装置１０Ｂの撮影シーンを繋ぎあわせている。時刻ｔ３における撮像装置１０Ａの撮影シーンと撮像装置１０Ｂの撮影シーンの繋ぎ目では、撮像装置１０Ａと撮像装置１０Ｂの映像品質が同等になっている。従って、時刻ｔ３の前後において、映像品質の差が少なくなる。

図２６（ｄ）は、図２６（ａ）（ｂ）に示す撮影シーンの第２のカット編集例を示す。横軸は時間を示し、縦軸は平均目標ＰＳＮＲを示す。図２６（ｄ）に示す編集例では、図２６（ａ）における時刻ｔ１〜ｔ６の撮像装置１０Ａの撮影シーンに、図２６（ｂ）における時刻ｔ７〜ｔ１０の撮像装置１０Ｂの撮影シーンを繋ぎあわせている。時刻ｔ６，ｔ７における撮像装置１０Ａの撮影シーンの終端（時刻ｔ６）と撮像装置１０Ｂの撮影シーンの始端（時刻ｔ７）の繋ぎ目では、先に説明した映像品質の共通化動作により映像品質が同等になっている。従って、繋ぎ目部分での映像品質の差が少なくなる。

このように、２つの符号化ビットストリームの映像品質が同等となる時刻ｔ３〜ｔ４の期間又は時刻ｔ７〜ｔ８の期間をカット編集する際の繋ぎ目とすることにより、編集後の符号化ビットストリームの繋ぎ目の映像品質の差が少なくなる。これにより、再生時の視聴者の違和感が低減される。

図２７は、本実施形態における映像品質共通化動作のフローチャートを示す。図２７において、図２０（第２の実施形態）と同様の処理が行われるステップには同一の符号を付し、説明を省略する。但し、ステップＳ２において設定される映像品質設定には、平均目標ＰＳＮＲが含まれる。

ステップＳ５における撮影開始後、映像品質決定部２０は、ステップＳ１６において、映像品質設定のうち平均目標ＰＳＮＲを共通化すると設定しているかどうかを調べる。共通化を設定している場合には（ステップＳ１６でＹｅｓ）、事前設定モードに相当し、撮影グループに属する各撮像装置の映像品質設定は同じになっている。従って、この場合ステップＳ１９に進み、先に説明したように、撮像装置１０の各部は設定済みの平均目標ＰＳＮＲにしたがって設定される平均目標ＰＳＮＲで映像の記録を開始する。

一方、映像品質設定のうち平均目標ＰＳＮＲを共通化すると設定していない場合（ステップＳ１６でＮｏ）、動的設定モードを選択したことになる。この場合、ステップＳ１７として、映像品質決定部２０は、撮影グループに属する他の撮像装置の撮影開始又は終了を判定する。撮影グループに属する他の撮像装置の撮影開始又は終了を判定した場合（ステップＳ１７でＹｅｓ）は、ステップＳ１８として、映像品質決定部２０は、先に説明したように、符号化部２６の平均目標ＰＳＮＲを他の撮像装置の平均目標ＰＳＮＲに合わせる。勿論、平均目標ＰＳＮＲ維持期間の前後に緩和期間を設ける。そして、ステップＳ１９として、撮像装置１０の各部はステップＳ１８で設定された平均目標ＰＳＮＲで映像の記録を開始する。なお、撮影グループに属する他の撮像装置の撮影開始も撮影終了も無ければ（ステップＳ１７でＮｏ）、緩和期間を除いて、撮像装置１０の各部はステップＳ２で設定された平均目標ＰＳＮＲで映像の記録を開始する（ステップＳ１９）。

次に、ステップＳ２０において、映像品質決定部２０は、撮影が終了したか否かを判断する。この判断の結果、撮影が終了していない場合（ステップＳ２０でＮｏ）は、ステップＳ１６に戻り、前述したステップＳ１６〜Ｓ１９の処理を繰り返す。一方、ステップＳ２０の判断の結果、撮影が終了した場合（ステップＳ２０でＹｅｓ）は、そのまま処理を終了する。

本実施形態によれば、ユーザが個別に手動で設定しなくても、符号化ビットストリームの映像品質を他の動画像符号化装置の映像品質と同等とすることができる。これにより、符号化ビットストリームをカット編集した場合において、映像の繋ぎ目の前後期間における映像品質の差が減少するという効果がある。
（その他の実施形態）
上述した各実施形態の機能を実現するためには、各機能を具現化したソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって、上述した各実施形態の機能が実現される。この場合、記録媒体から読み出されたプログラムコード自体が上述した各実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、上述した各実施形態の機能を実現するための構成は、コンピュータが読み出したプログラムコードを実行することだけには限られない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含まれている。

更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上述した各実施形態の機能が実現される場合も含むものである。

Claims (21)

1. 動画像符号化装置であって、
   被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化手段と、
   前記符号化手段で行われる符号化処理に係る設定を行う設定手段と、
   前記設定手段による設定情報を外部の動画像符号化装置に対して送信する送信手段と、
   前記外部の動画像符号化装置から送信された符号化処理に係る設定情報を受信する受信手段と、
   前記設定手段による第１の設定と、前記受信手段によって受信した設定情報に基づく第２の設定とに従って前記符号化手段で行われる符号化処理を制御する符号化制御手段とを備えることを特徴とする動画像符号化装置。
2. 前記符号化手段は、生成する符号化ビットストリーム中にランダムアクセスが可能な基準フレームを挿入することが可能であって、
   前記符号化制御手段は、前記第１の設定及び前記第２の設定に従って、前記符号化手段に前記基準フレームを生成させることを特徴とする請求項１に記載の動画像符号化装置。
3. 前記受信手段によって受信される設定情報は、前記外部の動画像符号化装置において前記基準フレームが設定されたことを示す情報であることを特徴とする請求項２に記載の動画像符号化装置。
4. 前記設定手段は、前記受信手段により受信した設定情報、及び、前記撮像部の制御情報に基づき、前記基準フレームを設定するか否かを判定する判定手段を有することを特徴とする請求項２に記載の動画像符号化装置。
5. 前記設定手段は、前記撮像部の制御情報、及び前記撮像部から出力される動画像データのうち少なくとも一方の情報に基づいて前記基準フレームを設定するか否かを判定する判定手段を有し、
   前記判定手段により前記基準フレームを設定すると判定された場合、前記設定手段は、前記符号化制御手段に対して前記基準フレームの設定を指示すると共に、前記送信手段を介して前記基準フレームの設定情報を前記外部の動画像符号化装置に送信することを特徴とする請求項２に記載の動画像符号化装置。
6. 前記設定手段は、撮影開始、撮影終了、記録開始、記録終了、シーンチェンジ、撮影条件の変更のうち、少なくとも１つが検出された場合に、前記送信手段を介して前記基準フレームの設定情報を前記外部の動画像符号化装置に送信することを特徴とする請求項２に記載の動画像符号化装置。
7. 前記符号化制御手段は、前記第１の設定及び前記第２の設定に従って、前記符号化手段により生成される符号化ビットストリームの映像品質を制御することを特徴とする請求項１に記載の動画像符号化装置。
8. 前記受信手段によって受信される設定情報は、前記外部の動画像符号化装置において生成される符号化ビットストリームの映像品質を示す情報であることを特徴とする請求項７に記載の動画像符号化装置。
9. 前記受信手段によって受信される設定情報は、前記外部の動画像符号化装置における符号化ビットレートの設定情報であることを特徴とする請求項７に記載の動画像符号化装置。
10. 前記符号化制御手段は、前記符号化ビットストリームの目標ビットレートを、前記受信手段によって受信した設定情報によって示される符号化ビットレートに合わせるよう制御することを特徴とする請求項９に記載の動画像符号化装置。
11. 前記受信手段によって受信される設定情報は、前記外部の動画像符号化装置におけるＳ／Ｎ比に係る設定情報であることを特徴とする請求項７に記載の動画像符号化装置。
12. 前記符号化制御手段は、前記符号化ビットストリームの目標とするＳ／Ｎ比の値を、前記受信手段によって受信した設定情報によって示されるＳ／Ｎ比の値に合わせるよう制御することを特徴とする請求項１１に記載の動画像符号化装置。
13. 前記設定手段は、撮影開始、撮影終了、記録開始、記録終了のうち、少なくとも１つが検出された場合に、前記送信手段を介して前記符号化ビットストリームの映像品質を設定するための情報を前記外部の動画像符号化装置に送信することを特徴とする請求項７に記載の動画像符号化装置。
14. 動画像符号化装置であって、
    被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化手段と、
    ネットワークを介してグループ化された外部の動画像符号化装置と符号化設定情報を送受信する送受信手段と、
    前記送受信手段によって送受信される符号化設定情報に基づいて、前記外部の動画像符号化装置で行われた基準フレームの設定に合わせて、前記符号化手段で生成される符号化ビットストリーム中に基準フレームを設定するよう制御する符号化制御手段とを備えることを特徴とする動画像符号化装置。
15. 動画像符号化装置であって、
    被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化手段と、
    ネットワークを介してグループ化された外部の動画像符号化装置と符号化設定情報を送受信する送受信手段と、
    前記送受信手段によって送受信される符号化設定情報に基づいて、前記外部の動画像符号化装置で設定された映像品質に合わせて、前記符号化手段で生成される符号化ビットストリームの映像品質を調整する符号化制御手段とを備えることを特徴とする動画像符号化装置。
16. 動画像符号化装置における動画像符号化方法であって、
    被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化工程と、
    前記符号化工程で行われる符号化処理に係る設定を行う設定工程と、
    前記設定工程による設定情報を外部の動画像符号化装置に対して送信する送信工程と、
    前記外部の動画像符号化装置から送信された符号化処理に係る設定情報を受信する受信工程と、
    前記設定工程による第１の設定と、前記受信工程によって受信した設定情報に基づく第２の設定とに従って前記符号化工程で行われる符号化処理を制御する符号化制御工程とを備えることを特徴とする動画像符号化方法。
17. 動画像符号化装置における動画像符号化方法であって、
    被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化工程と、
    ネットワークを介してグループ化された外部の動画像符号化装置と符号化設定情報を送受信する送受信工程と、
    前記送受信工程によって送受信される符号化設定情報に基づいて、前記外部の動画像符号化装置で行われた基準フレームの設定に合わせて、前記符号化工程で生成される符号化ビットストリーム中に基準フレームを設定するよう制御する符号化制御工程とを備えることを特徴とする動画像符号化方法。
18. 動画像符号化装置における動画像符号化方法であって、
    被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化工程と、
    ネットワークを介してグループ化された外部の動画像符号化装置と符号化設定情報を送受信する送受信工程と、
    前記送受信工程によって送受信される符号化設定情報に基づいて、前記外部の動画像符号化装置で設定された映像品質に合わせて、前記符号化工程で生成される符号化ビットストリームの映像品質を調整する符号化制御工程とを備えることを特徴とする動画像符号化方法。
19. 動画像符号化装置のコンピュータを、
    被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化手段と、
    前記符号化手段で行われる符号化処理に係る設定を行う設定手段と、
    前記設定手段による設定情報を外部の動画像符号化装置に対して送信する送信手段と、
    前記外部の動画像符号化装置から送信された符号化処理に係る設定情報を受信する受信手段と、
    前記設定手段による第１の設定と、前記受信手段によって受信した設定情報に基づく第２の設定とに従って前記符号化手段で行われる符号化処理を制御する符号化制御手段と、
    して機能させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
20. 動画像符号化装置のコンピュータを、
    被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化手段と、
    ネットワークを介してグループ化された外部の動画像符号化装置と符号化設定情報を送受信する送受信手段と、
    前記送受信手段によって送受信される符号化設定情報に基づいて、前記外部の動画像符号化装置で行われた基準フレームの設定に合わせて、前記符号化手段で生成される符号化ビットストリーム中に基準フレームを設定するよう制御する符号化制御手段と、
    して機能させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
21. 動画像符号化装置のコンピュータを、
    被写体像を撮像する撮像部より入力される動画像データを、フレーム間予測を用いて符号化し、符号化ビットストリームを生成する符号化手段と、
    ネットワークを介してグループ化された外部の動画像符号化装置と符号化設定情報を送受信する送受信手段と、
    前記送受信手段によって送受信される符号化設定情報に基づいて、前記外部の動画像符号化装置で設定された映像品質に合わせて、前記符号化手段で生成される符号化ビットストリームの映像品質を調整する符号化制御手段と、
    して機能させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。