JP2006295492A - 画像処理装置 - Google Patents

Abstract

【課題】 ＨＤ画像信号及びＳＤ画像信号に対して符号化が可能で、ＨＤ画像信号を符号化するために複数の符号化用プロセッサを備える画像処理装置において、ＳＤ画像信号に対してより高画質な符号化を行うことができる画像処理装置を提供する。
【解決手段】 ＳＤ画像信号を符号化する場合に、コントローラ１２０は、ＳＤコア１０８〜ＳＤコア１０９へＳＤ画像信号を入力するようにスイッチ１０２、１０３を制御し、ＳＤコア１０８〜ＳＤコア１０９に対して各々異なる符号化パラメータ値を設定する。判定回路１１３は、ＳＤコア１０８〜ＳＤコア１０９から出力された映像符号化信号１１０〜１１１及びＳＤ画像信号を利用することで各映像符号化信号の画質を判断し、当該判断に応じて最適な符号化パラメータ値を特定し、特定した符号化パラメータ値が設定されたＳＤコアの出力する映像符号化信号を選択して出力するようスイッチ１１２を制御する。
【選択図】 図１

Description

本発明は、動画像信号の符号化を行う画像処理装置に関するものである。

近年、デジタルビデオカメラやデジタルテレビではハイビジョン化（高解像度化）の流れが進行している。そして、高解像度画像（ＨＤ画像）信号をＭＰＥＧやＨ．２６４等の高能率符号化方式で記録するハイビジョン用撮像装置に対する需要が大きくなっている。またハイビジョン用撮像装置は、ＨＤ画像のみを記録するだけでなく、標準解像度画像（ＳＤ画像）も記録可能であることが仕様として要求されている。

ＨＤ画像信号を符号化する場合には、解像度、即ち１画面あたりの画素数がＳＤ画像信号に比べて多いため、従来、１画面を複数の領域に分割してそれぞれ異なるプロセッサにより符号化している（例えば、特許文献１参照）。

特開２００１−３４６２０１号公報

前述の様に、従来はＨＤ画像信号を複数のプロセッサにより符号化していたが、同じ符号化回路を使ってＳＤ画像信号を符号化する場合には、複数の符号化用プロセッサのうちの一部のみを使えばよく、せっかく複数のプロセッサを持っているにも関わらず、有効に活用できていないという問題がある。

本発明は、上述した事情を考慮してなされたもので、ＨＤ画像信号及びＳＤ画像信号に対して符号化が可能で、ＨＤ画像信号を符号化するために複数の符号化用プロセッサを備える画像処理装置において、ＳＤ画像信号に対してより高画質な符号化を行うことができる画像処理装置を提供することを目的とする。

この発明は、上述した課題を解決すべくなされたもので、本発明による画像処理装置においては、第１の解像度を有する第１の動画像信号、及び、第１の解像度よりも高い解像度を有する第２の動画像信号を符号化処理可能な画像処理装置であって、第１の動画像信号を符号化する第１の処理モードと、第２の動画像信号を符号化処理する第２の処理モードとの判断を行うモード判断手段と、第１の動画像信号をリアルタイムに符号化して動画符号化信号を出力する符号化手段を複数備え、第２の動画像信号をリアルタイムに符号化可能な符号化手段群と、第１の動画像信号、又は、第２の動画像信号を複数の符号化手段へ入力する入力手段と、モード判断手段が第１の処理モードと判断した場合に、複数の符号化手段に対して並列に第１の動画像信号を入力するように入力手段を制御する入力制御手段と、モード判断手段が第１の処理モードと判断した場合に、複数の符号化手段に対して各々異なる符号化パラメータ値を設定するパラメータ設定手段と、モード判断手段が第１の処理モードと判断した場合に、パラメータ設定手段が異なる符号化パラメータ値を設定した各符号化手段から出力された動画符号化信号、各符号化手段の符号化処理の過程で得られる各種符号化情報、及び第１の動画像信号のいずれか１つ又は複数を組み合せて利用することで複数の符号化手段から出力される動画符号化信号の画質を判断し、当該判断に応じて最適な符号化パラメータ値を特定する特定手段と、特定手段が特定した符号化パラメータ値が設定された符号化手段が出力する動画符号化信号を、出力対象信号として出力する出力制御手段とを具備することを特徴とする。

本発明による画像処理装置は、ＨＤ画像信号及びＳＤ画像信号に対して符号化が可能で、ＨＤ画像信号を符号化するために複数の符号化用プロセッサを備える画像処理装置において、ＳＤ画像信号に対してより高画質な符号化を行うことができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態における画像処理装置として、ＨＤ画像（高解像度の動画像）及びＳＤ画像（標準解像度の動画像）を撮像して記録媒体に記録可能なビデオカメラ（撮像機能を有する画像処理装置）について以下に説明を行う。図１は、本発明の第１の実施形態におけるビデオカメラの概略構成を示す図である。図１に示すように、本実施形態のビデオカメラ（撮像装置）は、ＳＤ画像の動画像信号をリアルタイムで（フレームの欠落などがなく）符号化可能な回路であるＳＤコア（符号化用プロセッサ）をＮ個（Ｎは２以上の整数）組み合わせてＨＤの動画像信号をリアルタイムに符号化して記録する撮像装置を例にとって説明する。

尚、本実施形態のＨＤ画像信号（高解像度の動画像信号）とは例えばハイビジョン映像信号であり、ＳＤ画像信号（標準解像度の動画像信号）とは、例えば通常のテレビ映像（ＮＴＳＣ準拠の映像）信号である。そして、本実施形態のビデオカメラの動作モードには、撮像したＨＤ画像信号に対して符号化を行い記録媒体に記録するＨＤ記録モードと、撮像したＳＤ画像信号に対して符号化を行い記録媒体に記録するＳＤ記録モードとがある。

図１において、１０１は撮像部であり、光学系や撮像素子から構成され、ＨＤ画像信号又はＳＤ画像信号（ディジタル信号）を出力する。１０２、１０３はスイッチであり、後述するコントローラ１２０の制御に応じて、撮像部１０１の出力信号（ＨＤ画像信号又はＳＤ画像信号）の伝達先となるバッファを切り替える。

１０４はフレームバッファである。フレームバッファ１０４は、バッファ１０５〜バッファ１０６のＮ個の記憶領域から構成される。なお、図１において、バッファ１０５、バッファ１０６以外のバッファは省略して図示していない。また、バッファ１０５〜バッファ１０６に示すＮ個の各バッファは、ＳＤ画像信号の１フレーム分を記録可能な容量のバッファである。そして、バッファ１０５〜バッファ１０６を全て加算した記憶容量が、ＨＤ画像信号の１フレーム分を記録可能な容量である。すなわち、１フレーム分のＨＤ画像信号を分割してバッファ１０５〜バッファ１０６に格納する。

１０７は、ＨＤ信号符号化回路であり、ＳＤ画像信号をリアルタイムに符号化可能な回路であるＳＤコア１０８〜ＳＤコア１０９をＮ個配列した構成である。なお、ＳＤコア１０８、ＳＤコア１０９以外のＳＤコアは省略して図示していない。Ｎ個のＳＤコア１０８〜ＳＤコア１０９は、各バッファ１０５〜バッファ１０６に対応して設置されている。これらＮ個のＳＤコア１０８〜ＳＤコア１０９を同時に使用することで、ＨＤ画像信号をリアルタイムに符号化することができる。

１１０は、ＳＤコア１０８で符号化された映像符号化信号である。１１１は、ＳＤコア１０９で符号化された映像符号化信号である。すなわち、Ｎ個のＳＤコア１０８〜ＳＤコア１０９は、映像符号化信号１１０〜映像符号化信号１１１を出力する。なお、図１において、ＳＤコア１０８、ＳＤコア１０９以外のＳＤコアから出力された信号は省略のため図示していない。

１１２はスイッチであり、判定回路１１３の制御に応じて、Ｎ個のＳＤコア１０８〜ＳＤコア１０９が出力する映像符号化信号１１０〜映像符号化信号１１１の内のいずれか１つを選択して出力する。１１３は、判定回路であり、コントローラ１２０の制御と、映像符号化信号１１０〜映像符号化信号１１１及び撮像部１０１の出力信号に応じて、スイッチ１１２を制御する制御信号を出力する。例えば、判定回路１１３は、映像符号化信号１１０〜映像符号化信号１１１ならびに撮像部１０１からの入力信号（ＳＤ画像信号）を用いて映像符号化信号１１０〜映像符号化信号１１１のＳＮ比などを算出して、この値を基に、スイッチ１１２の制御を行う。具体的には、判定回路１１３は、映像符号化信号１１０〜映像符号化信号１１１を復号処理して、源信号であるＳＤ画像信号と比較することでＳＮ比を求める。

１１４は、スイッチ１１２が出力する信号（映像符号化信号１１０〜映像符号化信号１１１のいずれか）を一時保存するビデオストリームバッファである。１１５は、本ビデオカメラに具備されているマイクである。１１６は、音声信号符号化回路であり、マイク１１５から入力された音声信号の符号化を行い、音声符号化信号を出力する。１１７は、音声符号化回路１１６で符号化された音声符号化信号を一時保存するオーディオストリームバッファである。

１１８は記録回路であり、ビデオストリームバッファ１１４に保存された映像符号化信号とオーディオストリームバッファ１１７に保存された音声符号化信号を多重化し、光ディスクや磁気テープなどの記録媒体１１９に記録する。

１２０は、コントローラであり、本ビデオカメラ全体ならびにスイッチ１０２、１０３、ＨＤ符号化回路１０７、ＳＤコア１０８からＳＤコア１０９、判定回路１１３を制御する。１２１は、電源スイッチや記録する画像の解像度を設定する設定スイッチや、記録の開始、停止を指示するトリガスイッチなどを含む操作部である。操作部１２１は、ユーザの操作に応じた信号をコントローラ１２０へ出力する。

本実施形態のビデオカメラの映像信号符号化方式は、例えばＭＰＥＧやＨ．２６４などが好適であり、音声信号符号化方式は、例えばＭＰＥＧオーディオならびにＡＣ３、ＡＡＣなどが好適であるが、この限りではなく、映像信号や音声信号を効率良く符号化する高能率符号化方式であればよい。すなわち、ＳＤコア１０８〜１０９は、ＳＤ画像信号やＨＤ画像信号を直交変換（ＤＣＴ）して直交変換係数（ＤＣＴ係数）を出力する直交変換部と、直交変換部が出力する直交変換係数を設定された量子化ステップ幅で量子化する量子化部とを少なくとも具備する。また、ＳＤコア１０８〜１０９に対しては、符号化パラメータにより、符号化時の目標符号量、量子化ステップ幅、ＤＣＴタイプなどを設定することが可能である。

次に、図１に示した第１の実施形態におけるビデオカメラの映像記録処理について説明する。図２は、図１に示した第１の実施形態におけるビデオカメラの映像記録処理を示すフローチャートである。尚、図２では、説明文ならびにフローチャートの簡略化のため２個のＳＤコア（ＳＤコア１０８及びＳＤコア１０９）を使用している形態について説明するが、実際はＮ個のＳＤコアを使用している。

まず、図２の処理の前に、ユーザは操作部１２１を操作して、本ビデオカメラに対して電源を投入した後に、記録する画像の解像度を決定する。これにより、ステップＳ２０１において、コントローラ１２０は、起動処理時にＳＤ記録モードであるか、又は、ＨＤ記録モードであるかを判断する。ここで、操作部１２１の操作によりＳＤ記録モードが設定されていた場合には、ステップＳ２０２に進み、コントローラ１２０は、記録モードをＳＤ記録モードに制御する。また、ＨＤ記録モードが設定されていた場合には、ステップＳ２１０に進み、コントローラ１２０は、記録モードをＨＤ記録モードになる。

まず記録モードがＳＤ記録モード時の本ビデオカメラの動作を説明する。ステップＳ２０２において本ビデオカメラの記録モードがＳＤ記録モードになった後、ステップＳ２０３において、コントローラ１２０は、記録開始待ち状態になる。ここで、ユーザが操作部１２１において記録開始操作を行うと、コントローラ１２０は、必要ブロックに対して記録開始命令を与えて、ステップＳ２０４以降のＳＤ画像信号の符号化及び記録処理を開始する。

次に、ステップＳ２０４において、コントローラ１２０は、撮像部１０１から入力されたＳＤ画像信号がバッファ１０５〜バッファ１０６に保存されるように、スイッチ１０２ならびにスイッチ１０３を制御して切り替える。このときバッファ１０５〜バッファ１０６には同一のデータ（１フレーム分のＳＤ画像信号）が保存されている。コントローラ１２０は、ＳＤ記録モードが設定されると、ＳＤコア１０８〜１０９に対して異なる符号化パラメータ値を設定する。バッファ１０５〜バッファ１０６に保存されたＳＤ画像信号は各々異なる符号化パラメータ値を与えられたＳＤコア１０８〜ＳＤコア１０９に入力される。これにより、ＳＤコア１０８からは映像符号化信号１１０が、ＳＤコア１０９からは映像符号化信号１１１が出力される。

ここで各々のＳＤコア１０８〜１０９に与える符号化パラメータを説明する。
一つ目の符号化パラメータは目標符号量である。ＳＤコア１０８とＳＤコア１０９に対するＧＯＰの目標符号量は同じに設定するが、各ピクチャ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の目標符号量配分をＳＤコア１０８とＳＤコア１０９で異なるものにする。例えば、ＳＤコア１０８には、各ピクチャの目標符号量の割合を所謂ＴＭ５（ＭＰＥＧ Ｔｅｓｔ Ｍｏｄｅｌ ５）のようにピクチャの複雑さなどを用いて算出した結果得られた目標符号量を設定する。また、ＳＤコア１０９には、ＳＤコア１０８におけるＩピクチャとＰ，Ｂピクチャの符号量目標値の割合に対し、ＰピクチャやＢピクチャに対する目標符号量を多めに設定する。以上の設定により、動きの大きい映像信号に対しては、ＰならびにＢピクチャに対する符号量が多く必要となるためＳＤコア１０９のような目標符号量配分だと画質の向上が行えることになる。

ただし、符号化パラメータを目標符号量とした時はピクチャ単位でスイッチ１１２の切り替えを行うとＧＯＰの目標符号量と実際符号化を行って発生したＧＯＰの発生符号量に大きな差ができてしまいＶＢＶバッファの破綻を起こしてしまう。よって目標符号量を符号化パラメータとする場合にはＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）単位でスイッチ１１２の切り替えを行うものとする。

二つ目の符号化パラメータは量子化ステップ幅である。ＳＤコア１０８に対してはアクティビティを用いて算出した量子化ステップ幅を用いる。発生符号量に基づいて算出した量子化ステップ幅に対してアクティビティを乗算したものを実際の量子化ステップ幅としてＤＣＴ係数の量子化を行う。尚、アクティビティとはマクロブロックの分散を示し、人間の視覚に目立ちやすい平坦部での量子化ステップ幅を小さくすると共に、人間の視覚に目立ちにくいテクスチャ部の量子化ステップ幅を大きくする効果がある。

一方、ＳＤコア１０９に対してはアクティビティを使用しないで算出した量子化ステップ幅を用いる。発生符号量に基づいて算出した量子化ステップ幅を実際の量子化ステップ幅としてＤＣＴ係数の量子化を行う。この場合シーンに応じて画面内にメリハリをつけたりなくしたりすることが可能となる。ただし、フレーム単位でメリハリの利き具合が変化すると視覚的に悪影響を及ぼす場合もあるので数フレーム単位ならびにＧＯＰ単位でスイッチ１１２の切り替えを行うものとする。

三つ目の符号化パラメータは、ＭＰＥＧで採用されている直交変換方法であるＤＣＴ（離散コサイン変換）のタイプを特定するパラメータである。ＳＤコア１０８に対してはＤＣＴを行う際にフレームＤＣＴで行うように設定し、ＳＤコア１０９に対してはＤＣＴを行う際にフィールドＤＣＴで行うように設定する。本実施形態では、ＳＤ画像信号はインターレース形式であり、フィールドＤＣＴの場合、一つのＤＣＴブロックのフレーム画像に対し、フィールド別にＤＣＴ処理を行い、フレームＤＣＴの場合、一つのＤＣＴブロックのフレーム画像に対し、フレーム単位にＤＣＴ処理を行う。この場合、動きの少ない部分に対してはフレームタイプＤＣＴを使用すると効果があるためＳＤコア１０８からの出力を使用し、動きの少ない部分に対してはフィールドタイプＤＣＴを使用すると効果があるためＳＤコア１０９からの出力を使用するようにスイッチ１１２を切り替える。スイッチ１１２の切り替えタイミングはマクロブロック単位であると１つのマクロブロック毎にＳＮ比に応じてＤＣＴタイプを切り替えることが可能となる。また、スライスを単位とすると１つのスライス毎にＳＮ比に応じてＤＣＴタイプを切り替えることが可能となる。

以上挙げた符号化パラメータは一例にすぎず映像信号の符号化で使用する符号化パラメータであれば上記以外のパラメータを使用しても良い。また１つのパラメータ単独で切り替える方法でも、複数個の符号化パラメータを組み合わせて使用しても良い。

次に、ステップＳ２０５において、上記各符号化パラメータの設定を組み合わせて符号化された映像符号化信号１１０〜１１１、ならびに撮像部１０１からのＳＤ画像信号が判定回路１１３へ入力される。判定回路１１３は、ＳＤ画像信号ならびに上記各符号化パラメータで符号化された映像符号化信号１１０〜１１１を用いて画質劣化の評価を行い、最も画質劣化の少ない映像符号化信号を選択して出力するようにスイッチ１１２を制御して切り替える。

また、判定回路１１３は、ＳＤ画像信号ならびに上記各符号化パラメータの設定値により符号化された映像符号化信号１１０〜１１１を用いて発生符号量の評価を行い、最も発生符号量の少ない映像符号化信号を出力するようにスイッチ１１２を切り替えてもよい。

さらに、判定回路１１３は、ＳＤ画像信号ならびに上記各符号化パラメータの設定値で符号化された映像符号化信号１１０〜１１１を用いて画質劣化及び発生符号量の評価を行い、画質劣化が少なく発生符号量も少ない映像符号化信号を出力するようにスイッチ１１２を切り替えることも可能である。

なお、判定回路１１３は現在ピクチャ単位で比較評価している構成であるが、ピクチャ単位に限らずスライスやマクロブロックを比較の単位としても良い。また、スイッチ１１２の切り替えタイミングはマクロブロック単位、スライス単位、ピクチャ単位ならびにＧＯＰ単位であるものとする。

次に、ステップＳ２０５において判定回路１１３が映像符号化信号１１０の方がＳＮ比が高いと判断した場合には、ステップＳ２０６に進み、スイッチ１１２の切り替えにより、ビデオストリームバッファ１１４には映像符号化信号１１０が保存される。また、ステップＳ２０５において判定回路１１３が映像符号化信号１１１の方がＳＮ比が高いと判断した場合には、ステップＳ２０７において、ビデオストリームバッファ１１４には映像符号化信号１１１が保存される。

次に、ステップＳ２０８において、記録回路１１８は、ビデオストリームバッファ１１４に保存されている映像符号化信号と、オーディオストリームバッファ１１７に保存されている音声符号化信号とを多重化して記録媒体１１９に記録する。

次に、ステップＳ２０９において、コントローラ１２０は、ユーザが操作部１２１を操作することで、本ビデオカメラに対して記録終了の命令が与えられたか否かを判断する。ここで、記録終了の命令が与えられていないと判断した場合には、ステップＳ２０４に戻りＳＤ画像信号及び音声信号の符号化ならびに記録処理を継続する。また記録終了の命令が与えられた判断した場合には、本ビデオカメラは、ＳＤ画像信号及び音声信号の符号化ならびに記録処理を終了する。

次に、記録モードがＨＤ記録モード時の本ビデオカメラの動作を説明する。ステップＳ２１０においてＨＤ記録モードが設定された後、ステップＳ２１１において、コントローラ１２０は、記録開始待ち状態になる。ここで、ユーザが操作部１２１において記録開始操作を行うと、コントローラ１２０は、必要ブロックに対して記録開始命令を与えて、ステップＳ２１２以降のＨＤ画像信号の符号化及び記録処理を開始する。

まず、ステップＳ２１２において、コントローラ１２０は、撮像部１０１から入力されたＨＤ画像信号がバッファ１０５〜バッファ１０６に保存されるように、スイッチ１０２ならびにスイッチ１０３を制御して切り替える。この時各バッファにはＨＤ画像信号の１フレームをそれぞれ所定サイズの複数の領域に分割したうちの一つの分割データが保存されている。バッファ１０５に保存された分割データは、ＳＤコア１０８で符号化されて映像符号化信号１１０が生成され、バッファ１０６に保存された分割データはＳＤコア１０９で符号化されて映像符号化信号１１１が生成される。すなわち、映像符号化信号１１０と映像符号化信号１１１は、１フレーム内の異なる領域を符号化したデータである。

次に、ステップＳ２１３において、映像符号化信号１１０と映像符号化信号１１１は１つの映像符号化信号になるように、コントローラ１２０が判定回路１１３を介してスイッチ１１２を制御して切り替えてビデオストリームバッファ１１４に保存する。

後の動作は、ステップＳ２０８〜Ｓ２０９に示したＳＤ記録モード時と同じであり、ステップＳ２０８において、ビデオストリームバッファ１１４に保存されている映像符号化信号とオーディオストリームバッファ１１７に保存されている音声符号化信号を記録回路１１８において多重化して記録媒体１１９に記録する。そして、ステップＳ２０９において記録終了の命令が与えられない限りステップＳ２１２に戻り、ＨＤ画像信号及び音声信号の符号化ならびに記録処理を行う。また、記録終了命令が与えられたとき、ＨＤ画像信号ならびに音声信号の符号化及び記録処理を終了する。

以上に説明したように、本実施形態のビデオカメラにおいては、ＳＤ記録モード時に、各ＳＤコアにおいて種々の符号化パラメータで符号化を行い、判定回路１１３により最も画質がよいと判定されたＳＤコアの出力する映像符号化信号を出力することができる。これにより、本実施形態のビデオカメラは、ＨＤ記録モード用に複数あるＳＤコアを有効に利用して、ＳＤ画像信号に対して、従来より高画質な符号化を行うことができる。

（第２の実施形態）
次に、第２の実施形態におけるビデオカメラ（撮像機能を有する画像処理装置）について説明する。図３は、第２の実施形態におけるビデオカメラ（撮像装置）の概略構成を示す図である。図３の符号３０１〜３１２、３１４〜３２０、３２３の構成要素は、図１に示した第１の実施形態の符号１０１〜１１２、１１４〜１２０、１２１と同様の構成要素であり、説明を省略する。図３のビデオカメラにおいて、図１のビデオカメラと異なる部分は、判定回路３１３が、撮像部３０１の出力する信号及び映像符号化信号３１０〜３１１を利用せずに、ＳＤコア３０８〜３０９が符号化を行った際に算出された符号化情報（例えば動き補償の値）を利用して、スイッチ３１２の制御を行っている点である。

３２１は、ＳＤコア３０８において符号化を行った際に算出された符号化情報であり、３２２は、ＳＤコア３０９において符号化を行った際に算出された符号化情報である。なお、図３において、ＳＤコア３０８、ＳＤコア３０９以外のＳＤコアにおいて符号化を行った際に算出された符号化情報は、省略したため図示していない。また、第１の実施形態と同様に、本実施形態におけるビデオカメラの映像信号符号化方式は、ＭＰＥＧならびにＨ．２６４などであり、音声信号符号化方式はＭＰＥＧオーディオならびにＡＣ３、ＡＡＣなどであるとする。

第２の実施形態におけるビデオカメラの記録処理については、第１の実施形態と同様であるので図２のフローチャートを参照して説明する。但し、第２の実施形態と第１の実施形態では、図２のステップＳ２０５における出力判定の処理の内容が異なるので、その点を主に説明する。

ステップＳ２０４において、コントローラ３２０は、撮像部３０１から入力されたＳＤ画像信号が、バッファ３０５〜バッファ３０６に保存されるように、スイッチ３０２ならびにスイッチ３０３を制御して切り替える。このときバッファ３０５からバッファ３０６には同一のデータが保存されている。バッファ３０５からバッファ３０６に保存されたＳＤ画像信号は各々異なる符号化パラメータを与えられたＳＤコア３０８〜ＳＤコア３０９に入力されて、ＳＤコア３０８からは映像符号化信号３１０が、ＳＤコア３０９からは映像符号化信号３１１が生成される。

本実施形態では、例えば、ＳＤコア３０８に対しては動き探索を行う際にサーチエリアは広範囲で、その精度をＮ画素単位（Ｎは１以上）となるように設定し、ＳＤコア３０９に対しては動き探索を行う際にサーチエリアは狭範囲で、その精度をｎ画素単位（ｎは１以下）となるように設定する。

以上のような設定において、判定回路３１３は、動き量が大きい部分に対してはサーチエリアを広く設定してサーチすると効果があるためＳＤコア３０８が出力する映像符号化信号３１０を選択するようスイッチ３１２を制御して切り替える。また、判定回路３１３は、動き量が小さい部分に対してはサーチエリアを狭く設定して細かくサーチすると効果があるためＳＤコア３０９が出力する映像符号化信号３１０を選択するようスイッチ３１２を切り替える。

ここで、スイッチ３１２の切り替えタイミングはマクロブロック単位であると１つのマクロブロック毎に符号化対象マクロブロックと算出した動きベクトルが示す参照画像のマクロブロックとの差分絶対値和を見て少ない値を算出した方の出力信号を使用するようにする。またスライスを単位とすると、スライス毎に符号化対象マクロブロックと算出した動きベクトルが示す参照画像のマクロブロックとの差分絶対値和を見て少ない値を算出した方の出力信号を使用するようにする。

例えば、ステップＳ２０５においてＳＤコア３０８における差分絶対値和が高いと判断されれば、ステップＳ２０６に進み、ビデオストリームバッファ３１４には映像符号化信号３１０が保存される。また、ステップＳ２０５においてＳＤコア３０９における差分絶対値和が高いと判断されればバッファ３１４には映像符号化信号３１１が保存される。

以上に説明したように、第２の実施形態では、ＳＤコア３０８〜ＳＤコア３０９内で利用している符号化情報を利用することで、最適に符号化された映像符号化信号を選択することができる。これにより、本実施形態のビデオカメラは、ＨＤ記録モード用に複数あるＳＤコアを有効に利用して、ＳＤ画像信号に対して、従来より高画質な符号化を行うことができる。尚、本実施形態では簡略化のために２個のＳＤコアを使用した場合を説明したが、Ｎ個のＳＤコアを使用する場合は動き補償の探索範囲の設定は上述した限りではない。

（第３の実施形態）
次に、第３の実施形態におけるビデオカメラ（撮像機能を有する画像処理装置）について説明する。図４は、第３の実施形態におけるビデオカメラ（撮像装置）の概略構成を示す図である。また、図５は、図４に示したビデオカメラの動作を示すフローチャートである。

尚、図４の符号４０１〜４０３、４１２、４１４、４２４、４１６〜４２３の構成要素は、図１に示した第１の実施形態の符号１０１〜１０３、１１０〜１１２、１１４〜１２１と同様の構成要素であり、説明を省略する。図４のビデオカメラにおいて、図１のビデオカメラと異なる部分は、判定回路４１５が、撮像部３０１の出力する信号及び映像符号化信号３１０〜３１１を利用して、（図１のようにスイッチ４２４の制御を行うのではなく、）ＳＤコア４０９を制御する点である。以下、第１の実施形態と異なる点を主に説明する。

まず、フレームバッファ４０４は、バッファ４０５、バッファ４０６、〜バッファ４０７のＮ個の記憶領域から構成される。バッファ４０５はバッファ４０５以外のバッファ４０６〜バッファ４０７よりもメモリ領域が十分大きいものである。なお、図４において、バッファ４０５、バッファ４０６、バッファ４０７以外のバッファは省略したため図示していない。

４０８は、ＨＤ信号符号化回路であり、ＳＤ画像を符号化可能な回路であるＳＤコア４０９〜ＳＤコア４１１をＮ個含む構成である。なお、図４において、ＳＤコア４０９、ＳＤコア４１０、ＳＤコア４１１以外のＳＤコアは省略のため図示していない。Ｎ個のＳＤコア４０９〜ＳＤコア４１１は、各バッファ４０５〜バッファ４０７に対応して設置されている。

４１２はＳＤコア４０９で符号化された映像符号化信号である。同様に、４１３、４１４はＳＤコア４１０、ＳＤコア４１１で符号化された映像符号化信号である。なお、ＳＤコア４０９、ＳＤコア４１０、ＳＤコア４１１以外のＳＤコアから出力された信号は図示していない。

４１５は判定回路であり、ＳＤ記録モード時に、映像符号化信号４１３〜映像符号化信号４１４ならびに撮像部４０１からの入力信号を用いて映像符号化信号４１３〜映像符号化信号４１４のＳＮ比などを算出する回路である。判定回路４１５は、ＳＤ記録モード時に、算出したＳＮ比等を基に現時点のＳＤ画像信号にとって最適な符号化パラメータを求め、ＳＤコア４０９に対してその符号化パラメータを出力する。

４２４は、スイッチであり、図１に示したスイッチ１１２と同等の機能を有する。図４では、図面を見やすくするために省略しているが、スイッチ４２４は、図１のスイッチ１１２と同様に、各ＳＤコア４０９〜ＳＤコア４１１の出力端子と接続されており、各ＳＤコア４０９〜ＳＤコア４１１の出力する映像符号化信号４１２〜４１４を判定回路４１５の制御に応じて選択的に出力する機能を有する。尚、本実施形態におけるＳＤ記録モード時のスイッチ４２４の制御は、第１の実施形態と異なり、常時、映像符号化信号４１２を選択して出力するように制御されている。また、ＨＤ記録モード時は、各ＳＤコアの出力を順次選択して出力する。

４１６は、映像符号化信号４１２〜４１４を一時保存するビデオストリームバッファである。本ビデオカメラの映像信号符号化方式は、第１の実施形態と同様に、ＭＰＥＧならびにＨ．２６４などであり、音声信号符号化方式はＭＰＥＧオーディオならびにＡＣ３、ＡＡＣなどである。

図４に示したビデオカメラの記録処理について図５のフローチャートを参照して説明する。図５は、図４に示したビデオカメラの記録処理を示すフローチャートである。尚、図５のステップＳ５０１〜Ｓ５０３、Ｓ５０８〜Ｓ５０９、Ｓ５１０〜Ｓ５１３は、図２に示したステップＳ２０１〜Ｓ２０３、Ｓ２０８〜Ｓ２０９、Ｓ２１０〜Ｓ２１３と同様の処理であるので、説明を省略する。

上記ステップＳ５０３の次に、ステップＳ５０４において、コントローラ４２２は、撮像部４０１から入力されたＳＤ画像信号がバッファ４０５〜バッファ４０７に保存されるように、スイッチ４０２ならびにスイッチ４０３を制御して切り替える。このときバッファ４０５〜バッファ４０７には同一のデータ（１フレーム分のＳＤ画像信号）が保存されている。コントローラ４２２は、ＳＤ記録モードが設定されると、ＳＤコア４１０〜４１１に対して異なる符号化パラメータ値を設定する。バッファ４０６〜バッファ４０７に保存されたＳＤ画像信号は、各々異なる符号化パラメータ値を与えられたＳＤコア４１０〜ＳＤコア４１１に入力される。これにより、ＳＤコア４１０からは映像符号化信号４１３が、ＳＤコア４１１からは映像符号化信号４１４が出力される。なお、各々のＳＤコアに与える符号化パラメータは後ほど詳細を記す。

次に、ステップＳ５０５において、上記各符号化パラメータを組み合わせて符号化された映像符号化信号４１３〜４１４、ならびに撮像部４０１からの入力信号（ＳＤ画像信号）が、判定回路４１５へ入力される。判定回路４１５は、ＳＤ画像信号ならびに映像符号化信号４１３〜４１４を用いて画質劣化の評価を行い、最も画質劣化の少ない映像符号化信号を生成したＳＤコアの用いた符号化パラメータを選定する。

また、判定回路４１５は、ＳＤ画像信号ならびに上記映像符号化信号４１３〜４１４を用いて発生符号量の評価を行い、最も発生符号量の少ない映像符号化信号を生成したＳＤコアの用いた符号化パラメータを選定する。

さらに、判定回路４１５は入力信号ならびに上記各符号化パラメータで符号化された符号化信号を用いて画質劣化と発生符号量の評価を行い、画質劣化が少なく発生符号量も少ない映像符号化信号を生成したＳＤコアが用いた符号化パラメータを選定する。

なお、判定回路４１５は現在ピクチャ単位でＳＮ比を比較している構成であるが、ピクチャ単位に限らずスライスやマクロブロックを比較の単位としても良い。その際、スライスを比較単位とする場合、１つのスライスで復号処理を行いそのＳＮ比を比較することで判定する。マクロブロックも同様に１つのマクロブロックで復号処理を行いそのＳＮ比を比較することで判定する。

次に、ステップＳ５０６において、判定回路４１５は、選定した符号化パラメータをＳＤコア４０９に設定する。次に、ステップＳ５０７において、ＳＤコア４０９は、判定回路４１５から設定された符号化パラメータを基に、バッファ４０５からＳＤ画像信号を読み出して符号化して映像符号化信号４１２を出力する。

次に、ステップＳ５０８において、記録回路４２０が映像符号化信号と音声符号化信号を多重化して記録媒体４２１に記録する。尚、本実施形態で用いる符号化パラメータは、第１の実施形態及び第２の実施形態で挙げたパラメータと同様であるが、この限りではなく、符号化処理に用いられる種々の符号化パラメータを利用してよい。また、記録モードがＨＤ記録モード時の本実施形態のビデオカメラの動作は第１の実施形態の動作と同じなので省略する。

以上に説明したように、本実施形態におけるビデオカメラにおいては、判定回路４１５が最適な符号化パラメータを選定し、ＳＤコア４０９がその符号化パラメータを基にＳＤ画像信号を符号化するので、従来と比べて他のＳＤコア４１０〜４１１を有効に利用して、高画質な映像符号化信号を生成し記録媒体４２１に記録することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の第１の実施形態におけるビデオカメラの概略構成を示す図である。 図１に示した第１の実施形態におけるビデオカメラの映像記録処理を示すフローチャートである。 第２の実施形態におけるビデオカメラ（撮像装置）の概略構成を示す図である。 第３の実施形態におけるビデオカメラ（撮像装置）の概略構成を示す図である。 図４に示したビデオカメラの動作を示すフローチャートである。

符号の説明

１０１、３０１、４０１ 撮像部
１０２、１０３、３０２、３０３、４０２、４０３ スイッチ
１０４、３０４、４０４ フレームバッファ
１０５、１０６、３０５、３０６、４０５、４０６、４０７ バッファ
１０７、３０７、４０８ ＨＤ符号化回路
１０８、１０９、３０８、３０９、４０９、４１０、４１１ ＳＤコア
１１０、１１１、３１０、３１１、４１２、４１３、４１４ 映像符号化信号
１１２、３１２、４２４ スイッチ
１１３、３１３、４１５ 判定回路
１１４、３１４、４１６ ビデオストリームバッファ
１２０、３２０、４２２ コントローラ

Claims (8)

1. 第１の解像度を有する第１の動画像信号、及び、前記第１の解像度よりも高い解像度を有する第２の動画像信号を符号化処理可能な画像処理装置であって、
   前記第１の動画像信号を符号化する第１の処理モードと、前記第２の動画像信号を符号化処理する第２の処理モードとの判断を行うモード判断手段と、
   前記第１の動画像信号をリアルタイムに符号化して動画符号化信号を出力する符号化手段を複数備え、前記第２の動画像信号をリアルタイムに符号化可能な符号化手段群と、
   前記第１の動画像信号、又は、前記第２の動画像信号を前記複数の符号化手段へ入力する入力手段と、
   前記モード判断手段が前記第１の処理モードと判断した場合に、複数の前記符号化手段に対して並列に前記第１の動画像信号を入力するように前記入力手段を制御する入力制御手段と、
   前記モード判断手段が前記第１の処理モードと判断した場合に、前記複数の符号化手段に対して各々異なる符号化パラメータ値を設定するパラメータ設定手段と、
   前記モード判断手段が前記第１の処理モードと判断した場合に、前記パラメータ設定手段が異なる符号化パラメータ値を設定した各符号化手段から出力された動画符号化信号、前記各符号化手段の符号化処理の過程で得られる各種符号化情報、及び前記第１の動画像信号のいずれか１つ又は複数を組み合せて利用することで前記複数の符号化手段から出力される動画符号化信号の画質を判断し、当該判断に応じて最適な符号化パラメータ値を特定する特定手段と、
   前記特定手段が特定した符号化パラメータ値が設定された前記符号化手段が出力する動画符号化信号を、出力対象信号として出力する出力制御手段と
   を具備することを特徴とする画像処理装置。
2. 前記特定手段における前記画質の判断は、前記各符号化手段から出力された動画符号化信号を復号した信号と、前記第１の動画像信号を比較することで行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段における前記画質の判断は、前記各符号化手段の符号化処理の過程で得られる前記符号化情報の１つである符号量を用いて行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定手段は、前記画質の判断に用いる前記各符号化手段の符号化処理の過程で得られる前記符号化情報として、前記パラメータ設定手段が異ならせた符号化パラメータ値に応じた符号化情報を用いることを特徴とする請求項１又は３に記載の画像処理装置。
5. 前記符号化手段は、前記第１の動画像信号又は前記第２の動画像信号を直交変換して直交変換係数を出力する直交変換手段と、前記直交変換手段が出力する前記直交変換係数を設定された量子化ステップ幅で量子化する量子化手段とを少なくとも備え、
   前記パラメータ設定手段は、前記符号化手段が出力する前記動画符号化信号の目標符号量、前記量子化手段における量子化ステップ幅、及び、前記直交変換手段における直交変換タイプの少なくとも何れか１つを含む符号化パラメータ値を設定すること
   を特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記モード判断手段が前記第２の処理モードと判断した場合に、前記入力制御手段は、複数の前記符号化手段へ前記第２の動画像信号の１フレーム分を複数領域に分割したうちの一つを入力するように前記入力手段を制御し、
   前記モード判断手段が前記第２の処理モードと判断した場合に、前記パラメータ設定手段は、前記符号化手段に対して同一の符号化パラメータ値を設定し、
   前記出力制御手段は、複数の前記符号化手段が出力する前記動画符号化信号を前記分割に応じた順で出力対象信号として出力するように制御すること
   を特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記特定手段は、特定した前記符号化パラメータ値を、複数の前記符号化手段の中の特定の符号化手段に設定する機能を更に備え、
   前記出力制御手段は、前記特定の符号化手段が出力する動画符号化信号を、出力対象信号として出力すること
   を特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記入力手段は、被写体を撮影して前記第１の動画像信号又は前記第２の動画像信号を出力する撮像手段を含むことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。

Images