JP2010245938A - 信号処理装置、信号処理方法、プログラム - Google Patents

Abstract

【課題】高精細画像データ圧縮処理の際に、通常原画像の１０ビットデータを８ビットに変換を行う際に、変換の丸め誤差などにより疑似輪郭など画質劣化の影響がでてしまうことを回避し、かつ処理効率を悪化させないようにする。
【解決手段】簡易的で効果的かつ効率的に丸め誤差による影響を軽減させる為に、入力信号の圧縮処理のために１０ビットデータを８ビットに変換する処理に於いて「切り捨て」と「切り上げ」を交互に施し、時間軸方向で相関性が出ないようにする。これによって、ノイズ成分が分散されることにより自然な歪みとして画質に対する悪影響を軽減する。
【選択図】図４

Description

本発明は、映像信号に対する信号処理装置、信号処理方法、及びその信号処理方法を実行させるプログラムに関する。

特開平１１−１６８６６５号公報 特開平５−１９９４０３号公報

例えばブルーレイディスク（Blu-ray Disc（登録商標）：以下「ＢＤ」ともいう)における再生専用ディスク（ＢＤ−ＲＯＭ）等の製造において、記録するコンテンツを作成するオーサリングシステムでは、映像素材について所定の圧縮処理を施している。

圧縮を施すデータ形式は一般的に８ビットで取り扱われる。しかし、オーサリングスタジオなどのマスターデータは一般的に１０ビットで運用されている。このため圧縮の際に１０ビットデータを８ビットデータに変換していた。
１０ビットで入力されたデータを８ビットに変換する際に、簡易的な手法として、一律に下位２ビットの「切り捨て」または「切り上げ」を施して圧縮処理を行う手法がある。しかしこの場合、変換の丸め誤差などにより、圧縮後の映像信号に疑似輪郭などの画質劣化が生じてしまう。

一方、異なるビット深度に変換する際に、バンディングと呼ばれる疑似輪郭発生回避の手段として、専用の機器を用いるか入力段で原映像データにランダムにノイズ成分を重畳するディザリングを施した素材を作成して、圧縮処理を行う手法がある。
しかし、ノイズ成分についても圧縮処理を行うため、画質の劣化につながる。特にＢＤ等に記録する高ビットレートの映像データでは、画質の劣化が顕著になり好ましくない。
またディザリングなどの工程を加えることで作業効率の低下が生じるという問題もある。即ち一旦加工データを保存するなどの作業や変換処理に時間がかかってしまう為、効率化をはかることができない。

そこで本発明では、作業効率が低下せず、かつ擬似輪郭の発生や画質劣化を軽減できるビット変換手法を提案する。

本発明の信号処理装置は、ｎビットデータに対する圧縮処理を行う圧縮処理部と、ｍビット（但しｎ＜ｍ）の入力映像データについて、ｍ−ｎビット分の下位ビットについて切り上げ又は切り捨て処理を行い、ｎビットの映像データに変換して上記圧縮処理部に供給するビット数変換部と、入力映像データのそれぞれについて、フレーム位置及びフレーム内位置に応じて所定の規則性に沿って切り上げ処理と切り捨て処理を選択し、上記ビット数変換部に切り上げ処理と切り捨て処理を指示する変換処理制御部とを備える。
上記変換処理制御部は、上記所定の規則性に沿った選択として、入力映像データの１フレーム内で、１又は複数の水平ライン毎、もしくは水平ラインの一部毎に、切り上げ処理と切り捨て処理を選択するとともに、入力映像データのフレーム位置に応じて、上記切り上げ処理と切り捨て処理の選択のパターンを切り換える。
また上記変換処理制御部は、上記切り上げ処理と切り捨て処理の選択のパターンとして、一のパターンは、フレーム内で、先頭の水平ラインから１又は複数の水平ライン毎に交互に切り捨て処理と切り上げ処理を選択するパターンであり、他のパターンは、フレーム内で、先頭の水平ラインから１又は複数の水平ライン毎に交互に切り上げ処理と切り捨て処理を選択するパターンであるとする。

本発明の信号処理方法は、ｍビットの入力映像データを、ｎビットデータ（但しｎ＜ｍ）に変換して圧縮処理を行う際の信号処理方法として、入力映像データのそれぞれについて、フレーム位置及びフレーム内位置に応じて所定の規則性に沿って切り上げ処理と切り捨て処理を選択する処理選択ステップと、上記処理選択ステップでの選択に応じて、入力映像データのそれぞれについてｍ−ｎビット分の下位ビットの切り上げ処理又は切り捨て処理を実行して、ｎビットの映像データとするビット変換ステップとを実行する。
本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。

このような本発明では、簡易的で効果的かつ効率的に丸め誤差による影響を軽減させる為に、入力映像データの圧縮処理のため、例えば１０ビットの入力映像データを８ビットに変換する際に、「切り捨て」と「切り上げ」を所定の規則性に沿って交互に施す。これいより時間軸方向で相関性が出ないようにすることによって、丸め誤差によるノイズ成分が分散されるようにし、自然な歪みとして画質に対する悪影響を軽減する。

本発明によれば、原画像にランダムノイズを重畳するディザリングなど特殊なデータ加工を施すことなく、作業効率を確保して、圧縮処理のためのビット深度変換による画質劣化を軽減することが可能となる。

本発明の実施の形態を採用できるオーサリングシステムの説明図である。 実施の形態のビデオ圧縮処理装置のブロック図である。 実施の形態の切り捨て及び切り上げの説明図である。 実施の形態の信号処理のフローチャートである。 実施の形態の変換パターンの説明図である。 実施の形態のフレーム単位の変換パターン切換の説明図である。 実施の形態の他の変換パターンの説明図である。 実施の形態の他の変換パターンの説明図である。 実施の形態の他の変換パターンの説明図である。

以下、本発明の実施の形態を次の順序で説明する。
［１．オーサリングシステム］
［２．ビデオ圧縮処理装置の構成及び動作］
［３．他の変換パターン例］
［４．変形例及びプログラム］

［１．オーサリングシステム］

本発明の信号処理装置の実施の形態としてのビデオ圧縮処理装置１を後に図２で説明するが、ここではまず、ビデオ圧縮処理装置１を利用するオーサリングシステムについて説明する。
例えばブルーレイディスクにおける再生専用ディスク（ＢＤ−ＲＯＭ）の製造の流れを図１で説明する。

まず素材製作として、映像素材の撮影、音声素材の録音、編集等が行われる（Ｓ１）。
この撮影・編集等で得られたデータは、制作するコンテンツの素材データ（映像素材、音声素材、字幕データ等）として格納される（Ｓ２）。

各種素材データは、オーサリングスタジオに持ち込まれ、ディスクデータ（コンテンツ）制作に供される。例えばオーサリングシステムを構成する装置、例えばコンピュータ装置のハードディスク等に格納される。
オーサリングスタジオでは、オーサリング処理のためのプログラムをインストールしたコンピュータ装置や所要のハードウエアを用いて、各種素材データを利用したコンテンツ制作を行う。
なお、各種素材データは例えば１０ビットデータとして扱われる。

映像素材、音声素材はビデオエンコード、オーディオエンコードの各処理により、それぞれ所定の形式に圧縮符号化される（Ｓ３−１、Ｓ３−２）。なおブルーレイディスクなどに用いる高精細な画像を圧縮する場合、ＭＰＥＧ（Moving Picture Experts Group）−２、ＡＶＣ（Advanced Video Cording）、ＶＣ−１などの圧縮技術が用いられる。また圧縮を施すデータ形式は一般的に８ビットで取り扱われる。このため後述するように、１０ビットの素材データを８ビットに変換してから、圧縮処理を行う。
また字幕データ等から、メニューデータ、字幕データ等が作成される（Ｓ３−３）。
これらエンコードされた素材データが、コンピュータ装置のハードディスク等に格納され、以降のコンテンツ制作に用いられる。

コンテンツの構成としてのシナリオやメニュー作成が行われる（Ｓ４）。また各種データ編集が行われる（Ｓ５）。
その後、マルチプレクサ処理（Ｓ６）として、コンテンツを構成するストリームデータを形成する。マルチプレクサ処理は、例えばＭＰＥＧ２方式等で圧縮符号化された映像データや音声データ、メニュ−などを多重化するためのものである。この場合、例えばハードディスク内等に格納された画像、音声、字幕などの符号化された素材データをインターリーブし、各種フォーマットファイルと合わせて多重化されたデータを作成する多重化処理が行われる。ここでは、いわゆるクリップやＵＤＦイメージ作成等が行われる。
最終的に作成された多重化データは、ディスク製造用のカッティングマスタとして、例えばパーソナルコンピュータ内のハードディスク等に格納される。
そのカッティングマスタは、ディスク製造のために工場に送られることになる（Ｓ７）。

工場では、プリマスタリング（Ｓ８）として、データの暗号化やディスク記録データとしてのエンコード等の各種データ処理を行い、マスタリングデータを作成する。そしてマスタリング（Ｓ９）として、ディスク原盤のカッティングからスタンパ作成までの工程を行う。最後にリプリケーション（Ｓ１０）として、スタンパを用いたディスク基板の制作や、ディスク基板上への所定の層構造形成を行い、完成品として光ディスク（ＢＤ−ＲＯＭ）を得る。

このようなディスク製造の過程において、本発明の信号処理装置、信号処理方法、プログラムは、映像素材に対して圧縮符号化等を行うビデオエンコード（Ｓ３−１）に利用できるものである。実施の形態のビデオ圧縮処理装置１は、ビデオエンコード（Ｓ３−１）における信号処理を実行する装置として、ハードウエアもしくはソフトウエアにより実現される。

［２．ビデオ圧縮処理装置の構成及び動作］

本実施の形態のビデオ圧縮処理装置１は、例えば上記のように行われるブルーレイディスクのオーサリングにおいて、ビデオエンコード（Ｓ３−１）の工程の映像データの圧縮に用いられる。

ブルーレイディスクなどの高精細な映像を圧縮する場合、ＭＰＥＧ−２、ＡＶＣ、ＶＣ−１などの圧縮技術が用いられるが、圧縮を施すデータ形式は一般的に８ビットで取り扱われる。しかし、オーサリングスタジオなどのマスターデータ（映像素材）は一般的に１０ビットで運用されている。
このマスターデータは、完パケと呼ばれる業務用デジタルテープやデジタルファイルで取り扱われ、テープの場合は、業務用のデッキからＨＤ−ＳＤＩの伝送を介して、圧縮装置に直接取り込まれるか一旦ファイルに蓄積される。

この１０ビットで入力されたデータを８ビットに変換する際に、作業効率を優先する場合には、一律「切り捨て」または「切り上げ」を施しながら圧縮処理を行うが、その場合、疑似輪郭の影響が出てしまうことは先に述べた。

そこで本実施の形態では、擬似輪郭の発生を低減しつつ、効率的な処理を実現するために、１枚の画像のライン単位に「切り捨て」「切り上げ」処理を交互に施す。また、時間軸方向に於いてはフレーム内で同位置となるデータについて「切り捨て」「切り上げ」処理が交互に施されるようにする。
これにより、特殊なデータ加工を施すことなく、時間軸方向に連続した画像で疑似輪郭成分が分散されるようにし、画像に出現するノイズを軽減する。さらに、時間情報に「切り捨て」「切り上げ」処理を関連付ける事により、圧縮再現性を確保した効率のよいシステムを実現する。

図２に実施の形態のビデオ圧縮処理装置１の構成を示す。このビデオ圧縮処理装置１の各ブロックは、ハードウエアとして構成されても良い。また例えば上記のオーサリングシステムで用いるコンピュータ装置等で、各ブロックがソフトウエア処理機能として実現されても良い。

ビデオ圧縮処理装置１は、ビット数変換部２、ライン検出／フレームカウント部３、フレームポジション検出部４、色空間変換部５、映像データ圧縮処理部６、変換処理判定部７を備える。

このビデオ圧縮処理装置１には、エンコード処理対象の映像データとして、１０ビットの映像素材データが入力される。
この１０ビットの映像データは、ビット数変換部２とライン検出／フレームカウント部３に入力される。

ビット数変換部２は、入力された１０ビットの映像データに対し、下位２ビットの切り上げ処理又は切り捨て処理を行って、８ビットデータに変換する。
ここでいう切り捨て処理、切り上げ処理とは、図３のような処理である。
図３（ａ）に示すように、切り捨て処理とは、１０ビットデータのうちの下位２ビット（下線部）を、そのまま切り捨てて８ビットにする処理である。
従って、図のように例えば「０１００１１００００」「０１００１１０００１」「０１００１１００１０」「０１００１１００１１」は、いずれも「０１００１１００」に変換される。
一方、図３（ｂ）に示すように、切り上げ処理とは、１０ビットデータのうちの下位２ビット（下線部）を、その値に応じて切り捨て又は切り上げして８ビットにする処理である。即ち下位２ビットとしては「００」「０１」「１０」「１１」のいずれかとなるが、このうち「００」「０１」であれば、１０ビットの上位８ビットをそのまま出力し、「１０」「１１」であれば、１０ビットの上位８ビットに「１」を加算して出力する。
従って例えば図のように「０１００１１００００」「０１００１１０００１」は、「０１００１１００」に変換され、「０１００１１００１０」「０１００１１００１１」は、いずれも「０１００１１０１」に変換される。

ビット数変換部２は、このような切り捨て処理又は切り上げ処理によって、入力された１０ビットの映像データを８ビットに変換し、色空間変換部５に出力する。
入力されてくる各映像データについて切り捨て処理、切り上げ処理のどちらを実行するかは変換処理制御部７によって指示される。

色空間変換部５では、８ビットの映像データについて、４：２：２→４：２：０などの変換処理を行い、処理後の色差データを映像データ圧縮処理部６に入力する。
映像データ圧縮処理部６では、色空間変換部５から入力された８ビット映像データに圧縮処理を施し、圧縮データを生成して出力する。例えばＭＰＥＧ−２、ＡＶＣ、ＶＣ−１などの圧縮処理を行う。

ライン検出／フレームカウント部３は、入力された映像データについて、１フレームを構成する水平ライン毎に、現ラインが奇数ラインか偶数ラインかを検出し、偶奇判定信号Ｏ／Ｅを変換処理判定部７に供給する。
またライン検出／フレームカウント部３は、１フレーム期間を示すフレームカウント情報ＦＣをフレームポジション検出部４に出力する。

フレームポジション検出部４には、エンコード処理区間指定情報が入力される。具体的には、入力映像素材データの時間情報（タイムコード）が入力され、その時間情報とライン検出／フレームカウント部３から入力されるフレームカウント情報ＦＣから現在のフレームポジションを検出する。そしてフレームポジション情報ＦＰを変換処理判定部７に供給する。
エンコード処理区間指定情報としては、例えばタイムコードとしての或るエンコード処理区間が指定される。例えば、時：分：秒：フレームとして、「０１：００：００：００」〜「０１：３０：００：００」までがエンコード処理区間とされたとする。この場合、フレームポジション検出部４は、フレームカウント信号ＦＣに応じて、１フレームごとに「０１：００：００：００」、「０１：００：００：０１」、「０１：００：００：０２」・・・のフレームポジション情報ＦＰを変換処理判定部７に出力する。
これによって変換処理判定部７は、入力された映像データの現在のフレームポジションが判別できることになる。

なおエンコード処理区間指定情報は、図２の各部がハードウエア構成とされる場合、図示しない制御部（マイクロコンピュータ等）から供給される。また各部がソフトウエアにより実現される場合、当該ビデオ圧縮処理を行うビデオエンコード用のアプリケーション等によって設定される。

変換処理判定部７は、入力された映像データの現在のフレームポジションと、ライン検出／フレームカウント部３からの偶奇判定信号Ｏ／Ｅによる偶数ライン／奇数ラインの別に応じて、「切り捨て」又は「切り上げ」の一方を選択し、ビット数変換部２に指示する。
ビット数変換部２は、変換処理判定部７からの指示により、現在の水平ラインの各映像データについて、切り上げ処理又は切り捨て処理を行う。

このようなビデオ圧縮処理装置１による具体的な処理例を図４で説明する。
まずステップＦ１０１で、信号処理の準備としてフレームポジション検出部４にエンコード処理区間の設定が行われる。
そして、ステップＦ１０２以降で、ライン検出／フレームカウント部３からの偶奇判定情報Ｏ／Ｅと、フレームポジション検出部４からのフレームポジション情報ＦＰに応じた変換処理判定部７の処理が行われる。

ステップＦ１０２で変換処理判定部７は、フレームポジション情報ＦＰにより、現在のフレームポジションが偶数であるか否かを判断する。
変換処理判定部７では、１０ビットから８ビットに変換するための切り上げ、切り捨ての選択の処理パターン（以下「変換パターン」という）として、パターンＡ、パターンＢの２つのパターンが設定されている。

変換パターンＡは、図５（ａ）に示すように、１フレーム（例えば１０８０ライン×１９２０ピクセル）において、先頭の水平ラインから１水平ライン毎に交互に切り捨て処理と切り上げ処理を選択するパターンである。
つまり、各水平ラインをラインＬ１，Ｌ２，Ｌ３・・・として表すとすると、奇数ラインＬ１，Ｌ３，Ｌ５・・・は切り捨て処理を選択し、偶数ラインＬ２，Ｌ４，Ｌ６・・・は切り上げ処理を選択するパターンである。
一方、変換パターンＢは、図５（ｂ）に示すように、１フレームにおいて、先頭の水平ラインから１水平ライン毎に交互に切り上げ処理と切り捨て処理を選択するパターンである。
つまり、奇数ラインＬ１，Ｌ３，Ｌ５・・・は切り上げ処理を選択し、偶数ラインＬ２，Ｌ４，Ｌ６・・・は切り捨て処理を選択するパターンである。

ステップＦ１０２で、入力映像データの現在のフレームポジションが偶数であると判定したときは、変換処理判定部７はステップＦ１０３に進み、現在のフレームに対して変換パターンＡを設定する。即ち奇数ラインは切り捨て処理、偶数ラインは切り上げ処理とする。
そしてステップＦ１０５で変換処理判定部７は、入力映像データの現在のラインが偶数ラインであるか奇数ラインであるかを、偶奇判定情報Ｏ／Ｅによって判別する。
現在のライン（現在、ビット数変換部２で処理対象として入力されるライン）が奇数ラインであれば、ステップＦ１０６に進み、変換処理判定部７は、ビット数変換部２に対して切り捨て処理を指示する。
また現在のラインが偶数ラインであれば、ステップＦ１０７に進み、変換処理判定部７は、ビット数変換部２に対して切り上げ処理を指示する。
この処理を、ステップＦ１０８で現在のフレームの最終ラインが終了したと判別されるまで繰り返す。
従って、ビット数変換部２では、入力映像データの先頭ラインから各ライン毎に、図５（ａ）の変換パターンＡで、映像データについて、交互に切り捨て処理→切り上げ処理→切り捨て処理→切り上げ処理・・・が行われていく。

最終ラインの処理を行った後は、フレームポジション検出部４からのフレームポジション情報ＦＰの値が、次のフレームの値となる。
その場合、変換処理判定部７はステップＦ１０８で最終ラインまで完了したと判断し、ステップＦ１１４でからステップＦ１０２に戻る。

すると今度はステップＦ１０２でフレームポジション情報ＦＰが奇数となっているため、変換処理判定部７の処理はステップＦ１０９に進むことになる。

ステップＦ１０９では、変換処理判定部７は現在のフレームに対して変換パターンＢを設定する。即ち奇数ラインは切り上げ処理、偶数ラインは切り捨て処理とする。
そしてステップＦ１１０で変換処理判定部７は、入力映像データの現在のラインが偶数ラインであるか奇数ラインであるかを、偶奇判定情報Ｏ／Ｅによって判別する。
現在のライン（現在、ビット数変換部２で処理対象として入力されるライン）が奇数ラインであれば、ステップＦ１１２に進み、変換処理判定部７は、ビット数変換部２に対して切り上げ処理を指示する。
また現在のラインが偶数ラインであれば、ステップＦ１１１に進み、変換処理判定部７は、ビット数変換部２に対して切り捨て処理を指示する。
この処理を、ステップＦ１１３で現在のフレームの最終ラインが終了したと判別されるまで繰り返す。
従って、ビット数変換部２では、入力映像データの先頭ラインから各ライン毎に、図５（ｂ）の変換パターンＢで、映像データについて、交互に切り上げ処理→切り捨て処理→切り上げ処理→切り捨て処理・・・が行われていく。

最終ラインの処理を行った後は、フレームポジション検出部４からのフレームポジション情報ＦＰの値が、次のフレームの値となる。
その場合、変換処理判定部７はステップＦ１１３で最終ラインまで完了したと判断し、ステップＦ１１４でからステップＦ１０２に戻る。

以上の処理を、エンコード処理区間の最終フレームについて、８ビットへの変換を完了するまで繰り返す。最終フレームの処理を終えた時点で、ステップＦ１１４から処理を終える。例えばフレームポジション検出部４は、フレームポジション情報ＦＰの供給を停止し、変換処理判定部７は、それに応じて処理を停止する。

結局、このような処理により、エンコード処理区間の各フレームについては、図６（ａ）のようにパターンＡ、Ｂでビット変換処理が行われる。
例えばエンコード処理区間の開始フレームをＦ０、最終フレームをＦｎとしたとき、偶数フレームＦ０，Ｆ２，Ｆ４・・・では、それらのフレームの映像データは、図５（ａ）の変換パターンＡで８ビット変換が行われたものとなる。また奇数フレームＦ１，Ｆ３，Ｆ５・・・では、それらのフレームの映像データは、図５（ｂ）の変換パターンＢで８ビット変換が行われたものとなる。

以上のように、本例のビデオ圧縮処理装置１は、エンコード対象素材の映像データに対して、先頭フレームの奇数ラインの入力１０ビットデータを「切り捨て」を施してて８ビットに変換して圧縮処理する。また偶数ラインの入力１０ビットデータは「切り上げ」を施して８ビットに変換しながら圧縮処理する。
次のフレームにおいては、逆に奇数ラインの入力１０ビットデータに「切り上げ」を施して８ビットに変換しながら圧縮処理し、偶数ラインの入力１０ビットデータは「切り捨て」を施し８ビットに変換しながら圧縮処理する。
このような変換処理を各フレームで交互に行う。

この変換処理により、ビット深度変換による画質出現ノイズ成分を時間軸方向でも分散させることが出来るので、連続する画像においては効果的かつ効率的な高画質化が可能になる。
即ち、ディザリング処理のように、擬似輪郭低減のためのランダムノイズ成分を重畳するものではないことから、本来のデータの再現性の向上に好適である。
また下位ビットの切り上げ、切り捨てが、同一画素に対して時間軸方向（フレーム間）で交互に行われることで、丸め誤差による擬似輪郭の発生を低減できる。さらにフレーム内でもライン毎に切り上げ、切り捨てが交互に行われることで、擬似輪郭成分を低減する。これらのことから、従来の処理方式より画質向上が実現できる。

また、ランダムノイズの重畳のためのデータ変換加工等が不要となり、オーサリング作業工程の効率化が実現できる。
また、特にディザリング処理は、画像の全範囲に適用すると全体的にビットレートが低下して画質が悪くなるという事情から、一部の画像にのみ適用するということが行われていた。これは、適用部分の選定などの面倒をも生むが、本例の場合、エンコード処理区間の入力映像データの全範囲に適用しても問題ない。この点でも、作業効率の向上が図られる。
また、切り上げ、切り捨ての選択は困難な処理ではなく、単にフレーム単位、ライン単位で切り換えるだけであり、非常に簡易な処理で実現できる。従ってハードウエア構成の場合に構成が複雑化したり、ソフトウエア処理による場合の処理負担が大きくなるなどの問題も生じない。

また、高画質化処理のためには、繰り返しエンコード処理が必要とされる。例えば一旦圧縮エンコード処理を行った映像をオーサリング過程で検査し、再度エンコードし直すということは、頻繁に発生する。
本例の場合、フレームポジション毎に変換パターンＡ、Ｂを選択するという規則性を持って処理を行っているが、すると、エンコード処理区間の各フレームにおいて、どちらの変換パターンでビット変換を行ったかが後の時点でも明らかになる。また各ラインが切り捨て処理なのか切り上げ処理なのかも分かる。
即ちエンコード処理区間の先頭から交互に変換パターンＡ、Ｂが適用されるため、例えば図６（ａ）のフレームＦ５については、変換パターンＢが適用されていることがわかる。さらにフレームＦ５の奇数ラインＬ１、Ｌ３・・・は切り上げ処理が選択されたことがわかる。仮に、ランダムに切り捨て／切り上げを選択するとすると、各フレームの各データがどちらでビット数変換されたかが不明となる。
このことは、同一のエンコード処理区間の全部又は一部を再度エンコードし直す場合、各映像データを同じ処理（切り上げか切り捨てか）でエンコードできることを意味する。これにより、再エンコードによって画像状態に意図しないような変化が生じてしまうこともなくなり、オーサリング工程にとって好適である。
つまりフレーム位置と奇数／偶数ラインの「切り捨て」「切り上げ」組み合わせ選択に相関性をもたせる事により、圧縮処理を繰り返し行っても再現性を確保することが可能になる。

［３．他の変換パターン例］

切り上げ、切り捨ての選択のための変換パターン、或いは各フレームへの変換パターンの適用については、上記例に限られず、非常に多様に考えられる。

まず、変換パターンＡ、Ｂを用意する場合、必ずしも１フレームごとに変換パターンＡ、Ｂを切り換えなくても良い。
例えば図６（ｂ）には、３フレーム単位で変換パターンＡ、Ｂを交互に切り換えていく例を示した。例えばこのように、複数フレーム単位で変換パターンＡ、Ｂを切り換えていくことも考えられる。
実際に擬似輪郭の低減という観点で考えると、１フレーム毎に切り換えるよりも数フレーム毎で切り換えた方が有効な場合もあり得る。これは映像内容、フレームレート、ビット数など、各種の要因によるものとなる。従って、何フレーム単位で変換パターンを切り換えるかは、実際に良好なフレーム数が選定されるようにすればよい。

また、変換パターン自体も、同様の意味で、多様な例が考えられる。
図７，図８，図９に例を挙げる。各図は１フレームの各ラインを模式的に示しており、斜線部は切り上げ、非斜線部は切り捨てが行われる領域を示している。

図７（ａ）は、２ライン毎に切り上げ、切り捨てが選択される例である。
変換パターンＡでは、先頭２ラインが切り上げ、次の２ラインが切り捨て、次の２ラインが切り上げ・・・というように切り上げ処理、切り捨て処理が選択される。変換パターンＢでは、先頭２ラインが切り捨て、次の２ラインが切り上げ、次の２ラインが切り捨て・・・というように切り上げ処理、切り捨て処理が選択される。
このように１フレーム内で２ライン単位で切り上げ処理、切り捨て処理が交互に選択されることも考えられる。また、３ライン単位毎、４ライン毎等、他の複数ライン毎に交互に切り上げ処理、切り捨て処理が選択されてもよい。
なお、この例を用いる場合、ライン検出／フレームカウント部３が、偶奇判定情報Ｏ／Ｅではなく、ラインナンバの情報を変換処理判定部７に供給する。それにより、変換処理判定部７が、フレームポジション、ラインナンバを判別し、判別結果から切り上げ／切り捨てをビット数変換部２に指示できるようにすればよい。

図７（ｂ）は、１／２ライン毎に切り上げ、切り捨てが選択される例である。
変換パターンＡでは、各ラインについて前半では切り上げ処理、後半では切り捨て処理が選択される。変換パターンＢでは、各ラインについて前半では切り捨て処理、後半では切り上げ処理が選択される。
このように１フレーム内の各ラインを１／２ライン単位で切り上げ処理、切り捨て処理が交互に選択されるようにすることも考えられる。もちろん１／３ライン単位、１／４ライン単位等で切り上げ処理、切り捨て処理が交互に選択されるようにしてもよい。つまり１ラインの一部を切り上げ、切り捨ての切換の単位とする例である。
なお、ライン内の一部の単位で切り上げ処理、切り捨て処理が交互に選択されるようにするには、ライン検出／フレームカウント部３が、１水平ライン内のデータ数のカウントも行い、そのカウント値を変換処理判定部７に供給する。それにより、変換処理判定部７が、フレームポジション、ライン内位置を判別し、判別結果から切り上げ／切り捨てをビット数変換部２に指示できるようにすればよい。

図８（ａ）は、１／２ライン毎に切り上げ、切り捨てが選択され、かつフレーム内の垂直方向にもライン毎に切り上げ部分、切り捨て部分が交互に発生するパターンである。
変換パターンＡでは、奇数ラインについて前半では切り上げ処理、後半では切り捨て処理が選択される。偶数ラインについて前半では切り捨て処理、後半では切り上げ処理が選択される。
変換パターンＢでは、奇数ラインについて前半では切り捨て処理、後半では切り上げ処理が選択される。偶数ラインについて前半では切り上げ処理、後半では切り捨て処理が選択される。
このような変換パターンＡ、Ｂによって、時間軸方向及びフレーム内の水平／垂直方向に、切り上げ／切り捨てによる丸め誤差の分散ができる。
この変換パターンＡ、Ｂによるビット変換を実行する場合は、ライン検出／フレームカウント部３が、１水平ライン内のデータ数のカウントも行い、そのカウント値を、偶奇判定情報Ｏ／Ｅとともに変換処理判定部７に供給する。それにより、変換処理判定部７が、フレームポジション、ライン内位置、偶奇ラインを判別し、判別結果から切り上げ／切り捨てをビット数変換部２に指示できるようにすればよい。

また図８（ｂ）は、１／２ライン毎に切り上げ、切り捨てが選択され、かつフレーム内の垂直方向にも２ライン毎に切り上げ部分、切り捨て部分が交互に発生するパターンである。
変換パターンＡでは、最初の２ラインについて前半では切り上げ処理、後半では切り捨て処理が選択される。次の２ラインについて前半では切り捨て処理、後半では切り上げ処理が選択される。これが２ライン毎に繰り返される。
変換パターンＢでは、最初の２ラインについて前半では切り捨て処理、後半では切り上げ処理が選択される。次の２ラインについて前半では切り上げ処理、後半では切り捨て処理が選択される。これが２ライン毎に繰り返される。
このような変換パターンＡ、Ｂによって、時間軸方向及びフレーム内の水平／垂直方向に、切り上げ／切り捨てによる丸め誤差の分散ができる。
この変換パターンＡ、Ｂによるビット変換を実行する場合は、ライン検出／フレームカウント部３が、１水平ライン内のデータ数のカウント及びラインカウントを行い、そのライン内位置のカウント値とラインカウント値を変換処理判定部７に供給する。それにより、変換処理判定部７が、フレームポジション、ライン内位置、ラインナンバを判別し、判別結果から切り上げ／切り捨てをビット数変換部２に指示できるようにすればよい。

変換パターンは３種類以上であってもよい。
例えば図９に変換パターンＡ、Ｂ、Ｃを示す。
変換パターンＡでは、各ラインを１／３ライン単位で分け、最初の１／３区間、中央の１／３区間では切り上げ処理、最後の１／３区間では切り捨て処理が選択される。
変換パターンＢでは、最初の１／３区間では切り捨て処理が選択され、中央の１／３区間と最後の１／３区間では切り上げ処理が選択される。
変換パターンＣでは、最初の１／３区間と最後の１／３区間では切り上げ処理、中央の１／３区間では切り捨て処理が選択される。
このように、３以上の変換パターンを設定することも考えられる。

３以上の変換パターンを設定する場合も、フレーム単位で変換パターンを切り換えていけばよい。例えば図６（ｃ）のように、１フレームごとに、変換パターンＡ、Ｂ、Ｃを切り換えていく。もちろん、複数フレーム単位毎に変換パターンＡ、Ｂ、Ｃを切り換えていくようにしてもよい。

以上、変換パターンの例、フレーム単位の変換パターンの切換の例を示したが、変換パターンの例、フレーム単位の変換パターンの切換の例はさらに多様に考えられる。

［４．変形例及びプログラム］

本発明は以上の実施の形態に限られず、多様な変形例が考えられる。
上記例は、映像データについて１０ビットから８ビットに変換して圧縮を行う場合で述べたが、他のビット数間の変換処理にも本発明は適用可能である。

また上記実施の形態は、オーサリングシステムで用いるビデオ圧縮処理装置１について説明したが、本発明は画像処理を行う各種機器に適用できる。例えば画像再生装置、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置において、ビデオ圧縮処理装置１を実現することも当然想定される。
例えば図４の処理を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、圧縮前の処理として適切なビット数変換処理を実現できる。

本発明のプログラムとしては、ｍビットの入力映像データを、ｎビットデータ（但しｎ＜ｍ）に変換して圧縮処理を行う際の信号処理のためのプログラムとして適用できる。
そして入力映像データのそれぞれについて、フレーム位置及びフレーム内位置に応じて所定の規則性に沿って切り上げ処理と切り捨て処理を選択する処理選択ステップを演算処理装置に実行させる。また、その処理選択ステップでの選択に応じて、入力映像データのそれぞれについてｍ−ｎビット分の下位ビットの切り上げ処理又は切り捨て処理を実行して、ｎビットの映像データとするビット変換ステップを演算処理装置に実行させる。
このようなプログラムを提供することで、各種機器でデータ圧縮のためのビット数変換処理として好適な処理ができる。このようなプログラムにより、上記パーソナルコンピュータ等で、本発明の信号処理方法を実現させることができる。

なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
またフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ＢＤ、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

１ ビデオ圧縮処理装置、２ ビット数変換部、３ ライン検出／フレームカウント部、４ フレームポジション検出部、５ 色空間変換部、６ 映像データ圧縮処理部、７ 変換処理判定部

Claims (5)

1. ｎビットデータに対する圧縮処理を行う圧縮処理部と、
   ｍビット（但しｎ＜ｍ）の入力映像データについて、ｍ−ｎビット分の下位ビットについて切り上げ又は切り捨て処理を行い、ｎビットの映像データに変換して上記圧縮処理部に供給するビット数変換部と、
   入力映像データのそれぞれについて、フレーム位置及びフレーム内位置に応じて所定の規則性に沿って切り上げ処理と切り捨て処理を選択し、上記ビット数変換部に切り上げ処理と切り捨て処理を指示する変換処理制御部と、
   を備えた信号処理装置。
2. 上記変換処理制御部は、上記所定の規則性に沿った選択として、
   入力映像データの１フレーム内で、１又は複数の水平ライン毎、もしくは水平ラインの一部毎に、切り上げ処理と切り捨て処理を選択するとともに、
   入力映像データのフレーム位置に応じて、上記切り上げ処理と切り捨て処理の選択のパターンを切り換える請求項１に記載の信号処理装置。
3. 上記変換処理制御部は、上記切り上げ処理と切り捨て処理の選択のパターンとして、
   一のパターンは、フレーム内で、先頭の水平ラインから１又は複数の水平ライン毎に交互に切り捨て処理と切り上げ処理を選択するパターンであり、
   他のパターンは、フレーム内で、先頭の水平ラインから１又は複数の水平ライン毎に交互に切り上げ処理と切り捨て処理を選択するパターンである請求項２に記載の信号処理装置。
4. ｍビットの入力映像データを、ｎビットデータ（但しｎ＜ｍ）に変換して圧縮処理を行う際の信号処理方法として、
   入力映像データのそれぞれについて、フレーム位置及びフレーム内位置に応じて所定の規則性に沿って切り上げ処理と切り捨て処理を選択する処理選択ステップと、
   上記処理選択ステップでの選択に応じて、入力映像データのそれぞれについてｍ−ｎビット分の下位ビットの切り上げ処理又は切り捨て処理を実行して、ｎビットの映像データとするビット変換ステップと、
   を実行する信号処理方法。
5. ｍビットの入力映像データを、ｎビットデータ（但しｎ＜ｍ）に変換して圧縮処理を行う際の信号処理として、
   入力映像データのそれぞれについて、フレーム位置及びフレーム内位置に応じて所定の規則性に沿って切り上げ処理と切り捨て処理を選択する処理選択ステップと、
   上記処理選択ステップでの選択に応じて、入力映像データのそれぞれについてｍ−ｎビット分の下位ビットの切り上げ処理又は切り捨て処理を実行して、ｎビットの映像データとするビット変換ステップと、
   を演算処理装置に実行させるプログラム。

Images