JP2012521702A - フィルムジャダの補正方法および補正システム - Google Patents

Abstract

周囲からの照明度または光強度を検出するセンサを有するテレビまたはモニタは、検出された照明度またはビデオ信号のパラメータに基づいて、オリジナルビデオ信号に対する追加的な画像を決定することにより、フレームレートの高い補正ビデオ信号に変換するものである。このとき、照明度／光強度がより強いときに、フレームレート変換に起因するアーチファクトを低減するために、追加的な画像は、決定された照明度／光強度またはビデオ信号のパラメータに基づいて決定される。

Description

本発明は、フィルムジャダを補正または動き補償を行う方法およびシステムに関し、とりわけ照明度または光強度の変動または状態に起因するフィルムジャダを補正または動き補償を行う方法およびシステムに関する。

従前、動画は使い捨ての媒体に記録されていたため、できるだけ小型のものを使用することが望まれていた。したがって動画は１秒間に２４画像または２４フレームのみ記録されている。

５０Ｈｚのテレビでは、各画像を連続的に２回ずつ映すことにより、動画を得ることができ、これにより動画の速度が若干上がる。６０Ｈｚのテレビにおいては、１つの画像を連続的に２回ずつ映し、次の画像を連続的に３回ずつ映し、これを交互に繰り返すことにより、動画を得ることができる。

しかしながら、この場合ジャダリング（震動、ぶれ）が生じ、たとえばカメラ自体が揺れた場合や視野内のものが動いた場合などには、画像／フレームにおける構成要素が、ストロボスコープの前で移動したときのように、動きが均一でなく、とびとびで急激な位置変化を伴うものとなる。

５０Ｈｚ／６０Ｈｚのビデオ信号を、現在のテレビ／モニタの好ましい標準である１００Ｈｚ／１２０Ｈｚに変換するときに、同様の問題が生じる。

この問題に対しては、１つの画像／フレームを２回以上映す代わりに、動画要素の一部を計算して新たな画像を形成して、より高いフレームレートで記録された動画を真似る（シミュレートする）ことにより解決が図られてきた。

しかし、このタイプの予測挿入（インタリーブ）された画像／フレームによる補正または補償には、問題がないわけではないことが分かってきた。たとえば補償方法は、異なる状況に応じて変えるべきところ、固定的なものとなってしまうことが分かってきた。

本発明に係る第１の態様は、ビデオ信号を補正するシステムに関し、
数多くの画像またはフレームからなる当初の画像信号を受信または形成する手段と、
当初の画像信号のうちの２つまたはそれ以上の連続する画像またはフレームから、これらの連続する画像またはフレームの間に挿入すべき１つまたはそれ以上の追加的な画像またはフレームを決定する手段であって、
・連続する２つまたはそれ以上の画像またはフレームに含まれるそれぞれの構成要素の位置を、連続する２つまたはそれ以上の画像またはフレームにおいて特定し、
・追加的な画像またはフレームにおけるそれぞれの構成要素の位置を決定するように構成された決定手段と、
当初のビデオ信号の画像またはフレームおよび追加的な画像またはフレームを受信して、補正されたビデオ信号を出力する手段と、
ユーザ定義可能な設定値、当初のビデオ信号、補正されたビデオ信号、またはディスプレイもしくはモニタの周辺情報のうちの少なくとも１つのものから、所定の値を生成する手段とを備え、
決定手段は、前記値を受信して、これに基づいて構成要素の位置を決定するように構成されたことを特徴とするものである。

この文脈において、ビデオ信号とは、信号、ファイル、または任意のタイプの情報であって、担体上に固定されるものか、または搬送されるものかよらず、モニタまたはディスプレイや、送受信デバイス、記録媒体等に所与の順序で提供される複数の画像またはフレームを含むものである。

以下において、「画像」または「フレーム」は置換可能な用語であって、ビデオを視聴させるとき、個別に表示される個々の情報項目または情報パッケージを含むものである。

当然ながら、当初のビデオ信号は、カメラ、記憶媒体、または任意の型式の受信装置（ネットワーク、ケーブル、衛星ディスク、セットトップボックス、ＤＶＤ、ＶＨＳ、ハードドライブ、ＲＡＭ／ＲＯＭ／ＰＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュなど）から、任意の手法で得た信号であってもよい。

通常、当初のビデオ信号の各画像を提供する時間間隔は、本質的に変更されるべきではない。この時間間隔は、ビデオにおいて視聴される動きの速度を速くしたり、遅くしたりする。

すなわちビデオを視聴するとき、追加的な画像／フレームを挿入すると、１秒当たりに供給される（映し出される）画像／フレームの数を増やすようにフレームレートを変換することになる。択一的には、元のフレームレートを維持しつつ、追加的な画像／フレームを用いて、ビデオを「スローダウン」させてもよい。

この文脈において、追加的な画像／フレームは、当初のビデオ信号のオリジナル画像／フレームとは異なるものであり、これに付加されるものである。通常、当初のビデオ信号の各画像に対して１つの追加的な画像を生成するが、２つ、３つ、またはそれ以上のオリジナル画像毎に１つの追加的な画像を生成してもよいし、各オリジナル画像に対して２つ、３つ、またはそれ以上の追加的な画像を生成してもよい。

通常、当初のビデオ信号の隣接する２つのオリジナル画像から、追加的な画像が決定、すなわち生成された後、これらのオリジナル画像の間に挿入される。択一的には、これらの２つ以上のオリジナル画像を用いて、より十分な追加的な画像を生成してもよい。

一般には、追加的な画像を生成する際の元となる２つまたはそれ以上のオリジナル画像において、画像中の１つまたはそれ以上の（通常は数多くの）構成要素を同定し、その位置を特定する。この文脈において、それぞれの構成要素は、関連するすべての画像に含まれる画像の一部であって、通常、同一の全体的形状、色彩、コントラスト等を有する（よって対応する）各オリジナル画像における物理的な対象物（人、手足、目的物など）を表すものである。これらの対象物または構成要素を同定する手法は数多く存在する。各対象物または各構成要素は同定され、画像におけるその位置が特定される。当初のビデオ信号の複数の画像における構成要素の位置が同じでない場合、追加的な画像において、構成要素を含む背景とともに、構成要素の新たな位置を決定する必要がある。背景は、オリジナル画像から直接的に知ることはできず、推定されるものであるので、多少なりともアーチファクトが視認されることに留意すべきである。

当初のビデオ信号の画像および追加的な画像から、補正されたビデオ信号が生成され、通常と同様の任意の所望の手法において、補正されたビデオ信号を用いて、視聴、送受信、記録等を行うことができる。

本発明によれば、このシステムは、ユーザ定義可能な設定値、当初のビデオ信号、補正されたビデオ信号、またはディスプレイもしくはモニタの周辺情報のうちの少なくとも１つのものから、所定の値を生成する手段を有する。

ユーザ定義可能な設定値とは、ユーザが定義できる値等である。これを定義するための１つの手法は、本発明に係る方法を実現する装置にこの値または設定をユーザが入力することである。この設定値は、記憶媒体に記録し、継続的に更新してもよい。この設定値は、補正されたビデオ信号など、ビデオ信号に基づいて視聴されるとき、ユーザが所望する特性を有するものであることが好ましい。こうした特性は、照明度または輝度や、色彩特性またはコントラスト特性などのその他の画像設定値に関するものであってもよい。すなわちユーザ定義可能な設定値は、実際のビデオ信号により定義されるパラメータ以外の、ディスプレイが出力する光強度に関するパラメータを定義するものであってもよい。

本発明によれば、決定手段は、所定の値に基づいて決定し、異なる値により決定すべき位置が異なることが好ましい。このとき、ユーザ、すなわちビデオ信号により、これまで固定的であった位置を任意に調整することができる。

前記所定値の代わりに、またはこれに加え、このシステムは補正されたビデオ信号を表示するディスプレイまたはモニタを有していてよく、この所定は、同様に任意的には、補正されたビデオ信号を表示する際のディスプレイまたはモニタから出力される光強度を示すパラメータに基づいて決定してもよい。

追加的は、周辺環境における光強度、輝度、照明度、および／または色彩／波長の内容（色調）などの周辺情報から、所定値を求めてもよい。

１つの実施形態では、決定手段は、特定した位置の間の位置であって、予め設定した曲線に沿った位置を決定するように構成され、決定された位置は、該位置から前記曲線に沿って特定された位置に至るまで、前記値に基づいた距離を有する。

追加的な画像における構成要素の位置を決定する方法は、構成要素が移動する予想される経路または方向に関する情報を、推定し、予め決定し、または収集することである。これは、当初のビデオ信号の画像における位置およびさらなる仮説に基づいて行われる。すなわち、画像中の構成要素の動きに沿ってグラフまたは曲線を特定した後に、当初のビデオ信号の複数の画像において決定された位置の間であって、この曲線に沿って、その位置を特定する。

決定された構成要素の位置と、当初のビデオ信号の１つの画像における位置との間の距離は、曲線／グラフに沿ったものであり、単に、同一画面上に重ね合わせたときの位置の間のユークリッド距離としてもよい。詳細後述するように、距離が変わると、フレームレート変換により生成されたアーチファクトの量も変化する。

特に興味ある実施形態において、前記所定値の生成手段は、当初のビデオ信号および／または補正されたビデオ信号の照明度、光強度、または平均画像レベル（ＡＰＬ：Average Picture Level）および／または周辺情報を検出または推定するとともに、検出または推定された照明度、光強度、または平均画像レベルに基づいて、前記所定値を生成するように構成される。色彩すなわち波長の内容（色調）が関連することもある。すなわち、人間の眼の可視光の波長の範囲で照明度／光強度／平均画像レベルを決定する。すなわち、緑色光などの狭い範囲の波長の範囲またはより広い範囲において、照明度／光強度／平均画像レベルを決定してもよい。

ユーザの眼に照射される光量が、ユーザにより視認されるアーチファクトの量を決定するファクタであることが分かってきた。より強い光を見たとき、よりはっきりとアーチファクトを視認できるため、光量、すなわち照明度／光強度／平均画像レベルが強いほど、当初のビデオ信号の画像における位置により接近した位置に決定することが好ましい。当然のことながら、この光は、周辺環境や、たとえば補正されたビデオ信号を映し出すテレビ／モニタなどの両方からユーザの眼に照射されるものである。

別の実施形態において、前記所定値の生成手段は、当初のビデオ信号および／または補正されたビデオ信号からの所定のパラメータを検出または推定するとともに、検出または推定されたパラメータに基づいて、前記値を生成するように構成されている。同様に、このパラメータは、輝度やコントラストなどの画像のパラメータに関するものであることが好ましい。さらに、色彩すなわち波長の内容（色調）が関連してもよい。

好適には、決定手段は、第１の値に基づいて第１の距離を、第２の値に基づいて第２の距離を決定するように構成され、第１および第２の値は、２つまたはそれ以上の連続する画像またはフレームの１つの画像における対応する構成要素からの距離であり、第１の値が第２の値より高い照明度を示すとき、第１の距離は第２の距離より短い。２つまたはそれ以上の連続する画像またはフレームの１つの画像において、オリジナル画像に独立してアーチファクトが重なり合うことに起因して、第１および第２の距離のうちの最小の距離における画像に対して、新たな画像が位置的または時間的に接近する。

当然に、補正されたビデオ信号を出力する手段は、ビデオのコントラスト、色彩、および／または輝度の設定値などのユーザ定義可能な設定値を補正されたビデオ信号に適用するように構成されている。当然に、出力手段は、視聴や送受信等のために出力するように構成してもよい。

好適には、生成手段は、前記所定値を、予め設定された周波数で断続的に、または定期的に生成するように構成され、決定手段は、常に、最近に受信した前記所定値を用いるように構成されている。前記所定値の生成および構成要素の位置の特定、ならびにアーチファクトを含む動作を、固定的な時間間隔または必要に応じて、補正または調整することができる。すなわち前記所定値は、定期的または断続的に更新あるいは再評価することができ、パラメータが補正されたとき、追加的な画像を補正されたパラメータに基づいて決定することができる。

本発明に係る第２の態様は、ビデオ信号を補正する方法に関し、
数多くの画像またはフレームからなる当初の画像信号を受信または形成するステップと、
当初の画像信号のうちの２つまたはそれ以上の連続する画像またはフレームから、これらの連続する画像またはフレームの間に挿入すべき１つまたはそれ以上の追加的な画像またはフレームを決定するステップであって、
・連続する２つまたはそれ以上の画像またはフレームに含まれるそれぞれの構成要素の位置を、連続する２つまたはそれ以上の画像またはフレームにおいて特定するサブステップと、
・追加的な画像またはフレームにおけるそれぞれの構成要素の位置を決定するサブステップとを含む決定ステップと、
追加的な画像またはフレームを、これに関連する当初のビデオ信号の画像またはフレームの間に挿入することにより、当初のビデオ信号の画像またはフレームから、補正されたビデオ信号を生成するステップと、
ユーザ定義可能な設定値、当初のビデオ信号、補正されたビデオ信号、またはディスプレイもしくはモニタの周辺情報のうちの少なくとも１つのものから、所定の値を生成するステップとを有し、
前記決定ステップは、前記値に基づいて構成要素の位置を決定するサブステップを有することを特徴とするものである。

上述のように、当初のビデオ信号は、任意の手法で収集、すなわち受信され、補正された信号は、視聴、記録、または送受信等の任意の目的に用いられる。

新たな画像／フレームを挿入し、構成要素の位置を特定することは、調整可能なパラメータに基づいて位置を特定することとは別のことと考えられる。

上述のように、前記決定ステップの代わりに、またはこれに加えて、補正されたビデオ信号がディスプレイまたはモニタに出力され、（任意的ではあるが）補正されたビデオ信号を映し出すディスプレイまたはモニタからの光強度に基づいて前記所定値を決定してもよい。

１つの実施形態では、前記決定ステップは、特定した位置の間の位置であって、予め設定した曲線に沿った位置を決定することを含み、決定された位置は、該位置から前記曲線に沿って特定された位置に至るまで、前記値に基づいた距離を有する。択一的には、該距離は、同一の画像に重畳されたときの位置の間のユークリッド距離であってもよい。

上記実施形態または別の実施形態において、生成ステップは、当初のビデオ信号および／または補正されたビデオ信号の照明度、光強度、および／または平均画像レベルおよび／または周辺情報を検出または推定するとともに、検出または推定された照明度、光強度、または平均画像レベルに基づいて、前記値を生成することを含む。

また生成ステップは、当初のビデオ信号および／または補正されたビデオ信号からの所定のパラメータを検出または推定するとともに、検出または推定されたパラメータに基づいて、前記値を生成することを含む。このパラメータは、輝度や光強度（たとえば、１秒、２秒、５秒、１０秒、またはそれ以上の所定の時間間隔における平均的な光強度）、あるいはビデオ／画像／フレームのコントラストなど、画像／フレームのパラメータに関連するものであってもよい。択一的または追加的には、信号の波長の内容（色調）を用いてもよい。

１つの実施形態において、決定ステップは、第１の値に基づいて第１の距離を、第２の値に基づいて第２の距離を決定することを含む。また第１および第２の値は、２つまたはそれ以上の連続する画像またはフレームの１つの画像における対応する構成要素からの距離であり、第１の値が第２の値より高い照明度を示すとき、第１の距離は第２の距離より短い。上記説明したように、その距離は、特定された位置と、これに最も近いオリジナル画像における位置との間において特定されるため、第１および第２の距離は、２つのオリジナル画像における位置の間の距離の半分以下である。これらの距離の差異が小さいほど、アーチファクトはより視認されにくく、ジャダはより大きくなる。

１つの実施形態において、補正されたビデオ信号を出力するステップは、色調、コントラスト、輝度などのユーザ定義可能な設定値を補正されたビデオ信号に適用することを含む。

最後に付記すると、生成ステップは、前記値を、予め設定された周波数で断続的に、または定期的に生成することを含み、決定ステップは、常に、最近に受信した前記値を用いることを含むことが好ましい。この周波数は、１秒または１分当たりに１回、２回、３回、またはそれ以上等の所望の周波数に設定することができる。択一的には、通常のプロセッサの処理能力の一部として要求される他の機能とともに、周波数を設定するプロセッサの処理能力を考慮して、可能な範囲で頻繁となるように周波数を一定値に設定してもよい。

２４Ｈｚの動画を５０Ｈｚのテレビに映すためのさまざまな方法を示す。 ジャダ補正（ぶれ補正）機能を有するテレビの主要構成部品を示す。 図２のテレビのジャダ補正原理を示すフローチャートである。

添付図面を参照しながら、本発明の好適な実施形態について説明する。
上記説明したが、図１に示すように、これまで、実際には各画像を２回ずつ２５Ｈｚで映して、動画を動画の速度を上げることにより、２４Ｈｚの動画を５０Ｈｚのテレビ、モニタ、ディスプレイ等に映していた。

図１のライン１において、各画像は２回ずつ表示される。この画像において、ボールなどの円形状の構成要素が自由落下するように下方へ移動する。個々のオリジナル画像（元の画像）において、ボールはますます下方へ配置される。動画を見るとき、急激な位置変化が破線上に視認される。

ライン２において、各オリジナル画像を２回ずつ映すのではなく、標準的な動き補償が行われ、（黒色の少ない、シングルハッチングとして示す）予測挿入された画像が求められ、互いに隣接する２つのオリジナル画像の間に映し出される。各画像は、時間的に等間隔で映し出されるので、標準的な動き補償は、オリジナル画像のちょうど間に円形状構成要素の位置が特定される。

通常、その位置は、オリジナル画像の位置の間を結ぶ線分（破線）の中心に決定されるが、構成要素の位置が追跡され、直線に沿わないことが分かった場合など、原則的に任意の曲線を用いてもよい。

この文脈において、構成要素の位置の間の距離は、同一の画像／フレームに表示されたときの位置の間のユークリッド距離であってもよい。

本発明によれば、こうした補償および位置決定を行うとき、いくつかの条件下におけるジャダ補償（ぶれ補償）または動き補償が、場合によっては、より目立ちやすく、より問題のあることが分かってきた。

すなわち図１に示すように、動き補償を制御する値が決定される。図１のライン３において、予測挿入される画像／フレーム、すなわち追加的な画像／フレームが提供されるが、ここでは画像内の構成要素の位置は、変数に基づいて選択することができる。

この変数は、数多くの因子（ファクタ）に関連するが、ユーザの眼がより多くの光量を受けるとき、ジャダ補償（ぶれ補償）または動き補償、すなわちこれら補償によるアーチファクト（人工的な画像）が、より際立ち、より目立つようになることが分かってきた。したがって、テレビ／モニタの周囲の光量がより多くなると、そして／またはアーチファクトに起因してより多くの光が出力されると、眼すなわちユーザは、アーチファクトによる動き補償をより強く認識してしまう。すなわち、光量がより少なく、アーチファクトをあまり認識することができないとき、動き補償の値は、構成要素の位置が、隣接する２つのオリジナル画像／フレームのオリジナル画像の位置の中央に決定された場合の既知の値により近似される。より光量が多い場合、構成要素の位置は、アーチファクトを許容可能なレベルに維持するように、オリジナル画像／フレームのオリジナル画像の位置により近い位置に決定される。

結果として、テレビ／モニタにおいて、あるいはテレビ／モニタからの光強度がより強い場合には、予測挿入される位置は、予測挿入される画像／フレームにおける位置は、その画像／フレームの直前または直後に提供される画像／フレームのいずれか一方における位置に接近する。

すなわち、一般に、本発明に係る動き補償／ジャダ補償アルゴリズムは、固定されず、常に同じ位置ではなく、むしろ使用時に得られるパラメータに依存して変化するものである。

上記位置を決定し、調整できるものであれば、これまで知られ、将来知られることになる任意の補償アルゴリズムまたは方法を用いることができる。これら補償方法により生成されるアーチファクト（ハロー（halo）またはブレイクアップ（break-up））をさまざまな手法で回避しようとする、さまざまな方法およびアルゴリズムが存在する。

当然ながら、ビデオを視聴する条件が変化した場合、またはビデオ自体が変更された場合など、補償値を所定時間経過する毎に定期的または断続的に再評価してもよい。

図２は、テレビまたはモニタ１２を構成する複数の主要部品１０を示し、２４Ｈｚまたは５０Ｈｚ／６０Ｈｚといった第１のフレームレートのビデオ信号または入力信号を受信して、１００Ｈｚ／１２０Ｈｚといった、より高い周波数の第２のフレームレートの補償されたビデオ信号または入力信号をユーザに供給するように構成されたものである。

オリジナル（未処理）のビデオ入力信号、すなわち当初（第１）のビデオ入力信号をビデオプロセッサ１６が受信し、ビデオプロセッサが任意的に修正して、フレームレートコンバータ１８に送信する。そしてフレームレートコンバータは、フレームレートをたとえば５０Ｈｚを１００Ｈｚに大きくする。このフレームレートコンバータ１８は、ＮＸＰから市販されたＰＮＸ５１ｘｘであってもよい。

フレームレートが変換されたビデオ入力信号は、フレームレートコンバータ１８から、ユーザが視聴するテレビ１２へ出力される。

さらに、フレームレートコンバータ１８によるフレームレートの変換を制御するための制御アルゴリズム２０が設けられる。信号または値が制御アルゴリズム２０により生成された後、コンバータ１８による変換が行われる。

コンバータ１８は、受信したビデオ信号の連続的な数多くの画像／フレームから、１つまたはそれ以上の新たな画像／フレームを、２つの連続する画像／フレームの間に挿入する。連続的画像において、画像／フレーム内の人、建物、またはその他の対応する構成要素およびこれらの位置が特定される。そして１つまたはそれ以上の新たな画像において、これらの位置に基づいて新たな画像が形成される。これらの新たな画像の実際の形成手法については当業者に広く知られたものである。

本発明によれば、これらの位置は、制御アルゴリズムを用い、受信した情報に基づいて決定される。すなわち受信したさまざまな情報に基づいて、異なる位置が決定される。

単純な実施形態において、構成要素の位置は、連続するオリジナル画像／フレームにおける当該構成要素の位置を結ぶ直線上に沿って決定される。決定された位置は、連続する画像における構成要素のちょうど中間の位置であってもよいし、連続する画像のいずれか一方における構成要素の位置により近接していてもよい。

当然に、（ビデオとして画像／フレームを提供する経時的順序に沿って）最も近接する２つのみの画像／フレームを用いて、位置を特定してもよいし、あるいはより正確な位置を特定するために、より数多くの連続的な画像／フレームを用いてもよい。

画像／フレームの構成要素が直線に沿って、または特定の平面上を移動するものではないと推定される場合、直線を任意の曲線に置き換えてもよい。すなわち、より複雑な曲線を特定すると、より複雑な曲線に沿って位置を特定することができる。曲線の形状は、連続する画像における位置に基づいて、事前に定義、推定、特定、または算出することができる。

新たな挿入画像およびオリジナル画像における構成部品のそれぞれの位置の間の差異を大きくしたり、小さくしたりするために、曲線／直線の沿った距離、すなわち単純には、新たな挿入画像および（これを決定するための基礎となる）オリジナル画像における構成要素のそれぞれの位置の間の距離を調整する。当然に、挿入画像の前または後に提供されるオリジナル画像における構成要素の位置に関連付けて決定することができる。

実際のところ、距離に関するパラメータの代わりに、求めるパラメータは、２つの隣接するオリジナル画像／フレームの間の時間的期間のポイントであって、新たな挿入画像を表すものを指定する時間に関連するパラメータであってもよい。オリジナル画像の時間的ポイントのちょうど中間である時間的ポイントは、標準的な動き補償を表すものであり、２つのオリジナル画像のうちの一方の時間的ポイントに近い場合、動き補償はより小さく、アーチファクトはより少なくなる。

図２のシステムにおいて、制御アルゴリズム２０は、プロセッサ１６が受信し、またはモニタから出力された、モニタ１２の平均的な光信号またはあるいは光強度に関する情報を受信する。さらに制御アルゴリズム２０は、周囲の光強度に関する情報を収集するために配設された光センサ２８から、（ユーザ定義された）テレビ／モニタ１２の輝度２４およびコントラスト２６の設定値に関する情報を、周辺光または周辺照明に関する周辺情報とともに受信する。周囲の光の状況（明暗）にテレビ／モニタを適応させるために、この周辺情報を用いて、テレビ／モニタの照明設定値を決定または設定することもできる。

テレビ／モニタの設定値２４／２６を、ユーザの好みやテレビ／モニタの特性に合わせるようにコンバータ１８からのビデオ信号に適用してもよい。これに加え、この情報は、ビデオ変換の適用に際しても有効である。

すなわちユーザが視認する光量に関する情報が制御アルゴリズム２０に向けて供給される。

動作において、図３を参照すると、制御アルゴリズム２０は、上述の情報を連続的または断続的に受信し、光量の状況をビデオ信号の変換に適用するために、所定の値またはその他の情報をコンバータ１８に送信する。さらに任意的ではあるが、センサ２８の出力値に基づき、周囲の照明または照射に合わせて、テレビ／モニタ１２の出力レベルを決定してもよい。

すなわち、頻度をより多く、またはより少なく操作を行うことができる。現在のところ、上記決定および適用は、２０ミリ秒〜４００ミリ秒毎に行うことが好ましいが、頻度をより多く、またはより少なく操作するようにしてもよい。

またコンバータ１８の実際の補償に関し、通常の場合の中心位置との距離の差は、さまざまに異なる状況下で調整することができる。好適には、動き補償がないときには０％とし（図１のライン１）、動き補償が完全であるときには１００％とし（図１のライン３）、この距離を３０％〜７０％の間で調整してもよい。１００％に達する動き補償を回避することは、ときどき必要とされることはないが、アーチフェクトを含む動画を提供する動画の製作者に対する証拠である。当然に、この方法は、任意のパーセンテージ（割合）の動き補償を可能にするものであり、これらの限界値を選択することができる。

光強度または照明度の設定値に関する他の種類（たとえば波長成分）の情報も同様に有用であることに留意されたい。すなわち人間の眼に見える範囲の波長の範囲における強度／照度が決定される。さらに、照度（明るさ）が一定であるか、変動するかを考慮してもよい。さらに、人間は変化する明るさに慣れるまでに時間がかかるので（瞳孔拡張）、慣れるまでの遅延時間を上記決定において考慮してもよい。

当然に、本発明に係る方法およびアルゴリズムは、任意の周波数に対して、同様に任意のテレビ／モニタ／コンピュータ／ＰＤＡ／ラップトップコンピュータなどにおいて、任意のタイプのビデオフレームレートのアップコンバージョン（大きくする変換）に機能させることができる。

いくつかのフレーム変換アルゴリズムは、距離については機能しない可能性があるが、新たな画像における構成要素の位置を特定・定義することができ、距離は予想が可能であり、簡便に特定することができる。

センサ２８は、任意の位置に配置することができるが、テレビ／モニタに固定され、一般的にはテレビ／モニタのスクリーンの通常の方向に配向して向けて、ユーザの通常の視認位置に向けることが、現在のところでは好適と考えられる。択一的には、センサは、ユーザが実際に視認する景観（テレビおよびその周辺）に向けるように配置してもよい。

１２…テレビ／モニタ、１６…ビデオプロセッサ、１８…フレームレートコンバータ、
２０…制御アルゴリズム、２４…輝度設定部、２６…コントラスト設定部、２８…光センサ。

Claims (14)

1. ビデオ信号を補正するシステムであって、
   数多くの画像またはフレームからなる当初の画像信号を受信または形成する手段と、
   当初の画像信号のうちの２つまたはそれ以上の連続する画像またはフレームから、これらの連続する画像またはフレームの間に挿入すべき１つまたはそれ以上の追加的な画像またはフレームを決定する手段であって、
   ・連続する２つまたはそれ以上の画像またはフレームに含まれるそれぞれの構成要素の位置を、連続する２つまたはそれ以上の画像またはフレームにおいて特定し、
   ・追加的な画像またはフレームにおけるそれぞれの構成要素の位置を決定するように構成された決定手段と、
   当初のビデオ信号の画像またはフレームおよび追加的な画像またはフレームを受信して、補正されたビデオ信号を出力する手段と、
   ユーザ定義可能な設定値、当初のビデオ信号、補正されたビデオ信号、またはディスプレイもしくはモニタの周辺情報のうちの少なくとも１つのものから、所定の値を生成する手段とを備え、
   決定手段は、前記値を受信して、これに基づいて構成要素の位置を決定するように構成されたことを特徴とするシステム。
2. 請求項１に記載のシステムであって、
   決定手段は、特定した位置の間の位置であって、予め設定した曲線に沿った位置を決定するように構成され、
   決定された位置は、該位置から前記曲線に沿って特定された位置に至るまで、前記値に基づいた距離を有することを特徴とするシステム。
3. 請求項１または２に記載のシステムであって、
   前記値の生成手段は、当初のビデオ信号および／または補正されたビデオ信号の照明度、光強度、または平均画像レベルおよび／または周辺情報を検出または推定するとともに、検出または推定された照明度、光強度、または平均画像レベルに基づいて、前記値を生成するように構成されたことを特徴とするシステム。
4. 請求項１〜３のいずれか１に記載のシステムであって、
   前記値の生成手段は、当初のビデオ信号および／または補正されたビデオ信号からの所定のパラメータを検出または推定するとともに、検出または推定されたパラメータに基づいて、前記値を生成するように構成されたことを特徴とするシステム。
5. 請求項２または３に記載のシステムであって、
   決定手段は、第１の値に基づいて第１の距離を、第２の値に基づいて第２の距離を決定するように構成され、
   第１および第２の値は、２つまたはそれ以上の連続する画像またはフレームの１つの画像における対応する構成要素からの距離であり、
   第１の値が第２の値より高い照明度を示すとき、第１の距離は第２の距離より短いことを特徴とするシステム。
6. 請求項１〜５のいずれか１に記載のシステムであって、
   補正されたビデオ信号を出力する手段は、ユーザ定義可能な設定値を補正されたビデオ信号に適用するように構成されたことを特徴とするシステム。
7. ビデオ信号を補正する方法であって、
   数多くの画像またはフレームからなる当初の画像信号を受信または形成するステップと、
   当初の画像信号のうちの２つまたはそれ以上の連続する画像またはフレームから、これらの連続する画像またはフレームの間に挿入すべき１つまたはそれ以上の追加的な画像またはフレームを決定するステップであって、
   ・連続する２つまたはそれ以上の画像またはフレームに含まれるそれぞれの構成要素の位置を、連続する２つまたはそれ以上の画像またはフレームにおいて特定するサブステップと、
   ・追加的な画像またはフレームにおけるそれぞれの構成要素の位置を決定するサブステップとを含む決定ステップと、
   追加的な画像またはフレームを、これに関連する当初のビデオ信号の画像またはフレームの間に挿入することにより、当初のビデオ信号の画像またはフレームから、補正されたビデオ信号を生成するステップと、
   ユーザ定義可能な設定値、当初のビデオ信号、補正されたビデオ信号、またはディスプレイもしくはモニタの周辺情報のうちの少なくとも１つのものから、所定の値を生成するステップとを有し、
   前記決定ステップは、前記値に基づいて構成要素の位置を決定するサブステップを有することを特徴とする方法。
8. 請求項７に記載の方法であって、
   決定ステップは、特定した位置の間の位置であって、予め設定した曲線に沿った位置を決定することを含み、
   決定された位置は、該位置から前記曲線に沿って特定された位置に至るまで、前記値に基づいた距離を有することを特徴とする方法。
9. 請求項７または８に記載の方法であって、
   生成ステップは、当初のビデオ信号および／または補正されたビデオ信号の照明度、光強度、または平均画像レベルおよび／または周辺情報を検出または推定するとともに、検出または推定された照明度、光強度、または平均画像レベルに基づいて、前記値を生成することを含むことを特徴とする方法。
10. 請求項７〜９のいずれか１に記載の方法であって、
    生成ステップは、当初のビデオ信号および／または補正されたビデオ信号からの所定のパラメータを検出または推定するとともに、検出または推定されたパラメータに基づいて、前記値を生成することを含むことを特徴とする方法。
11. 請求項８または９に記載の方法であって、
    決定ステップは、第１の値に基づいて第１の距離を、第２の値に基づいて第２の距離を決定することを含み、
    第１および第２の値は、２つまたはそれ以上の連続する画像またはフレームの１つの画像における対応する構成要素からの距離であり、
    第１の値が第２の値より高い照明度を示すとき、第１の距離は第２の距離より短いことを特徴とする方法。
12. 請求項７〜１１のいずれか１に記載の方法であって、
    補正されたビデオ信号を出力するステップは、ユーザ定義可能な設定値を補正されたビデオ信号に適用することを含むことを特徴とする方法。
13. 請求項１〜６のいずれか１に記載のシステムであって、
    生成手段は、前記値を、予め設定された周波数で断続的に、または定期的に生成するように構成され、
    決定手段は、常に、最近に受信した前記値を用いるように構成されることを特徴とするシステム。
14. 請求項７〜１２のいずれか１に記載の方法であって、
    生成ステップは、前記値を、予め設定された周波数で断続的に、または定期的に生成することを含み、
    決定ステップは、常に、最近に受信した前記値を用いることを含むことを特徴とする方法。

Images