JP2011061709A - 映像処理装置および映像処理方法 - Google Patents

Abstract

【課題】画像圧縮に起因するノイズによるフレームレート変換での画像劣化を低減させることが可能な映像処理装置および映像処理方法を提供すること。
【解決手段】本発明に係る映像処理装置は、時系列画像信号に含まれる原画像の配置位置を基準とし、かつ、時系列画像信号の間に補間される補間画像信号の配置位置を表す補正量を、少なくとも時系列画像信号のデータレートに基づいて算出し、算出した補正量に基づいて、時系列画像信号の間に補間される補間画像信号の生成時刻を設定する。この際、データレートが所定の閾値未満となり当該閾値から更に小さくなるように変化した場合、配置位置を原画像側に近づける補正量が算出され、閾値未満となっているデータレートが当該閾値に近づくように変化した場合、原画像間を均等に分割した均等位置側に配置位置を近づける補正量が算出される。
【選択図】図２

Description

本発明は、映像処理装置および映像処理方法に関する。

近年、映像処理技術、及び情報通信技術の急速な発展に伴い、高品質な映像のデジタル放送サービスが普及してきている。このような高画質映像のデジタル放送データは、そのデータ量が膨大であるため、それを経済的に配信するために種々の工夫が凝らされている。その中でも、高画質な映像データを高画質なままにデータ容量を圧縮する符号化技術として、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）により規格化された圧縮符号化技術がよく知られている。

こうした圧縮符号化技術の中で「動き補償」と呼ばれる映像処理技術が利用される。この動き補償の処理には、複数の時系列画像信号の間で同一又は最も近似する画素又は画素群（以下、ブロック）を抽出する工程と、そのブロックが移動した方向、及び移動量を示す動きベクトルを検出する工程（以下、動き検出）と、その時系列画像信号間で差分符号化する際に動きベクトルに基づいてブロック位置の画素値を補償する工程とが含まれる。この技術を適用すると、例えば、時系列画像信号に含まれる移動体が時間の経過につれて移動する映像において、同一又は近似した画素値を有するブロックがほぼ変化せず、単純に移動するようなシーンでは、画質を劣化させずにデータ容量が大きく低減される。

また、Ｈｉｇｈ Ｆｒａｍｅ Ｒａｔｅ処理やＦｉｌｍ ＭＣ処理等に適用される、動き検出によるフレーム補間処理は、高画質化に欠かせない手法である。フレーム補間処理におけるＨｉｇｈ Ｆｒａｍｅ Ｒａｔｅ 処理では、連続するフレーム間の動きベクトルを利用して、補間画像を生成することが一般的である。そのため、ノイズ等が多い映像 の場合、正しいフレーム間の動きベクトルを検出できなくなり、補間結果に好ましくない影響を与えることがある。かかる影響に対して対処するために、以下の特許文献１では、伝送経路上で付加されたノイズに応じて画質劣化を低減させる方法が提案されている。

国際公開第０８／１０２８２６号パンフレット

ところで、昨今の画像圧縮技術の発達により、テレビジョン受像機で表示する映像の多くは、何らかの画像圧縮処理が施された経緯のある映像である。その一例として、デジタルテレビ放送、ＤＶＤ、ブルーレイ、映像データの入ったメモリデバイスなどのパッケージメディア、そしてインターネットなどからのダウンロードやストリームなどが挙げられる。特に、今後ブロードバンドの普及によるインターネット経由での映像視聴は、ますます増えていくものと思われる。一般的に、これらの映像信号は、伝送経路上でノイズが付加されにくいこと、また画像圧縮のかけ方を変えることで、通信量を制御することができることが特徴である。海外からの中継番組やインターネットからの映像視聴など、限られた伝送経路の容量で映像を伝送するために、画像圧縮を強くかける場合が多い。画像圧縮を解除してこれらの映像を視聴する場合に、画像圧縮に起因するノイズによって映像が劣化してしまうことがある。このような映像に対してＨｉｇｈ Ｆｒａｍｅ Ｒａｔｅ処理を行う場合おいても、正しいフレーム間の動きベクトルを検出できなくなり、その補間結果に好ましくない影響を与えることがある。また、伝送経路容量を一定に維持しようとして圧縮される画像の場合、激しい動きなどフレーム間の変化が大きくなった場合、映像のディテールが失われたり、画像圧縮に起因するノイズの増加によって画像が崩れたりすることがある。このような映像に対してＨｉｇｈ Ｆｒａｍｅ Ｒａｔｅ処理を行う場合においても、Ｆｒａｍｅ補間が視聴映像に好ましくない影響を与えることがある。

このような、伝送経路上のノイズとしては検出されないノイズによるＨｉｇｈ Ｆｒａｍｅ Ｒａｔｅ処理での画質劣化は、上記特許文献１に挙げた方法では着目されておらず、これらの伝送経路上でのノイズに起因しない画像劣化を防止することは困難であった。

また、ノイズの増加によるＨｉｇｈ Ｆｒａｍｅ Ｒａｔｅ処理の制御を行うにあたっては、これまでＦｒａｍｅ補間を中止して、同一フレームを繰り返し表示する方式や、動きベクトルによらない補間方式などへの切換または混合が一般的に取られている。しかしながら、急激に映像の解像度が下がったことを視聴者に認識させるため、必ずしも望ましい方式であるとはいえない。さらに、入力映像が、映画フィルムの映像であるフィルム映像の場合、プルダウンされた映像信号に対してではなく、フィルム本来の映像（２４フレーム／秒）に対してＦｒａｍｅ補間することで、より滑らかな映像を生成することができる。しかしながら、Ｆｒａｍｅ補間される画像数が多くなるため、フィルム本来のフレームにおけるフレーム間の動きベクトル検出のわずかな失敗であっても、補間される画像では大きな不具合となる可能性が高くなる場合がある。その結果、プルダウン解除せずに通常のカメラ映像（５０フレーム／秒または６０フレーム／秒）としてＦｒａｍｅ補間を行った方が結果的によい場合もある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像圧縮に起因するノイズによるフレームレート変換での画像劣化を低減させることが可能な、映像処理装置および映像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、連続的に入力される時系列画像信号間における当該時系列画像信号のデータレートを含む所定の特徴量を検出する特徴量検出部と、前記時系列画像信号に含まれる原画像の配置位置を基準とし、かつ、前記時系列画像信号の間に補間される補間画像信号の配置位置を表す補正量を、前記特徴量検出部により検出された特徴量の変化に応じて算出する補正量算出部と、前記時系列画像信号の間に補間される補間画像信号の生成時刻を、前記補正量算出部により算出された補正量に基づいて設定する生成時刻設定部と、前記生成時刻設定部により設定された生成時刻の補間画像信号を生成し、前記時系列画像信号の補間を行う補間処理部と、を備え、前記補正量算出部は、前記データレートが所定の閾値未満となり当該閾値から更に小さくなるように変化した場合、前記配置位置を前記原画像側に近づける補正量を算出し、前記閾値未満となっているデータレートが当該閾値に近づくように変化した場合、前記原画像間を均等に分割した均等位置側に前記配置位置を近づける補正量を算出する映像処理装置が提供される。

前記補正量算出部は、前記データレートが所定の閾値未満となり当該閾値から更に小さくなるように変化した場合、次に表示される前記補間画像信号に対応する補間画像への遷移時間が一定となるように、前記補間画像信号の配置位置に対する前記補正量を算出し、前記閾値未満となっているデータレートが当該閾値に近づくように変化した場合、次に表示される前記補間画像信号に対応する前記生成時刻への時間変化量が一定となるように、前記補間画像信号の配置位置に対する前記補正量を算出してもよい。

前記映像処理装置は、前記時系列画像信号に対する動きベクトルを検出する速度検出部を更に備え、前記補正量算出部は、更に、検出された前記動きベクトルの情報に基づいて、前記補正量を算出してもよい。

前記特徴量検出部は、前記時系列画像信号の輝度と当該輝度の差分であるコントラストとを更に検出し、前記補正量算出部は、前記輝度または前記コントラストが所定の閾値以下となる場合、前記データレートの閾値を低い値に変更してもよい。

前記特徴量検出部は、前記時系列画像信号の種類が、テレビカメラで撮影された映像であるカメラ映像と映画フィルムの映像であるフィルム映像のどちらであるかを判定し、前記補正量算出部は、前記時系列画像信号の種類の判定結果に応じて、前記均等位置を算出してもよい。

前記補正量算出部は、次に表示される前記補間画像信号に対応する補間画像への遷移時間が一定となるように、前記補間画像信号の配置位置に対する前記補正量を算出してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、連続的に入力される時系列画像信号間における当該時系列画像信号のデータレートを含む所定の特徴量を検出するステップと、前記時系列画像信号に含まれる原画像の配置位置を基準とし、かつ、前記時系列画像信号の間に補間される補間画像信号の配置位置を表す補正量を、検出された特徴量の変化に応じて算出するステップと、前記時系列画像信号の間に補間される補間画像信号の生成時刻を、算出された補正量に基づいて設定するステップと、設定された生成時刻の補間画像信号を生成し、前記時系列画像信号の補間を行うステップと、を含み、前記補正量を算出するステップでは、前記データレートが所定の閾値未満となり当該閾値から更に小さくなるように変化した場合、前記配置位置を前記原画像側に近づける補正量が算出され、前記閾値未満となっているデータレートが当該閾値に近づくように変化した場合、前記原画像間を均等に分割した均等位置側に前記配置位置を近づける補正量が算出される映像処理方法が提供される。

以上説明したように本発明によれば、画像圧縮に起因するノイズによるフレームレート変換での画像劣化を低減させることが可能である。

本発明の第１の実施形態に係る表示装置の構成を説明するためのブロック図である。 同実施形態に係る映像処理装置が備える映像信号処理部の構成を説明するためのブロック図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の一例を説明するための説明図である。 同実施形態に係る映像処理方法の流れを説明するための流れ図である。 本発明の実施形態に係る映像処理装置のハードウェア構成の一例を説明するためのブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は、以下の順序で行うものとする。
（１）第１の実施形態
（１−１）表示装置の構成について
（１−２）映像処理装置の構成について
（１−３）映像処理方法の具体例について
（１−４）映像処理方法の流れについて
（２）本発明の実施形態に係る映像処理装置のハードウェア構成について
（３）まとめ

（第１の実施形態）
＜表示装置の構成について＞
まず、本発明の第１の実施形態に係る映像処理装置について説明するに先立ち、本実施形態に係る映像処理装置を備える表示装置の一例について、図１を参照しながら説明する。図１は、本実施形態に係る表示装置の構成を説明するためのブロック図である。

図１に示したように、本実施形態に係る表示装置１は、例えば、本実施形態に係る映像処理装置１０と、地上波チューナ１２と、衛星チューナ１４と、入力端子１６と、を備える。

映像処理装置１０は、後述する地上波チューナ１２、衛星チューナ１４または入力端子１６から入力された時系列映像信号に対して、動きベクトルを用いたフレーム補間処理を行う装置である。この映像処理装置１０については、以下で改めて詳細に説明する。

地上波放送用アンテナ１１は、放送局から配信される地上波放送番組を受信するためのアンテナである。地上波放送用アンテナ１１により受信された放送信号は、地上波チューナ１２に入力される。地上波チューナ１２は、地上波放送用アンテナ１１により受信された放送信号を復調して、時系列画像信号および音声信号を再生する。地上波チューナ１２により再生された時系列画像信号および音声信号は、映像処理装置１０に入力される。

衛星放送用アンテナ１３は、放送衛星を介して放送局から配信される衛星放送番組を受信するためのアンテナである。衛星放送用アンテナ１３により受信された放送信号は、衛星チューナ１４に入力される。衛星チューナ１４は、衛星放送用アンテナ１３により受信された放送信号を復調して、時系列画像信号および音声信号を再生する。衛星チューナ１４により再生された時系列画像信号および音声信号は、映像処理装置１０に入力される。

入力端子１６は、外部に設置された映像再生機器または音声再生機器等を接続する端子である。かかる端子の例として、例えば、イーサネット等のネットワーク端子や、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の各種端子を挙げることができる。本実施形態に係る表示装置１０は、ネットワーク端子を有することにより、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）機器やインターネットから、時系列画像信号および音声信号等のコンテンツを受信することができる。また、表示装置１０は、ＵＳＢ端子等を有することで、ＵＳＢメモリや外部に設けられたハードディスク等の記憶媒体に格納されている時系列画像信号および音声信号を取得して、かかるコンテンツを視聴することが可能となる。映像再生機器としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）レコーダ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）レコーダ、Ｂｌｕ−ｒａｙ（登録商標）レコーダ、カムコーダ等の録画再生装置や、ＤＶＤプレーヤ、Ｂｌｕ−ｒａｙ（登録商標）プレーヤ等の映像再生装置などが対象に含まれる。

音声入力機器としては、例えば、ＣＤプレーヤ、携帯音楽プレーヤ等の音声再生装置が対象に含まれる。もちろん、パーソナルコンピュータや携帯情報端末等の情報処理機器が接続されてもよいし、あるいは、半導体メモリや磁気記録媒体等の記録媒体が接続されてもよい。このように、入力端子１６に各種の機器が接続されることで、地上波放送や衛星放送の他にも、メディア等で提供される映像データや音声データを利用できる。

＜映像処理装置の構成について＞
続いて、図１および図２を参照しながら、本実施形態に係る映像処理装置の構成について、詳細に説明する。図２は、本実施形態に係る映像処理装置が備える映像信号処理部について説明するためのブロック図である。

本実施形態に係る映像処理装置１０は、例えば図１に示したように、入力切替部１０１と、映像信号処理部１０３と、映像表示部１０５と、音声信号処理部１０７と、音声出力部１０９と、記憶部１１１と、を主に備える。

入力切替部１０１は、地上波チューナ１２、衛星チューナ１４または入力端子１６に接続された機器から入力される時系列画像信号や音声信号を、映像信号処理部１０３または音声信号処理部１０７に入力する。このとき、入力切替部１０１は、利用者による入力操作、または所定の自動処理により、地上波チューナ１２、衛星チューナ１４または入力端子１６からの信号入力を切り替えることができる。つまり、入力切替部１０１は、映像信号処理部１０３および音声信号処理部１０７に入力する信号の取得先を、選択的に切り替えることができる。

そのため、映像信号処理部１０３には、異なる種類の時系列画像信号が連続的に入力されることがある。例えば、地上波放送の時系列画像信号に続いて衛星放送の時系列画像信号が入力されたり、地上波放送に続いてＤＶＤ映画の時系列画像信号が入力されたりする。同様に、音声信号処理部１０７に対しても、複数の入力手段からの音声信号が連続して入力されることがある。さらに、同じ地上波番組の時系列画像信号であっても、フィルム映像のものとカメラ映像のものとが混在して入力される場合もある。

ここで、上述のカメラ映像は、テレビカメラで撮影された映像を意味し、フィルム映像は、映画フィルムの映像を意味する。これらの映像は、それぞれ時間解像度が異なっている。例えば、カメラ映像の時間解像度は、６０（又は５０）フィールド／秒である。一方、フィルム映像の時間解像度は、２４フレーム／秒であり、プルダウン処理によって６０フィールド／秒等に変換されてから入力される。なお、これらの数値は一例であり、これに限定されない。

映像信号処理部１０３は、このように連続して入力される時系列画像信号に、以下で説明するような所定の信号処理を施して、映像表示部１０５に表示させる。所定の信号処理として、例えば、映像信号処理部１０３は、入力された複数の時系列画像信号に基づき補間画像信号を生成して、時系列画像信号の時間解像度を変換することができる。この変換処理を施すことで、映像表示部１０５に表示される映像は、入力切替部１０１から入力された変換前の時系列画像信号ストリームよりも、高い時間解像度を有する滑らかな映像となる。このような映像信号処理部１０３の詳細な構成は、以下で図２を参照しながら、改めて説明する。

映像表示部１０５は、映像信号処理部１０３により入力された映像信号を表示する表示部である。映像表示部１０５としては、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のパネルが対象に含まれる。

音声信号処理部１０７は、入力切替部１０１から入力された音声信号に所定の信号処理を施して、音声出力部１０９に入力する。所定の信号処理としては、例えば、種々の音声符号化方式で圧縮符号化された音声信号を、音声出力部１０９で再生可能な音声信号に変換する処理が対象に含まれる。このように変換処理された音声信号が入力されると、音声出力部１０９により音声が出力される。音声出力部１０９としては、例えば、スピーカやヘッドホン等のオーディオ装置が対象に含まれる。

記憶部１１１は、映像処理装置１０が備える記憶装置の一例である。記憶部１１１には、映像処理装置１０に入力された時系列画像信号等が必要に応じて格納される。また、記憶部１１１には、映像処理装置１０の動作に関する各種の履歴情報が記録されていてもよい。さらに、記憶部１１１には、本実施形態に係る映像処理装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等が、適宜記録される。この記憶部１１１は、入力切替部１０１、映像信号処理部１０３、映像表示部１０５、音声信号処理部１０７、音声出力部１０９等が、自由に読み書きを行うことが可能である。

［映像信号処理部について］
続いて、図２を参照しながら、本実施形態に係る映像処理装置１０が備える映像信号処理部１０３の構成について、詳細に説明する。

本実施形態に係る映像信号処理部１０３は、図２に例示したように、特徴量検出部１２１と、フレームレート変換部１３３と、補正量算出部１３９と、補間方法選択部１４１と、生成時刻設定部１４３と、を主に備える。

なお、特徴量検出部１２１およびフレームレート変換部１３３が有する機能は、後述するハードウェア構成のうち、例えば、データ信号処理部６４、映像信号処理部６６、ＯＳＤ回路６８、合成回路７０、マイコン７２等により実現される。また、補正量算出部１３９、補間方法選択部１４１および生成時刻設定部１４３の機能は、主に、マイコン７２等により実現される。なお、これらの処理部が有する機能の一部又は全部は、マイコン７２を構成するＲＯＭ７２４等に記録されたプログラムに基づいてＣＰＵ７２２により実現されてもよい。

特徴量検出部１２１は、入力切替部１０１から入力された時系列画像信号について、この時系列画像信号を特徴付ける特徴量を検出する処理部である。かかる特徴量として、例えば、時系列画像信号のデータレート、時系列画像信号に対応する画像の輝度およびコントラスト、ならびに、時系列画像信号の種別等を挙げることができる。この特徴量検出部１２１は、図２に例示したように、画像伸張部１２３、ノイズ除去部１２５、信号選択部１２７、輝度測定部１２９および映像種別判別部１３１を更に備える。

画像伸張部１２３は、圧縮された時系列画像信号が入力されると、この圧縮された時系列画像信号を所定の方式に則って伸張し、圧縮されていない時系列画像信号とする。画像伸張部１２３は、伸張した時系列画像信号を、ノイズ除去部１２５に入力する。また、画像伸張部１２３は、圧縮されている信号の伸張処理を行うことで、この信号に付加されている「映像のデータレート」、「映像の画面サイズ」、「映像のフレームレート」といった情報を把握することが可能となる。画像伸張部１２３は、時系列画像信号に付加されている映像のデータレートを表す情報を、補正量算出部１３９に伝送する。また、画像伸張部１２３は、映像の画像サイズを表す情報および映像のフレームレートを表す情報を、補正量算出部１３９にあわせて伝送することが好ましい。

ノイズ除去部１２５は、入力された時系列画像信号に含まれるノイズ（より詳細には、画像圧縮に起因するノイズ）を、視聴者の好みやノイズ除去部１２５に成されている設定等に基づいて低減させたり除去したりする。画像圧縮に起因するノイズとして、「ブロックノイズ」および「モスキートノイズ」といわれるノイズが存在するが、ノイズ除去部１２５は、これらのノイズを、現在用いられている各種の方法に則して、低減させたり除去したりする。

ノイズ除去部１２５は、これらの画像圧縮に起因するノイズを除去した後の時系列画像信号を、信号選択部１２７に伝送する。また、ノイズ除去部１２５は、これらのノイズを除去するために行った補正量等の情報を補正量算出部１３９に伝送してもよい。

信号選択部１２７は、視聴者による操作等に基づいて、ノイズ除去部１２５から伝送された時系列画像信号と、信号選択部１２７に直接入力された時系列画像信号のいずれかを選択する。信号選択部１２７に直接入力される時系列画像信号として、ＶＴＲなどのアナログ信号、および、他の装置により伸張されたデジタル信号（時系列画像信号）を挙げることができる。

信号選択部１２７により選択された信号は、輝度計測部１２９、映像種別判別部１３１およびフレームレート変換部１３３に入力される。

輝度計測部１２９は、入力された時系列画像信号に対応する画像の輝度（すなわち、画像の明るさ）を計測する。また、輝度計測部１２９は、計測した輝度を利用して、時系列画像信号に対応する画像のコントラストを計測することも可能である。画像のコントラストは、画像を構成する画素間の輝度差として表されるため、輝度計測部１２９は、時系列画像信号に対応する画素の輝度を利用して、容易に画像のコントラストを計測することが可能となる。

輝度計測部１２９は、時系列画像信号に対応する画像の輝度およびコントラストに関する情報を、補正量算出部１３９に伝送する。

映像種別判別部１３１は、入力された時系列画像信号、カメラ映像またはフィルム映像のどちらであるかを判別する。この判別処理に際し、映像種別判別部１３１は、入力される複数の時系列画像信号を参照し、これらの時系列画像信号間で検出される特徴量または規則性を抽出することで、映像種別を判別する。そのため、この判別処理には、複数の時系列画像信号が用いられる。また、本実施形態はこれに限定されず、単一の時系列画像信号に基づいて映像種別が判別されてもよい。

ここで、一例として、フィルム映像の判別方法について具体的に説明する。フィルム映像は、元々２４フレーム／秒の映像を６０フィールド／秒にプルダウン処理した状態で入力される。例えば、入力されるフィルム映像は、元のフレームのうち、奇数番目のフレームが２フィールドに変換され、偶数番目のフレームが３フィールドに変換されたものになっている（３−２フィルム映像）。

このように、２フレームが５フィールドに変換されることで、２４フレーム／秒が６０フィールド／秒に変換されているのである。こうした規則性に基づき、映像種別判別部１０２は、同じ特徴の時系列画像信号が２フィールド、３フィールド、２フィールド、３フィールド、…と規則的に続けて入力された場合に、その時系列画像信号の映像種別がフィルム映像であると判別している。

映像種別判別部１３１は、時系列画像信号の映像種別を、補正量算出部１３９に伝送する。

以上、本実施形態に係る映像信号処理部１０３が有する特徴量検出部１２１について説明した。続いて、本実施形態に係る映像信号処理部１０３が有するフレームレート変換部１３３について説明する。

フレームレート変換部１３３は、入力された時系列画像信号のフレームレートを変換する処理部である。このフレームレート変換部１３３は、図２に例示したように、速度検出部１３５と、補間処理部１３７と、を更に備える。

速度検出部１３５は、信号選択部１２７から伝送された時系列画像信号に基づき、当該時系列画像信号の間の動きベクトルを検出する。速度検出部１３５は、動きベクトルの検出に際し、例えば、ブロックマッチング法、位相相関法またはオプティカルフロー法等の種々の動き検出方法を利用可能である。速度検出部１３５により検出された動きベクトルの情報（動き情報）は、補間処理部１３７および補正量算出部１３９に入力される。

補間処理部１３７は、まず、速度検出部１３５により検出された動き情報に基づき、時系列画像信号間を補間する補間画像信号を生成する。さらに、補間処理部１３７は、生成した補間画像信号を該当する時系列画像信号間に挿入して、高時間解像度の映像信号を生成する。補間処理部１３７により生成された映像信号は、映像表示部１０５に入力される。

ただし、補間画像信号の生成時刻は、後述する生成時刻設定部１４３で生成され、当該生成時刻設定部１４３から伝送される相対時刻に基づいて決定される。この相対時刻とは、時系列画像信号（原画像）の時刻を基準にして相対的に表現された時刻である。この生成時刻の設定方法に関しては、後段において詳述する。

なお、生成時刻（相対時刻）を取得する際に、補間処理部１３７は、補間画像信号の生成時刻の前後に位置する時系列画像信号の時刻（以下、信号時刻）を生成時刻設定部１４３に入力し、信号時刻に対応する相対時刻を取得するように構成されていてもよい。逆に、補間処理部１３７は、生成時刻設定部１４３に対して信号時刻を入力せず、各信号時刻に対応付けられた相対時刻を生成時刻設定部１４３から取得するように構成されていてもよい。こうした取得処理は、相対時刻の算出／設定等にかかる遅延を考慮したものであり、その相対時刻と時系列画像信号との間の対応関係を補間処理部１３７が認識可能なように構成されている。もちろん、取得処理の方法についても、これらの例に限定されるものではない。

［具体例］
ここで、図３Ａ〜図４Ｂを参照しながら、補間画像信号の生成処理方法について、例を挙げて具体的に説明する。図３Ａおよび図４Ａは、カメラ映像の時系列画像信号ストリームが入力された場合の補間画像信号の生成処理方法を示す説明図である。図３Ｂおよび図４Ｂは、フィルム映像の時系列画像信号ストリームが入力された場合の補間画像信号の生成処理方法を示す説明図である。

ここでは、補間処理部１３７により、例えば、連続する２枚の時系列画像信号（原画像ＯＰ_１、原画像ＯＰ_２）の間に１枚以上の補間画像信号が生成される場合を想定する。また、図３Ａおよび図３Ｂでは、補間処理部１３７によって１２０フレーム／秒の時間解像度に変換される変換処理を想定しており、図４Ａおよび図４Ｂでは、補間処理部１３７によって２４０フレーム／秒の時間解像度に変換される変換処理を想定している。

まず、図３Ａおよび図３Ｂを参照しながら、１２０フレーム／秒の時間解像度に変換される変換処理について説明する。

生成される補間画像信号の枚数は、カメラ映像とフィルム映像との間で異なる。例えば、時間解像度が６０フィールド／秒のカメラ映像が入力される場合（図３Ａ）、補間処理部１３７により生成される補間画像信号の枚数は１枚（補間画像ＣＦＣ１）である。他方、時間解像度が２４フレーム／秒のフィルム映像が入力される場合（図３Ｂ）、補間処理部１３７によって４枚の補間画像信号（補間画像ＣＦＦ１、ＣＦＦ２、ＣＦＦ３、ＣＦＦ４）が生成される。なお、補間処理部１３７は、原画像ＯＰ１と原画像ＯＰ２との間の任意の時刻に補間画像信号を生成することができる。ただし、最も滑らかな映像にする補間方法は、原画像ＯＰ１、ＯＰ２の間に補間画像信号を等間隔で均一に配置することである。また、破綻の少ない画像とするためには、補間画像信号を、原画像に近い相対時刻に挿入すると良い。

図３Ａの例では、原画像ＯＰ１の時刻を基準（０秒）にする相対時刻Ｔｃ１に、補間画像ＣＦＣ１が配置されている。上記の通り、最も滑らかな映像にする補間方法を採用する場合、この相対時刻Ｔｃ１は、１／１２０秒となる。この場合、補間処理部１３７は、まず、原画像ＯＰ１と原画像ＯＰ２との間の動き情報（動きベクトルＭＶ）に基づき、原画像ＯＰ１と補間画像ＣＦＣ１との間の動き情報を算出する。

原画像ＯＰ１と補間画像ＣＦＣ１との間の動き情報（ＭＶ／２）は、補間画像ＣＦＣ１が配置される相対時刻Ｔｃ１に基づいて決定される。Ｔｃ１＝１／１２０［秒］の場合、補間処理部１３７は、原画像ＯＰ１、ＯＰ２に含まれる移動体（ブロック）の動きベクトルＭＶを半分にした動きベクトルＭＶ／２を算出し、この動きベクトルＭＶ／２を用いて補間画像ＣＦＣ１における移動体の位置を決定する。

なお、他の原画像ＯＰ３等を参照画像として利用し、この原画像ＯＰ３等に対応する動き情報に基づいて補間画像ＣＦＣ１が生成されてもよい。また、複数の参照画像に基づいて補間画像ＣＦＣ１が生成されてもよい。

さて、図３Ｂの例では、原画像ＯＰ１の時刻を基準（０秒）にする相対時刻Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４に、それぞれ補間画像ＣＦＦ１、ＣＦＦ２、ＣＦＦ３、ＣＦＦ４が配置されている。最も滑らかな映像にする補間方法の場合、この相対時刻（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）は、（１／１２０、２／１２０、３／１２０、４／１２０）［秒］となる。

まず、補間処理部１３７は、原画像ＯＰ１と原画像ＯＰ２との間の動き情報（動きベクトルＭＶ）に基づいて原画像ＯＰ１と補間画像ＣＦＦ１との間の動き情報を算出する。同様に、補間処理部１３７は、原画像ＯＰ１と補間画像ＣＦＦ２、ＣＦＦ３、ＣＦＦ４との間の動き情報をそれぞれ算出する。その算出方法は、図３Ａの場合と同様である。そして、補間処理部１３７は、算出した動き情報に基づいて補間画像ＣＦＦ１、ＣＦＦ２、ＣＦＦ３、ＣＦＦ４を生成する。

ただし、補間処理部１３７は、等間隔に配置された相対時刻Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４よりも原画像ＯＰ１または原画像ＯＰ２に近い相対時刻に、補間画像ＣＦＦ１、ＣＦＦ２、ＣＦＦ３、ＣＦＦ４を生成することもできる。例えば、補間処理部１３７は、相対時刻（Ｔｆ１＋ΔＴｆ１）（ΔＴｆ１＜０）の補間画像ＣＦＦ１を生成することができる。

この場合、補間処理部１３７は、原画像ＯＰ１と原画像ＯＰ２との間の動きベクトルＭＶを（Ｔｆ１＋ΔＴｆ１）［秒］／（１／２４）［秒］倍した動きベクトルに基づいて補間画像ＣＦＦ１を生成する。補間画像ＣＦＦ２、ＣＦＦ３、ＣＦＦ４についても同様である。

さて、上記の例では、入力された時系列画像信号（原画像ＯＰ１）を相対時刻の基準にしたが、必ずしも時系列画像信号（原画像ＯＰ１）の時刻を基準としなくてもよい。例えば、映像種別毎の補間方法が特定されていれば、等間隔に均一に配置された相対時刻Ｔｆｋ（ｋ＝１〜４）（以下、均一時刻）を基準にして相対時刻が表現されていてもよい。この表現によれば、均一時刻からのシフト量ΔＴｆｋ（ｋ＝１〜４）（即ち、入力された時系列画像信号（原画像ＯＰ１又は原画像ＯＰ２等）に対する「近づき度合い」）が明確になる。なお、相対時刻の表現は、これらの例に限定されない。

続いて、図４Ａおよび図４Ｂを参照しながら、２４０フレーム／秒の時間解像度に変換される変換処理について説明する。

生成される補間画像信号の枚数は、カメラ映像とフィルム映像との間で異なる。例えば、時間解像度が６０フィールド／秒のカメラ映像が入力される場合（図４Ａ）、補間処理部１３７により生成される補間画像信号の枚数は３枚（補間画像ＣＦＣ１、ＣＦＣ２、ＣＦＣ３）である。他方、時間解像度が２４フレーム／秒のフィルム映像が入力される場合（図４Ｂ）、補間処理部１３７によって９枚の補間画像信号（補間画像ＣＦＦ１〜ＣＦＦ９）が生成される。なお、補間処理部１３７は、原画像ＯＰ１と原画像ＯＰ２との間の任意の時刻に補間画像信号を生成することができる。ただし、最も滑らかな映像にする補間方法は、原画像ＯＰ１、ＯＰ２の間に、補間画像信号を等間隔で均一に配置することである。

図４Ａの例では、原画像ＯＰ１の時刻を基準（０秒）にする相対時刻Ｔｃ１、Ｔｃ２、Ｔｃ３に、それぞれ補間画像ＣＦＣ１、ＣＦＣ２、ＣＦＣ３が配置されている。最も滑らかな映像にする補間方法の場合、この相対時刻（Ｔｃ１、Ｔｃ２、Ｔｃ３）は、（１／２４０、２／２４０、３／２４０［秒］となる。

また、図４Ｂの例では、原画像ＯＰ１の時刻を基準（０秒）にする相対時刻Ｔｆ１〜Ｔｆ９に、それぞれ補間画像ＣＦＦ１〜ＣＦＦ９が配置されている。最も滑らかな映像にする補間方法の場合、この相対時刻Ｔｆｋ（ｋ＝１〜９）は、ｋ／２４０［秒］となる。

なお、各補間画像の生成方法は、１２０フレーム／秒の場合と同様であるため、詳細な説明は省略する。

以上、本実施形態に係るフレームレート変換部１３３について説明した。続いて、図２に戻って、本実施形態に係る補正量算出部１３９について説明する。

補正量算出部１３９は、時系列画像信号に含まれる原画像の配置位置を基準とし、かつ、時系列画像信号の間に補間される補間画像信号の配置位置を表す補正量を、特徴量検出部１２１により検出されたデータレートを含む各種の特徴量の変化に応じて算出する。

映像のデータレートに関する情報、映像の画像サイズに関する情報および映像のフレームレートに関する情報等の時系列画像信号を特徴付ける特徴量は、映像圧縮に起因するノイズ量と相関を持つことが知られている。そこで、補正量算出部１３９は、画像伸張部１２３から伝送されたこれらの情報を利用し、これらの情報を変数とする関数に基づき、ノイズ超過量換算値を算出する。算出するノイズ超過量換算値は、時系列画像信号に対応する映像の画質を規定する量として用いることが可能である。

ここで、ノイズ超過量換算値は、例えば、以下の式１のように表すことが可能である。なお、以下の式１において、Ｆ（ａ，ｂ，ｃ）は、ａ，ｂ，ｃの関数という意味である。

ノイズ超過量換算値
＝Ｆ（映像のデータレート、映像の画像サイズ、映像のフレームレート）
・・・（式１）

なお、上述の式１においては、ノイズ超過量換算値は、映像のデータレート、映像の画像サイズおよび映像のフレームレートという３つの変数によって規定される関数となっているが、この例に限定されるわけではない。すなわち、ノイズ超過量換算値の変数として、時系列画像信号の動きベクトルに関する情報を変数として更に加えても良い。また、ノイズ超過量換算値を規定する関数は、映像のデータレートなど１種類の変数のみによって規定される関数であってもよい。

具体的なノイズ超過量換算値として、例えば、以下の式２で表される値を利用することが可能である。

ノイズ超過量換算値
＝データレート÷（縦方向の画面サイズ×横方向の画面サイズ×フレームレート）
・・・（式２）

なお、データレートとして十分な量が確保されていれば時系列画像信号の画質は維持可能であると考えられるため、上記式２の場合においては、ノイズ超過量換算値が小さい値であるほど、ノイズが多いことを意味することとなる。

また、画面サイズおよびフレームレートを表す値の変動は、データレートを表す値の変動よりも小さいと考え、上記式２を更に簡略化して、ノイズ超過量換算値をデータレートそのものとして扱ってもよい。

補正量算出部１３９は、上述のようにして算出したノイズ超過量換算値に基づいて、補間画像信号の配置位置を表す補正量（すなわち、相対時刻に関する情報）を算出する。

具体的には、補正量算出部１３９は、算出したノイズ超過量換算値が所定の閾値以上である（時系列画像信号に含まれるノイズが所定の基準以下である）場合、補間画像が相隣接する原画像間に均等に配置されるように、補正量（相対時刻の設定値）を算出する。

また、補正量算出部１３９は、算出したノイズ超過量換算値が所定の閾値未満である（時系列画像信号に含まれるノイズが所定の基準超過である）場合、補間画像が原画像側に偏って配置されるように、補正量（相対時刻の設定値）を算出する。

例えば、データレートが所定の閾値未満となり当該閾値から更に小さくなるように変化した場合、補正量算出部１３９は、配置位置を原画像側に近づける補正量を算出する。また、閾値未満となっているデータレートが当該閾値に近づくように変化した場合、補正量算出部１３９は、原画像間を均等に分割した均等位置側に配置位置を近づける補正量を算出する。

なお、補間画像の原画像への最終的な近づけ度合いは、記憶部１１１等に格納されているノイズ超過量換算値とこのノイズ超過量換算値での近づけ度合いとが関連付けられたデータベースを利用して決定することが可能である。また、補間画像の原画像への最終的な近づけ度合いは、統計処理等により予め決定された関数に対してノイズ超過量換算値を代入することで算出してもよい。

ここで、補正量算出部１３９は、ノイズ超過量換算値が閾値未満となって画質が低下する方向に変化する場合、補正量（すなわち、相対時刻の設定値）が一定の時間（遷移時間ｔ_ｒａ）で変化後の値へと滑らかに変化するように、当該補正量を算出する。この遷移時間ｔ_ｒａは、時系列画像信号の視聴者に急激な変化を認識させず、かつ、変化の遅れによる映像の不具合を知覚されない値に設定する。

また、補正量算出部１３９は、閾値未満となっているノイズ超過量換算値が、画質が向上する方向に変化する場合、補正量（相対時刻の設定値）の変化量を時間当たりで一定（遷移傾きｓ）とするように、当該補正量を算出する。また、補正量算出部１３９は、遷移傾きが一定となるような補正量を算出するかわりに、「遷移時間を一定とし、この一定時間内にノイズ超過量換算値が元に戻るための単位時間当たりの変化量」に基づいて、補正量を算出してもよい。かかる補正量を算出することで、視聴者が変化点を知覚することなく本来の補間画像に戻すことが可能となる。

また、補正量算出部１３９は、映像フォーマットである「映像のデータレート」「映像の画面サイズ」「映像のフレームレート」の他に、映像内容の特徴である「明るさ（輝度）」や「コントラスト（輝度差）」を併用することも可能である。暗い映像やコントラストの低い映像の場合、同一のデータレートかつ同一の映像フォーマットであっても、映像の圧縮処理に起因するノイズは少なくなる。そのため、例えば、映像の明るさが閾値以下の場合、または映像のコントラストが閾値以下の場合、補正量を変化させるデータレートの閾値も下げることで、映像のデータレートが変化した場合においても映像の滑らかさを極力維持させることが可能となる。また、映像の明るさやコントラストの判定レベル（閾値）を複数保持するようにし、それぞれ相対時刻を変化させるデータレートの閾値を変化させることも可能である。

補正量算出部１３９は、以上のようにして算出した補正量（相対時刻に関する情報）を、生成時刻設定部１４３に入力する。また、補正量算出部１３９は、映像種別判別部１３１から伝送された時系列画像信号の映像種別に関する情報を、補間方法選択部１４１に伝送してもよい。

なお、上述の説明では、補正量算出部１３９が、原画像の配置位置を基準とした補正量を算出する場合について説明したが、かかる例に限定されるわけではない。例えば、補正量算出部１３９は、原画像を基準とした量ではなく、相隣接する原画像間を均等に分割した位置（均等位置）を考慮し、この均等位置からのズレ量として、補正量を算出してもよい。

補間方法選択部１４１は、補正量算出部１３９から伝送された映像種別に関する情報に基づいて、時系列画像信号の映像種別に対応する補間方法を選択する。例えば、時系列画像信号がカメラ映像である場合、補間方法選択部１４１は、そのカメラ映像に適した補間画像信号の枚数、および、これら補間画像信号の生成時刻を選択する。なお、時系列画像信号の映像種別がフィルム映像の場合についても同様に、補間画像信号の枚数、および、これら補間画像信号の生成時刻が選択される。

既に述べた通り、最も滑らかな映像を実現するには、時系列画像信号の間に等間隔で補間画像信号を生成するのが好ましい。そこで、補間方法選択部１４１は、補間処理後に目標とする時間解像度の値に応じて、例えば、等間隔に補間画像信号が配置されるような生成時刻および枚数を補間方法として選択する。そして、補間方法選択部１４１は、選択した補間方法に関する情報を生成時刻設定部１４３に入力する。

生成時刻設定部１４３は、補正量算出部１３９から入力された補正量に関する情報、および、補間方法選択部１４１から入力された補間方法に関する情報に基づき、補間画像信号を生成する生成時刻を設定する。そして、生成時刻設定部１４３は、設定した生成時刻を、フレームレート変換部１３３の補間処理部１３７に入力する。

なお、生成時刻設定部１４３は、補間処理部１３７による設定要求に応じて、指定された信号時刻に対応する生成時刻を補間処理部１３７に入力してもよいし、補間処理部１３７による設定要求とは関係無く、各時系列画像信号の時刻に対応付けて該当する生成時刻を補間処理部１３７に入力してもよい。いずれの方法を採用するにせよ、補間処理部１３７に対して時系列画像信号毎の生成時刻が正しく通知される。

本実施形態において重要なのは、生成時刻設定部１４３により設定される生成時刻の設定方法である。そこで、当該設定方法について、以下でより詳細に説明する。

まず、生成時刻設定部１４３は、補正量算出部１３９から入力された補正量に関する情報に基づいて、原画像の配置位置を基準とする補間画像の配置位置（時間軸に沿った配置位置）を相対的に認識することができる。そこで、生成時刻設定部１４３は、時系列画像信号に含まれる原画像の配置位置を基準とする補正量（すなわち、相対時間）に基づいて、補間画像信号を生成する生成時刻を設定する。この際、生成時刻設定部１４３は、補間方法選択部１４１により選択された補間方法に基づき、視聴者に画質の急激な変化や変化の遅れによる映像の不具合が知覚されないように、最終的な補間画像信号の生成時刻を設定する。

以上、本実施形態に係る映像処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、上述のような本実施形態に係る映像処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

＜映像処理方法の具体例について＞
続いて、図５〜図１０を参照しながら、本実施形態に係る映像処理装置１０で実施される映像処理方法の具体例を説明する。図５〜図１０は、本実施形態に係る映像処理方法の一例を説明するための説明図である。

［カメラ映像に対する映像処理方法−１］
まず、図５を参照しながら、カメラ映像に分類される時系列画像信号が入力された場合を例にとって、本実施形態に係る映像処理方法を説明する。

例えば図５に示したように、ある時刻ｔにおける特徴量検出部１２１が処理するカメラ映像のデータレートが変化し、時刻ｔ０においてデータレートが所定の閾値以下のｘとなり、時刻ｔ１においてデータレートがｙ（≦ｘ）となった場合を考える。この際、時刻ｔ０以降の時刻ｔにおける相対時刻設定Ｔｃ１は、補正量算出部１３９によって以下のように設定される。

○「時刻ｔ０≦時刻ｔ≦時刻ｔ０＋ｔ_ｒａ」の場合
時刻ｔでの補正量＝０．５−｛（０．５−データレートｘでの補正量）／遷移時間ｔ_ｒａ｝×(時刻ｔ−時刻ｔ０) ・・・（式１０）

○「時刻ｔ１≦時刻ｔ≦時刻ｔ１＋ｔ_ｒａ」の場合
時刻ｔでの補正量＝データレートｘでの補正量−｛（データレートｘでの補正量−データレートｙでの補正量）／遷移時間ｔ_ｒａ｝×（時刻ｔ−時刻ｔ１） ・・・（式１１）

○「時刻ｔ＞時刻ｔ１＋ｔ_ｒａ」の場合
時刻ｔでの補正量＝データレートｙでの補正量 ・・・（式１２）

他方、所定の閾値以下にあるデータレートが増加する場合、補正量算出部１３９は、先述のように、（ｉ）変化量（傾き）が一定であるとして補正量を算出する、または、（ｉｉ）遷移時間が一定であるとして補正量を算出する、のいずれかの方法を用いる。以下の例では、（ｉ）変化量（傾き）が一定であるとして補正量を算出する場合について説明するが、遷移時間が一定である場合の例は、データレートが減少する場合と同様にして算出することができる。

以下の説明では、図５に例示したように、ある時刻ｔ２において、特徴量検出部１２１が処理するカメラ映像のデータレートがｙからｘ（＞ｙ）に変化した場合を考える。この場合、時刻ｔ２以降の時刻ｔにおける相対時刻設定Ｔｃ１は、補正量算出部１３９によって以下のように設定される。

○「時刻ｔ２≦時刻ｔ≦時刻ｔ２＋｛（データレートｘでの補正量−データレートｙでの補正量）÷遷移傾きｓ｝」の場合
時刻ｔでの補正量＝データレートｙでの補正量＋遷移傾きｓ×（時刻ｔ−時刻ｔ２）
・・・（式１３）

○「時刻ｔ２＋｛（データレートｘでの補正量−データレートｙでの補正量）÷遷移傾きｓ｝＜時刻ｔ＜時刻ｔ３」の場合
時刻ｔでの補正量＝データレートｘでの補正量 ・・・（式１４）

また、時刻ｔ≧時刻ｔ３の場合についても、上述の例と同様にして算出することが可能である。

［フィルム映像に対する映像処理方法］
次に、図６を参照しながら、フィルム映像に分類される時系列画像信号が入力された場合を例にとって、本実施形態に係る映像処理方法を説明する。

例えば図６に示したように、ある時刻ｔにおける特徴量検出部１２１が処理するフィルム映像のデータレートが変化し、時刻ｔ０においてデータレートが所定の閾値以下のｘとなり、時刻ｔ１においてデータレートがｙ（≦ｘ）となった場合を考える。この際、時刻ｔ０以降の時刻ｔにおける相対時刻設定Ｔｆ１〜Ｔｆ４は、補正量算出部１３９によって以下のように設定される。

□Ｔｆ１について
○「時刻ｔ０≦時刻ｔ≦時刻ｔ０＋ｔ_ｒａ」の場合
時刻ｔでの補正量＝０．５−｛（０．５−データレートｘでの補正量）／遷移時間ｔ_ｒａ｝×(時刻ｔ−時刻ｔ０) ・・・（式１５）

○「時刻ｔ１≦時刻ｔ≦時刻ｔ１＋ｔ_ｒａ」の場合
時刻ｔでの補正量＝データレートｘでの補正量−｛（データレートｘでの補正量−データレートｙでの補正量）／遷移時間ｔ_ｒａ｝×（時刻ｔ−時刻ｔ１） ・・・（式１６）

○「時刻ｔ＞時刻ｔ１＋ｔ_ｒａ」の場合
時刻ｔでの補正量＝データレートｙでの補正量 ・・・（式１７）

また、相対時刻設定Ｔｆ２〜Ｔｆ４については、上述のようにして算出したＴｆ１を利用して、以下の式１８〜式２０により算出される。

Ｔｆ２（ｔ）＝２×Ｔｆ１（ｔ） ・・・（式１８）
Ｔｆ３（ｔ）＝１．０−２×Ｔｆ１（ｔ） ・・・（式１９）
Ｔｆ４（ｔ）＝１．０−Ｔｆ１（ｔ） ・・・（式２０）

他方、所定の閾値以下にあるデータレートが増加する場合、補正量算出部１３９は、先述のように、（ｉ）変化量（傾き）が一定であるとして補正量を算出する、または、（ｉｉ）遷移時間が一定であるとして補正量を算出する、のいずれかの方法を用いる。以下の例では、（ｉ）変化量（傾き）が一定であるとして補正量を算出する場合について説明するが、遷移時間が一定である場合の例は、データレートが減少する場合と同様にして算出することができる。

以下の説明では、図６に例示したように、ある時刻ｔ２において、特徴量検出部１２１が処理するフィルム映像のデータレートがｙからｘ（＞ｙ）に変化した場合を考える。この場合、時刻ｔ２以降の時刻ｔにおける相対時刻設定Ｔｆ１〜Ｔｆ４は、補正量算出部１３９によって以下のように設定される。

□Ｔｆ１について
○「時刻ｔ２≦時刻ｔ≦時刻ｔ２＋｛（データレートｘでの補正量−データレートｙでの補正量）÷遷移傾きｓ｝」の場合
時刻ｔでの補正量＝データレートｙでの補正量＋遷移傾きｓ×（時刻ｔ−時刻ｔ２）
・・・（式２１）

○「時刻ｔ２＋｛（データレートｘでの補正量−データレートｙでの補正量）÷遷移傾きｓ｝＜時刻ｔ＜時刻ｔ３」の場合
時刻ｔでの補正量＝データレートｘでの補正量 ・・・（式２２）

また、時刻ｔ≧時刻ｔ３の場合についても、上述の例と同様にして算出することが可能である。

また、相対時刻設定Ｔｆ２〜Ｔｆ４については、上述のようにして算出したＴｆ１を利用して、以下の式２３〜式２５により算出される。

Ｔｆ２（ｔ）＝２×Ｔｆ１（ｔ） ・・・（式２３）
Ｔｆ３（ｔ）＝１．０−２×Ｔｆ１（ｔ） ・・・（式２４）
Ｔｆ４（ｔ）＝１．０−Ｔｆ１（ｔ） ・・・（式２５）

なお、図６では、データレート等のノイズ超過量換算値が所定の閾値以上の際、各補間画像が均等位置に配設される場合について説明した。しかしながら、映像処理装置１０のマシンパワーや利用可能なリソース等に応じて、図７および図８に示したように、ノイズ超過量換算値が所定の閾値以上の場合であっても、補間画像を原画像側に近づけて配置するようにしてもよい。

また、図７に示した例は、原画像側に近づけた位置から、図６において説明したような補正量の算出処理を行う場合であるが、図８に示した例のように、あるデータレートになるまでは、補間画像の配置位置を変更しないような制御を行うことも可能である。

［速度超過量に基づく映像処理方法］
次に、図９を参照しながら、速度超過量に関する情報に基づく映像処理方法について説明し、図１０を参照しながら、データレートに関する情報と速度超過量に関する情報とを併用して映像処理を行う場合を説明する。

まず、図９を参照しながら、速度超過量を利用した補正量の算出について説明する。
この場合、補正量算出部１３９は、動きベクトルの動き量（すなわち、動きベクトルに基づいて算出される速度）が所定の閾値以上となった場合に、この閾値を超える速度を、速度超過量として利用する。補正量算出部１３９は、算出した速度超過量に基づいて、速度超過量およびノイズ量と相関のあるノイズ超過量換算値を算出する。このノイズ超過量換算値は、速度超過量そのものであってもよい。

補正量算出部１３９は、算出したノイズ超過量換算値（例えば、図９に示した速度超過量そのもの）に基づいて、補間画像の配置位置を表す補正量（すなわち、相対時刻）を算出する。

補正量算出部１３９によって算出される補正量（相対時刻）は、１制御時間前の補間画像の補正量に対して、原画像１または２に近づけるように設定される。これにより、フレーム補間による不具合の発生を抑えつつ、フレームレート変換そのものは実行され続けることで、動画性能を改善することができる。このとき、補正量算出部１３９は、相対時刻の設定を、原画像１または２と同じ時刻設定としてもよい。

図９は、カメラ映像に対して、速度超過量に基づく映像処理を行った場合について図示している。図９の例では、補正量算出部１３９は、速度超過量が所定の閾値を超えて、画質の低下を招く方向に変化している場合（すなわち、速度超過量が増加する場合）、補間画像の位置を原画像に近づけるように補正量を算出する。また、閾値超過となっている速度超過量が減少する場合には、補正量算出部１３９は、補間画像の位置を均等位置に近づけるように補正量を算出する。この際、補正量算出部１３９は、遷移傾きが一定となるように、補正量の算出を行う。

次に、図１０を参照しながら、データレートに関する情報と、速度超過量に関する情報とを併用する場合について説明する。
この場合についても、補正量算出部１３９は、動きベクトルの動き量（すなわち、動きベクトルに基づいて算出される速度）が所定の閾値以上となった場合に、この閾値を超える速度を、速度超過量として利用する。補正量算出部１３９は、速度超過量およびその時のデータレートを利用して、図１０に示したような、予め登録されているデータベースに基づいて、補正量を算出する。図１０に示したデータベースでは、速度超過量と補正量との関係を表す曲線がデータレート毎に設定されている。補正量算出部１３９は、処理を行う時点でのデータレートに基づいて曲線を選択し、選択した曲線に対してその時点での速度超過量を適用することで、補正画像の配置位置を表す補正量を算出することができる。

補正量算出部１３９によって算出される補正量（相対時刻）は、１制御時間前の補間画像の補正量に対して、原画像１または２に近づけるように設定される。これにより、フレーム補間による不具合の発生を抑えつつ、フレームレート変換そのものは実行され続けることで、動画性能を改善することができる。

なお、図９および図１０では、カメラ映像に対して処理を行う場合について図示しているが、かかる映像処理方法は、フィルム画像に対しても同様に適用可能である。

［その他の映像処理例］
また、本実施形態に係る映像処理方法は、視聴中である映画などのフィルム映像（２４フレーム／秒）に適したフレーム補間を行う場合において、その補間方式を切り換える制御としても適用可能である。

フィルム映像に適したフレーム補間を行う場合、映像処理装置１０は、１２０フレーム／秒の時間解像度では４枚の補間画像を生成する。この場合、補間画像を生成するために必要となる原画像間の相対時間がカメラ映像よりも大きくなるため、補間画像生成のために用いられる情報である速度検出部１３５の検出結果の精度が、より高く求められる。

このため、映像信号の画質が劣化した場合において、速度検出部１３５の検出結果の精度が低下し、補間画像に悪影響を与えると判断されるレベルを超えた場合、フィルム映像に適したフレーム補間を中止して、カメラ映像のためのフレーム補間が実行される。これにより、フレーム補間処理を停止することなく、フレーム補間に伴う画質の劣化を低減し、視聴者へより高画質な映像を提供することが可能となる。

また、画像伸張部１２３から出力されるデータレートに基づいて、フレーム補間を行う場合において、時系列画像信号がフィルム映像であり、その映像種別が変化しないままでデータレートが閾値を下回った場合についても、同様の切替処理を実行可能である。すなわち、映像処理装置１０は、フィルム映像に適したフレーム補間を中止して、カメラ映像のためのフレーム補間方式に切り換えてもよい。この場合において、データレートが閾値以上となった場合、映像処理装置１０は、カメラ映像のためのフレーム補間方式からフィルム映像に適したフレーム補間方式へ処理を切り換える。各フレーム補間方式内での制御は前述の方式を使用することができる。

また、時系列画像信号がフィルム映像であり、入力された映像のデータレートと速度超過量とを併用してフィルム映像に適したフレーム補間を行う場合において、その補間方式を切り換える制御としても、同様に適用可能である。

なお、これまでの説明では、特徴量検出部１２１から得られた情報と、データレート変換部１３３から得られた情報とを個別に扱うものとしたが、かかる例に限定されるわけではない。すなわち、本実施形態に係る映像処理装置１０では、各処理部から得られた情報の論理和、論理積、または両者に重み付けをつけたものを利用することも可能である。

＜映像処理方法の流れについて＞
続いて、図１１を参照しながら、本実施形態に係る映像処理装置１０で実施される映像処理方法について、順を追って説明する。図１１は、本実施形態に係る映像処理方法を説明するための流れ図である。

本実施形態に係る映像処理装置１０の画像伸張部１２３は、時系列画像信号が入力されると、入力された時系列画像信号を、所定の方式に則って伸張し（ステップＳ１０１）、伸張後の時系列画像信号を、ノイズ除去部１２５に入力する。また、画像伸張部１２３は、時系列画像信号に付加されている情報を参照して時系列画像信号のデータレートを取得し、このデータレートを、補正量算出部１３９に入力する。

次に、伸張後の時系列画像信号が入力されたノイズ除去部１２５は、入力された時系列画像信号に含まれる画像圧縮に起因するノイズを、視聴者の好みやノイズ除去部１２５に成されている設定等に基づいて低減させたり除去したりする（ステップＳ１０３）。ノイズ除去部１２５は、ノイズの除去処理が終了すると、ノイズが除去された時系列画像信号を、信号選択部１２７に入力する。信号選択部１２７は、フレーム補間処理を行う時系列画像信号の選択を行い、選択した時系列画像信号を、輝度計測部１２９、映像種別判別部１３１およびフレームレート変換部１３３に入力する。

次に、輝度計測部１２９は、入力された時系列画像信号の輝度と、この輝度を利用して決定される画像のコントラストを計測し（ステップＳ１０５）、計測結果を補正量算出部１３９に入力する。また、映像種別判別部１３１は、入力された時系列画像信号の種別（カメラ映像かフィルム映像か）を判別し（ステップＳ１０５）、判別結果を補正量算出部１３９に入力する。

また、フレームレート変換部１３３の速度検出部１３５は、入力された時系列画像信号を解析して動きベクトルの検出を行い（ステップＳ１０７）、得られた動きベクトルに関する情報を、補正量算出部１３９に入力する。

なお、先の説明では、時系列画像信号の輝度計測が行われた後に、映像種別の判別が行われ、更にその後に動きベクトルの検出が行われる場合について説明したが、かかる順番に限定されるわけではない。輝度計測、映像種別の判別および動きベクトルの検出は、任意の順序で実行されてよく、また、これらの処理は、平行して行われてもよい。

補正量算出部１３９は、入力されたデータレート、映像種別、輝度、コントラスト等の特徴量と、動きベクトルに関する情報との少なくともいずれかを利用して、先に説明した手法により、補間画像信号の配置位置を表す補正量を算出する（ステップＳ１０９）。補正量算出部１３９は、かかる補正量の算出が終了すると、算出した補正量を、生成時刻設定部１４３に出力する。

生成時刻設定部１４３は、補正量算出部１３９から伝送された補正量（相対時刻に関する情報）に基づいて、補間画像信号の生成時刻を設定し（ステップＳ１１１）、設定時刻をフレームレート変換部１３３の補間処理部１３７に入力する。

続いて、フレームレート変換部１３３の補間処理部１３７は、入力された生成時刻に関する情報に基づいて、設定された生成時刻の補間画像信号を生成し、時系列画像信号に補間する（ステップＳ１１１）。

かかる処理を行うことで、本実施形態に係る映像処理装置では、時系列画像信号に含まれる画像圧縮に起因するノイズの大きな映像について、フレーム補間の不具合を低減させることが可能となる。

（ハードウェア構成について）
上記映像処理装置が有する映像信号処理機能は、例えば、図１２に示すハードウェア構成の一部又は全部を用いて実現することが可能である。図１２は、本発明の実施形態に係る表示装置が有する映像処理機能を実現するためのハードウェア構成の一例を詳細に示す説明図である。

本発明の実施形態に係る表示装置１は、例えば、表示パネルおよび表示パネルが載置される本体スタンド等により構成される。表示パネルとしては、例えば、液晶表示パネルや有機ＥＬパネル等が用いられる。有機ＥＬパネルは、自発光型の発光素子（有機ＥＬ素子）により形成されており、バックライト等の装置が不要である。そのため、有機ＥＬパネルを採用した表示装置は、バックライト等の装置が別途必要になる液晶表示パネルに比べて薄くて軽く形成される。実際、有機ＥＬパネルの厚さは、約３ｍｍ以下にまで抑えることが可能であると言われている。こうした特性を踏まえ、設置の自由度等を高めるといった観点から、表示パネルには、有機ＥＬパネルも使用されていくものと思われる。

ところで、表示装置１に設けられる映像処理装置１０は、例えば、表示パネル等が載置される本体スタンドの内部または表示パネルの裏側等に設けられる。本体スタンドには、例えば、衛星放送（ＢＳ，ＣＳ）、地上デジタル放送のチューナ、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の各種端子が組み込まれる。また、本体スタンドには、地上デジタル放送を受信するためのロッドアンテナやパッチアンテナ等の受信用アンテナ（図示せず。）が設けられる。さらに、本体スタンドには、音声出力用のスピーカボックスやユーザ操作用の操作ボタン等が組み込まれる。

ここで、本体スタンドに設けられた映像処理装置１０のハードウェア構成について説明する。図１２に示すように、本体スタンドには、例えば、受信回路５２、５６と、デマルチプレクサ５４、６０と、デスクランブル回路５８と、音声信号処理部６２と、データ信号処理部６４と、映像信号処理部６６と、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）回路６８と、合成回路７０と、マイコン７２とが含まれる。

この例において、本体スタンドには、２系統の受信回路５２、５６、及び、それぞれに対応する２つのデマルチプレクサ５４、６０が設けられている。受信回路５２は、例えば、あるチャンネルを通じて配信される付加情報信号の受信回路である。一方、受信回路５６は、例えば、そのチャンネルを通じて配信される番組放送信号の受信回路である。この映像処理手段には、電源がオンの状態にある場合に、受信回路５２を通じて付加情報信号が受信される。さらに、この映像処理装置１０には、受信回路５６を通じて番組放送信号が受信される。

マイコン７２は、本体スタンドに内蔵された映像処理装置１０の各構成要素を制御する手段である。マイコン７２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７２２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７２４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７２６と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）７２８と、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）７３０と、ＵＳＢ端子７３２と、ネットワーク端子７３４と、バス７３６とにより構成される。ＣＰＵ７２２、ＲＯＭ７２４、ＲＡＭ７２６、ＥＥＰＲＯＭ７２８、ＤＲＡＭ７３０、ＵＳＢ端子７３２およびネットワーク端子７３４は、バス７３６を介して接続される。

ここで、マイコン７２の機能を中心に、映像処理装置１０による一連の処理について簡単に説明する。マイコン７２は、例えば、電源が遮断される直前に受信していた番組放送信号のチャンネル周波数やプログラムＩＤなどの放送情報をＥＥＰＲＯＭ７２８に保持する機能を有する。そして、マイコン７２は、電源が再び投入された場合に、前回電源を遮断する直前に受信していた番組放送信号の放送情報をＥＥＰＲＯＭ７２８から読み出し、再び選局するための選局制御信号を出力することができる。

この選局制御信号は、バス７３６を介して接続された受信回路５６に入力され、その受信回路５６で処理された後、デスクランブル回路５８による処理を経てデマルチプレクサ６０に入力される。まず、この処理の流れについて説明する。受信回路５６を構成するチューナ５６２は、マイコン７２から入力された選局制御信号が示すチャンネル周波数の番組放送信号を受信する。そして、チューナ５６２により受信された番組放送信号は復調部５６４に入力される。復調部５６４は、所定の変調方式で変調されている当該番組放送信号を復調してストリーム信号を生成する。

そして、復調部５６４により生成されたストリーム信号は誤り訂正部５６６に入力される。誤り訂正部５６６は、入力されたストリーム信号に誤り訂正を施してデスクランブル回路５８に入力する。このとき、誤り訂正部５６６は、例えば、リード・ソロモン符号等の符号化方式で符号化されたストリーム信号に対して誤り訂正を施す。デスクランブル回路５８は、マイコン７２から取得した情報に基づき、誤り訂正後のストリーム信号に施されたスクランブルを解除して番組放送信号を再生する。デスクランブル回路５８によりスクランブル解除された番組放送信号はデマルチプレクサ６０に入力される。

次に、デマルチプレクサ６０に入力された番組放送信号から映像または音声信号等が出力されるまでの流れについて説明する。デマルチプレクサ６０は、バス７３６を介してマイコン７２から入力された選択制御信号に基づいて番組放送信号から放送番組データを抽出する。そして、デマルチプレクサ６０は、抽出された放送番組データの種類に応じて、その放送番組データを音声信号処理部６２、データ信号処理部６４または映像信号処理部６６に入力する。音声信号処理部６２では、入力された放送番組データから音声信号が生成される。データ信号処理部６４では、入力された放送番組データから文字または画像を表示するための映像信号が生成される。映像信号処理部６６では、入力された放送番組データから映像または画像を表示するための映像信号が生成される。

音声信号処理部６２により生成された音声信号は、音声出力端子（非図示）に出力される。データ信号処理部６４により生成された映像信号は合成回路７０に入力される。同様に、映像信号処理部６６により生成された映像信号は合成回路７０に入力される。さらに、合成回路７０には、ＯＳＤ回路６８により生成された映像信号も入力される。ＯＳＤ回路６８は、例えば、電子番組案内表や各種のガイダンスメッセージ等を表示するための映像信号を生成する。これらの映像信号が入力されると、合成回路７０は、データ信号処理部６４、映像信号処理部６６およびＯＳＤ回路６８から入力された映像信号を合成し、その合成された映像信号を映像出力端子（図示せず。）に出力する。

次に、付加情報信号が受信回路５２により受信されてデマルチプレクサ５４に入力されるまでの処理の流れについて簡単に説明する。マイコン７２は、選局されたチャンネル信号に多重化された付加情報信号に基づき、そのチャンネル周波数を特定し、そのチャンネル周波数を示す選局制御信号を受信回路５２に入力する。受信回路５２を構成するチューナ５２２は、マイコン７２から入力された選局制御信号に基づいて付加情報信号を受信する。チューナ５２２により受信された付加情報信号は復調部５２４に入力される。復調部５２４は、チューナ５２２から入力された付加情報信号を復調して誤り訂正部５２６に入力する。誤り訂正部５２６は、復調部５２４から入力された付加情報信号に誤り訂正を施す。そして、誤り訂正部５２６により誤り訂正された後の付加情報信号はデマルチプレクサ５４に入力される。

デマルチプレクサ５４は、マイコン７２による制御に応じて、誤り訂正後の付加情報信号から電子番組案内等の付加情報を抽出する。この抽出された付加情報は、マイコン７２に入力される。マイコン７２は、デマルチプレクサ５４により抽出された付加情報をＤＲＡＭ７３０に一時的に記憶しておき、この付加情報に基づいて電子番組案内等のＯＳＤ信号を出力するようにバス７３６を介してＯＳＤ回路６８を制御する。

以上、映像処理装置の機能構成を実現するためのハードウェア構成について具体的な例を挙げて説明した。なお、上記構成は、具体的に、本実施形態に係る技術を適用可能な一例として示したものであり、本実施形態は、上記の例に限定されるものではない。

（まとめ）
以上説明したように、本発明の実施形態によれば、入力された時系列画像信号に含まれる画像圧縮に起因するノイズの大きな映像について、フレーム補間の不具合を低減させることが可能となる。また、ビットレートの低い画像について、画像圧縮に起因するノイズによるフレーム補間の不具合を低減させることが可能となる。

特に、本発明の実施形態によれば、時系列画像信号がフィルム映像のシーケンスを持つ場合において、フィルム映像に適したフレーム補間による不具合をなくし、視聴者に対して映像トータルとして品位の高い映像を表示させることが可能となる。

また、ビットレートが低い映像、または画像圧縮に起因するノイズの大きな映像において、動きの大きな映像におけるフレーム補間の不具合を低減させることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 映像処理装置
１２ 地上波チューナ
１４ 衛星チューナ
１６ 入力端子
１０１ 入力切替部
１０３ 映像信号処理部
１０５ 映像表示部
１０７ 音声信号処理部
１０９ 音声出力部
１１１ 記憶部
１２１ 特徴量抽出部
１２３ 画像伸張部
１２５ ノイズ除去部
１２７ 信号選択部
１２９ 輝度計測部
１３１ 映像種別判別部
１３３ フレームレート変換部
１３５ 速度検出部
１３７ 補間処理部
１３９ 補正量算出部
１４１ 補間方法選択部
１４３ 生成時刻設定部

Claims (7)

1. 連続的に入力される時系列画像信号間における当該時系列画像信号のデータレートを含む所定の特徴量を検出する特徴量検出部と、
   前記時系列画像信号に含まれる原画像の配置位置を基準とし、かつ、前記時系列画像信号の間に補間される補間画像信号の配置位置を表す補正量を、前記特徴量検出部により検出された特徴量の変化に応じて算出する補正量算出部と、
   前記時系列画像信号の間に補間される補間画像信号の生成時刻を、前記補正量算出部により算出された補正量に基づいて設定する生成時刻設定部と、
   前記生成時刻設定部により設定された生成時刻の補間画像信号を生成し、前記時系列画像信号の補間を行う補間処理部と、
   を備え、
   前記補正量算出部は、
   前記データレートが所定の閾値未満となり当該閾値から更に小さくなるように変化した場合、前記配置位置を前記原画像側に近づける補正量を算出し、
   前記閾値未満となっているデータレートが当該閾値に近づくように変化した場合、前記原画像間を均等に分割した均等位置側に前記配置位置を近づける補正量を算出する、映像処理装置。
2. 前記補正量算出部は、
   前記データレートが所定の閾値未満となり当該閾値から更に小さくなるように変化した場合、次に表示される前記補間画像信号に対応する補間画像への遷移時間が一定となるように、前記補間画像信号の配置位置に対する前記補正量を算出し、
   前記閾値未満となっているデータレートが当該閾値に近づくように変化した場合、次に表示される前記補間画像信号に対応する前記生成時刻への時間変化量が一定となるように、前記補間画像信号の配置位置に対する前記補正量を算出する、請求項１に記載の映像処理装置。
3. 前記映像処理装置は、前記時系列画像信号に対する動きベクトルを検出する速度検出部を更に備え、
   前記補正量算出部は、更に、検出された前記動きベクトルの情報に基づいて、前記補正量を算出する、請求項２に記載の映像処理装置。
4. 前記特徴量検出部は、前記時系列画像信号の輝度と当該輝度の差分であるコントラストとを更に検出し、
   前記補正量算出部は、前記輝度または前記コントラストが所定の閾値以下となる場合、前記データレートの閾値を低い値に変更する、請求項２に記載の映像処理装置。
5. 前記特徴量検出部は、前記時系列画像信号の種類が、テレビカメラで撮影された映像であるカメラ映像と映画フィルムの映像であるフィルム映像のどちらであるかを判定し、
   前記補正量算出部は、前記時系列画像信号の種類の判定結果に応じて、前記均等位置を算出する、請求項２に記載の映像処理装置。
6. 前記補正量算出部は、次に表示される前記補間画像信号に対応する補間画像への遷移時間が一定となるように、前記補間画像信号の配置位置に対する前記補正量を算出する、請求項１に記載の映像処理装置。
7. 連続的に入力される時系列画像信号間における当該時系列画像信号のデータレートを含む所定の特徴量を検出するステップと、
   前記時系列画像信号に含まれる原画像の配置位置を基準とし、かつ、前記時系列画像信号の間に補間される補間画像信号の配置位置を表す補正量を、検出された特徴量の変化に応じて算出するステップと、
   前記時系列画像信号の間に補間される補間画像信号の生成時刻を、算出された補正量に基づいて設定するステップと、
   設定された生成時刻の補間画像信号を生成し、前記時系列画像信号の補間を行うステップと、
   を含み、
   前記補正量を算出するステップでは、
   前記データレートが所定の閾値未満となり当該閾値から更に小さくなるように変化した場合、前記配置位置を前記原画像側に近づける補正量が算出され、
   前記閾値未満となっているデータレートが当該閾値に近づくように変化した場合、前記原画像間を均等に分割した均等位置側に前記配置位置を近づける補正量が算出される、映像処理方法。
   
   

Images