JP2013030862A - 画像処理装置、画像処理方法および画像表示装置 - Google Patents

Abstract

【課題】低遅延で高画質のＩＰ変換を実現する。
【解決手段】現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行って遅延のないプログレッシブ方式の画像データを得る。例えば、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する。３次元ＩＰ変換処理が行われることから、フィールド間でラインフリッカが発生することを防止でき、低遅延で高画質なＩＰ変換を実現できる。
【選択図】図７

Description

本技術は、画像処理装置、画像処理方法および画像表示装置に関する。特に、本技術は、インタレース方式の画像データをプログレッシブ方式の画像データに変換する画像処理装置等に関する。

従来、例えば、特許文献１には、ゲームモード時のＩＰ（Interlace/Progressive）変換処理について、ゲームモード時には３次元（時間方向）ＩＰ変換処理をスキップして処理時間を短縮する、ことが記載されている。また、例えば、特許文献２には、ゲームモードであると判定した場合、ＩＰ変換処理を、元ラインを補間ラインへコピーするいわゆるダブリング処理とする、ことが記載されている。

特開２００６−３５２３０３号公報 特許第４５５１３４３号公報

特許文献１に記載される技術では、画像の動きに依らず現在フィールドにおいてフィールド内の補間処理を行ってプログレッシブ方式の画像データを出力するものである。そのため、フィールド間で画像にラインフリッカが発生し、画質が劣化する。また、特許文献２に記載される技術では、タブリング処理を行って、プログレッシブ方式の画像データを出力するものである。そのため、斜め線にジャギー（ギザギザ）が発生し、画質が劣化する。

本技術の目的は、低遅延で高画質のＩＰ変換を実現することにある。

本技術の概念は、
現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行って遅延のないプログレッシブ方式の画像データを得るインタレース／プログレッシブ変換部を備える
画像処理装置にある。

本技術において、インタレース／プログレッシブ変換部により、現在フィールドの画像データおよび１フィールド前の画像データが用いられ、現在フィールドの画像データに補間処理が行われて遅延のないプログレッシブ方式の画像データが得られる。この場合、３次元ＩＰ変換処理が行われることから、フィールド間でラインフリッカが発生することを防止でき、高画質なＩＰ変換を実現できる。

なお、本技術において、例えば、インタレース／プログレッシブ変換部は、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する、ようにされてもよい。また、その場合、インタレース／プログレッシブ変換部は、動き適応型補間では、補間画素の周辺の画素データを用いて斜め線方向の検出を行い、この斜め線方向に応じた画素および係数を決定する、ようにされてもよい。このように斜め線適応補間が行われることで、斜め線にジャギーが発生することを抑制でき、さらなる画質向上が可能となる。

また、本技術において、例えば、インタレース／プログレッシブ変換部は、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する画素／係数選択部と、この画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る補間部とを備える、ようにされてもよい。

この場合、画素／係数選択部により、動き検出信号に基づく動き適応型補間および動きベクトル検出信号に基づく動き補償型補間が適応的に切り替えられて、現在フィールドの画像を補間するための画素および係数が決定される。そして、補間部により、画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データが用いられ、現在フィールドの画像データに補間処理が行われてプログレッシブ方式の画像データが得られる。

現在フィールドの画像データに補間処理が行われてプログレッシブ方式の画像データが得られるものであり、低遅延のプログレッシブ方式の画像データを得ることが可能となる。また、動き検出信号に基づく動き適応型補間および動きベクトル検出信号に基づく動き補償型補間が適応的に切り替えられて、現在フィールドの画像を補間するための画素および係数が決定される。つまり、３次元ＩＰ変換処理が行われることから、フィールド間でラインフリッカが発生することを防止でき、高画質なＩＰ変換を実現できる。

また、本技術の他の概念は、
画質優先モードでは、動き検出信号に基づく動き適応型補間、動きベクトル検出信号に基づく動き補償型補間およびフィルム検出信号に基づく逆プルダウン変換を適応的に切り替えて１フィールド前の画像を補間するための画素および係数を決定し、速度優先モードでは、動き検出信号に基づく動き適応型補間および動きベクトル検出信号に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する画素／係数選択部と、
上記画質優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データ、１フィールド前の画像データおよび２フィールド前の画像データを用い、１フィールド前の画像データに補間処理を行ってプログレッシブ方式の画像データを得、上記速度優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る補間部とを備える
画像処理装置にある。

本技術においては、画質優先モードと、速度優先モードが設けられている。画質優先モードでは、画素／係数選択部により、動き検出信号に基づく動き適応型補間、動きベクトル検出信号に基づく動き補償型補間およびフィルム検出信号に基づく逆プルダウン変換が適応的に切り替えられて、１フィールド前の画像を補間するための画素および係数が決定される。そして、この画質優先モードでは、補間部により、画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データ、１フィールド前の画像データおよび２フィールド前の画像データが用いられ、１フィールド前の画像データに補間処理が行われてプログレッシブ方式の画像データが得られる。

また、速度優先モードでは、画素／係数選択部により、動き検出信号に基づく動き適応型補間および動きベクトル検出信号に基づく動き補償型補間が適応的に切り替えられて、現在フィールドの画像を補間するための画素および係数が決定される。そして、この速度優先モードでは、補間部により、画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データが用いられ、現在フィールドの画像データに補間処理が行われてプログレッシブ方式の画像データが得られる。

このように本技術においては、画質優先モードまたは速度優先モードの画像処理が可能となっている。そして、画質優先モードでは高画質なＩＰ変換が可能となり、速度優先モードでは低遅延で高画質なＩＰ変換が可能となる。

すなわち、画質優先モードでは、動き適応型補間、動き補償型補間の他に逆プルダウン変換が適応的に切り替えられて、１フィールド前の画像を補間するための画素および係数が決定される。そのため、この画質優先モードでは、高画質なＩＰ変換が可能となる。

一方、速度優先モードでは、現在フィールドの画像データに補間処理が行われてプログレッシブ方式の画像データが得られる。また、動き適応型補間および動き補償型補間が適応的に切り替えられて、現在フィールドの画像を補間するための画素および係数が決定される。つまり、３次元ＩＰ変換処理が行われる。そのため、この速度優先モードでは、低遅延で高画質なＩＰ変換が可能となる。

本技術によれば、低遅延で高画質なＩＰ変換を実現できる。

本技術の実施の形態としてのテレビ受信機の構成例を示すブロック図である。 テレビ受信機を構成するＩＰ変換部の構成例を示すブロック図である。 動き検出部における動き検出処理を説明するための図である。 動きベクトル検出部における動きベクトル検出処理を説明するための図である。 フィルム検出部におけるフィルム検出処理を説明するための図である。 画質優先モードにおける、１フィールド前（−１Ｖ）の画像の補間画素位置に対する、フィールド内補間およびフィールド間補間の補間使用画素選択候補の一例を示す図である。 速度優先モードにおける、現在フィールド（０Ｖ）の画像の補間画素位置に対する、フィールド内補間およびフィールド間補間の補間使用画素選択候補の一例を示す図である。 画質優先モード（通常）の場合の画素／係数選択部における係数決定処理部の構成例を示す図である。 速度優先モード（ゲームモード）の場合の画素／係数選択部における係数決定処理部の構成例を示す図である。 フィルム補間係数選択部における補間係数決定方法を説明するための図である。 画質優先モードにおけるＭＡ補間係数選択方法を説明するための図である。 速度優先モードにおけるＭＡ補間係数選択方法を説明するための図である。 速度優先モードにおいて、斜め線の方向検出結果に応じ、動き時の選択画素を動かした様子を示す図である。 画質優先モードにおけるＭＣ補間係数選択方法を説明するための図である。 速度優先モードにおけるＭＣ補間係数選択方法を説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［テレビ受信機の構成例］
図１は、実施の形態としてのテレビ受信機１０の構成例を示している。このテレビ受信機１０は、制御部１０１と、ユーザ操作部１０２を有している。また、テレビ受信機１０は、チューナ１１１と、外部入力端子群１１２と、入力切換部１１３と、フレームメモリ１１４，１１５と、インタレース/プログレッシブ変換部（ＩＰ変換部）１１６と、ハイフレームレート処理部１１７と、表示パネル１１８を有している。

制御部１０１は、マイクロコンピュータ（マイコン）により構成されている。この制御部１０１は、テレビ受信機１０の各部の動作を制御する。ユーザ操作部１０２は、ユーザインタフェースを構成し、制御部１０１に接続されている。ユーザ操作部１０２は、テレビ受信機１０の図示しない筐体に配置されたキー、釦、ダイアル、あるいはリモートコントローラ等で構成される。

チューナ１１１は、ＢＳ放送、地上波デジタル放送等を受信する。このチューナ１１１には、図示しないアンテナで捕らえられた放送信号が入力される。このチューナ１１１は、放送信号から、ユーザの選局操作に基づいた所定番組の画像データを取得する。外部入力端子群１１２は、外部機器からの画像データ（時系列画像データ）を入力する端子を複数備えている。ここで、外部機器は、例えば、ゲーム機、ＢＤ（Blu-ray Disc）レコーダ、ＤＶＤ（Digital Versatile Disc）プレーヤ、セットトップボックス、パーソナルコンピュータ等である。

入力切換部１１３は、チューナ１１１で取得された画像データ、あるいは外部入力端子群１１２に入力された画像データから、画像表示のための画像データＶ0を、ユーザ操作に基づいて、選択的に取り出す。この画像データＶ0は、実際には、プログレッシブ方式またはインタレース方式のいずれかの方式の画像データであるが、説明を簡単にするため、以下の説明では、画像データＶ0はインタレース方式の画像データであるとする。

フレームメモリ１１４，１１５は、それぞれ、遅延線を構成する。フレームメモリ１１４は、現在フィールドの画像データＶ0を１フィールド期間だけ遅延し、１フィールド前の画像データＶ-1を出力する。また、フレームメモリ１１５は、１フィールド前の画像データＶ-1をさらに１フィールド期間だけ遅延し、２フィールド（１フレーム）前の画像データＶ-2を出力する。

ＩＰ変換部１１６は、現在フィールドの画像データＶ0、１フィールド前の画像データＶ-1および２フィールド前の画像データＶ-2に基づいて、インタレース方式の画像データをプログレッシブ方式の画像データＶｐに変換する。このＩＰ変換部１１６は、制御部１０１の制御により、画質優先モード（通常）または速度優先モード（ゲームモード）のＩＰ変換処理を行う。

ＩＰ変換部１１６は、画質優先モードでは、動き検出結果に基づく動き適応型補間、動きベクトル検出結果に基づく動き補償型補間およびフィルム検出結果に基づく逆プルダウン変換を適応的に切り替えた３次元ＩＰ変換処理を行う。この場合、ＩＰ変換部１１６は、現在フィールドの画像データＶ0、１フィールド前の画像データＶ-1および２フィールド前の画像データＶ-2に基づいて、１フィールド前の画像データＶ-1に補間処理を行って、プログレッシブ方式の画像データＶｐを得る。このプログレッシブ方式の画像データＶｐは、１Ｖだけ遅延したものとなる。

また、ＩＰ変換部１１６は、速度優先モードでは、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えた３次元ＩＰ変換処理を行う。この場合、ＩＰ変換部１１６は、現在フィールドの画像データＶ0および１フィールド前の画像データＶ-1に基づいて、現在フィールドの画像データＶ0の補間処理を行って、プログレッシブ方式の画像データＶｐを得る。このプログレッシブ方式の画像データＶｐは遅れのないものとなる。このＩＰ変換部１１６の詳細については後述する。

ハイフレームレート処理部１１７は、ＩＰ変換部１１６で得られたプログレッシブ方式の画像データＶｐに対してフレームレートを高くするための時間方向の補間処理（ハイフレームレート処理）を行い、プログレッシブ方式の画像データＶｐ′を得る。表示パネル１１８は、ハイフレームレート処理部１１７で得られたプログレッシブ方式の画像データＶｐ′による画像を表示する。この表示パネル１１８は、例えば液晶表示パネルであり、上述のハイフレームレート処理により高画質化が図られる。

図１に示すテレビ受信機１０の動作を説明する。チューナ１１１では、ユーザの選局操作に基づいた所定番組の画像データ（時系列画像データ）が取得され、この画像データは、入力切換部１１３に入力される。また、例えば、ゲーム機、ＢＤレコーダ、ＤＶＤプレーヤ、セットトップボックス、パーソナルコンピュータ等から外部入力端子群１１２に入力された画像データ（時系列画像データ）は、入力切換部１１３に入力される。

入力切換部１１３では、チューナ１１１で取得された画像データ、あるいは外部入力端子群１１２に入力された画像データから、ユーザ操作に基づいて、画像表示のための画像データＶ0が取り出される。この画像データＶ0は、現在フィールドの画像データであり、ＩＰ変換部１１６に供給される。

ＩＰ変換部１１６では、現在フィールドの画像データＶ0、１フィールド前の画像データＶ-1および２フィールド前の画像データＶ-2に基づいて、インタレース方式の画像データがプログレッシブ方式の画像データＶｐに変換される。このＩＰ変換部１１６では、制御部１０１の制御のもと、画質優先モードまたは速度優先モードのＩＰ変換処理が行われる。

画質優先モードでは、動き検出結果に基づく動き適応型補間、動きベクトル検出結果に基づく動き補償型補間およびフィルム検出結果に基づく逆プルダウン変換が適応的に切り替えられた３次元ＩＰ変換処理が行われる。ＩＰ変換部１１６では、現在フィールドの画像データＶ0、１フィールド前の画像データＶ-1および２フィールド前の画像データＶ-2に基づいて、１フィールド前の画像データＶ-1に補間処理が施されて、プログレッシブ方式の画像データＶｐが得られる。

速度優先モードでは、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えた３次元ＩＰ変換処理が行われる。この場合、ＩＰ変換部１１６では、現在フィールドの画像データＶ0および１フィールド前の画像データＶ-1に基づいて、現在フィールドの画像データＶ0の補間処理が施されて、プログレッシブ方式の画像データＶｐが得られる。

ＩＰ変換部１１６で得られたプログレッシブ方式の画像データＶｐは、ハイフレームレート処理部１１７に供給される。このハイフレームレート処理部１１７では、この画像データＶｐに対してフレームレートを高くするための時間方向の補間処理（ハイフレームレート処理）が施され、プログレッシブ方式の画像データＶｐ′が得られる。この画像データＶｐ′は表示パネル１１８に供給される。そして、表示パネル１１８には、この画像データＶｐ′による画像が表示される。

［ＩＰ変換部の構成例］
図２は、ＩＰ変換部１１６の構成例を示している。このＩＰ変換部１１６は、動き検出部１２１と、動きベクトル検出部１２２と、フィルム検出部１２３と、画素／係数選択部１２４と、補間部１２５を有している。

動き検出部１２１は、現在フィールドの画像データＶ0、１フィールド前の画像データＶ-1および２フィールド前の画像データＶ-2に基づいて、動き検出処理を行う。動き検出部１２１は、図３に示すように、例えば、１フィールド間もしくは２フィールド（１フレーム）間の画素の差分絶対値の和（フィールド間差分、フレーム間差分）を閾値と比較することで、画素単位で動き・静止の判定を行う。

なお、図３は、画質優先モード、つまり１フィールド前の画像データＶ-1に補間処理を施してプログレッシブ方式の画像データＶｐを生成する場合における動き検出処理を概略的に示している。図示は省略するが、速度優先モード、つまり現在フィールドの画像データＶ0に補間処理を施してプログレッシブ方式の画像データＶｐを生成する場合における動き検出処理も同様に行われる。

動きベクトル検出部１２２は、現在フィールドの画像データＶ0、１フィールド前の画像データＶ-1および２フィールド前の画像データＶ-2に基づいて、動きベクトル検出処理を行う。動きベクトル検出部１２２は、図４に示すように、例えば、１フレーム間の画素データのブロックマッチングによって、画素単位またはブロック単位で動きベクトルを検出する。この場合、最小の差分絶対値和を与える方向が動きベクトルとされる。

フィルム検出部１２３は、現在フィールドの画像データＶ0、１フィールド前の画像データＶ-1および２フィールド前の画像データＶ-2に基づいて、フィルム検出処理を行う。フィルム検出部１２３は、画像データＶ0がフィルム（２−２プルダウン、２−３プルダウン）素材であるか否かを検出し、フィルム検出結果を得る。フィルム検出部１２３は、フィルム検出エリア全体の画素のフィールド間差分絶対値和とフレーム間差分絶対値和を用いて、フィルム素材であるか否かを検出する。その際、現在フィールドの画像データＶ0、１フィールド前の画像データＶ-1および２フィールド前の画像データＶ-2のうち、どの画像データがペアとなっているかも検出する。

図５は、フィルム素材のうち、２−３プルダウン画像データを示している。この画像データは、毎秒２４コマのフィルム原画が、毎秒６０フィールドの画像データに変換(プルダウン)されたものである。この場合、奇数番目のコマが２フィールドで偶数番目のコマが３フィールドに、あるいはその逆に変換される。

例えば、図５（ａ）に示す２フィールド前の画像データＡｏ、１フィールド前の画像データＡｅ、現在フィールドの画像データＢｏの３フィールドの組み合わせの場合には、画像データＡｏ，Ａｅがペアとなる。また、例えば、図５（ｂ）に示す２フィールド前の画像データＡｅ、１フィールド前の画像データＢｏ、現在フィールドの画像データＢｅの３フィールドの組み合わせの場合には、画像データＢｏ，Ｂｅがペアとなる。

画素／係数選択部１２４は、画質優先モードの場合、１フィールド前の画像を補間するための画素（補間使用画素）および係数（補間係数）を決定する。この場合、画素／係数選択部１２４は、動き検出結果に基づく動き適応型（ＭＡ）補間、動きベクトル検出結果に基づく動き補償型（ＭＣ）補間およびフィルム検出結果に基づく逆プルダウン変換を適応的に切り替えることで、画素および係数の決定を行う。

また、画素／係数選択部１２４は、速度優先モードの場合、現在フィールドの画像を補間するための画素および係数を決定する。この場合、画素／係数選択部１２４は、動き検出結果に基づく動き適応型（ＭＡ）補間および動きベクトル検出結果に基づく動き補償型（ＭＣ）補間を適応的に切り替えることで、画素および係数の決定を行う。

図６は、画質優先モードにおける、１フィールド前（−１Ｖ）の画像の補間画素位置に対する、フィールド内補間およびフィールド間補間の補間使用画素選択候補の一例を示している。また、図７は、速度優先モードにおける、現在フィールド（０Ｖ）の画像の補間画素位置に対する、フィールド内補間およびフィールド間補間の補間使用画素選択候補の一例を示している。画素／係数選択部１２４は、補間使用画素選択候補のうち、最終的に、係数（補間係数）が割り当てられた画素を補間使用画素として選択し、係数とともに補間部１２５に出力する。

補間部１２５は、画素／係数選択部１２４で決定された画素および係数に基づき、補間処理を行ってプログレッシブ方式の画像データＶｐを得る。この場合、補間部１２５は、画素データ（画素値）と係数の畳み込み演算によって補間画素値を求める。ここで、補間部１２５は、画質優先モードの場合、１フィールド前の画像データに補間処理を行って画像データＶｐを得る。つまり、この場合の画像データＶｐは、１Ｖだけ遅延したものとなる。一方、画質優先モードの場合、現在フィールドの画像データに補間処理を行って画像データＶｐを得る。つまり、この場合の画像データＶｐは、遅延のないものとなる。

図２に示すＩＰ変換部１１６の動作を簡単に説明する。現在フィールドの画像データＶ0、１フィールド前の画像データＶ-1および２フィールド前の画像データＶ-2は、動き検出部１２１、動きベクトル検出部１２２、フィルム検出部１２３および画素／係数選択部１２４に供給される。

動き検出部１２１では、各フィールドの画像データに基づいて、動き検出処理が行われる。動き検出結果（動き量）は、画素／係数選択部１２４に供給される。また、動きベクトル検出部１２２では、各フィールドの画像データに基づいて、動きベクトル検出処理が行われる。動きベクトル検出結果（ベクトル、信頼度）は、画素／係数選択部１２４に供給される。また、フィルム検出部１２３では、各フィールドの画像データに基づいて、フィルム検出処理が行われる。フィルム検出結果（ペア情報を含む）は、画素／係数選択部１２４に供給される。

画素／係数選択部１２４では、画質優先モードの場合、１フィールド前の画像を補間するための画素（補間使用画素）および係数（補間係数）が決定される。この場合、画素／係数選択部１２４では、動き検出結果に基づく動き適応型（ＭＡ）補間、動きベクトル検出結果に基づく動き補償型（ＭＣ）補間およびフィルム検出結果に基づく逆プルダウン変換が適応的に切り替えられて、画素および係数が決定される。

また、画素／係数選択部１２４では、速度優先モードの場合、現在フィールドの画像を補間するための画素（補間使用画素）および係数（補間係数）が決定される。この場合、画素／係数選択部１２４では、動き検出結果に基づく動き適応型（ＭＡ）補間および動きベクトル検出結果に基づく動き補償型（ＭＣ）補間が適応的に切り替えられて、画素および係数が決定される。

画素／係数選択部１２４で決定された画素および係数は、補間部１２５に供給される。補間部１２５では、この画素および係数に基づいて補間処理が行われ、プログレッシブ方式の画像データＶｐが得られる。この場合、画素データ（画素値）と係数の畳み込み演算により補間画素値が求められる。

画質優先モードの場合、画素／係数選択部１２４で決定された画素および係数に基づいて、現在、１フィールド前、２フィールド前の各フィールドの画像データが用いられ、１フィールド前の画像データに補間処理が施されて画像データＶｐが得られる。一方、速度優先モードの場合、画素／係数選択部１２４で決定された画素および係数に基づいて、現在、１フィールド前の各フィールドの画像データが用いられ、現在フィールドの画像データに補間処理が施されて画像データＶｐが得られる。

［画素／係数選択部における係数決定処理］
画素／係数選択部１２４における係数決定処理について、さらに、説明する。図８は、画質優先モード（通常）の場合の画素／係数選択部１２４における係数決定処理部の構成例を示している。この係数決定処理部は、フィルム補間係数選択部１３１と、ＭＡ補間係数選択部１３２と、ＭＣ補間係数選択部１３３と、ＭＡ／ＭＣ補間係数ブレンド部１３４と、セレクタ１３５を有している。画質優先モードの場合、フィルム検出結果に応じて、フィルム補間係数か、ＭＡ／ＭＣ補間のブレンド係数かが選択されることで、係数（補間係数）が決定される。この場合、フィルム検出結果が真の場合にはフィルム補間係数が選択され、フィルム検出結果が偽の場合にはＭＡ／ＭＣ補間のブレンド係数が選択される。

図９は、速度優先モード（ゲームモード）の場合の画素／係数選択部１２４における係数決定処理部の構成例を示している。この係数決定処理部は、ＭＡ補間係数選択部１３２と、ＭＣ補間係数選択部１３３と、ＭＡ／ＭＣ補間係数ブレンド部１３４を有している。Ｐｒｅｖ（−２Ｖ）とＣｕｒｒ（−１Ｖ）がペアになるときには（図５（ａ）参照）、出力を１Ｖだけ遅延させないと実現できないことから、速度優先モードの場合、フィルム補間係数を選択せず、常にＭＡ／ＭＣ補間のブレンド係数が出力される。

図８、図９の各部について説明する。フィルム補間係数選択部１３１は、ペア情報に応じて、補間係数を決定する。図５（ａ）に示すように、Ｐｒｅｖ（−２Ｖ）とＣｕｒｒ（−１Ｖ）がペアになる場合、図１０（ａ）に示すように、Ｐｒｅｖ（−２Ｖ）の、補間画素ＩＰと水平、垂直座標が同じ位置の画素の係数を１．０（１００％）とする。図５（ｂ）に示すように、Ｎｅｘｔ（０Ｖ）とＣｕｒｒ（−１Ｖ）がペアになる場合、図１０（ｂ）に示すように、Ｎｅｘｔ（０Ｖ）の、補間画素ＩＰと水平、垂直座標が同じ位置の画素の係数を１．０（１００％）とする。

ＭＡ補間係数選択部１３２は、動き検出の結果に応じて、補間係数を決定する。ここでは、簡単のために、まず、斜め線検出結果が垂直方向（縦線）の場合で説明する。図１１は、画質優先モードにおけるＭＡ補間係数選択方法を示している。動き検出結果が静止の場合、図１１（ａ）に示すように、Ｐｒｅｖ（−２Ｖ）とＮｅｘｔ（０Ｖ）の、補間画素ＩＰと水平、垂直座標が同じ位置の画素の係数をそれぞれ０．５（５０％）とする。動き検出結果が動きの場合、図１１（ｂ）に示すように、Ｃｕｒｒ（−１Ｖ）の、補間画素ＩＰの上下の２画素の係数をそれぞれ０．５（５０％）とする。

動き検出結果は実際には静止／動きの二値ではなく、動静判定の閾値を複数持つことで段階を持たせることが普通である。その場合、ＭＡ係数も動き検出の段階に応じて静止の係数と動きの係数とをブレンドして出力する。

図１２は、速度優先モードにおけるＭＡ補間係数選択方法を示している。動き検出結果が静止の場合、補間画素ＩＰと同じ水平、垂直座標を持つ画素がＣｕｒｒ（−１Ｖ）にしか存在しないため、図１２（ａ）に示すように、その画素の係数を１．０（１００％）とする。動き検出結果が動きの場合、図１２（ｂ）に示すように、Ｎｅｘｔ（０Ｖ）の補間画素ＩＰの上下の２画素の係数をそれぞれ０．５（５０％）とする。動き検出の段階に応じて静止の係数と動きの係数とをブレンドして出力することは、上述の画質優先モードの場合と同様である。

なお、ＭＡ補間の場合、実際には、斜め線の方向検出結果に応じて、選択画素を左右に動かす。図１３は、速度優先モードにおいて、動き時の選択画素を動かした様子を示している。なお、斜め線方向の検出は、詳細説明は省略するが、従来周知のように、補間画素ＩＰの周辺の画素データを用いて行われる。

ＭＣ補間係数選択部１３３は、動きベクトル検出結果に応じて、補間係数を決定する。図１４は、画質優先モードにおけるＭＣ補間係数選択方法を示している。図１４は、動きベクトルが水平１ｄｏｔ／Ｖ（フィールド）、垂直２ｌｉｎｅ／Ｖ（フィールド）の場合の例を示している。補間画素ＩＰを挟んで、動きベクトルが指し示す方向に対応するＰｒｅｖ（−２Ｖ）とＮｅｘｔ（０Ｖ）の２画素の係数をそれぞれ０．５（５０％）とする。動きベクトルが指し示す方向に対応する画素がない場合（奇数ｌｉｎｅ／Ｖ（フィールド）の動きのとき）は、ＭＡ補間となる。

図１５は、速度優先モードにおけるＭＣ補間係数選択方法を示している。図１５も、動きベクトルが水平１ｄｏｔ／Ｖ（フィールド）、垂直２ｌｉｎｅ／Ｖ（フィールド）の場合の例を示している。補間画素ＩＰに対して、動きベクトルが指し示す方向に対応するＣｕｒｒ（−１Ｖ）の画素の係数を１．０（１００％）とする。上述の画質優先モードと同様に、動きベクトルが指し示す方向に対応する画素がない場合は、ＭＡ補間となる。

ＭＡ／ＭＣ補間係数ブレンド部１３４は、ＭＡ補間係数およびＭＣ補間係数をブレンドし、ＭＡ／ＭＣ補間のブレンド係数を出力する。ＭＡ／ＭＣ補間係数ブレンド部１３４は、動きベクトルとその信頼度に応じて、ＭＡ／ＭＣ補間係数のブレンド率を決める。動きベクトルの信頼度は、例えば、動きベクトルを求める際のブロック差分絶対値和の最小値に応じて決める。差分絶対値和の最小値が小さいほど、マッチングがとれていることになるので、信頼度を高くする。

ＭＡ／ＭＣ補間係数ブレンド部１３４は、動きベクトルの信頼度が高いほど、ＭＣ補間係数をブレンドする割合を高くする。しかし、例外として、フィルム素材であると検出された場合、フレーム（２Ｖ）間の動きの半分とフィールド（１Ｖ）間の動きが一致していない（ジャダー）ため、ＭＡ補間を選択する。また、上述したように、奇数ｌｉｎｅ／Ｖ（フィールド）の動きのときも、ＭＣ補間に使用する画素が隣り合うフィールドには存在しないため、ＭＡ補間を選択する。

セレクタ１３５は、フィルム検出結果に応じて、フィルム補間係数、またはＭＡ／ＭＣ補間のブレンド係数を選択して出力する。この場合、セレクタ１３５は、フィルム検出結果が真の場合にはフィルム補間係数を選択し、フィルム検出結果が偽の場合にはＭＡ／ＭＣ補間のブレンド係数を選択する。

上述したように、図１に示すテレビ受信機１０において、ＩＰ変換部１１６は、画質優先モードまたは速度優先モードの画像処理が可能となっている。そして、画質優先モードでは、動き適応型補間、動き補償型補間の他に逆プルダウン変換が適応的に切り替えられて、１フィールド前の画像を補間するための画素および係数が決定される。そのため、この画質優先モードでは、高画質なＩＰ変換が可能となる。

また、速度優先モードでは、現在フィールドの画像データに補間処理が行われてプログレッシブ方式の画像データが得られる。また、動き適応型補間および動き補償型補間が適応的に切り替えられて、現在フィールドの画像を補間するための画素および係数が決定される。つまり、３次元ＩＰ変換処理が行われる。そのため、この速度優先モードでは、低遅延で高画質なＩＰ変換が可能となる。

また、図１に示すテレビ受信機１０において、ＩＰ変換部１１６は、例えば、速度優先モードのＭＡ補間では、補間画素の周辺の画素データを用いて斜め線方向の検出を行い、この斜め線方向に応じた画素および係数を決定する（図１３参照）。すなわち、斜め線適応補間が行われる。そのため、速度優先モード斜め線にジャギーが発生することを抑制でき、速度優先モードにおけるプログレッシブ方式の画像データＶｐのさらなる品質向上が可能となる。

＜２．変形例＞
なお、上述実施の形態においては、ＩＰ変換部１１６を備えるテレビ受信機１０の例としている。しかし、本技術のＩＰ変換部は、ＩＰ変換を必要とするその他の画像表示装置、例えば、モニタ装置、プロジェクタ等にも同様に適用できることは勿論である。

また、上述実施の形態おいて、ＩＰ変換部１１６の処理は、ハードウェアで実行できる他、ソフトウェアでも実行可能である。ソフトウェアで処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。この場合、コンピュータを、プログラムにより、ＩＰ変換部１１６の各機能ブロックとして機能させるものである。

また、本技術は、以下のような構成を取ることもできる。

（１）現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行って遅延のないプログレッシブ方式の画像データを得るインタレース／プログレッシブ変換部を備える
画像処理装置。
（２）上記インタレース／プログレッシブ変換部は、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する
前記（１）に記載の画像処理装置。
（３）上記インタレース／プログレッシブ変換部は、上記動き適応型補間では、補間画素の周辺の画素データを用いて斜め線方向の検出を行い、該斜め線方向に応じた画素および係数を決定する
前記（２）に記載の画像処理装置。
（４）上記インタレース／プログレッシブ変換部は、
動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する画素／係数選択部と、
上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る補間部とを備える
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記画素／係数選択部は、
上記動き適応型補間では、補間画素の周辺の画素データを用いて斜め線方向の検出を行い、該斜め線方向に応じた画素および係数を決定する
前記（４）に記載の画像処理装置。
（６）現在フィールドの画像データおよび１フィールド前の画像データを用い、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り換え、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る
画像処理方法。
（７）画質優先モードでは、動き検出結果に基づく動き適応型補間、動きベクトル検出結果に基づく動き補償型補間およびフィルム検出結果に基づく逆プルダウン変換を適応的に切り替えて１フィールド前の画像を補間するための画素および係数を決定し、速度優先モードでは、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する画素／係数選択部と、
上記画質優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データ、１フィールド前の画像データおよび２フィールド前の画像データを用い、１フィールド前の画像データに補間処理を行ってプログレッシブ方式の画像データを得、上記速度優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る補間部とを備える
画像処理装置。
（８）インタレース方式の画像データをプログレッシブ方式の画像データに変換する画像処理部と、
上記画像処理部で得られたプログレッシブ方式の画像データに基づいて画像を表示する画像表示部と、
上記画像処理部を、画質優先モードまたは速度優先モードに選択的に制御する制御部とを備え、
上記画像処理部は、
画質優先モードでは、動き検出結果に基づく動き適応型補間、動きベクトル検出結果に基づく動き補償型補間およびフィルム検出結果に基づく逆プルダウン変換を適応的に切り替えて１フィールド前の画像を補間するための画素および係数を決定し、速度優先モードでは、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する画素／係数選択部と、
上記画質優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データ、１フィールド前の画像データおよび２フィールド前の画像データを用い、１フィールド前の画像データに補間処理を行ってプログレッシブ方式の画像データを得、上記速度優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る補間部とを備える
画像表示装置。

１０・・・テレビ受信機
１０１・・・制御部
１０２・・・ユーザ操作部
１１１・・・チューナ
１１２・・・外部入力端子群
１１３・・・入力切換部
１１４，１１５・・・フレームメモリ
１１６・・・インタレース／プログレッシブ変換部（ＩＰ変換部）
１１７・・・ハイフレームレート処理部
１１８・・・表示パネル
１２１・・・動き検出部
１２２・・・動きベクトル検出部
１２３・・・フィルム検出部
１２４・・・画素／係数選択部
１２５・・・補間部
１３１・・・フィルム補間係数選択部
１３２・・・ＭＡ補間係数選択部
１３３・・・ＭＣ補間係数選択部
１３４・・・ＭＡ／ＭＣ係数ブレンド部
１３５・・・セレクタ

Claims (8)

1. 現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行って遅延のないプログレッシブ方式の画像データを得るインタレース／プログレッシブ変換部を備える
   画像処理装置。
2. 上記インタレース／プログレッシブ変換部は、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する
   請求項１に記載の画像処理装置。
3. 上記インタレース／プログレッシブ変換部は、上記動き適応型補間では、補間画素の周辺の画素データを用いて斜め線方向の検出を行い、該斜め線方向に応じた画素および係数を決定する
   請求項２に記載の画像処理装置。
4. 上記インタレース／プログレッシブ変換部は、
   動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する画素／係数選択部と、
   上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る補間部とを備える
   請求項１に記載の画像処理装置。
5. 上記画素／係数選択部は、
   上記動き適応型補間では、補間画素の周辺の画素データを用いて斜め線方向の検出を行い、該斜め線方向に応じた画素および係数を決定する
   請求項４に記載の画像処理装置。
6. 現在フィールドの画像データおよび１フィールド前の画像データを用い、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り換え、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る
   画像処理方法。
7. 画質優先モードでは、動き検出結果に基づく動き適応型補間、動きベクトル検出結果に基づく動き補償型補間およびフィルム検出結果に基づく逆プルダウン変換を適応的に切り替えて１フィールド前の画像を補間するための画素および係数を決定し、速度優先モードでは、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する画素／係数選択部と、
   上記画質優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データ、１フィールド前の画像データおよび２フィールド前の画像データを用い、１フィールド前の画像データに補間処理を行ってプログレッシブ方式の画像データを得、上記速度優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る補間部とを備える
   画像処理装置。
8. インタレース方式の画像データをプログレッシブ方式の画像データに変換する画像処理部と、
   上記画像処理部で得られたプログレッシブ方式の画像データに基づいて画像を表示する画像表示部と、
   上記画像処理部を、画質優先モードまたは速度優先モードに選択的に制御する制御部とを備え、
   上記画像処理部は、
   画質優先モードでは、動き検出結果に基づく動き適応型補間、動きベクトル検出結果に基づく動き補償型補間およびフィルム検出結果に基づく逆プルダウン変換を適応的に切り替えて１フィールド前の画像を補間するための画素および係数を決定し、速度優先モードでは、動き検出結果に基づく動き適応型補間および動きベクトル検出結果に基づく動き補償型補間を適応的に切り替えて現在フィールドの画像を補間するための画素および係数を決定する画素／係数選択部と、
   上記画質優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データ、１フィールド前の画像データおよび２フィールド前の画像データを用い、１フィールド前の画像データに補間処理を行ってプログレッシブ方式の画像データを得、上記速度優先モードでは、上記画素／係数選択部で決定された画素および係数に基づき、現在フィールドの画像データおよび１フィールド前の画像データを用い、現在フィールドの画像データに補間処理を行ってプログレッシブ方式の画像データを得る補間部とを備える
   画像表示装置。

Images