JP2012169725A - 画像処理装置、画像処理方法、プログラムおよび画像表示装置 - Google Patents

Abstract

【課題】多画面の表示形態においてフレーム補間処理における補間画像データの生成を良好に行う。
【解決手段】速度検出部１１５は、時系列画像データＶsが子画面の重畳されたものである場合、子画面領域で実質的に速度検出を停止する。補間処理部１１７では、子画面領域の画像の動きの影響を受けることなく、親画面の補間画像データを生成できる。フィルム画像判別部１１６は、時系列画像データＶsが子画面の重畳されたものである場合、子画面領域の規則性の検出情報を判別の際に参照しない。フィルム画像判別部１１６は、子画面領域の画像の動きの影響を受けることなく、時系列画像データ（親画面）がフィルム画像データであるか否かを判別でき、補間処理部１１７では、フィルム画像データに対応した補間画像データの生成処理（フィルム画像補間）を確実に行うことができる。
【選択図】図１

Description

本技術は、画像処理装置、画像処理方法、プログラムおよび画像表示装置に関し、特に、入力時系列画像データに対して高フレームレート処理を行って高画質化を行う画像処理装置等に関する。

ハイフレームレート（High Frame Rate）処理、あるいはフィルム・モーションコンペンセーション（Film MC）処理などに適用されるフレーム補間処理は、表示画像の高画質化に欠かせない手法である。例えば、特許文献１には、フレーム補間処理を実施することにより、液晶の応答速度を改善して、表示画像の高画質化を図ることが記載されている。

特開２００１−０４２８３１号公報

図９は、同一画面内に複数の画面が表示される多画面の表示形態の一例を示している。図９（ａ）は、画像表示部の表示面全面に表示された親画面内に、さらに子画面が表示された、いわゆるピクチャ・イン・ピクチャ（ＰＩＰ：Picture in Picture）を示している。また、図９（ｂ）は、画像表示部の表示面に、親画面と子画面が配列表示された、いわゆるピクチャ・アンド・ピクチャ（ＰＡＰ：Picture and Picture）を示している。

フレーム補間処理の前段で重畳された、上述の多画面の表示形態において、一般に親画面と子画面との間に動きなどの相関は無い。しかし、フレーム補間処理のための動き検出機能を有したＩＣ（integrated circuit）において、親画面および子画面が単一画像として処理されることがある。

補間画像の生成にあたって、画面全体の動きベクトルの相関が利用されている場合がある。その場合、親画面と子画面との相関のない動きによって、双方の画面の補間に影響を与える場合がある。例えば、親画面は静止画で子画面に速い動きがある場合、静止画である親画面上に子画面の動きによって動きを生じさせることが想定される。あるいは、親画面、子画面の境界付近の補間画像に破綻を来たすことも考えられる。

また、映画放送などの補間においては、フレームの切り替わり方の規則性を、動き検出の手法などを用いて画像の相関を検出することで、より高画質な補間画像を生成することが可能である。しかし、親画面で映画を視聴中に、子画面で別の動画を表示している場合に、子画面の動きによって親画面が映画であるということの検出ができなくなり、親画面の画質向上ができなくなることが想定される。

本技術の目的は、多画面の表示形態においてフレーム補間処理における補間画像データの生成を良好に行い得るようにすることにある。

本技術の概念は、
時系列画像データに基づいて、該時系列画像データの間の任意の時刻における補間画像データを生成する補間画像データ生成部と、
上記時系列画像データの多画面情報を用いて、上記補間画像データ生成部を制御する制御部と
を備える画像処理装置にある。

本技術において、補間画像データ生成部により、時系列画像データに基づいて、この時系列画像データの間の任意の時刻における補間画像データが生成される。例えば、液晶表示装置等の画像表示装置にあっては、この補間画像データを含む時系列画像データによる画像が画像表示部に表示される。そして、制御部により、時系列画像データの多画面情報が用いられて、補間画像データ生成部が制御される。このように補間画像データ生成部が制御されることで、多画面の表示形態において親画面の画質向上を図ることができる。

本技術において、例えば、補間画像データ生成部は、時系列画像データに基づいてフレーム毎に速度情報（動きベクトル）を検出する速度検出部と、時系列画像データに基づき、速度検出部で検出された速度情報を用いて、補間画像データを生成する補間処理部とを有し、制御部は、子画面領域で実質的に速度検出を行わないように、速度検出部を制御する、ようにされる。

この場合、速度検出部により、時系列画像データに基づいてフレーム毎に速度情報（動きベクトル）が検出される。そして、補間処理部により、時系列画像データに基づき、速度検出部で検出された速度情報が用いられて、補間画像データが生成される。そして、この場合、制御部により、子画面領域で実質的に速度検出を行わないように、速度検出部が制御される。

このように速度検出部が制御されることで、補間処理部では、子画面領域の画像の動きの影響を受けることなく、親画面の補間画像データを生成できる。これにより、例えば、親画面は静止画で子画面に速い動きがある場合、静止画である親画面上に子画面の動きによって動きを生じさせるということを回避でき、親画面の画質向上を図ることができる。

また、本技術において、例えば、制御部は、さらに、子画面領域で補間画像データを生成しないように補間画像データ生成部を制御する、ようにされる。これにより、子画面領域での速度検出が停止されることによる子画面の破綻を、より確実に防ぐことができる。

また、本技術において、例えば、補間画像データ生成部は、時系列画像データに基づいて、この時系列画像データの規則性を検出し、その検出情報を用いて、この時系列画像データがフィルム原画から作成されたフィルム画像データであるか否かを判別するフィルム画像判別部をさらに備え、補間処理部は、時系列画像データに基づき、速度検出部で検出された速度情報と共に、フィルム画像判別部の判別結果を用いて、補間画像データを生成し、制御部は、子画面領域で実質的に速度検出を行わないように、速度検出部を制御すると共に、子画面領域の規則性の検出情報を判別の際に参照しないようにフィルム画像判別部を制御する、ようにされる。

この場合、フィルム画像判別部により、時系列画像データがフィルム原画から作成されたフィルム画像データであるか否かが判別される。そして、補間処理部により、時系列画像データに基づき、速度検出部で検出された速度情報と共に、フィルム画像判別部の判別結果が用いられて、補間画像データが生成される。時系列画像データがフィルム画像データであるとき、補間処理部では、フィルム画像データに対応した補間画像データの生成処理が行われる。そして、この場合、制御部により、子画面領域で実質的に速度検出を行わないように速度検出部が制御されると共に、子画面領域の規則性の検出情報を判別の際に参照しないようにフィルム画像判別部が制御される。

このようにフィルム画像判別部が制御されることで、フィルム画像判別部では、子画面領域の画像の動きの影響を受けることなく、時系列画像データ（親画面）がフィルム画像データであるか否かの判別を良好に行うことができる。そのため、時系列画像データ（親画面）がフィルム画像データであるとき、補間処理部では、フィルム画像データに対応した補間画像データの生成処理が確実に行われ、親画面の画質向上を図ることができる。

また、本技術において、例えば、子画面の表示／停止の指示を受ける表示／停止指示受信部をさらに備え、この表示／停止指示受信部は、制御部に、ポート制御により、子画面の表示／停止の情報を伝達する、ようにされる。この場合、表示／停止指示受信部から制御部に、子画面の表示／停止の情報を迅速に送ることができる。

また、本技術において、例えば、時系列画像データを外部機器から入力する画像データ入力部と、この画像データ入力部に入力される時系列画像データの多画面情報を取得する多画面情報取得部とをさらに備える、ようにされる。例えば、多画面情報取得部では、外部機器との間の通信により、外部機器から多画面情報が取得される。また、例えば、多画面情報取得部では、ユーザの入力に基づいて多画面情報が取得される。このように多画面情報が取得されることで、外部機器からの時系列画像データが多画面の表示形態に係る場合に、親画面の画質向上を図ることができる。

また、本技術において、例えば、制御部は、多画面情報取得部で画像データ入力部に外部機器から入力された時系列画像データの多画面情報が取得されないとき、補間画像データを生成しないように補間画像データ生成部を制御する、ようにされる。この場合、外部機器からの時系列画像データが多画面の表示形態に係るものか否かは不明である。このように補間画像データを生成しないように制御することで、子画面の動きが親画面に影響した補間画像データが生成される等の不都合を回避できる。

本技術によれば、多画面の表示形態においてフレーム補間処理における補間画像データの生成を良好に行うことができる。

本技術の実施の形態としてのテレビ受信機の構成例を示すブロック図である。 フィルム原画と２−３プルダウン方式で作成されたフィルム画像データの対応関係を示す図である。 補間処理部における「カメラ画像補間」の補間処理を説明するための図である。 補間処理部における「フィルム画像補間」の補間処理を説明するための図である。 画像処理ブロックにおける制御部（マイコン）と、子画面重畳部およびフレームレート変換部との間の通信方法を説明するための図である。 外部入力端子群に接続された外部機器からの時系列画像データをそのまま使用する場合であって、その画像データが既に子画面の重畳されたものである場合を説明するための図である。 テレビ受信機の他の構成例を示すブロック図である。 ポート制御により子画面の表示／停止の情報を伝達する場合におけるポート通信方法の一例を示す図である。 同一画面内に複数の画面が表示される多画面の表示形態（ピクチャ・イン・ピクチャ、ピクチャ・アンド・ピクチャ）の一例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［テレビ受信機の構成例］
図１は、実施の形態としてのテレビ受信機１０の構成例を示している。このテレビ受信機１０は、画像処理ブロック１００と表示パネル２００とを備えている。表示パネル２００は、例えば液晶表示パネルである。

画像処理ブロック１００は、制御部（マイコン）１０１と、ユーザ操作部１０２を有している。また、画像処理ブロック１００は、チューナ１１１と、外部入力端子群１１２と、入力切換部１１３と、子画面重畳部１１４と、速度検出部１１５と、フィルム画像判別部１１６と、補間処理部１１７を有している。ここで、速度検出部１１５、フィルム画像判別部１１６および補間処理部１１７は、フレームレート変換部を構成している。

制御部１０１は、マイクロコンピュータ（マイコン）により構成されている。この制御部１０１は、画像処理ブロック１００の各部の動作を制御する。ユーザ操作部１０２は、ユーザインタフェースを構成し、制御部１０１に接続されている。ユーザ操作部１０２は、テレビ受信機１０の図示しない筐体に配置されたキー、釦、ダイアル、あるいはリモコン等で構成される。

チューナ１１１は、ＢＳ放送、地上波デジタル放送等を受信する。このチューナ１１１には、図示しないアンテナで捕らえられた放送信号が入力される。このチューナ１１１は、放送信号から、ユーザの選局操作に基づいた所定番組の画像データ（時系列画像データ）を取得する。外部入力端子群１１２は、外部機器からの画像データ（時系列画像データ）を入力する端子を複数備えている。ここで、外部機器は、例えばＢＤ（Blu-ray Disc）レコーダ、ＤＶＤ（Digital Versatile Disc）プレーヤ、セットトップボックス、パーソナルコンピュータ等である。

入力切換部１１３は、チューナ１１１で取得された画像データ、あるいは外部入力端子群１１２に入力された画像データから、親画面用の画像データＶpおよび子画面用の画像データＶcを、ユーザ操作に基づいて、選択的に取り出す。なお、この入力切換部１１３は、必要に応じて、復号処理、スケーリング処理等も行う。ここで、入力切換部１１３は、子画面用の画像データＶcを、表示すべき子画面の数だけ取り出す。制御部１０１は、ユーザ操作部１０２からのユーザの親画面、子画面の選択指示に基づいて、入力切換部１１３に、入力切換指示を行う。

子画面重畳部１１４は、制御部１０１の制御に基づいて、子画面重畳の処理を行う。子画面重畳部１１４は、必要に応じて、画像データＶp，Ｖcに、インタレース方式からプログレッシブ方式に変換するためのＩＰ変換処理を行う。子画面重畳部１１４は、子画面重畳を行う場合、親画面用の画像データＶpに子画面用の画像データＶcを合成して、ピクチャ・イン・ピクチャ（図９（ａ）参照）、あるいはピクチャ・アンド・ピクチャ（図９（ｂ）参照）の画面を得るための画像データを生成する。制御部１０１は、ユーザ操作部１０２からのユーザの子画面表示／停止指示、あるいはシステム上で組み込まれているアプリケーションソフト等による子画面表示／停止指示に基づいて、子画面重畳部１１４に、子画面表示／停止命令を送る。

速度検出部１１５は、子画面重畳部１１４から出力される時系列画像データＶsに基づいて、フレーム毎に速度情報、例えば動きベクトルを検出する。ここで、速度検出部１１５は、速度情報を、画素毎、あるいは所定領域毎に検出する。速度検出部１１５は、制御部１０１により、子画面領域で速度情報がゼロとなるように制御される。つまり、速度検出部１１５は、子画面領域で、実質的に速度検出が停止されるように制御される。

速度検出部１１５は、子画面領域で速度情報をゼロとするため、例えば、以下の（１）あるいは（２）方法をとる。すなわち、（１）速度検出部１１５は、子画面領域における速度情報の設定値をゼロとして、速度検出のための演算を一切行わない。（２）速度検出部１１５は、子画面領域における速度情報の演算を行うが、補間処理部１１７に速度情報を送る際に、当該子画面領域の速度情報をゼロに上書きする。

制御部１０１は、子画面表示が開始される際に、速度検出部１１５に、速度検出停止命令を送って、子画面領域における速度検出を停止させる。この命令の形式としては、子画面領域の座標情報(開始点、終了点、幅、高さ等)を送ることの他、予め子画面領域が決まっている場合には、速度検出の無効のみを送ることが考えられる。また、この命令の形式としては、予め決められた子画面領域が複数存在する場合には、その領域に番号を振っておき、その番号のみを伝達することが考えられる。また、制御部１０１は、子画面表示が停止される際に、速度検出部１１５に、速度検出再開命令を送って、全領域における速度検出を再開させる。

フィルム画像判別部１１６は、子画面重畳部１１４から出力される時系列画像データＶsに基づいて、この時系列画像データＶsがフィルム原画から作成されたフィルム画像データであるか否かを判別する。図２は、フィルム原画と、周知の２−３プルダウン方式で作成されたフィルム画像データの対応関係を示している。この２−３プルダウン方式では、毎秒２４コマのフィルム原画が、毎秒３０フレーム（６０フィールド）の画像データに変換(プルダウン)される。この場合、奇数番目のコマが２フィールドで偶数番目のコマが３フィールドに、あるいはその逆に変換される。

フィルム画像判別部１１６は、上述したようなフィルム画像データの規則性を検出し、その検出情報に基づいて、時系列画像データＶsがフィルム画像データであるか否かを判別する。フィルム画像判別部１１６は、制御部１０１により、子画面領域の規則性の検出情報を判別の際に参照しないように制御される。

制御部１０１は、子画面表示が開始される際に、フィルム画像判別部１１６に、規則性検出情報の使用停止命令を送って、フィルム画像データか否かを判別する際に子画面領域における規則性検出情報が参照されないようにする。この命令の形式としては、詳細説明は省略するが、上述した速度検出部１１５への速度検出停止命令と同様とされる。また、制御部１０１は、子画面表示が停止される際に、フィルム画像判別部１１６に、規則性検出情報の使用再開命令を送って、全領域における規則性検出情報の使用を再開させる。

補間処理部１１７は、子画面重畳部１１４から出力される時系列画像データＶsに基づいて、この時系列画像データＶsの間の任意の時刻における補間画像データを生成し、この補間画像データを含む時系列画像データＶoutを出力する。補間処理部１１７は、速度検出部１１５で検出された速度情報と共に、フィルム画像判別部１１６の判別結果を用いて、補間画像データを生成する。

フィルム画像判別部１１６で時系列画像データＶsがフィルム画像データでないと判別されるとき、補間処理部１１７は、いわゆる「カメラ画像補間」の補間処理を行う。図３は、「カメラ画像補間」の一例を示している。この例では、隣接する２つの原画像から、その間に１つの補間画像が生成され、フレームレートが６０Ｈｚから１２０Ｈｚに変換される例である。なお、図３において、Ｔc1，Ｔc2は、補間画像の生成タイミングを示している。

また、フィルム画像判別部１１６で時系列画像データＶsがフィルム画像データであると判別されるとき、補間処理部１１７は、いわゆる「フィルム画像補間」の補間処理を行う。図４は、「フィルム画像補間」の一例を示している。この「フィルム画像補間」は、フィルム画像データの規則性が考慮された補間であって、「カメラ画像補間」のように隣接する２つの原画像から補間画像が生成することをしない。

すなわち、この「フィルム画像補間」では、図示のように、元々のフィルム原画の隣接するコマに対応した２つの原画像１，２から、その間に所定個数の補間画像が生成される。これにより、フレームレートが６０Ｈｚから任意のレートに変換される。なお、図４において、Ｔf1，Ｔf2，Ｔf3，Ｔf4・・・は、補間画像の生成タイミングを示している。

補間処理部１１７は、制御部１０１により、子画面領域で補間処理を停止するように制御される。この場合、補間処理部１１７は、子画面領域の画像データとして、子画面重畳部１１４から出力される時系列画像データＶsにおける子画面領域の画像データをそのまま使用して、補間画像データを生成する。

制御部１０１は、子画面表示が開始される際に、補間処理部１１７に、補間機能停止命令を送って、子画面領域における補間処理を停止させる。この命令の形式としては、詳細説明は省略するが、上述した速度検出部１１５への速度検出停止命令と同様とされる。また、制御部１０１は、子画面表示が停止される際に、補間処理部１１７に、補間機能再開命令を送って、全領域における補間処理を再開させる。

表示パネル２００は、画像処理ブロック１００、従って補間処理部１１７から出力される時系列画像データＶoutによる画像を表示する。この表示パネル２００は、例えば上述したように液晶表示パネルであり、画像処理ブロック１００におけるハイフレームレート処理により、高画質化が図られる。

［制御部と各部との間の通信方法］
ここで、画像処理ブロック１００における制御部（マイコン）１０１と、子画面重畳部１１４とフレームレート変換部（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）との間の通信方法を説明する。

図５は、通信方法の具体例を示している。（１）ユーザからの子画面表示の指示、あるいはシステム上で組み込まれているアプリケーションソフト等による子画面表示の指示を制御部１０１が感知した場合、制御部１０１は、子画面重畳部１１４に、子画面表示命令を送る。これに対して、子画面重畳部１１４は、通信完了確認を、制御部１０１に返す。

（２）次に、制御部１０１は、フレームレート変換部（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）に、子画面領域を特定するための子画面位置情報を送る。なお、上述したように、この子画面位置情報の送信を後述する速度検出停止命令等と兼ねることもある。あるいは、子画面位置が予め決められている場合には、この子画面位置情報の送信は省略されることもある。これに対して、フレームレート変換部は、通信完了確認を、制御部１０１に返す。

（３）次に、制御部１０１は、フレームレート変換部に、速度検出停止命令、規則性検出情報の使用停止命令、補間機能停止命令を送る。これに対して、フレームレート変換部は、通信完了確認を、制御部１０１に返す。この場合、制御部１０１は、速度検出停止命令を、子画面が表示されると同時に、速度検出部１１５に送信し、子画面領域の速度検出を停止させる。なお、ここで言う「同時」とは、速度検出部１１５に子画面重畳された時系列画像データＶsが到達する時刻を示しており、その時刻はシステム構成によって異なるため、システムに応じた合わせ込みが必要である。

「同時刻」に合わせ込むことがシステム構成上困難である場合は、速度検出部１１５に子画面重畳された時系列画像データＶsが到達した後に、制御部１０１から当該速度検出部１１５に、速度検出停止命令を送信すればよい（図５の上部の破線矢印部分参照）。これにより、子画面が重畳されていない状態で、子画面領域での速度検出の停止が行われることがなく、画面上での違和感を低減させることが可能である。その際、制御部１０１は、「子画面表示命令」が確実に完了したことを確認してから次の段階へ進むことで、より確実に制御することが可能である。

（４）次に、ユーザからの子画面表示の中止指示、あるいはシステム上で組み込まれているアプリケーションソフト等による子画面表示の中止指示を制御部１０１が感知した場合、制御部１０１は、フレームレート変換部に、命令を送る。この命令には、速度検出再開命令、規則性検出情報の使用再開命令、補間機能再開命令が含まれる。これに対して、フレームレート変換部は、通信完了確認を、制御部１０１に返す。

この場合、制御部１０１は、速度検出再開命令を、子画面表示が停止されると同時に、速度検出部１１５に送信し、全領域での速度検出を再開させる。なお、ここで言う「同時」とは、速度検出部１１５に子画面重畳されていない時系列画像データＶsが到達する時刻を示しており、その時刻はシステム構成によって異なるため、システムに応じた合わせ込みが必要である。

「同時刻」に合わせ込むことがシステム構成上困難である場合は、速度検出部１１５に子画面重畳されていない時系列画像データＶsが到達する前に、制御部１０１から当該速度検出部１１５に、速度検出再開命令を送信すればよい。これにより、子画面が重畳されていない状態で、子画面領域での速度検出の停止が行われることがなく、画面上での違和感を低減させることが可能である。その際、制御部１０１は、「速度検出再開命令」が確実に完了したことを確認してから次の段階へ進むことで、より確実に制御することが可能である。

（５）次に、制御部１０１は、子画面重畳部１１４に、子画面停止命令を送る。これに対して、子画面重畳部１１４は、通信完了確認を、制御部１０１に返す。

［テレビ受信機の動作］
図１に示すテレビ受信機１０の動作を簡単に説明する。チューナ１１１では、ユーザの選局操作に基づいた所定番組の画像データ（時系列画像データ）が取得され、この画像データは、入力切換部１１３に入力される。また、例えばＢＤレコーダ、ＤＶＤプレーヤ、セットトップボックス、パーソナルコンピュータ等から外部入力端子群１１２に入力された画像データ（時系列画像データ）は、入力切換部１１３に入力される。

入力切換部１１３では、チューナ１１１で取得された画像データ、あるいは外部入力端子群１１２に入力された画像データから、親画面用の画像データＶpおよび子画面用の画像データＶcが、ユーザ操作に基づいて、選択的に取り出される。この場合、子画面用の画像データＶcは、表示すべき子画面の数だけ取り出される。このように入力切換部１１３で取り出された親画面用の画像データＶpおよび子画面用の画像データＶcは、子画面重畳部１１４に供給される。

子画面重畳部１１４では、ユーザからの子画面表示の指示、あるいはシステム上で組み込まれているアプリケーションソフト等による子画面表示の指示に基づいて、子画面重畳の処理が行われる。すなわち、親画面用の画像データＶpに子画面用の画像データＶcが合成されて、ピクチャ・イン・ピクチャ、あるいはピクチャ・アンド・ピクチャの画面を得るための画像データが生成される。この場合、子画面重畳部１１４から出力される時系列画像データＶsは、子画面が重畳されたものとなる。

また、子画面重畳部１１４では、ユーザからの子画面停止の指示、あるいはシステム上で組み込まれているアプリケーションソフト等による子画面停止の指示に基づいて、子画面重畳の処理が停止される。この場合、子画面重畳部１１４から出力される時系列画像データＶsは、子画面が重畳されていないものとなる。

子画面重畳部１１４から出力される時系列画像データＶsは、補間処理部１１７、速度検出部１１５およびフィルム画像判別部１１６に供給される。速度検出部１１５では、子画面重畳部１１４から出力される時系列画像データＶsに基づいて、フレーム毎に速度情報、例えば動きベクトルが検出される。時系列画像データＶsが子画面の重畳されたものである場合、制御部１０１の制御に基づき、子画面領域で実質的に速度検出が停止される。

フィルム画像判別部１１６では、子画面重畳部１１４から出力される時系列画像データＶsに基づいて、この時系列画像データＶsがフィルム原画から作成されたフィルム画像データであるか否かが判別される。この場合、フィルム画像判別部１１６では、フィルム画像データの規則性が検出され、その検出情報が参照されて判別が行われる。時系列画像データＶsが子画面の重畳されたものである場合、制御部１０１の制御に基づき、子画面領域の規則性の検出情報が判別の際に参照されない。

補間処理部１１７では、子画面重畳部１１４から出力される時系列画像データＶsに基づいて、時系列画像データＶsの間の任意の時刻における補間画像データが生成され、この補間画像データを含むフレームレート変換後の時系列画像データＶoutが出力される。上述の速度検出部１１５で検出された速度情報と共に、フィルム画像判別部１１６の判別結果は、この補間処理部１１７に供給される。補間処理部１１７では、これら速度情報および判別結果が用いられて、補間画像データが生成される。

フィルム画像判別部１１６で時系列画像データＶsがフィルム画像データでないと判別されるとき、補間処理部１１７では、いわゆる「カメラ画像補間」の補間処理により補間画像データが生成される。一方、フィルム画像判別部１１６で時系列画像データＶsがフィルム画像データであると判別されるとき、補間処理部１１７では、いわゆる「フィルム画像補間」の補間処理により補間画像データが生成される。

補間処理部１１７では、時系列画像データＶsが子画面の重畳されたものである場合、制御部１０１の制御に基づき、子画面領域で補間処理が停止される。すなわち、補間処理部１１７では、子画面領域の画像データとして、子画面重畳部１１４から出力される時系列画像データＶsにおける子画面領域の画像データがそのまま使用されて、補間画像データが生成される。

図１に示すテレビ受信機１０において、子画面重畳部１１４からの時系列画像データＶsが子画面の重畳されたものである場合、制御部１０１の制御により、速度検出部１１５では子画面領域で実質的に速度検出が停止される。そのため、補間処理部１１７では、子画面領域の画像の動きの影響を受けることなく、親画面の補間画像データを生成できる。これにより、例えば、親画面は静止画で子画面に速い動きがある場合、静止画である親画面上に子画面の動きによって動きを生じさせるということを回避でき、親画面の画質向上を図ることができる。

また、図１に示すテレビ受信機１０において、子画面重畳部１１４からの時系列画像データＶsが子画面の重畳されたものである場合、制御部１０１の制御により、フィルム画像判別部１１６では、判別の際に、子画面領域の規則性の検出情報が参照されなくなる。そのため、フィルム画像判別部１１６では、子画面領域の画像の動きの影響を受けることなく、時系列画像データ（親画面）がフィルム画像データであるか否かの判別を良好に行うことができる。したがって、時系列画像データ（親画面）がフィルム画像データであるとき、補間処理部１１７では、フィルム画像データに対応した補間画像データの生成処理（フィルム画像補間）が確実に行われ、親画面の画質向上を図ることができる。

また、図１に示すテレビ受信機１０において、子画面重畳部１１４からの時系列画像データＶsが子画面の重畳されたものである場合、補間処理部１１７では、制御部１０１の制御により、子画面領域で補間処理が停止される。すなわち、補間処理部１１７では、子画面領域の画像データとして、子画面重畳部１１４から出力される時系列画像データＶsにおける子画面領域の画像データがそのまま使用されて、補間画像データが生成される。そのため、上述したように子画面領域での速度検出が停止されることによる子画面の破綻を、より確実に防ぐことができる。

＜２．変形例＞
なお、上述実施の形態においては、画像処理ブロックの子画面重畳部１１４で子画面が重畳される例を示した。しかし、図６に示すように、外部入力端子群１１２に接続された外部機器３００からの時系列画像データを表示用画像データとしてそのまま使用する場合、この画像データが既に子画面の重畳されたものである場合も考えられる。この場合も、上述実施の形態と同様に、制御部１０１により、子画面領域において速度検出を停止する等、フレームレート変換部（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）を制御することで、同様の効果を得ることができる。

この場合、制御部１０１は、外部機器３００と通信を行うことで、この外部機器３００から多画面情報、つまり子画面が重畳されているか否かの情報、子画面の位置情報等を取得できる。通信手段としては、例えば、ＨＤＭＩのＣＥＣ機能、あるいはＳＣＡＲＴ入力のＡＶＬｉｎｋ等が考えられる。

ここで、制御部１０１は、外部機器３００と通信を行うことができないか、あるいは通信が行うことができても、この外部機器３００から多画面情報を取得できない場合も考えられる。その場合、制御部１０１は、フレームレート変換部（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）で、補間画像データの生成によるフレームレート変換が行われないように制御することもできる。この場合、外部機器３００からの時系列画像データが多画面の表示形態に係るものか否かは不明である。そのため、このように制御することで、子画面の動きが親画面に影響した補間画像データが生成される等の不都合を回避できる。

なお、外部入力端子群１１２に接続された外部機器３００からの時系列画像データが既に子画面の重畳されたものである場合、ユーザがユーザ操作部１０２から制御部（マイコン）１０１に指示を与えることもできる。これにより、フレームレート変換部（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）における子画面領域の取り扱いが上述したように制御される。この場合、ユーザが、表示パネル２００の表示画面上で子画面領域を特定可能としてもよい。また、この場合、毎回同じ位置に子画面が表示されるものであれば、子画面領域の位置情報をプリセットしておいてもよい。

また、上述実施の形態においては、制御部（マイコン）１０１がユーザからの子画面の表示／停止の指示、あるいはシステム上で組み込まれているアプリケーションソフト等による子画面の表示／停止の指示を受けている。そして、この制御部（マイコン）１０１が、その指示に基づいて、フレームレート変換部（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）を制御している。

しかし、子画面の表示／停止の指示を受ける制御部（マイコン）と、フレームレート変換部（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）を制御する制御部（マイコン）が、別個に存在する構成も考えられる。図７は、その場合における、テレビ受信機１０Ａの構成例を示している。この図７において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。

図７において、画像処理ブロック１００Ａは、制御部（マイコン）１０１Ａおよび制御部（マイコン）１０１Ｂを有している。制御部１０１Ａは、フレームレート変換部（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）を制御する。また、制御部１０１Ｂは、入力切換部１１３および子画面重畳部１１４を制御する。

制御部１０１Ｂには、ユーザ操作部１０２が接続されている。この制御部１０１Ｂは、ユーザからの子画面の表示／停止の指示、あるいはシステム上で組み込まれているアプリケーションソフト等による子画面の表示／停止の指示を受ける。この意味で、この制御部１０１Ｂは、表示／停止指示受信部を構成する。

制御部１０１Ｂは、制御部１０１Ａに、子画面の表示／停止の情報を、Ｉ２Ｃ通信やＵＡＲＴ通信等により伝達することも可能である。しかし、ここでは、子画面の表示／停止のレスポンスをできるだけ早くするために、制御部１０１Ｂは、ポート制御により、制御部１０１Ａに、子画面の表示／停止の情報を伝達するようにされる。例えば、制御部１０１Ｂが子画面の停止指示を受けた場合、その情報を、子画面表示停止よりも前に制御部１０１Ａに伝達する必要がある。

図８は、その場合におけるポート通信方法の一例を示している。図８（ａ）は、子画面重畳の有無を示している。図８（ｂ）は、マイコン間通信ポートに出力される子画面トリガを示している。Ｔｐは、制御部（マイコン）１０１Ａのポーリング周期を示しており、ここでは、例えば２０ｍｓとされている。また、Ｔｔは、子画面トリガとしてのパルスの幅を示しており、ここでは、制御部（マイコン）１０１Ａのポーリング処理で確実に「High」を取り込める幅とされ、例えば３０ｍｓとされている。

この場合、時間Ｔａとして、制御部（マイコン）１０１Ａが子画面トリガを認識し、フレームレート変換部（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）に制御パラメータの送信が完了するまでの時間があればよい。

上述したように、制御部１０１Ｂが、ポート制御により、制御部１０１Ａに、子画面の表示／停止の情報を伝達することで、当該子画面の表示／停止の情報を迅速に伝達することが可能となる。

また、上述していないが、画像処理ブロック内のフレームレート変換部（（速度検出部１１５、フィルム画像判別部１１６、補間処理部１１７）は、ハードウェアで構成することもできる。さらに、フレームレート変換部は、ソフトウェア（プログラム）によりコンピュータを各機能ブロックとして機能させることで実現することもできる。

本技術は、速度検出によるフレーム補間を用いて動画質を向上させる画像表示装置、例えばテレビ受信機などに適用できる。

１０，１０Ａ・・・テレビ受信機
１００，１００Ａ・・・画像処理ブロック
１０１，１０１Ａ，１０１Ｂ・・・制御部（マイコン）
１０２・・・ユーザ操作部
１１１・・・チューナ
１１２・・・外部入力端子群
１１３・・・入力切換部
１１４・・・子画面重畳部
１１５・・・速度検出部
１１６・・・フィルム画像判別部
１１７・・・補間処理部
２００・・・表示パネル
３００・・・外部機器

Claims (11)

1. 時系列画像データに基づいて、該時系列画像データの間の任意の時刻における補間画像データを生成する補間画像データ生成部と、
   上記時系列画像データの多画面情報を用いて、上記補間画像データ生成部を制御する制御部と
   を備える画像処理装置。
2. 上記補間画像データ生成部は、上記時系列画像データに基づいてフレーム毎に速度情報を検出する速度検出部と、上記時系列画像データに基づき、上記速度検出部で検出された速度情報を用いて、上記補間画像データを生成する補間処理部とを有し、
   上記制御部は、子画面領域で実質的に速度検出を行わないように、上記速度検出部を制御する
   請求項１に記載の画像処理装置。
3. 上記制御部は、さらに、上記子画面領域で補間画像データを生成しないように上記補間画像データ生成部を制御する
   請求項２に記載の画像処理装置。
4. 上記補間画像データ生成部は、上記時系列画像データに基づいて、該時系列画像データの規則性を検出し、該検出情報を用いて該時系列画像データがフィルム原画から作成されたフィルム画像データであるか否かを判別するフィルム画像判別部をさらに備え、
   上記補間処理部は、上記時系列画像データに基づき、上記速度検出部で検出された速度情報と共に、上記フィルム画像判別部の判別結果を用いて、上記補間画像データを生成し、
   上記制御部は、子画面領域で実質的に速度検出を行わないように上記速度検出部を制御すると共に、上記子画面領域の上記規則性の検出情報を上記判別の際に参照しないように上記フィルム画像判別部を制御する
   請求項２に記載の画像処理装置。
5. 子画面の表示／停止の指示を受ける表示／停止指示受信部をさらに備え、
   上記表示／停止指示受信部は、上記制御部に、ポート制御により、子画面の表示／停止の情報を伝達する
   請求項１に記載の画像処理装置。
6. 上記時系列画像データを外部機器から入力する画像データ入力部と、
   上記画像データ入力部に入力される上記時系列画像データの多画面情報を取得する多画面情報取得部とをさらに備える
   請求項１に記載の画像処理装置。
7. 上記多画面情報取得部は、上記外部機器との間の通信により、上記外部機器から上記多画面情報を取得する
   請求項６に記載の画像処理装置。
8. 上記制御部は、上記多画面情報取得部で上記画像データ入力部に上記外部機器から入力された上記時系列画像データの多画面情報が取得されないとき、補間画像データを生成しないように上記補間画像データ生成部を制御する
   請求項６に記載の画像処理装置。
9. 時系列画像データに基づいて、該時系列画像データの間の任意の時刻における補間画像データを生成する補間画像データ生成ステップと、
   上記時系列画像データの多画面情報を用いて、上記補間画像データ生成ステップを制御する制御ステップと
   を備える画像処理方法。
10. コンピュータを、
    時系列画像データに基づいて、該時系列画像データの間の任意の時刻における補間画像データを生成する補間画像データ生成手段と、
    上記時系列画像データの多画面情報を用いて、上記補間画像データ生成手段を制御する制御手段
    として機能させるプログラム。
11. 時系列画像データに基づいて、該時系列画像データの間の任意の時刻における補間画像データを生成する補間画像データ生成部と、
    上記補間画像データ生成部で生成された補間画像データを含む時系列画像データによる画像を表示する画像表示部と、
    上記時系列画像データの多画面情報を用いて、上記補間画像データ生成部を制御する制御部と
    を備える画像表示装置。

Images