JP2013247445A - 画像処理装置、画像処理方法、画像処理プログラム、放送受信装置 - Google Patents

Abstract

【課題】より高い画質で映像を補間することができる画像処理装置、画像処理方法、画像処理プログラム、放送受信装置を提供する。
【解決手段】一実施形態に係る画像処理装置は、連続した２つのフレームを受け取る受信部と、前記連続した２つのフレームをそれぞれ分割フレームに分割するフレーム分割部と、前記連続した２つのフレーム間の分割境界領域から第１の動きベクトルを検出する動きベクトル検出部と、前記連続した２つの分割フレームと、前記第１の動きベクトルとに基づいて補間フレームを生成する補間フレーム生成部と、前記補間フレームを前記２つの分割フレームの間に挿入し、出力する出力部と、を具備する。
【選択図】 図４

Description

本発明の実施形態は、画像処理装置、画像処理方法、画像処理プログラム、放送受信装置に関する。

従来、映画、テレビ番組、またはゲームなどの映像コンテンツ（ストリーム）を再生することができる画像処理装置が一般的に普及している。画像処理装置は、受信したストリームに対して信号処理を施し、映像をディスプレイにより表示させることができる。

また、近年、１２０Ｈｚまたは２４０Ｈｚなどの高フレームレートで映像を表示する事ができるディスプレイが実用化されている。また、１２０Ｈｚ未満のストリームのフレームを補間することにより、より高フレームレートの映像を生成することができる画像処理装置が実用化されている。

特開２０１１−１３０４０９号公報

また、近年横軸が約4000ピクセル、縦軸が約2000ピクセルのディスプレイを有する表示装置が実用化されている。また、このような表示装置に対応したストリーム（4000ピクセル×2000ピクセルのコンテンツ）がある。例えば、このように高解像度のストリームに対してフレームの補間処理を行う場合、処理の負荷がハードウェアの処理能力を超え、補間処理を行うことができない場合がある。

本発明の目的は、より高い画質で映像を補間することができる画像処理装置、画像処理方法、画像処理プログラム、放送受信装置を提供することである。

一実施形態に係る画像処理装置は、連続した２つのフレームを受け取る受信部と、前記連続した２つのフレームをそれぞれ分割フレームに分割するフレーム分割部と、前記連続した２つのフレーム間の分割境界領域から第１の動きベクトルを検出する動きベクトル検出部と、前記連続した２つの分割フレームと、前記第１の動きベクトルとに基づいて補間フレームを生成する補間フレーム生成部と、前記補間フレームを前記２つの分割フレームの間に挿入し、出力する出力部と、を具備する。

図１は、一実施形態に係る画像処理装置について説明する為の図である。 図２は、一実施形態に係る画像処理装置について説明する為の図である。 図３は、一実施形態に係る画像処理装置について説明する為の図である。 図４は、一実施形態に係る画像処理装置について説明する為の図である。 図５は、一実施形態に係る画像処理装置について説明する為の図である。 図６は、一実施形態に係る画像処理装置について説明する為の図である。 図７は、一実施形態に係る画像処理装置について説明する為の図である。 図８は、一実施形態に係る画像処理装置について説明する為の図である。 図９は、一実施形態に係る画像処理装置について説明する為の図である。 図１０は、一実施形態に係る画像処理装置について説明する為の図である。

以下、図を参照しながら、一実施形態に係る画像処理装置、画像処理方法、画像処理プログラム、放送受信装置について詳細に説明する。

図１は、一実施形態に係る画像処理装置１００の例を示す。画像処理装置１００は、例えば、放送信号、または記憶媒体に記憶されている映像コンテンツなどを再生することができる放送受信装置などの電子機器である。

画像処理装置１００は、チューナ１１１、復調部１１２、信号処理部１１３、音声処理部１２１、映像処理部１３１、表示処理部１３３、制御部１５０、記憶装置１６０、操作入力部１６１、受光部１６２、ＬＡＮインターフェース１７１、及びＨＤＭＩ端子１７３を備える。また、画像処理装置１００は、さらにスピーカ１２２及びディスプレイ１３４を備える。

チューナ１１１は、例えばアンテナ１０１により受信されたディジタル放送信号を受け取ることができる。アンテナ１０１は、例えば、地上ディジタル放送信号、ＢＳ（ｂｒｏａｄｃａｓｔｉｎｇ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号、及び／または、１１０度ＣＳ（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号を受信することができる。チューナ１１１は、上記したディジタル放送信号により供給される番組などのコンテンツのデータ（ストリーム）を受け取ることができる。

チューナ１１１は、ディジタル放送信号用のチューナである。チューナ１１１は、受け取ったディジタル放送信号のチューニング（選局）を行う。チューナ１１１は、チューニングしたディジタル放送信号を復調部１１２に送信する。

復調部１１２は、受信したディジタル放送信号を復調する。これにより、復調部１１２は、ディジタル放送信号からトランスポートストリーム（ＴＳ）などのコンテンツデータを取得する。復調部１１２は、取得したコンテンツデータを信号処理部１１３に入力する。即ち、アンテナ１０１、チューナ１１１、及び復調部１１２は、コンテンツデータを受信する受信手段として機能する。

信号処理部１１３は、コンテンツデータの分離などの信号処理を行う。即ち、信号処理部１１３は、コンテンツデータをディジタル映像信号、ディジタル音声信号、及びその他のデータ信号に分離する。信号処理部１１３は、音声処理部１２１に音声信号を供給する。また、信号処理部１１３は、映像処理部１３１に映像信号を供給する。さらに、信号処理部１１３は、制御部１５０にデータ信号を供給する。

また、信号処理部１１３は、制御部１５０の制御に基づいて、上記のコンテンツデータを録画可能な状態のデータ（録画ストリーム）に変換することができる。信号処理部１１３は、制御部１５０の制御に基づいて、録画ストリームを記憶装置１６０または他のモジュールに供給することができる。これにより、画像処理装置１００は、受信したコンテンツを記憶媒体に録画することができる。

音声処理部１２１は、信号処理部１１３から受信したディジタル音声信号を、スピーカ１２２により再生可能なフォーマットの信号（オーディオ信号）に変換する。例えば、音声処理部１２１は、ディジタル音声信号をディジタル／アナログ変換によりオーディオ信号に変換する。音声処理部１２１は、オーディオ信号をスピーカ１２２に供給する。スピーカ１２２は、供給されるオーディオ信号に基づいて音を再生する。

映像処理部１３１は、信号処理部１１３から受信したディジタル映像信号を、ディスプレイ１３４で再生可能なフォーマットの映像信号に変換する。即ち、映像処理部１３１は、信号処理部１１３から受信したディジタル映像信号を、ディスプレイ１３４で再生可能なフォーマットの映像信号にデコード（再生）する。映像処理部１３１は、映像信号を表示処理部１３３に出力する。

表示処理部１３３は、例えば、制御部１５０からの制御に基づいて、受信した映像信号に対して色味、明るさ、シャープ、コントラスト、またはその他の画質調整処理を行う。表示処理部１３３は、画質調整を施した映像信号をディスプレイ１３４に供給する。ディスプレイ１３４は、供給される映像信号に基づいて映像を表示する。

また、表示処理部１３３は、映像処理部１３１から供給されたディジタル映像信号（ストリーム）に対してフレームを補間する補間処理を行う補間処理部１８０を備える。この場合、表示処理部１３３は、画質調整を施し、且つ補間処理部１８０により補間処理が施された映像信号をディスプレイ１３４に供給する。

ディスプレイ１３４は、例えば、マトリクス状に配列された複数の画素を備える液晶表示パネルと、この液晶パネルを照明するバックライトとを備える液晶表示装置などを備える。ディスプレイ１３４は、表示処理部１３３から供給される映像信号に基づいて映像を表示する。なお、ディスプレイ１３４は、高画質のストリームを表示することができる。

高画質のストリームは、例えば、水平画素数が4000ピクセル前後であり、垂直画素数が2000ピクセル前後である動画フォーマットのストリームである。高画質ストリームは、一般的に、４Ｋ解像度のストリーム、または４Ｋ２Ｋのストリームと称される。例えば、ディジタルシネマの標準規格であるＤＣＩでは、４Ｋストリームとして4096×2160の解像度を有する動画フォーマットが規定されている。また、ＦｕｌｌＨＤの４倍である3840×2160の解像度を有するＱＦＨＤ（クアッドフルＨＤ）が実用化されている。即ち、ディスプレイ１３４は、４Ｋ２Ｋストリームを表示することができる解像度を備える表示装置である。

なお、画像処理装置１００は、ディスプレイ１３４の代わりに、４Ｋ２Ｋストリームを出力する出力端子を備える構成であってもよい。また、画像処理装置１００は、スピーカ１２２の代わりに、オーディオ信号を出力する出力端子を備える構成であってもよい。また、画像処理装置１００は、ディジタル映像信号とディジタル音声信号とを出力する出力端子を備える構成であってもよい。

制御部１５０は、画像処理装置１００の各部の動作を制御する制御手段として機能する。制御部１５０は、ＣＰＵ１５１、ＲＯＭ１５２、ＲＡＭ１５３、及びＥＥＰＲＯＭ（不揮発性メモリ）１５４などを備えている。制御部１５０は、操作入力部１６１から供給される操作信号に基づいて、種々の処理を行う。

ＣＰＵ１５１は、種々の演算処理を実行する演算素子などを備える。ＣＰＵ１５１は、ＲＯＭ１５２、またはＥＥＰＲＯＭ１５４などに記憶されているプログラムを実行することにより種々の機能を実現する。

ＲＯＭ１５２は、画像処理装置１００を制御する為のプログラム、及び各種の機能を実現する為のプログラムなどを記憶する。ＣＰＵ１５１は、操作入力部１６１から供給される操作信号に基づいて、ＲＯＭ１５２に記憶されているプログラムを起動する。これにより、制御部１５０は、各部の動作を制御する。

ＲＡＭ１５３は、ＣＰＵ１５１のワークメモリとして機能する。即ち、ＲＡＭ１５３は、ＣＰＵ１５１の演算結果、ＣＰＵ１５１により読み込まれたデータなどを記憶する。

ＥＥＰＲＯＭ１５４は、各種の設定情報、及びプログラムなどを記憶する不揮発性メモリである。

記憶装置１６０は、コンテンツを記憶する記憶媒体を有する。例えば、記憶装置１６０は、ハードディスクドライブ（ＨＤＤ）、ソリッドステイトドライブ（ＳＳＤ）、または半導体メモリなどにより構成される。記憶装置１６０は、信号処理部１１３から供給された録画ストリームを記憶することができる。

操作入力部１６１は、例えば、ユーザによる操作入力に応じて操作信号を生成する操作キー、またはタッチパッドなどを備える。また、操作入力部１６１は、キーボード、マウス、または操作信号を生成する事ができる他の入力装置などから操作信号を受け取る構成であってもよい。操作入力部１６１は、操作信号を制御部１５０に供給する。

なお、タッチパッドは、静電容量式センサ、サーモセンサ、または他の方式に基づいて位置情報を生成するデバイスを含む。また、画像処理装置１００がディスプレイ１３４を備える場合、操作入力部１６１は、ディスプレイ１３４と一体に形成されるタッチパネルなどを備える構成であってもよい。

受光部１６２は、例えば、リモートコントローラ１６３からの操作信号を受信するセンサなどを備える。受光部１６２は、受信した信号を制御部１５０に供給する。制御部１５０は、受光部１６２から供給された信号を受信し、受信した信号を増幅させてＡ／Ｄ変換を行うことにより、リモコン１６３から送信された元の操作信号を復号する。

リモートコントローラ１６３は、ユーザの操作入力に基づいて操作信号を生成する。リモートコントローラ１６３は、生成した操作信号を赤外線通信により受光部１６２に送信する。なお、受光部１６２及びリモートコントローラ１６３は、電波などの他の無線通信により操作信号の送受信を行う構成であってもよい。

ＬＡＮインターフェース１７１は、ＬＡＮまたは無線ＬＡＮ経由でインターネット、イントラネット、またはホームネットワークなどのネットワーク上の他の機器と通信を行なう為のインターフェースである。画像処理装置１００がＬＡＮインターフェース１７１を
経由してネットワークに接続された場合、画像処理装置１００は、ネットワーク上の機器に記録されているコンテンツを取得し、再生することができる。また、画像処理装置１００は、コンテンツデータをネットワークに接続されている他の機器に出力することが出来る。

ＨＤＭＩ端子１７３は、ＨＤＭＩ（High Definition Multimedia Interface）（登録商標）などの規格に基づいた通信を行なう為のインターフェースである。ＨＤＭＩ端子１７３には、ブルーレイ（登録商標）レコーダ、ＤＶＤレコーダ、ハードディスクレコーダ、または他の機器とＨＤＭＩに対応した機器が接続される。ＨＤＭＩ端子１７３は、接続された機器から出力されたコンテンツデータを受信することができる。

制御部１５０は、ＨＤＭＩ端子１７３により受信したコンテンツデータを信号処理部１１３に入力させる。信号処理部１１３は、受信したコンテンツデータからディジタル映像信号、及びディジタル音声信号などを分離する。信号処理部１１３は、分離したディジタル映像信号を映像処理部１３１に送信し、分離したディジタル音声信号を音声処理部１２１に送信する。

また、画像処理装置１００は、図示しない電源部を備える。電源部は、ＡＣアダプタなどを介して商用電源などから電力を受け取る。電源部は、受け取った交流の電力を直流に変換し、画像処理装置１００内の各部へ供給する。

上記したように、画像処理装置１００は、補間処理部１８０により、受け取ったコンテンツのストリームに対してフレーム補間を施し、高フレームレートのストリームとして出力することができる。

例えば、６０Ｈｚのフレームレートのストリームを２４０Ｈｚのストリームにする補間処理の例について説明する。図２に示されるように、補間処理部１８０は、入力された６０Ｈｚのストリームの現フレームと、現フレームの１つ前のフレーム（前フレーム）と、に基づいて、３枚の補間フレームを生成する。補間処理部１８０は、生成した３枚の補間フレームを現フレームと前フレームとの間に挿入し、２４０Ｈｚのストリームを出力する。

具体的には、補間処理部１８０は、現フレームと前フレームとの２つのフレーム間で所定領域毎に動きベクトルを検出する。例えば、図３に示されるように、補間処理部１８０は、ある領域の前後フレームでの移動量及び向きに応じて動きベクトルを検出する。即ち、補間処理部１８０は、前フレームのある領域に対応する領域が、現フレームでどの位置に移動したかを検出することにより、動きベクトルを検出する。補間処理部１８０は、検出した動きベクトルに基づいて、前後フレームの中間の画像（補間フレーム）を生成する。補間処理部１８０は、生成した補間フレームを現フレームと前フレームとの間に挿入する。

なお、補間処理部１８０は、補間処理における遅延を防ぐ為に、上記の補間処理専用のＬＳＩを備える。即ち、補間処理部１８０は、ハードウェアにより上記のような補間処理を行うことにより、少ない遅延時間で補間されたストリームを出力することができる。

また４Ｋ２Ｋなどの高解像度のストリームに対して補間処理を行う場合、ＬＳＩの処理負担が増加する。この為、補間処理部１８０は、補間処理を行なう事ができるＬＳＩを複数備え、複数のＬＳＩによりフレーム補間処理を分担する。

図４は、補間処理部１８０の構成の例を示す。
補間処理部１８０は、第１の補間処理回路３０１、第２の補間処理回路３０２、及び第３の補間処理回路３０３を備える。第１の補間処理回路３０１、第２の補間処理回路３０２、及び第３の補間処理回路３０３は、それぞれ同じ構成を有するＬＳＩである。第１の補間処理回路３０１、第２の補間処理回路３０２、及び第３の補間処理回路３０３は、それぞれ上記したような動きベクトルの検出、及び補間フレームの生成を行うことができる。

フレームレートが６０Ｈｚである４Ｋ２Ｋストリームをフレームレートが２４０Ｈｚである４Ｋ２Ｋストリームに補間する処理について説明する。

なお、第１の補間処理回路３０１、第２の補間処理回路３０２、及び第３の補間処理回路３０３は、それぞれ、フレームレートが６０Ｈｚである２Ｋ２Ｋストリームをフレームレートが２４０Ｈｚである２Ｋ２Ｋストリームに補間する処理能力を備えている。しかし、第１の補間処理回路３０１、第２の補間処理回路３０２、及び第３の補間処理回路３０３は、それぞれ、フレームレートが６０Ｈｚである４Ｋ２Ｋストリームをフレームレートが２４０Ｈｚである４Ｋ２Ｋストリームに補間する処理能力を備えていない。

第１の補間処理回路３０１は、補間処理部１８０の外部から供給された入力ストリーム（６０Ｈｚ、４Ｋ２Ｋ）１８１を受け取る。

第１の補間処理回路３０１は、入力ストリーム１８１の１つのフレームを２つのフレームに分割する。これにより、第１の補間処理回路３０１は、入力ストリーム１８１の１つのフレームを左フレーム（分割されたフレームの左半分）１８２と、右フレーム（分割されたフレームの右半分）１８３とに分割する。

第１の補間処理回路３０１は、分割した左フレーム（６０Ｈｚ、２Ｋ２Ｋ）１８２を第２の補間処理回路３０２に供給する。また、第１の補間処理回路３０１は、分割した右フレーム（６０Ｈｚ、２Ｋ２Ｋ）１８３を第３の補間処理回路３０３に供給する。

さらに、第１の補間処理回路３０１は、入力ストリーム１８１に基づいて、動きベクトル１８４を検出する。第１の補間処理回路３０１は、検出した動きベクトル１８４を第２の補間処理回路３０２及び第３の補間処理回路３０３に供給する。

なお、第１の補間処理回路３０１は、連続した各フレーム毎に左フレーム１８２、右フレーム１８３、及び動きベクトル１８４を取得し、第２の補間処理回路３０２及び第３の補間処理回路３０３に供給する。

即ち、第１の補間処理回路３０１は、図５に示されるように、入力ストリーム１８１の前フレームの左フレーム１８２を第２の補間処理回路３０２に供給する。また、第１の補間処理回路３０１は、入力ストリーム１８１の現フレームの左フレーム１８２を第２の補間処理回路３０２に供給する。また、第１の補間処理回路３０１は、入力ストリーム１８１の前フレーム及び現フレームの右フレーム１８３を第３の補間処理回路３０３に供給する。

第２の補間処理回路３０２は、前フレーム及び現フレームの左フレーム１８２と、動きベクトルとに基づいて補間処理を行い、異なる位相の補間フレームを生成する。第２の補間処理回路３０２は、図５に示されるように、前フレーム及び現フレームの左フレーム１８２の間に、複数の補間フレームを挿入する。これにより、第２の補間処理回路３０２は、６０Ｈｚから２４０Ｈｚに補間された第１の出力ストリーム（２４０Ｈｚ、２Ｋ２Ｋ）１８５を出力することができる。

第３の補間処理回路３０３は、前フレーム及び現フレームの右フレーム１８３と、動きベクトルとに基づいて補間処理を行い、異なる位相の補間フレームを生成する。第３の補間処理回路３０３は、図５に示されるように、前フレーム及び現フレームの右フレーム１８３の間に、位相の順で複数の補間フレームを挿入する。これにより、第３の補間処理回路３０３は、６０Ｈｚから２４０Ｈｚに補間された第２の出力ストリーム（２４０Ｈｚ、２Ｋ２Ｋ）１８６を出力することができる。

なお、第１の出力ストリーム１８５は、入力ストリーム１８１の左半分の領域に対応するストリームである。また、第２の出力ストリーム１８６は、入力ストリーム１８１の右半分の領域に対応するストリームである。

補間処理部１８０は、第１の出力ストリーム１８５及び第２の出力ストリーム１８６を並行して出力し、ディスプレイ１３４に供給する。ディスプレイ１３４は、供給された第１の出力ストリーム１８５及び第２の出力ストリーム１８６を結合することにより、フレームレートが２４０Ｈｚである４Ｋ２Ｋストリームを表示することができる。

また、補間処理部１８０は、第１の出力ストリーム１８５及び第２の出力ストリーム１８６を結合し、ディスプレイ１３４に供給する構成であってもよい。

図６は、第１の補間処理回路３０１、第２の補間処理回路３０２、及び第３の補間処理回路３０３の構成の例を示す。なお、第１の補間処理回路３０１、第２の補間処理回路３０２、及び第３の補間処理回路３０３は同じ構成を有する為、総じて補間処理回路３００と称して説明する。

補間処理回路３００は、動きベクトル検出部３１０、補間フレーム生成部３２０、及びフレーム分割部３３０を備える。さらに、補間処理回路３００は、補間処理部１８０内の他のＬＳＩとデータを送受信する為に、出力用メモリ３１１、入力用メモリ３１２、及びインターフェース３１３を備える。

動きベクトル検出部３１０は、供給されたストリームの前後のフレームに応じて動きベクトルを検出する。

補間フレーム生成部３２０は、動きベクトルと、前後のフレームとに基づいて、補間フレームを生成し、生成した補間フレームを前後のフレームの間に挿入する。補間フレーム生成部３２０は、補間フレームを挿入したストリーム（補間されたストリーム）を出力する。

フレーム分割部３３０は、供給されたストリームの各フレームを左フレームと右フレームとに分割し、分割した左フレーム及び右フレームを出力する。

出力用メモリ３１１及び入力用メモリ３１２は、データを格納するメモリである。動きベクトル検出部３１０は、検出した動きベクトルを出力用メモリ３１１に書き込むことができる。インターフェース３１３は、出力用メモリ３１１に格納されている動きベクトルを補間処理部１８０内の他の回路に供給することができる。

また、インターフェース３１３は、他の回路から供給された動きベクトルを受け取ることができる。インターフェース３１３は、受け取った動きベクトルを入力用メモリ３１２に書き込むことができる。

さらに、動きベクトル検出部３１０は、入力用メモリ３１２に書き込まれている動きベクトルを読み出すことができる。動きベクトル検出部３１０は、自身が検出した動きベクトル（第１の動きベクトル）と、入力用メモリ３１２から読み出した動きベクトル（第２の動きベクトル）とを用いて補間フレームを生成する為の動きベクトル（第３の動きベクトル）を生成することができる。動きベクトル検出部３１０は、第３の動きベクトルを補間フレーム生成部３２０に供給する。

図７は、動きベクトルの検出及びフレーム分割処理の例を示す。
動きベクトル検出部３１０は、入力されたストリームの１つのフレームを複数の領域（マクロブロック）に分割する。マクロブロックは、例えば８ピクセル×８ピクセル、１６ピクセル×１６ピクセルなどの複数画素の集合である。動きベクトル検出部３１０は、マクロブロック毎に動きベクトルを検出する。

例えば、図７のＡは、前フレームにおけるあるマクロブロックＡを示す。また、図７のＡ’は、現フレームにおける上記のマクロブロックＡに対応するマクロブロックを示す。動きベクトル検出部３１０は、各マクロブロック毎に前フレームと現フレーム間での移動の度合いを検出することにより、動きベクトルを検出することができる。

また、フレーム分割部３３０は、各フレームを図７に示されるように分割する。即ち、フレーム分割部３３０は、分割された左フレームと右フレームとで重複する領域が存在するように各フレームを分割する。これにより、分割された前後フレームで補間処理を行う際に欠損領域が生じることを防ぐことができる。

また、動きベクトル検出部３１０は、左フレームの右端から所定数の列のマクロブロックを境界領域として扱う。また、動きベクトル検出部３１０は、右フレームの左端から所定数の列のマクロブロックを境界領域として扱う。

動きベクトル検出部３１０は、第３の動きベクトルを生成する場合、境界領域に該当するマクロブロックの動きベクトルとして、第２の動きベクトルを採用する。また、動きベクトル検出部３１０は、境界領域を除く領域に該当するマクロブロックの動きベクトルとして、第１の動きベクトルを採用する。

これにより、動きベクトル検出部３１０は、左右に分割されたフレームそれぞれでフレーム補間処理を行う場合であっても、分割境界の正確な動きベクトルを採用することができる。これにより、補間フレーム生成部３２０は、結合された場合により自然な映像になる左右の補間フレームを生成することができる。

なお、動きベクトル検出部３１０は、境界領域として扱うマクロブロックの列の数を操作入力に応じて任意で設定する構成であってもよい。また、動きベクトル検出部３１０は、境界領域として扱うマクロブロックを操作入力に応じて任意で個別に設定する構成であってもよい。

図８は、補間処理部１８０の各補間処理回路３００の処理の例を示す。
なお、補間処理部１８０が備える複数の補間処理回路３００は、外部からの入力に応じて、単体／前段／後段左／後段右などの動作設定を自身に設定する。また、補間処理回路３００は、前段動作設定である場合、図４に示された第１の補間処理回路３０１として機能する。また、補間処理回路３００は、後段左動作設定である場合、図４に示された第２の補間処理回路３０２として機能する。また、補間処理回路３００は、後段右動作設定である場合、図４に示された第３の補間処理回路３０３として機能する。

また、補間処理回路３００は、単体動作設定である場合、フレームを分割せずに通常のフレーム補間処理を行う。この場合、補間処理回路３００は、入力されたストリームから動きベクトルを検出し、検出した動きベクトルと入力されたストリームとに応じてフレーム補間処理を行う。

まず、補間処理回路３００は、自身の動作設定を確認する（ステップＳ１１）。さらに補間処理回路３００は、単体動作設定に設定されているか否か判断する（ステップＳ１２）。補間処理回路３００は、自身が単体動作設定に設定されていると判断した場合、上記したように入力されたストリームに応じて通常のフレーム補間処理を行う（ステップＳ１３）。

また、補間処理回路３００は、自身が単体動作設定に設定されていないと判断した場合、入力されたストリームの１つのフレームの１つのマクロブロックを選択し、選択したマクロブロックの動きベクトルを動きベクトル検出部３１０により検出する（ステップＳ１４）。即ち、補間処理回路３００は、選択したマクロブロックの現フレームにおける位置と、このマクロブロックに対応するマクロブロックの前フレームにおける位置に基づいて動きベクトルを検出する。

また、補間処理回路３００は、自身の動作設定が前段に設定されているか否か判断する（ステップＳ１５）。自身の動作設定が前段であると判断した場合、補間処理回路３００は、ステップＳ１４で選択したマクロブロックが境界領域に対応するマクロブロックであるか否か判断する（ステップＳ１６）。

選択したマクロブロックが境界領域に対応するマクロブロックであると判断した場合、補間処理回路３００は、検出した動きベクトル（第２の動きベクトル）を他の補間処理回路３００に出力する（ステップＳ１７）。即ち、補間処理回路３００は、動きベクトルを出力用メモリ３１１に書き込む。補間処理回路３００は、ステップＳ１７で動きベクトルを出力した場合、またはステップＳ１６で境界領域に対応するマクロブロックではないと判断した場合、ステップＳ２２に移行する。

また、ステップＳ１５で、自身の動作設定が前段ではないと判断した場合、補間処理回路３００は、ステップＳ１４で選択したマクロブロックが境界領域に対応するマクロブロックであるか否か判断する（ステップＳ１８）。

選択したマクロブロックが境界領域に対応するマクロブロックであると判断した場合、補間処理回路３００は、前段の補間処理回路３００から供給された動きベクトル（第２の動きベクトル）を読み出す（ステップＳ１９）。即ち、補間処理回路３００は、前段の補間処理回路３００により検出され、入力用メモリ３１２に書き込まれた動きベクトルを入力用メモリ３１２から読み出す。

さらに、補間処理回路３００は、読み出した動きベクトル（第２の動きベクトル）をステップＳ１４で算出された動きベクトル（第１の動きベクトル）に上書きする（ステップＳ２０）。補間処理回路３００は、上書きした動きベクトルを第３の動きベクトルとして補間フレーム生成部３２０に供給する。

また、補間処理回路３００は、ステップＳ１８で、境界領域に対応するマクロブロックではないと判断した場合、ステップＳ１４で算出された動きベクトル（第１の動きベクトル）を第３の動きベクトルとして補間フレーム生成部３２０に供給する。

補間処理回路３００は、補間フレーム生成部３２０により補間フレームの１つのマクロブロックを生成する（ステップＳ２１）。即ち、補間フレーム生成部３２０は、入力されたストリームの前後フレームの映像と、第３の動きベクトルとに基づいて、１つのマクロブロックの画像を生成する。補間処理回路３００は、ステップＳ２１で補間フレーム用のマクロブロックを生成した後、ステップＳ２２に移行する。

補間処理回路３００は、ステップＳ１４で選択されたマクロブロックが、最終のマクロブロックであるか否か判断する（ステップＳ２２）。即ち、補間処理回路３００は、１つのフレーム上の全てのマクロブロックについて上記のステップＳ１４乃至ステップＳ２１の処理が行われたか否か判断する。補間処理回路３００は、最終のマクロブロックではないと判断した場合、ステップＳ１４に移行する。

また、補間処理回路３００は、最終のマクロブロックであると判断した場合、１つのフレームに関するフレーム補間処理を完了する。これにより、補間処理回路３００は、２つのフレーム間の補間フレームを生成することができる。さらに、補間処理回路３００は、生成した補間フレームを２つのフレーム間に挿入する。補間処理回路３００は、上記の処理をストリームの連続した各フレーム毎に行なうことにより、各フレーム間に複数の補間フレームが挿入された補間ストリームを出力することができる。

上記したように、画像処理装置１００の補間処理部１８０は、入力ストリームの各フレーム毎に動きベクトル（第２の動きベクトル）を検出する。補間処理部１８０は、入力ストリームの各フレームを分割し、分割されたフレーム毎に動きベクトル（第１の動きベクトル）を検出する。補間処理部１８０は、分割境界領域の補間フレームを生成する場合、第２の動きベクトルを用い、分割境界領域を除く範囲の補間フレームを生成する場合、第１の動きベクトルを用いる。

これにより、補間処理部１８０は、左右に分割されたフレームそれぞれで補間フレームを生成する場合であっても、分割境界の正確な動きベクトルを採用することができる。これにより、補間処理部１８０は、分割された補間フレームが結合された場合により自然な映像になる左右の補間フレームを生成することができる。この結果、より高い画質で映像を補間することができる画像処理装置、画像処理方法、画像処理プログラム、放送受信装置を提供することができる。

なお、上記した実施形態では、補間処理部１８０は、４Ｋ２Ｋストリームの１つのフレームを２Ｋ２Ｋの左フレームと右フレームとに分割する構成であるとして説明したが、この構成に限定されない。補間処理部１８０は、４Ｋ２Ｋストリームを上下に分割する構成であってもよい。

またさらに、補間処理部１８０は、１つのフレームをより多数の分割フレームに分割する構成であってもよい。例えば、補間処理部１８０は、水平方向４分割、上下左右４分割など、任意の分割方法でフレームを分割する構成であってもよい。なお、この場合、補間処理部１８０は、分割されたフレームの数に応じた補間処理回路３００を備える必要がある。

また、補間処理回路３００は、ＬＳＩ同士で直接通信を行なう構成ではなく、別のＬＳＩを介して分割境界領域の動きベクトルを送受信する構成であってもよい。

また、上記の実施形態では、補間処理部１８０は、フレームレートが６０Ｈｚである４Ｋ２Ｋストリームをフレームレートが２４０Ｈｚである４Ｋ２Ｋストリームに変換する構成として説明したが、この構成に限定されない。補間処理部１８０は、如何なるフレームレートに変換する構成であってもよい。

図９は、補間処理部１８０の他の構成の例を示す。
補間処理部１８０は、第４の補間処理回路３０４、第５の補間処理回路３０５、及び第６の補間処理回路３０６を備える。第４の補間処理回路３０４、第５の補間処理回路３０５、及び第６の補間処理回路３０６は、それぞれ同じ構成を有するＬＳＩである。第４の補間処理回路３０４、第５の補間処理回路３０５、及び第６の補間処理回路３０６は、それぞれ上記したような動きベクトルの検出、及び補間フレームの生成を行うことができる。

フレームレートが６０Ｈｚである４Ｋ２Ｋストリームをフレームレートが１２０Ｈｚである４Ｋ２Ｋストリームに補間する処理について説明する。

なお、第４の補間処理回路３０４、第５の補間処理回路３０５、及び第６の補間処理回路３０６は、それぞれ、フレームレートが６０Ｈｚである２Ｋ２Ｋストリームをフレームレートが１２０Ｈｚである２Ｋ２Ｋストリームに補間する処理能力を備えている。しかし、第４の補間処理回路３０４、第５の補間処理回路３０５、及び第６の補間処理回路３０６は、それぞれ、フレームレートが６０Ｈｚである４Ｋ２Ｋストリームをフレームレートが１２０Ｈｚである４Ｋ２Ｋストリームに補間する処理能力を備えていない。

第４の補間処理回路３０４は、補間処理部１８０の外部から供給された入力ストリーム（６０Ｈｚ、４Ｋ２Ｋ）１８１を受け取る。

第４の補間処理回路３０４は、入力ストリーム１８１の１つのフレームを２つのフレームに分割する。これにより、第４の補間処理回路３０４は、入力ストリーム１８１の１つのフレームを左フレーム１８２と、右フレーム１８３とに分割する。

第４の補間処理回路３０４は、図１０に示されるように、分割した左フレーム（６０Ｈｚ、２Ｋ２Ｋ）１８２を第５の補間処理回路３０５に供給する。また、第４の補間処理回路３０４は、分割した右フレーム（６０Ｈｚ、２Ｋ２Ｋ）１８３を第６の補間処理回路３０６に供給する。

さらに、第４の補間処理回路３０４は、入力ストリーム１８１に基づいて、動きベクトル１８４を検出する。第４の補間処理回路３０４は、検出した動きベクトル１８４を第５の補間処理回路３０５及び第６の補間処理回路３０６に供給する。

第５の補間処理回路３０５は、前フレーム及び現フレームの左フレーム１８２と、動きベクトルとに基づいて補間処理を行い、異なる位相の補間フレームを生成する。第５の補間処理回路３０５は、図１０に示されるように、前フレーム及び現フレームの左フレーム１８２の間に、補間フレームを挿入する。これにより、第５の補間処理回路３０５は、６０Ｈｚから１２０Ｈｚに補間された第３の出力ストリーム（１２０Ｈｚ、２Ｋ２Ｋ）１８７を出力することができる。

第６の補間処理回路３０６は、前フレーム及び現フレームの右フレーム１８３と、動きベクトルとに基づいて補間処理を行い、異なる位相の補間フレームを生成する。第６の補間処理回路３０６は、図１０に示されるように前フレーム及び現フレームの右フレーム１８３の間に、補間フレームを挿入する。これにより、第６の補間処理回路３０６は、６０Ｈｚから１２０Ｈｚに補間された第４の出力ストリーム（１２０Ｈｚ、２Ｋ２Ｋ）１８８を出力することができる。

なお、第５の出力ストリーム１８７は、入力ストリーム１８１の左半分の領域に対応するストリームである。また、第６の出力ストリーム１８８は、入力ストリーム１８１の右半分の領域に対応するストリームである。

この場合も、画像処理装置１００の補間処理部１８０は、入力ストリームの各フレーム毎に動きベクトル（第２の動きベクトル）を検出する。補間処理部１８０は、入力ストリームの各フレームを分割し、分割されたフレーム毎に動きベクトル（第１の動きベクトル）を検出する。補間処理部１８０は、分割境界領域の補間フレームを生成する場合、第２の動きベクトルを用い、分割境界領域を除く範囲の補間フレームを生成する場合、第１の動きベクトルを用いる。

補間処理部１８０は、上記の処理により検出された動きベクトルに基づいて左フレーム及び右フレームの補間フレームを生成し、前後フレーム間に挿入する。これにより、補間処理部１８０は、左右に分割されたフレームそれぞれで補間フレームを生成する場合であっても、分割境界の正確な動きベクトルを採用することができる。これにより、補間処理部１８０は、分割された補間フレームが結合された場合により自然な映像になる左右の補間フレームを生成することができる。この結果、より高い画質で映像を補間することができる画像処理装置、画像処理方法、画像処理プログラム、放送受信装置を提供することができる。

なお、上述の各実施の形態で説明した機能は、ハードウェアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウェアのいずれかを選択して構成するものであっても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１００…画像処理装置、１０１…アンテナ、１１１…チューナ、１１２…復調部、１１３…信号処理部、１２１…音声処理部、１２２…スピーカ、１３１…映像処理部、１３３…表示処理部、１３４…ディスプレイ、１５０…制御部、１５１…ＣＰＵ、１５２…ＲＯＭ、１５３…ＲＡＭ、１５４…ＥＥＰＲＯＭ、１６０…記憶装置、１６１…操作入力部、１６２…受光部、１６３…リモートコントローラ、１７１…ＬＡＮインターフェース、１７３…ＨＤＭＩ端子、１８０…補間処理部、３００…補間処理回路、３０１…第１の補間処理回路、３０２…第２の補間処理回路、３０３…第３の補間処理回路、３０４…第４の補間処理回路、３０５…第５の補間処理回路、３０６…第６の補間処理回路、３１０…動きベクトル検出部、３１１…出力用メモリ、３１２…入力用メモリ、３１３…インターフェース、３２０…補間フレーム生成部、３３０…フレーム分割部。

Claims (7)

1. 連続した２つのフレームを受け取る受信部と、
   前記連続した２つのフレームをそれぞれ分割フレームに分割するフレーム分割部と、
   前記連続した２つのフレーム間の分割境界領域から第１の動きベクトルを検出する動きベクトル検出部と、
   前記連続した２つの分割フレームと、前記第１の動きベクトルとに基づいて補間フレームを生成する補間フレーム生成部と、
   前記補間フレームを前記２つの分割フレームの間に挿入し、出力する出力部と、
   を具備する画像処理装置。
2. 前記動きベクトル検出部は、前記連続した２つの分割フレーム間の第２の動きベクトルを検出し、
   前記補間フレーム生成部は、前記連続した２つの分割フレームと、前記第１の動きベクトル及び前記第２の動きベクトルのいずれかと、に基づいて前記補間フレームを生成する、
   請求項１に記載の画像処理装置。
3. 前記動きベクトル検出部は、前記第１の動きベクトルを前記フレーム上の所定領域毎に検出し、前記第２の動きベクトルを前記分割フレーム上の所定領域毎に検出し、
   前記補間フレーム生成部は、前記分割フレームの分割境界領域の画像と前記分割境界領域に対応する領域の前記第１の動きベクトルとに基づいて補間フレームの一部を生成し、前記分割フレームの前記分割境界領域を除いた領域の画像と前記第２の動きベクトルとに基づいて前記補間フレームの他部を生成して前記補間フレームを生成する、
   請求項２に記載の画像処理装置。
4. 前記受信部は、６０Ｈｚの間隔で連続した２つのフレームを受け取り、
   前記補間フレーム生成部は、位相の異なる前記補間フレームを３つ生成し、
   前記出力部は、前記３つの補間フレームを前記２つの分割フレームの間に位相の順に挿入し、２４０Ｈｚの間隔で連続した複数のフレームを出力する、
   請求項１に記載の画像処理装置。
5. 連続した２つのフレームを受け取り、
   前記連続した２つのフレームをそれぞれ分割フレームに分割し、
   前記連続した２つのフレーム間の分割境界領域から動きベクトルを検出し、
   前記連続した２つの分割フレームと、前記動きベクトルとに基づいて補間フレームを生成し、
   前記補間フレームを前記２つの分割フレームの間に挿入し、出力する、
   画像処理方法。
6. 画像処理装置において実行される画像処理プログラムであって、前記画像処理装置を、
   連続した２つのフレームを受け取る受信部と、
   前記連続した２つのフレームをそれぞれ分割フレームに分割するフレーム分割部と、
   前記連続した２つのフレーム間の分割境界領域から第１の動きベクトルを検出する動きベクトル検出部と、
   前記連続した２つの分割フレームと、前記第１の動きベクトルとに基づいて補間フレームを生成する補間フレーム生成部と、
   前記補間フレームを前記２つの分割フレームの間に挿入し、出力する出力部として動作させ、画像処理を制御する画像処理プログラム。
7. 放送信号を受信し、前記放送信号からコンテンツのストリームを取得する受信部と、
   前記ストリーム中の連続した２つのフレームをそれぞれ分割フレームに分割するフレーム分割部と、
   前記連続した２つのフレーム間の分割境界領域から第１の動きベクトルを検出する動きベクトル検出部と、
   前記連続した２つの分割フレームと、前記第１の動きベクトルとに基づいて補間フレームを生成する補間フレーム生成部と、
   前記補間フレームを前記２つの分割フレームの間に挿入し、出力する出力部と、
   を具備する放送受信装置。

Images