JP2009206940A - 補間フレーム生成回路及びフレーム補間装置 - Google Patents

Abstract

【課題】フレーム補間処理を低消費電力のために、より少ない処理量で行うことができる補間フレーム生成回路及びフレーム補間装置を提供する。
【解決手段】補間フレーム生成回路６３は、相関判定手段と、補間処理手段とを備える。相関判定手段は、連続する２つのフレームのサイズが同じで、２つのフレーム間での表示間隔情報及び対応する画素の輝度値差分平均を用いて、２つのフレームの相関関係を推定し補間フレーム作成の可否を判定する。補間処理手段は、フレーム間の対応画素の差分情報を用いて、２つのフレームの画面合成時の重み付け係数を算出し、補間画像生成の際に、差分値が大きい場合には前画像を用い、差分値が小さい場合には２つのフレーム平均化画像を用いるように重み付け係数を算出する手段と、その係数を用いて２つのフレームの重み付け合成を行い、補間フレームを生成する手段とを備える。
【選択図】図２

Description

本発明は、動画像表示を行う際に元画像の2倍のフレームレートで表示を行うために、連続する２つのフレームからその間の補間画像を作成するための補間フレーム生成回路、及び、補間画像を含めたフレーム数２倍の画像を作成するためのフレーム補間装置に関するものである。

画像の表示フレーム数を増やすことによって表示画像をスムーズに見せる際に使用されるフレーム補間処理は、動きを補完するという目的から、前画像と現画像の間の動きベクトルを検出し、これを利用する方法や、処理量をより軽くするために、デコード時に使用した動きベクトルを用いる方法などが公知例として知られている。

従来の補間フレーム生成を行う装置としては、動き検出を用いて画像中のノイズやシーンチェンジにかかわらず高精度な処理を実現するものがある(例えば特許文献１参照)。

しかし、このような方式は、非常に大きな処理量を要するとともに、一歩間違うと画像が大きく乱れる危険性があるため、処理量を削減することが困難であるという問題がある。

一方、ワンセグメント放送などに代表される、１５fpsの画像を３０fpsにするフレーム補間処理を低消費電力のために、より少ない処理で行うことを考えた場合、従来の動きベクトルを用いた方法では、実現が難しく、処理量を減少させる効果が少なく、かつ乱れた画像が表示される危険性があるという問題がある。
特開２００６−９９５６１号公報

そこで、本発明は上記の問題に鑑み、フレーム補間処理を低消費電力のために、より少ない処理量で行うことができる補間フレーム生成回路及びフレーム補間装置を提供することを目的とするものである。

本願発明の一態様によれば、フレーム毎に画像データを復号化する画像復号化装置から出力される連続する２つのフレームの間に補間フレームを生成する補間フレーム生成回路であって、連続する２つのフレームのサイズが同じであり、フレーム間の表示間隔情報および対応する画素の輝度値差分平均を用いて、２つのフレームの相関関係を推定し補間フレームを作成するか否かを判定する相関判定手段と、フレーム間の対応画素の差分情報を用いて、２つのフレームの画面合成時の重み付け係数を算出するものであって、補間画像を生成するに際して、差分値が大きい場合には前画像を用い、差分値が小さい場合には２つのフレーム平均化画像を用いるように重み付け係数を算出する手段と、その係数を用いて２つのフレームの重み付け合成を行い、補間フレームを生成する手段とを備えた補間処理手段と、を具備したことを特徴とする補間フレーム生成回路が提供される。

本発明によれば、フレーム補間処理を低消費電力のために、より少ない処理量で行うことができる補間フレーム生成回路及びフレーム補間装置を提供することができる。

発明の実施の形態について図面を参照して説明する。
本実施形態は、モバイル向けのパワー少ないデジタル放送受信端末、例えば携帯電話機などに搭載されたワンセグ放送受信装置(以下、受信装置)における補間フレーム生成回路及びフレーム補間装置を対象としている。

図１は本発明の一実施形態のフレーム補間装置が適用される受信装置のブロック図を示している。
図１に示す受信装置１０は、アンテナ１と、チューナ２と、復調器３と、ＴＳデコーダ４と、画像復号化装置としてのビデオデコーダ５と、フレーム補間装置６と、表示装置７と、オーディオデコーダ８と、スピーカ９とを備えている。
図１に示すように、無線周波数によるストリームデータがアンテナ１を介してチューナ２に入力される。チューナ２は、入力された無線周波数の信号をベースバンド信号に変換して復調器３に出力する。復調器３は、入力されたベースバンド信号を復調処理してトランスポートストリーム(以下、ＴＳという)を復元し、これをＴＳデコーダ４に出力する。

ＴＳデコーダ４は、図示しない制御プロセッサから設定されているフィルタ条件を満たす、例えば、設定されているPIDを有しているＴＳパケットを選別し、必要なデータ（情報）をその中から抽出する。ＴＳデコーダ４によって映像データと音声データとに選別される。
そして、ＴＳデコーダ４にて選別された映像データ及び音声データはそれぞれ、ビデオデコーダ５、オーディオデコーダ８に供給される。

ビデオデコーダ５は、ＴＳデコーダ４から供給されたビデオデータをフレーム毎にデコードし、そのデコードしたフレームデータをフレーム補間装置６に供給する。フレーム補間装置６は、連続する２つのフレームの重み付け合成を行って補間フレームを生成し、この補間フレームを本来の連続する２つのフレーム間に挿入して本来のフレーム数の２倍のフレーム数の画像データを生成して表示装置７に表示出力する。なお、表示装置７は、例えば、液晶ディスプレイ（LCD：Liquid Crystal Display）、有機ＥＬディスプレイ、ブラウン管（CRT：Cathode Ray Tube）などである。

オーディオデコーダ８は、ＴＳデコーダ４から供給されたオーディオデータをデコードし、その結果得られる音声データをスピーカ９に音声出力する。
なお、文字データなどの補助データが伝送されてくる場合には、ＴＳデコーダ４は、これを選別し、図示しない制御プロセッサに供給し、制御プロセッサはこれらを文字図形情報としてデコードし、ビデオデコーダ５を経由して、映像データに重畳して出力することができる。

図２は図１におけるフレーム補間装置６の構成を示すブロック図である。
図２に示すフレーム補間装置６は、現フレーム回路６１と、前フレーム回路６２と、補間フレーム生成回路６３と、フレーム選択手段６４とを備えている。
現フレーム回路６１は、ビデオデコーダ５からの現フレームの画像データを入力し一時保持するフレームメモリを備えている。

前フレーム回路６２は、現フレーム回路６１からの画像データを入力し一時保持することによって１フレーム遅延した前フレームの画像データとして出力するフレームメモリを備えている。
補間フレーム生成回路６３は、現フレーム回路６１からの画像データと前フレーム回路６２からの画像データとを入力し、前フレームと現フレームとの間に補間フレームを生成して一時保持するフレームメモリを備えている。補間フレーム生成回路６３は、連続する２つのフレーム間のフレーム相関判定を行う相関判定手段と、フレーム相関判定の結果、フレーム相関がある場合に、連続する２つのフレームの重み付け合成を行い、補間フレームを生成する補間処理手段とを備えている。

補間フレーム生成回路６３は、さらに、前フレームの画像データと現フレームの画像データを本来のフレーム間の表示間隔の1/２間隔毎に交互に切り替えるためのフレーム切替信号を生成する機能を備えている。具体的には、フレーム毎の画像データに含まれるPTS(Presentation Time Stamp)を用いて補間フレームのPTSを算出し、本来のPTSと算出したPTSを用いて補間フレームとその直後の元画像フレームを切り替えるためのフレーム切替信号を生成する手段をさらに備えたものである。フレーム切替信号は、元画像フレーム間の周期(本来の２つのPTS間の周期)の１／２になるように演算された周期となっている。補間フレームのPTSは例えば前フレームのPTSと現フレームのPTSを平均化する(２つのPTSを加算して１／２にする)ことによって容易に算出することができる。

なお、補間フレームのPTSを算出し、それを用いてフレーム切替信号を生成する手段は、補間フレーム生成回路６３とは独立したフレーム切替信号生成回路を設けたり、或いは、図示しない制御プロセッサなどの制御回路にフレーム切替信号生成機能を持たせることによって、実現してもよい。

フレーム選択手段６４は、２つの入力端子ａ，ｂを有し、入力端子ａに補間フレーム生成回路６３からの補間フレームの画像データを入力し、入力端子ｂにはこの補間フレームの直後の現フレームに相当する、現フレーム回路６１からの画像データを入力し、両フレームの画像データを本来のフレーム間の表示間隔の１/２間隔毎に交互に切り替えて出力端子ｃから表示装置７へ出力する。これによって、表示装置７は、本来の画像の２倍のフレームレートで表示出力することができる。

フレーム補間装置６は、現フレーム回路６１と、前フレーム回路６２と、補間フレーム生成回路６３と、フレーム選択手段６４とを用いて、 図３に示すように、フレーム相関判定（ステップＳ1）、補間フレームの生成を行う補間処理（ステップＳ2）、フレーム数２倍生成（ステップＳ3）の３つの処理フローを実行する。

図４は補間フレーム生成回路６３によるフレーム相関判定の処理Ａ、及びフレーム選択手段６４による表示処理Ｂを説明するための図を示している。
図４において、白色枠は元画像フレームを、斜線枠は元画像フレーム間に作成される補間画像フレームを表している。白色枠の元画像フレーム間でフレーム相関判定処理Ａが行われ、斜線枠の補間フレームとその直後の白色枠の元画像フレームとの間で表示処理Ｂが行われる。

なお、ワンセグ放送の規格において、連続する２つの元画像フレーム間の時間間隔は、６６msec以上(換言すれば１５fps以下)となっている。
補間フレーム生成回路６３によるフレーム相関判定の処理Ａは、画像復号化装置であるビデオデコーダ５からの連続する２つのフレームのサイズが同じであり、２つのフレーム間の表示間隔情報および対応する画素の輝度値差分平均(＝対応画素間の絶対差分和(差分絶対値の和)÷画素数)を用いて、２つのフレームの相関関係を推定し補間フレームを作成するか否かを判定する。具体的には、２つのフレーム間の対応する画素の輝度差分平均値が予め定めた閾値以内であるフレーム間に対して、かつ、PTS(Presentation Time Stamp)間隔が予め定めた閾値以下であるフレームに対して、補間フレームの作成が可であると判定する。この補間フレーム作成可の判定によって、連続する２つのフレーム間の相関性が高いと推定される場合のみ補間フレームの作成が可となり、補間フレーム生成を行う補間処理ステップに進むことができる。

モバイル向けの受信装置では、移動により受信環境の変化等に起因して元画像フレームが欠落しPTSが正常に取得できない場合がある。即ち、PTS間隔がエラーにより予め定めた閾値より大きくなる結果、相関判定処理Ａにて非相関と判定されることがある。このような場合は、元画像フレームに基づいて作成される補間フレームも正常なものとならないので、補間フレームを生成するための補間処理を行わないように制御されることになる。

フレーム相関判定の処理Ａにて２つのフレーム間で非相関(例えばシーンチェンジが発生したときやフレームが欠落したときなど)即ち補間フレーム生成不可の判定となったときは、補間フレーム生成回路６３は補間フレームを作成せずに、フレーム切替信号によってフレーム選択手段６４を入力端子ｂに切り替え、現フレーム回路６１からの現フレーム出力を表示装置７へ供給することになる。

なお、２つのフレーム間の対応する画素の輝度差分平均値が閾値以内であるフレーム間に対して、又は、PTS(Presentation Time Stamp)間隔が閾値以下であるフレームに対して、補間フレームの作成が可であると判定してもよい。
なお、受信装置１０には、送信側より画像データと共にPCR(Program Clock Reference)と呼ばれる時刻参照値が送られてきており、受信装置１０はPCRに基づいて連続的な時間値をSTC(System Time Clock)タイマーにて生成する。そして、このSTCタイマーが画像フレームデータに含まれるPTSの時間に一致したときに画像データの表示を行うようになっている。

フレーム選択手段６４による表示処理Ｂは、生成した補間フレームを表示装置７へ出力した後は、必ずその補間フレームの直後の元画像フレームを表示装置７へ出力する。具体的には、補間フレーム生成回路６３からのフレーム切替信号によってフレーム選択手段６４を制御する際には、補間フレームを表示した後必ず直後の元画像フレームを表示するべく、フレーム選択手段６４の入力端子ａ，ｂを入力端子ａに切り替えて補間フレームを表示した後、必ず入力端子ｂに切り替えて表示装置７に元画像フレームを表示する。これにより、補間画像が２つの元画像フレームの画面合成時に不具合な画面となっても直ぐに本来の元画像フレームが表示されるために、多少乱れた補間画像が生成されることになった場合でも人間の目に違和感を与えることを無くすことができる。これは携帯端末などのモバイル端末に乱れた補間画面を表示した状態となる虞を無くす利点を有する。

図５は補間フレーム生成回路６３による補間処理を説明するための図を示している。
補間フレーム生成回路６３による補間処理は、連続する２つのフレームの各フレームにおける画素の輝度信号成分Ｙ，色差信号成分Ｃb及びＣrを、１つのフレーム上の座標(x，y)についてＹ(n)、Ｃb(n)及びＣr(n)と表し、その１つのフレームの直前のもう１つのフレーム上の対応する座標(x，y)に対してＹ(n-1)、Ｃb(n-1)及びＣr(n-1)と表す。これら２つのフレーム間の対応する画素値から、生成される補間フレーム上の座標(x，y)について、補間画素値をＹ，Ｃb及びＣrとすると、Ｙ、Ｃb及びＣrについて、２フレーム間での差分値diffは、図５(a)に示すように、
diff_Ｙ＝ax｜Ｙ(n-1)−Ｙ(n)｜
if (diff_Y>255) then diff_Y=255 if (diff_Y<0) then diff_Y=0
diff_Ｃb＝bx｜Ｃb(n-1)−Ｃb(n)｜ （１）
if (diff_Cb>255) then diff_Cb=255 if (diff_Cb<0) then diff_Cb=0
diff_Ｃr＝cx｜Ｃr(n-1)−Ｃr(n)｜
if (diff_Cr>255) then diff_Cr=255 if (diff_Cr<0) then diff_Cr=0
である。上式で、ax，bx，cxは任意の係数であり、diff値に応じた重み付けを表す。2フレームの補間処理を行うが、補間画素値Ｙ、Ｃb及びＣrは連続する２つのフレームの関数として表される。即ち、
Y= F( Y(n-1) , Y(n) )
Cb= F( Cb(n-1) , Cb(n) ) （２）
Cr= F( Cr(n-1) , Cr(n) )
図５(b)で関数Ｆは重み付け補間処理を表している。上式（２）は、差分値diffがそれぞれ８ビットの値(０〜２５５)をとるものとすると、例えば
Ｙ={(256＋diff)×Y(n-1)＋(256−diff)×Y(n)}／512
Ｃb={(256＋diff)×Cb(n-1)＋(256−diff)×Cb(n)}／512 （３）
Ｃr={(256＋diff)×Cr(n-1)＋(256−diff)×Cr(n)}／512
と表される。但し、Ｙ、Ｃb及びＣrの各式では、Ｙ、Ｃb及びＣrについての差分値diff_Ｙ，diff_Ｃb，diff_Ｃrを簡略化して全てdiffと表している。

上式（３）で、(256＋diff)及び(256−diff)は、補間画素値Ｙ，Ｃb及びＣrを生成する際の、差分情報diffを用いた重み付け係数を表している。この重み付け係数を用いた上記のＹ、Ｃb及びＣrの各式によれば、２フレーム間の差分値diffが大きい場合(diffが例えば２５５に近い場合)には主に前画像を用いた画像が補間画像として得られ、差分値diffが小さい場合(diffが例えば０に近い場合)には２つのフレーム平均化画像が補間画像として得られる。このように、同じ画像サイズのフレームに対して、対応する画素に対してのみ、画素単位で演算を行うことで、補間画像作成に必要な演算量を非常に少なくすることができる。

なお、補間フレーム上の補間画素値Ｙ，Ｃb及びＣrの算出については、Ｙ，Ｃb及びＣrの全てを算出してもよいし、Ｙのみ算出してもよい。
以上の実施形態によれば、フレーム補間処理として、膨大な演算量が必要となる動きベクトルを用いずに、隣り合う画面の条件付き合成処理を実施することにより、モバイル向けの消費電力の少ない端末でも処理が可能となる。絶対的な処理量が少ないにも関わらず、全体的な動きのある動画に対しては、全体の動きがスムーズとなる動き補間の効果がある。また、細かい動きに対しても効果がある。さらに、処理量が少ないにも関わらず、補間画像が崩れることがない。

本発明の一実施形態のフレーム補間装置が適用される受信装置を示すブロック図。 図１におけるフレーム補間装置の構成を示すブロック図。 フレーム補間装置の処理フローを示す図。 補間フレーム生成回路によるフレーム相関判定の処理、及びフレーム選択手段による表示処理を説明するための図。 補間フレーム生成回路による補間処理を説明するための図。

符号の説明

５…ビデオデコーダ(画像復号化装置)
６…フレーム補間装置
７…表示装置
１０…受信装置
６１…現フレーム回路
６２…前フレーム回路
６３…補間フレーム生成回路
６４…フレーム選択手段

Claims (5)

1. フレーム毎に画像データを復号化する画像復号化装置から出力される連続する２つのフレームの間に補間フレームを生成する補間フレーム生成回路であって、
   連続する２つのフレームのサイズが同じであり、フレーム間の表示間隔情報および対応する画素の輝度値差分平均を用いて、２つのフレームの相関関係を推定し補間フレームを作成するか否かを判定する相関判定手段と、
   フレーム間の対応画素の差分情報を用いて、２つのフレームの画面合成時の重み付け係数を算出するものであって、補間画像を生成するに際して、差分値が大きい場合には前画像を用い、差分値が小さい場合には２つのフレーム平均化画像を用いるように重み付け係数を算出する手段と、その係数を用いて２つのフレームの重み付け合成を行い、補間フレームを生成する手段とを備えた補間処理手段と、
   を具備したことを特徴とする補間フレーム生成回路。
2. 前記相関判定手段は、
   ２つのフレーム間の対応する画素の輝度差分平均値が閾値以内であるフレーム間に対して、及び／又は、PTS間隔が閾値以下であるフレームに対して、補間フレームの作成が可であると判定することを特徴とする請求項１に記載の補間フレーム生成回路。
3. 前記補間処理手段は、連続する２つのフレームの各フレームにおける画素の輝度信号成分Ｙ，色差信号成分Ｃb及びＣrを、１つのフレーム上の座標(x，y)についてＹ(n)、Ｃb(n)及びＣr(n)と表し、その１つのフレームの直前のもう１つのフレーム上の対応する座標(x，y)に対してＹ(n-1)、Ｃb(n-1)及びＣr(n-1)と表し、これら２つのフレーム間の対応する画素値に基づいて生成される補間フレーム上の座標(x，y)についての補間画素値をＹ，Ｃb及びＣrとすると、
   Ｙ={(256＋diff)×Y(n-1)＋(256−diff)×Y(n)}／512
   Ｃb={(256＋diff)×Cb(n-1)＋(256−diff)×Cb(n)}／512
   Ｃr={(256＋diff)×Cr(n-1)＋(256−diff)×Cr(n)}／512
   但し、Ｙ、Ｃb及びＣrについての２フレーム間での差分値diffは、
   diff_Ｙ＝ax｜Ｙ(n-1)−Ｙ(n)｜
   ここで、diff_Y>255であればdiff_Y=255とし、diff_Y<0であればdiff_Y=0とする、
   diff_Ｃb＝bx｜Ｃb(n-1)−Ｃb(n)｜
   ここで、diff_Cb>255であればdiff_Cb=255とし、diff_Cb<0であればdiff_Cb=0とする、
   diff_Ｃr＝cx｜Ｃr(n-1)−Ｃr(n)｜
   ここで、diff_Cr>255であればdiff_Cr=255とし、diff_Cr<0であればdiff_Cr=0とする、
   上式で、ax，bx，cxは任意の係数とし、Ｙ，Ｃb及びＣrの差分値diffは８ビットの値(０〜２５５)をとるものとし、
   補間フレーム上の補間画素値Ｙ，Ｃb及びＣrの算出については、Ｙ，Ｃb及びＣrの全てを算出するか、又は、Ｙのみ算出する
   ことを特徴とする請求項１又は２に記載の補間フレーム生成回路。
4. フレーム毎の画像データに含まれるPTSを用いて補間フレームのPTSを算出し、本来のPTSと算出したPTSを用いて補間フレームとその直後の元画像フレームを切り替えるためのフレーム切替信号を生成する手段をさらに具備したことを特徴とする請求項１乃至３のいずれか１つに記載の補間フレーム生成回路。
5. 請求項１乃至４のいずれか１つに記載の補間フレーム生成回路と、
   この補間フレーム生成回路において生成される補間フレームと、その補間フレーム生成に用いた２つのフレームのうちの当該補間フレームの直後の元画像フレームとを入力し、この入力した補間フレームと元画像フレームとを本来のフレーム間の表示間隔の1/２間隔毎に交互に切り替えて表示装置へ出力するフレーム選択手段とを具備し、
   前記補間フレームを表示装置へ出力した後は、必ず該補間フレームの直後の元画像フレームを表示装置へ出力することを特徴とするフレーム補間装置。

Images