JP2015122552A - 画像補間装置及び画像補間方法 - Google Patents

Abstract

【課題】高い圧縮率により圧縮伸長された画像ブロックからの影響を低減できるようにする。
【解決手段】時間的に連続である少なくとも２枚の原画像から内挿画像を生成する画像補間装置であって、動きベクトルを検出する検出手段と、前記検出手段により検出された動きベクトルを内挿画像上のブロックに割り付ける割り付け手段と、前記検出手段により検出された動きベクトルに基づく始点と終点を含むブロックを前記２枚の原画像から読み出すブロック読み出し手段と、前記ブロック読み出し手段により読み出した各々のブロックにおける圧縮パラメータに応じて、前記２枚の原画像から内挿画像ブロックを生成する内挿画像生成手段とを備え、前記内挿画像生成手段は、前記始点、終点ブロックの混合比を計算する混合比計算手段を有する。
【選択図】図１

Description

本発明は画像補間装置及び画像補間方法に関し、特に、時間的に連続である少なくとも２枚の画像から１枚の内挿画像を生成し、物体の動きをなめらかで自然な動きとして表示するために用いて好適な技術に関する。

近年ストレージ技術、画像表示技術の向上に伴い、４Ｋ２Ｋ、８Ｋ４Ｋといった、現在一般的なFull HD（１９２０ｘ１０８０画素）を上回る高解像画像の記録、表示が現実的なものとなってきている。但し、前述したような高解像画像を表示するためには画像処理技術、表示技術において解決すべき課題が残っている。

画像処理技術における課題は４Ｋ２Ｋ、８Ｋ４Ｋの画像処理量がそれぞれFull HDの４倍、１６倍であることである。この画像処理を現在の技術の延長で１チップのＬＳＩで実現することは、現在のＬＳＩプロセス技術やメモリ技術から考えると回路規模的、メモリバンド幅的に困難であると考えられる。また、表示デバイスにおいても、前述した４Ｋ２Ｋ等の高解像画像を表示できるデバイスは液晶ディスプレイ（以後ＬＣＤ）以外では考えづらい。

しかし、ＬＣＤには従来から主として用いられてきたCathode Ray Tube（以後ＣＲＴ）に対し、動きのある画像を表示した場合、見る人に動き部分の輪郭がぼけてしまうという、動きぼけと呼ばれる課題がある。この動きぼけは、ＬＣＤの表示方式が原因であることが特許文献１内で指摘されている。

前述したメモリバンド幅の問題を解決する１つの手法として画像信号の圧縮、伸長によりメモリバンド量の削減を実現する技術がある（以後、画像圧縮伸長アーキテクチャ）。これは、各ＩＰ（Image Processor）と主メモリとの間に圧縮率が可変な圧縮器、及び伸長器を設け、各ＩＰ内では主メモリから圧縮された画像信号を読み出し、伸長器により伸長された画像信号に対して処理を行う。そして、処理後の画像信号は圧縮器にて圧縮後、主メモリに書き込む構造とする。

以上のような構造とすることにより、メモリバンド量を削減するというものである。圧縮器の圧縮率は圧縮パラメータにより制御が可能であり、圧縮パラメータはメモリバンドの使用効率を設定した閾値を越えないように制御されるのが一般的である。また、圧縮伸長処理をブロック単位で行うことにより、フレーム単位で圧縮伸長処理を行うより画像品質とメモリバンド幅の削減という２要素のバランスをとることが可能である。

動きぼけを改善する技術として時間的に前後の画像から動きベクトルを求める。そして、これを用いて新たに内挿画像を生成し、動きベクトルを求めた画像間に挿入し、例えば６０Ｈｚの入力画像を１２０Ｈｚの出力画像に変換するフレームレート変換技術が広く知られている。

つまり、高解像画像を表示するためには、前述した２つの技術の組み合わせが必須であり、特にフレームレート変換技術においては搭載されるアーキテクチャに合わせてかつ高い品質の内挿画像を生成する技術が望まれている。

一般的に、内挿画像の生成は動きベクトルの抽出、内挿画像の各座標へのベクトル割り付け、内挿画像生成のステップに分けられる。動きベクトル抽出では時間的に連続であり、時間的に過去画像に当たる原画像１、現在画像に当たる原画像２を小ブロックに分割してブロックマッチング法等で検出される。その後、内挿画像の各座標へのベクトル割り付けを行う。

そして、最終的に動きベクトルからその始点にあたる原画像１上の小ブロックと終点にあたる原画像２上の小ブロックの両方の画素値に係数を乗じた後に加算する方法が一般的に用いられる。前述した係数は、６０Ｈｚから１２０Ｈｚへの変換時、時間的にちょうど中間の時刻において内挿画像が出力されるという理由から５０％が一般的に用いられる。
以上が一般的な内挿画像生成のステップである。

さらに、内挿画像の品質向上を図るために、特許文献２のように内挿画像を生成する時間比率に応じて時間的に近い側の原画像における相関が高い方のベクトルを利用してベクトルの割り当てを行う技術がある。

特開平４−３０２２８９号公報 特開２００９−１１８４５６号公報

しかしながら、従来のフレームレート変換技術は、前後のフレームの品質を考慮せずにＳＡＤにより検出された動きベクトルと前後フレーム中の小ブロックの画素値を用いて内挿画像を生成する。そのため、前後フレーム中のブロックのうちどちらか一方のブロックの品質が低い時はその影響を受け、内挿画像ブロックの品質は低下する。

例えば、画像圧縮伸長アーキテクチャにおいて、時間的に前後２枚のフレーム中に静止画部分と動画部分とが混在するような場面で、動画部分の影響を受けて静止画部分の圧縮率を高める必要が生じた場合を考える。圧縮率を高めた画像を伸長した結果、静止画部分中の高周波成分を持つブロックにノイズが乗ってしまうことがある。

従来のフレームレート変換技術では、機械的にこのノイズを内挿画像に５０％のゲインを乗じて反映してしまうため、ノイズが乗った内挿画像ブロックを生成してしまう問題点があった。
本発明は前述の問題点に鑑み、高い圧縮率により圧縮伸長された画像ブロックからの影響を低減できるようにすることを目的とする。

本発明の画像補間装置は、時間的に連続である少なくとも２枚の原画像から内挿画像を生成する画像補間装置であって、動きベクトルを検出する検出手段と、前記検出手段により検出された動きベクトルを内挿画像上のブロックに割り付ける割り付け手段と、前記検出手段により検出された動きベクトルに基づく始点と終点を含むブロックを前記２枚の原画像から読み出すブロック読み出し手段と、前記ブロック読み出し手段により読み出した各々のブロックにおける圧縮パラメータに応じて、前記２枚の原画像から内挿画像ブロックを生成する内挿画像生成手段とを備え、前記内挿画像生成手段は、前記始点、終点ブロックの混合比を計算する混合比計算手段を有することを特徴とする。

本発明によれば、時間的に前後する２枚のフレーム間の静止画部分の圧縮率が違っていた時でも、静止画部分を構成するブロック単位で圧縮パラメータを比較し、圧縮率の低いブロックの画素値を使用するようにした。これにより、品質の高い内挿画像ブロックを生成することができる。

本発明の第１の実施形態を示し、画像補間装置の構成例を示すブロック図である。 第１の実施形態を示し、１フレーム分の内挿画像を生成する例を説明する図である。 第２の実施形態を示し、画像補間装置の構成例を示すブロック図である。

＜第１の実施形態＞
以下、本発明を実施するための最良の実施形態について図面を参照しながら説明する。
図１は、本発明の第１の実施形態を表した画像補間装置の構成例を示すブロック図である。
画像補間装置１００は、画像圧縮伸長アーキテクチャのようなブロック単位で圧縮率が異なるような画像処理システムの一部として動作することを前提としている。また、説明を簡略化するため６０Ｈｚから１２０Ｈｚ変換、すなわち時間的にちょうど中間の時刻において内挿画像を出力することを想定し、圧縮伸長を行う単位ブロックと動きベクトル検出時の小ブロックは同じものとする。

画像補間装置１００は、入力として圧縮伸長後のラスター形式の画像信号と入力画像の圧縮伸長を行うブロック単位の圧縮パラメータがそれぞれ第１の入力端子１０１、第２の入力端子１０２から入力される。そして、生成した内挿画像を出力端子１０３から出力する。なお、１３０は現在の原画像を表し、１３１は入力された画像を１フレーム遅延させる第１の遅延回路１１０により提供される過去の原画像を表している。画像補間装置１００は、この他にも入力された圧縮パラメータを１フレーム遅延させる第２の遅延回路１１１を有する。

また、動きベクトルを検出する動きベクトル検出回路１１２、検出された動きベクトルを内挿画像上に割り付ける動きベクトル割り付け回路１１３を有する。さらに、内挿画像を生成するために指定された小ブロックを取り出す第１のブロック読み出し回路１１４、第２のブロック読み出し回路１１５を有する。

さらに、第１及び第２のブロック読み出し回路１１４、１１５、動きベクトル割り付け回路１１３からの出力、現在の圧縮パラメータ１３３、第２の遅延回路１１１により提供される過去の圧縮パラメータ１３４を入力とする内挿画像生成回路１１６を有する。内挿画像生成回路１１６は、内挿画像ブロック信号１４３を出力する。

内挿画像生成回路１１６は、動きベクトル割り付け回路１１３で指定される過去及び現在の原画像の小ブロックの混合比を計算する混合比計算回路１１７、第１の乗算器１１８、第２の乗算器１１９、減算器１２０、加算回路１２１を備える。

以下、画像補間装置１００で行なわれる処理内容を信号の流れに沿って説明する。
画像補間装置１００では、時間的に連続である少なくとも２枚の原画像から内挿画像を生成するものであり、過去の原画像１３１、現在の原画像１３０は動きベクトル検出回路１１２に供給される。動きベクトル検出回路１１２では、過去の原画像１３１を基準として動きベクトルを求めるために小ブロックとして、例えば８ピクセル×８ピクセルの領域ごとに分割する。同じように、現在の原画像１３０も小ブロックに分割する。

次に、過去の原画像１３１上の小ブロックと現在の原画像１３０上の小ブロックを、累積絶対値誤差にて相関をとることにより動きベクトル１３２を検出して出力する。動きベクトル１３２は、動きベクトル割り付け回路１１３に入力される。

動きベクトル割り付け回路１１３は、動きベクトル１３２を前述した従来手法を用いて内挿画像の小ブロックに割り当てる。未割り付けブロックに関しては、ゼロベクトルを割り当てることにより内挿画像の全小ブロックについてベクトルが割り付けられ最終ベクトルとなる。その最終ベクトルより過去の原画像１３１上の始点ブロックの位置情報、現在の原画像１３０上の終点ブロックの位置情報を計算し、それぞれ第１のブロック読み出し回路１１４、第２のブロック読み出し回路１１５、内挿画像生成回路１１６に対して出力する。

第１のブロック読み出し回路１１４、第２のブロック読み出し回路１１５は前段である動きベクトル割り付け回路１１３からの位置情報に基づいてそれぞれ過去の原画像１３１、現在の原画像１３０から対応する小ブロックを読み出す。そして、読み出した小ブロックを現在の原画像ブロック信号１３７、過去の原画像ブロック信号１３８として内挿画像生成回路１１６に出力する。

一方、第２の入力端子１０２より入力された１３３は、現在の原画像１３０のブロック単位の圧縮パラメータで現在の圧縮パラメータとして第２の遅延回路１１１に入力される。第２の遅延回路１１１の出力は、過去の原画像１３１に対応する圧縮パラメータであり、過去の圧縮パラメータ１３４として現在の圧縮パラメータ１３３とともに内挿画像生成回路１１６に出力される。

内挿画像生成回路１１６では、現在の圧縮パラメータ１３３、過去の圧縮パラメータ１３４が混合比計算回路１１７に入力される。同様に、混合比計算回路１１７には過去の原画像１３１上の始点ブロックの位置情報１３６、現在の原画像１３０上の終点ブロック位置情報１３５が入力される。

そして、各位置情報におけるそれぞれの圧縮パラメータを、過去の圧縮パラメータ１３４と現在の圧縮パラメータ１３３から選出する。そして、過去の原画像１３１からの小ブロックと、現在の原画像１３０からの小ブロックの混合比を計算してそれぞれ第１の乗算器１１８、第２の乗算器１１９に出力する。

ここで、圧縮方法としてＪＰＥＧ圧縮技術を用いた場合の混合比の計算方法を説明する。仮に、圧縮パラメータの名前を圧縮率が高い順にＳ７、Ｓｎ・・・Ｓ０とする。なお、これらの圧縮パラメータは、ＩＴＵで勧告されている量子化テーブルを基に直流成分以外の各要素に２ⁿを乗じて作成する（Ｓ０はＩＴＵ勧告量子化テーブルと同等）。

動きベクトル検出回路１１２にて検出された動きベクトルにより指定された過去の原画像１３１上の始点ブロックの圧縮パラメータをＳｋとする。また、現在の原画像１３０の終点ブロックの圧縮パラメータをＳｊとすると、過去の原画像１３１ブロックの混合比率Ｍ１は以下の通りとする。
Ｍ１＝２^k／（２^k＋１／２^j） ・・・（式１）

なお、混合比Ｍ１の計算式は式１の限りではなく、例えば式１に外部からの入力係数ｆを乗ずることにより、各ブロックにおける圧縮パラメータだけでなく過去の原画像１３１、現在の原画像１３０からの影響を意識的に制御できるようにしてもよい。

以上のように計算した混合比を、過去の原画像ブロック信号１３８の混合比信号１４０として出力する。混合比信号１４０は、第１の乗算器１１８と減算器１２０に入力される。減算器１２０で１から減算された混合比信号１４０は、現在の原画像ブロック信号１３７の混合比信号１３９となり第２の乗算器１１９に入力される。

第２の乗算器１１９では、現在の原画像ブロック信号１３７に混合比信号１３９を乗じて現在の内挿画像ブロック信号１４１を出力する。同様に、第１の乗算器１１８では、過去の原画像ブロック信号１３８と混合比信号１４０から、過去の内挿画像ブロック信号１４２を出力する。
加算回路１２１では、現在の内挿画像ブロック信号１４１、過去の内挿画像ブロック信号１４２の画素値から、内挿画像ブロック信号１４３を生成して出力端子１０３から出力される。これらの内挿画像ブロック生成作業を、内挿画像の全ての小ブロックに対して繰り返し行うことにより、１フレーム分の内挿画像を生成する。

実際の適用例としてｋ＝０、ｊ＝５の時の結果を図２として示す。
図２中の２０１、２０２は過去の原画像１、現在の原画像２である。これらの原画像２０１、２０２は、動きベクトル検出により過去の原画像１上の小ブロック２０５（圧縮パラメータＳ０）と、現在の原画像２上の小ブロック２０６（圧縮パラメータＳ５）が対応すると仮定する。

小ブロック２０６は圧縮率が高いためオブジェクトのエッジ部分にノイズが混入している。ここで、式１に前述したｋ＝０、ｊ＝５を代入して計算すると、内挿画像生成時に小ブロック２０５の混合比率は９７％となる。その結果、小ブロック２０６の混合比率は３％となり、それらを合成して内挿画像ブロック２０７となる。従来例の手法を使用して生成した内挿画像ブロック２０８と比べてノイズが低減していることがわかる。

＜第２の実施形態＞
次に、本発明の画像補間装置の第２の実施形態について説明する。
図３は、第２の実施形態を示すブロック図である。本ブロック図は、第１の実施形態を示す図１と内挿画像生成回路３１６の構成以外には違いがないため構成に関する説明は省略する。以下、第１の実施形態との違いのみ説明する。

第１の実施形態と同様、圧縮伸長後のラスター形式の画像信号と入力画像の圧縮伸長を行うブロック単位の圧縮パラメータがそれぞれ第１の入力端子３０１、第２の入力端子３０２から入力され、生成した内挿画像を出力端子３０３から出力する回路である。

本実施形態の画像補間装置３００と、第１の実施形態の画像補間装置１００との違いを説明する。検出された動きベクトルの始点ブロックと終点ブロックの圧縮パラメータに応じて過去の原画像及び現在の原画像からのブロックの混合比を計算する混合比計算回路（図１の１１７）を比較回路３１７に変更したことである。前述した以外にも、前述した変更に応じて減算器１２０、第１の乗算器１１８、第２の乗算器１１９が削除されて加算部（図１の１２１）が選択回路３１８に代わっている。

第２の実施形態では、動きベクトル割り付け回路３１３から出力されるベクトルの始点である過去の原画像３３１上のブロックの位置情報３３６と、ベクトルの終点である現在の原画像３３０上のブロックの位置情報３３５における圧縮パラメータを比較する。この比較は、比較回路３１７で行う。その結果、圧縮率の低いブロックが選択され判定信号３３９を介して選択回路３１８に通知される。

選択回路３１８では、判定信号３３９に従って、過去の原画像３３１の画像ブロック信号３３８、もしくは現在の原画像３３０の画像ブロック信号３３７を選択して内挿画像ブロック信号３４０とする。内挿画像ブロック信号３４０は、出力端子３０３から出力される。第１の実施形態と同様に、これら内挿画像ブロック生成作業を内挿画像の全ての小ブロックに対して繰り返し行うことにより１フレーム分の内挿画像を生成する。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像補間装置
１０１ 第１の入力端子
１０２ 第２の入力端子
１０３ 出力端子
１１０ 第１の遅延回路
１１１ 第２の遅延回路
１１２ 動きベクトル検出回路
１１３ 動きベクトル割り付け回路
１１４ 第１のブロック読み出し回路
１１５ 第２のブロック読み出し回路
１１６ 内挿画像生成回路
１１７ 混合比計算回路
１１８ 第１の乗算器
１１９ 第２の乗算器
１２０ 減算器
１２１ 加算回路

Claims (6)

1. 時間的に連続である少なくとも２枚の原画像から内挿画像を生成する画像補間装置であって、
   動きベクトルを検出する検出手段と、
   前記検出手段により検出された動きベクトルを内挿画像上のブロックに割り付ける割り付け手段と、
   前記検出手段により検出された動きベクトルに基づく始点と終点を含むブロックを前記２枚の原画像から読み出すブロック読み出し手段と、
   前記ブロック読み出し手段により読み出した各々のブロックにおける圧縮パラメータに応じて、前記２枚の原画像から内挿画像ブロックを生成する内挿画像生成手段とを備え、
   前記内挿画像生成手段は、前記始点、終点ブロックの混合比を計算する混合比計算手段を有することを特徴とする画像補間装置。
2. 前記内挿画像生成手段は、
   前記混合比計算手段が計算した前記動きベクトルの始点と終点ブロックの圧縮パラメータの持つ圧縮率に応じて前記始点、終点ブロックそれぞれの混合比に従って前記始点、終点のブロックの画素値を混合したものを内挿画像ブロックとして使用することを特徴とする請求項１に記載の画像補間装置。
3. 前記内挿画像生成手段は、
   前記動きベクトルの始点と終点ブロックの圧縮パラメータの持つ圧縮率を比較し、低い圧縮率を持つ圧縮パラメータを持つブロックの画素値を内挿画像ブロックとして使用することを特徴とする請求項１に記載の画像補間装置。
4. 時間的に連続である少なくとも２枚の原画像から内挿画像を生成する画像補間方法であって、
   動きベクトルを検出する検出工程と、
   前記検出工程において検出された動きベクトルを内挿画像上のブロックに割り付ける割り付け工程と、
   前記検出工程において検出された動きベクトルに基づく始点と終点を含むブロックを前記２枚の原画像から読み出すブロック読み出し工程と、
   前記ブロック読み出し工程において読み出した各々のブロックにおける圧縮パラメータに応じて、前記２枚の原画像から内挿画像ブロックを生成する内挿画像生成工程とを備え、
   前記内挿画像生成工程は、前記始点、終点ブロックの混合比を計算する混合比計算工程を有することを特徴とする画像補間方法。
5. 時間的に連続である少なくとも２枚の原画像から内挿画像を生成する画像補間方法をコンピュータに実行させるプログラムであって、
   動きベクトルを検出する検出工程と、
   前記検出工程において検出された動きベクトルを内挿画像上のブロックに割り付ける割り付け工程と、
   前記検出工程において検出された動きベクトルに基づく始点と終点を含むブロックを前記２枚の原画像から読み出すブロック読み出し工程と、
   前記ブロック読み出し工程において読み出した各々のブロックにおける圧縮パラメータに応じて、前記２枚の原画像から内挿画像ブロックを生成する内挿画像生成工程とをコンピュータに実行させ、
   前記内挿画像生成工程においては、前記始点、終点ブロックの混合比を計算する混合比計算をコンピュータに実行させることを特徴とするプログラム。
6. 請求項５に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images