JP2009294273A

JP2009294273A - 超解像表示装置

Info

Publication number: JP2009294273A
Application number: JP2008145260A
Authority: JP
Inventors: Keita Asakura; 啓太朝倉; Shigeki Nagaya; 茂喜長屋; Yoshinori Musha; 義則武者
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-06-03
Filing date: 2008-06-03
Publication date: 2009-12-17

Abstract

【課題】
記憶領域の増加を招くことなく、複数の表示部を組合せて大画面の表示装置を構成する表示装置に有用な超解像表示装置を提供する。
【解決手段】
本発明の超解像表示装置は、画像を複数の領域ごとに並列に超解像処理する超解像表示装置であって、超解像処理される画像を入力する画像入力部と、前記画像を複数の領域に分割する画像分割手段と、前記領域を跨る画像の動きベクトルを検出する領域間移動検出手段と、前記領域ごとに分割画像を記憶する分割済画像キャッシュと、前記複数の領域ごとに前記領域間移動検出手段により検出した動きベクトルと前記分割済画像キャッシュを参照して得られる当該領域の画像とから超解像処理をおこなう領域間超解像画像作成手段とを備えるようにした。
【選択図】図２

Description

本発明は、マルチディスプレイ等の複数の表示装置から構成される表示装置において、超解像処理をおこなうのに適した超解像処理方法を提供する。

映像情報を表示する表示する表示装置では、複数の表示部を組合せて大画面・高精細の表示装置を構成することがしばしばおこなわれている。このような表示装置では、表示画素数の増加するために画像処理量が増加するので、映像信号を分割して画像処理をおこない、再合成して表示をおこなっている。

上記の画像処理の一例として、低解像度画像から高解像度画像を再構成する超解像処理を適用することが考えられる。この場合、超解像処理が分割された領域のみについておこなわれるため、再合成した際に境界周辺では絵が不連続になることが知られている。

これに対処するため、特許文献１には、分割画像の外側に擬似画像を挿入して超解像処理をおこない、必要部分を切り出して再合成することが開示されている。また、特許文献２には、分割して処理する場合，重複して処理する領域を設けることにより分割した画像間での不整合を防ぐ技術が開示されている。

特開2007-108447号公報特開平8-30787号公報

上記の特許文献の技術によれば、擬似画像を記録しておく領域や、重複して処理する領域がひつようとなり、必要な記憶領域が増加する問題がある。

また、上記の特許文献の技術によれば、擬似画像を記録しておく領域や重複して処理する領域が予め決められており、動き量の大きな画像では十分に分割領域の不整合を吸収できない問題がある。動き量が最大値を想定して、擬似画像を記録しておく領域や重複して処理する領域を決めると、記憶領域の増加量が増えてしまう。

本発明の目的は、記憶領域の増加を招くことなく、複数の表示部を組合せて大画面の表示装置を構成する表示装置に有用な超解像表示装置を提供することにある。特に、超解像表示装置が複数フレームの微小な位置ずれ（位相差）を利用して超解像処理をおこなう場合に有用である。

本発明の超解像表示装置は、画像を複数の領域ごとに並列に超解像処理する超解像表示装置であって、超解像処理される画像を入力する画像入力部と、前記画像を複数の領域に分割する画像分割手段と、前記領域を跨る画像の動きベクトルを検出する領域間移動検出手段と、前記領域ごとに分割画像を記憶する分割済画像キャッシュと、前記複数の領域ごとに前記領域間移動検出手段により検出した動きベクトルと前記分割済画像キャッシュを参照して得られる当該領域の画像とから超解像処理をおこなう領域間超解像画像作成手段とを備えるようにした。

これにより，重複領域を設けることなく必要となる画素データと移動ベクトル情報だけで超解像を行うようにした。

本発明によれば、複数の表示部を組合せて大画面の表示装置を構成する表示装置であっても、記憶領域の増加を招くことなく、高精細な映像を提供できる。

以下図面を用いて、本発明の実施例を説明する。ここで、本実施例では超解像処理に必要なフレーム数を２フレームとして説明するが，２フレーム以上のフレーム数がある場合でも問題ない。また、表示装置を4K/2Kの構成について述べているがこの構成に限った実装でないことも明らかである。

まず、図１により、本実施例の映像処理の概要について説明する。フレーム画像202とフレーム画像204が、異なる時間軸206で入力され、超解像処理により表示装置201に出力される。このとき、領域２から領域４の画像の変化はないが、領域１は、図形207と図形209は時間軸206方向で動きがある。このような画像に対して、201の領域１から領域４の４つの領域に分割して超解像処理すると。境界を跨る動きのために領域１と領域３の境界部で不整合が生じることがある。本実施例は、このような場合にも、高精細に超解像処理をおこなう例を説明する。

図２は、本実施例の超解像表示装置の全体構成を示すブロック図である。図２は、HD画素数領域間超解像画像作成手段301を含む4枚のHD画素数領域で構成した4K/2K超解像表示装置の構成例を示す。

HD画素数領域間移動検出手段402で得られたHD画素数領域間移動ベクトルと画像分割手段403で得られた分割画像をキャッシュしておく分割済み画像キャッシュ404から構成される。超解像処理は、領域間移動ベクトルと分割画像が入力される領域ごとの領域間超解像画像作成手段301によって処理される。

ここで、HD画素数領域間移動検出手段402は入力画像を縮小して移動ベクトルを求めても良いし，縮小せずに入力画像全体を検索してもかまわない。

また、分割済み画像キャッシュは半導体メモリで構成しても良いし，HDDなどの外部記憶装置を用いてもかまわない。

図3にHD画素数領域間超解像画像作成手段301の詳細を説明するブロック図である。HD画素数領域間超解像画像作成手段(301)はテーブル群(320)と他HD画素数領域情報抽出機能(302)と動きベクトル補正機能(303)と，他HD画素数領域画像取得機能(304)と，座標変換機能(305)と，自HD画素数領域画像取得機能(306)および(307)と，動き探索機能(308)と，動き補償画像生成機能(309)と，動きベクトル合成機能(310)と，画像合成機能(311)とから構成される。テーブル群(320)はHD画素数領域識別情報(321)とHD画素数領域座標情報(322)から構成される。

つぎに、図４のフロー図により、HD画素数領域間超解像画像作成手段(301)の処理の詳細を説明する。

対象情報抽出機能(302)が、入力されたHD画素数領域を跨った画素の動きベクトルと，HD画素数領域識別情報(321)を利用し，処理すべき情報を抽出する(601)。他HD画素数領域取得機能(304)は、対象情報抽出機能(302)が抽出した動きベクトルの移動元情報を用いて分割画像(T=t-1)から必要な画像情報を取得する(602)。座標移動部(305)は、動きベクトルのデータのうち，整数画素成分移動した座標に変換する(603)。

一方，動きベクトル補正情報(303)はHD画素数領域間を跨ったベクトル情報を小数画素成分のベクトル情報に補正する(612)。

自HD画素数領域画像取得機能(306)は分割画像キャッシュから時刻T=tにおけるT=t-1時点の分割画像を取得する(621)。つぎに、自HD画素数領域画像取得機能(307)は分割画像キャッシュから時刻T=tにおけるT=t時点の分割画像を取得する(622)。

動き探索部(308)は自HD画素数領域画像取得機能(306)と自HD画素数領域画像取得機能(307)が取得した画像から動きベクトルを求める(623)。動き補償画像生成部(309)は座標移動部(305)が作成した画素データと自HD画素数領域画像取得機能(306)が取得したT=t-1時点の画像と，動き探索部(308)が求めた動きベクトルを利用し，時刻T=t-1の動き補償画像を作成する(624)。

動きベクトル合成機能(310)は動き探索部(308)が求めた動きベクトルと動きベクトル補正情報(303)が出力した小数画素成分の動きベクトルをマージする(625)。画像合成機能(復元)(311)は自HD画素数領域画像取得機能(307)が取得したT=t時点の画像と，動き補償画像生成部(309)が生成した時刻T=t-1の動き補償画像と，動きベクトル合成機能(310)が合成した動きベクトルとを用いて超解像画像を合成する(626)。

図５は、HD画素数領域間超解像画像作成手段301の他の実施例を説明するブロック図である。ここで、超解像画像生成手段(501)を用いたシステム構成は実施例１と等しく図4で表せ，HD画素数領域間超解像画像作成手段(301)をHD画素数領域間超解像画像生成手段(501)に置き換えた構成に等しい。

HD画素数領域間超解像画像生成手段(501)は、テーブル群(320)と，対象情報抽出機能(302)，他HD画素数領域画像取得機能(304)，座標移動部(305)，自HD画素数領域画像取得機能(306)，自HD画素数領域画像取得機能(307)，画像合成機能(502)，動き探索機能(308)，動き補償画像生成機能(504)，画像合成機能(310)から構成される。

テーブル群(320)，対象情報抽出機能(302)，他HD画素数領域画像取得機能(304)，自HD画素数領域画像取得機能(305)，自HD画素数領域画像取得機能(306)は実施例１と同じである。動き探索機能(308)，画像合成機能(310)も、実施例１と等しい。

つぎに、図６のフロー図により、HD画素数領域間超解像画像作成手段(501)の処理の詳細を説明する。

対象情報抽出機能(302)は、入力されたHD画素数領域を跨った画素の動きベクトルと，HD画素数領域識別情報(321)を利用し，処理すべき情報を抽出する(601)。他HD画素数領域取得機能(304)は対象情報抽出機能(302)が抽出した動きベクトルの移動元情報を用いて分割画像(T=t-1)から必要な画像情報を取得する(602)。座標移動部(305)は動きベクトルのデータのうち，整数画素成分移動した座標に変換する(603)。

自HD画素数領域画像取得機能(306)は分割画像キャッシュから時刻T=tにおけるT=t-1時点の分割画像を取得する(701)。自HD画素数領域画像取得機能(307)は分割画像キャッシュから時刻T=tにおけるT=t時点の分割画像を取得する(702)。

画像合成部(502)は座標移動部(305)が求めた画素データを自HD画素数領域画像取得機能(306)が取得したT=t-1時点の分割画像に合成する(703)。動き探索部(308)は画像合成部(502)が合成した画像と，自HD画素数領域画像取得機能(307)が取得したT=t時点の画像から動きベクトルを求める(704)。

動き補償画像生成部(504)は自HD画素数領域画像取得機能(306)が取得したT=t-1時点の画像と，動き探索部(308)が求めた動きベクトルを利用し，時刻T=t-1の動き補償画像を作成する(705)。

画像合成機能(復元)(311)は自HD画素数領域画像取得機能(307)が取得したT=t時点の画像と，動き補償画像生成部(309)が生成した時刻T=t-1の動き補償画像と，動きベクトル合成機能(310)が合成した動きベクトルとを用いて超解像画像を合成する(706)。

本実施例の概念図である。本実施例の超解像表示装置の全体構成を示すブロック図である本実施例の領域間超解像画像作成手段の詳細ブロック図である。本実施例の領域間超解像処理の処理フロー図である。他の本実施例の領域間超解像画像作成手段の詳細ブロック図である。他の本実施例の領域間超解像処理の処理フロー図である。

符号の説明

３０１…領域間超解像画像作成手段、４０１…画像入力部、４０２…領域間移動検出手段、４０３…画像分割手段、４０４…分割済み画像キャッシュ

Claims

画像を複数の領域ごとに並列に超解像処理する超解像表示装置であって、
超解像処理される画像を入力する画像入力部と、
前記画像を複数の領域に分割する画像分割手段と、
前記領域を跨る画像の動きベクトルを検出する領域間移動検出手段と、
前記領域ごとに分割画像を記憶する分割済画像キャッシュと、
前記複数の領域ごとに、前記領域間移動検出手段により検出した動きベクトルと前記分割済画像キャッシュを参照して得られる当該領域の画像とから超解像処理をおこなう領域間超解像画像作成手段とを備えることを特徴とする超解像表示装置。