JP2002077831A - 画像信号処理装置およびその方法 - Google Patents

画像信号処理装置およびその方法

Info

Publication number
JP2002077831A
JP2002077831A JP2000255952A JP2000255952A JP2002077831A JP 2002077831 A JP2002077831 A JP 2002077831A JP 2000255952 A JP2000255952 A JP 2000255952A JP 2000255952 A JP2000255952 A JP 2000255952A JP 2002077831 A JP2002077831 A JP 2002077831A
Authority
JP
Japan
Prior art keywords
data
motion
pixel
lines
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000255952A
Other languages
English (en)
Inventor
Takushi Okuda
拓史 奥田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000255952A priority Critical patent/JP2002077831A/ja
Publication of JP2002077831A publication Critical patent/JP2002077831A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】少ないメモリ容量で、精度高くIP変換を行う
ことができる画像信号処理装置およびその方法を提供す
る。 【解決手段】動き検出を、現フィールドのデータと1フ
ィールド遅延のデータのデータを使い、2つのデータの
差の絶対値による動き量をあらわす関数を定め、動き検
出を行いたいピクセルR1の前後のラインのピクセル
C、Dからフィールド内補間によって得たデータと現フ
ィールドの同じ位置のピクセルBの先に定めた動き量を
あらわす関数によって得た値V1を3ライン分蓄え、こ
の中の最小値をとり、隣り合うピクセルの同様にして得
た最小値との最大値をとり、これを3ライン分蓄え、そ
の最大値をとり、さらに、隣り合うピクセルについて、
同様の処理により最大値を求め、求めた最大値を動き量
とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像信号処理装置
に係り、特にインターレース信号をプログレッシブ信号
に変換(IP変換)する画像信号処理装置およびその方
法に関するものである。
【0002】
【従来の技術】テレビジョンやビデオなど、世間の多く
の画像信号は、インターレースである。これに対し、コ
ンピュータ信号は、プログレッシブであり、たとえば、
コンピュータの画像とテレビの画像を同時に同じコンピ
ュータディスプレイ上に表示するためにはインターレー
ス信号をプログレッシブに変換しなければならない。ま
た、インターレース信号は、その特徴から、画像中に細
い横線があるとちらつきが生じてしまうが、プログレッ
シブ信号では、そのようなことがなく、きれいに表示さ
れるため、最近では、家庭用のテレビ受像機でも内部で
インターレースからプログレッシブへの変換を行い、プ
ログレッシブで表示するようになっているものもある。
また、DVDの普及により、ハイビジョンサイズの映像
も多くなっており、このような映像は、1フレーム画素
数が非常に多いことから、プログレッシブの信号に変換
するためには大量のメモリを必要とする。
【0003】IP変換について インターレス信号は、図14に示すように、互いにずれ
た1ラインおきのラインデータをもつ2つのフィールド
で一枚のフレームを構成する。これに対して、プログレ
ッシブ信号は、図15に示すように、最初からすべての
ラインデータが存在している(つまっている)。インタ
ーレース信号からプログレッシブに変換する場合、イン
ターレースでは、1ラインおきのデータしか存在しない
ため、データのないラインについて、補間データを作り
出力する。
【0004】この補間データは、いろいろな作り方があ
るが、一般的には、図16に示すように、通常は動き検
出を行い、動領域と静止領域に分け、動領域については
フィールド内のデータから補間データを作成し、静止領
域については、前フィールドの同じラインのデータをそ
のまま持ってくるという方法が用いられる。そして、従
来、IP変換を行う際の動き検出処理は、現フィールド
と2フィールド遅延のデータを比較して判断していた。
【0005】
【発明が解決しようとする課題】ところが、上述したよ
うに従来の方法では、IP変換を行う際の動き検出処理
は、現フィールドと2フィールド遅延のデータを比較す
ることから、少なくとも2フィールド分のメモリを必要
としていた。上述したように、ハイビジョンサイズの信
号をプログレッシブの信号に変換するためには、1フレ
ーム画素数が非常に多いことから、大量のメモリを必要
とするにもかかわらず、従来の方法では、さらに倍、あ
るいはそれ以上の容量のメモリを必要とするという不利
益がある。
【0006】本発明は、かかる事情に鑑みてなされたも
のであり、その目的は、少ないメモリ容量で、精度高く
IP変換を行うことができる画像信号処理装置およびそ
の方法を提供することにある。
【0007】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、動き検出を行い、インターレース信号の
データが存在しないラインについて補間データを作成
し、当該補間データに基づいて画像データをインターレ
ース信号からプログレッシブ信号に変換する画像信号処
理装置であって、画像データをインターレース信号から
プログレッシブ信号に変換する際の動き検出を、現フィ
ールドのデータと1フィールド遅延のデータのデータを
使い、2つのデータの差の絶対値による動き量をあらわ
す関数を定め、動き検出を行いたいピクセルの前後のラ
インのピクセルからフィールド内補間によって得たデー
タと現フィールドの同じ位置のピクセルのデータとから
先に定めた動き量をあらわす関数によって少なくとも3
ライン分の動き量を求め、求めた3ライン分の動き量の
中の最小値を求め、動き検出を行いたいピクセルに隣接
するピクセルの前後のラインのピクセルからフィールド
内補間によって得たデータと現フィールドの同じ位置の
ピクセルのデータとから先に定めた動き量をあらわす関
数によって少なくも3ライン分の動き量を求め、求めた
3ライン分の動き量の中の最小値を求め、求めた最小値
の中の最大値を求め、当該最大値を求める処理を動き検
出を行いたいピクセルに隣接するピクセルについて行
い、求めた最大値を動き量として動き検出を行う処理手
段を有する。
【0008】本発明では、上記処理手段は、動き量の大
きいところでは、動き検出を行いたいピクセルの前後の
ラインのピクセルからフィールド内補間によって得たデ
ータを用い、動き量の小さいところでは、現フィールド
の同じ位置のピクセルのデータを用いる。
【0009】また、本発明では、上記処理手段は、フィ
ールド内補間のデータを求める際、前後のラインの真上
と真下のデータの差の絶対値が所定の閾値よりも小さい
場合には、前後のラインの真上と真下のデータの平均値
で補間し、そうでない場合には、前後のラインの近傍複
数画素のデータの中の2つの中央値のデータの平均値で
補間する。
【0010】また、本発明では、上記処理手段は、要素
プロセッサを1次元的に多並列にしたSIMD制御プロ
セッサを有する。
【0011】また、本発明では、上記要素プロセッサを
1次元的に多並列したSIMD制御プロセッサは、ビッ
ト処理である。
【0012】また、本発明は、動き検出を行い、インタ
ーレース信号のデータが存在しないラインについて補間
データを作成し、当該補間データに基づいて画像データ
をインターレース信号からプログレッシブ信号に変換す
る画像信号処理方法であって、画像データをインターレ
ース信号からプログレッシブ信号に変換する際の動き検
出を、現フィールドのデータと1フィールド遅延のデー
タのデータを使い、2つのデータの差の絶対値による動
き量をあらわす関数を定め、動き検出を行いたいピクセ
ルの前後のラインのピクセルからフィールド内補間によ
って得たデータと現フィールドの同じ位置のピクセルの
データとから先に定めた動き量をあらわす関数によって
少なくとも3ライン分の動き量を求め、求めた3ライン
分の動き量の中の最小値を求め、動き検出を行いたいピ
クセルに隣接するピクセルの前後のラインのピクセルか
らフィールド内補間によって得たデータと現フィールド
の同じ位置のピクセルのデータとから先に定めた動き量
をあらわす関数によって少なくも3ライン分の動き量を
求め、求めた3ライン分の動き量の中の最小値を求め、
求めた最小値の中の最大値を求め、当該最大値を求める
処理を動き検出を行いたいピクセルに隣接するピクセル
について行い、求めた最大値を動き量として動き検出を
行う。
【0013】また、本発明では、動き量の大きいところ
では、動き検出を行いたいピクセルの前後のラインのピ
クセルからフィールド内補間によって得たデータを用
い、動き量の小さいところでは、現フィールドの同じ位
置のピクセルのデータを用いる。
【0014】また、本発明では、フィールド内補間のデ
ータを求める際、前後のラインの真上と真下のデータの
差の絶対値が所定の閾値よりも小さい場合には、前後の
ラインの真上と真下のデータの平均値で補間し、そうで
ない場合には、前後のラインの近傍複数画素のデータの
中の2つの中央値のデータの平均値で補間する。
【0015】本発明によれば、たとえば処理手段におい
て、画像データをインターレース信号からプログレッシ
ブ信号に変換する際の動き検出を、たとえば現フィール
ドのデータと1フィールド遅延のデータを使い、2つの
データの差の絶対値による動き量をあらわす関数を定め
る。そして、動き検出を行いたいピクセルの前後のライ
ンのピクセルからフィールド内補間によって得たデータ
と現フィールドの同じ位置のピクセルの先に定めた動き
量をあらわす関数によって得た値を3ライン分蓄え(V
1,V2,V3)、この中の最小値をとる。同様にして
隣り合うピクセルに関して得た値との最大値をとり、こ
れを3ライン分蓄える(M1,M2,M3)。そして、
その中の最大値をとる。動き検出を行いたいピクセルに
隣接するピクセルについても、上記と同様な処理により
最大値を求める。そして、以上の処理で求めた最大値を
動き量として、動き検出を行う。
【0016】
【発明の実施の形態】図1は、本発明に係る画像信号処
理装置の一実施形態を示すブロック図である。
【0017】この画像信号処理装置10は、図1に示す
ように、処理手段としてのディジタルシグナルプロセッ
サ(DSP)11、および1フィールドディレイを生成
するためのメモリ12を主構成要素として有している。
【0018】DSP11の画像データの入力段に、1フ
ィールド分のディレイを生成するためのメモリ12(M
1)が配置されている。画像データの入力ラインが、メ
モリ12の入力端子と、DSP11の第1入力端子(I
1)に接続されている。メモリ12の出力端子がDSP
11の第2入力端子(I2)に接続されている。
【0019】DSP11は、内部のメモリに、入力端子
I1へのデータDI1を3ライン分蓄えておく。また、
DSP11は、内部のメモリに、入力端子I2へのデー
タDI2を4ライン分蓄えておく。
【0020】DSP11は、図示しない制御系によるパ
ラメータに基づいて、画像ソースによる画像信号をイン
タレース信号からプログレッシブ信号に変換するIP
(インタレース/プログレッシブ)変換を行う。
【0021】DSP11は、画像データをインターレー
ス信号からプログレッシブ信号に変換する際の動き検出
を、次のように行う。すなわち、現フィールドのデータ
と1フィールド遅延のデータのデータを使い、2つのデ
ータの差の絶対値による動き量をあらわす関数を定め、
図2に示すように、動き検出を行いたいピクセルR1の
前後のラインのピクセルC、Dからフィールド内補間に
よって得たデータと現フィールドの同じ位置のピクセル
Bの先に定めた動き量をあらわす関数によって得た値V
1を3ライン分蓄え(図2において、V1、V2、V3
で示している)、この中の最小値をとり、隣り合うピク
セルの同様にして得た最小値との最大値をとり(図2に
おいてM1)、これを3ライン分蓄え(図2において、
M1、M2、M3で示している)、その中の最大値をと
り、さらに、隣り合うピクセルについて、同様の処理に
より最大値を求め、求めた最大値を動き量とする。
【0022】また、DSP11は、動き量の大きいとこ
ろでは、動き検出を行いたいピクセルR3の前後のライ
ンのピクセルからフィールド内補間によって得たデータ
を用い、動き量の小さいところでは、現フィールドの同
じ位置のピクセルAのデータを用いる。
【0023】さらに、DSP11は、フィールド内補間
のデータを求める際、前後のラインの真上と真下のデー
タの差の絶対値がある閾値よりも小さい場合には、前後
のラインの真上と真下のデータの平均値で補間し、そう
でない場合には、前後のラインの近傍複数画素(本実施
形態では近傍6画素)のデータの中の2つの中央値のデ
ータの平均値で補間する。
【0024】DSP11は、リニアアレイ(線型配列)
型DSP、たとえば要素プロセッサを1次元的に多並列
にしたSIMD(Single Instruction Stream Multiple
Data stream) 制御方式の並列プロセッサにより構成さ
れる。
【0025】以下に、SIMD制御プロセッサの具体的
な構成、およびDSP11におけるIP変換処理の具体
的な処理内容について、図面に関連付けて順を追って説
明する。
【0026】SIMD制御プロセッサの基本的な構成 以下、SIMD制御プロセッサの構成を、図3に関連付
けて説明する。このSIMD制御プロセッサ100は、
図3に示すように、入力ポインタ(入力スキップレジス
タ)101、入力SAM(シリアルアクセスメモリ)部
(入力レジスタ)102、データメモリ部(ローカルメ
モリ)103、ALU(Arithmetic and
Logic Unit)アレイ部104、出力SAM
部(出力レジスタ)105、出力ポインタ(出力スキッ
プレジスタ)106およびプログラム制御部107によ
り構成されている。
【0027】これらの構成部分のうち、入力SAM部1
02、データメモリ部103および出力SAM部105
は、主にメモリから構成される。入力SAM部102、
データメモリ部103、ALUアレイ部104および出
力SAM部105は、リニアアレイ(線形配列)形式に
並列化された複数(原画像の1水平走査期間分の画素数
H以上)の要素プロセッサ110を構成する。要素プロ
セッサ110それぞれ(単一エレメント)は、独立した
プロセッサの構成部分を有しており、図3において斜線
を付して示す部分に対応する。また、複数の要素プロセ
ッサ110は、図3において横方向に並列に配列され、
要素プロセッサ群を構成する。
【0028】入力ポインタ(入力スキップレジスタ)1
01は、1ビットシフトレジスタであり、外部の画像処
理機器(図示せず)等から原画像の1画素分の画素デー
タが入力されるたびに、論理値1(H)の1ビット信号
〔入力ポインタ信号(SIP)〕をシフトすることによ
り、入力された1画素分の画素データを担当する要素プ
ロセッサ110を指定し、指定した要素プロセッサ11
0の入力SAM部102(入力SAMセル)に、対応す
る原画像の画素データを書き込む。
【0029】つまり、入力ポインタ101は、原画像の
1水平走査期間ごとに、まず、図3の左端の要素プロセ
ッサ110に対する入力ポインタ信号を論理値1とし
て、画素データに同期したクロック信号に応じて入力さ
れる最初の原画像の画素データを、図3に示したSIM
D制御プロセッサ100の左端の要素プロセッサ100
の入力SAM部102に書き込み、さらにその後、クロ
ック信号が1周期分変化するたびに、順次、右隣の要素
プロセッサ110に対する論理値1の入力ポインタ信号
が右方にシフトして、要素プロセッサ110それぞれの
入力SAM部102に、原画像の画像データを1画素分
ずつ書き込んでゆく。
【0030】入力SAM部(入力レジスタ)102は、
上述したように入力ポインタ101から入力される入力
ポインタ信号が論理値1になった場合に、外部の画像処
理機器等から入力端子DINに入力される1画素分の画
素データ(入力データ)を記憶する。つまり、要素プロ
セッサ110の入力SAM部102は、全体として、水
平走査期間ごとに、原画像の1水平走査期間分の画素デ
ータを記憶する。さらに、入力SAM部102は、記憶
した1水平走査期間分の原画像の画素データ(入力デー
タ)を、プログラム制御部107の制御に従って、次の
水平走査帰線期間において、必要に応じてデータメモリ
部103に対して転送する。
【0031】データメモリ部(ローカルメモリ)103
は、プログラム制御部107の制御に従い、入力ポイン
タ101から入力される入力ポインタ信号(SIP)の
論理値に応じて、入力SAM部102に入力された原画
像の画素データ、演算途中のデータ、および、定数デー
タ等を記憶し、ALUアレイ部104に対して出力す
る。
【0032】ALUアレイ部104は、プログラム制御
部107の制御に従って、データメモリ部103から入
力される原画像の画素データ、演算途中のデータ、およ
び、定数データ等に対して算術演算処理および論理演算
処理を行って、データメモリ部103の所定のアドレス
に記憶する。なお、ALUアレイ部104は、原画像の
画素データに対する演算処理を全てビット単位で行い、
1サイクルごとに1ビット分のデータを演算処理する。
【0033】出力SAM部(出力レジスタ)105は、
プログラム制御部107の制御に従って、1水平走査期
間に割り当てられている処理が終了した場合に、データ
メモリ部103から処理結果の転送を受け記憶する。ま
た、出力SAM部105は、出力ポインタ106から入
力される出力ポインタ信号(SOP)に応じて記憶した
データを外部に出力する。
【0034】出力ポインタ(出力スキップレジスタ)1
06は、1ビットシフトレジスタにより構成され、出力
SAM部105に対して出力ポインタ信号(SOP)を
選択的に活性化して、処理結果(出力データ)の出力を
制御する。
【0035】プログラム制御部107は、プログラムメ
モリ、プログラムメモリに記憶されたプログラムの進行
を制御するシーケンス制御回路、および、入力SAM部
102、データメモリ部103および出力SAM部10
5を構成するメモリ用の「ロウ(ROW)」アドレスコデー
タ(いずれも図示せず)等から構成される。プログラム
制御部107は、これらの構成部分により、単一のプロ
グラムを記憶し、原画像の水平走査期間ごとに、記憶し
た単一のプログラムに基づいて各種制御信号を生成し、
生成した各種制御信号を介して全ての要素プロセッサ1
10を連動して制御することにより画像データに対する
処理を行う。このように、単一のプログラムに基づいて
複数の要素プロセッサを制御することを、SIMD制御
と称する。
【0036】各要素プロセッサ(プロセッサエレメン
ト)110は、1ビットプロセッサであり、外部の画像
処理機器や前段の回路から入力される原画像の画素デー
タそれぞれに対して、論理演算処理および算術演算処理
を行い、要素プロセッサ110全体として、FIRディ
ジタルフィルタによる水平方向および垂直方向のフィル
タリング処理等を実現する。なお、プログラム制御部1
07によるSIMD制御は、水平走査期間を周期として
行われるので、各要素プロセッサ110は、最大、水平
走査期間を要素プロセッサ110の命令サイクルの周期
で除算して得られるステップ数のプログラムを、各水平
走査期間ごとに実行し得る。
【0037】また、要素プロセッサ110は、隣接する
要素プロセッサ110と接続されており、必要に応じ
て、隣接する要素プロセッサ110とプロセッサ間通信
を行う機能を有する。つまり、各要素プロセッサ110
は、プログラム制御部107のSIMD制御に従って、
例えば、右隣または左隣の要素プロセッサ110のデー
タメモリ部103等にアクセスして処理を行うることが
でき、また、右隣の要素プロセッサ110へのアクセス
を繰り返すことにより、要素プロセッサ110は直接接
続されていない要素プロセッサ110のデータメモリ部
103に対してアクセスし、データを読み出すことがで
きる。要素プロセッサ110は、隣接プロセッサ間の通
信機能を利用して、水平方向のフィルタリング処理を全
体として実現する。
【0038】ここで、たとえば、水平方向に10画素程
度離れた画素データとの間の演算処理が必要になる場合
等、プロセッサ間通信を行うとプログラムステップが非
常に多くなってしまうが、実際のFIRフィルタ処理
は、10画素も離れた画素データ間の演算処理をほとん
ど含まず、連続する画素データに対する演算処理がほと
んどである。したがって、プロセッサ間通信を行うFI
Rフィルタ処理のプログラムステップが増加して非能率
になるということはほとんどあり得ない。
【0039】また、各要素プロセッサ110は、常に水
平走査方向における同一位置の画素データを専門に担当
して処理する。したがって、入力SAM部102から原
画像の画素データ(入力データ)を転送する先のデータ
メモリ部103の書き込みアドレスを水平走査期間の初
期ごとに変更して、過去の水平走査期間の入力データを
保持しておくことができるので、要素プロセッサ110
は、原画像の画素データを垂直方向にもフィルタリング
することができる。
【0040】なお、要素プロセッサ110それぞれにお
ける原画像の画素データ(入力データ)を入力SAM部
102に書き込む入力処理(第1の処理)、プログラム
制御部107の制御に従って、入力SAM部102に記
憶された入力データのデータメモリ部103への転送処
理、ALUアレイ部104による演算処理、出力SAM
部105への処理結果(出力データ)の転送処理(第2
の処理)、および、出力SAM部105からの出力デー
タの出力処理(第3の処理)は、処理周期を1水平走査
期間としたパイプライン形式で実行される。したがっ
て、入力データに着目した場合、同一の入力データに対
する第1〜第3の処理それぞれは1水平走査期間分の処
理時間を要するので、これら3つの処理の開始から終了
までには、3水平走査期間分の処理時間が必要とされ
る。しかしながら、これら3つの処理がパイプライン形
式で並行して実行されるので、平均すると、1水平走査
期間分の入力データの処理には、1水平走査期間分の処
理時間しか必要とされない。
【0041】以下、図3に示した画像処理用のリニアア
レイ型SIMD制御プロセッサの基本的な動作を説明す
る。
【0042】入力ポインタ101では、最初の水平走査
期間(第1の水平走査期間)において、入力された原画
像の画素データに同期したクロックに応じて、各要素プ
ロセッサ110に対する論理値1(H)の入力ポインタ
信号が順次シフトされて、原画像の各画素データを担当
して演算処理する要素プロセッサ110が指定される。
【0043】原画像の画素データは、入力端子DINを
介して入力SAM部102に入力される。入力SAM部
102では、入力ポインタ信号の論理値に応じて、各要
素プロセッサ110に原画像の1画素分の画素データが
記憶される。1水平走査期間に含まれる各画素に対応す
る要素プロセッサ110の全ての入力SAM部102に
おいて、それぞれ原画像の画素データが記憶される。そ
して、全体として1水平走査期間分の画素データが記憶
されると、入力処理(第1の処理)が終了する。
【0044】入力処理(第1の処理)が終了すると、水
平走査期間ごとに、単一のプログラムに従って、各要素
プロセッサ110の入力SAM部102、データメモリ
部103、ALUアレイ部104および出力SAM部1
05がプログラム制御部107によりSIMD制御され
て、原画像の画素データに対する処理が実行される。
【0045】すなわち、次の水平走査帰線期間(第2の
水平走査期間)において、各入力SAM部102では、
第1の水平走査期間において記憶した原画像の各画素デ
ータ(入力データ)がデータメモリ部103に転送され
る。
【0046】なお、このデータ転送処理は、プログラム
制御部107が、入力SAM読み出し信号(SIR)を
活性化〔論理値1(H)に〕して入力SAM部102の
所定のロウ(ROW)のデータを選択してアクセスを行
い、さらに、メモリアクセス信号(SWA)を活性化し
て、アクセスしたデータをデータメモリ部103の所定
のロウのメモリセル(後述)へ書き込むように入力SA
M部102およびデータメモリ部103を制御すること
により実現される。
【0047】次に、水平走査期間にプログラム制御部1
07により、プログラムに基づいて各要素プロセッサ1
10が制御され、データメモリ部103からデータがA
LUアレイ部24に対して出力される。ALUアレイ部
104では、算術演算処理および論理演算処理が行わ
れ、処理結果がデータメモリ部103の所定のアドレス
に書き込まれる。プログラムに応じた算術演算処理およ
び論理演算処理が終了すると、プログラム制御部107
では、データメモリ部103の制御が行われて、処理結
果がさらに次の水平走査帰線期間に出力SAM部105
に転送される(ここまでが第2の処理)。さらに、次の
水平走査期間(第3の水平走査期間)において、出力S
AM部105が制御されて、処理結果(出力データ)が
外部に出力される(第3の処理)。
【0048】つまり、入力SAM部102に記憶された
1水平走査期間分の入力データは、次の水平走査期間に
おいて、必要に応じてデータメモリ部103に転送さ
れ、記憶されて、その後の水平走査期間における処理に
用いられる。
【0049】要約すると、本実施形態に係る画像DSP
11は、図4(a),(b)に示すように、水平走査期
間に、入力SAM部102に入力データを入力し、図4
(c)に示すように、ALUアレイ部104でフィール
ド内IP変換処理を行い、出力SAM部105から出力
データを出力する。また、図4(b),(c)に示すよ
うに、水平帰線期間に、入力SAM部102に入力され
たデータをDSP内部のデータメモリ部103に転送
し、図4(c),(d)に示すように、DSP内部のデ
ータメモリ部103とALUアレイ部104で演算され
たIP変換の結果を出力SAM部105に転送する。こ
の動作をパイプライン的に行う。なお、IP変換なの
で、入力1ラインに対して、出力は、2倍のスピード
で、2ライン分出力する。
【0050】次に、図3に示すような基本構成を有する
DSP11におけるIP変換の具体的な処理について、
図5〜図13に関連付けて説明する。
【0051】前述したように、DSP11は、内部のメ
モリに、入力端子I1へのデータDI1を3ライン分蓄
えておく。これらのデータを図5に示すように、DAT
10、DAT11、DAT12とする。また、DSP1
1は、内部のメモリに、入力端子I2へのデータDI2
を4ライン分蓄えておく。これらのデータを図5に示す
ように、DAT20、DAT21、DAT22、DAT
23とする。
【0052】また、たとえば2つのデータの差の絶対値
による動き量をあらわす関数を図6のように定める。
【0053】次にたとえば、フィールド内補間のデータ
を、図7に示すように求める。すなわち、今、フィール
ド内補間で求めたい点をR1、DAT20上のR1の左
上のデータをA、DAT20上のR1の真上のデータを
B、DAT20上のR1の右上のデータをC、DAT2
1上のR1の左下のデータをD、DAT21上のR1の
真下のデータをE、DAT21上のR1の右下のデータ
をFとする。
【0054】Bのデータの値と、Eのデータの値の差の
絶対値が、所定の閾値よりも小さい場合、R1=(B+
E)/2をフィールド内補間の結果とする。大きい場
合、まず、A,B,C,D,E,Fの値を大きい順に並
び替える。3番目に大きい値をM3、4番目に大きい値
をM4とすると、R=(M3+M4)/2をフィールド
内補間の結果とする。
【0055】このようにして得られた値を3ライン分蓄
え、それぞれ、R1、R2、R3とする。また、R1と
DAT10の動き量をV1とする。
【0056】このようにして得られた動き量を3ライン
分蓄え、それぞれ、V1、V2、V3とする。V1、V
2、V3のなかの最小値をVMとし、同様にして求めた
隣り合うVMの値のなかの最大値をM1とする。このよ
うにして得られた値を3ライン分蓄え、それぞれ、M
1、M2、M3とする。M1、M2、M3のなかの最大
値をMVとし、同様にして求めた隣り合うMVの値のな
かの最大値を動き検出値MXとする。
【0057】最後に、IP変換の結果として、RES=
(MX*R3+DAT12*(8−MX))/8とDA
T22、または、DAT23とRESを出力する。
【0058】以下に、本実施形態に係るIP変換動作を
図8〜図13のフローチャートに関連付けてさらに詳細
に説明する。
【0059】入力データの水平帰線期間に(ST10
1)、以下の代入処理を行う。入力SAM部102(第
1入力端子I1)から、DSP11内部のデータメモリ
部103上の変数DAT10に代入する。同様に、入力
SAM部102(第2入力端子I2)から、DSP11
内部のデータメモリ部103上の変数DAT20に代入
する(ST102)。
【0060】次に、DSP11内部のデータメモリ部1
03上の変数RESの値を出力SAM部105に転送す
る(ST103)。DSP11内部のデータメモリ部1
03上の変数DAT20の値とDSP11内部のデータ
メモリ部103上の変数DAT21の値を加算し、DS
P11内部のデータメモリ部103上の変数Sに代入す
る(ST104)。DSP11内部のデータメモリ部1
03上の変数Sの値を2で除算し、Sに代入する(ST
105)。DSP11内部のデータメモリ部103の変
数DAT20の値からDSP内部のデータメモリ部10
3の変数DAT21の値を減算し、DSP11内部のデ
ータメモリ部103の変数Xに代入する(ST10
6)。そして、Xが負ならば(ST107)、Xに−X
を代入し(ST108)、Xが負でなければ(ST10
7)、XにXを代入する(ST109)。次に、図9の
ステップST110の処理に移行する。
【0061】ステップST110においては、以下の処
理を行う。DSP11内部のデータメモリ部103の変
数T0に、1つ左のプロセッサエレメント110のDA
T20の値を代入する。DSP11内部のデータメモリ
部103の変数T1に、DAT20の値を代入する。D
SP11内部のデータメモリ部103の変数T2に、1
つ右のプロセッサエレメント110のDAT20の値を
代入する。DSP11内部のデータメモリ部103の変
数T3に、1つ左のプロセッサエレメント110のDA
T21の値を代入する。DSP11内部のデータメモリ
部103の変数T4に、DAT21の値を代入する。D
SP11内部のデータメモリ部103の変数T5に、1
つ右のプロセッサエレメント110のDAT21の値を
代入する。
【0062】次に、変数T0〜T5の値を大きい順に並
べ替え、大きいほうから、DSP11内部のデータメモ
リ部103の変数T1、T2、T3、T4、T5、T6
に代入する(ST111)。次に、T3とT4の値を加
算し、DSP11内部のデータメモリ部103の変数M
に代入する(ST112)。DSP11内部のデータメ
モリ部103の変数Mの値を2で除算し、Mに代入する
(ST113)。DSP11内部のデータメモリ部10
3の変数Xの値が所定の閾値よりも大きければ(ST1
14)、DSP11内部のデータメモリ部103の変数
R1にDSP11内部のデータメモリ部103の変数M
の値を代入する(ST115)。これに対して、変数X
の値が所定の閾値よりも大きくなければ(ST11
4)、DSP11内部のデータメモリ部103の変数R
1にDSP11内部のデータメモリ部103の変数Sの
値を代入する(ST116)。次に、図10のステップ
ST117の処理に移行する。
【0063】ステップST117においては、DSP1
1内部のデータメモリ部103の変数R1の値からDS
P内部のデータメモリ部103の変数DAT10の値を
減算し、DSP内部のデータメモリ部103の変数Xに
代入する。Xが負ならば(ST118)、Xに−Xを代
入し(ST119)、Xが負でなければ(ST11
8)、XにXを代入する(ST120)。次に、Xから
2を減算する(ST121)。Xが負ならば(ST12
2)、Xに0を代入し(ST123)、Xが負でなけれ
ば(ST122)、XにXを代入する(ST124)。
さらに、Xが8より大きければ(ST125)、Xに8
を代入し(ST126)、Xが8より大きくなければ
(ST125)、XにXを代入する(ST127)。そ
して、DSP11内部のデータメモリ部103上の変数
V1にXを代入する(ST128)。次に、図11のス
テップST129の処理に移行する。
【0064】ステップST129においては、DSP1
1内部のデータメモリ部103の変数V1とDSP11
内部のデータメモリ部103の変数V2の値を比較す
る。そして、V1>V2ならば、DSP11内部のデー
タメモリ部103の変数M1にV2を代入し(ST13
0)、V1>V2でなければ、DSP11内部のデータ
メモリ部103の変数M1にV1を代入する(ST13
1)。次に、DSP11内部のデータメモリ部103の
変数M1とDSP内部のデータメモリ部103の変数V
3の値を比較し(ST132)、M1>V3ならば、D
SP11内部のデータメモリ部103の変数M1にV3
を代入し(ST133)、MX1>MV3でなければ、
DSP11内部のデータメモリ部103の変数M1にM
1を代入する(ST134)。
【0065】次に、DSP11内部の一つ右のプロセッ
サエレメント110のデータメモリ部103の変数M1
とDSP11内部の一つ左のプロセッサエレメント11
0のデータメモリ部103の変数M1の値を比較し(S
T135)、大きい方を、DSP11内部のデータメモ
リ部103の変数T1に代入する(ST136,ST1
37)。次に、DSP11内部のデータメモリ部103
の変数M1とDSP11内部のデータメモリ部103の
変数T1の値を比較し(ST138)、M1>T1なら
ば、DSP11内部のデータメモリ部103の変数M1
にM1を代入し(ST139)、M1>T1でなけれ
ば、DSP11内部のデータメモリ部103の変数M1
にT1を代入する(ST140)。そして、図12のス
テップST141の処理に移行する。
【0066】ステップST141においては、DSP1
1内部のデータメモリ部103の変数M1とDSP11
内部のデータメモリ部103の変数M2の値を比較す
る。そして、M1>M2ならば、DSP11内部のデー
タメモリ部103の変数MVにM1を代入し(ST14
2)、M1>M2でなければ、DSP11内部のデータ
メモリ部103の変数MVにM2を代入する(ST14
3)。次に、DSP11内部のデータメモリ部103の
変数MVとDSP内部のデータメモリ部103の変数M
3の値を比較し(ST144)、MV>M3ならば、D
SP11内部のデータメモリ部103の変数MVにMV
を代入し(ST145)、MV>M3でなければ、DS
P11内部のデータメモリ部103の変数MVにM3を
代入する(ST146)。
【0067】次に、DSP11内部の一つ右のプロセッ
サエレメント110のデータメモリ部103の変数MV
とDSP11内部の一つ左のプロセッサエレメント11
0のデータメモリ部103の変数MVの値を比較し(S
T147)、大きい方を、DSP11内部のデータメモ
リ部103の変数T1に代入する(ST148,ST1
49)。次に、DSP11内部のデータメモリ部103
の変数MVとDSP11内部のデータメモリ部103の
変数T1の値を比較し(ST150)、MV>T1なら
ば、DSP11内部のデータメモリ部103の変数MX
にMVを代入し(ST151)、MV>T1でなけれ
ば、DSP11内部のデータメモリ部103の変数MX
にT1を代入する(ST152)。そして、図13のス
テップST153の処理に移行する。
【0068】ステップST153においては、(MX*
R3+DAT12*(8−MX))/8を演算し、DS
P11内部のデータメモリ部103上の変数RESに代
入する。そして、出力の水平帰線期間に(ST15
4)、DSP11内部のデータメモリ部103上の変数
DAT22の値を出力SAM部105へ転送する(ST
155)。
【0069】次に、DSP11内部のデータメモリ部1
03上の変数DAT23にDSP11内部のデータメモ
リ部103上の変数DAT22の値を代入する。以下同
様に、DSP11内部のデータメモリ部103上の変数
DAT22にDSP11内部のデータメモリ部103上
の変数DAT21の値を代入する。DSP11内部のデ
ータメモリ部103上の変数DAT21にDSP11内
部のデータメモリ部103上の変数DAT20の値を代
入する。DSP11内部のデータメモリ部103上の変
数DAT12にDSP11内部のデータメモリ部103
上の変数DAT11の値を代入する。DSP11内部の
データメモリ部103上の変数DAT11にDSP11
内部のデータメモリ部103上の変数DAT10の値を
代入する。さらに、DSP11内部のデータメモリ部1
03上の変数R3にDSP11内部のデータメモリ部1
03上の変数R2の値を代入する。DSP11内部のデ
ータメモリ部103上の変数R2にDSP11内部のデ
ータメモリ部103上の変数R1の値を代入する。DS
P11内部のデータメモリ部103上の変数V3にDS
P11内部のデータメモリ部103上の変数V2の値を
代入する。DSP11内部のデータメモリ部103上の
変数V2にDSP11内部のデータメモリ部103上の
変数V1の値を代入する。DSP11内部のデータメモ
リ部103上の変数M3にDSP11内部のデータメモ
リ部103上の変数M2の値を代入する。DSP11内
部のデータメモリ部103上の変数M2にDSP11内
部のデータメモリ部103上の変数M1の値を代入す
る。そして、図8のステップST101に戻って、以上
の処理を繰り返す。
【0070】以上説明したように、本実施形態によれ
ば、画像データをインターレース信号からプログレッシ
ブ信号に変換する際の動き検出を、現フィールドのデー
タと1フィールド遅延のデータのデータを使い、2つの
データの差の絶対値による動き量をあらわす関数を定
め、動き検出を行いたいピクセルR1の前後のラインの
ピクセルC、Dからフィールド内補間によって得たデー
タと現フィールドの同じ位置のピクセルBの先に定めた
動き量をあらわす関数によって得た値V1を3ライン分
蓄え(V1,V2,V3)、この中の最小値をとり、隣
り合うピクセルの同様にして得た最小値との最大値をと
り、これを3ライン分蓄え(M1,M2,M3)、その
最大値をとり、さらに、隣り合うピクセルについて、同
様の処理により最大値を求め、求めた最大値を動き量と
して動き検出を行うDSP11を設けたので、DSP1
1の前段に配置するフィールドメモリが1つでよく、少
ないメモリ容量で、精度高くIP変換を行うことができ
る利点がある。
【0071】
【発明の効果】本発明によれば、少ないメモリ容量で、
精度高くIP変換を行うことができる利点がある。
【図面の簡単な説明】
【図1】本発明に係る画像信号処理装置の一実施形態を
示すブロック図である。
【図2】本発明に係る処理手段としてのDSPのIP変
換時の動き検出処理を説明するための図である。
【図3】本発明に係るDSPを構成するSIMD制御プ
ロセッサの基本的な構成を示すブロック図である。
【図4】第1の実施形態に係る画像DSPの基本的な動
作を説明するためのタイミングチャートである。
【図5】第1の実施形態に係るIP変換の具体的な処理
について説明するための図である。
【図6】第1の実施形態に係るIP変換において動き量
を求める関数について説明するための図である。
【図7】第1の実施形態に係るIP変換におけるフィー
ルド内補間について説明するための図である。
【図8】第1の実施形態に係るIP変換の具体的な処理
について説明するためのフローチャートである。
【図9】第1の実施形態に係るIP変換の具体的な処理
について説明するためのフローチャートである。
【図10】第1の実施形態に係るIP変換の具体的な処
理について説明するためのフローチャートである。
【図11】第1の実施形態に係るIP変換の具体的な処
理について説明するためのフローチャートである。
【図12】第1の実施形態に係るIP変換の具体的な処
理について説明するためのフローチャートである。
【図13】第1の実施形態に係るIP変換の具体的な処
理について説明するためのフローチャートである。
【図14】インターレース信号の説明図である。
【図15】プログレッシブ信号の説明図である。
【図16】IP変換の説明図である。
【符号の説明】
10…画像信号処理装置、11…DSP、12…メモ
リ、100…SIMD制御プロセッサ、101…入力ポ
インタ(入力スキップレジスタ)、102…入力SAM
部(入力レジスタ)、103…データメモリ部(ローカ
ルメモリ)、104…ALUアレイ部、105…出力S
AM部(出力レジスタ)、106…出力ポインタ(出力
スキップレジスタ)。

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 動き検出を行い、インターレース信号の
    データが存在しないラインについて補間データを作成
    し、当該補間データに基づいて画像データをインターレ
    ース信号からプログレッシブ信号に変換する画像信号処
    理装置であって、 画像データをインターレース信号からプログレッシブ信
    号に変換する際の動き検出を、現フィールドのデータと
    1フィールド遅延のデータのデータを使い、2つのデー
    タの差の絶対値による動き量をあらわす関数を定め、動
    き検出を行いたいピクセルの前後のラインのピクセルか
    らフィールド内補間によって得たデータと現フィールド
    の同じ位置のピクセルのデータとから先に定めた動き量
    をあらわす関数によって少なくとも3ライン分の動き量
    を求め、求めた3ライン分の動き量の中の最小値を求
    め、動き検出を行いたいピクセルに隣接するピクセルの
    前後のラインのピクセルからフィールド内補間によって
    得たデータと現フィールドの同じ位置のピクセルのデー
    タとから先に定めた動き量をあらわす関数によって少な
    くも3ライン分の動き量を求め、求めた3ライン分の動
    き量の中の最小値を求め、求めた最小値の中の最大値を
    求め、当該最大値を求める処理を動き検出を行いたいピ
    クセルに隣接するピクセルについて行い、求めた最大値
    を動き量として動き検出を行う処理手段を有する画像信
    号処理装置。
  2. 【請求項2】 上記処理手段は、動き量の大きいところ
    では、動き検出を行いたいピクセルの前後のラインのピ
    クセルからフィールド内補間によって得たデータを用
    い、動き量の小さいところでは、現フィールドの同じ位
    置のピクセルのデータを用いる請求項1記載の画像信号
    処理装置。
  3. 【請求項3】 上記処理手段は、フィールド内補間のデ
    ータを求める際、前後のラインの真上と真下のデータの
    差の絶対値が所定の閾値よりも小さい場合には、前後の
    ラインの真上と真下のデータの平均値で補間し、そうで
    ない場合には、前後のラインの近傍複数画素のデータの
    中の2つの中央値のデータの平均値で補間する請求項1
    記載の画像信号処理装置。
  4. 【請求項4】 上記処理手段は、フィールド内補間のデ
    ータを求める際、前後のラインの真上と真下のデータの
    差の絶対値が所定の閾値よりも小さい場合には、前後の
    ラインの真上と真下のデータの平均値で補間し、そうで
    ない場合には、前後のラインの近傍複数画素のデータの
    中の2つの中央値のデータの平均値で補間する請求項2
    記載の画像信号処理装置。
  5. 【請求項5】 上記処理手段は、要素プロセッサを1次
    元的に多並列にしたSIMD制御プロセッサを有する請
    求項1記載の画像信号処理装置。
  6. 【請求項6】 上記処理手段は、要素プロセッサを1次
    元的に多並列にしたSIMD制御プロセッサを有する請
    求項2記載の画像信号処理装置。
  7. 【請求項7】 上記処理手段は、要素プロセッサを1次
    元的に多並列にしたSIMD制御プロセッサを有する請
    求項3記載の画像信号処理装置。
  8. 【請求項8】 上記処理手段は、要素プロセッサを1次
    元的に多並列にしたSIMD制御プロセッサを有する請
    求項4記載の画像信号処理装置。
  9. 【請求項9】 上記要素プロセッサを1次元的に多並列
    したSIMD制御プロセッサは、ビット処理である請求
    項5記載の画像信号処理装置。
  10. 【請求項10】 上記要素プロセッサを1次元的に多並
    列したSIMD制御プロセッサは、ビット処理である請
    求項6記載の画像信号処理装置。
  11. 【請求項11】 上記要素プロセッサを1次元的に多並
    列したSIMD制御プロセッサは、ビット処理である請
    求項7記載の画像信号処理装置。
  12. 【請求項12】 上記要素プロセッサを1次元的に多並
    列したSIMD制御プロセッサは、ビット処理である請
    求項8記載の画像信号処理装置。
  13. 【請求項13】 動き検出を行い、インターレース信号
    のデータが存在しないラインについて補間データを作成
    し、当該補間データに基づいて画像データをインターレ
    ース信号からプログレッシブ信号に変換する画像信号処
    理方法であって、 画像データをインターレース信号からプログレッシブ信
    号に変換する際の動き検出を、現フィールドのデータと
    1フィールド遅延のデータのデータを使い、2つのデー
    タの差の絶対値による動き量をあらわす関数を定め、動
    き検出を行いたいピクセルの前後のラインのピクセルか
    らフィールド内補間によって得たデータと現フィールド
    の同じ位置のピクセルのデータとから先に定めた動き量
    をあらわす関数によって少なくとも3ライン分の動き量
    を求め、求めた3ライン分の動き量の中の最小値を求
    め、動き検出を行いたいピクセルに隣接するピクセルの
    前後のラインのピクセルからフィールド内補間によって
    得たデータと現フィールドの同じ位置のピクセルのデー
    タとから先に定めた動き量をあらわす関数によって少な
    くも3ライン分の動き量を求め、求めた3ライン分の動
    き量の中の最小値を求め、求めた最小値の中の最大値を
    求め、 当該最大値を求める処理を動き検出を行いたいピクセル
    に隣接するピクセルについて行い、 求めた最大値を動き量として動き検出を行う画像信号処
    理方法。
  14. 【請求項14】 動き量の大きいところでは、動き検出
    を行いたいピクセルの前後のラインのピクセルからフィ
    ールド内補間によって得たデータを用い、動き量の小さ
    いところでは、現フィールドの同じ位置のピクセルのデ
    ータを用いる請求項13記載の画像信号処理方法。
  15. 【請求項15】 フィールド内補間のデータを求める
    際、前後のラインの真上と真下のデータの差の絶対値が
    所定の閾値よりも小さい場合には、前後のラインの真上
    と真下のデータの平均値で補間し、そうでない場合に
    は、前後のラインの近傍複数画素のデータの中の2つの
    中央値のデータの平均値で補間する請求項13記載の画
    像信号処理方法。
  16. 【請求項16】 フィールド内補間のデータを求める
    際、前後のラインの真上と真下のデータの差の絶対値が
    所定の閾値よりも小さい場合には、前後のラインの真上
    と真下のデータの平均値で補間し、そうでない場合に
    は、前後のラインの近傍複数画素のデータの中の2つの
    中央値のデータの平均値で補間する請求項14記載の画
    像信号処理方法。
JP2000255952A 2000-08-25 2000-08-25 画像信号処理装置およびその方法 Pending JP2002077831A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000255952A JP2002077831A (ja) 2000-08-25 2000-08-25 画像信号処理装置およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000255952A JP2002077831A (ja) 2000-08-25 2000-08-25 画像信号処理装置およびその方法

Publications (1)

Publication Number Publication Date
JP2002077831A true JP2002077831A (ja) 2002-03-15

Family

ID=18744644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000255952A Pending JP2002077831A (ja) 2000-08-25 2000-08-25 画像信号処理装置およびその方法

Country Status (1)

Country Link
JP (1) JP2002077831A (ja)

Similar Documents

Publication Publication Date Title
JP3009674B2 (ja) 動き検出器
JPH05336514A (ja) 画像符号化装置
JP2002542741A (ja) 映像信号のデインタレース
KR890013558A (ko) 디지탈 신호처리 장치와 그방법
JPH08289293A (ja) 繰り返しフィールド検出の方法
KR920005823A (ko) 고체촬상소자를 사용한 비디오카메라장치
KR940025337A (ko) 영상신호처리장치 및 처리방법
US5982910A (en) Method and circuit arrangement for undersampling in the case of movement estimation
JP2002077831A (ja) 画像信号処理装置およびその方法
JP2002064792A (ja) 画像信号処理装置およびその方法
JP2002077830A (ja) 画像信号処理装置およびその方法
JPH10191392A (ja) 画像信号処理装置
JP2002112202A (ja) 画像信号処理装置およびその方法
US7116373B2 (en) Deinterlacing apparatus and method capable of outputting two consecutive deinterlaced frames
JP2004015700A (ja) プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置
JP2002057994A (ja) 画像信号処理装置およびその方法
JP2960328B2 (ja) シストリックアーキテクチャ内に配置される「n+1」個の演算子にオペランドを供給するための装置
JPS63166369A (ja) 動きベクトル検出回路
JP2001339694A (ja) 画像信号処理装置およびその方法
JP2001343927A (ja) 画像処理装置
JP2004522356A (ja) 変換ユニット及び装置並びに画像処理装置
JP4802482B2 (ja) 画像処理装置及び画像処理方法
JPH01114272A (ja) フレームメモリアクセス方法
JPH04100179A (ja) 画像処理装置
JPH06274607A (ja) 並列信号処理装置