JP2003189256A - 画像信号処理装置及び方法 - Google Patents

画像信号処理装置及び方法

Info

Publication number
JP2003189256A
JP2003189256A JP2001380760A JP2001380760A JP2003189256A JP 2003189256 A JP2003189256 A JP 2003189256A JP 2001380760 A JP2001380760 A JP 2001380760A JP 2001380760 A JP2001380760 A JP 2001380760A JP 2003189256 A JP2003189256 A JP 2003189256A
Authority
JP
Japan
Prior art keywords
field
pixel
image signal
motion vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001380760A
Other languages
English (en)
Other versions
JP3596519B2 (ja
Inventor
Koji Aoyama
幸治 青山
Makoto Kondo
真 近藤
Kazuhiko Nishibori
一彦 西堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001380760A priority Critical patent/JP3596519B2/ja
Priority to EP02790757.5A priority patent/EP1460846B1/en
Priority to US10/498,204 priority patent/US7327397B2/en
Priority to KR1020047009065A priority patent/KR100930758B1/ko
Priority to PCT/JP2002/013100 priority patent/WO2003055212A1/ja
Priority to CNB028250559A priority patent/CN100373939C/zh
Publication of JP2003189256A publication Critical patent/JP2003189256A/ja
Application granted granted Critical
Publication of JP3596519B2 publication Critical patent/JP3596519B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【課題】 倍速変換することにより生成された画像信号
において、様々な画像のバリエーションにおいても、面
フリッカ妨害を抑えつつ画像の動きをスムーズにする。 【解決手段】 コマの最初が第1のフィールドで始ま
り、かつ倍速変換された信号が入力され、演算した画素
信号レベルの差分値に基づいて第1のフィールドを特定
し、各検出画素について補間画素データを算出し、特定
した第1のフィールドから後へフィールドが移行するに
つれてシフト量が順次増大するように、動きベクトルの
ベクトル方向へ検出画素の位置をシフトさせた画素位置
に補間画素データを書き込む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、倍速変換すること
により生成された画像信号の各検出画素の位置をシフト
させる画像信号処理装置及び方法に関する。
【0002】
【従来の技術】テレビ放送の走査方式としては、従来か
ら水平走査線を1本おきに飛越して走査するインタレー
ス走査方式が最も広く採用されている。このインタレー
ス走査方式では、奇数番目の走査線から構成されるフィ
ールド画像と、偶数番目の走査線から構成されるフィー
ルド画像により1枚のフレーム画像を形成し、画面全体
がちらついて見える面フリッカ妨害を抑え、画面品質の
劣化を防止する。
【0003】また、このインタレース走査方式は、世界
各国のテレビジョン標準方式として採用されており、こ
のうち例えば欧州のテレビジョン放送におけるPAL(P
haseAlternation by Line)方式では、フィールド周波数
が50〔Hz〕(フレーム画像が25フレーム/秒、フ
ィールド画像が50フィールド/秒)で構成される。
【0004】特にこのPAL方式では、更なる面フリッ
カ妨害の抑制を期すべく、入力画像信号を補間等の処理
を行うことにより、フィールド周波数を50Hzから2
倍の100Hzの画像信号に変換する、フィールド周波
数倍速方式が従来より採用されている。
【0005】図10は、このフィールド周波数倍速方式
を適用したフィールド倍速変換回路5のブロック構成例
を示している。このフィールド倍速変換回路5は、入力
端子61と、CRT63と、水平垂直偏向回路62とを
備えるテレビジョン受像機6に集積化される。このフィ
ールド倍速変換回路5は、倍速変換部51と、フレーム
メモリ52とを備える。
【0006】倍速変換部51は、入力端子61から入力
された、例えばPAL方式の50フィールド/秒の画像
信号を、フレームメモリ52へ書き込む。また、この倍
速変換部51は、フレームメモリ52へ書き込んだ画像
信号を、書込み時の2倍の速度で読み出す。これによ
り、50フィールド/秒の画像信号の周波数を2倍に変
換し、100フィールド/秒の画像信号を生成すること
ができる。
【0007】倍速変換部51は、倍速変換した画像信号
をCRT63へ出力する。CRT63は、入力された画
像信号を画面上に表示する。なお、CRT63における
画像信号の水平、垂直の偏向は、水平垂直偏向回路62
において生成された、入力画像信号の2倍の周波数の水
平垂直鋸歯状波に基づいて制御する。
【0008】図11は、倍速変換前後の各画像信号にお
ける各フィールドと画素位置との関係を示している。こ
こで横軸は時間、縦軸は画素の垂直方向の位置を示す。
また、図11(a)の白丸で示した画像信号は、倍速変換
前の50フィールド/秒のインタレース画像信号であ
り、図11(b)の黒丸で示した画像信号は、倍速変換し
た100フィールド/秒のインタレース画像信号であ
る。
【0009】図11(a)に示す画像信号において、フィ
ールドf1とフィールドf2は、フィルムの同一のコマ
から作成された信号となり、以下同様にフィールドf3
とフィールドf4も同一のコマを構成する。これらの画
像信号は、インタレース画像信号であるため、隣り合う
フィールド間で垂直方向の画素位置が異なる。このた
め、インタレース性を保ちつつ、各フィールド間に1個
ずつのフィールドを新規に生成することはできない。
【0010】そこで、図11(b)に示すように、フィー
ルドf1とフィールドf2の間に、新規に2枚のフィー
ルドf2´、f1´を生成する。そして、フィールドf
2とフィールドf3の間では、フィールドの生成を行わ
ず、フィールドf3とフィールドf4の間に、新規に2
枚のフィールドf4´、f3´を生成する。すなわち4
フィールド、2フレームで1つのコマを形成する。
【0011】この新規に生成したフィールドf1´、f
2´、・・・は、それぞれの画素値を、各画素の周囲3
画素の中間値として、メディアン・フィルタ等を用いて
求める場合もある。また、この新規に生成したフィール
ドf1´、f2´、・・・は、それぞれフィールドf
1、f2、・・と同じ内容となる。
【0012】すなわち、フィールド倍速変換回路5は、
倍速変換前の画像信号のフィールド間に2枚のフィール
ドを新規に生成する部分と全く生成しない部分とを交互
に配置することで、単位時間当たりの画面枚数を増やす
ことができ、上述の面フリッカ妨害を抑えることが可能
となる。
【0013】ところで、24コマ/秒の静止画で構成さ
れる映画のフィルムを通常のテレビで見るためには、イ
ンターレースのテレビ信号にするために、テレビシネマ
変換(以下、テレシネ変換と称する)を行う。このテレ
シネ変換後の画像信号において、水平方向へ画像が移動
する場合における各フィールドと画像位置の関係を図1
2に示す。ここで横軸は画像の水平方向における位置、
縦軸は時間を示している。図12(a)に示す倍速変換前
の画像信号において、フィールドf1、f2は、同一の
コマを構成するため、同じ位置に画像が表示される。こ
の画像は、フィールドf3に移行すると水平方向(右方
向)へ移動する。フィールドf4は、フィールドf3と
同一のコマを構成するため、フィールドf3と同一の位
置に表示される。
【0014】この図12(a)に示すテレシネ変換後の画
像信号をフィールド周波数倍速方式により倍速変換する
と、図12(b)に示すように、同一のコマを構成するフ
ィールドf1、f2´、f1´、f2で、同一位置に同
一の画像が表示される。同様に、同一のコマを構成する
フィールドf3、f4´、f3´、f4で同一位置に同
一の画像が表示される。
【0015】また、倍速変換前のテレビジョン信号(以
下、TV信号という)において、水平方向へ画像が移動
する場合における各フィールドと画像位置の関係を図1
3(a)に示す。この図13(a)において、フィールドf
1、f2、f3・・・は、それぞれ独立したコマを形成
するため、別の位置に画像が表示される。この画像は、
フィールドf1から、f2、f3・・・と移行する毎
に、水平方向(右方向)へ移動する。
【0016】この図13(a)に示すテレビ信号の画像信
号をフィールド周波数倍速方式により倍速変換すると、
図13(b)に示すように、同一のコマを構成するフィー
ルドf1、f2´において、同一位置に同一の画像が表
示される。同様に、同一のコマを構成するフィールドf
1´、f2において、同一位置に同一の画像が表示され
る。
【0017】
【発明が解決しようとする課題】しかしながら、図12
(b)に示すように、テレシネ変換後、倍速変換した画像
信号において、画像はフィールドf1〜f2まで同じ位
置に表示される一方、f2〜f3に移行する場合に大き
く水平方向へ移動する。同様にTV信号を倍速変換した
画像信号についても、図13(b)に示すように、画像は
フィールドf1〜f2´まで同じ位置に表示される一
方、f2´〜f1´に移行する場合に大きく水平方向へ
移動する。
【0018】特に出力画像信号は、1/100秒の周期
で規則的に各フィールドを構成しているため、画像の動
作する時間帯が画像の静止する時間帯と比較して短く、
実際にCRTを介して番組を視聴すると画像の動きが不
連続に見えるという問題があった。
【0019】更に、例えば水平方向へ画像が移動しなが
ら画素値が変化するような、様々な画像のバリエーショ
ンにおいても、画像の動きの不連続性を効率よく解消す
る必要がある。
【0020】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、倍速変換することにより
生成された画像信号において、特に様々な画像のバリエ
ーションにおいても、面フリッカ妨害を抑えつつ、画像
の動きをスムーズにすることにより相乗的に画質を向上
できる画像信号処理装置及び方法を提供することを目的
とする。
【0021】
【課題を解決するための手段】本発明者は、上述した課
題を解決するために、コマの最初が第1のフィールドで
始まり、かつ倍速変換された信号が入力され、演算した
画素信号レベルの差分値に基づいて第1のフィールドを
特定し、各検出画素について補間画素データを算出し、
特定した第1のフィールドから後へフィールドが移行す
るにつれてシフト量が順次増大するように、動きベクト
ルのベクトル方向へ検出画素の位置をシフトさせた画素
位置に補間画素データを書き込む画像信号処理装置及び
方法を発明した。
【0022】すなわち、本発明を適用した画像信号処理
装置は、コマの最初が第1のフィールドで始まる、倍速
変換された画像信号が入力され、入力された上記画像信
号において、現フィールドの検出画素と、上記現フィー
ルドから1フレーム後のフィールドの同一箇所における
検出画素との間で、画素信号レベルの差分値を演算し、
当該差分値に基づき上記第1のフィールドを特定するシ
ーケンス検出手段と、上記現フィールドの検出画素につ
いて、上記現フィールドから1フレーム又は2フレーム
後のフィールドに対する動きベクトルを検出する動きベ
クトル検出手段と、上記現フィールドの検出画素の画素
データ、及び上記現フィールドから1フレーム又は2フ
レーム後のフィールドにおける各画素の画素データに基
づき、当該検出画素についての補間画素データを算出す
るデータ演算手段と、上記第1のフィールドから後へ続
くフィールドにおいて、上記現フィールドの検出画素の
位置から上記動きベクトルのベクトル方向へシフトさせ
た画素位置に上記補間画素データを書き込む画像制御手
段とを備え、上記画像制御手段は、上記第1のフィール
ドから後へフィールドが続く毎に、検出した上記動きベ
クトルのベクトル量の範囲内で、上記シフトさせる量を
順次増大させることを特徴とする。
【0023】また、本発明を適用した画像信号処理方法
は、コマの最初が第1のフィールドで始まる、倍速変換
された画像信号が入力され、入力された上記画像信号に
おいて、現フィールドの検出画素と、上記現フィールド
から1フレーム後のフィールドの同一箇所における検出
画素との間で、画素信号レベルの差分値を演算し、当該
差分値に基づき上記第1のフィールドを特定し、上記現
フィールドの検出画素について、上記現フィールドから
1フレーム又は2フレーム後のフィールドに対する動き
ベクトルを検出し、上記現フィールドの検出画素の画素
データ、及び上記現フィールドから1フレーム又は2フ
レーム後のフィールドにおける各画素の画素データに基
づき、当該検出画素についての補間画素データを算出
し、上記第1のフィールドから後へ続くフィールドにお
いて、上記現フィールドの検出画素の位置から上記動き
ベクトルのベクトル方向へシフトさせた画素位置に上記
補間画素データを書き込み、上記画像制御手段は、上記
第1のフィールドから後へフィールドが続く毎に、検出
した上記動きベクトルのベクトル量の範囲内で、上記シ
フトさせる量を順次増大させることを特徴とする。
【0024】
【発明の実施の形態】以下、本発明を適用した画像信号
処理装置及び方法について図面を参照して詳細に説明す
る。
【0025】図1は、本発明の第1の実施の形態におけ
る画像信号処理装置1のブロック構成図である。画像信
号処理装置1は、例えばPAL(Phase Alternation by
Line)方式によるテレビジョン受像機に内蔵され、テレ
シネ変換した画像信号やテレビジョン信号(以下、TV
信号という)が入力される。またこの画像信号処理装置
1は、図1に示すように、第1の画像メモリ11と、第
2の画像メモリ12と、シーケンス検出部13と、デー
タ選択部14と、動きベクトル検出部15と、画像シフ
ト部16を備えている。
【0026】第1の画像メモリ11は、テレシネ変換し
た画像を倍速変換することにより生成された1コマが4
フィールドで構成された、例えば100フィールド/秒
のインタレース画像データが順次供給される。また、こ
の第1の画像メモリ11は、TV信号を倍速変換するこ
とにより生成された1コマが2フィールドで構成され
た、例えば100フィールド/秒のインタレース画像信
号が順次供給される。
【0027】第1の画像メモリ11は、供給された画像
データを、各フィールド単位で、1フレーム分格納す
る。すなわち、第1の画像メモリ11から出力される画
像データは、この第1の画像メモリ11に供給される画
像信号より1フレーム後になる。
【0028】第2の画像メモリ12は、第1の画像メモ
リ11と同様の内部構成を有し、第1の画像メモリ11
から供給された画像データを、各フィールド単位で、1
フレーム分格納する。すなわち、第2の画像メモリ12
から出力される画像データは、この第2の画像メモリ1
2に供給される画像データより1フレーム後になり、第
1の画像メモリ11に供給される画像データより2フレ
ーム後になる。この第2の画像メモリ12に格納された
画像データD1は、動きベクトル検出部15及び画像シ
フト部16に供給される。
【0029】シーケンス検出部13は、第1の画像メモ
リ11に供給される画像データと、第1の画像メモリ1
1から出力される画像データを検出し、各画素毎に画像
信号レベルを比較し、両者間で差分値を演算する。すな
わち、このシーケンス検出部13は、画面上の同一箇所
における画素の画像信号レベルを、1フレーム間隔で比
較する。シーケンス検出部13は、画像信号レベルの差
分値の演算結果を画像シフト部15へ送信する。シーケ
ンス検出部13は、上述の如く各フィールドの特定に加
え、テレシネ変換された信号か、TV信号かを判別し、
当該判別結果を移動量情報として画像シフト部16等へ
送信する。
【0030】データ選択部14は、第1の画像メモリ1
1に供給される画像データと、第1の画像メモリ11か
ら出力される画像データが入力される。このデータ選択
部14は、シーケンス検出部13から受信した判別結果
に基づき、供給される画像データのうち一方を選択す
る。すなわち、シーケンス検出部13によりテレシネ変
換された信号であると判別された場合には、第1の画像
メモリ11に供給される画像データを選択する。また、
シーケンス検出部13によりTV信号であると判別され
た場合には、第1の画像メモリ11から出力される画像
データを選択する。データ選択部14により選択された
画像データを以下、画像データD2と称する。データ選
択部14は、選択した画像データD2を動きベクトル検
出部15へ出力する。
【0031】なお、データ選択部14として、第1の画
像メモリ11から出力される画像データと、第2の画像
メモリ12から出力される画像データのどちらか一方を
選択する接続形態にも適用可能である。
【0032】動きベクトル検出部15は、画像データD
1と、画像データD2とを検出し、例えばブロックマッ
チング法に基づき、動きベクトルを検出する。このブロ
ックマッチング法は、画面を所定の画素からなるブロッ
クに分割し、各ブロック単位で相似度を評価することに
より動きベクトルを求める方法である。第2の画像メモ
リ12から出力される画像データD1は、参照フィール
ドの2フレーム遅延フィールドであり、またデータ選択
部14から出力される画像データD2は、参照フィール
ドそのもの、又は参照フィールドの1フレーム遅延フィ
ールドである。
【0033】すなわち、動きベクトル検出部15は、画
像データD1と画像データD2との間で動きベクトルを
検出することにより、参照フィールドと、2フレーム遅
延信号間で動きベクトルを検出することができ、また同
様に参照フィールドの1フレーム遅延信号と、参照フィ
ールドの2フレーム遅延信号間で動きベクトルを検出す
ることができる。換言すれば、動きベクトルを検出する
フィールド間隔をシーケンス検出部13から受信した判
別結果に基づき、制御することができる。
【0034】画像シフト部16は、画像信号レベルの比
較結果を含む移動量情報を、シーケンス検出部13から
受信する。また、画像シフト部16は、動きベクトル検
出部15が検出した動きベクトルを受信する。更に画像
シフト部16は、第2の画像メモリ12から画像データ
D1が供給され、またデータ選択部14から画像データ
D2が供給される。この画像シフト部16は、供給され
た画像信号における各画素位置を、受信した上記動きベ
クトルのベクトル量の範囲内で、かつベクトル方向へシ
フトさせる。この画像シフト部16の内部構成例の詳細
については後述する。
【0035】なお、画像信号処理装置1には、画像信号
のフィールド周波数を倍速変換するフィールド倍速変換
回路3が集積される場合もある。フィールド倍速変換回
路3は、解像度を向上させることにより、面フリッカ妨
害を防止すべく集積されるものであり、例えば、PAL
方式において、補間等の処理を行うことにより、フィー
ルド周波数が50Hzの画像データを2倍の100Hz
の画像データに変換する。
【0036】フィールド周波数変換回路3は、図1に示
すように、テレビジョン受像機に接続された入力端子3
1と、倍速変換部32と、フレームメモリ33とを備え
る。
【0037】倍速変換部32は、テレビジョン受像機か
ら入力端子31を介して入力された、テレシネ変換後の
画像データ、またはテレビジョン信号を、フレームメモ
リ33へ書き込む。また、この倍速変換部32は、フレ
ームメモリ33へ書き込んだ画像データを、書込み時の
2倍の速度で読み出す。これにより、例えば、PAL方
式の50フィールド/秒の画像信号の周波数を2倍に変
換し、100フィールド/秒の画像データを生成するこ
とができる。倍速変換部32は、この倍速変換した画像
データを画像信号処理装置1へ供給する。
【0038】次に画像シフト部16の詳細な内部構成例
について図2を用いて説明する。画像シフト部16はデ
ータ処理部16aとデータシフト部16bに分割して構
成されている。
【0039】データ処理部16aは、データバッファ読
出制御部161と、第1のバッファ162と、第2のバ
ッファ163と、データ演算部164と、フラグ演算部
165とを備える。
【0040】データバッファ読出制御部161は、動き
ベクトル検出部15において検出された動きベクトルが
入力される。データバッファ読出制御部161は、この
入力された動きベクトルに基づき、バッファ制御信号S
11及びバッファ制御信号S12を演算する。これらの
各バッファ制御信号S11、S12は、シーケンシャル
にデータを読み出すためのアドレス信号と、イネーブル
信号から構成される。例えば、第1のバッファ162、
及び第2のバッファ163がフレームメモリ等で実現さ
れる場合において、データバッファ読出し制御部161
は、X座標、Y座標の各アドレス信号を絶対座標として
計算する。一方、第1のバッファ162、及び第2のバ
ッファ163がラインメモリ等の必要最小限のメモリで
実現される場合において、データバッファ読出し制御部
161は、X座標、Y座標の各アドレス信号を相対座標
として計算する。
【0041】ここでバッファ制御信号S11のアドレス
においてX座標、Y座標がそれぞれ(AX1、AY1)
であり、また、供給された動きベクトルにおいて、X座
標、Y座標がそれぞれ(VX、VY)であるときに、バ
ッファ制御信号S12のアドレス(AX2、AY2)は
以下の式で表される。 AX2=AX1+VX (1.1) AY2=AY1+VY (1.2) データバッファ読出制御部161は、これらの計算した
アドレス信号を含むバッファ制御信号S11を第1のバ
ッファ162に供給する。またデータバッファ読出制御
部161は、同様に計算したアドレス信号を含むバッフ
ァ制御信号S12を第2のバッファ163に供給する。
【0042】第1のバッファ162は、第2の画像メモ
リ12から送信された画像データD1を順次蓄積する。
また第1のバッファ162は、供給されたバッファ制御
信号S11に応じて蓄積した画像データD1を読み出
す。すなわち、この第1のバッファ162は、供給され
たバッファ制御信号S11のイネーブルが有効な時に、
当該バッファ制御信号S11に含まれるアドレス値に従
って、第1のバッファ162に蓄積した画像データD1
を読み出す。この読み出された画像データD1を以下、
シフトデータSD1と称する。第1のバッファ162
は、シフトデータSD1をデータ演算部164とフラグ
演算部165へ送信する。
【0043】この第1のバッファ162は、1フレーム
分のデータを蓄積するフレームメモリであっても良い
し、また動きベクトルの取りうる範囲に従ったラインメ
モリ等、必要最小限のメモリで構成しても良い。更にこ
の第1のバッファでは、データの読出しをシーケンシャ
ルに行うため、FIF0メモリ等で実現しても良い。
【0044】第2のバッファ163は、データ選択部1
4から送信された画像データD2を順次蓄積する。また
第2のバッファ163は、供給されたバッファ制御信号
S12に応じて、蓄積した画像データD2を読み出す。
すなわち、この第2のバッファ163は、供給されたバ
ッファ制御信号S12のイネーブルが有効な時に、当該
バッファ制御信号S12に含まれるアドレス値に従っ
て、第2のバッファ163に蓄積した画像データD2を
読み出す。この読み出された画像データD2を、以下シ
フトデータSD2と称する。第2のバッファ163は、
シフトデータSD2をデータ演算部164及びフラグ演
算部165へ送信する。
【0045】この第2のバッファ163は、1フレーム
分のデータを蓄積するフレームメモリであっても良い
し、また動きベクトルの取りうる範囲に従ったラインメ
モリ等、必要最小限のメモリで構成しても良い。かかる
場合には、ランダムに与えられるアドレス値に対応して
ランダムにデータを読み出すシステムが構築される。
【0046】データ演算部164は、供給されたシフト
データSD1と、シフトデータSD2に基づき、移動デ
ータM1を演算する。このデータ演算部164は、演算
した移動データM1を順次データシフト部16bへ供給
する。
【0047】なお、この移動データM1は、シフトデー
タSD1やシフトデータSD2をそのまま出力すること
によって算出しても良いし、シフトデータSD1とシフ
トデータSD2の平均値としても良い。更には、動きベ
クトル等の値を用いて重み付け平均をとる形で移動デー
タM1を算出しても良い。
【0048】フラグ演算部165では、シフトデータS
D1とシフトデータSD2が供給され、検出した動きベ
クトルの誤差情報を含むフラグF1を算出する。このフ
ラグF1は、シフトデータSD1とシフトデータSD2
との絶対差分値の大きさで表される場合もあり、また、
動きベクトルの誤差に基づき算出される場合もある。更
には、動きベクトルに付随するフラグ情報をそのままフ
ラグF1として算出される場合もある。フラグ演算部1
65は、算出したフラグF1をデータシフト部16bへ
供給する。
【0049】データシフト部16bは、シフトバッファ
読出制御部166と、シフトバッファ書込制御部167
と、シフトバッファ168とを備える。
【0050】シフトバッファ読出制御部166は、動き
ベクトル検出部15から動きベクトルが送信され、シー
ケンス検出部13から各信号の判別結果を含む移動量情
報が送信される。シフトバッファ読出制御部166は、
動きベクトルと、移動量情報及び内蔵されたアドレス計
算用カウンタに基づき、シフトバッファ読出制御信号R
S1を生成する。このシフトバッファ読出制御信号RS
1は、シーケンシャルにデータを読み出すためのアドレ
ス信号と、イネーブル信号から構成される。例えば、シ
フトバッファ168がフレームメモリ等で実現される場
合において、シフトバッファ読出制御部166は、X座
標、Y座標の各アドレス信号を絶対座標として計算す
る。一方、シフトバッファ168がラインメモリ等の必
要最小限のメモリで実現される場合において、シフトバ
ッファ読出制御部166は、X座標、Y座標の各アドレ
ス信号を相対座標として計算する。
【0051】ここで内蔵されたアドレス計算用カウンタ
値においてX座標、Y座標がそれぞれ(CX1、CY
1)であり、また供給された動きベクトルにおいて、X
座標、Y座標がそれぞれ(VX、VY)であるときに、
シフトバッファ読出制御信号RS1のアドレスの番号
(SX、SY)は、以下の式で表される。 SX=CX1+(VX×α) (2.1) SY=CY1+(VY×α) (2.2) ここでαは移動量情報であり、0以上かつ1以下の数で
表現される。このαは、第1のフィールドで最小とし、
その後フィールドが続く毎に順次増大する。このαは、
テレシネ変換された信号が入力された場合に、第1のフ
ィールドから第4のフィールドまで0,1/4,2/
4,3/4と、またTV信号が入力された場合にも、第
1のフィールドから0,1/2と、線形に増加させてい
くことも可能である。
【0052】シフトバッファ読出制御部166は、生成
したシフトバッファ読出制御信号RS1をシフトバッフ
ァ書込制御部167及びシフトバッファ168へ供給す
る。
【0053】シフトバッファ書込制御部167は、フラ
グ演算部165からフラグF1が供給され、またシフト
バッファ168からフラグF´が供給され、シフトバッ
ファ読出制御部166から、シフトバッファ読出制御信
号RS1が供給される。このシフトバッファ167は、
フラグFとフラグF´の大小に基づき、書き込み時の優
先順位を判定する。さらにこのシフトバッファ書込制御
部167は、供給されるシフトバッファ読出制御信号R
S1に基づき、書き込みアドレスを求め、当該書き込み
アドレスと上述の通り判定した優先順位とを、シフトバ
ッファ書込制御信号RS2として、シフトバッファ16
8へ供給する。
【0054】シフトバッファ168は、データ用バッフ
ァとフラグ用バッファから構成される。データ用バッフ
ァは、データを蓄積・供給するためのバッファであり、
フラグ用バッファは、フラグを蓄積・供給するためのバ
ッファである。これらのバッファは、同一の制御信号に
基づき、書き込みや読み出しが行われる。また、これら
のバッファは、1フレーム分のデータを蓄積するフレー
ムメモリであっても良いし、また動きベクトルの取りう
る範囲に従ったラインメモリ等、必要最小限のメモリで
構成しても良い。
【0055】シフトバッファ168は、先ずフラグ用バ
ッファの初期化を行う。フラグ用バッファに書き込まれ
るフラグには、データが書き込まれたか否かを示すマー
ク情報をも含む。マーク情報は、”NM”と”OK”の
2種類で表され、”NM”は初期化時にデータの書込み
が行われていないことを示し、”OK”は、データが既
に書き込まれていることを示す。
【0056】またシフトバッファ168は、シフトバッ
ファ読出制御信号RS1のイネーブルが有効である場合
に、アドレスに対応させてシフトバッファ書込制御部1
67へフラグF´を送信する。またシフトバッファ16
8は、シフトバッファ書込制御信号RS2のイネーブル
が有効な場合に、当該シフトバッファ書込制御信号RS
2のアドレス値に従って、移動データM1、フラグF1
をそれぞれデータ用バッファ、フラグ用バッファに書き
込む。更に、このシフトバッファ168は、格納した画
素値を番号順に整理して移動データM2とし、またシフ
トフラグF2を順次読み出し、それぞれを後処理部16
9へ供給する。
【0057】後処理部169は、シフトバッファ168
から入力されたシフトフラグF2に応じて、移動データ
M2を再加工し、補正データH1としてCRT2へ出力
する。
【0058】次に、本発明に係る画像信号処理装置1の
動作について説明する。
【0059】図3は、フィールド倍速変換回路3におけ
る倍速変換前後の各フィールドと画素位置の関係を示し
ている。ここで横軸は時間、縦軸は画素の垂直方向の位
置を示す。
【0060】倍速変換前の画像データは、PAL方式の
50フィールド/秒のインタレース画像であり、図3
(a)に示すように、2フィールドで1つのコマを形成す
る。
【0061】一方、倍速変換後の画像データは、100
フィールド/秒のインタレース画像であるため、図3
(b)に示すように、フィールドt1とフィールドt2の
間に、新規に2枚のフィールドt2´、t1´を生成す
る。そして、フィールドt2とフィールドt3の間で
は、フィールドの生成を行わず、フィールドt3とフィ
ールドt4の間に、新規に2枚のフィールドt4´、t
3´を生成する。すなわち、画像データは、4フィール
ドで1つのコマを形成することとなる。
【0062】この新規に生成したフィールドt1´、t
2´、・・・は、それぞれの画素値を、各画素の周囲3
画素の中間値として、メディアン・フィルタ等を用いて
求める場合もある。また、この新規に生成したフィール
ドt1´、t2´、・・・は、それぞれフィールドt
1、t2、・・と同じ内容となる。これにより、4フィ
ールドで1つのコマを形成することとなり、単位時間当
たりの画面枚数を増やすことで解像度を向上させること
ができ、面フリッカ妨害を抑制することが可能となる。
【0063】テレシネ変換後、上述の如き倍速変換され
た画像データにおいて、水平方向へ画像が移動する場合
における各フィールドと画像位置の関係を図4に示す。
この図4において、横軸は画像の水平方向における位
置、縦軸は時間を表している。既にテレシネ変換された
画像は、図4に示すように、フィールドt1、t2´、
t1´、t2の順で、一定の時間間隔で第1の画像メモ
リ11に供給され、これらの画像は同一の位置に表示さ
れる。またフィールドt3に移行すると画像が水平方向
(右方向)に移り、フィールドt3、t4´、t3´、
t4の順で第1の画像メモリに供給される。
【0064】ここで、例えば、第1の画像メモリに供給
されるフィールド(以下、参照フィールドと称する)
が、フィールドt3である場合には、第2の画像メモリ
12から出力される、参照フィールドより2フレーム前
のフィールド(以下、2フレーム遅延フィールドと称す
る)は、フィールドt1となる。
【0065】また、TV信号を倍速変換した画像データ
において、水平方向へ画像が移動する場合における各フ
ィールドと画像位置の関係を図5に示す。同一のコマを
構成するフィールドt1、t2´において、同一位置に
同一の画像が表示される。同様に、同一のコマを構成す
るフィールドt1´、t2において、同一位置に同一の
画像が表示される。
【0066】動きベクトル検出部14は、図4に示すテ
レシネ変換後、倍速変換された信号につき、参照フィー
ルドと2フレーム遅延フィールド間で、各画素又は各ブ
ロック単位で動きベクトルを検出する。図4に示す例の
場合には、動きベクトルのベクトル方向は、2フレーム
遅延フィールドを基準として水平方向(右方向)とな
り、ベクトル量はAとなる。同様に、参照フィールドが
t5の場合には、2フレーム遅延フィールドは、t3と
なり、動きベクトルのベクトル量はBとなる。この手順
を繰り返すことにより、2フレーム遅延フィールドを基
準とした動きベクトルのベクトル方向とベクトル量を順
次求めることができる。動きベクトル検出部14は、こ
の求めた動きベクトルのベクトル量とベクトル方向とを
画像シフト部15へ順次送信する。
【0067】また、動きベクトル検出部は図5に示すT
V信号を倍速変換された信号につき、参照フィールドと
1フレーム遅延フィールド間で、各画素又は各ブロック
単位で動きベクトルを検出する。図5に示す例の場合に
は、動きベクトルのベクトル方向は、1フレーム遅延フ
ィールドを基準として水平方向(右方向)となり、参照
フィールドがt1´のときにベクトル量はCとなる。同
様に、参照フィールドがt4´の場合には、1フレーム
遅延フィールドは、t1´となり、動きベクトルのベク
トル量はDとなる。この手順を繰り返すことにより、1
フレーム遅延フィールドを基準とした動きベクトルのベ
クトル方向とベクトル量を順次求めることができる。動
きベクトル検出部74は、この求めた動きベクトルのベ
クトル量とベクトル方向とを画像シフト部15へ順次送
信する。
【0068】シーケンス検出部13は、参照フィールド
と、第1の画像メモリ11から出力される、参照フィー
ルドより1フレーム前のフィールド(以下、1フレーム
遅延フィールドと称する)を順次検出し、同一の画素位
置における画素信号レベルの差分値をそれぞれ演算す
る。
【0069】すなわち、図6に示すように、テレシネ変
換画像の場合には、参照フィールドt1´と、1フレー
ム遅延フィールドt1は、同一のコマを構成するため、
例えば画素位置a点における画素信号レベルの差分値は
0になる。次に参照フィールドとしてフィールドt2が
供給されると、1フレーム遅延フィールドはフィールド
t2´となり、a点における画素信号レベルの差分値は
同様に0となる。
【0070】次に参照フィールドとしてフィールドt3
が供給されると、1フレーム遅延フィールドはt1´と
なり、両者はそれぞれ別のコマを形成するため、a点に
おける画素信号レベルの差分値は0以外(以下、1とす
る)となる。次に参照フィールドとしてt4´が供給さ
れると1フレーム遅延フィールドはフィールドt2とな
り、a点における画素信号レベルの差分値は、同様に1
となる。
【0071】更に、参照フィールドとしてt3´が供給
されると、1フレーム遅延フィールドは、t3となり、
両者は同一のコマを形成するため、a点における画素信
号レベルの差分値は再び0になる。その後に供給される
参照フィールドについても同様の傾向となり、演算した
差分値は、4フィールド周期で「0011」の順で繰り
返される。従って、このシーケンスを4フィールド単位
で検出することにより、各フィールドの前後関係を特定
することが可能となる。
【0072】この傾向を1フレーム遅延フィールドにつ
き着目すると、差分値は、コマの最初のフィールドから
「0011」の順になる。従って、最初に差分値0を算
出したとき、検出した1フレーム遅延フィールドを、コ
マの最初のフィールド(以下、第1のフィールドと称す
る)として特定する。また差分値0が連続したときに
は、検出した1フレーム遅延フィールドを第2のフィー
ルドとして特定する。また差分値として最初に1を算出
した場合に、検出した1フレーム遅延フィールドを第3
のフィールドとして特定する。また、差分値1が連続し
たときには、検出した1フレーム遅延フィールドを第4
のフィールドとして特定する。
【0073】なお、TV信号が入力された場合において
も、各フィールドが第1のフィールド又は第2のフィー
ルドのいずれに該当するか判別する必要あるが、フィー
ルド倍速変換回路3により倍速変換する際に該当するフ
ィールドは判明するため、上述のようなシーケンス検出
の必要性は無い。すなわち、倍速変換回路3から画像信
号が入力される際には、第1のフィールドと、第2のフ
ィールドが特定されていることになる。
【0074】図7(a)は、1コマ2フィールドで構成さ
れるTV信号が入力された場合における画像シフト部1
6の具体的な動作例を一次元のグラフで示している。こ
の図7に示す動作例では、TV信号が入力された場合の
ものであり、画像データD1は第1のフィールドであ
り、また画像データD2は、画像データD1よりも1フ
レーム後の第1のフィールドである。この図7におい
て、0から始まる番号は、画素位置を示すアドレスであ
り、また縦軸は画素値(=画素信号レベル)を表してい
る。
【0075】本発明では、図7(b)に示すように、この
時間的に異なる画像データD1と画像データD2の中間
に位置する第2のフィールド(以下、書込フィールドと
いう)において、動きがスムーズに見えるように補正デ
ータを書き込む。すなわち、この図7(a)に示す例にお
いて、左側に凸部がある画像データD1から、中央にな
だらかな凸部がある画像データD2へ移り変わる際に、
全体の動きがスムーズに見えるような画像を上述の書込
フィールドにおいて生成する。
【0076】図8は、図7(a)に示す画像シフト部16
の具体的な動作例を、画素値で表示したものである。図
8(a)は、画像シフト部16に入力される画像データD
1と画像データD2を表したものであり、番号は、画素
位置を示すアドレスである。各画素毎に輝度があること
から、供給される画像データD1には、番号ごとに画素
値が割り振られる。
【0077】すなわち、図8(a)に示す動作例におい
て、画像データD1は、番号0〜11のアドレスにおい
て、順に100、100、200、・・・・と続く画素
値で表される。
【0078】画像データD1より後に位置する画像デー
タD2は、番号0〜11のアドレスにおいて、順に10
0、100、100、・・・・と続く画素値で表され
る。
【0079】図8(a)に示されている動きベクトルは、
この画像データD1と、画像データD2との間で、各画
素毎の画像データD1を基準としたベクトル量を表した
ものである。例えば、画像データD1において番号1の
アドレスにある画素値100の画素は、1フィールド後
に位置する画像データD2においても番号1のアドレス
に位置している。従って動きベクトルは0である。ま
た、例えば画像データD1において番号2のアドレスに
ある画素値200の画素は、画像データD2において、
番号4のアドレスに移動する。従って動きベクトルは4
−2=2より、2となる。ちなみに図7(a)に示す矢印
は、この各画素毎の動きベクトルを示したものである。
【0080】第1のバッファ162、第2のバッファ1
63は、それぞれ画像データD1、画像データD2にお
ける各画素値を、アドレスの番号に対応付けて格納す
る。例えば画像データD1が供給された後の第1のバッ
ファには、図8(a)に示す番号のアドレスと画素値が対
応付けされて格納されている。
【0081】図8(b)は、データバッファ読出制御部1
61の処理について示したものである。データバッファ
読出制御部164は、上述の式(1.1)〜(1.2)に
基づき、バッファ制御信号S12を作り出す。例えばバ
ッファ制御信号S11を上述のアドレスに対応する番号
としたとき、番号1のアドレスにおいて、動きベクトル
は、図8(a)に示すように0であるため、バッファ制御
信号S12の番号も1となる。また、例えば、バッファ
制御信号S11において、番号2のアドレスであるとき
には、動きベクトルは2となるため、バッファ制御信号
S12の番号は4となる。
【0082】このバッファ制御信号S11が第1のバッ
ファ162に供給され、バッファ制御信号S11の番号
に対応するアドレスの画素値が、第1のバッファ162
から読み出される。読み出された画素値は、シフトデー
タSD1としてアドレスに対応付けられ、データ演算部
164等に供給されることとなる。
【0083】同様にバッファ制御信号S12が第2のバ
ッファ163に供給され、バッファ制御信号S12の番
号に対応するアドレスの画素値が第2のバッファ163
から読み出される。読み出された画素値は、シフトデー
タSD2としてアドレスに対応付けられ、データ演算部
164等に供給されることとなる。
【0084】図8(b)最下段は、移動データM1を、シ
フトデータSD1とシフトデータSD2の平均値とした
場合について示している。この移動データM1は、画像
データD1と画像データD2の中間に位置するフィール
ドに対して書き込む画素値の原型である。またフラグF
1として、このシフトデータSD1とシフトデータSD
2の差分絶対値とした場合について示している。差分絶
対値が0以外になる場合には、画像データD1と画像デ
ータD2との間で、当該アドレスの画素につき、画素信
号レベルが変化したものとみなされる。すなわち、画像
データD2に至る時間までに当該アドレスの画素におい
て、画素信号レベルの誤差が生じたことを示している。
【0085】図8(c)は、シフトバッファ読出制御信号
RS1について示している。この図8(c)に示した例で
は、図示しないアドレス計算カウンタから、0,1,
2、・・・と、0から1ずつプラスにシフトさせた値
を、式(2.1),(2.2)におけるCX1とし、また
移動量情報αを1/2とした場合について示している。
なお、アドレス計算カウンタの数値は、画像データD1
のアドレスを示す番号に対応させて出力している。
【0086】このシフトバッファ制御信号RS1を生成
する際において、例えば、アドレス計算カウンタの番号
が2である場合には、図8(a)に基づき、番号2に対応
する画素位置の動きベクトルは2であるので、式(2.
1)に基づき、2+2×1/2=3より、シフトバッフ
ァ読出制御信号RS1の番号は3となる。同様にアドレ
ス計算カウンタの番号が3の場合には、図8(a)に基づ
き、番号3に対応する動きベクトルは2であるので、式
(2.1)に代入して3+2×1/2=4より、シフト
バッファ読出制御信号RS1の番号は4となる。
【0087】すなわち、この生成されたシフトバッファ
読出制御信号RS1の番号は、書込フィールドにおい
て、補正データを書き込むアドレスの番号を示してい
る。このためシフトバッファ制御信号RS1のアドレス
の番号について、シフトバッファ168への書き込み状
況を検知すべく、シフトバッファ168に格納されてい
るフラグF´を読み出す。このフラグF´は、シフトバ
ッファ168にアクセスされたアドレスにおいて、デー
タが書き込まれていない場合には、”NM”が返され
る。一方、データが既に書き込まれたアドレスに対して
は、差分絶対値の値が返される。
【0088】例えば図8(c)に示す例において、シフト
バッファ読出制御信号RS1の番号0〜8のアドレスで
は、シフトバッファ168からフラグF´を介して、デ
ータが書き込まれていない旨が表示される。一方、番号
9のアドレスでは、最初はデータが書き込まれていない
旨の”NM”が返され、次回では差分絶対値が、フラグ
F´として返されている。すなわち、シフトバッファ1
68の番号のアドレスには複数の画素値が書き込まれる
ことを意味している。これは、図7(a)で示されるよう
に、画像データD2における番号9のアドレスには、画
像データD1における番号6、並びに番号9に基づく動
きベクトルが集中していることからも示される。
【0089】ここで、フラグF´が”NM”で返された
シフトバッファ168のアドレスには、当該アドレスの
番号に応じて移動データM1が順次書き込まれる。ま
た、フラグF´が数値を持つ場合には、フラグF´と当
該アドレスの番号に相当するフラグFとを比較し、数値
が小さい方を有効とする。これにより、画像データD1
から画像データD2へ移行するまでに、誤差の少ない動
きベクトルに基づく画素値を書き込むことが可能とな
り、単一の画素位置に複数の動きベクトルがかかるよう
な様々なバリエーションの画像についても高精度に動き
補正することが可能となる。
【0090】シフトバッファ書込制御部162は、供給
されるフラグF´に基づき、移動データM1をシフトバ
ッファ上に書き込むアドレスを決定する。図8(c)に示
すシフトバッファ書込制御信号RS2は、この決定した
アドレスに対応する番号を示すものである。このシフト
バッファ書込制御信号RS2に対応する移動データM1
をシフトバッファ168に書き込む。例えば番号9で
は、フラグFは、10であり、またフラグF´は、0で
ある。数値の小さいフラグF´を優先するため、番号9
では、当初に書き込まれた番号6のアドレスに基づく画
素値”100”がそのままシフトバッファ168に格納
され続ける。
【0091】シフトバッファ168に格納された移動デ
ータM2をアドレス番号順に再度整理した結果を図8
(c)に示す。シフトフラグF2は、マーク情報を示して
いる。このシフトフラグF2において”OK”が出力さ
れている場合には、当該番号のアドレスにデータが書き
込まれていることを示し、また”NM”が出力されてい
る場合には、当該番号のアドレスにデータが書き込まれ
ていないことを示している。ちなみに番号2のアドレス
には、データが書き込まれていないため、シフトフラグ
として”NM”が出力される。
【0092】図8(d)では、シフトバッファ168から
供給される移動データM2に後処理を施した補正データ
H1を示している。データが書き込まれていない番号2
に後処理が施され、新たにデータが書き込まれる。この
後処理では、例えば、番号2の左側に位置する番号1の
アドレスのデータをそのまま書込んだり、また周辺のア
ドレスのデータの平均値を求める等の方法が考えられ
る。
【0093】この図8(d)に示す補正データH1を、画
像データD1と画像データD2の中間に位置する第2の
フィールドに書き込むことにより、図7(a)に示すよう
に、全体の動きがスムーズに見えるような画像になる。
【0094】すなわち、本発明に係る画像信号処理装置
1は、時間的に異なる画像データ間において、画像の動
きをスムーズにできる最適な補正データを中間に位置す
るフィールドに書き込むため、例えば画像が水平方向へ
移動しながら、画素値が変化する場合においても、画像
の動きの不連続性を効率よく解消することができる。ま
た、この画像信号処理装置1は、テレシネ変換した画像
信号とTV信号とが双方とも入力される場合において、
画像の様々なバリエーションに対応させて、動きの不連
続性を効率よく解消することができる。これにより、フ
ィルム信号とTV信号の双方が入力されるテレビジョン
受像機に内蔵することができ、また既に販売されたテレ
ビジョン受像機に対して新たに内蔵することにより容易
にバージョンアップを図ることも可能となり、汎用性を
より高めることも可能となる。
【0095】なお、本発明は上述した実施の形態に限定
されるものではない。例えば、図9に示すように、フラ
グ演算部165、シフトバッファ読出制御部166を除
去した画像シフト部26を備える場合においても適用可
能である。この画像シフト部26では、シフトバッファ
読出制御信号RS1と、フラグFと、フラグF´を省略
し、書き込み時の優先順位を判定しない方式を採用す
る。この画像シフト部において、アドレスに書き込むデ
ータが重複する場合には、時間的に後に計算されたデー
タが、既に書き込まれているデータ上に上書きされるこ
とになるが、フラグの読み出し時の制御が不必要になる
ため、回路を簡略化することができる。
【0096】また、本発明は、PAL方式によるテレビ
ジョン受像機に対して適用される場合に限定されること
はなく、例えば、NTSC(National TV System Commit
tee)方式の60フィールド秒(30コマ/秒)のインタ
レース画像信号が入力されるテレビジョン受像機に対し
ても適用可能である。また、SECAM方式によるテレ
ビジョン受像機に対しても適用可能である。
【0097】また、本発明は、テレビジョン受像機に内
蔵される場合のみならず、テレビジョン受像機に接続す
る信号変換器へも内蔵可能である。
【0098】また、本発明は、インターネットで伝送さ
れるような画像信号をPCなどで表示する場合や、メデ
ィアや画像フォーマットを変換するケースにも応用する
ことができる。
【0099】更に、本発明は、回路等、ハードウェアで
実現する形で説明しているが、プロセッサ上でのソフト
ウェアとしても実現可能であることは勿論である。
【0100】
【発明の効果】以上詳細に説明したように、本発明に係
る画像信号処理装置及び方法は、コマの最初が第1のフ
ィールドで始まり、かつ倍速変換された信号が入力さ
れ、演算した画素信号レベルの差分値に基づいて第1の
フィールドを特定し、各検出画素について補間画素デー
タを算出し、特定した第1のフィールドから後へフィー
ルドが移行するにつれてシフト量が順次増大するよう
に、動きベクトルのベクトル方向へ検出画素の位置をシ
フトさせた画素位置に、補間画素データを書き込む。
【0101】これにより、本発明に係る画像信号処理装
置及び方法は、様々な画像のバリエーションにおいて
も、面フリッカ妨害を抑えつつ、画像の動きをスムーズ
にすることにより相乗的に画質を向上できる
【図面の簡単な説明】
【図1】本発明を適用した画像信号処理装置のブロック
構成図である。
【図2】画像シフト部のブロック構成を示した図であ
る。
【図3】フィールド倍速変換回路における倍速変換前後
の各フィールドと画素位置の関係を示した図である。
【図4】テレシネ変換された画像において、水平方向へ
画像が移動する場合における各フィールドと画像位置の
関係を示した図である。
【図5】TV信号の画像において、水平方向へ画像が移
動する場合における各フィールドと画像位置の関係を示
した図である。
【図6】シーケンスの検出方法について説明するための
図である。
【図7】画像シフト部の動作処理過程を1次元で表示し
た図である。
【図8】画像シフト部の具体的な動作例を、画素値で表
示した図である。
【図9】書き込み時に優先順位判定を行わない画像シフ
ト部のブロック構成を示した図である。
【図10】フィールド周波数倍速方式を適用したフィー
ルド倍速変換回路のブロック構成図である。
【図11】倍速変換前後の各フィールドと画素位置の関
係を示した図である。
【図12】水平方向へ画像が移動する場合における各フ
ィールドと画像位置の関係を示した図である。
【図13】TV信号が入力される場合において、水平方
向へ画像が移動するときの各フィールドと画像位置の関
係を示した図である。
【符号の説明】
1 画像信号処理装置、2 CRT、3 フィールド倍
速変換回路、11 第1の画像メモリ、12 第2の画
像メモリ、13 シーケンス検出部、14 データ選択
部、15 動きベクトル検出部、16 画像シフト部、
31 入力端子、32 倍速変換部、33 フレームメ
モリ、161 データバッファ読出制御部、162 第
1のバッファ、163 第2のバッファ、164 デー
タ演算部、165 フラグ演算部、166 シフトバッ
ファ読出制御部、167 シフトバッファ書込制御部、
168 シフトバッファ、169 後処理部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 西堀 一彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C022 BA13 5C063 AA03 BA04 BA10 BA12 CA05 CA07

Claims (22)

    【特許請求の範囲】
  1. 【請求項1】 コマの最初が第1のフィールドで始ま
    る、倍速変換された画像信号について、現フィールドの
    検出画素と、上記現フィールドから1フレーム後のフィ
    ールドの同一箇所における検出画素との間で、画素信号
    レベルの差分値を演算し、当該差分値に基づき上記第1
    のフィールドを特定するシーケンス検出手段と、 上記現フィールドの検出画素について、上記現フィール
    ドから1フレーム又は2フレーム後のフィールドに対す
    る動きベクトルを検出する動きベクトル検出手段と、 上記現フィールドの検出画素の画素データ、及び上記現
    フィールドから1フレーム又は2フレーム後のフィール
    ドにおける各画素の画素データに基づき、当該検出画素
    についての補間画素データを算出するデータ演算手段
    と、 上記第1のフィールドの後へ続くフィールドにおいて、
    上記現フィールドの検出画素の位置から上記動きベクト
    ルのベクトル方向へシフトさせた画素位置に上記補間画
    素データを書き込む画像制御手段とを備え、 上記画像制御手段は、上記第1のフィールドから後へフ
    ィールドが続く毎に、検出した上記動きベクトルのベク
    トル量の範囲内で、上記シフトさせる量を順次増大させ
    ることを特徴とする画像信号処理装置。
  2. 【請求項2】 上記データ演算手段は、上記現フィール
    ドの検出画素の画素データ、及び上記現フィールドから
    1フレーム又は2フレーム後のフィールドにおいて当該
    検出画素の画素位置から上記動きベクトルのベクトル方
    向へベクトル量シフトさせた画素位置の画素データ、の
    どちらか一方、又はこれらの平均、又は上記動きベクト
    ルのベクトル量に応じた重み付け平均、を上記補間画素
    データとすることを特徴とする請求項1記載の画像信号
    処理装置。
  3. 【請求項3】 検出した上記動きベクトルの誤差情報を
    含むフラグを算出するフラグ演算手段を備え、 上記画像制御手段は、上記補間画素データを書き込む際
    の優先順位を、算出した上記フラグに基づき決定するこ
    とを特徴とする請求項1記載の画像信号処理装置。
  4. 【請求項4】 上記フラグ演算手段は、上記現フィール
    ドの検出画素の画素データと、上記現フィールドから1
    フレーム又は2フレーム後のフィールドにおいて当該検
    出画素の画素位置から上記動きベクトルのベクトル方向
    へベクトル量だけシフトさせた画素位置の画素データ
    と、の差分絶対値を上記フラグとして算出することを特
    徴とする請求項3記載の画像信号処理装置。
  5. 【請求項5】 上記第1のフィールドから後へ続くフィ
    ールドにおいて、上記補間画素データが書き込まれなか
    った画素は、当該画素周辺の画素位置に書き込まれた補
    間画素データに基づき、補間画素データを決定すること
    を特徴とする請求項1記載の画像信号処理装置。
  6. 【請求項6】 上記画像制御手段は、コマを構成するフ
    ィールド数に応じて上記シフト量を変化させることを特
    徴とする請求項1記載の画像信号処理装置。
  7. 【請求項7】 テレシネ変換した画像を倍速変換するこ
    とにより生成された1コマが4フィールドで構成される
    画像信号、又はテレビジョン信号を倍速変換することに
    より生成された1コマが2フィールドで構成される画像
    信号が入力され、 上記動きベクトル検出手段は、 上記差分値が少なくとも0を含む場合には、上記現フィ
    ールドから2フレーム後のフィールドに対する動きベク
    トルを検出し、 上記差分値が0を含まない場合には、上記現フィールド
    から1フレーム後のフィールドに対する動きベクトルを
    検出することを特徴とする請求項1記載の画像信号処理
    装置。
  8. 【請求項8】 上記シーケンス検出手段は、上記差分値
    が少なくとも0を含む場合において上記差分値が連続し
    て0になるとき、先に入力された現フィールドを、第1
    のフィールドとして特定することを特徴とする請求項1
    記載の画像信号処理装置。
  9. 【請求項9】 上記画像制御手段は、上記第1のフィー
    ルドの後へフィールドが続く毎に、上記シフトさせる量
    を、検出した上記動きベクトルのベクトル量から、コマ
    を構成するフィールド数を割った量ずつ増加させること
    を特徴とする請求項1記載の画像信号処理装置。
  10. 【請求項10】 上記動きベクトル検出手段は、所定の
    画素数からなるブロック毎に、ブロックマッチング法に
    基づいて上記動きベクトルを検出することを特徴とする
    請求項1記載の画像信号処理装置。
  11. 【請求項11】 上記入力された画像信号は、PAL方
    式のインターレース画像信号であることを特徴とする請
    求項1記載の画像信号処理装置。
  12. 【請求項12】 コマの最初が第1のフィールドで始ま
    る、倍速変換された画像信号が入力され、 入力された上記画像信号において、現フィールドの検出
    画素と、上記現フィールドから1フレーム後のフィール
    ドの同一箇所における検出画素との間で、画素信号レベ
    ルの差分値を演算し、当該差分値に基づき上記第1のフ
    ィールドを特定し、 上記現フィールドの検出画素について、上記現フィール
    ドから1フレーム又は2フレーム後のフィールドに対す
    る動きベクトルを検出し、 上記現フィールドの検出画素の画素データ、及び上記現
    フィールドから1フレーム又は2フレーム後のフィール
    ドにおける各画素の画素データに基づき、当該検出画素
    についての補間画素データを算出し、 上記第1のフィールドの後へ続くフィールドにおいて、
    上記現フィールドの検出画素の位置から上記動きベクト
    ルのベクトル方向へシフトさせた画素位置に上記補間画
    素データを書き込み、 上記第1のフィールドから後へフィールドが続く毎に、
    検出した上記動きベクトルのベクトル量の範囲内で、上
    記シフトさせる量を順次増大させることを特徴とする画
    像信号処理方法。
  13. 【請求項13】 上記現フィールドの検出画素の画素デ
    ータ、及び上記現フィールドから1フレーム又は2フレ
    ーム後のフィールドにおいて当該検出画素の画素位置か
    ら上記動きベクトルのベクトル方向へベクトル量シフト
    させた画素位置の画素データ、のどちらか一方、又はこ
    れらの平均、又は上記動きベクトルのベクトル量に応じ
    た重み付け平均、を上記補間画素データとすることを特
    徴とする請求項12記載の画像信号処理方法。
  14. 【請求項14】 検出した上記動きベクトルの誤差情報
    を含むフラグを算出し、 上記補間画素データを書き込
    む際の優先順位を、算出した上記フラグに基づき決定す
    ることを特徴とする請求項12記載の画像信号処理方
    法。
  15. 【請求項15】 上記現フィールドの検出画素の画素デ
    ータと、上記現フィールドから1フレーム又は2フレー
    ム後のフィールドにおいて当該検出画素の画素位置から
    上記動きベクトルのベクトル方向へベクトル量だけシフ
    トさせた画素位置の画素データと、の差分絶対値を上記
    フラグとして算出することを特徴とする請求項14記載
    の画像信号処理方法。
  16. 【請求項16】 上記第1のフィールドから後へ続くフ
    ィールドにおいて、上記補間画素データが書き込まれな
    かった画素は、当該画素周辺の画素位置に書き込まれた
    補間画素データに基づき、補間画素データを決定するこ
    とを特徴とする請求項12記載の画像信号処理方法。
  17. 【請求項17】 コマを構成するフィールド数に応じて
    上記シフト量を変化させることを特徴とする請求項12
    記載の画像信号処理方法。
  18. 【請求項18】 テレシネ変換した画像を倍速変換する
    ことにより生成された1コマが4フィールドで構成され
    る画像信号、又はテレビジョン信号を倍速変換すること
    により生成された1コマが2フィールドで構成される画
    像信号が入力され、 演算した上記差分値が少なくとも0を含む場合には、上
    記現フィールドから2フレーム後のフィールドに対する
    動きベクトルを検出し、 演算した上記差分値が0を含まない場合には、上記現フ
    ィールドから1フレーム後のフィールドに対する動きベ
    クトルを検出することを特徴とする請求項12記載の画
    像信号処理方法。
  19. 【請求項19】 演算した上記差分値が少なくとも0を
    含む場合において上記差分値が連続して0になるとき、
    先に入力された現フィールドを、第1のフィールドとし
    て特定することを特徴とする請求項12記載の画像信号
    処理方法。
  20. 【請求項20】 上記第1のフィールドの後へフィール
    ドが続く毎に、上記シフト量を、検出した上記動きベク
    トルのベクトル量から、コマを構成するフィールド数を
    割った量ずつ増加させることを特徴とする請求項12記
    載の画像信号処理方法。
  21. 【請求項21】 所定の画素数からなるブロック毎に、
    ブロックマッチング法に基づいて上記動きベクトルを検
    出することを特徴とする請求項12記載の画像信号処理
    方法。
  22. 【請求項22】 上記入力された画像信号は、PAL方
    式のインターレース画像信号であることを特徴とする請
    求項12記載の画像信号処理方法。
JP2001380760A 2001-12-13 2001-12-13 画像信号処理装置及び方法 Expired - Fee Related JP3596519B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001380760A JP3596519B2 (ja) 2001-12-13 2001-12-13 画像信号処理装置及び方法
EP02790757.5A EP1460846B1 (en) 2001-12-13 2002-12-13 Image signal processing apparatus and processing method
US10/498,204 US7327397B2 (en) 2001-12-13 2002-12-13 Image processing with pixel interpolation
KR1020047009065A KR100930758B1 (ko) 2001-12-13 2002-12-13 화상 신호 처리 장치 및 처리 방법
PCT/JP2002/013100 WO2003055212A1 (en) 2001-12-13 2002-12-13 Image signal processing apparatus and processing method
CNB028250559A CN100373939C (zh) 2001-12-13 2002-12-13 影像信号处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001380760A JP3596519B2 (ja) 2001-12-13 2001-12-13 画像信号処理装置及び方法

Publications (2)

Publication Number Publication Date
JP2003189256A true JP2003189256A (ja) 2003-07-04
JP3596519B2 JP3596519B2 (ja) 2004-12-02

Family

ID=19187250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001380760A Expired - Fee Related JP3596519B2 (ja) 2001-12-13 2001-12-13 画像信号処理装置及び方法

Country Status (6)

Country Link
US (1) US7327397B2 (ja)
EP (1) EP1460846B1 (ja)
JP (1) JP3596519B2 (ja)
KR (1) KR100930758B1 (ja)
CN (1) CN100373939C (ja)
WO (1) WO2003055212A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100748625B1 (ko) 2006-09-06 2007-08-13 삼성전자주식회사 프레임 레이트 변환장치 및 프레임 레이트 변환방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3596519B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596521B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596520B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP2004234069A (ja) * 2003-01-28 2004-08-19 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、及びプログラム
CN100401763C (zh) * 2003-05-16 2008-07-09 索尼株式会社 运动补偿设备和方法
KR100688382B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그장치
KR100732683B1 (ko) 2005-05-06 2007-06-27 삼성전자주식회사 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법
US20070052695A1 (en) * 2005-09-07 2007-03-08 Barnes Ted W Generating and displaying spatially offset sub-frames
KR101270167B1 (ko) 2006-08-17 2013-05-31 삼성전자주식회사 저복잡도의 이미지 압축 방법 및 장치, 저복잡도의 이미지복원 방법 및 장치
WO2008136116A1 (ja) * 2007-04-26 2008-11-13 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
US20110001874A1 (en) * 2008-02-29 2011-01-06 Yoshihito Ohta Frame rate conversion device and frame rate conversion method

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6126382A (ja) * 1984-07-17 1986-02-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動き量を用いた動画像フレ−ムレ−ト変換方式
GB8713454D0 (en) * 1987-06-09 1987-07-15 Sony Corp Television standards converters
GB8713455D0 (en) * 1987-06-09 1987-07-15 Sony Corp Television standards converters
FR2650718B1 (fr) * 1989-08-04 1991-10-04 Europ Rech Electr Lab Dispositif de transformation d'une information de mouvement en un signal de detection de mouvement a la frequence trame et au nombre de lignes souhaites pour un recepteur de television haute definition
JP3192698B2 (ja) * 1990-09-03 2001-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動きベクトル評価装置
EP0514012A3 (en) 1991-04-15 1993-11-18 Vistek Electronics Method and apparatus for the standard conversion of an image signal
FR2678464A1 (fr) * 1991-06-27 1992-12-31 Thomson Csf Procede de conversion du rythme temporel d'une sequence d'images animees.
JPH05137122A (ja) * 1991-11-14 1993-06-01 Hitachi Ltd 映像信号の信号処理方法及び回路
US5398071A (en) * 1993-11-02 1995-03-14 Texas Instruments Incorporated Film-to-video format detection for digital television
DE69510851T2 (de) * 1994-03-30 1999-12-02 Thomson Multimedia Sa Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten
EP0735746B1 (en) * 1995-03-31 1999-09-08 THOMSON multimedia Method and apparatus for motion compensated frame rate upconversion
WO1996033571A2 (en) 1995-04-11 1996-10-24 Philips Electronics N.V. Motion-compensated field rate conversion
JPH09307857A (ja) * 1996-05-17 1997-11-28 Sony Corp 画像信号処理装置及び画像信号処理方法
US5978424A (en) * 1996-11-18 1999-11-02 Zenith Electronics Corporation Frame identification system
MY119346A (en) * 1996-12-24 2005-05-31 Sony Corp Picture processing apparatus and method
DE69727911D1 (de) * 1997-04-24 2004-04-08 St Microelectronics Srl Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens
JPH11196383A (ja) * 1998-01-06 1999-07-21 Sony Corp 映像信号処理装置
JP4092773B2 (ja) * 1998-04-14 2008-05-28 株式会社日立製作所 画像信号のフレーム数変換方法および装置
KR100297776B1 (ko) * 1998-06-23 2001-10-26 윤종용 영상신호복호시의움직임정보를이용한3차원신호처리장치
KR100327395B1 (ko) * 1999-09-03 2002-03-13 구자홍 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
JP2001169252A (ja) * 1999-12-06 2001-06-22 Victor Co Of Japan Ltd 順次走査変換装置及び方法
ES2219392T3 (es) * 2000-01-28 2004-12-01 Fujitsu General Limited Circulo de conversion de la exploracion.
JP4352105B2 (ja) * 2000-04-07 2009-10-28 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション アドバンスドテレビジョンの強化された時相及び解像度の階層化
JP3611507B2 (ja) * 2000-05-30 2005-01-19 松下電器産業株式会社 動きベクトル検出装置
US7116372B2 (en) * 2000-10-20 2006-10-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for deinterlacing
JP3855761B2 (ja) * 2001-10-09 2006-12-13 ソニー株式会社 画像信号処理装置及び方法
JP3596521B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596520B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596519B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
US7788556B2 (en) * 2002-11-13 2010-08-31 Fujitsu Limited System and method for evaluating an erroneous state associated with a target circuit

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100748625B1 (ko) 2006-09-06 2007-08-13 삼성전자주식회사 프레임 레이트 변환장치 및 프레임 레이트 변환방법

Also Published As

Publication number Publication date
EP1460846A4 (en) 2009-12-09
JP3596519B2 (ja) 2004-12-02
CN1605198A (zh) 2005-04-06
EP1460846B1 (en) 2016-08-24
US20050012856A1 (en) 2005-01-20
KR20040065255A (ko) 2004-07-21
KR100930758B1 (ko) 2009-12-09
WO2003055212A1 (en) 2003-07-03
CN100373939C (zh) 2008-03-05
EP1460846A1 (en) 2004-09-22
US7327397B2 (en) 2008-02-05

Similar Documents

Publication Publication Date Title
US7321396B2 (en) Deinterlacing apparatus and method
JP2008160591A (ja) テレビジョン受信機及びそのフレームレート変換方法
KR100927281B1 (ko) 화상 신호 처리 장치 및 방법
JP3596520B2 (ja) 画像信号処理装置及び方法
JP3596519B2 (ja) 画像信号処理装置及び方法
US8325811B2 (en) Method and apparatus for motion compensated frame interpolation of covered and uncovered areas
JP3596521B2 (ja) 画像信号処理装置及び方法
JP4565339B2 (ja) 動き補正装置及び方法
JP5241632B2 (ja) 画像処理回路および画像処理方法
KR100730499B1 (ko) 화상 변환 장치 및 방법
JP4337302B2 (ja) 動き補正回路及び方法
JP2003289511A (ja) 画像走査変換方法及び装置
JP2009253567A (ja) テレビジョン受信機及びそのフレームレート変換方法
WO2004002148A1 (ja) 動きベクトル検出装置及び検出方法、並びに動き補正装置及び動き補正方法
JP4470324B2 (ja) 画像信号変換装置および方法
KR100672617B1 (ko) Hd급 디인터레이싱 구현 장치 및 구현 방법
JP2004173182A (ja) 画像表示装置及び走査線変換表示方法
JP2004120594A (ja) 幾何変換装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040830

R151 Written notification of patent or utility model registration

Ref document number: 3596519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees