JP2000092453A - 画像処理装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 回路規模を大型化することなく高精細な補間
画像を得る。 【解決手段】 画像処理装置は、互いにインタレースし
た複数のフィールドで１フレームが構成され、それぞれ
複数の画素からなる複数のブロックに分割された画像信
号を入力する入力手段と、前記入力手段よりブロック単
位で出力された画像信号中第１のフィールドの画像信号
を用いて第２のフィールドの画像信号を補間し、前記ブ
ロック単位で出力する補間手段とを備えて構成されてい
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及びそ
の方法に関し、特には、画像信号の補間に関するもので
ある。

【０００２】

【従来の技術】従来より、静止画像を得る技術として以
下に説明するような様々な方法が提案されている。

【０００３】まず、１フレーム分の画像信号をメモリに
書き込み、この１フレームの画像信号をそのまま読み出
して静止画像を得る方法が考えられる。しかし、この方
法では１フレーム分のメモリが必要となり、また、１フ
レームを構成する２つのフィールド間に動きがあった場
合に画像がぶれてしまう。

【０００４】これに対し、１フィールド分の画像信号を
メモリに書き込み、一方のフィールドについてはメモリ
に記憶された画像信号をそのまま用い、他方のフィール
ドについては上のラインもしくは下のラインの画像信号
をそのまま用いて補間することで１フレームの静止画像
を得る方法が知られている。

【０００５】この方法によれば、メモリの容量が１フィ
ールド分で済み、また、フィールド間の動きによる画像
のぶれは発生しない。しかし、見かけ上は１フレームの
画像となるが、実際には連続する２ラインが同じ画像信
号となるため、フレームメモリを使った前述の方法に比
べ、垂直方向の解像度が低くなってしまう。

【０００６】このようなことから、１フレーム分の画像
信号をメモリに書き込み、例えば、第１フィールドにつ
いては画像信号をそのまま出力し、第２フィールドにつ
いては当該画素と上下ラインの間の動きを検出してこの
動きに応じて第２フィールドの画像信号そのものかある
いは合成画像信号を切り換えて出力する方法が考えられ
ている。

【０００７】即ち、動きがない場合には第２フィールド
の画像信号をそのままメモリから読み出して出力し、動
きがある場合には上下に近接する画素の第１フィールド
の画像信号により第２フィールドの画像信号を補間して
出力するというものである。

【０００８】この方法によれば、垂直解像度の低下とフ
ィールド間の動きによる画像のぶれを防止することがで
きる。

【０００９】

【発明が解決しようとする課題】しかし、前述のように
動きに応じて第２フィールドの画像と補間画像を切り換
えて出力する場合、動き検出のために上下に連続する３
画素の画像信号が必要となる。

【００１０】そのためには通常の３倍の速度でアクセス
可能なメモリが必要になるが、高速なメモリは高価であ
る。

【００１１】また、このような高速なメモリを使わずに
動きを検出することも可能であるが、そのためには少な
くとも２ライン分のメモリが必要となり、回路規模が大
きくなってしまう。

【００１２】本発明は前述の如き問題を解決することを
目的とする。

【００１３】本発明の更に他の目的は、回路規模を大型
化することなく高精細な補間画像を得る処にある。

【００１４】

【課題を解決するための手段】このような目的下におい
て、本発明においては、互いにインタレースした複数の
フィールドで１フレームが構成され、それぞれ複数の画
素からなる複数のブロックに分割された画像信号を入力
する入力手段と、前記入力手段よりブロック単位で出力
された画像信号中第１のフィールドの画像信号を用いて
第２のフィールドの画像信号を補間し、前記ブロック単
位で出力する補間手段とを備える構成とした。

【００１５】

【発明の実施の形態】以下、図面を用いて本発明の実施
形態について詳細に説明する。

【００１６】図１は本発明が適用されるＶＴＲの再生系
の構成を示すブロック図である。

【００１７】本形態のＶＴＲでは、記録時にＤＣＴ、可
変長符号化等周知のブロック符号化を用いて情報量が圧
縮された画像信号を再生するものである。

【００１８】図において、再生回路１０３はテープ１０
１より前記の通り圧縮符号化された画像信号を再生し、
記録時に付加された誤り訂正符号を用いた誤り訂正処理
等周知の処理を施して可変長符号復号回路１０５に出力
する。

【００１９】可変長符号復号回路１０５は再生回路１０
３からの画像信号に対して記録時に対応した可変長符号
の復号処理を施し、逆量子化回路１０７に出力する。逆
量子化回路１０７は記録時に応じた量子化係数に従って
再生信号を逆量子化し、逆ＤＣＴ回路１０９に出力す
る。本形態における画像信号は、記録時に１フレームの
縦８画素×横８画素毎にＤＣＴ処理されており、逆ＤＣ
Ｔ回路１０９は逆量子化回路１０７から出力された画像
信号に対して逆ＤＣＴ処理を施し、ＤＣＴ係数から通常
の画像データに変換する。

【００２０】逆ＤＣＴ回路１０９からブロック単位で出
力された画像信号は後述の静止画像処理回路１１１を介
してメモリ１１３に書き込まれる。そして、メモリ１１
３からラスタスキャンの順に読み出され、出力回路１１
５により外部モニタ等に出力される。

【００２１】さて、このような構成において、操作部１
１９により静止画再生の指示があったときの動作につい
て説明する。

【００２２】制御回路１１７は操作部１１９より静止画
再生の指示があると、再生回路１０３に対してテープ１
０１の搬送を一時停止する旨の制御信号を出力すると共
に静止画像処理回路１１１に対して静止画像の処理を行
う旨の制御信号を出力する。

【００２３】図２は静止画像処理回路１１１の構成を示
す図である。

【００２４】逆ＤＣＴ回路１０９により逆ＤＣＴ処理が
施された画像信号は図３に示したような順番でブロック
単位に出力され、８画素メモリ２０１、動き量検出回路
２０７及び補間信号生成回路２０５に出力される。８画
素メモリ２０１は入力された画像信号を８画素に対応す
る期間遅延して補間信号生成回路２０５、動き量検出回
路２０７及び８画素メモリ２０３に出力する。８画素メ
モリ２０３は８画素メモリ２０１からの画像信号を更に
８画素に対応する期間遅延して補間信号生成回路２０５
及び動き量検出回路２０７に出力する。

【００２５】このように、１ブロック内で垂直方向に連
続する３画素の画像信号が補間信号生成回路２０５及び
動き量メモリ２０９に出力される。動き量検出回路２０
７は、図４に示したように、連続する３画素の画像信号
のうち、中央の画素Ｃの画像信号の値と、その上下の画
素Ａ，Ｂの画像信号の値の平均値ＡＶＥとの差βを求
め、このβを動き量として補間信号生成回路２０５及び
動き量メモリ２０９に出力する。また、動き量検出回路
２０７はそのときの画素ＡとＢとの差ＴＨも補間信号生
成回路２０５に出力する。

【００２６】ここで、各ブロックの画像信号は図３に示
したように１ｏ，２ｏ，３ｏ，４ｏで示した奇数ライン
の画像信号と１ｅ，２ｅ，３ｅ，４ｅで示した偶数ライ
ンの画像信号とから構成されている。本形態において
は、奇数フィールドの画像信号についてはそのままメモ
リ１１３に出力し、偶数フィールドの画像信号について
は動き量検出回路２０７の出力に基づいて補間信号生成
回路２０５により補間信号を生成してメモリ１１３に出
力する。

【００２７】補間信号生成回路２０５は、動き量検出回
路２０７より出力された動き量βと、画素ＡとＢの画像
信号の値の差ＴＨとに基づき、以下の式に従って画素Ｃ
の画像信号と画素ＡとＢの平均値ＡＶＥとを合成し、補
間信号を生成する。

【００２８】補間信号ｃ＝（１−α）Ｃ＋αＡＶＥ

【００２９】ここで、αは画素ＣとＡＶＥとの合成の割
合を決定するための係数である。具体的には、補間画像
生成回路２０５は図５に示したようにβの値が０〜ＴＨ
と変化する間でαの値を１．０〜０．０の間で変化させ
る。

【００３０】このときの画素ＣとＡＶＥとの合成の様子
を図６に示す。

【００３１】図６に示したように、動き量βが０のとき
には、補間画像信号として画素Ｃの画像信号をそのまま
出力し、動き量βが大きくなる程ＡＶＥの割合を増や
し、βがＴＨ以上となった場合にはＡＶＥをそのまま出
力する。

【００３２】なお、補間画素がブロックの上下端部、例
えば図３におけるライン４ｅであり、上下に連続する３
画素が全て得られない場合には、前ライン、即ちライン
３ｏの画像信号動き量を動き量メモリ２０９より読み出
し、補間信号生成回路２０５はこの１フレーム前の動き
量βを使って補間画像信号を生成する。

【００３３】同様に、ブロック端部であるために補間画
像信号の生成に用いる同一ブロック内の３画素の画像信
号を得ることができない場合、即ち、図３においてライ
ン４ｅの画素については、８画素メモリ２０１あるいは
２０３に記憶されている、例えば補間する画素の１ライ
ン上、即ちライン４ｏの画素を用いて補間画像を生成す
る。

【００３４】つまり、ライン４ｅの画像信号を補間する
ときには、動きに応じてライン４ｅの画素とライン４ｏ
の画素との合成比率を変化させて補間画像信号を得る。

【００３５】このように、本形態においては、動きに応
じて画像信号を補間することにより静止画像を得る場合
に、逆ＤＣＴ回路からブロック単位で出力された状態で
補間処理を施しているので、動き検出のために２つの８
画素分のメモリを設けるだけでよく、ラインメモリが不
要となる。

【００３６】従って、回路規模を大型化することなく、
高精細な静止画像（補間画像）を得ることができる。

【００３７】なお、本形態では図５に示したようにαの
値を連続的に変化させて補間画像を生成したが、回路の
簡略化のためにαを階段状に変化させ、図７に示す様に
補間画像信号を生成するようにしてもよい。

【００３８】また、本形態では、ブロックの大きさを８
画素×８画素としたが、これ以外のサイズでも構わな
い。例えば、ブロックの大きさを垂直ｍ画素×水平ｎ画
素とすると、図３の如く各ブロックの画像信号を出力す
る場合にはｎ画素分のメモリを２つ用意することで、同
様に補間画像を生成することが可能となる。

【００３９】また、前述の形態では、画素Ｃと画素Ａと
Ｂとの平均値ＡＶＥとに基づいて動きを検出したが、こ
れに限らず、例えば画素Ｃと画素Ａとの差分に基づいて
動きを検出してもよく、また、画素Ｃと画素Ｂとの差分
に基づいて動きを検出してもよい。この場合には８画素
ラインメモリは１つだけ設ければよく、図２のものに比
べて一層回路規模を縮小することができる。

【００４０】次に、本願の他の実施形態について説明す
る。

【００４１】図８は本発明が適用されるＶＴＲの記録系
の構成を示すブロック図である。なお、図１と同様の構
成については同一番号を付して説明する。

【００４２】図において、撮像回路３０１は被写体像を
撮像し、画像信号に変換してメモリ３０３に書き込む。
静止画像処理回路１１１はメモリ３０３に書き込まれた
画像信号を図３に示した順に８画素×８画素のブロック
単位で読み出し、ＤＣＴ回路３０５に出力する。

【００４３】ＤＣＴ回路３０５はブロック単位で読み出
された画像信号に対してＤＣＴ処理を施し、ＤＣＴ係数
に変換して量子化回路３０７に出力する。ＤＣＴ回路３
０５より出力された画像信号は、量子化回路３０７にお
いて、所定数のブロック毎に一定の符号量になるように
決定された量子化係数で量子化され、更に可変長符号化
回路３０９において符号化され、記録回路３１１に出力
される。記録回路３１１は可変長符号化回路３０９によ
り符号化された画像信号に対して同期信号の不可、誤り
訂正符号化、デジタル変調等の処理を施し、テープ１０
１に記録する。

【００４４】さて、このような図７の構成において、操
作部１１９により静止画記録の指示があった場合、制御
回路１１７はメモリ３０３に対して画像信号の書き込み
を禁止するよう制御信号を出力すると共に、静止画像処
理回路１１１に対してその旨を示す制御信号を出力す
る。

【００４５】静止画像処理回路１１１は図２に示したも
のと同様の構成であり、図１の実施形対と同様にメモリ
３０３からブロック単位で出力される画像信号の動きを
検出し、この動きに基づいて補間画像信号を生成する。

【００４６】静止画像生成回路１１１により生成された
静止画像信号は、通常の記録時と同様にブロック単位に
ＤＣＴ回路３０５に出力され、圧縮符号化された後、記
録される。

【００４７】このように、本形態においても、動きに応
じて画像信号を補間することにより静止画像を得る場合
に、逆ＤＣＴ回路からブロック単位で出力された状態で
補間処理を施しているので、動き検出のために２つの８
画素分のメモリを設けるだけでよく、ラインメモリが不
要となる。

【００４８】特に、撮像素子として、インタレース読み
出し式のＣＣＤを使った場合に、従来の方式に比べて顕
著な効果を得ることができる。

【００４９】なお、前述の実施形態では、本発明をＶＴ
Ｒに対して適用した場合について説明したが、これに限
らず、ブロック単位で処理された画像信号を補間する場
合に本発明を適用可能であり、同様の効果を有する。

【００５０】また、図２に示した動き量検出回路２０７
による動き検出処理、及び、補間信号生成回路２０５に
よる補間信号の生成処理はマイクロコンピュータを用い
たソフトウェア処理により実行可能であり、この場合に
も前述の実施形態と同様の効果を有する。

【００５１】また、このときプログラムの各ステップを
記憶したコンピュータ読み取り可能な記憶媒体も当然本
発明の構成となる。

【００５２】

【発明の効果】以上説明したように、本発明によれば、
一方のフィールド画像信号を用いて他方のフィールド画
像信号を補間する際、回路規模を大型化することなく高
精細な補間画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明が適用されるＶＴＲの再生系の構成を示
す図である。

【図２】図１の静止画像処理回路の構成を示す図であ
る。

【図３】図２の回路にて扱う画像信号の様子を示す図で
ある。

【図４】図２の回路の動き検出動作を説明するための図
である。

【図５】図２の回路の動作を説明するための図である。

【図６】図２の回路の動作を説明するための図である。

【図７】図２の回路の動作を説明するための図である。

【図８】本発明が適用されるＶＴＲの記録系の構成を示
す図である。

Claims (15)

【特許請求の範囲】
1. 【請求項１】 互いにインタレースした複数のフィール
   ドで１フレームが構成され、それぞれ複数の画素からな
   る複数のブロックに分割された画像信号を入力する入力
   手段と、 前記入力手段よりブロック単位で出力された画像信号中
   第１のフィールドの画像信号を用いて第２のフィールド
   の画像信号を補間し、前記ブロック単位で出力する補間
   手段とを備える画像処理装置。
2. 【請求項２】 前記第１フィールドの画像と第２フィー
   ルドの画像の間の動きを検出する動き検出手段を備え、
   前記補間手段は前記動き検出手段の検出結果に従って前
   記補間処理を行うことを特徴とする請求項１記載の画像
   処理装置。
3. 【請求項３】 前記補間手段は前記第１フィールドの画
   像信号と第２フィールドの画像信号とを合成することに
   より補間画像信号を生成し、前記動き検出結果に従って
   前記合成の割合を決定することを特徴とする請求項２記
   載の画像処理装置。
4. 【請求項４】 前記各ブロックは垂直方向ｍ画素×水平
   方向ｎ画素（ｍ、ｎはそれぞれ２以上の整数）から構成
   されていることを特徴とする請求項２記載の画像処理装
   置。
5. 【請求項５】 前記動き検出手段は前記入力手段より出
   力されたｎ画素分の画像信号を保持可能な保持手段を有
   し、前記動き検出手段は前記保持手段に供給されるべき
   画像信号と前記保持手段から出力された画像信号とを用
   いて動きを検出することを特徴とする請求項４記載の画
   像処理装置。
6. 【請求項６】 前記動き検出手段は入力手段より出力さ
   れたｎ画素分の画像信号を保持する第１の保持手段と、
   前記第１の保持手段より出力されるｎ画素分の画像信号
   を保持する第２の保持手段とを有し、前記動き検出手段
   は前記第１の保持手段に供給されるべき画像信号と前記
   第１の保持手段から出力された画像信号及び前記第２の
   保持手段から出力された画像信号を用いて動きを検出す
   ることを特徴とする請求項４記載の画像処理装置。
7. 【請求項７】 前記画像信号は前記ブロック単位で符号
   化されており、前記入力手段は前記画像信号を復号して
   前記ブロック単位で出力する復号手段を含むことを特徴
   とする請求項１記載の画像処理装置。
8. 【請求項８】 前記入力手段は撮像手段と、前記撮像手
   段により得られた画像信号を記憶するメモリとを有し、
   前記メモリより前記ブロック単位に画像信号を読み出し
   て出力することを特徴とする請求項１記載の画像処理装
   置。
9. 【請求項９】 静止画像出力を指示する指示手段を備
   え、前記補間手段は前記指示手段の指示に応じて前記補
   間処理を行うことを特徴とする請求項１記載の画像処理
   装置。
10. 【請求項１０】 前記補間手段は前記ブロックの上もし
    くは下の端部とそれ以外の部分とで異なる補間処理を行
    うことを特徴とする請求項１記載の画像処理装置。
11. 【請求項１１】 互いにインタレースした複数のフィー
    ルドで１フレームが構成され、それぞれ複数の画素から
    なる複数のブロックに分割された画像信号を入力し、 前記ブロック単位で入力された画像信号中第１のフィー
    ルドの画像信号を用いて第２のフィールドの画像信号を
    補間し、前記ブロック単位で出力することを特徴とする
    画像処理方法。
12. 【請求項１２】 前記第１フィールドの画像と第２フィ
    ールドの画像の間の動きを検出し、前記動き検出結果に
    従って前記補間処理を行うことを特徴とする請求項１１
    記載の画像処理方法。
13. 【請求項１３】 前記第１フィールドの画像信号と第２
    フィールドの画像信号とを合成することにより補間画像
    信号を生成し、前記動き検出結果に従って前記合成の割
    合を決定することを特徴とする請求項１２記載の画像処
    理方法。
14. 【請求項１４】 前記画像信号は記録媒体より再生され
    た信号であることを特徴とする請求項１１記載の画像処
    理方法。
15. 【請求項１５】 前記画像信号は撮像手段により撮像さ
    れた画像信号であることを特徴とする請求項１１記載の
    画像処理方法。