JP2006238022A - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】監視カメラシステム等において、インターレース動画像の動きの大きな区間における画質を改善し、かつ、動きを滑らかに再生する。
【解決手段】ビデオ入力部２０１はインターレース動画像のフレームデータをデータ保存部１０１に入力し、動き量推定部１０２は、その動画像の動き量を推定する。編集制御部１０４は、推定された動き量に応じて、動画像編集部１０３におけるフレームデータ生成方法を制御する。この制御により、動画像編集部１０３において、動画像の動き量が大きな区間では、フィールド分割部２００でフレームデータを分割したフィールドデータを用い、１のフィールドデータから１のフレームデータを合成することにより、物体の動きによる「櫛型ノイズ」を除去したフレームデータを生成するとともにフレーム数を増加させる編集を行う。編集後のフレームデータは出力処理部１０５により出力される。
【選択図】図７

Description

本発明は、インターレース動画像に対し動き量を考慮した処理を行う画像処理装置及び方法に係り、特に、インターレース動画像の動き量が大きい区間における再生画質等の改善を図る画像処理装置及び方法に関する。

店舗などの各種施設や街路などに設置したビデオカメラにより撮影された動画像をディスプレイに表示し、ビデオカメラ設置場所の様子を監視する監視カメラシステムが広く普及している。また、景勝地や街路などに設置したビデオカメラで撮影した動画像をリアルタイムにインターネットなどを通じ配信するようなシステムも普及している。また、最近はカメラ機能付きの携帯電話が普及し、携帯電話で撮影した動画像を他の形態電話で受信し再生するも増加している。

さて、動画像の符号化方式としてはＭＰＥＧが広く用いられているが、それに代わる符号化方式としてＭｏｔｉｏｎ−ＪＰＥＧ２０００(ISO/IEC 15444-3)が注目されている。ＭＰＥＧの動画像は主フレームと差分フレームとがあり、主フレームにエラーが生じるとその影響が他のフレームへも波及するが、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像は各フレームが独立しているため、そのようなエラーの波及という問題がない。また、Ｍｏｔｉｏｎ−ＰＥＧ２０００の動画像の各フレームはＪＰＥＧ２０００(ISO/IEC 15444-1)により符号化される。ＪＰＥＧ２０００は周波数変換に離散ウェーブレット変換を採用した符号化方式であり、高圧縮率においても高い画像品質を維持できるなどの多くの利点を有する。

Ｍｏｔｉｏｎ−ＪＰＥＧ２０００あるいはＪＰＥＧ２０００の応用に関する公知文献としては、例えば特許文献３，４，５がある。

本発明においては、動画像の動き量を考慮するが、特許文献３には離散ウェーブレット変換によって得られるＬＬサブバンド係数を、フレーム間で、フレーム単位又はタイル単位で比較することにより、画像の動きを検出する方法が記載されている。また、画像の動きの検出に関連し、インターレース画像において、動きにより「櫛形ノイズ」が生じる現象があるが、この現象について特許文献４，５，６，７に記載されている。

本発明においては、インターレース動画像に、必要に応じてフレームを合成し補間する処理が行われる。かかるフレーム編集処理と直接関係するものではないが、ＴＶ信号や映画のフレーム周波数などを変換するための映像周波数変換装置において、フィールド信号からフレーム信号を合成する方法が特許文献１に記載されている。また、特許文献２に、２つのフィールドを１列づつ合間合間に挿入する方式でインタレース走査フレームを構成するインタレース走査ビデオにおいて、２進形状情報ブロックに対し動き量を推定し、その動き量によって２進形状情報ブロックのタイプを決定する発明が記載されている。

特開2002-300537号公報 特開平11-177980号公報 特開2001-309381号公報 特開2001-197499号公報 特開2001-326936号公報 特開2002-64830号公報 特開2002-271789号公報

例えば監視カメラシステムの場合、動画像の動きのある区間が重要である。すなわち、動きが大きい区間では異常が発生している可能性が高いため、その区間の映像を詳しく確認できることが望ましい。監視の目的によっては、動きのある区間を静止画像として確認したいことも少なくない。しかし、監視カメラ等で撮影される動画像は一般にインターレース動画像であるため、被写体等の動きの早い区間のフレームにおいて、いわゆる「櫛型ノイズ」による画質劣化が生じ、これが被写体等の確認の妨げになるという問題がある。この櫛型ノイズについて、図１及び図２により簡単に説明する。

図１に示すように、インターレース動画像の各フレームのデータは奇数ラインのみを飛び越し走査した奇数フィールドのデータと、偶数ラインのみを飛び越し走査した偶数フィールドのデータとから構成される。

図２は、このようなインターレース動画像における櫛型ノイズの発生の様子を示すもので、左側の図はフレームを示し、右側の図はフレームを分解した奇数フィールドと偶数フィールドを示し、図中のハッチング部は動きのある被写体の像を示している。奇数フィールドと偶数フィールドの間には走査の時間差があるため、フィールド間で被写体が横方向に移動すると、右側の図に示すように、奇数フィールド中の被写体等の位置と偶数フィールド中の被写体等の位置にずれが生じる。その結果、左側の図に見られるように、奇偶フィールドから構成されるフレームにおいて、被写体の左右の輪郭部に１ライン置きのエッジが発生するが、これが櫛型ノイズであり、画質を大きく劣化させる。

よって、本発明の主たる目的は、監視カメラシステムのようなインターレース動画像を処理するシステムにおいて、動画像の動きのある区間における再生画質の向上を図ることにある。

さて、動画像がネットワーク経由で転送されるシステムでは、ネットワークの混雑などにより、動きのある区間のフレームで転送遅滞が起こると、映像の動きが著しく不自然になったり、最悪の場合には動きが一時的に止まってしまうことがある。また、転送遅滞などが起こらない場合であっても、受信側の再生フレームレートに比べ素早い動きがある区間では動きが滑らかに再生されないことがある。このように動きがスムーズに再生されないと、映像内容の確認等に不都合なことがある。一方、監視カメラシステムなどの場合、動画像の動きの少ない区間ではフレームを省略しても不都合はなく、かえって映像の確認を効率的に行うことができるので望ましいことがある。

よって、本発明の他の目的は、監視カメラシステムのようなインターレース動画像を処理するシステムにおいて、動画像の動きの大きい区間で動きの滑らかな再生を可能にすること、動きのある区間の効率的な映像確認を可能にすること、動画像データの転送もしくは復号処理の遅滞による悪影響を軽減することなどである。

請求項１記載の発明は、編集前のインターレース動画像の編集処理を行う動画像編集手段と、前記編集前のインターレース動画像の動き量を推定する動き量推定手段とを有し、前記動画像編集手段は、前記動き量推定手段により推定された動き量が基準より大きな区間では、前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成することを特徴とする画像処理装置である。

請求項２記載の発明は、請求項１記載の発明に係る画像処理装置であって、前記動画像編集手段は、前記動き量推定手段により推定された動き量が基準より大きな区間では編集後のフレーム数を編集前より増加させることを特徴とする画像処理装置である。

請求項３記載の発明は、請求項１又は２記載の発明に係る画像処理装置であって、前記動画像編集手段は、前記動き量推定手段により推定された動き量が基準以下の区間では、前記編集前のインターレース動画像の一部のフレームデータを削除することにより編集後のフレーム数を編集前より減少させることを特徴とする画像処理装置である。

請求項４記載の発明は、請求項１記載の発明に係る画像処理装置であって、前記動画像編集手段において１のフィールドデータから１のフレームデータを生成する方法を複数の方法の中からユーザが選択可能であることを特徴とする画像処理装置である。

請求項５記載の発明は、請求項１記載の発明に係る画像処理装置であって、前記動画像編集手段において、前記動き量推定手段により推定された動き量が基準より大きい区間では、前記編集前のインターレース動画像の１のフィールドデータの走査されないラインのデータをその近傍ラインのデータを用いて補間することにより、１の編集後のフレームデータを生成することを特徴とする画像処理装置である。

請求項６記載の発明は、請求項１記載の発明に係る画像処理装置であって、前記動画像編集手段において、前記動き量推定手段により推定された動き量が基準より大きい区間では、前記編集前のインターレース動画像の１のフィールドデータの各ラインのデータを１画素おきに間引くことにより、縦方向及び横方向がそれぞれ１／２のサイズに縮小された１の編集後のフレームデータを生成することを特徴とする画像処理装置である。

請求項７記載の発明は、請求項１記載の発明に係る画像処理装置であって、前記動画像編集手段において、前記動き量推定手段により推定された動き量が基準より大きい区間では、前記編集前のインターレース動画像の１のフィールドデータに対し各ラインのデータを１画素おきに間引く処理を行った後、縦方向及び横方向を２倍に拡大する処理を行うことにより、１の編集後のフレームデータを生成することを特徴とする画像処理装置である。

請求項８記載の発明は、編集前のインターレース動画像の編集処理を行う動画像編集手段と、前記編集前のインターレース動画像の動き量を推定する動き量推定手段とを有し、前記動画像編集手段は、前記編集前のインターレース動画像の撮像フレームレートより指定された再生フレームレートが大きい場合に、前記動き量推定手段により推定された動き量が基準より大きい区間で、前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成し、前記撮像フレームレートが前記再生フレームレート以上の場合に前記編集前のインターレース動画像の一部のフレームデータを削除することを特徴とする画像処理装置である。

請求項９記載の発明は、通信路を通じて転送された符号データを復号して編集前のインターレース動画像を生成する復号処理手段と、前記通信路を通じた符号データのフレーム転送時間間隔及び前記復号処理手段によるフレーム復号完了時間間隔からフレーム時間間隔を求める時間計測手段と、前記編集前のインターレース動画像の動き量を推定する動き量推定手段と、前記編集前のインターレース動画像の編集処理を行う動画像編集手段とを有し、前記動画像編集手段は、前記時間計測手段により計測されたフレーム時間間隔がその基準より大きい場合に、前記動き量推定手段により推定された動き量がその基準より大きい区間では前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成することを特徴とする画像処理装置である。

請求項１０記載の発明は、請求項９記載の発明に係る画像処理装置であって、前記符号データは階層構造を持つ符号データであり、前記時間計測手段により求められたフレーム時間間隔がその基準より大きいフレームに関しては、前記復号処理手段で復号処理が最下位階層まで完了する前であってもフレームデータを生成させるように前記復号処理手段を制御する手段をさらに有することを特徴とする画像処理装置である。

請求項１１記載の発明は、インターレース動画像の編集を行う動画像編集工程と、編集前のインターレース動画像の動き量を推定する動き量推定工程とを有し、前記動画像編集工程において、前記動き量推定工程により推定された動き量が基準より大きな区間では、前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成することを特徴とする画像処理方法である。

請求項１２記載の発明は、請求項１１記載の発明に係る画像処理方法であって、前記動画像編集工程において、動き量が基準より大きな区間における編集後のフレーム数を編集前より増加させることを特徴とする画像処理方法である。

請求項１３記載の発明は、請求項１１又は１２記載の発明に係る画像処理方法であって、前記動画像編集工程において、前記動き量推定工程により推定された動き量が基準以下の区間では、一部のフレームデータを削除することにより編集後のフレーム数を編集前より減少させることを特徴とする画像処理方法である。

請求項１４記載の発明は、編集前のインターレース動画像の編集を行う動画像編集工程と、前記編集前のインターレース動画像の動き量を推定する動き量推定工程とを有し、前記動画像編集工程において、前記編集前のインターレース動画像の撮像フレームレートより指定された再生フレームレートが大きい場合に、前記動き量推定工程により推定された動き量が基準より大きな区間で前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成し、前記撮像フレームレートが前記再生フレームレート以上の場合に前記編集前のインターレース動画像の一部のフレームデータを削除することを特徴とする画像処理方法である。

請求項１５記載の発明は、通信路を通じて転送された符号データを復号して編集前のインターレース動画像を生成する復号処理工程と、前記通信路を通じた符号データのフレーム転送時間間隔及び前記復号処理工程によるフレーム復号完了時間間隔からフレーム時間間隔を求める時間計測工程と、前記編集前のインターレース動画像の動き量を推定する動き量推定工程と、前記編集前のインターレース動画像の編集を行う動画像編集工程とを有し、前記動画像編集工程において、前記時間計測工程により求められたフレーム時間間隔がその基準より大きい場合に、前記動き量推定工程により推定された動き量がその基準より大きい区間で前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成することを特徴とする画像処理方法である。

請求項１６記載の発明は、請求項１乃至１０のいずれか１項記載の発明に係る画像処理装置の各手段としてコンピュータを機能させるプログラムである。

請求項１７記載の発明は、請求項１乃至１０のいずれか１項記載の発明に係る画像処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

本発明によれば、以下のような効果を得られる。
（１）請求項１乃至１５の発明によれば、動き量の大きい区間では１のフィールドデータから１の編集後のフレームデータが生成されるので、編集後の動画像を再生した場合には、フィールド間の物体の動きに起因する櫛型ノイズによる画質劣化が生じない。このことは、監視カメラシステムなどにおいて、動きのある区間を詳しく観察する場合や静止画として出力させる場合に好都合である。
（２）動き量の大きい区間において、編集前の全てのフィールドデータをフレームデータの生成に利用すれば編集後のフレーム数を編集前より倍増させることができるが、奇数フィールドデータ又は偶数フィールドデータのみ用いるならば編集前後のフレーム数を同一とすることもできる。このように、動きのある区間におけるフレーム数（フレーム密度）の増減が可能であるが、請求項２，１２の発明のよれば動きの区間のフレーム数が増加するため、その動きがより滑らかに再生されるので、その監視等に好都合である。
（３）請求項３，８，１３，１４の発明によれば、動き量が小さい区間でフレーム数（フレーム密度）が減少し、その再生時間が短縮される。このことは、監視カメラシステムなどのおいて、重要度が一般に低い動きの小さな区間の確認を効率的に行うことができるため、好都合である。
（４）１のフィールドデータからフレームデータを合成する方法としては例えば請求項５，６，７の発明のような方法を用いることができるが、その合成方法の違いにより処理負荷やフレームデータの画質等を左右する。請求項４の発明によれば、ユーザがフレームレート、処理能力、必要とする画質レベル等を考慮して最適な合成方法を選択可能になるという利点がある。
（５）請求項９，１０，１５の発明によれば、転送遅延や復号処理遅延によりフレーム時間間隔が増大した場合でも、１のフィールドデータから１の編集後のフレームデータを生成するためフレーム数を容易に増加させることができるため、動きの滑らかな再生が可能となる。請求項１０の発明によれば、復号処理を完了できないフレームが生じても、そのフレームの欠落を回避できる。
（６）請求項１６，１７の発明によれば、コンピュータを利用して容易に請求項１乃至１０の発明に係る画像処理装置を実現することが可能になる。

本発明に係る画像処理装置の基本構成は図３のように表すことができる。図３において、データ保存部１０１は、入力された（編集前の）インターレース動画像のデータ（フレームデータ又はフィールドデータ）、編集後の動画像のフレームデータ及び編集処理の中間データを一時的に保存する手段である。動き量推定部１０２は、入力された動画像の動き量（フレーム間の動き量又はフレームを構成する奇偶フィールド間の動き量）を推定する手段である。動画像編集部１０３は、入力された動画像データの編集処理を行うから出力すべき動画像データを生成する編集処理を行う手段であり、フィールドデータからのフレームデータの生成のほか、必要に応じてフレームの削除の処理も行う。編集制御部１０４は、動き量推定部により推定された動き量などに応じて、動画像編集部１０３におけるフレーム生成方法等を制御する手段である。この編集制御部１０４と動画像編集部１０３は請求項１〜７に係る動画像編集手段を構成するものである。出力処理部１０５は、動画像編集部１０３により編集後の動画像のフレームデータを外部の大容量記憶装置に保存したり、表示装置へ出力したり、あるいは、伝送路を経由した外部へ転送したりする処理を行う手段である。なお、動き量の大小とは、画像中のオブジェクトの移動速度が速いか遅いかということである。

動画像編集部１０３は、推定された動き量が基準より大きな区間では、編集前の１のフィールドデータから１の編集後のフレームデータを生成するので、編集前のインターレース動画像のデータがフレームデータとして入力された場合には、そのフレームデータを奇偶フィールドデータに分割する必要がある。後記実施例では、このフィールド分割のためのフィールド分割部が動画像編集部１０３と分離した形で示されるが、これは動画像編集部１０３とともに動画像編集手段を構成する要素である。

図３に示す基本構成によって実行される処理は、請求項１１〜１３に係る画像処理方法による処理でもある。すなわち、動き量推定部１０２は動き量推定工程に対応し、また、動画像編集部１０３及び編集制御部１０４から構成される動画像編集手段は動画像編集工程に対応するものである。

図４乃至図６は動画像編集部１０３による編集の例を示す模式図である。各図において（ａ）は入力された（編集前の）インターレース動画像の一連のフレームを構成するフィールドデータの系列を示し、また、（ｂ）と（ｃ）は編集後のフレームデータの系列を示している。

図４には基本的な編集処理の例が示されている。この例の場合、動き量推定部１０２により推定された動画像の動き量の小さな区間では、編集後のフレームデータは連続した奇数フィールドデータと偶数フィールドデータとから合成されたものである。なお、編集前の動画像データがフレームデータならば、そのフレームデータをそのまま編集後のフレームデータとして用いることができるが、編集前のデータがフィールドデータの場合には、奇数フィールドデータと偶数フィールドデータとから編集後のフレームデータを合成する処理を行う。

一方、図４の例で、動き量が大きい区間においては、１つのフィールドデータから１の編集後のフレームデータが生成される。このように動き量の大きい区間においては、１つのフィールドデータからフレームデータを生成する方法をとることにより、編集後のフレームデータからオブジェクトの動きによる櫛型ノイズの影響を除去し画質を改善することができる。１のフィールドデータからフレームデータを生成する具体的な方法については後述する。

また、動き量の大きな区間で生成されるフレーム数（フレーム密度）は、フレームデータの生成に用いるフィールドデータの選択により調整できる。例えば奇数フィールドデータ又は偶数フィールドデータの一方のみ用いてフレームデータを生成するならば、図４の（ｂ）に示すように、動き量の大きな区間も小さな区間も均等なフレーム数とすることができる。一方、全てのフィールドデータを用いるならば、図５の（ｂ）に示すように、動き量の大きな区間のフレーム数を動き量の小さい区間のフレーム数に比べ倍増させることができる。監視カメラシステム等では動きのある区間を詳しく監視したいことが多いので、動き量の大きい区間のフレーム数が増加すると動きが滑らか再生され都合が良い。

なお、動き量の小さい区間では、フレームの間引き（一部フレームの削除）を行うこともできる。監視カメラシステム等では、動きない区間などのフレーム数を削減したほうが、動きのある区間の検索・確認を効率的に行うことができるという利点がある。

また、後述のように、本発明に係る画像処理装置は、フレームレートの指定やフレーム時間間隔の測定のための手段を備えることができ、動画像の動き量のみならずフレームレートもしくはフレーム時間間隔をも考慮した動画像編集処理を行うことができる。

以下、本発明に係る画像処理装置について具体的に説明する。この説明に参照される複数の図において、説明の重複を減らす目的で、同一又は同様な要素には同一の参照番号が用いられる。

図７は本発明の実施例１に係る画像処理装置のブロック図である。本実施例に係る画像処理装置は、ビデオ入力部２０１とフィールド分割部２００を備える。

ビデオ入力部２０１は、ビデオカメラ等で撮影されたインターレース動画像のフレームデータを入力する手段であり、入力されたフレームデータはデータ保存部１０１に一時的に記憶される。フィールド分割部２００は、データ保存部１０１より入力された動画像のフレームデータを読み込み、各フレームデータを奇数フィールドデータと偶数フィールドデータに分割する手段であり、分割されたフィールドデータはデータ保存部１０１に一時的に記憶される。

編集制御部１０３は、図８に示すように、入力された動画像の各フレーム毎に、動き量推定部により推定された動き量と所定の動き量基準との大小比較判定を行い（ｓｔｅｐ１）、動き量が動き量基準より大きい場合に１のフィールドデータから１の編集後のフレームデータを生成させるように動画像編集部１０３を制御し、そうでない場合には２フィールドデータから編集後のフレームデータを合成させるように動画像編集部１０３を制御する。

２フィールドデータからフレームデータを合成する方法では、入力動画像のフレームを構成した２フィールドデータからそのままフレームデータを合成するのが基本であるが、連続したフレーム（ｎ）とフレーム（ｎ＋１）の走査時間の接近した２フィールド、すなわち、図１に示したような奇数フィールドが先に走査されるフレーム構成のインターレース動画像の場合であれば、フレーム（ｎ）の偶数フィールドと次のフレーム（ｎ＋１）の奇数フィールドデータとを合成してフレームデータを生成してもよい。前者の合成方法の場合、編集の前後のフレームデータは同一であるから、編集前のフレームデータをそのまま編集後のフレームデータとして出力するようにしてもよく、この場合には、フレームデータのフィールドデータへの分割は不要である。

なお、動き量の小さい区間で一部のフレームデータを削除してもよい。また、動き量の大きい区間において、フレーム数を変化させたくない場合には、奇数フレームデータ又は偶数フレームデータの一方のみ用いてフレームデータを生成してもよい。

ここまでの説明から明らかなように、本実施例は請求項１〜３に係る発明の一実施例であり、また、請求項１１〜１３に係る発明の一実施例でもある。

さて、１フィールドデータから１のフレームデータを生成する方法は以下のＡ〜Ｄの４つのタイプがあり、図示されていないが、いずれのタイプを選択するかを動画像編集部１０３に対しユーザが指定することができる。図９は、これらのフレームデータ生成方法の理解を助けるための概念図である。

タイプＡ：フィールドデータに単純に補間処理を施すことによりフレームデータを生成する方法である。フィールドデータは奇数ライン又は偶数ラインを飛び越し走査したものであるから、走査されない（データのない）偶数ライン又は奇数ラインのデータを近傍ラインのデータを用いて補間する方法である。この際、フィルタリングなどの画質向上のための処理を施してもよい。

タイプＢ：フィールドデータの各ラインのデータを１画素おきに削除することにより、縦方向がフレームデータの１／２サイズ（フィールドデータはもともとライン数がフレームデータの半分）、横方向がフレームデータの１／２サイズの縮小フレームデータを生成する方法である。なお、フレームデータ生成の際にフィルタリングなどの画質向上のための処理を施してもよい。

タイプＣ：フィールドデータよりタイプＢと同様の方法により縦横が１／２サイズの縮小フィールドデータを生成し、これを拡大処理により縦横に２倍に拡大して本来のサイズのフレームデータを生成する。なお、フレームデータの生成の際にフィルタリングなどの画質向上のための処理を施してもよい。

タイプＤ：フィールドデータの走査されないラインのデータを、同じフィールドデータからタイプＣの方法で生成されたフレームデータの近傍ラインのデータを用いて補間することにより、最終的なフレームデータを生成する。この際、フィルタリングなどの画質向上のための処理を施してもよい。

以上から、本実施例は請求項４〜７に係る発明の一実施例でもある。

図１０は本発明の実施例２に係る画像処理装置のブロック図である。本実施例に係る画像処理装置は、ビデオ入力部２０１とデータ保存部１０１との間に、ビデオデータ保存部２０２、符号化処理部２０３、符号データ保存部２０４及び復号処理部２０５が介在する点が前記実施例１（図７）と異なる。

ビデオカメラ等で撮影されたインターレース動画像のフレームデータがビデオ入力部２０１により入力され、ビデオデータ保存部２０２に一時的に記憶される。符号化処理部２０３は、ビデオデータ保存部２０２よりインターレース動画像のフレームデータを読み込み、ＪＰＥＧ２０００によりフレームベースで符号化し、符号データを生成する。この符号データは符号データ保存部２０４に一時的に保存される。復号処理部２０５は、符号データ保存部２０４より各フレームの符号データを取り込んで復号し、画素値データであるフレームデータを生成する。このフレームデータはデータ保存部１０１に一時的に保存される。この編集前の動画像データに対し、動画像編集部１０３により、前記実施例１の場合と同様な編集処理が行われる。すなわち、動き量推定部１０２により推定された動き量が所定の動き量基準より大きい場合に、動画像編集部１０３で１フィールドデータから編集後の１のフレームデータが生成され、そうでない場合には２フィールドデータから編集後のフレームデータが生成される（又は入力動画像の対応フレームデータがそのまま用いられる）。

なお、動き量の小さい区間でフレームデータの間引きを行ってもよい。また、動き量の大きい区間において、フレーム数を変化させたくない場合には、奇数フレームデータ又は偶数フレームデータの一方のみ用いてフレームデータを生成してもよい。

以上より、本実施例は請求項１〜７，１１〜１３に係る発明の一実施例である。

図１１は本発明の実施例３に係る画像処理装置のブロック図である。本実施例に係る画像処理装置は、フィールド分割部２００が符号化処理部２０３の前段側に設けられ、それに関連してフィールドデータ保存部２０６が追加された点が前記実施例２（図１０）と異なる。

すなわち、ビデオカメラ等で撮影されたインターレース動画像のフレームデータがビデオ入力部２０１により入力され、ビデオデータ保存部２０２に一時的に保存される。フィールド分割部２００は、ビデオデータ保存部２０２よりフレームデータを読み込み、これを奇数フィールドデータと偶数フィールドデータとに分割してフィールドデータ保存部２０６に一時的に保存する。符号化処理部２０３は、フィールドデータ保存部２０６よりインターレース動画像の各フレームのフィールドデータを読み込み、ＪＰＥＧ２０００によりフィールドベースで符号化し、符号データを生成する。この符号データは符号データ保存部２０４に一時的に保存される。復号処理部２０５は、符号データ保存部２０４よりフィールドの符号データを取り込み復号し、画素値データであるフィールドデータを生成し、それをデータ保存部１０１に保存する。

このように、データ保存部１０１に入力される編集前の動画像データは予めフィールドデータの形をとっているため、編集処理に際してフィールド分割は不要である。動画像編集部１０３による編集処理の内容は前記実施例１の場合と同様である。

なお、動き量の小さい区間でフレームデータの間引きを行ってもよい。また、動き量の大きい区間において、フレーム数を変化させたくない場合には、奇数フレームデータ又は偶数フレームデータの一方のみ用いてフレームデータを生成してもよい。

以上から、本実施例は請求項１〜７，１１〜１３に係る発明の一実施例である。

図１２は本発明の実施例４に係る画像処理装置のブロック図である。本実施例に係る画像処理装置は、動画像編集部１０３と独立させて画質向上処理部２０７が設けられている点が前記実施例２（図１０）と異なる。この画質向上処理部２０７は、データ保存部１０１にある編集後の動画像のフレームデータに対し、その出力処理に先立って、例えばエッジ強調フィルタリング等の画質向上のための処理を施す手段である。

図１３は本発明の実施例５に係る動画像処理装置のブロック図である。本実施例に係る画像処理装置は、ユーザがフレームレートを指定するためのフレームレート指定部２０８と、指定されたフレームレートを保存するフレームレート保存部２０９とが追加され、編集制御部１０４が動き量とフレームレートの両方に基づいて動画像編集部１０３を制御する点が前記実施例２（図１０）と異なる。ここで、指定されるフレームレートとは、編集前の動画像のテレビカメラなどの撮像フレームレートと、出力処理部１０５より出力される編集後の動画像の再生フレームレートである。

図１４は編集制御部１０４による制御を説明するためのフローチャートである。まず、再生フレームレートと撮像フレームレートとを比較し（ｓｔｅｐ１１）、再生フレームレートが撮像フレームレートより大きい場合には、推定された動き量の大小によりフレームの生成方法を決定する（ｓｔｅｐ１２）。すなわち、推定された動き量が動き量基準より大きいときには、１のフィールドデータから１の編集後のフレームデータを生成する方法を動画像編集部１０３に選択させ（ｓｔｅｐ１３）、そうでないときには２フィールドデータから編集後のフレームデータを生成する方法を動画像編集部１０３に選択させる（ｓｔｅｐ１４）。

他方、再生フレームレートが撮像フレームレート以下の場合（再生フレーム時間間隔が長い場合）、動画像編集部１０３にフレーム削減（間引き）を行わせる（ｓｔｅｐ１５）。この場合、図１４には示さないが、フレームの生成方法として、動き量の大きい区間では１フィールドデータからフレームデータを生成する方法を選択し、動き量の小さい区間では２フィールドデータからフレームデータを生成する方法を選択する。

以上から、本実施例は請求項８，１４に係る発明の一実施例である。

図１５は本発明の実施例６に係る動画像処理装置のブロック図である。本実施例に係る画像処理装置は、符号データ保存部２０４から符号データ保存部２１１へ符号データを通信路を介して転送するための転送処理部２１０、時間データ保存部２１２及び時間計測部２１３が追加されていることが前記実施例２（図１０）と異なる。

転送処理部２１０による符号データの転送処理に時間がかかりすぎたり、復号処理部２０５による復号処理に時間がかかりすぎると、出力処理部１０５の出力フレームレートが低下し、再生画像の動きが一時的に止まってしまうことがある。動きのない区間で再生画像の動きが止まっても格別問題とはならないが、動きの激しい区間で動きが止まることは監視カメラシステムなどでは大きな問題である。監視カメラシステムなどでは動きの激しい区間こそ詳しく確認したいからである。

かかる問題を解決するため、本実施例においては、転送処理部２１０によるフレームの転送処理（受信処理）時間に関するデータと、復号処理部２０５によるフレームの復号処理時間に関するデータを保存するための時間データ保存部２１２と、この時間データ保存部２１２に保存された時間データからフレーム時間間隔を求める時間計測部２１３が追加されている。そして、編集制御部１０４において、動き量推定部１０２により推定された動き量に加え、時間計測部２１３で計算されたフレーム時間間隔を考慮して、動画像編集部１０３におけるフレームデータ生成方法の制御などを行う。

フレーム時間間隔は、典型的には、フレームの受信時間間隔あるいは復号処理終了の時間間隔のうちの長い（遅い）方の時間間隔によって決まり、これが本実施例でも採用される。

図１６は編集制御部の制御フローを示す。編集制御部１０４は、編集前の動画像の各フレーム毎に、時間計測部２１３により計測されたフレーム時間間隔及び動き量推定部１０２により推定された動き量を、それぞれの基準値と比較する（ｓｔｅｐ２１，ｓｔｅｐ２２）。フレーム時間間隔が基準より大きく、かつ、動き量が基準より大きい場合には、１フィールドデータから１の編集後のフレームデータを生成する方法を動画像編集部１０３に選択させる（ｓｔｅｐ２３）。この場合、フィールド数を増加させる。

一方、フレーム時間間隔が基準以下であるか、又は、動き量が基準以下である場合には、２フィールドデータから１の編集後のフレームデータを生成する方法を動画像編集部１０３に選択させる（ｓｔｅｐ２４）。

図５の（ｃ）は本実施例における編集例である。すなわち、動き量の大きい区間において、フレーム時間間隔が大きい部分でのみ１フィールドデータからフレームデータを生成させる方法を選ぶことによりフレーム数を増加させる。このようにすることにより、動き量が大きくかつフレーム時間間隔が大きい区間で、動きによる櫛型ノイズを除去して画質を改善し、かつ、動きの滑らかさを向上させることができる。

以上から、本実施例は請求項９，１５に係る発明の一実施例である。

図１７は本発明の実施例７に係る画像処理装置のブロック図である。本実施例に係る画像処理装置は、前記実施例６に係る画像処理装置に、復号処理制御部２１４を追加した構成である。

復号処理制御部２１４は、時間計測部２１３で求められたフレーム時間間隔がその基準より大きくなった時に、そのフレームの復号処理部２０５における復号処理が未完了であっても復号処理を打ち切らせ、それまでの復号結果を出力させる制御を行う。したがって、本実施例においては、復号処理部２０５に入力するフレームの符号データは、ＪＰＥＧ２０００の符号データのような部分的復号が可能な階層構造を有する符号データであることが前提である。このような階層構造の符号データは、最上位階層より下位階層へ向かって復号処理が行われるが、途中の階層で処理を打ち切っても、それまでの処理結果から解像度又は画質は低下するもののフレームデータを復元できる。編集制御部１０４による制御は前記実施例６（図１５）と同様である。

本実施例においては、動き量が基準より大きくかつフレーム時間間隔が基準より大きい区間では、１のフィールドデータから１の編集後のフレームデータが生成されるが、図６の（ｂ）に例を示すように、復号未了のフレームのフィールドデータもフレームデータの生成に用いられる。これによって、復号未了によるフレーム数の減少が防止され、滑らかな動きの再生が可能になる。

以上から、本実施例は請求項９，１０，１５に係る発明の一実施例である。

＜動き量の推定＞
さて、動き量推定部１０２における動き量の推定には様々な公知の手法を用いることができるが、ここで簡単に説明する。例えば、前後のフレームデータ間の比較によりフレーム間の動き量を推定する方法、奇数フィールドと偶数フィールド間の比較によりフレーム内（フィールド間）の動き量を推定する方法、フレームデータの解析によりフレーム内の動き量を推定する方法など、様々な推定方法を利用し得る。

前後のフレームデータ間の比較により動き量を推定する方法としては、例えば、一方のフレームデータに対し他方のフレームデータを相対的に移動させながら、フレームデータ間の差分を計算し、差分が最小となった相対移動量を動き量とする方法がある。演算量を減らすためには、フレームデータの飛び飛びの画素について差分計算を行ったり、フレームデータを画素間引き等の手法でサイズを縮小したフレームデータを用いて差分計算を行う方法をとってもよい。また、画像中に移動物体が複数存在する場合や移動物体が小さい場合などには、フレーム全体で差分計算をおこなうと動き量を的確に推定できないことがある。これを避けるには、一方のフレームデータをブロックに分割し、ブロック毎に他方のフレームデータに対する動き量を推定し（いわゆるブロックマッチング）、全てのブロックについての推定動き量を総合して最終的な動き量を決定する方法も有効できる。フレームデータに代えてフィールドデータを用い、同様の方法によりフィールド間（フレーム内）の動き量を推定可能であるが、フィールドデータはフレームデータよりデータ量が少ない分だけ推定に必要な演算量減らすことができる。

前記実施例１，２，４〜７のようにデータ保存部にフレームデータが入力される場合における動き量推定方法としては、例えば、上記のフレームデータ間比較による動き量推定方法を用いることができる。これらの実施例において、全てのフレームのフィールド分割を行う場合は、分割後のフィールドデータを用いてフィールドデータ間比較による動き量推定方法を用いることができる。また、前記実施例２のようにデータ保存部にフィールドデータが入力される場合には、上記のフィールドデータ間比較による動き量推定方法を用いることができる。

フレームデータの解析による方法としては、フレームデータの周波数変換係数を解析する方法がある。例えば、ＪＰＥＧ２０００では符号化の際に画像に対し垂直方向に離散ウェーブレット変換を施し、次に水平方向に離散ウェーブレット変換を施すという２次元の離散ウェーブレット変換が必要回数施される。図１８は、２次元ウェーブレット変換を３回施す場合の説明図である。まず、（ａ）の画像に対し２次元ウェーブレット変換が１回施されることにより、（ｂ）に示すデコンポジションレベル１の４つのサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨサブバンド）に分割される。この１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が施されることにより、１ＬＬサブバンドは（ｃ）に示すデコンポジションレベル２の２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨサブバンドに分割される。２ＬＬサブバンドに２次元ウェーブレット変換が施されることにより、２ＬＬサブバンドは（ｄ）に示すようにデコンポジションレベル３の３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨサブバンドに分割される。

さて、図２に関連して説明したような櫛型ノイズの１ライン幅の横方向エッジの長さはフィールド間の物体の動き量に比例する。そして、櫛型ノイズの横方向エッジ成分は２次元ウェーブレット変換の１ＬＨサブバンド係数に最も強く反映され、そのエッジ長が長くなると（動き量が大きくなると）当該係数の絶対値が増加する傾向がある。したがって、１ＨＬサブバンド係数の絶対値の和を求めれば、それによりフィールド間の横方向の移動量を推定できる。経験則から、ビデオカメラ等で撮影される動画像における物体の移動方向は殆ど横方向であるから、このような櫛型ノイズに着目した動き量推定方法は妥当である。

フレームベースのＪＰＥＧ２０００の符号データを復号する復号処理部２０５を有する前記実施例２，４〜７では、フレームベースの符号データの復号処理過程でウェーブレット係数が復元されるため、それを利用することにより少ない演算量で動き量の効率的な推定が可能である。また、ウェーブレット係数の絶対値が大きいと、その係数のエントロピー符号の符号量も一般に大きくなるので、１ＬＨサブバンド係数の絶対値の和に代えて、１ＬＨサブバンド係数の符号量の和を利用することにより同様の推定が可能である。そして、１ＬＨ係数の符号量は符号データの復号処理過程で取得することができる。

なお、動き量推定部１０２において、復号後のフレームデータに対し２次元ウェーブレット変換を行い、生成したウェーブレット係数を用いて同様の動き量推定を行うことも可能である。

図１９はウェーブレット係数を利用した動き量推定の一例を示すフローチャートである。まず、１ＬＨサブバンド係数の絶対値の和ｓｕｍ１ＬＨと、１ＨＬサブバンド係数の絶対値の和ｓｕｍ１ＨＬをそれぞれ算出し(step31,step32）、ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬを計算し、その値を動き量（移動速度）の推定値とする（step33)。

この例においては、縦方向のエッジ成分を反映する１ＨＬサブバンド係数の絶対値の和ｓｕｍ１ＨＬでｓｕｍ１ＬＨで除した値を求めたのは、横方向のエッジ成分以外の高周波成分の影響を受けにくくするためである。

ｓｕｍ１ＬＨとｓｕｍ１ＨＬに代えて１ＬＨサブバンド係数の符号量の和と１ＨＬサブバンド係数の符号量の和を用いてもよい。また、サブバンドより小さなブロック（例えば、ＪＰＥＧ２０００のプリシンクトやコードブロック）を単位として同様の方法で動き量を推定し、それを総合することにより最終的な動き量を求めることも可能である。かかる方法は、静止した背景中で小さな物体だけが移動するようなフレームにおける動き量を、より的確に推定可能である。

なお、動き量を部分領域毎に推定すると、１つのフィールドデータからフレームデータを生成する場合に、直前のフレームデータの動き量の大きな部分領域のみ当該フィールドデータで書き換えるような方法を採用することも可能になる。このような手法は、例えば、球技の模様を撮影した動画像において球や一部選手だけが移動しているようなフレームデータなどの生成に有効である。また、動きのある領域に選択的に画質向上処理を施すようなことも可能になる。

＜ＪＰＥＧ２０００の概要＞
前記実施例２〜７においては、インターレース動画像のフレームデータ又はフィールドデータの符号化方式としてＪＰＥＧ２０００が用いられるとして説明した。その理解を容易にするため、ここでＪＰＥＧ２０００の概要を説明する。

図２０はＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。まず符号化（圧縮）処理について説明する。画像は１以上の矩形（タイル）に分割されて処理される。ＲＧＢ画像のようなカラー画像の場合は、タイル画像は色空間変換・逆変換部３０１でＹＣｂＣｒなどの輝度、色差のコンポーネントに変換された後、２次元ウェーブレット変換・逆変換部３０２でコンポーネント毎に図１８に関連して説明したような２次元ウェーブレット変換が施される。生成されたウェーブレット係数はサブバンド毎に量子化部３０３で線形量子化された後、エントロピー符号化・復号化部３０４でビットプレーンに分割されてエントロピー符号化される。この際、指定した符号化の順番で符号化の対象となるビットが定められ、量子化・逆量子化部で対象ビット周辺のビットからコンテキストが生成され、このコンテキストと対象ビットから確率推定によってエントロピー符号化が行われる。

量子化後のウェーブレット係数は、個々のサブバンド毎に「プレシンクト」と呼ばれる重複しない矩形に分割される。図２１に示すように、ＨＬ，ＬＨ，ＨＨサブバンドの空間的に一致した矩形領域が１つのプレシンクトを構成する。ただし、ＬＬサブバンドでは１つの矩形領域が１つのプレシンクトを構成する。個々のプレシンクトは、図２１に示すように１つ以上の重複しない矩形の「コード・ブロック」に分割されるが、このコードブロックがエントロピー符号化の基本単位となる。

最後に、タグ処理部３０５で、エントロピー符号からパケットを生成し、パケットを所定の順番に並べるとともにタグを付加することにより、図２２に示すようなフォーマットのコードストリームを生成する。

復号化（伸長）処理は符号化処理と丁度逆の処理となる。タグ処理部３０５でコードス・トリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解する。その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部３０３で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部３０４で、このコンテキストとコード・ストリームから確率推定によって復号を行って対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号された係数に対し、２次元ウェーブレット変換・逆変換部３０２で２次元逆ウェーブレット変換が行われ、各コンポーネントの各タイル画像が復元される。復元されたタイル画像に対し色空間変換・逆変換部３０１で逆色空間変換が行われ、元のＲＧＢ表色系のデータに戻される。

以上に説明した本発明に係る画像処理装置を、パソコンのような汎用コンピュータや各種機器に内蔵されたマイクロコンピュータのようなコンピュータを利用し、プログラムにより実現することも可能である。そのためのコンピュータプログラム、すなわち、本発明に係る画像処理装置の各手段としてコンピュータを機能させるためのプログラムも本発明に包含される。また、そのようなプログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などのコンピュータが読み取り可能な情報記録（記憶）媒体も本発明に包含される。

インターレース動画像を説明するための模式図である。 インターレース動画像における櫛型ノイズの説明のための模式図である。 本発明に係る画像処理装置の基本構成を示すブロック図である。 動画像編集の説明のための模式図である。 動画像編集の説明のための模式図である。 動画像編集の説明のための模式図である。 実施例１に係る画像処理装置のブロック図である。 動き量に応じた編集制御の説明のためのフローチャートである。 １フィールドデータからフレームデータを生成する方法の理解を助けるための模式図である。 実施例２に係る画像処理装置のブロック図である。 実施例３に係る画像処理装置のブロック図である。 実施例４に係る画像処理装置のブロック図である。 実施例５に係る画像処理装置のブロック図である。 実施例５における編集制御の説明のためのフローチャートである。 実施例６に係る画像処理装置のブロック図である。 実施例６における編集制御の説明のためのフローチャートである。 実施例７に係る画像処理装置のブロック図である。 ２次元ウェーブレット変換によるサブバンド分割を示す図である。 ウェーブレット係数を利用する動き量推定方法の一例を説明するためのフローチャートである。 ＪＰＥＧ２０００のアルゴリズムの概要説明のためのブロック図である。 ＪＰＥＧ２０００のプレシンクト及びコードブロックの説明図である。 ＪＰＥＧ２０００のコードストリームの構造を示す図である。

符号の説明

１０１ データ保存部
１０２ 動き量推定部
１０３ 動画像編集部
１０４ 編集制御部
１０５ 出力制御部
２００ フィールド分割部
２０１ ビデオ入力部
２０３ 符号化処理部
２０５ 復号処理部
２０７ 画質向上処理部
２０８ フレームレート指定部
２１３ 時間計測部
２１４ 復号処理制御部

Claims (17)

1. 編集前のインターレース動画像の編集処理を行う動画像編集手段と、前記編集前のインターレース動画像の動き量を推定する動き量推定手段とを有し、
   前記動画像編集手段は、前記動き量推定手段により推定された動き量が基準より大きな区間では、前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成することを特徴とする画像処理装置。
2. 前記動画像編集手段は、前記動き量推定手段により推定された動き量が基準より大きな区間では編集後のフレーム数を編集前より増加させることを特徴とする請求項１記載の画像処理装置。
3. 前記動画像編集手段は、前記動き量推定手段により推定された動き量が基準以下の区間では、前記編集前のインターレース動画像の一部のフレームデータを削除することにより編集後のフレーム数を編集前より減少させることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記動画像編集手段において１のフィールドデータから１のフレームデータを生成する方法を複数の方法の中からユーザが選択可能であることを特徴とする請求項１記載の画像処理装置。
5. 前記動画像編集手段において、前記動き量推定手段により推定された動き量が基準より大きい区間では、前記編集前のインターレース動画像の１のフィールドデータの走査されないラインのデータをその近傍ラインのデータを用いて補間することにより、１の編集後のフレームデータを生成することを特徴とする請求項１記載の画像処理装置。
6. 前記動画像編集手段において、前記動き量推定手段により推定された動き量が基準より大きい区間では、前記編集前のインターレース動画像の１のフィールドデータの各ラインのデータを１画素おきに間引くことにより、縦方向及び横方向がそれぞれ１／２のサイズに縮小された１の編集後のフレームデータを生成することを特徴とする請求項１記載の画像処理装置。
7. 前記動画像編集手段において、前記動き量推定手段により推定された動き量が基準より大きい区間では、前記編集前のインターレース動画像の１のフィールドデータに対し各ラインのデータを１画素おきに間引く処理を行った後、縦方向及び横方向を２倍に拡大する処理を行うことにより１の編集後のフレームデータを生成することを特徴とする請求項１記載の画像処理装置。
8. 編集前のインターレース動画像の編集処理を行う動画像編集手段と、前記編集前のインターレース動画像の動き量を推定する動き量推定手段とを有し、
   前記動画像編集手段は、前記編集前のインターレース動画像の撮像フレームレートより指定された再生フレームレートが大きい場合に、前記動き量推定手段により推定された動き量が基準より大きい区間で、前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成し、前記撮像フレームレートが前記再生フレームレート以上の場合に前記編集前のインターレース動画像の一部のフレームデータを削除することを特徴とする画像処理装置。
9. 通信路を通じて転送された符号データを復号して編集前のインターレース動画像を生成する復号処理手段と、前記通信路を通じた符号データのフレーム転送時間間隔及び前記復号処理手段によるフレーム復号完了時間間隔からフレーム時間間隔を求める時間計測手段と、前記編集前のインターレース動画像の動き量を推定する動き量推定手段と、前記編集前のインターレース動画像の編集処理を行う動画像編集手段とを有し、
   前記動画像編集手段は、前記時間計測手段により計測されたフレーム時間間隔がその基準より大きい場合に、前記動き量推定手段により推定された動き量がその基準より大きい区間では前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成することを特徴とする画像処理装置。
10. 前記符号データは階層構造を持つ符号データであり、
    前記時間計測手段により求められたフレーム時間間隔がその基準より大きいフレームに関しては、前記復号処理手段で復号処理が最下位階層まで完了する前であってもフレームデータを生成させるように前記復号処理手段を制御する手段をさらに有することを特徴とする請求項９記載の画像処理装置。
11. インターレース動画像の編集を行う動画像編集工程と、編集前のインターレース動画像の動き量を推定する動き量推定工程とを有し、
    前記動画像編集工程において、前記動き量推定工程により推定された動き量が基準より大きな区間では、前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成することを特徴とする画像処理方法。
12. 前記動画像編集工程において、動き量が基準より大きな区間における編集後のフレーム数を編集前より増加させることを特徴とする請求項１１記載の画像処理方法。
13. 前記動画像編集工程において、前記動き量推定工程により推定された動き量が基準以下の区間では、一部のフレームデータを削除することにより編集後のフレーム数を編集前より減少させることを特徴とする請求項１１又は１２記載の画像処理方法。
14. 編集前のインターレース動画像の編集を行う動画像編集工程と、前記編集前のインターレース動画像の動き量を推定する動き量推定工程とを有し、
    前記動画像編集工程において、前記編集前のインターレース動画像の撮像フレームレートより指定された再生フレームレートが大きい場合に、前記動き量推定工程により推定された動き量が基準より大きな区間で前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成し、前記撮像フレームレートが前記再生フレームレート以上の場合に前記編集前のインターレース動画像の一部のフレームデータを削除することを特徴とする画像処理方法。
15. 通信路を通じて転送された符号データを復号して編集前のインターレース動画像を生成する復号処理工程と、
    前記通信路を通じた符号データのフレーム転送時間間隔及び前記復号処理工程によるフレーム復号完了時間間隔からフレーム時間間隔を求める時間計測工程と、
    前記編集前のインターレース動画像の動き量を推定する動き量推定工程と、
    前記編集前のインターレース動画像の編集を行う動画像編集工程とを有し、
    前記動画像編集工程において、前記時間計測工程により求められたフレーム時間間隔がその基準より大きい場合に、前記動き量推定工程により推定された動き量がその基準より大きい区間で前記編集前のインターレース動画像の１のフィールドデータから１の編集後のフレームデータを生成することを特徴とする画像処理方法。
16. 請求項１乃至１０のいずれか１項記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
17. 請求項１乃至１０のいずれか１項記載の画像処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images