JP2002359778A - フレーム補間式可変速度動画撮像システム - Google Patents

フレーム補間式可変速度動画撮像システム

Info

Publication number
JP2002359778A
JP2002359778A JP2002045934A JP2002045934A JP2002359778A JP 2002359778 A JP2002359778 A JP 2002359778A JP 2002045934 A JP2002045934 A JP 2002045934A JP 2002045934 A JP2002045934 A JP 2002045934A JP 2002359778 A JP2002359778 A JP 2002359778A
Authority
JP
Japan
Prior art keywords
frame
image sequence
sequence
effective
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002045934A
Other languages
English (en)
Other versions
JP2002359778A5 (ja
Inventor
Ronald S Cok
ロナルド・エス・コック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2002359778A publication Critical patent/JP2002359778A/ja
Publication of JP2002359778A5 publication Critical patent/JP2002359778A5/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 動画の品質を最適化し、デジタル動画シーケ
ンスの記録、取扱い、及び通信に必要とされるコンピュ
ータリソースを最小限にする。 【解決手段】 このデジタル動画シーケンスの記録処理
方法は、デジタル動画シーケンスを記録し、有効画像コ
ンテンツの異なる変化速度を選択し、処理済みデジタル
動画シーケンスを作成する。第１のステップでは、所定
のフレーム撮影速度でデジタル動画シーケンスを記録す
る。第２のステップでは、画像シーケンスの異なる箇所
での情景コンテンツ変化の関数として、それぞれ有効画
像コンテンツの異なる変化速度を選択する。第３のステ
ップでは、前記デジタル動画シーケンスを処理し、前記
選択された有効変化速度を有する処理済みデジタル動画
シーケンスを作成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画撮像表示シス
テムに関する。特に、動画品質を最適化するために連続
的画像フレームを可変速度で補間している。
【０００２】
【従来の技術】動画撮像システムは、１００年にわたっ
て用いられてきた。これらのシステムは、静止画像の連
続撮影及び表示によって行なわれている。画像シーケン
スが十分な高速度で表示される場合には、人間の目や頭
では画像が静止画像に分離されていることに気付かず、
むしろ現実世界で感じると同様の滑らかな連続性のある
動画として知覚している。画像を撮影し、表示する最低
速度は、画像システムが変われば変わってくる。例え
ば、従来の映画フィルムは、通常、毎秒２４フレームで
撮影され、表示される。標準のＮＴＳＣテレビでは秒当
り３０フレームであり、ＰＡＬ方式では２５フレームで
表示している。ある速度で撮影した画像シーケンスが、
例えばスローモーション効果を生じさせるとかの技術的
な効果のため、別の速度で表示されることもある。
【０００３】フレーム速度が速ければ速いほど、フレー
ム中の観察できるディテールを増やし、ブレを減らし、
それに動きを滑らかにすることから、より満足な情景コ
ンテンツの変化（パン、物の動き、シーン変化等）を表
わすことができる。そこで、滑らかな動きの錯覚を維持
するために必要なフレーム速度は、情景の種類やコンテ
ンツに応じて変わる。場面は観察者の挙動により複雑に
なる。例えば、動画シーケンスの中で気付かれるディテ
ールの量や位置は、少なくともその一部は、観察者の目
がシーケンスの中で動く物を追いかけるかどうかに依存
している。このように、最適な動画シーケンスの観察に
必要なフレーム速度は、像の種類や、観察する環境に加
えて観察者の挙動に依存している。
【０００４】現在では動画は、従来の映画フィルムやア
ナログ及びデジタルのいずれかの電子撮像装置で提供さ
れている。デジタル動画シーケンスでは、大量のコンピ
ュータリソースが必要であり、そのために巨大な記憶容
量や高解像度の画像撮影、高解像度の表示装置、多量の
演算、それに通信のための大きなバンド幅を必要として
いる。画像データ量は、大抵はフレーム速度によって決
まるので、デジタル式撮像システムにおいては、画像デ
ータ量と知覚しうる画像品質との間でバランスをとる必
要がある。
【０００５】画像撮影及び表示の両方における動画シー
ケンスのフレーム速度を変えたものが当業者には知られ
ている。米国特許第３７２３６４４号には、画像シーケ
ンスの動きのコンテンツを解析し、検出した動きを補足
するためにフレーム撮影速度を調整するシステムが記載
されている。この従来例では、フレームを計数して、得
た計数値を再生時でのフレームの繰返し速度を指定する
のに利用している。国際出願公開第ＷＯ９９／６７５９
０号公報では、海賊行為を避けるために画像シーケンス
の表示フレーム速度を変化させている。フレーム速度と
画像のディテールとの間には二律背反性があることが知
られている。米国特許第５３８９９６５号には、画像の
ディテールが少なくなるとフレーム速度が増加するよう
な画像シーケンスを一定のバンド幅チャネルで送信する
ことが記載されている。
【０００６】ある一定のフレーム速度で撮影された画像
シーケンスは、別のフレーム速度に変換して表示するこ
とができる。例えば毎秒２４フレームで撮影された映画
フィルムの画像シーケンスをテレビ放送用にリアルタイ
ムで毎秒３０フレームで表示することができる。これら
の変換は、フレームを繰り返すか、又は、既存のフレー
ム間に新しいフレームを挿入することによって実現でき
る。
【０００７】
【発明が解決しようとする課題】現在、画像シーケンス
は一定のフレーム速度で撮影されているが、後処理で圧
縮や通信目的のためにフレーム速度を減らすこともあ
る。フレーム速度が増えるにつれて使用されるフィルム
の量は増大するため、撮影フレーム速度の増加に伴うコ
ストは高騰するので、特に映画フィルムの場合では望ま
しくない。さらに、画像シーケンスをより早い速度で撮
影してデジタル的に記憶する場合でさえ、コンピュータ
リソース及び通信バンド幅も同様に増加させなければな
らないこともあり、これでは問題である。
【０００８】そこで、動画の品質を最適化し、デジタル
動画シーケンスの記録、取扱い、及び通信に必要とされ
るコンピュータリソースを最小限にする動画システムが
望まれているのである。
【０００９】
【課題を解決するための手段】本発明に係るデジタル動
画シーケンスの記録及び処理方法は、所定のフレーム撮
影速度でデジタル動画シーケンスを記録するステップ
と、画像シーケンスの異なる箇所での情景コンテンツの
変化の関数として、それぞれ異なる有効画像コンテンツ
の変化速度を選択するステップと、前記デジタル動画シ
ーケンスを処理し、前記選択された有効変化速度を有す
る処理済みデジタル動画シーケンスを作成するステップ
とを含むことを特徴とする。
【００１０】
【発明の実施の形態】本発明は、異なる有効画像コンテ
ンツ変化速度（有効速度）でのデジタル動画シーケンス
の表示方法である。有効速度とは、動画シーケンスの一
部において画像コンテンツが変化する速度のことであ
る。デジタル動画シーケンスは、元は所定のフレーム速
度で撮影されている。有効速度は、１つの画像シーケン
ス内の変化によって求まり、前記画像シーケンス内の変
化は、当該画像シーケンス内の情景コンテンツのフレー
ムごとの変化に応じて変わる。本発明によれば、デジタ
ル動画シーケンスは、有効速度を求めるために最初に解
析され、その後、処理されて、画像コンテンツが有効速
度で表示される動画シーケンスが作成される。デジタル
動画シーケンスが有効速度より低いフレーム速度で表示
される場合には、そのシーケンスにおける情景コンテン
ツの変化は、滑らかではないであろうし、駒落ちやジッ
ターを起こしているように見えるであろう。他方、デジ
タル動画シーケンスが有効速度より高いフレーム速度で
表示される場合には、シーケンスにおける動きは滑らか
であるが、画像シーケンスを作成するためにより多くの
フレームが必要になるので、デジタル画像リソースが浪
費されてしまう。
【００１１】有効速度は、画像シーケンスの異なる場所
では違っていてもよい。情景コンテンツの変化を効果的
に生成するのに画像シーケンスのある箇所ではフレーム
は殆ど要らないが、別の箇所ではより多くのフレームが
必要と言ったこともある。
【００１２】図１において、元のフレーム時間軸１０と
有効フレーム時間軸１２を有する、２４０フレームから
なる１０秒間の動画シーケンスの一例を示している。フ
レーム１から４８は、２秒間にわたって再生される４フ
レームで有効に表現される。フレーム４９から１２０
は、３秒間にわたって７２フレームで有効に再生され
る。フレーム１２１から１９２は、３秒間にわたって１
４４フレームで有効に再生される。フレーム１９３から
２４０は、２秒間にわたって１４４フレームで有効に再
生される。動画シーケンスの総経過時間(撮影ないし再
生時間)は１０秒のままであるが、シーケンスにおける
総フレーム数と、１秒当たりの有効フレーム数はシーケ
ンスを通じて変化している。有効フレーム速度１４は、
情景コンテンツ変化を有効に生成するように変化する。
どの場合においても、情景における公称変化は、元々撮
影された速度で生じ、即ち、タイム枠は変化しない。
【００１３】有効フレーム速度が元のフレーム速度より
低い箇所では、フレームの除去や、複数のフレームを平
均的なフレームで置換える置換や、動画シーケンスにお
ける複数のフレームについての代表的なフレームを補間
することによって、フレームを減らして有効フレーム速
度を有する画像シーケンスを生成する。有効フレーム速
度が元の撮影フレーム速度よりも大きい箇所では、フレ
ーム補間で追加フレームを作成して有効フレーム速度を
有する画像シーケンスを生成する。フレーム補間は、新
たなフレームを挿入する前後のフレームのコンテンツを
解析し、前後の画像フレームのデータから新たなフレー
ムを構成し、画像シーケンス中に作成する方法である。
これを実行するための当業者に知られたコンピュータ技
術は種々存在し、特に、運動ベクトル解析方法及びその
近似方法がある。好ましくは、運動ベクトル解析及び補
間技法を用いるのが望ましい。例えば、イーストマンコ
ダック社がシネオン(Cineon)システムとしてそのような
ツールを提供している。別の例として、画像モーフィン
グ技術を利用して補間された画像フレームを構成するこ
ともできる。
【００１４】図２を参照すると、動画シーケンス２０
は、元は毎秒２４フレームで撮影されている。情景コン
テンツの変化によって、毎秒４８フレームの有効変化速
度が表示用に選択される。このより速いフレーム速度の
シーケンスを生成するために、画像シーケンス２０が処
理される。元のフレームの間に臨む、星印で示した補間
フレームが算出され、元の一対のフレームの間に挿入さ
れて、補間処理済みの画像シーケンス２２を生成する。
補間処理済みの画像シーケンスのフレームは、毎秒４８
フレームの有効速度で表示される。
【００１５】図３にはより複雑な例を示している。図３
において、元の動画シーケンス３０は毎秒２４フレーム
で撮影され、有効フレーム速度は毎秒３２フレームに決
められている。画像シーケンスを補間処理して毎秒３２
フレームの有効速度を有する処理済シーケンス３２が生
成されるが、この場合には、他のフレームは補間される
一方で、３つおきのフレームだけはそのまま残してい
る。アポストロフィを付したフレームは２つのフレーム
間の３／４の位置に内挿され、星印を付したフレームは
フレーム間の中間に挿入され、一方、アンパサンド
（＆）を付したフレームはフレーム間の１／４の位置に
挿入されている。
【００１６】動画シーケンスの有効フレーム速度の表現
には２つの違った方法がある。ある実施の形態において
は、表示デバイスによって任意時間量についてのフレー
ムを表示できる。この実施形態では、処理済デジタル動
画シーケンスにおけるそれぞれのフレームはフレームが
表示されている時間の長さを指定するために用いられる
連合した継続時間を有している。この継続時間は、シー
ケンスにおいてフレームからフレームへ変化することが
ある。これを実現するために、画像シーケンスにおける
それぞれのフレームは、それぞれのフレーム速度（又は
表示時間）を表わしているメタデータ情報を伴ってい
る。この情報は、フレームファイルヘッダに記憶される
か、又は、画像フレームファイルとは別に記憶される
が、その画像フレームファイルに関連付けられた追記情
報として記憶される。デジタル画像を伴う情報を記憶す
る技術は当業者においてよく知られている。図４には、
従来技術としてよく知られているように、画像４２とメ
タデータ４４とをファイルヘッダ４６に記憶する記憶フ
ォーマットが示されている。
【００１７】別の実施の形態では、表示デバイスは、動
画シーケンス中の有効フレーム速度の整数倍である一定
の表示フレーム速度で動作させている。それぞれのフレ
ームは、有効速度でフレームを表示するために、表示す
べきそれぞれのフレームの回数を表わすよう関連付けら
れた複写値を有している。図５に示す方法では、元のシ
ーケンスは、毎秒２４フレームで撮影されたが、画像シ
ーケンスの異なる箇所ではそれぞれ２４、３２、４８の
有効速度を有している。これらの有効速度の最小公倍数
は９６であり、表示速度である。それぞれの箇所は図２
及び図３に示すように補間されている。図５の例では、
箇所６０は有効速度２４を有し、それぞれのフレームは
４回表示される。箇所６２は有効速度３２を有し、それ
ぞれのフレームは３回表示される。箇所６４は有効速度
４８を有し、それぞれのフレームは２回表示される。記
憶時には、複写されたフレームは複数回記憶してもよい
が、メタデータの複写計数値をそれぞれのフレームと関
連付けて、表示デバイスで用いてもよい。
【００１８】画像シーケンス中の種々の有効フレーム速
度の最小公倍数はたいてい非常に大きくなるので、許さ
れる有効速度の数を制限するのが都合がよい。これによ
って、最大の表示フレーム速度を制限することができ
る。これは、画像シーケンスの部分についての有効フレ
ーム速度を次の最大の許容フレーム速度に丸めることに
よって容易に実現できる。有効フレーム速度を増加させ
ると厳密に必要以上多くフレームや画像を必要とすると
同時に、表示システムの物理的な要件を制限し、システ
ムハードウエアを潜在的に簡単にすることができる。
【００１９】図６は、本発明に係るシステムの構成部品
を示している。これらの構成部品は従来の動画フィルム
やビデオシステムで用いられるものと同様ではあるが、
ディスプレイや演算回路部品が任意の継続時間や複写計
数値を有するフレームを取り扱えるようになっている点
で異なっている。図６では、フィルム、ビデオ、デジタ
ルカメラ等の画像記録装置７０で情景の動画像を記録す
る。その動画像は、デジタル形式に変換されるが、これ
は、必要に応じて、例えば標準フィルム処理器（図示せ
ず）でフィルムを現像し、フィルムスキャナ７２でフィ
ルムをスキャンニングすることにより行う。別の例とし
ては、デジタル動画シーケンスは、デジタルカメラ７３
で直接撮影するで得ることができる。動画シーケンスを
表わすデジタルデータは、デジタルコンピュータ７６で
処理されて、異なる有効フレーム速度の各部分を持つ画
像シーケンスに生成される。処理されたデジタル画像シ
ーケンスは、光ディスク装置８０等の記録媒体に記憶さ
れ、あるいは、配信経路８２を介してビュワーで表示さ
れる表示デバイス８４に送信される。表示デバイスによ
って、画像シーケンスを様々な有効フレーム速度で表示
させたり、画像シーケンスにおける有効フレーム速度の
一定の積算値のフレーム速度で表示させる。実際問題と
して、表示デバイスは、フレーム速度についての実用的
な限界がある。例えば、システムには、データを記録媒
体から読み出す最大速度があったり、あるいは到達し得
る最大フレーム速度を制限するピクセルリフレッシュレ
ートを有していたり、フレーム速度が定まっていたりし
ている。
【００２０】有効フレーム速度の決定は、様々な方法で
行うことができる。画像シーケンスの異なる部分につい
て、情景についての前知識やその構成要素及び所望の結
果によって決まる所望の速度に任意に設定できる。利用
できるもう一つの方法としては、画像シーケンスのフレ
ームの部分を解析し、その部分の有効フレーム速度を算
出し、その有効フレーム速度を用いることである。そし
て、フレーム速度は、その部分にある画像コンテンツに
依存するように動的に変化する。
【００２１】有効フレーム速度は、別の問題に対応させ
るために変更してもよい。例えばシステムにおける他の
制限や誤処理を補償するために、記憶容量、バンド幅、
演算容量など、システム制約に応じて有効フレーム速度
を減らしてもよい。別の例として、有効フレーム速度
は、視覚面での最適化や演算装置等に無関係に、全く技
術的な効果のために処理してもよい。オペレータは、画
像シーケンスを任意に扱うため、あるいは有効速度を選
択するために画像シーケンスと相互に影響しあって(int
eract with)もよい。図６には、通常のコンピュータ７
６、ディスプレイシステム７４、キーボードやマウス７
８等の対話型デバイス、それに記憶媒体８０が示されて
いる。スローモーション等の通常の効果は、プロセス中
のこの時点で容易に実行できる。
【００２２】それぞれのフレームについての速度を最適
化するために画像シーケンスを処理した後、画像シーケ
ンスは通常のデジタル記憶及び通信デバイス、例えば、
磁気記録媒体又は光記録媒体や、遠隔通信システム等を
用いて記憶され、通信される。このプロセスをさらに最
適化するために圧縮等の既存技術を利用してもよい。
【００２３】処理された画像シーケンスは表示場所に送
られて表示される。表示デバイスによって、動画シーケ
ンスにおけるそれぞれの連続的なフレームは、そのフレ
ームに関連付けられた継続時間又は複写回数を表わして
いるメタデータと共に読み出される。画像シーケンス中
のそれぞれの画像は、指示された継続時間や繰返し回数
によってビュワーで表示される。
【００２４】実際には、表示デバイスで、補間されたフ
レーム又は繰り返されたフレームをリアルタイムに生成
できる。この場合には、所望のフレーム速度を表わして
いるデータを表示デバイスに供給するものとし、それに
よって妥当な補間されたフレームを生成することができ
る。これによって、有効フレーム速度が元の速度よりも
全体として速くなると予想される場合には、画像シーケ
ンスについて必要な通信バンド幅や記憶量を減らすこと
ができる。別の例としては、画像シーケンスが表示され
る前に、補間されたフレームが生成される。この方法に
よって、表示デバイスにおいて、演算負荷を減らすこと
ができるであろう。
【００２５】動画シーケンスが一定の速度よりむしろ変
化するフレーム速度で最初に撮影された場合でさえ、動
画シーケンスの有効フレーム速度を生成し、ビュワーに
表示することができる。処理され、扱われた場合、有効
フレーム速度を決定する同じプロセスが開始される。フ
レームは所望により補間され、又は削除され、妥当なメ
タデータが生成され、対応するフレームに関連付けられ
る。フレーム速度を変化させて撮影すると、可変速度で
の撮影によって必要な情報をさらに提供しうるので、最
終的に得られる結果を改善できるであろう。
【００２６】
【発明の効果】本発明によって、動画シーケンスの表示
品質、必要な記憶容量、通信量、及び取扱い量を改善す
る簡易な方法を提供する。本発明に係るデジタル動画シ
ーケンスの記録及び処理方法によれば、動画シーケンス
に関しての通信、演算及び記録のコストを減らしなが
ら、動画シーケンスの動画品質を向上させることができ
る。
【図面の簡単な説明】
【図１】 本発明による有効画像コンテンツの速度変化
を示す有用な図である。
【図２】 本発明による内挿された画像シーケンスを示
す有用な図である。
【図３】 本発明による別の内挿された画像シーケンス
を示す有用な図である。
【図４】 従来の画像記録フォーマットを示す図であ
る。
【図５】 本発明による繰り返されたフレームを含み、
内挿された画像シーケンスを示す有用な図である。
【図６】 本発明による方法を実施するために有用なシ
ステムを示す概略図である。
【符号の説明】
１０ 元のフレーム時間軸 １２ 有効フレーム時間軸 １４ 有効フレーム速度 ２０ 毎秒２４フレームの動画シーケンス ２２ 毎秒４８フレームの補間された動画シーケンス ３０ 毎秒２４フレームの動画シーケンス ３２ 毎秒４８フレームの補間された動画シーケンス ４０ 画像ファイル記録フォーマット ４２ 画像ファイル記録 ４４ メタデータ ４６ ファイルヘッダ ６０ 繰り返しのある毎秒２４フレームの動画シーケン
ス ６２ 繰り返しのある毎秒３２フレームの動画シーケン
ス ６４ 繰り返しのある毎秒２４フレームの動画シーケン
ス ７０ カメラ ７２ 数値化機器 ７３ デジタルカメラ ７４ 対話式ディスプレイ ７６ コンピュータ ７８ 対話式コンピュータインタフェース ８０ 記録書込み装置 ８２ 配信経路 ８４ 表示装置

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】 （ａ）所定のフレーム撮影速度でデジタ
    ル動画シーケンスを記録するステップと、（ｂ）画像シ
    ーケンスの異なる箇所での情景コンテンツ変化の関数と
    して、それぞれ異なる有効画像コンテンツの変化速度を
    選択するステップと、（ｃ）前記デジタル動画シーケン
    スを処理し、前記選択された有効変化速度を有する処理
    済みデジタル動画シーケンスを作成するステップとを含
    むことを特徴とするデジタル動画シーケンスの記録処理
    方法。
JP2002045934A 2001-02-23 2002-02-22 フレーム補間式可変速度動画撮像システム Pending JP2002359778A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/792314 2001-02-23
US09/792,314 US7242850B2 (en) 2001-02-23 2001-02-23 Frame-interpolated variable-rate motion imaging system

Publications (2)

Publication Number Publication Date
JP2002359778A true JP2002359778A (ja) 2002-12-13
JP2002359778A5 JP2002359778A5 (ja) 2005-07-14

Family

ID=25156469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002045934A Pending JP2002359778A (ja) 2001-02-23 2002-02-22 フレーム補間式可変速度動画撮像システム

Country Status (4)

Country Link
US (1) US7242850B2 (ja)
EP (1) EP1237370B1 (ja)
JP (1) JP2002359778A (ja)
DE (1) DE60211978T2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005034510A1 (ja) * 2003-10-01 2005-04-14 Matsushita Electric Industrial Co., Ltd. 映像信号処理装置
JP2006287921A (ja) * 2005-03-09 2006-10-19 Fuji Photo Film Co Ltd 動画生成装置、動画生成方法、及びプログラム
US7764310B2 (en) 2004-09-22 2010-07-27 Nikon Corporation Image processing apparatus, program and method for performing preprocessing for movie reproduction of still images
US8711239B2 (en) 2007-07-31 2014-04-29 Nikon Corporation Program recording medium, image processing apparatus, imaging apparatus, and image processing method

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039138A1 (en) * 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
CN1650622B (zh) * 2002-03-13 2012-09-05 图象公司 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法
US20040090554A1 (en) * 2002-10-23 2004-05-13 Takahiro Nishi Picture coding method
US7471314B2 (en) * 2002-11-15 2008-12-30 Sony Corporation Transmission device, transmission method, reproduction device, reproduction method, program, and recording medium
KR100542361B1 (ko) * 2003-02-12 2006-01-10 삼성전자주식회사 피피피오이 네트워크 시스템 및 이 시스템의 접속 방법
US20080285938A1 (en) * 2004-03-15 2008-11-20 Yasuhiro Nakamura Recording/Replaying/Editing Device
US20110025911A1 (en) * 2004-05-17 2011-02-03 Weisgerber Robert C Method of enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
US20060244917A1 (en) * 2004-05-17 2006-11-02 Weisgerber Robert C Method for exhibiting motion picture films at a higher frame rate than that in which they were originally produced
US20050254011A1 (en) * 2004-05-17 2005-11-17 Weisgerber Robert C Method for exhibiting motion picture films at a higher frame rate than that in which they were originally produced
US20090027549A1 (en) * 2004-05-17 2009-01-29 Weisgerber Robert C Method for processing motion pictures at high frame rates with improved temporal and spatial resolution, resulting in improved audience perception of dimensionality in 2-D and 3-D presentation
WO2006049616A1 (en) * 2004-11-01 2006-05-11 Thomson Licensing Anticamcorder media projection using enhanced frame rate
JP4429148B2 (ja) * 2004-11-25 2010-03-10 富士フイルム株式会社 画像撮影記録装置及び方法
CA2611009A1 (en) * 2005-06-08 2006-12-14 Dean K. Goodhill Method and apparatus for inhibiting the piracy of motion pictures
US7907248B2 (en) * 2005-08-22 2011-03-15 Nds Limited Movie copy protection
JP4887727B2 (ja) * 2005-10-20 2012-02-29 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
CA2636858C (en) * 2006-01-27 2015-11-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
WO2007148219A2 (en) 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
WO2008100640A1 (en) * 2007-02-16 2008-08-21 Marvell World Trade Lte. Methods and systems for improving low resolution and low frame rate video
US8749752B2 (en) * 2007-04-28 2014-06-10 Robert C. Weisgerber Compact acquisition format for dimensionalized digital cinema projection at forty-eight images per second
JP5018332B2 (ja) * 2007-08-17 2012-09-05 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP4831017B2 (ja) 2007-08-27 2011-12-07 ソニー株式会社 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム
US8179466B2 (en) 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8405770B2 (en) * 2009-03-12 2013-03-26 Intellectual Ventures Fund 83 Llc Display of video with motion
US8346915B2 (en) * 2009-05-04 2013-01-01 Qualcomm Incorporated System and method of recording and sharing mobile application activities
US8358782B2 (en) * 2009-06-26 2013-01-22 Eastman Kodak Company Method for displaying a video of a scene
US9286709B2 (en) * 2009-07-27 2016-03-15 Dreamworks Animation Llc Variable frame rate rendering and projection
KR20110056837A (ko) * 2009-11-23 2011-05-31 삼성전자주식회사 3차원 영상 디스플레이 장치 및 디스플레이 방법
JP5980604B2 (ja) * 2012-07-18 2016-08-31 オリンパス株式会社 内視鏡システム
US20140056354A1 (en) * 2012-08-21 2014-02-27 Mediatek Inc. Video processing apparatus and method
US9277169B2 (en) * 2013-02-21 2016-03-01 Robert C. Weisgerber Method for enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
US9736448B1 (en) * 2013-03-15 2017-08-15 Google Inc. Methods, systems, and media for generating a summarized video using frame rate modification
US9392215B2 (en) * 2014-03-25 2016-07-12 Robert C. Weisgerber Method for correcting corrupted frames during conversion of motion pictures photographed at a low frame rate, for exhibition at a higher frame rate
US9865205B2 (en) * 2015-01-19 2018-01-09 Himax Technologies Limited Method for transmitting data from timing controller to source driver and associated timing controller and display system
EP3764632B1 (en) * 2018-03-26 2023-02-22 Huawei Technologies Co., Ltd. Method and electronic device for video recording
CN111277895B (zh) * 2018-12-05 2022-09-27 阿里巴巴集团控股有限公司 一种视频插帧方法和装置
US11239637B2 (en) 2018-12-21 2022-02-01 Kyocera Sld Laser, Inc. Fiber delivered laser induced white light system
US11421843B2 (en) 2018-12-21 2022-08-23 Kyocera Sld Laser, Inc. Fiber-delivered laser-induced dynamic light system
US11526970B2 (en) 2019-09-04 2022-12-13 Samsung Electronics Co., Ltd System and method for video processing with enhanced temporal consistency
CN111225150B (zh) * 2020-01-20 2021-08-10 Oppo广东移动通信有限公司 插帧处理方法及相关产品
JP2023527966A (ja) 2020-05-26 2023-07-03 ドルビー ラボラトリーズ ライセンシング コーポレイション 可変フレームレートビデオのためのピクチャメタデータ

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3723644A (en) 1972-04-24 1973-03-27 Bell Telephone Labor Inc Variable frame rate recording system using speed measurement
US5327243A (en) * 1989-12-05 1994-07-05 Rasterops Corporation Real time video converter
JP2530090B2 (ja) 1992-02-28 1996-09-04 三星電子株式会社 映像信号符号化装置
JP3548191B2 (ja) * 1993-03-22 2004-07-28 キヤノン株式会社 カメラ
US5389965A (en) 1993-04-01 1995-02-14 At&T Corp. Video telephone station having variable image clarity
US5828786A (en) 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
US6222589B1 (en) * 1996-08-08 2001-04-24 Yves C. Faroudja Displaying video on high-resolution computer-type monitors substantially without motion discontinuities
US5893062A (en) * 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6151075A (en) * 1997-06-11 2000-11-21 Lg Electronics Inc. Device and method for converting frame rate
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
DK79298A (da) 1998-06-08 1999-12-09 Norsk Hydro As Profil for køling af brændstof, en brændstofledning samt en fremgangsmåde til fremstilling heraf
US6034733A (en) * 1998-07-29 2000-03-07 S3 Incorporated Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data
JP3542911B2 (ja) 1998-08-24 2004-07-14 日本電気株式会社 動画圧縮装置
US6542198B1 (en) * 1999-03-30 2003-04-01 Ati International Srl Method and apparatus for optimizing video playback at arbitrary refresh rates
US6469744B1 (en) * 1999-07-06 2002-10-22 Hitachi America, Ltd. Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion
US6351545B1 (en) * 1999-12-14 2002-02-26 Dynapel Systems, Inc. Motion picture enhancing system
WO2001050197A1 (en) * 1999-12-30 2001-07-12 Applied Science Fiction, Inc. System and method for digital color dye film processing
US6433839B1 (en) * 2000-03-29 2002-08-13 Hourplace, Llc Methods for generating image set or series with imperceptibly different images, systems therefor and applications thereof
US20020149696A1 (en) * 2001-02-23 2002-10-17 Eastman Kodak Company Method for presenting improved motion image sequences

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005034510A1 (ja) * 2003-10-01 2005-04-14 Matsushita Electric Industrial Co., Ltd. 映像信号処理装置
US7764310B2 (en) 2004-09-22 2010-07-27 Nikon Corporation Image processing apparatus, program and method for performing preprocessing for movie reproduction of still images
US8111297B2 (en) 2004-09-22 2012-02-07 Nikon Corporation Image processing apparatus, program, and method for performing preprocessing for movie reproduction of still images
US8289411B2 (en) 2004-09-22 2012-10-16 Nikon Corporation Image processing apparatus, program, and method for performing preprocessing for movie reproduction of still images
JP2006287921A (ja) * 2005-03-09 2006-10-19 Fuji Photo Film Co Ltd 動画生成装置、動画生成方法、及びプログラム
JP4516536B2 (ja) * 2005-03-09 2010-08-04 富士フイルム株式会社 動画生成装置、動画生成方法、及びプログラム
US8711239B2 (en) 2007-07-31 2014-04-29 Nikon Corporation Program recording medium, image processing apparatus, imaging apparatus, and image processing method

Also Published As

Publication number Publication date
EP1237370A3 (en) 2003-12-17
EP1237370A2 (en) 2002-09-04
US7242850B2 (en) 2007-07-10
DE60211978T2 (de) 2007-01-18
EP1237370B1 (en) 2006-06-07
DE60211978D1 (de) 2006-07-20
US20030016750A1 (en) 2003-01-23

Similar Documents

Publication Publication Date Title
JP2002359778A (ja) フレーム補間式可変速度動画撮像システム
US6502107B1 (en) Visual database system
US7511730B2 (en) Image processing apparatus and method and image pickup apparatus
US6278466B1 (en) Creating animation from a video
JP3505199B2 (ja) ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法
JP5068440B2 (ja) ステップ画像を用いた画像ベースビデオの生成
EP1235182A2 (en) Motion picture generation from a static digital image
CN110267098B (zh) 一种视频处理方法及终端
US20100050221A1 (en) Image Delivery System with Image Quality Varying with Frame Rate
US20080168512A1 (en) System and Method to Implement Interactive Video Streaming
US6545740B2 (en) Method and system for reducing motion artifacts
JP2004504736A (ja) 三次元画像生成方法及び装置
US20020094026A1 (en) Video super-frame display system
JP2002290876A (ja) 動画シーケンスの表示方法
Turban et al. Extrafoveal video extension for an immersive viewing experience
JP2006254366A (ja) 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法
JP5566048B2 (ja) 表示装置及びその制御方法
CN102668572B (zh) 用于立体数字电影中的最佳运动再现的方法和装置
JP3327520B2 (ja) Ｎｇ警告機能付き撮影方法、ｎｇ警告機能付き撮影装置および撮影プログラムを記録した記録媒体
US9277169B2 (en) Method for enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
US20050254011A1 (en) Method for exhibiting motion picture films at a higher frame rate than that in which they were originally produced
JP5566196B2 (ja) 画像処理装置及びその制御方法
JP2004166131A (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP2002230575A (ja) 映像効果方法および装置
Prasantha An Approach for Frame Rate conversion of a Video

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060417

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060718

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061013

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070115

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070330