JP2004088398A - 静止画データ・動画データの高度圧縮方法 - Google Patents
静止画データ・動画データの高度圧縮方法 Download PDFInfo
- Publication number
- JP2004088398A JP2004088398A JP2002246459A JP2002246459A JP2004088398A JP 2004088398 A JP2004088398 A JP 2004088398A JP 2002246459 A JP2002246459 A JP 2002246459A JP 2002246459 A JP2002246459 A JP 2002246459A JP 2004088398 A JP2004088398 A JP 2004088398A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- low
- data
- interpolation
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000002123 temporal effect Effects 0.000 claims abstract description 11
- 230000006835 compression Effects 0.000 claims description 45
- 238000007906 compression Methods 0.000 claims description 45
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 2
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】低ビットレートでの高画質の画像の伝送や低メモリーへの保存が容易に出来るものである。
【解決手段】静止画データまたは動画データを圧縮して低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数で伝送し、このデータを伝送後低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数の状態で解凍し、かつ、時間の画像補間または空間の画像補間もしくは時間と空間の両方の画像補間により高フレーム数または高ピクセル数もしくは高フレーム数および高ピクセル数に変換して表示する。または、同様な方法で保存し、保存したものを取り出し、かつ、時間の画像補間により、または空間補間により、もしくは時間の画像補間と空間補間との両方により、高フレーム数または高ピクセル数もしくは高フレーム数および高ピクセル数に変換して表示する。
【選択図】 図３
【解決手段】静止画データまたは動画データを圧縮して低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数で伝送し、このデータを伝送後低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数の状態で解凍し、かつ、時間の画像補間または空間の画像補間もしくは時間と空間の両方の画像補間により高フレーム数または高ピクセル数もしくは高フレーム数および高ピクセル数に変換して表示する。または、同様な方法で保存し、保存したものを取り出し、かつ、時間の画像補間により、または空間補間により、もしくは時間の画像補間と空間補間との両方により、高フレーム数または高ピクセル数もしくは高フレーム数および高ピクセル数に変換して表示する。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は、静止画データ・動画データの高度圧縮方法に関するものである。
【０００２】
【従来の技術】
静止画データ・動画データの伝送や保存において圧縮技術が用いられ、既存の動画・静止画の圧縮技術は世界標準のＭＰＥＧ１ 、ＭＰＥＧ２ 、ＭＰＥＧ４ 、ＪＰＥＧ、ＪＰＥＧ２０００がその代表的なものである。
【０００３】
ＪＰＥＧは静止画像の情報量圧縮に適用され、ＭＰＥＧ１ はＩＳＯ が中心になって各種機関の専門家を集めて設定した方式で、動画を対象とする。ＭＰＥＧ２ は、放送、通信、記録等広い範囲で多様な利用を考えて提案されたもので、多チャンネル・デシタル放送のような、放送にデジタル化の基本となっている符号化方式である。従来、これらの圧縮技術により、規定下のビットレートに合わせデータを圧縮し、送受信または蓄積保存していた。
【０００４】
【発明が解決しようとする課題】
しかし、静止画、動画のようにデータ容量の膨大な画像の送受信にはこれまでの圧縮技術では満足な画像の送受信が出来なかった。特に低ビットレート下でのそれには現状の圧縮技術では動画の送受信は全く不可能であり、満足な映像が送受信できない。また、保存にも大容量のメモリーが必要となり大変困っているのが現状である。
【０００５】
本発明の目的は前記従来例の不都合を解消し、低ビットレートでの高画質の画像の伝送や低メモリーへの保存が容易に出来る静止画データ・動画データの高度圧縮方法を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は前記目的を達成するため、第１に、静止画データまたは動画データを圧縮して低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数で伝送し、このデータを伝送後低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数の状態で解凍し、かつ、時間の画像補間または空間の画像補間もしくは時間と空間の両方の画像補間により高フレーム数または高ピクセル数もしくは高フレーム数および高ピクセル数に変換して表示することを要旨とするものである。
【０００７】
第２に、静止画データまたは動画データを圧縮して低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数でメモリーに保存し、このデータを保存後低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数の状態で取り出し、かつ、時間の画像補間により、または空間補間により、もしくは時間の画像補間と空間補間との両方により、高フレーム数または高ピクセル数もしくは高フレーム数および高ピクセル数に変換して表示することを要旨とするものである。
【０００８】
本発明によれば、本圧縮システムは既存の圧縮技術と新しい画像の時間・空間の補間技術を組み合わせることにより全くこれまでの技術では考えられない圧縮率を達成することが可能となり、▲１▼既存の動画・静止画の圧縮率をその圧縮率と１等の画質でさらに事実上８倍、１２倍の圧縮が可能、▲２▼３２Ｋｂｐｓ以上の低ビットレートでの高画質の動画（ＱＣＩＦ，１５ＦＰＳ以上）の伝送が可能、▲３▼既存の圧縮技術での保存の更に８倍、１２倍の容量が同一メモリー同一画質で可能となる。
【０００９】
【発明の実施の形態】
以下、図面について本発明の実施の形態を詳細に説明する。図１は本発明の静止画データ・動画データの高度圧縮伝送方法の基本原理を示す説明図で、例えば、画像伝送においては、画像データを入力し、通常の圧縮技術でエンコード（暗号化）をかける。それを伝送し、デコード（復号化）および補間して表示する。
【００１０】
ここで圧縮技術について説明すると、本発明の用いる圧縮技術技術についでは特に限定はなく、一例として、特開平１１−２９８８８９０号公報で示されるような画像データの圧縮又は伸張方法のごとき技術を利用することができる。
【００１１】
また、画像の蓄積においては、画像データを入力し、通常の圧縮技術でエンコードをかける。それをメモリに保存することで蓄積し、デコードおよび画像補間部で補間して表示する。
【００１２】
図２に示すように、画像補間部は圧縮画像データの復号化部と、時間または空間補間部、もしくは時間および空間補間部とからなり、入力データを圧縮画像データの信号の復号化部と、時間または空間補間部とからなり、圧縮画像データの信号を復号化し、これに時間または空間補間、もしくは時間および空間の補間を行う。
【００１３】
これら、時間補間および空間補間は周知技術を利用することができる。例えば、時間の補間については、次のごときである。
【００１４】
画像の伝送では、使用される回線の伝送スピードの問題等で現状の圧縮技術では１秒間に数コマから数十コマ程度の画像しか送れない。このように伝送可能なコマ数が少ない場合、特に動画は不自然な動きとなる。例えば、飛んでいるボールの動きは、ボールが途中で止ったようなぎこちない動きとして人間の目には写るのである。このようなぎこちなさを解消するために、一般的に用いられているのが補間の技法である。
【００１５】
また、この技法の中でもよく利用されるのが、画像データの圧縮符号化と復号化の技法である。この技法により１秒当たりの伝送可能なコマ数は増加できる。しかしながら、この様な圧縮符号化により圧縮率を上げると、復号化したときの画像の品質は劣化してしまう。
【００１６】
静止画又は動画等の画像の動きをスムーズに表現するため、フレーム間の時間ｔをｔ＝ｌｓｅｃ（次画面が表示されるまでの時間）と設定し、その１秒間を複数に分割し、一定単位ミリ秒毎に補間画面を挿入するのが時間による画像補間である。
【００１７】
補間画面は例えば前画面と次画面との輝度の変化を利用して補間画面を作成することによって、目の錯覚で画面が実際に動いているように、スムーズに切り換わる。
【００１８】
１コマ前の画面をｔ＝０ とし、現在の画面をｔ＝１ として、ボールが左から右へ移動したとする。このとき、ボールの移動は、ボールのあった画素の色が画面の背景色に変わり、新たなボールの位置の画素が背景色からボールの色に変わったことを意味している。この場合、例えば、色補間法では、フレーム間の色（光のＲ，Ｇ，Ｂ ）の輝度の差を線形補間法で分割する。即ち、ｔ＝０ での輝度が徐々にｔ＝１ の輝度に変わるように補間画面が作られる。ｔ＝０ からｔ＝１ までの１秒間の間に、２００ ミリ秒毎に画面を挿入するとすれば、４枚の補間画面が必要となる。このようにして作られた補間画面は、ｔ＝１／５ からｔ＝４／５ までの補間画面で、実画像の間に２００ ミリ秒毎に挿入され、連続的に表示される。
【００１９】
画面のイメージを画像モニタで見ると人間の目には、消えて行くボールの残像が、出現するボールの色の強さに惹かれ、目の錯覚で残像が移動する。結果的に、存在するはずのないボールがあるかのように見え、かつ、自然に飛んでいるかのように見える。
【００２０】
実際にフレーム間での補間画面を作成する方法としては、例えば、線形補間法の利用などである。
【００２１】
空間の画像補間は、画像の表示を行う時に、原画サイズ以外で表示するとイメージの拡大縮小が発生するが、このときに、いかにイメージのクオリティを落とさないようにするかということであり、画像の解像度を上げるとき、あるいは拡大、縮小するときに周囲のピクセル情報に基づいて新しいピクセルを作り出すことである。
【００２２】
空間の画像補間法は画素と画素の間に新たな画素を挿入することで画像のサイズを大きくする方法である．補間方法として、ニアレストネイバー法、バイリニア法、バイキュービック法の３つの方式が知られている。ニアレストネイバー法はその名の通り、単純に元の画像を水増し（拡大）、間引き（縮小）する方式。ジャギーが目立ちやすく階調のある画像のリサイズにはむいていない。バイリニア法、バイキュービック法は元の画像の周辺の複数の画像を数学的に算出して拡大、縮小する。バイキュービック法のほうが計算が複雑で精度が高く階調のある画像のリサイズにむいている。
【００２３】
本発明は、画像の圧縮、復号化技術と画像の補間技術を組み合わせる時に、低フレーム数または低ピクセル数で伝送またはメモリの保存し、これを画像の補間技術をもって高フレーム数または高いピクセル数に変換して表示することに特徴がある。
【００２４】
図３に示すように、カメラ映像データ入力をＱＣＩＦサイズ（Ｅｎｃｏｄｅ：３ｆｐｓ）に圧縮し（圧縮率２８．５倍）、これを６４Ｋｂｐｓで伝送し、圧縮復号化と、時間の補間、または空間の補間、時間と空間の補間により３ 〜１０ｆｐｓ 、ＳＩＦ サイズに表示する。
【００２５】
図４、図５、図６は時間の補間を使用する実施形態であり、図４の場合はＱＣＩＦサイズ（６４Ｋｂｐｓ：７．５ｆｐｓ）のものを圧縮し（７１．２８ｔｉｍｅｓ）、これを６４Ｋｂｐｓで伝送し、ＱＣＩＦサイズで解凍し、時間の補間をかけ、１５ｆｐｓ で表示する。
【００２６】
図５の場合は、ＳＩＦサイズ（６４Ｋｂｐｓ：７．５ｆｐｓ）のものを圧縮し（１１８．８ｔｉｍｅｓ）、これを１２８Ｋｂｐｓ で伝送し、ＳＩＦサイズで解凍し、時間の補間をかけ、１５ｆｐｓ で表示する。
【００２７】
図６の場合は、Ｒ６０１（ＢＴ）サイズ、（５００Ｋｂｐｓ ：１５ｆｐｓ ）のものを圧縮し（２４８．８ｔｉｍｅｓ）、これを５００Ｋｂｐｓ で伝送し、Ｒ６０１（ＢＴ）サイズで解凍し、時間の補間をかけ、３０ｆｐｓ で表示する。
【００２８】
図７、図８は空間の補間を使用する実施形態であり、図７の場合は、ＱＣＩＦサイズ（６４Ｋｂｐｓ：７．５ｆｐｓ）のものを圧縮し（９５ｔｉｍｅｓ ）、これを６４Ｋｂｐｓで伝送し、ＱＣＩＦサイズで解凍し、空間の補間をかけ、ＳＩＦサイズ １０ｆｐｓ で表示する。
【００２９】
図８の場合は、ＳＩＦサイズ（２５６Ｋｂｐｓ ：１５ｆｐｓ ）のものを圧縮し（１１８．８ｔｉｍｅｓ）、これを２５６Ｋｂｐｓ で伝送し、ＳＩＦサイズで解凍し、空間の補間をかけ、Ｒ６０１（ＢＴ）サイズ １５ｆｐｓ で表示する。
【００３０】
図９は時間と空間の補間を使用する実施形態であり、ＱＣＩＦサイズ（６４Ｋｂｐｓ：７．５ｆｐｓ）のものを圧縮し（７１．２８ｔｉｍｅｓ）、これを６４Ｋｂｐｓで伝送し、ＱＣＩＦサイズで解凍し、時間および空間の補間をかけ、ＳＩＦサイズ １５ｆｐｓ で表示する。
【００３１】
その他の実施形態としては、図示は省略するが、例えば、カメラ映像データ入力をＱＣＩＦサイズ（Ｅｎｃｏｄｅ：５ｆｐｓ）に圧縮し、これを６４Ｋｂｐｓで伝送し、時間と空間の補間により１０ｆｐｓ 、ＳＩＦ （またはＱＶＧＡ）サイズに表示する。
【００３２】
他の例として、カメラ映像データ入力をＳＩＦ（またはＱＶＧＡ） サイズ、１０ｆｐｓ に圧縮し、 １２８Ｋｂｐｓで伝送し、時間の補間により３０ｆｐｓ 、ＳＩＦ （またはＱＶＧＡ）サイズ表示に表示する。
【００３３】
さらに、他の例として、圧縮をかけた保存映像データ、ＳＩＦ （１５ｆｐｓ ）を１２８Ｋｂｐｓ で伝送し、時間と空間の補間によりＲ．６０１ （３０ｆｐｓ ）とするなどである。
【００３４】
【発明の効果】
以上述べたように本発明の静止画データ・動画データの高度圧縮方法は、既存の動画、静止画の圧縮技術に画像補間技術を組み合わせることにより既存の圧縮技術（ＪＰＥＧ２０００、ＭＰＥＧ２、ＭＰＥＧ４ など）の更に８倍以上の圧縮効果を生むことにより、これまで成し得なかった低ビットレート下での画像の送受信が可能となるものである。
【００３５】
また、ＣＤ，ＤＶＤ， ハードディスク等の蓄積媒体への画像のデータ蓄積容量が本方法の適用により８倍以上のデータの保存することが可能となるものである。
【図面の簡単な説明】
【図１】本発明の静止画データ・動画データの高度圧縮方法の説明図である。
【図２】本発明の静止画データ・動画データの高度圧縮方法での画像保管部の説明図である。
【図３】本発明の静止画データ・動画データの高度圧縮方法の実施形態の概略説明図である。
【図４】本発明の静止画データ・動画データの高度圧縮方法の第１実施形態の説明図である。
【図５】本発明の静止画データ・動画データの高度圧縮方法の第２実施形態の説明図である。
【図６】本発明の静止画データ・動画データの高度圧縮方法の第３実施形態の説明図である。
【図７】本発明の静止画データ・動画データの高度圧縮方法の第４実施形態の説明図である。
【図８】本発明の静止画データ・動画データの高度圧縮方法の第５実施形態の説明図である。
【図９】本発明の静止画データ・動画データの高度圧縮方法の第６実施形態の説明図である。
【発明の属する技術分野】
本発明は、静止画データ・動画データの高度圧縮方法に関するものである。
【０００２】
【従来の技術】
静止画データ・動画データの伝送や保存において圧縮技術が用いられ、既存の動画・静止画の圧縮技術は世界標準のＭＰＥＧ１ 、ＭＰＥＧ２ 、ＭＰＥＧ４ 、ＪＰＥＧ、ＪＰＥＧ２０００がその代表的なものである。
【０００３】
ＪＰＥＧは静止画像の情報量圧縮に適用され、ＭＰＥＧ１ はＩＳＯ が中心になって各種機関の専門家を集めて設定した方式で、動画を対象とする。ＭＰＥＧ２ は、放送、通信、記録等広い範囲で多様な利用を考えて提案されたもので、多チャンネル・デシタル放送のような、放送にデジタル化の基本となっている符号化方式である。従来、これらの圧縮技術により、規定下のビットレートに合わせデータを圧縮し、送受信または蓄積保存していた。
【０００４】
【発明が解決しようとする課題】
しかし、静止画、動画のようにデータ容量の膨大な画像の送受信にはこれまでの圧縮技術では満足な画像の送受信が出来なかった。特に低ビットレート下でのそれには現状の圧縮技術では動画の送受信は全く不可能であり、満足な映像が送受信できない。また、保存にも大容量のメモリーが必要となり大変困っているのが現状である。
【０００５】
本発明の目的は前記従来例の不都合を解消し、低ビットレートでの高画質の画像の伝送や低メモリーへの保存が容易に出来る静止画データ・動画データの高度圧縮方法を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は前記目的を達成するため、第１に、静止画データまたは動画データを圧縮して低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数で伝送し、このデータを伝送後低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数の状態で解凍し、かつ、時間の画像補間または空間の画像補間もしくは時間と空間の両方の画像補間により高フレーム数または高ピクセル数もしくは高フレーム数および高ピクセル数に変換して表示することを要旨とするものである。
【０００７】
第２に、静止画データまたは動画データを圧縮して低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数でメモリーに保存し、このデータを保存後低フレーム数または低ピクセル数もしくは低フレーム数および低ピクセル数の状態で取り出し、かつ、時間の画像補間により、または空間補間により、もしくは時間の画像補間と空間補間との両方により、高フレーム数または高ピクセル数もしくは高フレーム数および高ピクセル数に変換して表示することを要旨とするものである。
【０００８】
本発明によれば、本圧縮システムは既存の圧縮技術と新しい画像の時間・空間の補間技術を組み合わせることにより全くこれまでの技術では考えられない圧縮率を達成することが可能となり、▲１▼既存の動画・静止画の圧縮率をその圧縮率と１等の画質でさらに事実上８倍、１２倍の圧縮が可能、▲２▼３２Ｋｂｐｓ以上の低ビットレートでの高画質の動画（ＱＣＩＦ，１５ＦＰＳ以上）の伝送が可能、▲３▼既存の圧縮技術での保存の更に８倍、１２倍の容量が同一メモリー同一画質で可能となる。
【０００９】
【発明の実施の形態】
以下、図面について本発明の実施の形態を詳細に説明する。図１は本発明の静止画データ・動画データの高度圧縮伝送方法の基本原理を示す説明図で、例えば、画像伝送においては、画像データを入力し、通常の圧縮技術でエンコード（暗号化）をかける。それを伝送し、デコード（復号化）および補間して表示する。
【００１０】
ここで圧縮技術について説明すると、本発明の用いる圧縮技術技術についでは特に限定はなく、一例として、特開平１１−２９８８８９０号公報で示されるような画像データの圧縮又は伸張方法のごとき技術を利用することができる。
【００１１】
また、画像の蓄積においては、画像データを入力し、通常の圧縮技術でエンコードをかける。それをメモリに保存することで蓄積し、デコードおよび画像補間部で補間して表示する。
【００１２】
図２に示すように、画像補間部は圧縮画像データの復号化部と、時間または空間補間部、もしくは時間および空間補間部とからなり、入力データを圧縮画像データの信号の復号化部と、時間または空間補間部とからなり、圧縮画像データの信号を復号化し、これに時間または空間補間、もしくは時間および空間の補間を行う。
【００１３】
これら、時間補間および空間補間は周知技術を利用することができる。例えば、時間の補間については、次のごときである。
【００１４】
画像の伝送では、使用される回線の伝送スピードの問題等で現状の圧縮技術では１秒間に数コマから数十コマ程度の画像しか送れない。このように伝送可能なコマ数が少ない場合、特に動画は不自然な動きとなる。例えば、飛んでいるボールの動きは、ボールが途中で止ったようなぎこちない動きとして人間の目には写るのである。このようなぎこちなさを解消するために、一般的に用いられているのが補間の技法である。
【００１５】
また、この技法の中でもよく利用されるのが、画像データの圧縮符号化と復号化の技法である。この技法により１秒当たりの伝送可能なコマ数は増加できる。しかしながら、この様な圧縮符号化により圧縮率を上げると、復号化したときの画像の品質は劣化してしまう。
【００１６】
静止画又は動画等の画像の動きをスムーズに表現するため、フレーム間の時間ｔをｔ＝ｌｓｅｃ（次画面が表示されるまでの時間）と設定し、その１秒間を複数に分割し、一定単位ミリ秒毎に補間画面を挿入するのが時間による画像補間である。
【００１７】
補間画面は例えば前画面と次画面との輝度の変化を利用して補間画面を作成することによって、目の錯覚で画面が実際に動いているように、スムーズに切り換わる。
【００１８】
１コマ前の画面をｔ＝０ とし、現在の画面をｔ＝１ として、ボールが左から右へ移動したとする。このとき、ボールの移動は、ボールのあった画素の色が画面の背景色に変わり、新たなボールの位置の画素が背景色からボールの色に変わったことを意味している。この場合、例えば、色補間法では、フレーム間の色（光のＲ，Ｇ，Ｂ ）の輝度の差を線形補間法で分割する。即ち、ｔ＝０ での輝度が徐々にｔ＝１ の輝度に変わるように補間画面が作られる。ｔ＝０ からｔ＝１ までの１秒間の間に、２００ ミリ秒毎に画面を挿入するとすれば、４枚の補間画面が必要となる。このようにして作られた補間画面は、ｔ＝１／５ からｔ＝４／５ までの補間画面で、実画像の間に２００ ミリ秒毎に挿入され、連続的に表示される。
【００１９】
画面のイメージを画像モニタで見ると人間の目には、消えて行くボールの残像が、出現するボールの色の強さに惹かれ、目の錯覚で残像が移動する。結果的に、存在するはずのないボールがあるかのように見え、かつ、自然に飛んでいるかのように見える。
【００２０】
実際にフレーム間での補間画面を作成する方法としては、例えば、線形補間法の利用などである。
【００２１】
空間の画像補間は、画像の表示を行う時に、原画サイズ以外で表示するとイメージの拡大縮小が発生するが、このときに、いかにイメージのクオリティを落とさないようにするかということであり、画像の解像度を上げるとき、あるいは拡大、縮小するときに周囲のピクセル情報に基づいて新しいピクセルを作り出すことである。
【００２２】
空間の画像補間法は画素と画素の間に新たな画素を挿入することで画像のサイズを大きくする方法である．補間方法として、ニアレストネイバー法、バイリニア法、バイキュービック法の３つの方式が知られている。ニアレストネイバー法はその名の通り、単純に元の画像を水増し（拡大）、間引き（縮小）する方式。ジャギーが目立ちやすく階調のある画像のリサイズにはむいていない。バイリニア法、バイキュービック法は元の画像の周辺の複数の画像を数学的に算出して拡大、縮小する。バイキュービック法のほうが計算が複雑で精度が高く階調のある画像のリサイズにむいている。
【００２３】
本発明は、画像の圧縮、復号化技術と画像の補間技術を組み合わせる時に、低フレーム数または低ピクセル数で伝送またはメモリの保存し、これを画像の補間技術をもって高フレーム数または高いピクセル数に変換して表示することに特徴がある。
【００２４】
図３に示すように、カメラ映像データ入力をＱＣＩＦサイズ（Ｅｎｃｏｄｅ：３ｆｐｓ）に圧縮し（圧縮率２８．５倍）、これを６４Ｋｂｐｓで伝送し、圧縮復号化と、時間の補間、または空間の補間、時間と空間の補間により３ 〜１０ｆｐｓ 、ＳＩＦ サイズに表示する。
【００２５】
図４、図５、図６は時間の補間を使用する実施形態であり、図４の場合はＱＣＩＦサイズ（６４Ｋｂｐｓ：７．５ｆｐｓ）のものを圧縮し（７１．２８ｔｉｍｅｓ）、これを６４Ｋｂｐｓで伝送し、ＱＣＩＦサイズで解凍し、時間の補間をかけ、１５ｆｐｓ で表示する。
【００２６】
図５の場合は、ＳＩＦサイズ（６４Ｋｂｐｓ：７．５ｆｐｓ）のものを圧縮し（１１８．８ｔｉｍｅｓ）、これを１２８Ｋｂｐｓ で伝送し、ＳＩＦサイズで解凍し、時間の補間をかけ、１５ｆｐｓ で表示する。
【００２７】
図６の場合は、Ｒ６０１（ＢＴ）サイズ、（５００Ｋｂｐｓ ：１５ｆｐｓ ）のものを圧縮し（２４８．８ｔｉｍｅｓ）、これを５００Ｋｂｐｓ で伝送し、Ｒ６０１（ＢＴ）サイズで解凍し、時間の補間をかけ、３０ｆｐｓ で表示する。
【００２８】
図７、図８は空間の補間を使用する実施形態であり、図７の場合は、ＱＣＩＦサイズ（６４Ｋｂｐｓ：７．５ｆｐｓ）のものを圧縮し（９５ｔｉｍｅｓ ）、これを６４Ｋｂｐｓで伝送し、ＱＣＩＦサイズで解凍し、空間の補間をかけ、ＳＩＦサイズ １０ｆｐｓ で表示する。
【００２９】
図８の場合は、ＳＩＦサイズ（２５６Ｋｂｐｓ ：１５ｆｐｓ ）のものを圧縮し（１１８．８ｔｉｍｅｓ）、これを２５６Ｋｂｐｓ で伝送し、ＳＩＦサイズで解凍し、空間の補間をかけ、Ｒ６０１（ＢＴ）サイズ １５ｆｐｓ で表示する。
【００３０】
図９は時間と空間の補間を使用する実施形態であり、ＱＣＩＦサイズ（６４Ｋｂｐｓ：７．５ｆｐｓ）のものを圧縮し（７１．２８ｔｉｍｅｓ）、これを６４Ｋｂｐｓで伝送し、ＱＣＩＦサイズで解凍し、時間および空間の補間をかけ、ＳＩＦサイズ １５ｆｐｓ で表示する。
【００３１】
その他の実施形態としては、図示は省略するが、例えば、カメラ映像データ入力をＱＣＩＦサイズ（Ｅｎｃｏｄｅ：５ｆｐｓ）に圧縮し、これを６４Ｋｂｐｓで伝送し、時間と空間の補間により１０ｆｐｓ 、ＳＩＦ （またはＱＶＧＡ）サイズに表示する。
【００３２】
他の例として、カメラ映像データ入力をＳＩＦ（またはＱＶＧＡ） サイズ、１０ｆｐｓ に圧縮し、 １２８Ｋｂｐｓで伝送し、時間の補間により３０ｆｐｓ 、ＳＩＦ （またはＱＶＧＡ）サイズ表示に表示する。
【００３３】
さらに、他の例として、圧縮をかけた保存映像データ、ＳＩＦ （１５ｆｐｓ ）を１２８Ｋｂｐｓ で伝送し、時間と空間の補間によりＲ．６０１ （３０ｆｐｓ ）とするなどである。
【００３４】
【発明の効果】
以上述べたように本発明の静止画データ・動画データの高度圧縮方法は、既存の動画、静止画の圧縮技術に画像補間技術を組み合わせることにより既存の圧縮技術（ＪＰＥＧ２０００、ＭＰＥＧ２、ＭＰＥＧ４ など）の更に８倍以上の圧縮効果を生むことにより、これまで成し得なかった低ビットレート下での画像の送受信が可能となるものである。
【００３５】
また、ＣＤ，ＤＶＤ， ハードディスク等の蓄積媒体への画像のデータ蓄積容量が本方法の適用により８倍以上のデータの保存することが可能となるものである。
【図面の簡単な説明】
【図１】本発明の静止画データ・動画データの高度圧縮方法の説明図である。
【図２】本発明の静止画データ・動画データの高度圧縮方法での画像保管部の説明図である。
【図３】本発明の静止画データ・動画データの高度圧縮方法の実施形態の概略説明図である。
【図４】本発明の静止画データ・動画データの高度圧縮方法の第１実施形態の説明図である。
【図５】本発明の静止画データ・動画データの高度圧縮方法の第２実施形態の説明図である。
【図６】本発明の静止画データ・動画データの高度圧縮方法の第３実施形態の説明図である。
【図７】本発明の静止画データ・動画データの高度圧縮方法の第４実施形態の説明図である。
【図８】本発明の静止画データ・動画データの高度圧縮方法の第５実施形態の説明図である。
【図９】本発明の静止画データ・動画データの高度圧縮方法の第６実施形態の説明図である。
Claims (6)
- 静止画データまたは動画データを圧縮して低フレーム数で伝送し、このデータを伝送後低フレーム数の状態で解凍し、かつ、時間の画像補間により高フレーム数に変換して表示することを特徴とした静止画データ・動画データの高度圧縮方法。
- 静止画データまたは動画データを圧縮して低ピクセル数で伝送し、このデータを伝送後低フレーム数の状態で解凍し、かつ、空間の画像補間により高フレーム数に変換することを特徴とした静止画データ・動画データの高度圧縮方法。
- 静止画データまたは動画データを圧縮して低フレーム数および低ピクセル数で伝送し、このデータを伝送後低フレーム数および低ピクセル数の状態で解凍し、このデータを伝送後に時間の画像補間および空間の画像補間により高フレーム数および高ピクセル数に変換することを特徴とした静止画データ・動画データの高度圧縮方法。
- 静止画データまたは動画データを圧縮して低フレーム数でメモリーに保存し、このデータを保存後低フレーム数の状態で取り出し、かつ、時間の画像補間により高フレーム数に変換して表示することを特徴とした静止画データ・動画データの静止画データ・動画データの高度圧縮方法。
- 静止画データまたは動画データを圧縮して低ピクセル数でメモリーに保存し、このデータを保存後低ピクセル数の状態で取り出し、かつ、空間の画像補間により高ピクセル数に変換して表示することを特徴とした静止画データ・動画データの静止画データ・動画データの高度圧縮方法。
- 静止画データまたは動画データを圧縮して低フレーム数および低ピクセル数でメモリーに保存し、このデータを保存後低フレーム数および低ピクセル数の状態で取り出し、かつ、時間の画像補間および空間の画像補間により高フレーム数および高ピクセル数に変換して表示することを特徴とした静止画データ・動画データの高度圧縮方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002246459A JP2004088398A (ja) | 2002-08-27 | 2002-08-27 | 静止画データ・動画データの高度圧縮方法 |
| US10/647,973 US20040184524A1 (en) | 2002-08-27 | 2003-08-26 | Method for compressing and displaying still image data and moving image data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002246459A JP2004088398A (ja) | 2002-08-27 | 2002-08-27 | 静止画データ・動画データの高度圧縮方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004088398A true JP2004088398A (ja) | 2004-03-18 |
Family
ID=32054351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002246459A Pending JP2004088398A (ja) | 2002-08-27 | 2002-08-27 | 静止画データ・動画データの高度圧縮方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040184524A1 (ja) |
| JP (1) | JP2004088398A (ja) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4953196A (en) * | 1987-05-13 | 1990-08-28 | Ricoh Company, Ltd. | Image transmission system |
| US5703965A (en) * | 1992-06-05 | 1997-12-30 | The Regents Of The University Of California | Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening |
| US5831872A (en) * | 1995-06-27 | 1998-11-03 | Motorola, Inc. | Method and system for compressing a video signal using dynamic frame recovery |
| US5999189A (en) * | 1995-08-04 | 1999-12-07 | Microsoft Corporation | Image compression to reduce pixel and texture memory requirements in a real-time image generator |
| FR2757296B1 (fr) * | 1996-12-13 | 2001-10-12 | Sgs Thomson Microelectronics | Procede et dispositif d'estimation de mouvement de portions d'images pour circuit de compression d'images mobiles |
| JP3063715B2 (ja) * | 1997-12-19 | 2000-07-12 | 日本電気株式会社 | 画像圧縮装置 |
| US6597811B1 (en) * | 2000-03-27 | 2003-07-22 | Eduard Batkilim | Method and device for image digitized data compression and decompression |
-
2002
- 2002-08-27 JP JP2002246459A patent/JP2004088398A/ja active Pending
-
2003
- 2003-08-26 US US10/647,973 patent/US20040184524A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20040184524A1 (en) | 2004-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11843759B2 (en) | Systems and method for virtual reality video conversion and streaming | |
| US5689800A (en) | Video feedback for reducing data rate or increasing quality in a video processing system | |
| US9554132B2 (en) | Video compression implementing resolution tradeoffs and optimization | |
| US8451320B1 (en) | Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression | |
| CN112204993B (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
| US6067119A (en) | Hierarchical low latency video compression | |
| JP3395166B2 (ja) | 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体 | |
| US6442206B1 (en) | Anti-flicker logic for MPEG video decoder with integrated scaling and display functions | |
| CA2886174C (en) | Video compression method | |
| JP2012510737A (ja) | デジタル画像ストリームのフレームの符号化と復号化の方法およびシステム | |
| CN102761738A (zh) | 基于混合色度采样率的图像压缩方法和装置 | |
| CN104144322A (zh) | 移动终端上实现视频监控的方法、系统与视频处理服务器 | |
| JP3137581B2 (ja) | マルチメディア対応データ処理システムでビデオ・サイズをリアルタイムに変更するシステム | |
| JP2010171609A (ja) | 画像処理装置 | |
| WO2010113086A1 (en) | System and format for encoding data and three-dimensional rendering | |
| CN104284127A (zh) | 用来重新格式化声频/视频信号的视频处理装置及其使用方法 | |
| EP2312859A2 (en) | Method and system for communicating 3D video via a wireless communication link | |
| JP2004088398A (ja) | 静止画データ・動画データの高度圧縮方法 | |
| WO2016009507A1 (ja) | 映像送受信装置及び映像表示装置 | |
| CA2954683A1 (en) | Multilevel video compression, decompression, and display for 4k and 8k applications | |
| JP4145086B2 (ja) | 画像復号装置、画像処理装置、動画像表示システム、プログラム、記憶媒体及び画像復号方法 | |
| JP3115866B2 (ja) | 画像符号化装置及び画像復号装置 | |
| JP2009027535A (ja) | 画像処理装置およびそれを用いた撮像装置 | |
| JP2001144968A (ja) | マルチメディア情報変換装置 | |
| WO2014122708A1 (ja) | 画面符号化装置、画面復号装置、画面符号化伝送システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051004 |