JP2020509668A - ビデオ符号化方法、装置、機器、及び記憶媒体 - Google Patents

ビデオ符号化方法、装置、機器、及び記憶媒体 Download PDF

Info

Publication number
JP2020509668A
JP2020509668A JP2019543009A JP2019543009A JP2020509668A JP 2020509668 A JP2020509668 A JP 2020509668A JP 2019543009 A JP2019543009 A JP 2019543009A JP 2019543009 A JP2019543009 A JP 2019543009A JP 2020509668 A JP2020509668 A JP 2020509668A
Authority
JP
Japan
Prior art keywords
image frame
encoding
waiting
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019543009A
Other languages
English (en)
Other versions
JP6925587B2 (ja
Inventor
耀耀 郭
耀耀 郭
煦楠 毛
煦楠 毛
▲チェン▼▲チェン▼ 谷
▲チェン▼▲チェン▼ 谷
欣▲ウェイ▼ 高
欣▲ウェイ▼ 高
涛 ▲張▼
涛 ▲張▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2020509668A publication Critical patent/JP2020509668A/ja
Application granted granted Critical
Publication of JP6925587B2 publication Critical patent/JP6925587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本願は、ビデオ符号化方法、装置、機器、及び記憶媒体を開示しており、マルチメディア技術分野に属する。該方法は、移動窓に基づいて、ビデオの画像フレーム列におけるＮ個の画像フレームを決定し、移動窓内の各画像フレームの動き幅差分を取得し、移動窓内の各画像フレームの動き幅差分に基づいて、決定された連続静止画像フレームの数を示すための静止変数を更新し、更新された静止変数が第１所定閾値より小さくない場合、符号化待ちの画像フレームをＩフレームとして符号化する、ことを含む。本願では、ビデオが長い期間で静止シーンにあるか否かを判別する方式が提供され、ビデオが長い期間で静止シーンにあると決定した場合、Ｉフレームを挿入することにより、多すぎるＰフレームが挿入されることを回避し、符号化の品質を向上させる上に、符号化の効率を向上させる。

Description

本願は、２０１７年６月１５日に中国特許庁に提出された、出願番号が２０１７１０４６１３６７７であり、発明の名称が「ビデオ符号化方法、装置、及び機器」である中国特許出願の優先権を主張し、その全ての内容は参照することにより本願に組み込まれる。
本願は、マルチメディア技術分野に関し、特に、ビデオ符号化方法、装置、機器、及び記憶媒体に関する。
インターネットの普及、及びマルチメディア技術の高速発展に伴い、ビデオがますます広く適用されている。例えば、複数のユーザがビデオ通話を行う場合や、ユーザがオンラインでビデオを視聴する場合などの多くの場合に、ビデオの伝送が必要である。ビデオの画像フレーム列には、複数の画像フレームが含まれる。ビデオを伝送する過程では、これらの画像フレームを直接に伝送すれば、伝送されるデータ量が非常に大きくなる。そこで、データ量を減少させるために、伝送に先立って符号化を行う必要がある。
Ｈ.２６４標準は、よく使用されているビデオ符号化標準であり、Ｉフレーム及びＰフレームを含む。Ｉフレームは、現在の画像フレームを完全に符号化することにより得られるフレームであり、Ｐフレームは、現在の画像フレームと直前の画像フレームとの差異データに基づいて符号化することにより得られるフレームである。ここで、Ｉフレームは、画像フレームのデータが完全に保留され、符号化の品質が高いが、Ｐフレームは、差異データに基づいて符号化するだけでよく、符号化の効率が高い一方、符号化の品質が低い。符号化されたＩフレーム及びＰフレームによって、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）が構成される。ＧＯＰは、Ｉフレームで開始し、次のＩフレームの直前のＰフレームで終了する。
ビデオにシーンチェンジが発生することを考慮すると、現在の画像フレームと直前の画像フレームとの差異が大きく、現在の画像フレームをＰフレームとして符号化すれば、符号化の品質を低下させすぎるので、現在の画像フレームをＩフレームとして符号化してもよい。このため、符号化を行う際に、現在の画像フレームと直前の画像フレームとの差異の大きさを示すことができる残差を取得し、該残差が所定閾値より大きいか否かを判断し、該残差が所定閾値より大きい場合、ビデオにシーンチェンジが発生すると決定し、この場合、現在の画像フレームをＩフレームとして符号化するようにしてもよい。
本願発明を実現する過程では、発明者らは、関連技術に少なくとも以下の欠陥が存在することを見出した。即ち、上述した方法により、ある場合には、多すぎるＰフレームが連続して挿入され、符号化の品質を低下させる。
本願の実施例は、符号化の品質を低下させる問題を解決することができるビデオ符号化方法、装置、機器、及び記憶媒体を提供している。解決手段は以下のとおりである。
第１方面で、ビデオ符号化機器に適用されるビデオ符号化方法を提供している。前記方法は、
移動窓に基づいて、ビデオの画像フレーム列におけるＮ個の画像フレームを決定して、前記移動窓内の画像フレームに、Ｎ−１個の符号化済みの画像フレームと、前記移動窓の末尾にある１つの符号化待ちの画像フレームとを含ませ、
前記移動窓内の各画像フレームの、フレーム間予測コストとフレーム内予測コストとの比である動き幅と直前の画像フレームの動き幅との差分である動き幅差分を取得し、
前記移動窓内の各画像フレームの動き幅差分に基づいて、決定された連続静止画像フレームの数を示すための静止変数を更新し、
更新された静止変数が第１所定閾値より小さくない場合、前記符号化待ちの画像フレームをＩフレームとして符号化する、ことを含む。
第２方面で、ビデオ符号化装置を提供している。前記装置は、
移動窓に基づいて、ビデオの画像フレーム列におけるＮ個の画像フレームを決定して、前記移動窓内の画像フレームに、Ｎ−１個の符号化済みの画像フレームと、前記移動窓の末尾にある１つの符号化待ちの画像フレームとを含ませる決定モジュールと、
前記移動窓内の各画像フレームの、フレーム間予測コストとフレーム内予測コストとの比である動き幅と直前の画像フレームの動き幅との差分である動き幅差分を取得する第１取得モジュールと、
前記移動窓内の各画像フレームの動き幅差分に基づいて、決定された連続静止画像フレームの数を示すための静止変数を更新する第２取得モジュールと、
更新された静止変数が第１所定閾値より小さくない場合、前記符号化待ちの画像フレームをＩフレームとして符号化する符号化モジュールと、を備える。
第３方面で、ビデオ符号化機器を提供している。前記ビデオ符号化機器は、プロセッサとメモリとを備え、前記メモリには、少なくとも１つの命令が記憶され、前記命令は、前記プロセッサによってローディング・実行されることにより、第１方面に記載のビデオ符号化方法を実現させる。
第４方面で、少なくとも１つの命令を記憶したコンピュータ可読記憶媒体を提供している。前記命令は、プロセッサによってローディング・実行されることにより、第１方面に記載のビデオ符号化方法で実行される処理を実現させる。
本願の実施例で提供された解決手段による有益な効果は、以下のとおりである。
本願の実施例で提供された方法、装置、機器、及び記憶媒体によれば、移動窓に基づいてＮ個の画像フレームを決定し、移動窓内の各画像フレームの動き幅差分に基づいて静止変数を更新し、更新された静止変数が第１所定閾値より小さくない場合、移動窓内にあるビデオが長い期間で静止シーンにあると決定し、Ｉフレームを挿入する。本願では、ビデオが長い期間で静止シーンにあるか否かを判別する方式が提供され、ビデオが長い期間で静止シーンにあると決定した場合、Ｉフレームを挿入することにより、多すぎるＰフレームが挿入されることを回避し、符号化の品質を向上させる上に、符号化の効率を向上させる。
本願の実施例における解決手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単的に紹介する。明らかに、以下の説明における図面は本願の幾つかの実施例を示しているにすぎず、当業者にとって、創造的な労働をせずに、これらの図面から他の図面を得ることもできる。
本願の実施例で提供された実施環境の模式図である。 本願の実施例で提供された他の実施環境の模式図である。 本願の実施例で提供されたビデオ符号化方法のフローチャートである。 本願の実施例で提供された移動窓及び画像フレームの模式図である。 本願の実施例で提供された移動窓の移動の模式図である。 本願の実施例で提供されたビデオ符号化方法のフローチャートである。 本願の実施例で提供されたビデオ符号化方法のフローチャートである。 本願の実施例で提供されたビデオ符号化装置の構成の模式図である。 本願の実施例で提供された端末の構成の模式図である。 本願の実施例で提供されたサーバの構成の模式図である。
以下、本願の実施例における図面を参照して、本願の実施例における解決手段を明瞭かつ完全に説明する。明らかに、説明される実施例は、本願の全部の実施例ではなく、本願の一部の実施例である。当業者が創造的な労働をせずに本願の実施例から得るすべての他の実施例は、本願の保護範囲に属する。
関連技術では、静止シーンでＩフレームを挿入する構成が提供されていないが、長い期間で静止シーンにある場合、多すぎるＰフレームが挿入されるため、ビデオの符号化の品質を低下させすぎることを考慮して、この場合、適宜にＩフレームを挿入することは、全体的な性能の大きな助けになる。そこで、本願の実施例は、長い期間で静止シーンにある場合にＩフレームを挿入して、符号化の品質を向上させることができる方法を提供している。また、ビデオにシーンチェンジが発生する場合にＩフレームを挿入して、符号化の品質を向上させるとともに、多すぎるＩフレームが挿入されることを回避することができる方法を提供している。上述したＩフレームを挿入する方法は、具体的に下記の実施例を参照されたい。
本願の実施例は、第１機器１０１と第２機器１０２とを含む実施環境を提供している。第１機器１０１及び第２機器１０２は、ネットワークを介して接続される。第１機器１０１は、第２機器１０２にビデオを伝送する際に、まず、ビデオを符号化する必要があり、符号化されたビデオを第２機器１０２に送信する。第２機器１０２は、復号によって元のビデオを得る。
本願の実施例は、オンラインでビデオを再生するシーンに適用可能である。図１を参照すると、第１機器１０１は、ビデオを提供するためのビデオサーバであり、第２機器１０２は、ビデオを再生するための端末である。ビデオサーバは、符号化されたビデオを取得すると、ビデオをトランスコードすることができ、トランスコード過程において、本願の実施例で提供された符号化方法によってＩフレームを挿入することにより、符号化されたビデオを得て、端末に送信する。端末は、ビデオを復号して再生する。これにより、ユーザは、端末でビデオを視聴することができる。
本願の実施例は、ビデオ通話のシーンにも適用可能である。図２を参照すると、第１機器１０１及び第２機器１０２は、ビデオ通話を行う２つの端末であり、サーバ１０３を介して接続される。ビデオ通話を行う過程では、第１機器１０１は、画像フレームを取得するたびに、画像フレームを符号化してサーバ１０３に送信する。サーバ１０３は、該画像フレームを第２機器１０２に転送する。第２機器１０２は、該画像フレームを復号して再生する。第１機器１０１は、複数の画像フレームを取得することができ、第２機器１０２は、複数の画像フレームを連続して再生することにより、ビデオ再生の効果を実現することができる。これにより、ユーザは、第２機器１０２でビデオを視聴することができる。
当然に、本願の実施例は、ビデオ伝送の他のシーンにも適用可能であり、ここで説明を省略する。
図３は、本願の実施例で提供されたビデオ符号化方法のフローチャートである。本願の実施例では、静止シーンで１つの画像フレームに対してＩフレームを挿入する過程を説明する。実行主体は、ビデオ符号化機器である。該ビデオ符号化機器は、端末やサーバなどの、ビデオ伝送機能を有する機器であってもよい。図３を参照すると、該方法は、以下のステップを含む。
３０１で、ビデオ符号化機器は、移動窓に基づいて、ビデオの画像フレーム列におけるＮ個の画像フレームを決定する。
ここで、移動窓の長さはＮに等しい。Ｎは、１より大きい正整数である。Ｎは、ビデオのフレームレートに基づいて決定されてもよく、例えば、フレームレートの３分の２であってもよい。
ビデオの画像フレーム列を符号化する過程では、毎回、該移動窓によってＮ個の画像フレームを決定してもよい。Ｎ個の画像フレームは、Ｎ−１個の符号化済みの画像フレームと、移動窓の末尾にある１つの符号化待ちの画像フレームとを含む。この場合、移動窓内の画像フレームに基づいて、符号化待ちの画像フレームを符号化することができる。
例えば、図４Ａを参照すると、ビデオの符号化を開始するとき、画像フレーム列における１番目の画像フレームをＩフレームとして符号化し、ビデオの２番目の画像フレームからＮ−１番目の画像フレームをいずれもＰフレームとして符号化し、Ｎ番目の画像フレームを取得し、移動窓内のＮ番目の画像フレームの符号化を開始する。
説明すべきものとして、本願の実施例では、１つの符号化待ちの画像フレームを例として説明する。該符号化待ちの画像フレームは、ビデオのＮ番目の画像フレームであってもよいし、Ｎ番目の画像フレームの後のいずれかの画像フレームであってもよい。例えば、移動窓の毎回移動歩幅を１に設定し、つまり、移動窓を毎回１つのフレームだけ移動するようにしてもよい。これにより、Ｎ番目の画像フレーム、及びＮ番目の画像フレームの後の各画像フレームのいずれに対しても、本願の実施例で提供された符号化方法によって符号化を行うことができる。Ｎ番目の画像フレームの前の、１番目の画像フレーム以外の画像フレームについては、これらの画像フレームがＩフレームから近いため、Ｐフレームとして符号化されると、符号化の品質を低下させすぎることがないので、Ｐフレームとして符号化されるようにデフォルト設定すればよい。
３０２で、ビデオ符号化機器は、移動窓内の各画像フレームの動き幅差分を取得する。
画像フレームの動き幅は、画像フレームのフレーム間予測コストとフレーム内予測コストとの比であり、画像フレームの直前の画像フレームからの変化幅を示すことができる。画像フレームの直前の画像フレームからの変化幅が大きいほど、動き幅が大きくなり、画像フレームの直前の画像フレームからの変化幅が小さいほど、動き幅が小さくなる。
画像フレームの動き幅差分は、画像フレームの動き幅と直前の画像フレームの動き幅との差分であり、画像フレームの変化幅と直前の画像フレームの変化幅との間の変動状況を示すものである。動き幅差分が大きいほど、画像フレームの変化幅と直前の画像フレームの変化幅との間の変動が激しくなることが示され、動き幅差分が小さいほど、画像フレームの変化幅と直前の画像フレームの変化幅との間の変動が緩やかになることが示される。上記変化幅の差分は、２つの画像フレーム間の表示画面の差異の大きさを表現することができる。動き幅差分が大きいと、画面の差異が大きいことが示され、動き幅差分が小さいと、画面の差異が小さいことが示される。
Ｉｃｏｓｔでフレーム内予測コストを表し、Ｐｃｏｓｔでフレーム間予測コストを表し、ｎ番目の画像フレームの動き幅は
であり、ｎ番目の画像フレームの動き幅差分はηn=αn-αn-1であり、nは画像フレームのビデオの画像フレーム列における順番を表す。
第＝は画像フレームのビデオの画像フレーム列における順番を表す。ここで、画像フレームのフレーム内予測コストＩｃｏｓｔについて、画像フレームに対してダウンサンプリングを行った後、サンプリングで得られた画像フレームを所定サイズの複数のマクロブロックを分割し、各マクロブロック毎に、該マクロブロックの複数の方向における予測ブロックを算出し、マクロブロックと予測ブロックとの残差のＳＡＴＤを算出することにより、最適なフレーム内予測コストＩｃｏｓｔを得るようにしてもよい。ここで、ダウンサンプリング時のサンプリング幅は、要求に基づいて決定されてもよい。例えば、サンプリングで得られる画像フレームは、長さがオリジナル画像フレームの長さの２分の１であってもよく、幅がオリジナル画像フレームの幅の２分の１であってもよい。また、該所定サイズは、予測要求に基づいて決定されてもよく、例えば、８＊８であってもよい。ＳＡＴＤとは、残差をアダマール（Ｈａｄａｍａｒｄ）変換して、絶対値の合計を求めることである。
ここで、画像フレームのフレーム間予測コストＰｃｏｓｔについて、画像フレーム対してダウンサンプリングを行った後、サンプリングで得られた画像フレームを所定サイズの複数のマクロブロックを分割し、各マクロブロック毎に、整数画素ダイヤモンド予測によってマクロブロックの最適参照ブロックを得、マクロブロックと参照ブロックとの残差のＳＡＴＤを算出することにより、最適な動き幅を得、該動き幅及びマクロブロックのＩｃｏｓｔのうちの最小値をマクロブロックのＰｃｏｓｔとし、複数のマクロブロックのＰｃｏｓｔの和を画像フレームのＰｃｏｓｔとするようにしてもよい。
説明すべきものとして、各画像フレームの動き幅差分は、符号化に先立って算出されてもよい。現在の画像フレームを符号化する際に、該画像フレームの動き幅差分を算出してもよい。また、該画像フレームの前の画像フレームについて、符号化時に動き幅差分が既に算出されたので、これらの画像フレームの動き幅差分を、再び算出することなく、直接に取得すればよい。このような直接に取得する方式は、符号化過程における計算量を大幅に減少させることができる。
３０３で、ビデオ符号化機器は、移動窓内の各画像フレームの動き幅差分に基づいて、静止変数を更新する。
ここで、静止画像フレームとは、静止シーンにある画像フレームであり、静止変数は、決定された連続静止画像フレームの数を示すものである。符号化過程では、決定された連続静止画像フレームの増加につれて、該静止変数がしだいに累加される。累加過程の途中でいずれかの画像フレームが静止画像フレームでない場合、静止変数を０にリセットし、累加を新たに開始する。
本願の実施例では、移動窓内の各画像フレームの動き幅差分に基づいて、符号化待ちの画像フレームが静止画像フレームであるか否かを判断し、判断結果及び決定された静止変数に基づいて更新を行って、更新された静止変数を得るようにしてもよい。一実施形態では、以下の手順によって、静止画像フレームを決定して静止変数を更新してもよい。
符号化待ちの画像フレームが静止画像フレームであるか否かを判断する際に、現在第１所定条件が満たされるか否かを判断する。該第１所定条件は、符号化待ちの画像フレームの動き幅差分の絶対値が第２所定閾値より小さく、かつ移動窓内のすべての画像フレームの動き幅差分の総和の絶対値が第３所定閾値より小さいことである。このため、ビデオ符号化機器は、符号化待ちの画像フレームの動き幅差分の絶対値が第２所定閾値より小さいか否かを判断し、かつ、移動窓内のすべての画像フレームの動き幅差分の総和の絶対値が第３所定閾値より小さいか否かを判断する。符号化待ちの画像フレームの動き幅差分の絶対値が第２所定閾値より小さく、かつ移動窓内のすべての画像フレームの動き幅差分の総和の絶対値が第３所定閾値より小さい場合、第１所定条件が満たされ、符号化待ちの画像フレームが静止画像フレームであると決定し、決定された静止変数に１を加算して、更新された静止変数を得る。符号化待ちの画像フレームの動き幅差分の絶対値が第２所定閾値より小さくなく、又は移動窓内のすべての画像フレームの動き幅差分の総和の絶対値が第３所定閾値より小さくない場合、第１所定条件が満たされず、符号化待ちの画像フレームが静止画像フレームでないと決定し、更新された静止変数を０に設定し、連続する静止画像フレームの数の統計を新たに開始する。
例えば、ビデオ符号化機器は、以下の数式によって、静止変数を決定してもよい。
ここで、fnは符号化待ちの画像フレームに基づいて決定された静止変数を表し、fn-1は符号化待ちの画像フレームの直前の画像フレームに基づいて決定された静止変数を表し、ηnは符号化待ちの画像フレームの動き幅差分を表し、ηn=αn-αn-1であり、αnは符号化待ちの画像フレームの動き幅を表し、αn-1は符号化待ちの画像フレームの直前の画像フレームを表し、ξnは移動窓内のすべての画像フレームの動き幅差分の総和を表し、nは１より大きい正整数であり、ηTは第２所定閾値を表し、ξTは第３所定閾値を表す。a及びbの値は、符号化の効率及び符号化の品質を総合的に考慮して決定され、実際の画像フレーム列に基づいて微調整されてもよい。例えば、ηT=0.2、ξT=1である。
３０４で、ビデオ符号化機器は、更新された静止変数が第１所定閾値より小さいか否かを判断し、更新された静止変数が第１所定閾値より小さい場合、ステップ３０５を実行し、更新された静止変数が第１所定閾値より小さくない場合、ステップ３０６を実行する。
本願の実施例では、静止シーンで多すぎるＰフレームが挿入されることを回避するために、Ｉフレームの挿入条件を、連続静止画像フレームの数が第１所定閾値に達することに設定する。このような条件で、ビデオが長い期間で静止シーンにあり、かつ十分な数の静止画像フレームに基づいて十分なＰフレームが挿入され、引き続いてＰフレームを挿入すると、符号化の品質を低下させすぎるので、Ｉフレームを挿入する必要がある。
そうすると、ビデオ符号化機器は、更新された静止変数を取得すると、更新された静止変数が第１所定閾値より小さいか否かを判断する。更新された静止変数が第１所定閾値より小さい場合、連続静止画像フレームの数が上限を超えないことが示され、符号化の効率を向上させるための配慮から、引き続いてＰフレームを挿入してもよい。一方、更新された静止変数が第１所定閾値より小さくない場合、連続静止画像フレームの数が大きすぎることが示され、符号化の品質を向上させるための配慮から、Ｉフレームを挿入する必要がある。ここで、第１所定閾値は、符号化の品質及び符号化の効率に対する要求を総合して決定されてもよい。例えば、該第１所定閾値は、Ｎに等しくてもよい。
３０５で、ビデオ符号化機器は、符号化待ちの画像フレームをＰフレームとして符号化する。
Ｐフレームを挿入する際に、符号化待ちの画像フレームと直前の画像フレームとの差異データを取得し、該差異データに基づいて符号化を行う。得られた符号化された画像フレームは、Ｐフレームである。
３０６で、ビデオ符号化機器は、符号化待ちの画像フレームをＩフレームとして符号化する。
Ｉフレームを挿入する際に、直接に符号化待ちの画像フレームにおけるデータに基づいて符号化を行う。得られた符号化された画像フレームは、Ｉフレームである。
他の実施例では、Ｉフレームの挿入条件は、上述した静止変数が第１所定閾値より小さくないという条件に加えて、第２所定条件も含んでもよい。これに応じて、上記ステップ３０４〜３０６は、以下のステップで代替されてもよい。即ち、更新された静止変数が第１所定閾値より小さいか否かを判断し、かつ第２所定条件が満たされるか否かを判断し、更新された静止変数が第１所定閾値より小さくなく、かつ第２所定条件が満たされる場合、符号化待ちの画像フレームをＩフレームとして符号化し、更新された静止変数が第１所定閾値より小さく、又は第２所定条件が満たされない場合、符号化待ちの画像フレームをＰフレームとして符号化する。
0＜αn≦σ1かつμI.n-μn-1＞T1.n、
σ1＜αn≦σ2かつμI.n-μn-1＞T2.n、
σ2＜αn≦σ3かつμI.n-μn-1＞T3.n、
σ3＜αn≦σ4かつμI.n-μn-1＞T4.n、
ここで、nは符号化待ちの画像フレームの順番を表し、αnは符号化待ちの画像フレームの動き幅を表し、μI.nは符号化待ちの画像フレームの前の、符号化待ちの画像フレームから最も近いＩフレームの輝度成分のピーク信号対雑音比（ＰＳＮＲ）を表し、μn-1は符号化待ちの画像フレームの直前の画像フレームの輝度成分のＰＳＮＲを表す。輝度成分のＰＳＮＲは、相応する画像フレームの符号化の品質の評価に使用可能である。σ1、σ2、σ3、及びσ4、並びに、T1.n、T2.n、T3.n、及びT4.nは正数閾値であり、σ1、σ2、σ3、及びσ4は画像の複雑度の変化を表す閾値であり、要求に基づいて設定されてもよい。σ1＜σ2、σ2＜σ3、σ3＜σ4である。例えば、σ1=0.2、σ2=0.3、σ3=0.4、σ4=0.5、T1.n＞T2.n、T2.n＞T3.n、T3.n＞T4.nのように設定してもよい。
上記第２所定条件によれば、画像フレームの動き幅が小さい場合、画像フレームの画面が穏やかであることが示され、この場合、Ｐフレームを挿入すると、符号化の品質を低下させすぎることがないので、多すぎるＩフレームを挿入する必要がなく、ＰＳＮＲが大幅に低下するまで待ってからＩフレームを挿入することができ、符号化の品質が保証される上に、符号化の効率をできる限り向上させる。一方、画像フレームの動き幅が大きい場合、画像フレームの画面の変化が激しいことが示され、この場合、符号化の品質を低下させすぎることを回避するために、Ｉフレームの挿入条件を緩やかにしてもよい。これにより、ＰＳＮＲが小幅に低下すると、Ｉフレームを挿入することができる。
本願の実施例では、T1、T2、T3、及びT4の４つの閾値について、異なる画像フレームに使用される閾値は、同じであってもよいし、同じでなくてもよい。可能な一実現形態では、n番目の画像フレームの符号化が完了すると、T1.n、T2.n、T3.n、及びT4.nを更新して、更新されたT1.n+1、T2.n+1、T3.n+1、及びT4.n+1を得、更新された閾値でｎ＋１番目の画像フレームに対して判断を行ってもよい。この更新方式は、以下のとおりである。
T1.n+1=(1-ωT)×T1.n＋ωT×(μI-μn-1) 0＜αn≦σ1
T2.n+1=(1-ωT)×T2.n＋ωT×(μI-μn-1) σ1＜αn≦σ2
T3.n+1=(1-ωT)×T3.n＋ωT×(μI-μn-1) σ2＜αn≦σ3
T4.n+1=(1-ωT)×T4.n＋ωT×(μI-μn-1) σ3＜αn≦σ4
ここで、上記閾値T1、T2、T3、及びT4の初期値は、１番目のＩフレームの後に１番目のＩフレームを挿入するときのＰＳＮＲの低下幅に対する要求に基づいて決定されてもよく、例えば、T1.1=5、T2.1=4.5、T3.1=3、T4.1=2.5のように設定してもよい。ωTは、現在のＰＳＮＲの差分が更新過程において占める重みを表す正数閾値であり、例えば、ωT=0.2のように設定してもよい。
本願の実施例では、符号化待ちの画像フレームの符号化が完了すると、次の符号化待ちの画像フレームを取得し、次の符号化待ちの画像フレームが移動窓の末尾にあるように、移動窓を後に１つの画像フレームの距離で移動してもよい。このとき、ステップ３０１〜３０６を繰り返して実行し、引き続いて次の符号化待ちの画像フレームを符号化し、これによって類推してもよい。
図４Ａに示す例に基づいて、Ｎ番目の画像フレームの符号化が完了すると（Ｐフレームとして符号化すると仮定する）、図４Ｂに示すように、Ｎ＋１番目の画像フレームが移動窓の末尾にあるように、移動窓を後に１つの画像フレームの距離で移動する。このとき、Ｎ＋１番目の画像フレームの符号化を開始する。
説明すべきものとして、ビデオ符号化機器は、設定ファイルにＧＯＰの所定最大長を設定してもよい。該所定最大長は、前後の２つのＩフレーム間の最大長を規定するものである。そうすると、符号化待ちの画像フレームを符号化する際に、ビデオ符号化機器は、上記ステップ３０４における条件によって、Ｉフレームを挿入するか否かを決定するだけでなく、符号化待ちの画像フレームと、符号化待ちの画像フレームの前の、符号化待ちの画像フレームから最も近いＩフレームとの距離を取得し、該距離が該所定最大長に達するか否かを判断し、該距離が該所定最大長に達すると決定した場合、現在ステップ３０４における条件が満たされなくても、符号化待ちの画像フレームをＩフレームとして符号化する必要がある。
本願の実施例で提供された方法によれば、移動窓に基づいてＮ個の画像フレームを決定し、移動窓内の各画像フレームの動き幅差分に基づいて静止変数を更新し、更新された静止変数が第１所定閾値より小さくない場合、ビデオが長い期間で静止シーンにあると決定し、Ｉフレームを挿入する。本願では、ビデオが長い期間で静止シーンにあるか否かを判別する方式が提供され、ビデオが長い期間で静止シーンにあると決定した場合、Ｉフレームを挿入することにより、多すぎるＰフレームが挿入されることを回避し、符号化の品質を向上させる。また、Ｉフレームを挿入してからＰフレームを挿入することにより、Ｐフレームに使用されるビット数を減少させ、ＰＳＮＲを増加させ、符号化の効率を向上させる。
ここで、本願では、フレーム間予測コストとフレーム内予測コストとの比で現在の動き幅を表し、符号化済みの画像フレームのＰＳＮＲで歪みを表し、移動窓によって移動窓内の画像フレームを事前分析し、動き幅の変化状況を考慮し、区分関数を用いて、自己適応的にＩフレームを挿入するためのアルゴリズムを実現することにより、符号化の効率を向上させる。
また、リアルタイムでビデオ通話を行うシーンで、設定ファイルにおけるＧＯＰの所定最大長を大きな数値に設定してもよい。これにより、所定最大長に基づいてＩフレームを頻繁に挿入することがないように保証し、多くの場合には、画像フレームの状況に基づいて、Ｉフレームを挿入するか否かを決定し、符号化の効率を大幅に向上させる。また、本願の実施例に使用されるアルゴリズムは、ａｒｍｖ７やａｒｍ６４などのタイプのプロセッサにおいて、アセンブラの最適化が行われ、処理速度を向上させることができる。
図５は、本願の実施例で提供されたビデオ符号化方法のフローチャートである。本願の実施例では、３つの画像フレームを符号化する過程を例として、実行主体がビデオ符号化機器である。図５を参照すると、該方法は、以下のステップを含む。
５０１で、長さがＮに等しい移動窓を設定し、ビデオの１番目の画像フレームをＩフレームとして符号化し、ビデオの２番目の画像フレームからＮ−１番目の画像フレームをいずれもＰフレームとして符号化し、このとき、符号化によって得られたＮ−１個の画像フレームが移動窓の先頭Ｎ−１個の位置にある。Ｎ番目の画像フレームを取得すると、Ｎ番目の画像フレームが現在符号化待ちの画像フレームであり、かつＮ番目の画像フレームが移動窓の末尾にある。
本願の実施例では、Ｎが３であると仮定する。
５０２で、移動窓内のＮ個の画像フレームの動き幅差分に基づいて、第１所定条件が満たされると決定した場合、Ｎ番目の画像フレームが静止画像フレームであり、このとき、静止変数が１であり、静止変数１がＮより小さいため、Ｎ番目の画像フレームをＰフレームとして符号化する。
５０３で、Ｎ＋１番目の画像フレームを取得し、移動窓を後に１つの画像フレームの距離で移動し、このとき、移動窓内において、２番目の画像フレームからＮ＋１番目の画像フレームが含まれる。
５０４で、移動窓内のＮ個の画像フレームの動き幅差分に基づいて、第１所定条件が満たされると決定した場合、Ｎ＋１番目の画像フレームが静止画像フレームであり、このとき、静止変数が２に更新され、静止変数２がＮより小さいため、Ｎ＋１番目の画像フレームをＰフレームとして符号化する。
５０５で、Ｎ＋２番目の画像フレームを取得し、移動窓を後に１つの画像フレームの距離で移動し、このとき、移動窓内において、３番目の画像フレームからＮ＋２番目の画像フレームが含まれる。
５０６で、移動窓内のＮ個の画像フレームの動き幅差分に基づいて、第１所定条件が満たされると決定した場合、Ｎ＋２番目の画像フレームが静止画像フレームであり、このとき、静止変数が３に更新され、静止変数３がＮに等しいため、Ｎ＋２番目の画像フレームをＩフレームとして符号化する。
図６は、本願の実施例で提供されたビデオ符号化方法のフローチャートである。本願の実施例では、シーンチェンジ時にＩフレームを挿入する過程を説明し、実行主体がビデオ符号化機器である。図６を参照すると、該方法は、以下のステップを含む。
６０１で、符号化待ちの画像フレームと、符号化待ちの画像フレームの前の、符号化待ちの画像フレームから最も近いＩフレームとの距離を取得する。
６０２で、該距離に基づいて第４所定閾値を算出する。
ここで、第４所定閾値の算出に以下の数式が使用される。
ここで、VSceneは、設定された閾値を表し、ビデオ符号化機器によって予め決定されてもよく、Dは該距離を表し、GOPminはＧＯＰの所定最小長を表し、GOPmaxはＧＯＰの所定最大長を表し、Fbiasは第４所定閾値を表す。
６０３で、符号化待ちの画像フレームの動き幅が１と第４所定閾値との差分より大きいか否か、符号化待ちの画像フレームの動き幅が第５所定閾値より小さいか否かを判断し、該距離が第６所定閾値より小さいか否かを判断する。
６０４で、符号化待ちの画像フレームの動き幅が１と第４所定閾値との差分より大きく、かつ符号化待ちの画像フレームの動き幅が第５所定閾値より小さくなく、かつ該距離が第６所定閾値より小さくない場合、符号化待ちの画像フレームをＩフレームとして符号化する。
６０５で、符号化待ちの画像フレームの動き幅が１と第４所定閾値との差分より大きくなく、又は符号化待ちの画像フレームの動き幅が第５所定閾値より小さく、又は該距離が第６所定閾値より小さい場合、符号化待ちの画像フレームをＰフレームとして符号化する。
関連技術では、ビデオにシーンチェンジが発生するときにＩフレームを挿入するが、ビデオにシーンチェンジが頻繁に発生する場合、多すぎるＩフレームが挿入されると、Ｉフレームの後にＰフレームを挿入するとき、品質を低下させることになる。このため、多すぎるＩフレームが挿入されることを回避するために、Ｉフレームとして符号化する対象画像フレームの動き幅が、１と第４所定閾値との差分より大きくかつ第５所定閾値より小さくないべきであり、挿入されるＩフレームと直前のＩフレームとの距離が第６所定閾値より小さくてはいけない。該第５所定閾値は、Ｉフレームとして符号化する対象画像フレームの最小動き幅を決定するためのものであり、該第６所定閾値は、前後の２つのＩフレーム間の最小距離を決定するためのものであり、該第５所定閾値及び該第６所定閾値は、符号化の品質及び符号化の効率を総合的に考慮して決定されてもよい。例えば、第５所定閾値は０．８であってもよく、第６所定閾値はフレームレートの２分の１であってもよい。
実際の適用では、ビデオ符号化機器は、判断を行う際に、まず、該距離が第６所定閾値より小さいか否かを判断し、該距離が第６所定閾値より小さい場合、直接に符号化待ちの画像フレームをＰフレームとして符号化し、該距離が第６所定閾値より小さくない場合、符号化待ちの画像フレームの動き幅が１と第４所定閾値との差分より大きいか否か、符号化待ちの画像フレームの動き幅が第５所定閾値より小さいか否かを判断し、判断結果に基づいて、符号化待ちの画像フレームをＩフレームとして符号化するか、それとも、符号化待ちの画像フレームをＰフレームとして符号化するかを決定するようにしてもよい。
説明すべきものとして、上述した図３に示す実施例及び図６に示す実施例を組み合わせてもよい。符号化過程では、ビデオ符号化機器は、上記ステップ３０１〜３０４によって判断を行うとともに、上記ステップ６０１〜６０３によって判断を行うようにしてもよい。これにより、符号化待ちの画像フレームをＩフレームとして符号化するか、それとも、符号化待ちの画像フレームをＰフレームとして符号化するかを決定する。
本願の実施例で提供された方法によれば、符号化待ちの画像フレームの動き幅が１と第４所定閾値との差分より大きくかつ第５所定閾値より小さくなく、符号化待ちの画像フレームと直前のＩフレームとの距離が第６所定閾値より小さくない場合に、符号化待ちの画像フレームをＩフレームとして符号化するように保証することにより、多すぎるＩフレームが挿入されることを回避し、符号化の効率を向上させる。
図７は、本願の実施例で提供されたビデオ符号化装置の構成の模式図である。図７を参照すると、該装置は、
上記ステップ３０１を実行する決定モジュール７０１と、
上記ステップ３０２を実行する第１取得モジュール７０２と、
上記ステップ３０３を実行する第２取得モジュール７０３と、
上記ステップ３０５又は３０６を実行する符号化モジュール７０４と、を備える。
可能な一実現形態では、第２取得モジュール７０３は、静止変数を更新する。
可能な他の実現形態では、符号化モジュール７０４は、更新された静止変数が前記所定数より小さくなく、かつ第２所定条件が満たされる場合、Ｉフレームを挿入する。
第２所定条件は、
0＜αn≦σ1かつμI.n-μn-1＞T1.n、
σ1＜αn≦σ2かつμI.n-μn-1＞T2.n、
σ2＜αn≦σ3かつμI.n-μn-1＞T3.n、
σ3＜αn≦σ4かつμI.n-μn-1＞T4.n、
のうち少なくとも１つを含み、
可能な他の実現形態では、
T1.n+1=(1-ωT)×T1.n＋ωT×(μI-μn-1) 0＜αn≦σ1
T2.n+1=(1-ωT)×T2.n＋ωT×(μI-μn-1) σ1＜αn≦σ2
T3.n+1=(1-ωT)×T3.n＋ωT×(μI-μn-1) σ2＜αn≦σ3
T4.n+1=(1-ωT)×T4.n＋ωT×(μI-μn-1) σ3＜αn≦σ4
ここで、ωTは正数閾値である。
可能な他の実現形態では、符号化モジュール７０４は、さらに、更新された静止変数が第１所定閾値より小さい場合、符号化待ちの画像フレームをＰフレームとして符号化する。
可能な他の実現形態では、該装置は、
次の符号化待ちの画像フレームを取得し、移動窓を後に１つの画像フレームの距離で移動する切替モジュールをさらに備え、
第２モジュール７０３は、さらに、移動窓内の各画像フレームの動き幅差分に基づいて静止変数を更新することを、現在更新された静止変数が第１所定閾値より小さくないまで継続し、符号化モジュール７０４によって、現在の符号化待ちの画像フレームをＩフレームとして符号化する。
可能な他の実現形態では、該装置は、
上記ステップ６０１を実行する第３取得モジュールと、
上記ステップ６０２を実行する算出モジュールと、
上記ステップ６０４又は６０５を実行する符号化モジュール７０４と、をさらに備える。
上述したすべての選択可能な構成は、任意の組み合わせによって、本開示の選択可能な実施例を構成することができ、ここで一つ一つの説明を省略する。
説明すべきものとして、上記実施例で提供されたビデオ符号化装置が符号化を行うことについて、上記各機能モジュールの分割で例示しているが、実際の適用では、必要に応じて、上記機能を異なる機能モジュールによって実現するように割り当て、即ち、ビデオ符号化機器の内部構成を異なる機能モジュールに分割することにより、上述した機能の全部又は一部を実現するようにしてもよい。また、上記実施例で提供されたビデオ符号化装置は、ビデオ符号方法の実施例と同一の構想に属する。その具体的な実現過程の詳細は、方法の実施例を参照されたいが、ここで説明を省略する。
図８は、本願の実施例で提供された端末の構成の模式図である。該端末は、上記実施例に示されたビデオ符号化方法においてビデオ符号化機器が実行する機能の実施に利用されてもよい。具体的には、
端末８００は、無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路１１０、１つ又は複数のコンピュータ可読記憶媒体を備えたメモリ１２０、入力手段１３０、表示手段１４０、センサ１５０、オーディオ回路１６０、伝送モジュール１７０、１つ又は複数の処理コアを備えたプロセッサ１８０、及び電源１９０などの構成要素を含んでもよい。当業者であれば理解できるように、図８に示された端末の構成は、端末を限定するものでなく、図示よりも多く又は少ない構成要素を含んでもよく、或いはいくらかの構成要素を組み合わせたものであってもよく、或いは構成要素の異なる配置を有してもよい。ここで、
ＲＦ回路１１０は、情報の送受信、又は通話過程における信号の送受信に使用可能であり、特に、基地局の下り情報を受信して、１つ又は複数のプロセッサ１８０に渡して処理させ、また、上りに係るデータを基地局に送信する。通常、ＲＦ回路１１０は、アンテナ、少なくとも１つの増幅器、チューナー、１つ又は複数の発振器、加入者識別モジュール（ＳＩＭ）カード、送受信機、結合器、低雑音増幅器（ＬＮＡ：Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ）、デュプレクサなどを含むが、これらに限定されない。また、ＲＦ回路１１０は、無線通信でネットワーク及び他の端末と通信可能である。前記無線通信は、任意の通信標準又はプロトコルを使用してもよい。使用可能な通信標準又はプロトコルは、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＧＰＲＳ（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、電子メール、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ）などを含むが、これらに限定されない。
メモリ１２０は、ソフトウェアプログラム及びモジュール、例えば、上記例示的な実施例に示された端末に対応するソフトウェアプログラム及びモジュールの記憶に使用可能である。プロセッサ１８０は、メモリ１２０に記憶されたソフトウェアプログラム及びモジュールを実行することにより、例えば、ビデオによるインタラクションを実現するなど、各種の機能の適用及びデータ処理を実行する。メモリ１２０は、主にプログラム記憶領域及びデータ記憶領域を含んでもよい。ここで、プログラム記憶領域には、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラム（例えば、音響再生機能、画像再生機能など）などを記憶してもよい。データ記憶領域には、端末８００の使用に応じて作成されたデータ（例えば、オーディオデータ、電話帳など）などを記憶してもよい。また、メモリ１２０は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリ、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の揮発性ソリッドステート記憶デバイスを含んでもよい。これに応じて、メモリ１２０は、メモリコントローラを含んでもよい。これにより、プロセッサ１８０及び入力手段１３０によるメモリ１２０へのアクセスが提供される。
入力手段１３０は、入力された数字や文字の情報を受信し、ユーザ設定及び機能制御に関するキーボード、マウス、ジョイスティック、又はオプティカルトラックボールの信号入力を生成することに使用可能である。具体的には、入力手段１３０は、タッチセンス表面１３１及び他の入力端末１３２を含んでもよい。タッチセンス表面１３１は、タッチスクリーン又はタッチパネルとも呼ばれ、その上又はその付近におけるユーザのタッチ操作（例えば、ユーザが指、タッチペンなどの任意の適切なものやアクセサリーを使用して、タッチセンス表面１３１上又はタッチセンス表面１３１付近において行う操作）を収集し、予め設定されたプログラムによって、相応する接続装置を駆動することができる。任意選択的に、タッチセンス表面１３１は、タッチ検出装置と、タッチコントローラとの２つの部分を含んでもよい。ここで、タッチ検出装置は、ユーザのタッチ方位を検出し、タッチ操作による信号を検出し、信号をタッチコントローラに伝送する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、それをタッチポイント座標に変換して、プロセッサ１８０に送信し、プロセッサ１８０から送信された指示を受信して実行することができる。また、抵抗膜、静電容量、赤外線、及び表面弾性波などの複数の方式によって、タッチセンス表面１３１を実現してもよい。入力手段１３０は、タッチセンス表面１３１に加えて、他の入力端末１３２を含んでもよい。具体的には、他の入力端末１３２は、物理キーボード、ファンクションキー（例えば、音量制御キー、スイッチキーなど）、トラックボール、マウス、ジョイスティックなどのうち１つ又は複数を含んでもよいが、これらに限定されない。
表示手段１４０は、ユーザが入力した情報又はユーザに提供する情報、及び、端末８００の各種のグラフィカルユーザインタフェースの表示に使用可能である。これらのグラフィカルユーザインタフェースは、図形、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせによって構成されてもよい。表示手段１４０は、表示パネル１４１を含んでもよい。任意選択的に、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの形式で、表示パネル１４１を配置してもよい。さらに、タッチセンス表面１３１は、表示パネル１４１を覆ってもよい。タッチセンス表面１３１は、その上又はその付近におけるタッチ操作を検出すると、タッチイベントのタイプを決定するために、該タッチ操作をプロセッサ１８０に伝送する。その後、プロセッサ１８０は、タッチイベントのタイプに応じて、相応する視覚的出力を表示パネル１４１に提供する。図８において、タッチセンス表面１３１及び表示パネル１４１は、独立した２つの構成要素として、入力及び入力機能を実現するが、ある実施例では、タッチセンス表面１３１及び表示パネル１４１を統合して、入力及び出力機能を実現してもよい。
端末８００は、例えば、光センサ、モーションセンサ、及びその他のセンサのうち少なくとも１種のセンサ１５０を含んでもよい。具体的には、光センサは、環境光センサや近接センサを含んでもよい。ここで、環境光センサは、環境光線の明るさに基づいて、表示パネル１４１の輝度を調節することができ、近接センサは、端末８００が耳付近に移動すると、表示パネル１４１及び／又はバックライトをオフにすることができる。モーションセンサの１つとして、重力加速度センサは、各方向（一般的に３軸）における加速度の大きさを検知でき、静止時に重力の大きさ及び方向を検知でき、携帯電話の姿勢を認識するアプリケーション（例えば、画面の縦横切り替え、関連ゲーム、磁力計の姿勢校正）、振動認識の関連機能（例えば、歩数計、ノック）などに使用可能である。端末８００に配置可能なジャイロスコープ、バロメーター、湿度計、温度計、赤外線センサなどのその他のセンサについては、ここで説明を省略する。
オーディオ回路１６０、スピーカー１６１、マイクロフォン１６２は、ユーザと端末８００との間のオーディオインタフェースを提供することができる。オーディオ回路１６０は、受信されたオーディオデータを変換した電気信号をスピーカー１６１に伝送することができる。スピーカー１６１は、電気信号を音響信号に変換して出力する。一方、マイクロフォン１６２は、収集された音響信号を電気信号に変換する。オーディオ回路１６０は、電気信号を受信してオーディオデータに変換し、オーディオデータをプロセッサ１８０に出力する。プロセッサ１８０は、オーディオデータを処理した後、オーディオデータを、ＲＦ回路１１０を介して例えば他の端末に送信し、又は、さらなる処理のためにメモリ１２０に出力する。オーディオ回路１６０は、外付けイヤホンと端末８００との通信を提供するためのイヤホンジャックを含んでもよい。
端末８００は、伝送モジュール１７０によって、ユーザによる電子メールの送受信、ウェブページの閲覧、及びストリーミングメディアのアクセスなどを助けることができ、無線又は有線の広帯域インターネットアクセスをユーザに提供する。伝送モジュール１７０は、図８に示されているが、端末８００の必須の構成に属せず、必要に応じて、発明の本質を変えない範囲で完全に省略可能であることが理解できる。
プロセッサ１８０は、端末８００の制御センターであり、各種のインタフェース及び線路によって携帯電話全体の各部分を接続し、メモリ１２０に記憶されたソフトウェアプログラム及び／又はモジュールを実行又は遂行して、メモリ１２０に記憶されたデータを呼び出すことにより、端末８００の各種の機能を実行してデータを処理し、携帯電話を全体的に監視制御する。任意選択的に、プロセッサ１８０は、１つ又は複数の処理コアを含んでもよい。好ましくは、プロセッサ１８０には、アプリケーションプロセッサ及び変復調プロセッサが統合されてもよい。ここで、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザ画面、及びアプリケーションプログラムなどを処理し、変復調プロセッサは、主に無線通信を処理する。理解できるように、上記変復調プロセッサは、プロセッサ１８０に統合されなくてもよい。
端末８００は、各構成要素に電力を供給する電源１９０（例えば、電池）をさらに含む。好ましくは、電源は、電源管理システムを介して、プロセッサ１８０と論理的に接続されてもよい。これにより、電源管理システムによって、充電、放電、及び電力消耗管理などの機能を実現する。電源１９０は、１つ又は複数の直流又は交流電源、再充電システム、電源故障検出回路、電源変換器又はインバータ、電源状態指示器などの任意の構成要素を含んでもよい。
図示されていないが、端末８００は、カメラ、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなどを含んでもよいが、ここで説明を省略する。具体的に、本実施例では、端末８００の表示手段は、タッチスクリーンディスプレイである。端末８００は、メモリと、少なくとも１つの命令と、をさらに備える。ここで、少なくとも１つの命令は、メモリに記憶され、１つ又は複数のプロセッサによってローディング・実行されることにより、上記実施例におけるビデオ符号化方法を実現させるように構成される。
図９は、本願の実施例で提供されたサーバの構成の模式図である。該サーバ９００は、スペック又は性能が異なることによって、大きな差異があり得るが、１つ又は複数の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）９２２（例えば、１つ又は複数のプロセッサ）と、メモリ９３２と、アプリケーションプログラム９４２やデータ９４４を記憶する１つ又は複数の記憶媒体９３０（例えば、１つ又は複数の大容量記憶デバイス）とを備えてもよい。ここで、メモリ９３２及び記憶媒体９３０は、一時的な記憶装置又は永続的な記憶装置であってもよい。記憶媒体９３０に記憶されるプログラムは、１つ又は複数のモジュール（図中に示されていない）を含んでもよく、各モジュールは、サーバの一連の命令を含んでもよい。さらに、中央処理装置９２２は、記憶媒体９３０と通信し、サーバ９００で記憶媒体９３０における一連の命令をローディング・実行することにより、上記実施例におけるビデオ符号化方法を実現するように構成されてもよい。
サーバ９００は、１つ又は複数の電源９２６、１つ又は複数の有線または無線ネットワークインタフェース９５０、１つ又は複数の入出力インタフェース９５９、１つ又は複数のキーボード９５６、及び／又は、例えば、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどの１つ又は複数のオペレーティングシステム９４１を備えてもよい。
該サーバ９００は、上記実施例で提供されたビデオ符号化方法においてビデオ符号化機器が実行するステップの実行に使用可能である。
また、本願の実施例では、少なくとも１つの命令を記憶したコンピュータ可読記憶媒体を提供している。該命令は、プロセッサによってローディング・実行されることにより、上記実施例のビデオ符号化方法で実行される処理を実現させる。
当業者であれば理解できるように、上記の実施例の手順の全部又は一部は、ハードウェアによって実現されてもよいし、プログラムから関連のハードウェアへ指示することにより実現されてもよい。前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよい。上記に言及された記憶媒体は、読み出し専用メモリ、磁気ディスクや光ディスクなどであってもよい。
上記は、本発明の好ましい実施例にすぎず、本願の保護範囲を限定するものではない。本願の精神と原則内で行われる種々の修正、均等置換え、改善などはすべて本願の保護範囲内に含まれるべきである。
１０１ 第１機器
１０２ 第２機器
１０３ サーバ
７０１ 決定モジュール
７０２ 第１取得モジュール
７０３ 第２取得モジュール
７０４ 符号化モジュール
８００ 端末
１１０ ＲＦ回路
１２０ メモリ
１３０ 入力手段
１３１ タッチセンス表面
１３２ 他の入力端末
１４０ 表示手段
１４１ 表示パネル
１５０ センサ
１６０ オーディオ回路
１６１ スピーカー
１６２ マイクロフォン
１７０ 伝送モジュール
１８０ プロセッサ
１９０ 電源
９００ サーバ
９２２ 中央処理装置
９２６ 電源
９３０ 記憶媒体
９３２ メモリ
９４１ オペレーティングシステム
９４２ アプリケーションプログラム
９４４ データ
９５０ 有線または無線ネットワークインタフェース
９５６ キーボード
９５９ 入出力インタフェース
ここで、画像フレームのフレーム内予測コストＩｃｏｓｔについて、画像フレームに対してダウンサンプリングを行った後、サンプリングで得られた画像フレームを所定サイズの複数のマクロブロックを分割し、各マクロブロック毎に、該マクロブロックの複数の方向における予測ブロックを算出し、マクロブロックと予測ブロックとの残差のＳＡＴＤを算出することにより、最適なフレーム内予測コストＩｃｏｓｔを得るようにしてもよい。ここで、ダウンサンプリング時のサンプリング幅は、要求に基づいて決定されてもよい。例えば、サンプリングで得られる画像フレームは、長さがオリジナル画像フレームの長さの２分の１であってもよく、幅がオリジナル画像フレームの幅の２分の１であってもよい。また、該所定サイズは、予測要求に基づいて決定されてもよく、例えば、８＊８であってもよい。ＳＡＴＤとは、残差をアダマール（Ｈａｄａｍａｒｄ）変換して、絶対値の合計を求めることである。
ここで、fnは符号化待ちの画像フレームに基づいて決定された静止変数を表し、fn-1は符号化待ちの画像フレームの直前の画像フレームに基づいて決定された静止変数を表し、ηnは符号化待ちの画像フレームの動き幅差分を表し、ηn=αn-αn-1であり、αnは符号化待ちの画像フレームの動き幅を表し、αn-1は符号化待ちの画像フレームの直前の画像フレームの動き幅を表し、ξnは移動窓内のすべての画像フレームの動き幅差分の総和を表し、nは１より大きい正整数であり、ηTは第２所定閾値を表し、ξTは第３所定閾値を表す。η T 及びξ T の値は、符号化の効率及び符号化の品質を総合的に考慮して決定され、実際の画像フレーム列に基づいて微調整されてもよい。例えば、ηT=0.2、ξT=1である。
他の実施例では、Ｉフレームの挿入条件は、上述した静止変数が第１所定閾値より小さくないという条件に加えて、第２所定条件も含んでもよい。これに応じて、上記ステップ３０４〜３０６は、以下のステップで代替されてもよい。即ち、更新された静止変数が第１所定閾値より小さいか否かを判断し、かつ第２所定条件が満たされるか否かを判断し、更新された静止変数が第１所定閾値より小さくなく、かつ第２所定条件が満たされる場合、符号化待ちの画像フレームをＩフレームとして符号化し、更新された静止変数が第１所定閾値より小さく、又は第２所定条件が満たされない場合、符号化待ちの画像フレームをＰフレームとして符号化する。
第２所定条件は、
0＜αn≦σ1かつμI.n-μn-1＞T1.n、
σ1＜αn≦σ2かつμI.n-μn-1＞T2.n、
σ2＜αn≦σ3かつμI.n-μn-1＞T3.n、
σ3＜αn≦σ4かつμI.n-μn-1＞T4.n
のうち少なくとも１つを含み、
ここで、上記閾値T1、T2、T3、及びT4の初期値は、１番目のＩフレームの後に２番目のＩフレームを挿入するときのＰＳＮＲの低下幅に対する要求に基づいて決定されてもよく、例えば、T1.1=5、T2.1=4.5、T3.1=3、T4.1=2.5のように設定してもよい。ωTは、現在のＰＳＮＲの差分が更新過程において占める重みを表す正数閾値であり、例えば、ωT=0.2のように設定してもよい。
可能な他の実現形態では、符号化モジュール７０４は、更新された静止変数が前記第１所定閾値より小さくなく、かつ第２所定条件が満たされる場合、Ｉフレームを挿入する。
説明すべきものとして、上記実施例で提供されたビデオ符号化装置が符号化を行うことについて、上記各機能モジュールの分割で例示しているが、実際の適用では、必要に応じて、上記機能を異なる機能モジュールによって実現するように割り当て、即ち、ビデオ符号化装置の内部構成を異なる機能モジュールに分割することにより、上述した機能の全部又は一部を実現するようにしてもよい。また、上記実施例で提供されたビデオ符号化装置は、ビデオ符号方法の実施例と同一の構想に属する。その具体的な実現過程の詳細は、方法の実施例を参照されたいが、ここで説明を省略する。
メモリ１２０は、ソフトウェアプログラム及びモジュール、例えば、上記例示的な実施例に示された端末に対応するソフトウェアプログラム及びモジュールの記憶に使用可能である。プロセッサ１８０は、メモリ１２０に記憶されたソフトウェアプログラム及びモジュールを実行することにより、例えば、ビデオによるインタラクションを実現するなど、各種の機能の適用及びデータ処理を実行する。メモリ１２０は、主にプログラム記憶領域及びデータ記憶領域を含んでもよい。ここで、プログラム記憶領域には、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラム（例えば、音響再生機能、画像再生機能など）などを記憶してもよい。データ記憶領域には、端末８００の使用に応じて作成されたデータ（例えば、オーディオデータ、電話帳など）などを記憶してもよい。また、メモリ１２０は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリ、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスを含んでもよい。これに応じて、メモリ１２０は、メモリコントローラを含んでもよい。これにより、プロセッサ１８０及び入力手段１３０によるメモリ１２０へのアクセスが提供される。
表示手段１４０は、ユーザが入力した情報又はユーザに提供する情報、及び、端末８００の各種のグラフィカルユーザインタフェースの表示に使用可能である。これらのグラフィカルユーザインタフェースは、図形、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせによって構成されてもよい。表示手段１４０は、表示パネル１４１を含んでもよい。任意選択的に、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの形式で、表示パネル１４１を配置してもよい。さらに、タッチセンス表面１３１は、表示パネル１４１を覆ってもよい。タッチセンス表面１３１は、その上又はその付近におけるタッチ操作を検出すると、タッチイベントのタイプを決定するために、該タッチ操作をプロセッサ１８０に伝送する。その後、プロセッサ１８０は、タッチイベントのタイプに応じて、相応する視覚的出力を表示パネル１４１に提供する。図８において、タッチセンス表面１３１及び表示パネル１４１は、独立した２つの構成要素として、入力及び出力機能を実現するが、ある実施例では、タッチセンス表面１３１及び表示パネル１４１を統合して、入力及び出力機能を実現してもよい。
端末８００は、例えば、光センサ、モーションセンサ、及びその他のセンサのうち少なくとも１種のセンサ１５０を含んでもよい。具体的には、光センサは、環境光センサや近接センサを含んでもよい。ここで、環境光センサは、環境光線の明るさに基づいて、表示パネル１４１の輝度を調節することができ、近接センサは、端末８００が耳付近に移動すると、表示パネル１４１及び／又はバックライトをオフにすることができる。モーションセンサの１つとして、重力加速度センサは、各方向（一般的に３軸）における加速度の大きさを検知でき、静止時に重力の大きさ及び方向を検知でき、端末の姿勢を認識するアプリケーション（例えば、画面の縦横切り替え、関連ゲーム、磁力計の姿勢校正）、振動認識の関連機能（例えば、歩数計、ノック）などに使用可能である。端末８００に配置可能なジャイロスコープ、バロメーター、湿度計、温度計、赤外線センサなどのその他のセンサについては、ここで説明を省略する。
プロセッサ１８０は、端末８００の制御センターであり、各種のインタフェース及び線路によって端末全体の各部分を接続し、メモリ１２０に記憶されたソフトウェアプログラム及び／又はモジュールを実行又は遂行して、メモリ１２０に記憶されたデータを呼び出すことにより、端末８００の各種の機能を実行してデータを処理し、端末を全体的に監視制御する。任意選択的に、プロセッサ１８０は、１つ又は複数の処理コアを含んでもよい。好ましくは、プロセッサ１８０には、アプリケーションプロセッサ及び変復調プロセッサが統合されてもよい。ここで、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザ画面、及びアプリケーションプログラムなどを処理し、変復調プロセッサは、主に無線通信を処理する。理解できるように、上記変復調プロセッサは、プロセッサ１８０に統合されなくてもよい。

Claims (18)

  1. ビデオ符号化機器に適用されるビデオ符号化方法であって、
    移動窓に基づいて、ビデオの画像フレーム列におけるＮ個の画像フレームを決定して、前記移動窓内の画像フレームに、Ｎ−１個の符号化済みの画像フレームと、前記移動窓の末尾にある１つの符号化待ちの画像フレームとを含ませ、
    前記移動窓内の各画像フレームの、フレーム間予測コストとフレーム内予測コストとの比である動き幅と直前の画像フレームの動き幅との差分である動き幅差分を取得し、
    前記移動窓内の各画像フレームの動き幅差分に基づいて、決定された連続静止画像フレームの数を示すための静止変数を更新し、
    更新された静止変数が第１所定閾値より小さくない場合、前記符号化待ちの画像フレームをＩフレームとして符号化する、
    ことを含むことを特徴とする方法。
  2. 前記移動窓内の各画像フレームの動き幅差分に基づいて静止変数を更新することは、
    前記符号化待ちの画像フレームの動き幅、及び、前記移動窓内のすべての画像フレームの動き幅が第１所定条件を満たす場合、前記符号化待ちの画像フレームが静止画像フレームであると決定し、決定された静止変数に１を加算して、更新された静止変数を得、
    前記第１所定条件が満たされない場合、前記符号化待ちの画像フレームが静止画像フレームでないと決定し、更新された静止変数を０に設定する、ことを含み、
    前記第１所定条件は、前記符号化待ちの画像フレームの動き幅差分の絶対値が第２所定閾値より小さく、かつ前記移動窓内のすべての画像フレームの動き幅差分の総和の絶対値が第３所定閾値より小さいことである、
    ことを特徴とする請求項１に記載の方法。
  3. 前記更新された静止変数が第１所定閾値より小さくない場合、前記符号化待ちの画像フレームをＩフレームとして符号化することは、
    前記更新された静止変数が前記第１所定閾値より小さくなく、かつ第２所定条件が満たされる場合、前記符号化待ちの画像フレームをＩフレームとして符号化する、ことを含み、
    前記第２所定条件は、
    0＜αn≦σ1かつμI.n-μn-1＞T1.n、
    σ1＜αn≦σ2かつμI.n-μn-1＞T2.n、
    σ2＜αn≦σ3かつμI.n-μn-1＞T3.n、
    σ3＜αn≦σ4かつμI.n-μn-1＞T4.n、
    のうち少なくとも１つを含み、
    ここで、前記nは前記符号化待ちの画像フレームの順番を表し、前記αnは前記符号化待ちの画像フレームの動き幅を表し、前記μI.nは前記符号化待ちの画像フレームの前の、前記符号化待ちの画像フレームから最も近いＩフレームの輝度成分のピーク信号対雑音比（ＰＳＮＲ）を表し、前記μn-1は前記符号化待ちの画像フレームの直前の画像フレームの輝度成分のＰＳＮＲを表し、前記σ1、前記σ2、前記σ3、及び前記σ4、並びに、前記T1.n、前記T2.n、前記T3.n、及び前記T4.nは正数閾値であり、σ1＜σ2、σ2＜σ3、σ3＜σ4、T1.n＞T2.n、T2.n＞T3.n、T3.n＞T4.nである、
    ことを特徴とする請求項１に記載の方法。
  4. 前記移動窓内の各画像フレームの動き幅差分に基づいて静止変数を更新した後、
    前記更新された静止変数が前記第１所定閾値より小さい場合、前記符号化待ちの画像フレームをＰフレームとして符号化する、
    ことをさらに含むことを特徴とする請求項１に記載の方法。
  5. 前記符号化待ちの画像フレームの符号化が完了すると、次の符号化待ちの画像フレームを取得し、前記次の符号化待ちの画像フレームが前記移動窓の末尾にあるように、前記移動窓を後に１つの画像フレームの距離で移動し、
    前記移動窓内の各画像フレームの動き幅差分に基づいて前記静止変数を更新することを、現在更新された静止変数が前記第１所定閾値より小さくないまで継続し、現在の符号化待ちの画像フレームをＩフレームとして符号化する、
    ことをさらに含むことを特徴とする請求項１〜４のいずれか１項に記載の方法。
  6. 前記符号化待ちの画像フレームと、前記符号化待ちの画像フレームの前の、前記符号化待ちの画像フレームから最も近いＩフレームとの距離を取得し、
    前記距離に基づいて、以下の数式によって第４所定閾値を算出し、
    ここで、前記VSceneは設定された閾値を表し、前記Dは前記距離を表し、前記GOPminはＧＯＰの所定最小長を表し、前記GOPmaxはＧＯＰの所定最大長を表し、前記Fbiasは前記第４所定閾値を表し、
    前記符号化待ちの画像フレームの動き幅が１と前記第４所定閾値との差分より大きく、かつ前記符号化待ちの画像フレームの動き幅が第５所定閾値より小さくなく、かつ前記距離が第６所定閾値より小さくない場合、前記符号化待ちの画像フレームをＩフレームとして符号化する、
    ことをさらに含むことを特徴とする請求項１に記載の方法。
  7. ビデオ符号化装置であって、
    移動窓に基づいて、ビデオの画像フレーム列におけるＮ個の画像フレームを決定して、前記移動窓内の画像フレームに、Ｎ−１個の符号化済みの画像フレームと、前記移動窓の末尾にある１つの符号化待ちの画像フレームとを含ませる決定モジュールと、
    前記移動窓内の各画像フレームの、フレーム間予測コストとフレーム内予測コストとの比である動き幅と直前の画像フレームの動き幅との差分である動き幅差分を取得する第１取得モジュールと、
    前記移動窓内の各画像フレームの動き幅差分に基づいて、決定された連続静止画像フレームの数を示すための静止変数を更新する第２取得モジュールと、
    更新された静止変数が第１所定閾値より小さくない場合、前記符号化待ちの画像フレームをＩフレームとして符号化する符号化モジュールと、
    を備えることを特徴とする装置。
  8. 前記第２取得モジュールは、
    前記符号化待ちの画像フレームの動き幅、及び、前記移動窓内のすべての画像フレームの動き幅が第１所定条件を満たす場合、前記符号化待ちの画像フレームが静止画像フレームであると決定し、決定された静止変数に１を加算して、更新された静止変数を得、
    前記第１所定条件が満たされない場合、前記符号化待ちの画像フレームが静止画像フレームでないと決定し、更新された静止変数を０に設定し、
    前記第１所定条件は、前記符号化待ちの画像フレームの動き幅差分の絶対値が第２所定閾値より小さく、かつ前記移動窓内のすべての画像フレームの動き幅差分の総和の絶対値が第３所定閾値より小さいことである、
    ことを特徴とする請求項７に記載の装置。
  9. 前記符号化モジュールは、前記更新された静止変数が前記第１所定閾値より小さくなく、かつ第２所定条件が満たされる場合、前記符号化待ちの画像フレームをＩフレームとして符号化し、
    前記第２所定条件は、
    0＜αn≦σ1かつμI.n-μn-1＞T1.n、
    σ1＜αn≦σ2かつμI.n-μn-1＞T2.n、
    σ2＜αn≦σ3かつμI.n-μn-1＞T3.n、
    σ3＜αn≦σ4かつμI.n-μn-1＞T4.n、
    のうち少なくとも１つを含み、
    ここで、前記nは前記符号化待ちの画像フレームの順番を表し、前記αnは前記符号化待ちの画像フレームの動き幅を表し、前記μI.nは前記符号化待ちの画像フレームの前の、前記符号化待ちの画像フレームから最も近いＩフレームの輝度成分のピーク信号対雑音比（ＰＳＮＲ）を表し、前記μn-1は前記符号化待ちの画像フレームの直前の画像フレームの輝度成分のＰＳＮＲを表し、前記σ1、前記σ2、前記σ3、及び前記σ4、並びに、前記T1.n、前記T2.n、前記T3.n、及び前記T4.nは正数閾値であり、σ1＜σ2、σ2＜σ3、σ3＜σ4、T1.n＞T2.n、T2.n＞T3.n、T3.n＞T4.nである、
    ことを特徴とする請求項７に記載の装置。
  10. 前記符号化モジュールは、さらに、前記更新された静止変数が前記第１所定閾値より小さい場合、前記符号化待ちの画像フレームをＰフレームとして符号化する、
    ことを特徴とする請求項７に記載の装置。
  11. 前記符号化待ちの画像フレームの符号化が完了すると、次の符号化待ちの画像フレームを取得し、前記次の符号化待ちの画像フレームが前記移動窓の末尾にあるように、前記移動窓を後に１つの画像フレームの距離で移動する切替モジュールをさらに備え、
    前記第２取得モジュールは、さらに、前記移動窓内の各画像フレームの動き幅差分に基づいて静止変数を更新することを、現在更新された静止変数が前記第１所定閾値より小さくないまで継続し、前記符号化モジュールによって、現在の符号化待ちの画像フレームをＩフレームとして符号化する、
    ことを特徴とする請求項７〜１０のいずれか１項に記載の装置。
  12. ビデオ符号化機器であって、プロセッサとメモリとを備え、前記メモリには、少なくとも１つの命令が記憶され、前記命令は、前記プロセッサによってローディング・実行されることにより、
    移動窓に基づいて、ビデオの画像フレーム列におけるＮ個の画像フレームを決定して、前記移動窓内の画像フレームに、Ｎ−１個の符号化済みの画像フレームと、前記移動窓の末尾にある１つの符号化待ちの画像フレームとを含ませ、
    前記移動窓内の各画像フレームの、フレーム間予測コストとフレーム内予測コストとの比である動き幅と直前の画像フレームの動き幅との差分である動き幅差分を取得し、
    前記移動窓内の各画像フレームの動き幅差分に基づいて、決定された連続静止画像フレームの数を示すための静止変数を更新し、
    更新された静止変数が第１所定閾値より小さくない場合、前記符号化待ちの画像フレームをＩフレームとして符号化する、
    ことを含むビデオ符号化方法を実現させるビデオ符号化機器。
  13. 前記命令は、さらに、前記プロセッサによってローディング・実行されることにより、
    前記符号化待ちの画像フレームの動き幅、及び、前記移動窓内のすべての画像フレームの動き幅が第１所定条件を満たす場合、前記符号化待ちの画像フレームが静止画像フレームであると決定し、決定された静止変数に１を加算して、更新された静止変数を得、
    前記第１所定条件が満たされない場合、前記符号化待ちの画像フレームが静止画像フレームでないと決定し、更新された静止変数を０に設定する、ことを実現させ、
    前記第１所定条件は、前記符号化待ちの画像フレームの動き幅差分の絶対値が第２所定閾値より小さく、かつ前記移動窓内のすべての画像フレームの動き幅差分の総和の絶対値が第３所定閾値より小さいことである、
    ことを特徴とする請求項１２に記載のビデオ符号化機器。
  14. 前記命令は、さらに、前記プロセッサによってローディング・実行されることにより、
    前記更新された静止変数が前記第１所定閾値より小さくなく、かつ第２所定条件が満たされる場合、前記符号化待ちの画像フレームをＩフレームとして符号化する、ことを実現させ、
    前記第２所定条件は、
    0＜αn≦σ1かつμI.n-μn-1＞T1.n、
    σ1＜αn≦σ2かつμI.n-μn-1＞T2.n、
    σ2＜αn≦σ3かつμI.n-μn-1＞T3.n、
    σ3＜αn≦σ4かつμI.n-μn-1＞T4.n、
    のうち少なくとも１つを含み、
    ここで、前記nは前記符号化待ちの画像フレームの順番を表し、前記αnは前記符号化待ちの画像フレームの動き幅を表し、前記μI.nは前記符号化待ちの画像フレームの前の、前記符号化待ちの画像フレームから最も近いＩフレームの輝度成分のピーク信号対雑音比（ＰＳＮＲ）を表し、前記μn-1は前記符号化待ちの画像フレームの直前の画像フレームの輝度成分のＰＳＮＲを表し、前記σ1、前記σ2、前記σ3、及び前記σ4、並びに、前記T1.n、前記T2.n、前記T3.n、及び前記T4.nは正数閾値であり、σ1＜σ2、σ2＜σ3、σ3＜σ4、T1.n＞T2.n、T2.n＞T3.n、T3.n＞T4.nである、
    ことを特徴とする請求項１２に記載のビデオ符号化機器。
  15. 前記命令は、さらに、前記プロセッサによってローディング・実行されることにより、
    前記更新された静止変数が前記第１所定閾値より小さい場合、前記符号化待ちの画像フレームをＰフレームとして符号化する、
    ことを実現させることを特徴とする請求項１２に記載のビデオ符号化機器。
  16. 前記命令は、さらに、前記プロセッサによってローディング・実行されることにより、
    前記符号化待ちの画像フレームの符号化が完了すると、次の符号化待ちの画像フレームを取得し、前記次の符号化待ちの画像フレームが前記移動窓の末尾にあるように、前記移動窓を後に１つの画像フレームの距離で移動し、
    前記移動窓内の各画像フレームの動き幅差分に基づいて前記静止変数を更新することを、現在更新された静止変数が前記第１所定閾値より小さくないまで継続し、現在の符号化待ちの画像フレームをＩフレームとして符号化する、
    ことを実現させることを特徴とする請求項１２〜１５のいずれか１項に記載のビデオ符号化機器。
  17. 前記命令は、さらに、前記プロセッサによってローディング・実行されることにより、
    前記符号化待ちの画像フレームと、前記符号化待ちの画像フレームの前の、前記符号化待ちの画像フレームから最も近いＩフレームとの距離を取得し、
    前記距離に基づいて、以下の数式によって第４所定閾値を算出し、
    ここで、前記VSceneは設定された閾値を表し、前記Dは前記距離を表し、前記GOPminはＧＯＰの所定最小長を表し、前記GOPmaxはＧＯＰの所定最大長を表し、前記Fbiasは前記第４所定閾値を表し、
    前記符号化待ちの画像フレームの動き幅が１と前記第４所定閾値との差分より大きく、かつ前記符号化待ちの画像フレームの動き幅が第５所定閾値より小さくなく、かつ前記距離が第６所定閾値より小さくない場合、前記符号化待ちの画像フレームをＩフレームとして符号化する、
    ことを実現させることを特徴とする請求項１２に記載のビデオ符号化機器。
  18. 少なくとも１つの命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、プロセッサによってローディング・実行されることにより、請求項１〜６のいずれか１項に記載のビデオ符号化方法で実行される処理を実現させるコンピュータ可読記憶媒体。
JP2019543009A 2017-06-15 2018-05-18 ビデオ符号化方法、装置、機器、及び記憶媒体 Active JP6925587B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710461367.7A CN109151469B (zh) 2017-06-15 2017-06-15 视频编码方法、装置及设备
CN201710461367.7 2017-06-15
PCT/CN2018/087539 WO2018228130A1 (zh) 2017-06-15 2018-05-18 视频编码方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2020509668A true JP2020509668A (ja) 2020-03-26
JP6925587B2 JP6925587B2 (ja) 2021-08-25

Family

ID=64659774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019543009A Active JP6925587B2 (ja) 2017-06-15 2018-05-18 ビデオ符号化方法、装置、機器、及び記憶媒体

Country Status (6)

Country Link
US (2) US10893275B2 (ja)
EP (1) EP3641310A4 (ja)
JP (1) JP6925587B2 (ja)
KR (1) KR102225235B1 (ja)
CN (1) CN109151469B (ja)
WO (1) WO2018228130A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112272297B (zh) * 2020-10-28 2023-01-31 上海科江电子信息技术有限公司 嵌入在解码器端的图像质量静止帧检测方法
CN112929701B (zh) * 2021-02-04 2023-03-17 浙江大华技术股份有限公司 一种视频编码方法、装置、设备及介质
CN113747159B (zh) * 2021-09-06 2023-10-13 深圳软牛科技有限公司 一种生成可变帧率视频媒体文件的方法、装置及相关组件
CN115695889A (zh) * 2022-09-30 2023-02-03 聚好看科技股份有限公司 显示设备及悬浮窗显示方法
CN116962685B (zh) * 2023-09-21 2024-01-30 杭州爱芯元智科技有限公司 视频编码方法、装置、电子设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09327023A (ja) 1996-06-06 1997-12-16 Nippon Telegr & Teleph Corp <Ntt> フレーム内／フレーム間符号化切替方法および画像符号化装置
US6025888A (en) * 1997-11-03 2000-02-15 Lucent Technologies Inc. Method and apparatus for improved error recovery in video transmission over wireless channels
JP4649318B2 (ja) * 2004-12-13 2011-03-09 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
US8654848B2 (en) * 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US7965771B2 (en) * 2006-02-27 2011-06-21 Cisco Technology, Inc. Method and apparatus for immediate display of multicast IPTV over a bandwidth constrained network
JP4688170B2 (ja) * 2007-01-26 2011-05-25 株式会社Ｋｄｄｉ研究所 動画像符号化装置
US8938005B2 (en) * 2007-11-05 2015-01-20 Canon Kabushiki Kaisha Image encoding apparatus, method of controlling the same, and computer program
US9628811B2 (en) * 2007-12-17 2017-04-18 Qualcomm Incorporated Adaptive group of pictures (AGOP) structure determination
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
CN101742293B (zh) * 2008-11-14 2012-11-28 北京中星微电子有限公司 一种基于视频运动特征的图像自适应帧场编码方法
JP5215951B2 (ja) * 2009-07-01 2013-06-19 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
CN102572381A (zh) * 2010-12-29 2012-07-11 中国移动通信集团公司 视频监控场景判别方法及其监控图像编码方法、及装置
US9300943B2 (en) * 2011-01-12 2016-03-29 Panasonic Intellectual Property Corporation Of America Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
CN103796019B (zh) * 2012-11-05 2017-03-29 北京勤能通达科技有限公司 一种均衡码率编码方法
KR20140110221A (ko) * 2013-03-06 2014-09-17 삼성전자주식회사 비디오 인코더, 장면 전환 검출 방법 및 비디오 인코더의 제어 방법
JP6365253B2 (ja) 2014-11-12 2018-08-01 富士通株式会社 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法
CN105898313A (zh) * 2014-12-15 2016-08-24 江南大学 一种新的基于视频大纲的监控视频可伸缩编码技术
CN105761263A (zh) * 2016-02-19 2016-07-13 浙江大学 一种基于镜头边界检测和聚类的视频关键帧提取方法
CN106231301B (zh) * 2016-07-22 2020-06-12 上海交通大学 基于编码单元层次和率失真代价的hevc复杂度控制方法
CN106254873B (zh) * 2016-08-31 2020-04-03 广州市网星信息技术有限公司 一种视频编码方法及视频编码装置

Also Published As

Publication number Publication date
CN109151469B (zh) 2020-06-30
WO2018228130A1 (zh) 2018-12-20
JP6925587B2 (ja) 2021-08-25
KR102225235B1 (ko) 2021-03-09
EP3641310A4 (en) 2020-05-06
US20190260998A1 (en) 2019-08-22
EP3641310A1 (en) 2020-04-22
KR20190109476A (ko) 2019-09-25
US20210076044A1 (en) 2021-03-11
US11297328B2 (en) 2022-04-05
US10893275B2 (en) 2021-01-12
CN109151469A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
US11240511B2 (en) Video encoding code rate control method, apparatus, and device, and storage medium
JP6925587B2 (ja) ビデオ符号化方法、装置、機器、及び記憶媒体
US10986332B2 (en) Prediction mode selection method, video encoding device, and storage medium
CN107454416B (zh) 视频流发送方法和装置
US11202066B2 (en) Video data encoding and decoding method, device, and system, and storage medium
CN108391127B (zh) 视频编码方法、装置、存储介质及设备
CN113572836B (zh) 一种数据传输方法、装置、服务器及存储介质
US10284850B2 (en) Method and system to control bit rate in video encoding
CN112866804B (zh) 一种投屏自适应方法、移动终端及可读存储介质
CN109429076B (zh) 多媒体数据的播放卡顿处理方法以及装置
US10827198B2 (en) Motion estimation method, apparatus, and storage medium
CN115955565B (zh) 处理方法、处理设备及存储介质
WO2018223793A1 (zh) 一种传输网页图片的方法、装置和系统
CN116156232A (zh) 一种视频内容的播放方法以及相关装置
CN113727181A (zh) 一种投屏时延动态配置方法、设备及计算机可读存储介质
CN102892000A (zh) 一种视频文件压缩及播放的方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R150 Certificate of patent or registration of utility model

Ref document number: 6925587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150