JP2016111699A - リアルタイム符号化のための方法及び装置 - Google Patents

リアルタイム符号化のための方法及び装置 Download PDF

Info

Publication number
JP2016111699A
JP2016111699A JP2015230268A JP2015230268A JP2016111699A JP 2016111699 A JP2016111699 A JP 2016111699A JP 2015230268 A JP2015230268 A JP 2015230268A JP 2015230268 A JP2015230268 A JP 2015230268A JP 2016111699 A JP2016111699 A JP 2016111699A
Authority
JP
Japan
Prior art keywords
movement
camera
encoder
during
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015230268A
Other languages
English (en)
Other versions
JP6707334B2 (ja
JP2016111699A5 (ja
Inventor
ヨーアン ニーストレーム,
Nystrom Johan
ヨーアン ニーストレーム,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of JP2016111699A publication Critical patent/JP2016111699A/ja
Publication of JP2016111699A5 publication Critical patent/JP2016111699A5/ja
Application granted granted Critical
Publication of JP6707334B2 publication Critical patent/JP6707334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/22Electrical actuation
    • G08B13/24Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2491Intrusion detection systems, i.e. where the body of an intruder causes the interference with the electromagnetic field
    • G08B13/2497Intrusion detection systems, i.e. where the body of an intruder causes the interference with the electromagnetic field using transmission lines, e.g. cable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】リアルタイム符号化のための方法、エンコーダ、コンピュータプログラム製品、及びシステムを提供する。
【解決手段】エンコーダ500は、カメラ504の移動についての移動情報を受信するように設定され、リアルタイムで、カメラ504の移動の間にカメラ504によって取得されたビデオストリームを符号化するように設定され、移動情報に基づいて符号化するように設定される。移動情報は、メモリ502に記憶される。
【選択図】図5

Description

本発明は、リアルタイム符号化のための方法、エンコーダ、コンピュータプログラム製品、及びシステムに関する。
デジタルビデオシステムは、概して、カメラなどの情報源からのデジタル画像のシークエンスを、ディスプレイなどの送り先に通信する。通信は、カメラからライブディスプレイへ直接的に行われることもあるし、ビデオを記憶しそれを後に表示することによって時間遅延されることもある。デジタル画像は、圧縮され得るし、それらの元々のフォーマットで送られることもある。
リアルタイム符号化の問題は、誰も未来についての情報を有していないので、経時的なビットレートの使用を計画することが難しいということである。通信においてはバースト、すなわち、情報源から送り先へのデジタル画像の送信における高いビットレートのピークが生じ得、それを予測することは難しい。それ故、ビットレートの使用の計画を可能にする、リアルタイムでビデオを符号化するための方法が要望されている。
上述を考慮し、本発明の目的は、上記の欠点のうちの1つ又は幾つかを解決するか少なくとも減少させることである。概して、上記の目的は添付の独立請求項によって達成される。
第1の側面によれば、本発明は、リアルタイム符号化のための方法によって実現され、方法は、カメラの移動についての移動情報を受信すること、及び、リアルタイムで、カメラの移動の間にカメラによって取得されたビデオストリームを符号化することを含む。符号化は前記移動情報に基づいて実行される。
それ故、リアルタイムでの符号化は、カメラの移動情報を使用して達成される。例として、移動が高い速度を有している場合に、ビデオストリーム内で多くの移動が予測され得る。このことは、ビットレートを増加させる。この情報を考慮することによって、符号化は、例えば、以下の実施形態で説明されるように、取得されたビデオストリームからの幾分かの情報を記憶することによって、調整され得る。
この方式でビデオストリームをリアルタイムで符号化することは、ビデオストリームのビットレートの計画を可能にし、高いビットレートのピークを避けることができるので、非常に有利である。更に、より優れた画像の品質が望ましい時には、より優れた画像の品質が取得され得る。
移動は、カメラのパン動作、チルト動作、ズーム動作、及びピント合わせ動作から成る群の少なくとも1つを含み得る。
符号化のステップは、前記移動情報に基づいて、イントラフレームに対するインターフレームの比率を調整することを含み得る。したがって、この符号化は、種々の符号化から恩恵を受ける種々の状況に適合されることができる。符号化されたビデオシークエンス内のフレームの数は、ビデオシークエンスの長さによって、かつフレームレートによって決定される。それ故、イントラフレームに対するインターフレームの比率が、複数のフレームの複数のタイプのうちの1つの数を増加させることによって調整される場合に、他のタイプの数は減少されなければならない。
符号化のステップは、少なくとも移動の間に、イントラフレームの数を減少させることによって前記比率を調整することを含み得る。これは、例えば、カメラの移動の間に取得され得る情報に対してそれ程関心がない場合に、有利であり得る。それ故、移動の間に、(イントラフレームの数が減少するために)質の悪い画像を有することは十分受け入れ可能である。この場合、移動の間のビットレートはより低くなり、高いビットレートのピークを避けることができる。また、この実施形態は、例えば、移動が比較的速い場合に適用可能である。少なくとも移動の間に、イントラフレームの数を減少させることによって前記比率を調整するステップは、移動の終了時間と開始時間との間の時間が所定のレベルよりも短い場合に、実行され得る。
調整するステップは、少なくとも移動の間に、インターフレームのみを使用して符号化することを含み得る。移動の間にインターフレームのみを使用することは、ビートレートを更に減少させる。
符号化のステップは、移動の間にイントラフレームの数を増加させることによって前記比率を調整することを含み得る。これは、カメラの移動の間に取得された画像が関心のある情報を含み得る実施形態において、有利であり得る。一実施形態では、方法は、更に、ビットレートを、開始時間と終了時間との間の時間と比較するステップを含み得る。それ故、開始時間と終了時間との間の時間は比較的短いので、移動の間にイントラフレームの数を増加させる場合に必要とされる追加的なビットレートは、帯域幅割り当てがそれを許容するので、持ちこたえることができると結論付けられ得る。送信容量は、利用可能な帯域幅によって決定され、それ故、帯域幅の使用を計画することが有利であり得る。計画は、しばらくの間、より狭い帯域幅が必要とされることを考慮するので、計画は、一時的に、より広い帯域幅を使用することを決定することを含み得る。
移動は、所定の移動であってよい。方法は、更に、所定の移動に関する所定の情報を読み出すこと、及び前記所定の情報に基づいてビデオストリームを符号化することを含み得る。これは、所定のガードツアー(guard tour)を有するようカメラが設定される実施形態で、有利であり得る。そのような実施形態では、カメラは、所定の時点で所定の位置に移動するようにプログラムされ得る。
第2の側面では、本発明は、処理能力を有する装置によって実行されたときに、第1の側面による方法を実行するように適合された指示命令を有するコンピュータ可読記憶媒体を備えたコンピュータプログラム製品によって実現される。
第3の側面によれば、本発明は、リアルタイム符号化のためのエンコーダによって実現される。エンコーダは、カメラの移動についての移動情報を受信するように設定され、リアルタイムで、カメラの移動の間にカメラによって取得されたビデオストリームを符号化するように設定され、前記移動情報に基づいて符号化するように設定される。
前記移動情報は、移動の開始時間及び終了時間を含み得る。
移動は、カメラのパン動作、チルト動作、ズーム動作、及びピント合わせ動作から成る群の少なくとも1つを含み得る。
エンコーダは、前記移動情報に基づいて、イントラフレームに対するインターフレームの比率を調整するように設定され得る。
エンコーダは、少なくとも移動の間に、イントラフレームの数を減少させることによって前記比率を調整するように設定され得る。
エンコーダは、少なくとも移動の間に、インターフレームのみを使用することによって調整するように設定され得る。
エンコーダは、移動の間に、イントラフレームの数を増加させることによって前記比率を調整するように設定され得る。
移動は、所定の移動であってよく、装置は、更に、所定の移動に関する所定の情報を読み出すように設定されたエンコーダ、及び前記所定の情報に基づいてビデオストリームを符号化するように設定されたエンコーダを備え得る。
第4の側面によれば、本発明は、第3の側面のエンコーダを備えたデジタルビデオカメラによって実現され、ビデオストリームはデジタルビデオカメラによって取得される。
第5の側面によれば、本発明は、カメラ、及び第3の側面によるエンコーダを備えたシステムによって実現される。システムは、更に、デジタルネットワークを介して、符号化されたビデオストリームを送信するように設定された第1のデジタルネットワークモジュール、デジタルネットワークを介して、符号化されたビデオストリームを受信するように設定された第2のデジタルネットワークモジュール、符号化されたビデオストリームを第2のビデオストリームに復号するように設定されたデコーダ、及び第2のビデオストリームを表示するように設定されたディスプレイを備えたクライアントを備える。
第1の側面の利点は、第2の側面、第3の側面、第4の側面、及び第5の側面にも等しく適用可能である。
本発明の他の目的、特徴、及び利点は、下記の詳細な説明、添付の特許請求項、及び添付図面から明らかとなるであろう。
概して、請求項で使用されるすべての用語は、本明細書で別段明示的に定義されない限り、該当技術分野における通常の意味に従って解釈されるべきである。本明細書において特別に規定されない限り、「1つの/この(素子、装置、構成要素、手段、ステップなど)」の呼称は、前記素子、装置、構成要素、手段、ステップなどのうちの少なくとも1つ例を指すものとして広義に解釈される。本明細書におけるいかなる方法におけるステップも、特別に規定されない限り、記載の順序通りに実施される必要はない。更に、「含む(comprising)」という用語は、他の要素又はステップを除外しない。
本発明の他の特徴及び利点は、添付の図面を参照して、現在の好適な実施形態の以下の詳細な説明から明らかになるであろう。
符号化されたビデオストリームの概略図である。 符号化のための本発明方法の実施形態を実施例によって示す。 符号化されたビデオストリームの概略図である。 符号化されたビデオストリームの概略図である。 符号化されたビデオストリームの概略図である。 本発明のエンコーダの実施形態の概略図である。 本発明のカメラの実施形態の概略図である。 本発明のシステムの概略図である。
以下、本発明の幾つかの実施形態が示された添付図面を参照しつつ、本発明が以後より十分に説明される。しかしながら、本発明は多くの異なる形態で実施されることができ、本明細書で説明される実装に限定されるものと解釈されるべきではなく、これらの実施形態はむしろ、本開示が包括的で完全となるように例示目的で提供されており、当業者に本開示の範囲を十分に伝えるためのものである。類似の番号は、全体を通して類似の要素を指す。
デジタル画像は、画素によって表される。各々の画素は、画素の外見を規定する複数の値によって表される。画像に対して使用される画像処理スキームに応じて、これらの値は画素の種々の特徴を表し得る。幾つかのスキームでは、画素は、3つの色値、例えば、RGB、CMYなどによって表される。他のスキームでは、画素は、2つの色値及び1つの輝度、例えば、YCbCrによって表される。YCbCrフォーマットは、ビデオ圧縮アルゴリズムにおいて使用される共通フォーマットである。
動画ビデオは、画像フレームのシークエンスとして生成される。各々の画像フレームは、ある種の画像センサを使用して捉えられ、その後、各々の捉えられた画像フレームからのアナログデータが、即座に、任意の方式で表されるデジタル画像データ、例えば、上で提示された表現のうちの1つに変換される。
今説明されている動画ビデオ符号化のためのプロセスでは、各々の画像フレームは、フルサイズの画像フレームFによって表され得る。このフルサイズの画像フレームFは、後に、プロセスにおいて、ビデオコーデック、例えば、H.265に準拠したビデオコーデック、H.264に準拠したビデオコーデック、H.263に準拠したビデオコーデック、H.262に準拠したビデオコーデック、グーグルOn2コーデック、ウインドウズメディアビデオなどを使用して、圧縮され得る。
更に、本発明に関係するビデオコーデックは、時間的なビデオ圧縮、並びにイントラフレーム、例えば、I‐フレーム、及びインターフレーム、例えば、P‐フレーム又はB‐フレームを実装することを含んだビデオコーデックであり得る。イントラフレームは、符号化されるべき画像フレーム内の情報のみを使用して符号化される。更に、イントラフレームは、符号化されるべき画像フレームについて捉えられた全ての画像データから計算され得る。それ故、イントラフレームは、時々、フルフレームと呼ばれ得る。インターフレームは、また、予測フレーム(predictive frame)又は差分フレーム(differential frame)と呼ばれ、今符号化されるフレームの情報のみならず、以前に符号化された画像フレームからの情報に基づき得る。すなわち、インターフレームは、以前の画像フレーム内の時間的に冗長な情報を利用するものとして説明され得る。このタイプのコーデックを実施する動画ビデオは、イントラフレームを生成し得、その後、所定の数のインターフレームが後続し、その後、新しいイントラフレームが後続し、その後、同じ数のインターフレームが後続する。いくつかのインターフレームが後続するイントラフレームのこのシークエンスの長さは、グループオブピクチャーレングス(GOP長)と呼ばれ得る。図1は、イントラフレーム120及びインターフレーム140を含んだ符号化されたビデオストリームの概略図であり、ビデオストリームは100によって示されるGOP長を有する。
インターフレームは、イントラフレームよりも少ないデータを使用して表され得るので、より長いGOPを使用してコード化された動画ビデオは、より短いGOPを使用してコード化された動画ビデオよりも、データの強度が弱く、すなわち、より低いビットレートを有する。しかしながら、インターフレームは、推定に基づいているので、認知される画像品質は、しばしば、より短いGOPを有する動画ビデオよりも長いGOPを有する動画ビデオの方がより悪化し得る。
符号化からもたらされるビデオストリームは、符号化されたビデオストリームと呼ばれ得る。符号化されたビデオストリームは、少なくとも1つのイントラフレーム及び少なくとも1つのインターフレームを含み得る。いくつかの数のインターフレームが後続するイントラフレームを含んだシークエンスの長さは、グループオブピクチャーレングス(GOP長)と呼ばれ得る。
カメラは、ピント合わせ、パン、チルト、ズーム機能を有し得る。それ故、カメラの移動は、カメラのパン動作、チルト動作、ズーム動作、及びピント合わせ動作から成る群から選択された少なくとも1つの移動動作であり得る。カメラの移動は、複数のそのような移動動作を含み得る。実施例として、カメラの移動は、パン動作、ズーム動作、及びピント合わせ動作を含み得る。また、カメラの移動は、パン動作、チルト動作、ズーム動作、又はピント合わせ動作などの、ただ1つの移動動作を含むことができる。カメラは、デジタルビデオカメラであり得る。
本発明は、カメラのピント合わせ、パン、チルト、及び/又はズーム機能の知識が、カメラの移動の間にカメラによって取得された画像ストリームを符号化するときに使用される、という理解に基づく。そのような知識は、移動情報に含まれ得る。移動情報は、どれだけ長い時間移動動作が実行されるかについての情報を含み得る。より具体的には、移動情報は、移動動作の速度、移動動作の継続時間を規定する移動動作に関連するタイムスタンプについての情報を含み得る。移動情報は、種々のカメラに対する移動情報が類似し得るが、特定のカメラに関連付けられる。
移動情報は、不揮発性メモリに記憶され得る。不揮発性のメモリは、例えば、携帯型メモリであり得る。メモリは、本発明のカメラ内に配置され得る。代替的に、メモリは、本発明のカメラ、又は本発明のエンコーダに接続される。
また、所定の移動がタイムスタンプと一緒に不揮発性メモリに記憶され得る。不揮発性メモリは、カメラ内に配置され得、及び/又は携帯型であり得る。
リアルタイムでの符号化は、取得されたビデオシークエンスの画像フレームがカメラから受信される際に、それらの画像フレームを符号化することであると解釈することができる。
カメラの移動は、移動の開示時間において開始し得、移動の終了時間において終了し得る。移動情報は、移動の開始時間及び終了時間を含み得る。開始時間及び終了時間は、移動の開始の前に受信され得る(例えば、ガードツアーにおける場合などの所定の移動の場合において)。代替的に、移動の終了時間は、移動の開始と同時に受信され得る。更に、移動の終了時間は、移動の間に受信され得る(例えば、移動の間の計画の変化を原因として)。
移動の開始時間及び終了時間についての情報を有することは、適切に符号化を適合させることを可能にする。実施例として、符号化は、どれだけの時間移動が行われるかに対して適合され得る。
図2は、リアルタイム符号化のための本発明方法200の実施形態を実施例によって示す。方法における第1のステップは、カメラの移動についての移動情報を受信するS202ステップである。次のステップは、リアルタイムで、カメラの移動の間にカメラによって取得されたビデオストリームを符号化するS204ステップであり、符号化は、前記移動情報に基づいて実行される。
ある実施形態によれば、方法は、更に、符号化するステップが、前記移動情報に基づいて、イントラフレームに対するインターフレームの比率を調整するS106ことを含む、ことを含む。このことは、また、(カメラの移動の間に)一時的にGOP長を調整することとして説明されることができる。
より具体的には、方法は、更に、符号化するステップが、少なくとも移動の間にイントラフレームの数を減少させる(S208)ことによって前記比率を調整することを含む、ことを含み得る。このことは、また、(カメラの移動の間に)一時的にGOP長を増加させることとして説明されることができる。この実施形態は、図3aで例示されている。図3aは、符号化されたビデオストリームの始まりにおいてイントラフレーム320を含み、その後、複数のインターフレーム340を含む、符号化されたビデオストリームの概略図である。
移動の間に、カメラは開始時間に加速され得、その後、カメラは比較的一定な速度で移動し、その後、カメラは終了時間に終了するように減速を経験する。移動の終了時間の後でも、カメラに何らかの動作が存在し得る。これを埋め合わせるために、符号化は、移動の終了時間の後も移動情報を考慮して調整され得る。それ故、少なくともカメラの移動の間に前記比率を調整することは、有利である。ある実施形態では、イントラフレームに対するインターフレームの前記比率は、カメラの移動の間に調整されるのみである。
一実施形態では、動作は、全ての移動に対して同じである一定の補償によって補われ得る。ある実施形態では、一定の補償が、移動の始まり及び/又は終わりの両方において適用される。補償は、移動の終了時間の後で、少なくとも1つのインターフレームを追加することを含んでよい。一実施形態では、図4で見られるように、ビデオストリームは、移動400の始まりにおいてイントラフレーム420が追加され、その後はインターフレーム440のみが追加されることによって符号化される。また、移動400の終了時間の後で、インターフレーム440のみが追加される。移動の終了時間の後で追加されたインターフレームの数は、補償に相当し得る。
カメラの移動の間に取得された画像が関心のある情報を含む実施形態では、符号化は異なる方式で適合され得る。例として、移動の間にイントラフレームの数が増加され得る。それ故、移動の間に、GOP長は減少するか更には最小化される。それ故、方法は、更に、調整するステップが、少なくとも移動の間にイントラフレームのみが使用される符号化(S210)を含む、ことを含み得る。図3bは、イントラフレーム320のみが使用される符号化されたビデオストリームの概略図である。
一実施形態では、方法は、更に、開始時間と終了時間との間の時間を考慮して、ビットレートを見積もるステップを含み得る。その場合、開始時間と終了時間との間の時間は比較的短いので、移動の間にイントラフレームの数を増加させる場合に必要とされる追加的なビットレートは、持ちこたえることができると結論付けられ得る。
ある実施形態によれば、方法は、更に、符号化するステップが、移動の間にイントラフレームの数を増加させる(S212)ことによって前記比率を調整することを含む、ことを更に含む。それ故、移動の間に、GOP長は減少するか更には最小化される。
移動は、所定の移動であってよく、方法は、更に、所定の移動に関する所定の情報を読み出すS214ステップ、及び前記所定の情報に基づいてビデオストリームを符号化するS216ステップを含み得る。
カメラは、所定のパターンで移動するように設定されてよい。例えば、カメラは、ポイントAに移動し、複数の画像を取得し、その後、ポイントBに移動し、複数の画像を取得し、その後、ポイントCに移動し、複数の画像を取得する。その後、カメラは、ポイントAに戻り、複数の画像を取得する、などである。これらの移動は繰り返される。このようにカメラが適切にプリセットされるので、この移動情報は、カメラによって取得されたビデオストリームを符号化する場合に使用され得る。一例では、所定のポイント又は位置の間でカメラの移動の間に取得されたビデオストリームを符号化する時に、ビデオストリームを符号化する際にインターフレームのみが使用される。その後、カメラが移動している目標の位置に到達すると、少なくとも1つのイントラフレームが符号化の間に使用される。代替例として、イントラフレームに対するインターフレームの高い比率が、移動の間に使用され、その後、移動が終わった場合に、符号化は、イントラフレームに対するインターフレームのより低い比率を使用して実行される。また更なる代替例として、インターフレームに対するイントラフレームの高い比率が、移動の間に使用され、その後、移動が終わった場合に、符号化は、インターフレームに対するイントラフレームのより低い比率を使用して実行される。
カメラは、所定の絶対焦点を有し得る。ピント合わせ動作は、カメラが所定の絶対焦点に一致するようにピント合わせすることを含み得る。所定の絶対焦点に一致するようにピント合わせすることについての情報は、移動情報の中に含まれ得る。絶対焦点に一致するようにピント合わせした後で、カメラはピント合わせを更に調整し得る。ピント合わせ動作の間に、リアルタイム符号化は、インターフレームのみを使用してもよいし、インターフレームの数と比較して少ない数のイントラフレームを使用してもよい。
図5は、リアルタイム符号化のための本発明のエンコーダの実施形態の概略図である。エンコーダ500は、オプションとして、カメラ504に接続され、カメラ504はデジタルビデオカメラであり得る。
エンコーダ500は、オプションとして、メモリ502に接続され、メモリ502は移動情報を記憶するように設定される。メモリ502は、エンコーダ500の外部に配置され得、移動情報は、メモリ502からエンコーダ500に送られ得る。
エンコーダ500は、カメラ504の移動についての移動情報を受信し、移動情報は、オプションとして、メモリ502から読み出される。エンコーダ500は、リアルタイムで、カメラ504の移動の間にカメラ504によって取得されたビデオストリームを符号化するように設定される。エンコーダ500は、前記移動情報に基づいて符号化するように設定される。
エンコーダ500は、ソフトウェア内に実装され得、エンコーダ500内の少なくとも1つのプロセッサによって、例えば、エンコーダ500の中央処理装置(CPU)及び/又はグラフィック処理ユニット(GPU)によって、実行され得る。その目的のために、エンコーダは、CPU/GPUによって実行された場合に、本明細書で説明された符号化方法を実施するコンピュータコード指示命令を記憶するように設定された(非一時的な)コンピュータ可読媒体を含み得る。
リアルタイム符号化のためのエンコーダは、リアルタイム符号化エンコーダとも呼ばれ得る。
図6は、リアルタイム符号化のための本発明のカメラの実施形態の概略図である。ここで、エンコーダ500は、カメラ600内に配置される。
カメラ600は、オプションとして、移動情報を記憶するように設定されたメモリ602を含む。代替例として、メモリ602は、カメラ600の外部に配置され得、移動情報は、メモリ602からカメラ600に送られ得る。
エンコーダ500は、カメラ600の移動についての移動情報を受信し、移動情報は、オプションとしてメモリ602から読み出される。エンコーダ500は、リアルタイムで、カメラ600の移動の間にカメラ600によって取得されたビデオストリームを符号化するように設定される。エンコーダ200は、前記移動情報に基づいて符号化するように設定される。
図7は、図5で説明されたリアルタイム符号化のためのエンコーダ500を備えた本発明のシステムの概略図である。オプションとして、エンコーダ500は、カメラ504に接続される。システム700は、カメラ504を備え得る。代替例として、エンコーダは、図6との関連で説明されたカメラ内に配置される。エンコーダ500は、リアルタイムで、カメラ504から受信したビデオストリームを符号化する。これは、符号化されたビデオストリームをもたらす。
システム700は、更に、デジタルネットワークを介して、符号化されたビデオストリームを送信するように設定された第1のデジタルネットワークモジュール702を備える。デジタルネットワークモジュール702は、エンコーダ500の部分でもよいし、別個の装置内に実装されてもよい。符号化されたビデオストリームは、その後、デジタルネットワーク710を介して、符号化されたビデオストリームを受信するように設定された第2のデジタルネットワークモジュール704に送信される。デジタルネットワークモジュール704は、エンコーダ500の部分でもよいし、別個の装置内に実装されてもよい。
システム700は、符号化されたビデオストリームを第2のビデオストリームに復号するように設定されたデコーダ706を備える。システム700は、更に、第2のビデオストリームを表示するように設定されたディスプレイ708を備えたクライアント705を備える。代替例として、クライアント705が、デジタルネットワークモジュール704及びデコーダ706を備えてもよい。
カメラの移動は、カメラに移動するように指示命令するユーザによって制御され得る。ユーザは、例えば、カメラに接続されたユーザインターフェースに指示命令を入力する。このことがどのようにして実現され得るかの様々な実施態様が存在し、それは、当業者にとって既知である。
代替的に、制御ユニットが、カメラを制御するように設定される。制御ユニットは、その後、移動指示命令をカメラに送り得る。
制御ユニット及び/又はインターフェースは、システムの部分であり得る。
本明細書に記載の全実施形態及び全特徴は、本発明の全ての側面に応用できることに留意されたい。
図面及び上述の記載によって本発明は詳細に示されたが、このような図示及び記載は限定的ではなく例示的及び典型的なものとして捉えられる。すなわち本発明は本明細書に記載の実施形態に限定されるものではない。
図面、記載、及び添付の特許請求項を精査することにより、特許請求される本発明を実施することにおいて、開示された実施形態の他の変形例が、当業者によって理解され実行されることができる。請求項において、「含む」という語は他の要素又はステップを除外するものではなく、「1つの(a)」又は「1つの(an)」などの不定冠詞は複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲で述べられる幾つかのアイテムの機能を遂行し得る。ある特定の手段が互いに異なる従属請求項において記されているという事実は、これらの手段の組み合わせが使用され得ないということを示すものではない。特許請求の範囲におけるいかなる参照符号も、本発明の範囲を限定するように解釈されるべきではない。

Claims (13)

  1. カメラの移動の間に前記カメラによって取得されたビデオストリームを符号化するための方法(200)であって、
    移動の継続時間を含む前記カメラの移動についての移動情報を受信する(S202)ことと、前記カメラの移動の間に前記カメラによって取得された前記ビデオストリームを前記カメラの移動の間に符号化する(S204)こととを含み、
    前記符号化は、前記移動情報に基づいて実行され、前記移動の継続時間に基づいてイントラフレームに対するインターフレームの比率を調整する(S206)ことを含む、方法。
  2. 前記移動情報は、前記移動の開始時間及び終了時間を含む、請求項1に記載の方法。
  3. 前記符号化するステップは、少なくとも前記移動の間にイントラフレームの数を減少させる(S208)ことによって前記比率を調整することを含む、請求項1又は2に記載の方法。
  4. 前記調整するステップは、少なくとも前記移動の間にインターフレームのみを使用して符号化する(S210)ことを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記符号化するステップは、前記移動の間にイントラフレームの数を増加させる(S212)ことによって前記比率を調整することを含む、請求項1に記載の方法。
  6. 前記移動は所定の移動であり、前記カメラは、所定の時点で所定の位置に移動するように予めプログラムされ、前記方法は、
    前記所定の移動に関する所定の情報を読み出す(S214)こと、及び
    前記所定の情報に基づいて前記ビデオストリームを符号化する(S216)ことを更に含む、請求項1から5のいずれか一項に記載の方法。
  7. 処理能力を有する装置によって実行されたときに、請求項1から6のいずれか一項に記載の方法を実行するように適合された指示命令を有するコンピュータ可読記憶媒体を備える、コンピュータプログラム製品。
  8. カメラの移動の間に前記カメラによって取得されたビデオストリームを符号化するためのエンコーダ(500)であって、
    移動の継続時間を含むカメラ(504)の移動についての移動情報を受信するように設定されたエンコーダ(500)と、前記カメラ(504)の移動の間に前記カメラ(504)によって取得されたビデオストリームを前記カメラ(504)の移動の間に符号化するように設定されたエンコーダ(500)とを備え、前記エンコーダ(500)は、前記移動情報に基づいて符号化するように設定され、前記エンコーダ(500)は、前記移動の継続時間に基づいて、イントラフレームに対するインターフレームの比率を調整するように設定されている、エンコーダ(500)。
  9. 少なくとも前記移動の間にイントラフレームの数を減少させることによって前記比率を調整するように設定されたエンコーダ(500)を更に備える、請求項8に記載のエンコーダ(500)。
  10. 少なくとも前記移動の間にインターフレームのみを使用して前記比率を調整するように設定されたエンコーダ(500)を更に備える、請求項8に記載のエンコーダ(500)。
  11. 前記エンコーダ(500)は、前記移動の間にイントラフレームの数を増加させることによって前記比率を調整するように設定されている、請求項8に記載のエンコーダ(500)。
  12. 請求項8から11のいずれか一項に記載のエンコーダ(500)を備え、
    前記ビデオストリームは、デジタルビデオカメラ(600)によって取得される、デジタルビデオカメラ(600)。
  13. カメラ(504)、
    請求項8から11のいずれか一項に記載のエンコーダ(500)、
    デジタルネットワーク(710)を介して、前記符号化されたビデオストリームを送信するように設定された第1のデジタルネットワークモジュール(702)、
    前記デジタルネットワーク(710)を介して、前記符号化されたビデオストリームを受信するように設定された第2のデジタルネットワークモジュール(704)、
    前記符号化されたビデオストリームを第2のビデオストリームに復号するように設定されたデコーダ(706)、及び
    前記第2のビデオストリームを表示するように設定されたディスプレイ(708)を備えたクライアント(705)を備える、システム(700)。
JP2015230268A 2014-12-05 2015-11-26 リアルタイム符号化のための方法及び装置 Active JP6707334B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14196459.3 2014-12-05
EP14196459.3A EP3029936A1 (en) 2014-12-05 2014-12-05 Method and device for real-time encoding

Publications (3)

Publication Number Publication Date
JP2016111699A true JP2016111699A (ja) 2016-06-20
JP2016111699A5 JP2016111699A5 (ja) 2019-01-17
JP6707334B2 JP6707334B2 (ja) 2020-06-10

Family

ID=52015926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015230268A Active JP6707334B2 (ja) 2014-12-05 2015-11-26 リアルタイム符号化のための方法及び装置

Country Status (6)

Country Link
US (1) US10349081B2 (ja)
EP (1) EP3029936A1 (ja)
JP (1) JP6707334B2 (ja)
KR (1) KR20160068657A (ja)
CN (1) CN105681792B (ja)
TW (1) TWI674796B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020025247A (ja) * 2018-06-05 2020-02-13 アクシス アーベー 一連のビデオフレームの符号化のための方法、コントローラ、及びシステム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3022724A1 (fr) * 2014-06-19 2015-12-25 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
CA3001474A1 (en) * 2015-10-16 2017-04-20 Tribune Broadcasting Company, Llc Video-production system with metadata-based dve feature
US10536702B1 (en) 2016-11-16 2020-01-14 Gopro, Inc. Adjusting the image of an object to search for during video encoding due to changes in appearance caused by camera movement
US20180302455A1 (en) * 2017-04-18 2018-10-18 Facebook, Inc. Systems and methods for adjusting video transmission bitrates

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4005426B2 (ja) 2002-07-01 2007-11-07 住友電装株式会社 牽引車用コネクタ
JP2003274410A (ja) 2002-03-13 2003-09-26 Hitachi Ltd 監視映像の符号化装置及び復号装置並びに符号化方法
JP2004180345A (ja) * 2004-02-17 2004-06-24 Canon Inc 撮影画像記録装置
JP4541825B2 (ja) 2004-10-15 2010-09-08 キヤノン株式会社 動画像符号化装置及びその制御方法
JP4649318B2 (ja) * 2004-12-13 2011-03-09 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
US20100039536A1 (en) * 2008-08-14 2010-02-18 Sony Ericsson Mobile Communications Ab Video recording device and method
US9232233B2 (en) * 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
US10806325B2 (en) * 2012-08-15 2020-10-20 Intuitive Surgical Operations, Inc. Methods and systems for optimizing video streaming
CN104782124B (zh) * 2012-12-17 2018-09-07 英特尔公司 利用编码器硬件对视频内容进行预处理
US9071814B1 (en) * 2013-08-15 2015-06-30 Google Inc. Scene detection based on video encoding parameters

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020025247A (ja) * 2018-06-05 2020-02-13 アクシス アーベー 一連のビデオフレームの符号化のための方法、コントローラ、及びシステム
JP7150664B2 (ja) 2018-06-05 2022-10-11 アクシス アーベー 一連のビデオフレームの符号化のための方法、コントローラ、及びシステム

Also Published As

Publication number Publication date
TW201622423A (zh) 2016-06-16
US10349081B2 (en) 2019-07-09
JP6707334B2 (ja) 2020-06-10
KR20160068657A (ko) 2016-06-15
CN105681792A (zh) 2016-06-15
EP3029936A1 (en) 2016-06-08
TWI674796B (zh) 2019-10-11
US20160165261A1 (en) 2016-06-09
CN105681792B (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
KR102715333B1 (ko) 몰입형 미디어 콘텐츠 프레젠테이션 및 양방향 360° 비디오 통신
JP7011506B2 (ja) ビデオストリームを形成するための方法および画像処理ユニット
US9813732B2 (en) System and method for encoding video content using virtual intra-frames
JP6707334B2 (ja) リアルタイム符号化のための方法及び装置
TWI669941B (zh) 視訊編碼方法及視訊編碼器系統
CN108737825B (zh) 视频数据编码方法、装置、计算机设备和存储介质
US10009628B2 (en) Tuning video compression for high frame rate and variable frame rate capture
KR102067199B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
EP2847993B1 (en) Motion sensor assisted rate control for video encoding
US9936217B2 (en) Method and encoder for video encoding of a sequence of frames
US12096090B2 (en) Facilitating video streaming and processing by edge computing
EP3989530A1 (en) Generating substitute image frames based on camera motion
JP2019106708A (ja) 符号器を用いた効率的なブレンディング
JP2016111699A5 (ja)
US20110317758A1 (en) Image processing apparatus and method of processing image and video
US9467691B2 (en) Video system for displaying image data, method and computer program
US10051270B2 (en) Video encoding method using at least two encoding methods, device and computer program
US20180352240A1 (en) Generalized Temporal Sub-Layering Frame Work
JP2006303987A (ja) 画像符号化装置及び画像符号化方法
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备
JP2019075685A (ja) 画像符号化装置、画像符号化方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200520

R150 Certificate of patent or registration of utility model

Ref document number: 6707334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250