JP2016086412A - ビデオ符号化方法及びビデオエンコーダシステム - Google Patents

Abstract

【課題】高品質のビデオの送達を可能にするデジタルビデオの符号化方法を提供する。【解決手段】各々の入力ビデオフレームは、それぞれの圧縮値を使用して出力ビデオフレームへ符号化され、出力ビデオフレームのシークエンス内の複数のピクチャーの各々のグループは、複数のピクチャーのグループ内に含まれた任意の数のフレームによって規定されたＧＯＰ長を有する。第１の入力ビデオフレームに対して、入力ビデオフレーム内の動きのレベル及び光のレベルが決定される。光のレベルが所定の閾値未満である場合に、第１の入力ビデオフレームは、所定の一定なＧＯＰ長、及び光のレベルの減少関数である圧縮値を使用して、符号化される。光のレベルが所定の閾値より大きい場合に、第１の入力ビデオフレームは、動きのレベルの減少関数であるＧＯＰ長、及び光のレベルの減少関数である圧縮値を使用して符号化される。【選択図】図２

Description

本発明は、デジタルビデオデータを符号化する方法に関する。更に、本発明は、ビデオデータを符号化するためのデジタルビデオエンコーダシステムに関する。

ネットワークカメラモニタリングシステムなどのデジタルビデオシステムでは、ビデオシークエンスは、様々なビデオ符号化システムを使用して、送信の前に圧縮される。多くのデジタルビデオ符号化システムでは、ビデオフレームのシークエンスのビデオフレームを圧縮するために、２つの主要なモード、すなわち、イントラモード及びインターモードが使用される。イントラモードでは、予測符号化、変換符号化、及びエントロピー符号化を介して、単一のフレームの所与のチャネル内の画素の空間的冗長性を利用することによって、輝度チャネル及びクロミナンスチャネルが符号化される。符号化されたフレームは、Ｉフレームと呼ばれる。その代わりに、インターモードは、個別のフレーム間の時間的冗長性を利用し、画素の選択されたブロックに対する１つのフレームから別のフレームへの画素内の動きを符号化することによって、１以上の以前に復号されたフレームから１つのフレームの複数の部分を予測する、動き補償予測技術に依存する。符号化されたフレームは、Ｐフレーム（前方予測されたフレーム）と呼ばれ得、復号順序にある以前のフレームを言及し得、又はＢフレーム（双方向に予測されたフレーム）と呼ばれ得、２以上の以前に復号されたフレームを言及し得、かつ予測のために使用される任意の表示順序の関係性を有し得る。

符号化されたビデオシークエンスの受信のサイトにおいて、符号化されたフレームが復号される。ネットワークカメラモニタリングシステムでの懸念は、符号化されたビデオの送信に対する利用可能な帯域幅である。このことは、多数のカメラを採用するシステムで殊に正しい。例えば、カメラ内の搭載型ＳＤカードに画像を記憶する場合に、画像の記憶に関して類似の問題が生じる。利用可能な帯域幅が高品質画像の利益に対抗してバランスされる所で、妥協が行われなければならない。カメラからの送信のビットレートを低減するために、多数の方法及びシステムが、符号化を制御するために使用されてきた。これらの既知の方法及びシステムは、概して、ビットレートの上限を適用し、カメラからの出力ビットレートが常にビットレートの上限未満になるように、符号化を制御する。このやり方では、利用可能な帯域幅が十分であることが保証され得、それによって、システム内の全てのカメラは、例えば、コントロールセンターなどの受信のサイトに対してそれらのビデオシークエンスを送信し得、そこでは、オペレーターがシステムのカメラからのビデオをモニターし得、ビデオは後の使用のために記録され得る。しかしながら、全てのカメラにビットレートの上限を適用することは、ビットレートの上限が、モニターされた情景で何が起きているかに拘わらず、多くの詳細事項を含んだ画像の厳しい圧縮を必要とし得るので、時々、望ましくない低い画像の品質をもたらし得る。例えば、例えば、侵入者を特定することができるようにするために、情景内に動きが存在する場合に、より高い画像の品質を取得することは有利であろうが、捉えられた情景内で動きが存在する場合に、ビットレートの上限は、代わりに、より厳しい圧縮、それによって、より低い画像の品質をもたらし得る。

本発明の目的は、上述した先行技術を改良した、デジタルビデオデータを符号化する方法、及びデジタルビデオエンコーダシステムを提供することである。

本発明の具体的な目的は、捉えられた情景内の一時的な動作の高品質のビデオの送達を未だ可能にする一方で、出力ビットレートを利用可能な帯域幅に限定することを可能にする、デジタルビデオデータを符号化する方法、及びデジタルビデオエンコーダシステムを提供することである。

第１の態様によれば、上述の目的は、入力ビデオフレームのシークエンスに対応するデジタルビデオデータを符号化する方法によって、完全に又は少なくとも部分的に達成され、前記入力ビデオフレームは、複数のピクチャーの複数のグループ状に配置される出力ビデオフレームのシークエンスへ符号化され、複数のピクチャーの各々のグループは、イントラフレーム及び０以上の後続のインターフレームを含み、
各々の入力ビデオフレームは、それぞれの圧縮値を使用して、出力ビデオフレームへ符号化され、
出力ビデオフレームの前記シークエンス内の複数のピクチャーの各々のグループは、複数のピクチャーのグループ内に含まれた任意の数のフレームによって規定されたＧＯＰ長を有し、
方法は、
第１の入力ビデオフレームに対して、前記入力ビデオフレーム内の動きのレベル及び光のレベルを決定すること、
前記光のレベルが所定の閾値未満である場合に、所定の一定なＧＯＰ長、及び前記光のレベルの減少関数である圧縮値を使用して、前記第１の入力ビデオフレームを符号化すること、
前記光のレベルが前記所定の閾値より大きい場合に、前記動きのレベルの減少関数であるＧＯＰ長、及び前記光のレベルの減少関数である圧縮値を使用して、前記第１の入力ビデオフレームを符号化することを含む。

このやり方では、情景内にわずかな光しかない場合に、出力ビットレートは、ＧＯＰ長を固定すること及び高い圧縮値を適用することによって低減され得る。ほとんどの場合に暗い情景は、いかにしても詳細な情報を提供することができないので、結果としての画像品質の低減は、概して、受け入れ可能であろう。動きが存在する場合に、例えば、昼間の戸外又は明りの多い屋内などで情景が明るい場合に、より詳細な情報を提供するために、より高いビットレートが許容され得る。このアプローチは、いかなるビートレート目標又は上限をも適用することなしに、帯域幅の効果的な使用を可能にする。

光のレベルは、信号対雑音比及び光度のうちの少なくとも１つとして決定され得る。

方法の変形例では、前記光のレベルが前記所定の閾値未満である場合に、所定の最大圧縮値は、前記動きのレベルが所定の動きの最小レベルである場合に、前記第１の入力ビデオフレームを符号化するために使用される。これによって、捉えられた情景が暗い場合に、及び動きがほとんどないか又は全くない場合に、特に低いビットレートを取得することができる。

前記光のレベルが前記所定の閾値より大きい場合に、所定の最小圧縮値は、前記光のレベルが所定の光の最大レベルである場合に、前記第１の入力ビデオフレームを符号化するために使用され得る。このやり方では、捉えられた情景が明るい場合に、高品質画像が提供され得、それは、雑音がほとんどないことを意味し、画像が高いレベルの詳細を提供するための潜在力を有することをもたらす。

方法の変形例では、前記光のレベルが前記所定の閾値より大きい場合に、所定の最小ＧＯＰ長は、前記動きのレベルが所定の動きの最大レベルである場合に、前記第１の入力フレームを符号化するために使用される。それによって、高い品質のビデオシークエンスは、捉えられた情景内に高いレベルの動きが存在する場合に提供される。

前記光のレベルが前記所定の閾値より大きい場合に、所定の最大ＧＯＰ長は、前記動きのレベルが所定の動きの最小レベルである場合に使用され得る。このやり方では、低いビットレートは、捉えられた情景内に動きがほとんどないか又は全くない場合に取得され得る。

方法は、前記動きのレベルの増加関数である出力フレームレートにおける入力ビデオフレームのシークエンスを符号化することを更に含み得る。これによって、低いビットレートは、捉えられた情景内に動きがほとんどないか又は全くない場合に取得され得、より多くの情報を提供するより滑らかなビデオシークエンスは、情景内に高いレベルの動きが存在する場合に提供され得る。

第２の入力ビデオフレームの動きのレベルが、第１の閾値の変化量によって、前記第１の入力ビデオフレームの動きのレベルと異なる場合に、方法は、所定のフレームレートの量によって出力フレームレートを変化させることを更に含み得る。このやり方では、入力ビデオフレーム内の動きのレベルがモニターされ得、動きのレベルが変化する場合に、フレームレートが適合され得る。例えば、カメラが１ｆｐｓなどの非常に低いフレームレートでフレームを符号化し、送信する場合に、捉えられた情景内に動きが存在しないので、入力ビデオフレームは、フレームが符号化され、送信されるフレームレートより頻繁に動きに対してチェックされ得、動きが検出された場合に、出力フレームレートは、たとえ最新のフレームが符号化されてから１秒も過ぎないうちに、瞬間的に増加され得る。それ故、情景内の動きが見逃される危険性は低減され得る。

方法は、前記第１の入力ビデオフレームに後続する第２の入力ビデオフレームに対して、第１の閾値の変化量によって、第１の入力ビデオフレームと比較して、光のレベルが変化したか否かをチェックすることを更に含み得る。このやり方では、情景内の光のレベルが本質的に以前と同じである場合に、圧縮値を再計算する必要がなく、それによって、方法を具体的に計算上効率的にすることを可能にする。

前記閾値の変化量によって、第１の入力ビデオフレームと比較して、光のレベルが変化した場合に、第２の閾値の変化量によって、前記第２の入力ビデオフレームの第２の動きのレベルが、前記第１の入力ビデオフレームの第１の動きのレベルとは異なる場合に、前記第２の入力ビデオフレームは、前記第２の動きのレベルに基づいて計算されたＧＯＰ長を使用して符号化され得る。それによって、ＧＯＰ長は、複数のピクチャーの現在のグループが終了してしまう前でさえ、変化する動きのレベルに適合され得る。

第２の態様によれば、上述の目的は、以下のものを備えた入力ビデオフレームのシークエンスに対応するビデオデータを符号化するためのデジタルビデオエンコーダシステムによって、完全に又は部分的に達成される。すなわち、
複数のピクチャーの複数のグループ状に配置されるイントラフレーム又はインターフレームへ入力ビデオフレームを加工するように構成されたエンコーダモジュールであって、複数のピクチャーの各々のグループは、イントラフレーム及びゼロ以上の後続のインターフレームを備える、エンコーダモジュール、
入力ビデオフレーム内の光のレベルを決定するように構成された光決定モジュール、
入力ビデオフレーム内の動きのレベルを決定するように構成された動き決定モジュール、
入力ビデオフレームを符号化するために使用されるように圧縮値を設定するために構成された圧縮値設定モジュール、
複数のピクチャーの１つのグループ内に含まれるべき任意の数のフレームとしてＧＯＰ長を設定するように構成されたＧＯＰ長設定モジュールを備え、
前記ＧＯＰ長設定モジュールは、前記光のレベルが所定の閾値未満である場合に、所定の一定なＧＯＰ長を設定するように構成され、
前記圧縮値設定モジュールは、前記光のレベルが所定の閾値未満である場合に、前記光のレベルの減少関数である圧縮値を設定するように構成され、
前記ＧＯＰ長設定モジュールは、前記光のレベルが前記所定の閾値より大きい場合に、前記動きのレベルの減少関数であるＧＯＰ長を設定するように構成され、かつ
前記圧縮値設定モジュールは、前記光のレベルが前記所定の閾値より大きい場合に、前記光のレベルの減少関数である圧縮値を設定するように構成される。

そのようなエンコーダシステムを用いて、出力ビットレートは、情景内にほとんど光がない場合に、ＧＯＰ長を固定すること及び高い圧縮値を適用することによって、低減され得る。既に述べたように、ほとんどの場合に暗い情景は、いかにしても詳細な情報を提供することができないので、結果としての画像品質の低減は、概して、受け入れ可能であろう。動きが存在する場合に、例えば、昼間の戸外又は明りの多い屋内などで情景が明るい場合に、より詳細な情報を提供するために、より高いビットレートが許容され得る。本発明のエンコーダシステムは、いかなるビートレート目標又は上限をも適用することなしに、帯域幅の効果的な使用を可能にする。

デジタルビデオエンコーダシステムは、入力ビデオフレームが符号化されるフレームレートを設定するように構成されたフレームレート設定モジュールを更に備え得る。これによって、エンコーダシステムは、更に、出力ビットレートを制御し得る。

一実施形態では、前記光決定モジュールは、ルクス計を備える。ルクス計は、入力ビデオフレーム内の光のレベルを決定する実際的な手段を提供し得る。

光決定モジュールは、入力ビデオフレーム内の信号対雑音比を決定するように構成され得る。暗い情景の画像は、概して、明るい又は明かりの多い情景の画像よりも多くの雑音を含むだろう。

第３の態様によれば、上述の目的は、第２の態様によるデジタルビデオエンコーダシステムを備えたカメラによって、完全に又は少なくとも部分的に達成される。

第４の態様によれば、上述の目的は、プロセッサによって実行された場合に、第１の態様による方法を実行するように適合された指令を有するコンピュータ可読記憶媒体を備えたコンピュータプログラム製品によって、完全に又は少なくとも部分的に達成される。

本発明の適用性のさらなる範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、当業者にとっては、本発明の範囲内の様々な変更及び修正がこの詳細な説明より明らかになるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも、例示的な形でのみ提示されることを理解されたい。

したがって、本発明は、記載の装置及び方法が変形され得るので、説明される装置の特定の構成要素部品又は説明される方法の特定のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明する目的のために過ぎず、限定的であることを意図しないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、冠詞（「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」）は、文脈によって他のことが明らかに示されない限り、１以上の要素が存在することを意味していると意図されることに留意するべきである。それ故、例えば、「ａｎ ｏｂｊｅｃｔ」又は「ｔｈｅ ｏｂｊｅｃｔ」に対する言及は、幾つかのｏｂｊｅｃｔなどを含み得る。更に、「ｃｏｍｐｉｚｉｎｇ（備える、含む）」という言葉は、他の要素又はステップを排除しない。

本発明は、今や、実施例を用いて、かつ添付の概略図を参照しながら、より詳細に説明される。

情景を捉えているカメラの図である。 本発明の変形例による、デジタルビデオデータを符号化する方法のステップを示す流れ図である。 本発明の変形例による、符号化されたビデオシークエンスの図である。 本発明の変形例による、符号化された別のビデオシークエンスの図である。 圧縮値及びＧＯＰ長がどのようにして光のレベル及び動きのレベルに応じて変化し得るかの実施例を示すグラフである。 本発明の別の変形例による、付加的なステップを示す流れ図である。 本発明の実施形態による、デジタルビデオエンコーダシステムの表現図である。

本発明は、動きが存在する情景の高品質画像を可能にする一方で、本発明者が、全体の出力ビットレートを低減するために有益であると理解した任意の数の原理に基づく。

これらの原理のうちの１つは、符号化する場合に使用されるＧＯＰ長は、符号化されるべきフレーム内の動きのレベルに応じるべきであるというものである。それ故、動きがほとんどないか又は全くない場合に、長いＧＯＰ長が使用されるべきであり、一方、高いレベルの動きが存在する場合に、短いＧＯＰ長が使用されるべきである。

第２の原理は、情景内にほとんど光が存在しない場合に、ＧＯＰ長は、もはや、動きのレベルにしたがって変化するべきでないというものである。これは、ほとんど光が存在しない場合に、画像内にそれ以上の雑音は存在しない、すなわち、信号対雑音比はより低くなるだろうからである。それ故、雑音が動きとして解釈される危険性が存在し、実際の動きが存在しない情景に対してさえ、高いビットレートが生じる。これに対処するために、光のレベルが所定の閾値未満である場合に、代わりに、所定の一定なＧＯＰ長が使用されるべきである。

第３の原理は、符号化する場合に使用される圧縮値は、符号化されるべきフレーム内の光のレベルに応じるべきであるというものである。それ故、情景内にほとんど光が存在しない場合に、高い圧縮値が使用されるべきであり、一方、多くの光が存在する場合に、低い圧縮値が使用されるべきである。このやり方では、情景内に多くの光が存在する場合に、高品質画像が提供され得る。捉えられた情景が暗すぎて有用な情報を提供しない場合に、画像の品質は、より低くなり、それによって、出力ビットレートを低減するだろう。

デジタルビデオデータを符号化する場合に、これらの３つの原理を適用することによって、出力ビットレートは、全体的に低減され得、一方、捉えられた情景内に動きが存在しない場合に、未だ、高品質画像を提供する。概して、全てのカメラによって捉えられた情景内に同時に動きは存在しないだろうから、本発明の方法及びシステムは、多数のシステムを採用するデジタルビデオシステムにおいて特に有用であり得る。それ故、所与の瞬間において動きのない情景を捉えているカメラからの出力ビットレートは低減され得、かつ同時に動きのある情景を捉えているカメラからの出力ビットレートはより広い利用可能な帯域幅を使用することが許容され得るので、利用可能な帯域幅はより効果的に使用され得る。

第４の原理は、上述の３つに加えて適用され得、それは、画像フレームが符号化されるフレームレートは、動きのレベルに応じるべきであるというものである。それ故、動きがほとんどないか又は全くない場合に、フレームレートは低くなるべきであり、一方、高いレベルの動きが存在する場合に、フレームレートは高くなるべきである。動きがほとんどないか又は全くない場合の情景を捉えているカメラは、非常に低いフレームレートで符号化された画像フレームを送信し得、それによって、利用可能な帯域幅の小さい部分のみを使用し、一方、より高いレベルの動きを有する情景を捉えているカメラは、より高いフレームレートで符号化された画像を送信し得、より広い利用可能な帯域幅を使用し得るので、このことは、上述した最初の３つの原理によって提供されたビットレートの柔軟性を増加させ得る。

今度は、本発明が、先ず図１を参照しながら実施例によって更に説明され、図１は、情景２を捉えているカメラ１を示す。今度は図２を参照すると、第１の入力画像フレームが符号化されるべき場合に、最初のステップＳ１で、フレーム内の光のレベルＶ_{ｌｉｇｈｔ}が決定される。これは、信号対雑音比を決定することによって、情景内の光度を決定することによって、又はそれらの両方によって行われ得る。光度の決定は、今度は、例えば、カメラのハウジング内に統合されたルクス計、又はカメラのハウジングの外部に置かれたルクス計を使用して実行され得る。代替的に、又は付加的に、光度は、情景を捉えているセンサからの画像データから情報を抽出することによって決定され得る。例えば、センサデータは、ＹＣｂＣｒ色空間へ変換され得、かつＹ又は輝度成分は、光度として使用され得る。

次に、ステップＳ２で、圧縮値ＱＰが、光のレベルＶ_{ｌｉｇｈｔ}の関数として計算される。圧縮値ＱＰは、例えば、Ｈ．２６４圧縮フォーマット内で使用される量子化パラメータであり得る。圧縮値ＱＰは、光のレベルＶ_{ｌｉｇｈｔ}の減少関数として計算される。それ故、光のレベルＶ_{ｌｉｇｈｔ}が高い場合に、捉えられた情景は明るいことを意味し、圧縮値ＱＰは低くなり、それによって、第１の画像は、大幅に圧縮されないが、高いレベルの詳細を提供し得る。一方で、光のレベルＶ_{ｌｉｇｈｔ}が低い場合に、捉えられた情景は暗いことを意味し、圧縮値ＱＰは高くなり、それによって、第１の画像はより大幅に圧縮され、それによって、出力画像の品質を低くするという犠牲を払って出力ビットレートを低減する。暗い情景は概して大量の情報を提供しないので、このトレードオフは概して受け入れ可能であろう。

計算された圧縮値ＱＰが所定の値以上である場合に、光のレベルは所定の閾値以下であることを表し、ＧＯＰ長、すなわち、符号化されるべき複数のピクチャーの１つのグループの長さは、所定の一定な値に設定される。実施例として、ＱＰ＝０が最小の圧縮を表し、ＱＰ＝５０が最大の圧縮を表すスケールにおいて、圧縮値ＱＰの所定の値は３５であり得、ＧＯＰ長の所定の一定な値は１２８であり得、それは、複数のピクチャーのグループ内に１つのイントラフレーム及び１２７個の後続のインターフレームが存在することを意味する。この実施例では、最も長い許容可能なＧＯＰ長は２５５であり、最も短い許容可能なＧＯＰ長は１であり、それは、イントラフレームのみが符号化されることを意味する。

一方で、計算された圧縮値ＱＰが所定の閾値未満である場合に、ステップＳ４で、第１の画像フレーム内の動きのレベルＶ_{ｍｏｔｉｏｎ}が決定される。動きのレベルは、現在の画像フレームと１以上の以前の画像フレームとの間の画素差を決定すること、及び変化した画素の数を動きのレベルの測定値として扱うことによって、決定され得る。代替的に、それ自身は既知である、より複雑な動き検出アルゴリズムが使用され得る。

ステップＳ５では、符号化する場合に使用されるべきＧＯＰ長Ｌ_ＧＯＰが、動きのレベルＶ_{ｍｏｔｉｏｎ}の減少関数として計算される。それ故、動きのレベルＶ_{ｍｏｔｉｏｎ}が低い場合に、ＧＯＰ長Ｌ_ＧＯＰは長くなり、イントラフレーム間に多くのインターフレームが存在することを意味し、動きのレベルＶ_{ｍｏｔｉｏｎ}が高い場合に、ＧＯＰ長Ｌ_ＧＯＰは短くなり、イントラフレーム間にほとんどインターフレームが存在しないか、又はインターフレームが全く存在しないことさえ意味する。

その後、ＧＯＰ長Ｌ_ＧＯＰが、捉えられた情景が暗いので一定な値、又は情景が明るいので動きのレベルの関数、のいずれかとして設定された場合に、第１の画像はステップＳ６でイントラフレームとして符号化される。

次の入力画像フレーム、すなわち、第２の入力画像フレームに対して、情景が変化に対してチェックされるべきか否かが決定される。方法は、各々の入力画像フレームに対する変化に対してチェックされるように設定され得、又は、例えば、２つ又は４つの入力画像フレーム毎に、より低い頻度でチェックされるように設定され得る。この頻度は、ユーザ側で調整可能であり得、又は予め設定され得る。

情景が、第２の入力画像フレームに対してチェックされるべきである場合に、ステップＳ８で、光のレベルＶ_{ｌｉｇｈｔ}が閾値の変化量より大きく変化したか否かが決定される。この回答がポジティブである場合に、ステップＳ２に戻って、新しい圧縮値ＱＰが、光のレベルＶ_{ｌｉｇｈｔ}の減少関数として計算される。

しかしながら、光のレベルＶ_{ｌｉｇｈｔ}が変化しなかった場合に、新しい圧縮値ＱＰを計算する必要性は存在しない。その後、方法は、ステップＳ９へ進み、動きのレベルＶ_{ｍｏｔｉｏｎ}が所定の閾値の変化量より大きく変化したか否かが決定される。この回答がポジティブである場合に、ステップＳ５に戻って、新しいＧＯＰ長Ｌ_ＧＯＰが、動きのレベルＶ_{ｍｏｔｉｏｎ}の減少関数として計算される。

動きのレベルＶ_{ｍｏｔｉｏｎ}が変化しなかった場合に、ステップＳ１０で、第２の入力画像フレームがインターフレームとして符号化される。

ステップＳ１１では、ＧＯＰ長Ｌ_ＧＯＰの現在の値を、複数のピクチャーの現在のグループ内で符号化されたピクチャーの数と比較することによって、複数のピクチャーの現在のグループが完了したか否かがチェックされる。複数のピクチャーのグループの終わりに未だ到達していない場合に、方法は、ステップＳ７に戻って、情景が変化に対してチェックされるべきか否かを決定する。一方で、複数のピクチャーのグループが完了した場合に、方法は、ステップＳ６に戻って、圧縮値ＱＰの現在の値及びＧＯＰ長Ｌ_ＧＯＰの現在の値を使用して、第３の入力画像フレームを、イントラフレームとして符号化する。

図３は、入力画像フレームのビデオシークエンス（図３の上側の行）、及び対応する符号化された出力画像フレームのビデオシークエンス（図３の下側の行）の実施例を示す。本発明の方法を更に示すために、任意の数の実施例が今や与えられる。これらの実施例では、光のレベルＶ_{ｌｉｇｈｔ}は、０から１０までのスケールで測定され、ここで、０は非常に暗い情景を表し、１０は非常に明るい情景を表す。動きのレベルもまた０から１０までのスケールで測定され、ここで、０は動きがないことを表し、１０は多くの動きを表す。使用される最小ＧＯＰ長Ｌ_{ＧＯＰ、ｍｉｎ}は３２となり、最大ＧＯＰ長Ｌ_{ＧＯＰ、ｍａｘ}は２５５となる。一定のＧＯＰ長Ｌ_{ＧＯＰ、ｃｏｎｓｔ}は、これらの実施例では、１２８に設定される。この一定なＧＯＰ長は、光のレベルが所定の閾値Ｖ_{ｌｉｇｈｔ、ｔｈ}未満である場合に使用される。これらの実施例では、閾値Ｖ_{ｌｉｇｈｔ、ｔｈ}は３となる。圧縮値ＱＰは、Ｈ．２６４フォーマット内で使用される量子化パラメータである。使用される最小圧縮値ＱＰ_ｍｉｎは２０となり、最大圧縮値ＱＰ_ｍａｘは４３となる。

実施例１
Ｖ_{ｌｉｇｈｔ}＝Ｖ_{ｌｉｇｈｔ、ｍｉｎ}＝０
Ｖ_{ｍｏｔｉｏｎ}＝Ｖ_{ｍｏｔｉｏｎ、ｍｉｎ}＝０
図３で参照番号１０１が付けられた、この入力画像フレームでは、光のレベルは最小であり、捉えられた情景は完全に暗いと考えられ、又は詳細な情報を伝達することができないほど暗いことを意味する。更に、情景内に動きは存在しない。図２内で示された原理を使用して、以下の値は、その後、現在の入力画像フレーム１０１に対して計算される。すなわち、
ＱＰ＝ＱＰ_ｍａｘ＝４３
Ｌ_ＧＯＰ＝Ｌ_{ＧＯＰ、ｃｏｎｓｔ}＝１２８

光のレベルＶ_{ｌｉｇｈｔ}が閾値Ｖ_{ｌｉｇｈｔ、ｔｈ}未満であるので、ＧＯＰ長は、動きのレベルに応じて変化しないが、一定の値Ｌ_{ＧＯＰ、ｃｏｎｓｔ}に設定される。図２では、使用される決定的要因が、圧縮値ＱＰが３５より小さいか又は３５より大きいかであることに留意されたい。しかしながら、圧縮値ＱＰは光のレベルＶ_{ｌｉｇｈｔ}の減少関数として計算されるので、これは、それぞれ、３より大きい又は３より小さい光のレベルＶ_{ｌｉｇｈｔ}に対応する。それ故、光のレベルＶ_{ｌｉｇｈｔ}がチェックされるか否か、又はＧＯＰ長を規定する方法を決定するために、光のレベルＶ_{ｌｉｇｈｔ}の関数として計算された圧縮値ＱＰがチェックされるか否かは、問題ではない。入力画像フレーム１０１は、これらの値を使用して出力画像フレーム２０１へ符号化される。出力フレーム２０１は、複数のピクチャーの第１のグループＧＯＰ１内の最初であるべきであり、現在の入力画像フレーム１０１は、それ故、Ｉフレームとして符号化される。さもなければ、それはＰフレームとして符号化されるだろう。

実施例２
Ｖ_{ｌｉｇｈｔ}＝５
Ｖ_{ｍｏｔｉｏｎ}＝Ｖ_{ｍｏｔｉｏｎ、ｍｉｎ}＝０
図３で１０２として参照される、この入力フレームでは、より多くの光が存在するが、未だ、動きは存在しない。これらの決定に基づいて、以下の値が計算される。すなわち、
ＱＰ＝２７
Ｌ_ＧＯＰ＝Ｌ_{ＧＯＰ、ｍａｘ}＝２５５

ここで、光のレベルは閾値Ｖ_{ｌｉｇｈｔ、ｔｈ}より大きく、それ故、ＧＯＰ長は動きのレベルＶ_{ｍｏｔｉｏｎ}の関数として計算される。これらの計算された値は、その後、第２の入力画像フレーム１０２を第２の出力画像フレーム２０２へ符号化するために使用される。出力画像フレーム２０２は、複数のピクチャーの第１のグループＧＯＰ１内の最後であるべきであり、第２の入力画像フレーム１０２は、それ故、Ｐフレームとして符号化される。

実施例３
Ｖ_{ｌｉｇｈｔ}＝５
Ｖ_{ｍｏｔｉｏｎ}＝５
図３で１０３として参照される、この画像フレームでは、光Ｖ_{ｌｉｇｈｔ}のレベルは実施例２と同じであるが、今度は、情景内に何らかの動きが存在する。光の現在のレベル及び動きの現在のレベルに基づいて、以下の値が計算される。すなわち、
ＱＰ＝２７
Ｌ_ＧＯＰ＝６４

計算された圧縮値ＱＰ及びＧＯＰ長Ｌ_ＧＯＰは、第３の入力画像フレーム１０３を第３の出力画像フレーム２０３へ符号化する場合に使用される。この出力画像フレームは、複数のピクチャーの第２のグループＧＯＰ２に沿ったいずれかの場所に配置されるべきであり、第３の入力画像フレーム１０３は、それ故、Ｐフレームとして符号化される。

実施例４
Ｖ_{ｌｉｇｈｔ}＝Ｖ_{ｌｉｇｈｔ、ｍａｘ}＝１０
Ｖ_{ｍｏｔｉｏｎ}＝Ｖ_{ｍｏｔｉｏｎ、ｍａｘ}＝１０
この実施例では、１０４で示される入力画像フレームは、光の最大レベル及び動きの最大レベルを有する。これらの決定に基づいて、以下の値が計算される。すなわち、
ＱＰ＝ＱＰ_ｍｉｎ＝２０
Ｌ_ＧＯＰ＝Ｌ_{ＧＯＰ、ｍｉｎ}＝３２

これらの値は、第４の入力画像フレーム１０４を第４の出力画像フレーム２０４へ符号化するために使用される。出力画像フレーム２０４は、複数のピクチャーの第２のグループＧＯＰ２内の最後であるべきであり、それ故、第４の入力画像フレーム１０４は、インターモードを使用して、Ｐフレームへ符号化される。

今度は図４を参照すると、変化するフレームレートの使用を説明するために、別の実施例が与えられる。図４は、入力画像フレームのビデオシークエンス（図４の上側の行）、及び符号化された出力画像フレームのビデオシークエンス（図４の下側の行）の実施例を示す。

実施例５
この実施例では、動きのレベルに応じて出力フレームレートを制御する原理が、図２及び上の実施例との関連で既に議論された原理に付加して使用される。第１の画像フレーム１００１が符号化されるべきである場合に、動きのレベル及び光のレベルが決定され、使用されるべき圧縮値及びＧＯＰ長はそれらに基づいて規定される。しかしながら、動きのレベルは、また、画像フレームが符号化されるべき出力フレームレートを決定するために使用される。この画像フレーム１００１では、第１の動きのレベルが存在し、出力フレームレートは第１の出力フレームレートに設定される。第１の出力フレームレートは、画像が、カメラ１のセンサによって捉えられる入力フレームレートより低い。この実施例では、入力フレームレートは３０ｆｐｓであり、第１の出力フレームレートは１５ｆｐｓである。第１の入力画像フレーム１００１は、Ｉフレーム２００１として符号化される。

次の入力画像フレーム１００２が捉えられた場合に、その画像フレーム１００２内の動きのレベルが決定される。この第２の動きのレベルは、第１の動きのレベルと本質的に同じであり、すなわち、動きのレベルは、第１の入力画像フレーム１００１から第２の入力画像フレーム１００２への、閾値の変化量よりも大きく変化していない。それ故、画像が符号化される出力フレームレートは、変化していない。入力フレームレートは第１の出力フレームレートの２倍の高さなので、この第２の入力画像フレームは符号化されない。

第３の入力画像フレーム１００３が捉えられた場合に、動きのレベル及び光のレベルが決定され、符号化のために使用されるべき圧縮値及びＧＯＰ長が規定される。動きのレベルは、概して、第１の動きのレベルに等しいままであり、それ故、出力フレームレートは以前の画像フレームに対するものと同じに維持される。第３の入力画像フレームは、Ｐフレーム２００３として符号化される。

第４の入力画像フレーム１００４に対して、動きのレベルは、もう一度決定され、以前の入力画像フレーム１００３と比較して、閾値の変化量よりも大きく変化していない。それ故、出力フレームレートは維持され、第４の入力画像フレーム１００４は符号化されない。

第５の入力画像フレーム１００５が捉えられた場合に、動きのレベル及び光のレベルは、第５の動きのレベル及び第５の光のレベルとして決定される。この第５の動きのレベルは、以前の入力画像フレーム内の動きのレベルより高く、以前のフレームと比較して閾値の変化量より大きく増加した。それ故、画像が符号化されるべき第５の出力フレームレートが規定される。この実施例では、第５の出力フレームレートは、入力フレームレート、すなわち、３０ｆｐｓに等しい。更に、第５の動きのレベルは、第５のＧＯＰ長が以前の画像フレームに対して使用されたＧＯＰ長より短く、複数のピクチャーの新しいグループが開始されるべきである。第５の入力画像フレーム１００５は、それ故、Ｉフレーム２００５として符号化される。

以下の入力画像フレーム１００６、１００７、及び１００８に対して、同じ手順が使用される。ここで、動きのレベルは減少せず、第５の出力フレームレートは、それ故、維持される。ここで、たとえ動きのレベルが更に増加するべきであっても、出力フレームレートは今や既に入力フレームレートに等しいので、出力フレームレートは増加され得ないことに留意されたい。複数のピクチャーの現在のグループの終わりまで、入力画像フレーム１００６、１００７、及び１００８は、Ｐフレーム２００６、２００７、及び２００８として符号化される。

今度は図５ａ、図５ｂ、及び図５ｃが参照され、それらは、圧縮値がどのようにして光のレベルに応じて変化し得るか（図５ａ）、ＧＯＰ長がどのようにして動きのレベルに応じて変化し得るか（図５ｂ及び図５ｃ）のグラフを示している。圧縮値ＱＰは、符号化されるべき画像フレーム内の光のレベルの減少関数として決定される。依存性は、図５ａの点線によって示される線形な関数に従い得る。しかしながら、上の実施例では、依存性は、図５ａの実線によって示される、わずかに異なった関数に従う。ここで見られるように、光の最小レベルＶ_{ｌｉｇｈｔ、ｍｉｎ}において、圧縮値ＱＰは最大値ＱＰ_ｍａｘをとり得、光の最大レベルＶ_{ｌｉｇｈｔ、ｍａｘ}において、圧縮値ＱＰは最小値ＱＰ_ｍｉｎをとる。

図５ｂでは、ＧＯＰ長Ｌ_ＧＯＰが、光のレベルＶ_{ｌｉｇｈｔ}が所定の閾値より大きい入力画像フレームに対する動きのレベルＶ_{ｍｏｔｉｏｎ}の関数として示される。上述した実施例のように、この閾値は３である。図５ａに関連して議論されたものと同様に、光のレベルＶ_{ｌｉｇｈｔ}とＧＯＰ長Ｌ_ＧＯＰとの間の関係性は線形であり得るが（点線）、上で与えられた実施例では、関数は線形からわずかに逸脱する（実線）。いずれの場合においても示されるように、ＧＯＰ長Ｌ_ＧＯＰは、動きの最小レベルＶ_{ｍｏｔｉｏｎ、ｍｉｎ}に対して最大値Ｌ_{ＧＯＰ、ｍａｘ}をとる。動きＶ_{ｍｏｔｉｏｎ、ｍａｘ}の最大レベルに対して、ＧＯＰ長Ｌ_ＧＯＰは、最小値Ｌ_{ＧＯＰ、ｍｉｎ}をとる。

今度は図５ｃを参照すると、このグラフは、光のレベルＶ_{ｌｉｇｈｔ}が所定の閾値の３以下である入力画像フレームに対する、光のレベルＶ_{ｌｉｇｈｔ}とＧＯＰ長との間の関係性を示す。そのような暗い画像フレームに対して、動きのレベルが何であるかに拘わらず、一定のＧＯＰ長Ｌ_{ＧＯＰ、ｃｏｎｓｔ}が使用される。

図６を参照すると、上述した方法の変形例が今や説明される。方法のこの変形例を使用して、更なるビットレートの節約が、優れた光の条件を有し、但し、ほとんど動きがない画像に対して取得され得る。図２で示された流れ図の一部、すなわち、ステップＳ４、Ｓ５、及びＳ６が、ここに示される。図２の先行及び後続ステップは変化しないままであり、それ故、ここでは示されず、議論されない。図６で示される変形例では、ステップＳ５で設定されたＧＯＰ長Ｌ_ＧＯＰが６４以上である場合に、付加的なステップＳ５’が加えられる。このことは、情景内にほとんど動きが存在しないことを意味する。出力ビットレートを低減するために、圧縮値に対して上限が使用される。それ故、以前に計算された圧縮値ＱＰが２６より大きい場合に、圧縮値ＱＰは２６に再設定される。情景内でほとんど動きが存在しない場合に、次の画像の品質の低減は、概して、見る者にとって受け入れ可能であろう。以前に計算された圧縮値が２６未満である場合に、それは変化されない。ステップＳ５’で圧縮値ＱＰが低くされ又は維持された場合に、方法は、進んで、ステップＳ６で画像フレームを符号化する。ステップＳ５で計算されたＧＯＰ長Ｌ_ＧＯＰが６４未満である場合に、方法は、進んで、いかなる圧縮値の上限も適用することなしに、ステップＳ６で画像フレームを符号化する。

図７は、デジタルビデオエンコーダシステム３の概略図であり、それは、上述された方法によって、デジタルビデオデータを符号化するために使用され得る。それ故、エンコーダシステムは、入力画像フレーム内の光のレベルＶ_{ｌｉｇｈｔ}を決定するように構成された光決定モジュール４、及び入力画像フレーム内の動きのレベルＶ_{ｍｏｔｉｏｎ}を決定するように構成された動き決定モジュール５を有する。エンコーダシステム３は、入力画像フレームを符号化するために使用されるべき圧縮値ＱＰを設定するように構成された圧縮値設定モジュール６を更に備える。エンコーダシステム３は、また、入力画像フレームを符号化する場合に、複数のピクチャーの１つのグループ内に含まれるべき任意の数のフレームとして、ＧＯＰ長Ｌ_ＧＯＰを設定するように構成されたＧＯＰ長設定モジュール７を備える。ＧＯＰ長設定モジュール７は、光のレベルＶ_{ｌｉｇｈｔ}が所定の閾値Ｖ_{ｌｉｇｈｔ、ｔｈ}未満である場合に、所定の一定なＧＯＰ長Ｌ_{ＧＯＰ、ｃｏｎｓｔ}を設定するように構成される。更に、ＧＯＰ長設定モジュール７は、光のレベルＶ_{ｌｉｇｈｔ}が所定の閾値Ｖ_{ｌｉｇｈｔ、ｔｈ}より大きい場合に、動きのレベルの減少関数であるＧＯＰ長Ｌ_ＧＯＰを設定するように構成される。圧縮値設定モジュール６は、光のレベルの減少関数である圧縮値ＱＰを設定するように構成される。

エンコーダシステム３は、入力画像フレームが符号化されるべきフレームレートを設定するように構成されたフレームレート設定モジュール８を更に備える。フレームレート設定モジュール８は、動きのレベルの増加関数としてフレームレートを設定するように構成される。

エンコーダシステム３は、カメラ１内に統合されるか、又はカメラ１に動作可能に接続された個別のユニットとして具現化され得る。

光決定モジュール４は、カメラ１のハウジング内に配置され得る又はカメラ１から分離され得るルクス計を備え得る。代替的に、又は付加的に、光決定モジュール４は、入力画像フレーム内の光度を決定するために、カメラ１のセンサからの画像データを使用し得る。

エンコーダシステム３の動作は、概して、図２から図５に関連して説明された符号化方法に従う。

エンコーダシステム３は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせとして具現化され得る。本発明は、プロセッサによって実行された場合に、本発明の方法を実行するように適合された指令を有するコンピュータ可読記憶媒体を備えた、コンピュータプログラム製品の形態で具現化され得る。

当業者が、多くのやり方において上述の実施形態を修正でき、かつ未だ上述の実施形態の中において示される本発明の利点を有することは、理解されるだろう。一実施例として、本発明は、ＭＰＥＧ及びＨ．２６４などの様々な圧縮フォーマットに適用可能である。それは、概して、イントラフレーム及びインターフレームを使用する全ての圧縮フォーマットに適用可能である。

上述の実施形態では、使用されるインターフレームはＰフレームのみである。しかしながら、本発明は、また、Ｂフレームと共に使用され得る。

上の実施例で使用された圧縮値は、Ｈ．２６４フォーマット内で使用される量子化パラメータであった。しかしながら、圧縮値は、他の形態をとり得る。例えば、圧縮値は、所定の最大圧縮のパーセンテージとして与えられ得、それ故、０から１００％までの範囲内に含まれる。

更に、デフォルト値はＧＯＰ長に対して再設定され得、符号化する場合に使用されるべき圧縮値が開始される。第１の画像フレームが符号化された後に、ＧＯＰ長及び圧縮値は、上述された方法によって設定される。代替的に、ＧＯＰ長及び圧縮値は、既に符号化の開始において、光のレベル及び動きのレベルに基づいて設定され得る。

上述の説明では、最小、最大、及び一定のＧＯＰ長の実施例の値が、最大及び最小の圧縮値の実施例の値と同様に、挙げられた。しかしながら、他の値も使用され得る。これらは、符号化方法又はエンコーダシステム内で再設定され得、又はそれらはユーザ側で入力され得る。それらの値は、カメラ内の特定のチップ、送信される画像の目的、及び利用可能な帯域幅に応じて選ばれ得る。例えば、１つのチップに対して、Ｈ．２６４フォーマット内で使用されるような１５から３８までの範囲内に含まれる圧縮値ＱＰが、有利であると分かってきた一方で、別のチップに対して、２０から４０までの範囲内に含まれる圧縮値が好適である。

同様に、光のレベルに対する閾値の実施例が挙げられたが、この閾値に対して他の値が使用され得る。これは、また、ユーザ側で再設定又は構成可能であり得る。

上述されたものと異なるフレームレートも、また、可能である。

光のレベル及び動きのレベルは、他の測定スケールを使用して決定されてもよい。

本発明の方法及びシステムは、多くのカメラを採用するシステムに対して特に有用である。しかしながら、それらは、２、３個のカメラのみを採用するシステムにおいてもまた有利に使用され得る。

本発明は、全ての種類のデジタルカメラ、例えば、可視光を採用するカメラ、赤外線カメラ、又は温度カメラを伴って使用され得る。それは、また、アナログカメラに接続されるように構成されたビデオエンコーダ内で使用され得る。

それ故、本発明は、図示の実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ定義されるべきである。

Claims (15)

1. 入力ビデオフレームのシークエンスに対応するデジタルビデオデータを符号化する方法であって、前記入力ビデオフレームは、複数のピクチャーの複数のグループ状に配置される出力ビデオフレームのシークエンスへ符号化され、複数のピクチャーの各々のグループは、イントラフレーム及び０以上の後続のインターフレームを含み、
   各々の入力ビデオフレームは、それぞれの圧縮値を使用して、出力ビデオフレームへ符号化され、
   出力ビデオフレームの前記シークエンス内の複数のピクチャーの各々のグループは、複数のピクチャーの前記グループ内に含まれた任意の数のフレームによって規定されたＧＯＰ長を有し、
   前記方法は、
   第１の入力ビデオフレームに対して、前記入力ビデオフレーム内の動きのレベル及び光のレベルを決定すること、
   前記光のレベルが所定の閾値以下である場合に、所定の一定なＧＯＰ長、及び前記光のレベルの減少関数である圧縮値を使用して、前記第１の入力ビデオフレームを符号化すること、
   前記光のレベルが前記所定の閾値より大きい場合に、前記動きのレベルの減少関数であるＧＯＰ長、及び前記光のレベルの減少関数である圧縮値を使用して、前記第１の入力ビデオフレームを符号化することを含む、方法。
2. 前記光のレベルが前記所定の閾値未満である場合に、所定の最大圧縮値は、前記動きのレベルが所定の動きの最小レベルである場合に、前記第１の入力ビデオフレームを符号化するために使用される、請求項１に記載の方法。
3. 前記光のレベルが前記所定の閾値より大きい場合に、所定の最小圧縮値は、前記光のレベルが所定の光の最大レベルである場合に、前記第１の入力ビデオフレームを符号化するために使用される、請求項１又は２に記載の方法。
4. 前記光のレベルが前記所定の閾値より大きい場合に、所定の最小ＧＯＰ長は、前記動きのレベルが所定の動きの最大レベルである場合に、前記第１の入力フレームを符号化するために使用される、請求項１から３のいずれか一項に記載の方法。
5. 前記光のレベルが前記所定の閾値より大きい場合に、所定の最大ＧＯＰ長は、前記動きのレベルが所定の動きの最小レベルである場合に、使用される、請求項１から４のいずれか一項に記載の方法。
6. 前記動きのレベルの増加関数である出力フレームレートにおいて、入力ビデオフレームの前記シークエンスを符号化することを更に含む、請求項１から５のいずれか一項に記載の方法。
7. 第２の入力ビデオフレームの動きのレベルが、第１の閾値の変化量によって、前記第１の入力ビデオフレームの前記動きのレベルと異なる場合に、所定のフレームレートの量によって前記出力フレームレートを変化させることを更に含む、請求項６に記載の方法。
8. 前記第１の入力ビデオフレームに後続する第２の入力ビデオフレームに対して、第１の閾値の変化量によって、前記第１の入力ビデオフレームと比較して、前記光のレベルが変化したか否かをチェックすることを更に含む、請求項１から７のいずれか一項に記載の方法。
9. 前記閾値の変化量によって、前記第１の入力ビデオフレームと比較して、前記光のレベルが変化しなかった場合に、第２の閾値の変化量によって、前記第２の入力ビデオフレームの第２の動きのレベルが、前記第１の入力ビデオフレームの前記第１の動きのレベルと異なる場合に、前記第２の動きのレベルに基づいて計算されたＧＯＰ長を使用して、前記第２の入力ビデオフレームを符号化することを更に含む、請求項８に記載の方法。
10. 入力ビデオフレームのシークエンスに対応するビデオデータを符号化するためのデジタルビデオエンコーダシステムであって、
    複数のピクチャーの複数のグループ状に配置されるイントラフレーム又はインターフレームへ入力ビデオフレームを加工するように構成されたエンコーダモジュールであって、複数のピクチャーの各々のグループは、イントラフレーム及びゼロ以上の後続のインターフレームを備える、エンコーダモジュール、
    入力ビデオフレーム内の光のレベルを決定するように構成された光決定モジュール、
    入力ビデオフレーム内の動きのレベルを決定するように構成された動き決定モジュール、
    入力ビデオフレームを符号化するために使用される圧縮値を設定するように構成された圧縮値設定モジュール、
    複数のピクチャーの１つのグループ内に含まれる任意の数のフレームとしてＧＯＰ長を設定するように構成されたＧＯＰ長設定モジュールを備え、
    前記ＧＯＰ長設定モジュールは、前記光のレベルが所定の閾値以下である場合に、所定の一定なＧＯＰ長を設定するように構成され、
    前記圧縮値設定モジュールは、前記光のレベルが所定の閾値以下である場合に、前記光のレベルの減少関数である圧縮値を設定するように構成され、
    前記ＧＯＰ長設定モジュールは、前記光のレベルが前記所定の閾値より大きい場合に、前記動きのレベルの減少関数であるＧＯＰ長を設定するように構成され、かつ
    前記圧縮値設定モジュールは、前記光のレベルが前記所定の閾値より大きい場合に、前記光のレベルの減少関数である圧縮値を設定するように構成される、デジタルビデオエンコーダシステム。
11. 入力ビデオフレームが符号化されるフレームレートを設定するように構成されたフレームレート設定モジュールを更に備える、請求項１０に記載のデジタルビデオエンコーダシステム。
12. 前記光決定モジュールはルクス計を備える、請求項１０又は１１に記載のデジタルビデオエンコーダシステム。
13. 前記光決定モジュールは、入力ビデオフレーム内の信号対雑音比を決定するように構成される、請求項１０から１２のいずれか一項に記載のデジタルビデオエンコーダシステム。
14. 請求項１０から１３のいずれか一項に記載のデジタルビデオエンコーダシステムを備える、カメラ。
15. プロセッサによって実行された場合に、請求項１から９のいずれか一項に記載の方法を実行するように適合された指令を有するコンピュータ可読記憶媒体を備える、コンピュータプログラム製品。
    

Images