JP2017163527A - ビットレートコントローラ及び出力ビットレート制限方法 - Google Patents

Abstract

【課題】捕捉したシーンの画像の光レベルを判定して出力ビットレートを制限する。
【解決手段】ビットレートコントローラ１２０において、最大ビットレート設定ブロックは、光レベルが低い光レベルであると判定された場合に低い光レベルの最大ビットレートを設定し、光レベルが中程度の光レベルであると判定された場合に中程度の光レベルの最大ビットレートを設定し、光レベルが高い光レベルであると判定されると高い光レベルの最大ビットレートを設定する。低い光レベルの最大ビットレートは中程度の光レベルの最大ビットレートよりも低い。高い光レベルの最大ビットレートは中程度の光レベルの最大ビットレートよりも低い。
【選択図】図２

Description

本発明は出力ビットレートの制限に関する。

デジタルビデオデータを送る際、デジタルビデオデータのビットレート削減のためにデジタルビデオデータの圧縮が用いられる。

所定の固定ビットレートを設定することにより、ビットレートが制御されることがある。結果として、デジタルビデオデータのうち、捕捉したシーンの細部の度合及び／又は動きが比較的少ない部分の圧縮度が不必要に低くなる可能性があり、圧縮されたデジタルビデオデータが不要に多くの帯域幅及び／又はストレージスペースを占めてしまうこととなるであろう。更に、デジタルビデオデータのうち、捕捉したシーンの細部の度合及び／又は動きが比較的多い部分の圧縮度が高すぎ、圧縮されたデジタルビデオデータの画質を損なう結果ともなり得る。

或いは、最大ビットレートを設定してビットレートを所定の最大値に近く又はこれ未満に維持することにより、ビットレートが制御されることがある。所定の最大値はビットレートコントローラの固定パラメータとして実装される。所定の最大ビットレートが比較的高いと、デジタルビデオデータに広い帯域幅及び／又はストレージを要することがある一方、所定最大ビットレートが比較的低いと、捕捉したシーン中に細部や動きが多く含まれている場合にデジタルビデオデータの画質を損なう可能性があるであろう。

また或いは、ビットレートコントローラが、ビットレートが変化することが可能な（固定品質とも称され得る）可変ビットレートを用いて特定の画質を維持することもある。これは、シーン中に細部や動きが多く含まれる場合に帯域幅を広く使用しすぎる結果となり得る。更に、光レベルが低い条件でデジタルビデオデータを捕捉する際に、ビットレートがごく高くなってしまうことになり得る。光レベルの低い条件でデジタルビデオデータを捕捉するには、画像センサからの信号の高いゲインが必要となるであろう。これにより、符号化に大量のビットを要するノイズが、デジタルビデオデータに多発する結果となるであろう。

本発明は、上述の課題のうち少なくとも１つを解決することを目的とする。

第１の態様によれば、ビットレートの設定方法が提供される。方法は、捕捉したシーンの画像の光レベルを判定することであって、光レベルのスケールが、少なくとも、低い光レベル、中程度の光レベル、及び高い光レベルを含む複数の個別の光レベルに分けられており、最大ビットレートが、個別の光レベルのそれぞれに関連付けられている、判定することと、 光レベルが低い光レベルであると判定された場合には低い光レベルの最大ビットレートを設定すること、光レベルが中程度の光レベルであると判定された場合には中程度の光レベルの最大ビットレートを設定すること、或いは、光レベルが高い光レベルであると判定された場合には高い光レベルの最大ビットレートを設定することとを含み、低い光レベルの最大ビットレートは中程度の光レベルの最大ビットレートよりも低く、高い光レベルの最大ビットレート中程度の光レベルの最大ビットレートよりも低い。

本発明によれば、符号化すべきデジタルビデオデータの画像の光レベルに応じた可変最大ビットレートが用いられる。この方式で、例えば夜明けや日没などの中程度の光レベルでは品質固定ビットレートのうちより小さい部分が許容され、「完全な暗闇」、そしてとりわけ高い光レベルでは品質固定ビットレートのうちより大きな部分が許容されるよう、最大ビットレートが設定され得る。品質固定ビットレートが用いられる場合、中程度の光レベル状況ではノイズが多く存在し、ビットレートが高くなるであろう。そのような状況で最大ビットレートの設定が低すぎる場合、画像の質は低くなり、シーン中の実際の動きがノイズと解釈される可能性があろう。しかしながら、ノイズを含む画像でより高い品質を可能にすべく最大ビットレートがより高く設定されている場合、本質的に「真っ暗な」シーンでは制限が不必要に高いことがある。．本質的に「真っ暗な」シーンでは、多くの画素が黒でクリップされるであろう。これは変化やノイズがほとんど存在しないことを意味する。従って、そのようなシーンの画像はビットレート制限内に収めるための大幅な圧縮を必要としないであろう。しかし本質的に「真っ暗な」画像が高品質であることは視聴者には無用であるので、ビットが賢明に使用されているとはいえない。ストレージにおいてはそのこと自体が重要である。送信においては、より高いビットレート制限で同様に利益を得るかもしれない、例えばデジタルビデオデータを送っている他のユニット（例えば、デジタルビデオデータを送るように構成されたユニットのシステムのビデオカメラなど）も存在する場合、このことは重大であり得る。

光レベルのスケールは複数の個別の光レベルに分けられ、個別の光レベルのそれぞれに最大ビットレートが関連付けられ得る。隣り合う２つの個別の光レベル間の光レベル差は、最大で、光レベルの倍であり得る。

画像の光レベルは、少なくとも部分的に、画像を捕捉する画像センサの画像センサデータ又は専用の光レベルセンサを用いて判定され得る。「光レベル」の語は、平面（典型的には画像を捕捉する画像センサの平面）で測定された光の量と解されるべきである。光レベルについて用いられる別の語は照度である。光レベルは、専用のセンサを用いて直接測定されてもよく、画像センサデータを用いて間接的に測定されてもよい。後者は、画像の捕捉に用いる画像センサのゲイン設定を光レベルに変換するルックアップテーブルを有することで実施され得る。

光レベルが低い光レベルであると判定された場合、前景として識別された画像部分には第１の低い光レベルの最大ビットレートが設定され、背景として識別された画像部分には第２の低い光レベルの最大ビットレートが設定され、光レベルが中程度の光レベルであると判定された場合、前景として識別された画像部分には第１の中程度の光レベルの最大ビットレートが設定され得、背景として識別された画像部分には第２の中程度の光レベルの最大ビットレートが設定され、光レベルが高い光レベルであると判定された場合、前景として識別された画像部分には第１の高い光レベルの最大ビットレートが設定され、背景として識別された画像部分には第２の高い光レベルの最大ビットレートが設定され、第１の低い光レベルの最大ビットレートは第１の中程度の光レベルの最大ビットレートよりも低く、第１の高い光レベルの最大ビットレートは第１の中程度の光レベルの最大ビットレートよりも低い。この方式で、画像の前景及び背景について別々の最大ビットレートが設定され得る。例えば、視聴者には重要度がより低いであろう背景にはより少ないビットが使われ、動く物体や人物がより鮮明に示されるよう前景にはより多くのビットが使われ得る。

第２の低い光レベルの最大ビットレートは第２の中程度の光レベルの最大ビットレートよりも低く、第２の高い光レベルの最大ビットレートは第２の中程度の光レベルの最大ビットレートよりも低くてよい。或いは、第２の低い光レベルの最大ビットレート、第２の中程度の光レベルの最大ビットレート、及び第２の高い光レベルの最大ビットレートが、同じ最大ビットレートに設定されてもよい。

第２の態様によれば、処理能力を有するデバイス上で実行されると上述の方法のうち任意のものを実施するプログラムが記録された、非一時的コンピュータ可読記録媒体が提供される。

第３の態様によれば、ビットレートコントローラが提供される。ビットレートコントローラは、捕捉したシーンの画像の光レベルを判定するように構成された光判定ブロックと、最大ビットレート設定ブロックとを含む。光判定ブロックは、捕捉したシーンの画像の光レベルを、当該画像の捕捉中の光レベルに基づいて判定するように構成されている。光レベルのスケールが、少なくとも、低い光レベル、中程度の光レベル、及び高い光レベルを含む複数の個別の光レベルに分けられている。個別の光レベルのそれぞれに最大ビットレートが関連付けられている。最大ビットレート設定ブロックは、光レベルが低い光レベルであると判定された場合に低い光レベルの最大ビットレートを設定し、光レベルが中程度の光レベルであると判定された場合に中程度の光レベルの最大ビットレートを設定し、光レベルが高い光レベルであると判定された場合に高い光レベルの最大ビットレートを設定するように構成されている。低い光レベルの最大ビットレートは中程度の光レベルの最大ビットレートよりも低く、高い光レベルの最大ビットレートは中程度の光レベルの最大ビットレートよりも低い。

レートコントローラは、個別の光レベルの各々と、そこに関連付けられた所定の最大ビットレートとを含むルックアップテーブルを含むメモリを更に含み得る。各最大ビットレートの設定は、ルックアップテーブルのルックアップを行うことで実施され得る。

ビットレートコントローラはデジタルビデオカメラに配置され得る。

ビットレートコントローラは、複数のデジタルネットワークカメラにサービスするように構成され得る。各デジタルネットワークカメラは、カメラ固有のシーンを示す画像を補足するように構成されている。ノイズ判定ブロックは、各カメラ固有のシーンの画像の光レベルを、カメラごとに判定するように構成されており、最大ビットレート設定ブロックは、カメラに固有の、低い光レベルの最大ビットレート、中程度の光レベルの最大ビットレート、及び高い光レベルの最大ビットレートを設定するように構成されている。

ビットレートコントローラは更に、判定されたカメラ固有のシーン中のアクティビティに基づいて、カメラに固有の、低い光レベルの最大ビットレート、中程度の光レベルの最大ビットレート、及び高い光レベルの最大ビットレートを経時的に変更するように構成され得る。変更は、判定されたカメラ固有のシーン中のアクティビティに基づき得る。代替的に或いはこれとの組み合わせで、多数のカメラのシステムでは、変更が、種々のカメラから出力された符号化されたストリームのビットレートに基づいていてもよい。これにより、カメラのシステム内のビットレート分配が、種々のカメラのニーズに経時的に適応され得る。

上述した方法の特徴は、可能な場合にはこの第３の態様にも適用される。無用な繰り返しを避けるため上述を参照する。

本発明の適用性のさらなる範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、当業者には、この詳細な説明により本発明の範囲内の様々な変更及び修正が明らかになるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも、単なる例として示されることを理解されたい。

したがって、記載のデバイス及び記載の方法は異なる場合があるため、この発明は、記載のデバイスの特定の構成要素部品又は記載の方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明する目的のためにすぎず、限定的であることを意図しないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、冠詞（「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」）は、文脈によって他のことが明らかに示されない限り、１つ又は複数の要素があることを意味していると意図されることに留意するべきである。従って、例えば、「部」（ａ ｕｎｉｔ）又は「当該部」（ｔｈｅ ｕｎｉｔ）に言及した場合、これは幾つかのデバイスなどを含んでもよい。更に、用語「含む（「ｃｏｍｐｒｉｓｉｎｇ」「ｉｎｃｌｕｄｉｎｇ」「ｃｏｎｔａｉｎｉｎｇ」）及び類似の表現は、他の要素又はステップを除外しない。

本発明の上記の態様及びその他の態様を、本発明の実施形態を示す添付の図面を参照しながら更に詳細に説明する。図面は発明を具体的な実施形態へと限定するものでなく、本発明の説明及び理解のためのものである。

図面に示すように、レイヤーと領域のサイズは図示目的のために誇張され得、本発明の実施形態の一般構造を示すために提供される。類似の参照番号は、全体を通して類似の要素を指す。

あるシーンを示すデジタルビデオデータを捕捉するように構成されたデジタルネットワークカメラを概略的に示す。 出力ビットレートを制限するように構成されたビットレートコントローラを概略的に示す。 ビットレートコントローラに接続された複数のデジタルネットワークカメラのシステムを示す。 出力ビットレートを制限する方法のブロック図である。

これより、本発明の現時点で好ましい実施形態を示す添付図面を参照して、本発明を以下により詳細に説明する。しかしながら本発明は多くの異なる形態で実施されることができ、本明細書で説明される実施形態に限定されるものと解釈されるべきではなく、これらの実施形態はむしろ、本開示が包括的で完全となるように提供されており、当業者に本発明の範囲を十分に伝えるためのものである。

図１は、シーンを示すデジタルビデオデータを捕捉するように構成されたデジタルネットワークカメラ１００を示す。デジタルネットワークカメラ１００は、デジタルビデオデータを捕捉し処理（且つ場合によっては記憶）するように構成されている。デジタルネットワークカメラ１００は、ハウジング１１２、レンズ１１４、画像センサ１１６、画像処理部１１８、ビットレートコントローラ１２０、符号化部１２２、メモリ１２４、ＣＰＵ１２６、及びネットワークインターフェース１２８を含む。画像処理部１１８、レートコントローラ１２０及び／又は符号化部１２２のうちの何れかは、ハードウェア及び／又はソフトウェアとして実装され得る。

デジタルネットワークカメラ１００は、ネットワークインターフェース１２８を通じてインターネット又はローカルエリアネットワーク（ＬＡＮ）などのデジタルネットワークに接続されるように構成されている。デジタルネットワークへの接続は有線であっても無線であってもよい。従って、ネットワークインターフェース１２８は、例えばＲＪ４５コネクタなどのモジュラーコネクタコネクタを受けるように構成された、イーサネットポート、モジュラーポートなどの、１０／１００／１０００Ｍｂｐｓのデータトラフィックに適合したネットワークポートであり得る。そのようなＲＪ４５コネクタポートは通常、（例えばｃａｔ５、ｃａｔ５ｅ、又はｃａｔ６の）ツイストペアケーブルなどのネットワークケーブルを受けるように構成されている。或いは、ネットワークポートの入出力手段は、モバイルインターネット通信規格（例えば、１Ｇ、２Ｇ、２．５Ｇ、２．７５Ｇ、３Ｇ、３．５Ｇ、３．７５Ｇ、３．９Ｇ、４Ｇ、５Ｇ）又はＷｉＦｉを用いた無線入出力手段であってもよい。

カメラの構成要素、即ちレンズ１１４及び画像センサ１１６は、ＲＡＷ（未加工）画像を捕捉するように構成されており、各未加工画像は、種々の物体及び物体の部分に由来する様々な波長の光として表され得る。次いでこれらの未加工画像がアナログからデジタル形式に変換され、画像処理部１１８に転送される。この実施形態によれば、デジタルネットワークカメラ１１０は、映像を捕捉するように構成されたカメラである。

代替的に或いはこれとの組み合わせで、デジタルネットワークカメラ１１０の画像センサ１１６が熱画像を捕捉するように構成されていてもよい。

従って、デジタルネットワークカメラ１１０により捕捉したデジタルビデオデータは、映像を表すか、熱画像を表すか、又はそれらの組み合わせであってよい。

符号化部１２２は、ビデオエンコーディングを用いてデジタルビデオデータを符号化するように構成されている。ビデオエンコーディングの非限定的な例としては、ＩＳＯ／ＭＰＥＧ又はＩＴＵ−Ｈ．２６Ｘのファミリーのビデオ符号化規格が含まれる。符号化部１２２は、捕捉したデジタルビデオデータの画像を、当該捕捉したデジタルビデオデータの符号化されたバージョンの画像、従って符号化されたデジタルビデオデータと称される画像へと、符号化するように構成されている。

符号化されたデジタルビデオデータは、ネットワークインターフェース１２８を通じてデジタルネットワーク上で直接送信され得る。或いは、符号化されたデジタルビデオデータが、ネットワークインターフェース１２８を通じてデジタルネットワーク上で後で送信するために、メモリ１２４に記憶されてもよい。メモリ１２４は、任意の種類の揮発性又は非揮発性メモリであり得る。更に、メモリ１２４は複数のメモリ部材を含む。複数のメモリ部材の少なくとも１つがバッファメモリとして用いられ得る。

符号化されたデジタルビデオデータのデータ量を制限するために、符号化されたデジタルビデオデータのビットレートがビットレートコントローラ１２０を用いて制御され得る。ビットレート制御方法の例としては、固定ビットレート、最大ビットレート、又は可変（固定品質）ビットレートを用いることが含まれる。最大ビットレートを用いる場合、所定の制限を用いて、ビットレートを何らかの所定の閾値に近く或いはそれ未満に保持する。制限はビットレートコントローラ１２０の固定パラメータとして実装される。高い 制限には大きな帯域幅及び／又はストレージが必要となる一方、低い制限には、捕捉したシーン中に多くの細部や動きが存在する場合には画質を損なうという可能性があるであろう。品質固定ビットレートと称されることもある可変ビットレートを用いる場合、ビットレートコントローラ１２０はある特定の画質が維持されるようビットレートを変化させるように構成される。これは、シーン中に細部や動きが多く含まれる場合に帯域幅を広く使用しすぎる結果となり得る。更に、光レベルが中程度の条件（例えば夜明けや日の出に相当する、光レベルが中程度の条件）、又は熱画像の場合には中程度の熱放射条件で、ビットレートがごく高くなってしまうことがある。デジタルビデオデータを光レベルが中程度の条件、又は熱レベルが中程度の条件で捕捉するには、画像センサ１１６からの信号上の高いゲインが必要となるであろう。デジタルビデオデータの実信号と比較してノイズが多く、即ち符号化に大量のビットを要する低い信号ノイズ比（ＳＮＲ）となるであろう。例えば可変ビットレートを用いる場合、最も高いビットレートは光レベルが中程度の条件で生じるであろう。ごく暗い場合、即ち光レベルが低い条件では、画像のコンテンツのうち多くがブラックでクリップされるが、光レベルがやや高くなる場合（中程度の光レベル）では、ノイズ及び細部が出力ビットレートを大幅に押し上げるであろう。

従って、シーン中に中程度の光レベル又は中程度の熱放射がある場合、デジタルビデオデータの相対的なノイズレベルが上がる。これは、シーンの捕捉に画像センサ１１６の高いゲインが必要とされ、より低い光レベルもしくは熱放射ではブラックでクリップされたであろう細部が出現し始めるためである。

本発明によれば、符号化すべきデジタルビデオデータの画像の光レベルに応じた可変最大ビットレートが用いられる。映像では、低い光レベルではノイズは低く、光レベルの増大に伴いノイズが増加する。その後、光レベルが上昇し続けるとゲインの必要性は下がるので、ノイズも低下する。従って、信号がある閾値未満である場合、幾つかの細部はブラックでクリップされるので、符号化すべきデータ量は光レベルに直接比例するものではない。同様に、熱画像の場合、低い熱放射レベルではクリッピングに起因してノイズ量が低く、熱放射レベルの増大に伴いノイズが増加する。その後、熱放射レベルが上昇し続けるとゲインの必要性は下がるので、ノイズも低下する。

ビットレートコントローラ１２０は、符号化されたデジタルビデオデータのビットレートを制御するように構成されている。ビットレートコントローラ１２０は、ハードウェアに実装されるか、ソフトウェアに実装されるか、又はそれらの組み合わせであり得る。ビットレートコントローラ１２０の実施形態を図２に示す。ビットレートコントローラ１２０は光判定ブロック２０２と最大ビットレート設定ブロック２０４を含む。

光判定ブロック２０２はデジタルネットワークカメラ１１０により捕捉されたの画像中の光レベルを判定するように構成されている。ノイズ判定ブロック２０２は、画像センサデータ又はデジタルネットワークカメラ１１０の専用の光レベルセンサ１３０を用いて光レベルを判定するように構成されている。前者は、画像センサ１１６の画素により測定された強度、例えば、ＹＣｂＣｒ色空間に変換後の輝度データを光レベルへと変換するルックアップテーブルを有することで実装され得る。光レベルはまた、間接的に判定されてもよく、最大ゲインからのゲイン段階の数に光レベルが関連づけられてもよい。中程度の光は、最大ゲインから４ゲイン段階低くてよい。高いレベルの光は、無ゲインから８ゲイン段階未満のゲインであり得る。ゲイン段階はハードウェア増幅器によって定義され、その数はより少なくても多くてもよいことに留意されたい。専用の光レベルセンサ１３０は、画像センサ１１６と同様、入射する光子を測定するように構成されているが、専用の光レベルセンサ１３０はよりワイドな特別に設計されたレンズを有するのが典型的である。よりワイドな特別設計レンズは、例えば部屋全体の光量を捕捉するように構成されている。次いで、専用の光レベルセンサ１３０から読み出されたデータが、ルックアップテーブルを用いて光レベルに変換される。通常、そのようなルックアップテーブルは非線形である。専用の光レベルセンサ１３０は典型的に、適切なＩＳＯ値を示すように構成されている。次いで、ルックアップテーブルを用いて、特定の画像センサについて、何れのゲイン値が示されたＩＳＯ値に対応するかが判定され得る。代替的に或いはこれとの組み合わせで、光判定ブロック２０２が、画像センサ１１６が供給する信号中のノイズを測定又は推定することにより、画像中の光レベルを判定するように構成されてもよい。デジタル化した後の、画像センサ１１６が供給する信号中のノイズは、固定ノイズ及び動的ノイズの両方を含む。固定ノイズはノイズフィルタを用いて除去され得る。しかしながら、ノイズフィルタの前にノイズを測定することが有益であり得る。高ノイズの場合、シーンに進入する物体がノイズと間違われることがある。フィルタの前にノイズを測定する場合、物体をノイズと誤認する可能性が低減される。

同様に、熱画像の場合、光判定ブロック２０２は、画像センサデータもしくは専用の熱放射センサを用いて、及び／又は画像センサ１１６が供給する信号中のノイズを測定又は推定することにより、画像中の熱放射レベルを判定するように構成され得る。

光判定ブロック２０２によって判定された光レベルに応じて、最大ビットレート設定ブロック２０４は様々な最大ビットレートを設定するように構成されている。光レベルのスケールは複数の個別の光レベルに分けられる。所定の最大ビットレートは、個別の光レベルのそれぞれに関連付けられる。個別の光レベルは、少なくとも、低い、中程度、及び高い光レベルに分類される。光レベルが低い光レベルであると判定された場合、最大ビットレートは低い光レベルの最大ビットレートに設定される。光レベルが中程度の光レベルであると判定された場合、最大ビットレートは中程度の光レベルの最大ビットレートに設定される。光レベルが高い光レベルであると判定された場合、最大ビットレートは高い光レベルの最大ビットレートに設定される。低い光レベルの最大ビットレートは中程度の光レベルの最大ビットレートよりも低い。高い光レベルの最大ビットレートは中程度の光レベルの最大ビットレートよりも低い。

同様に、熱画像の場合、最大ビットレート設定ブロック２０４は、熱放射レベルに応じて異なる最大ビットレートを設定するように構成されている。熱放射レベルスケールが複数の個別の熱放射レベルに分けられる。所定の最大ビットレートは個別の熱放射レベルのそれぞれに関連付けられる。個別の熱放射レベルは、少なくとも、低い、中程度、及び高い 熱放射レベルに分類される。熱放射レベルが低い熱放射レベルであると判定された場合、最大ビットレートは低熱放射最大ビットレートに設定される。熱放射レベルが中程度の熱放射レベルであると判定された場合、最大ビットレートが中程度の熱放射の最大ビットレートに設定される。熱放射レベルが高い熱放射レベルであると判定された場合、最大ビットレートが高熱放射最大ビットレートに設定される。低熱放射最大ビットレートは、中程度の熱放射最大ビットレートよりも低い。高熱放射最大ビットレートは、中程度の熱放射最大ビットレートよりも低い。

デジタルネットワークカメラ１１０は、関心領域判定部１３２も含み得る。関心領域判定部１３２は、デジタルビデオデータの画像の前景部分が関連する情報を含んでいると識別し、デジタルビデオデータの画像の背景部分を関連のない情報を含んでいると識別するように構成されている。前景部分の非限定的な例は、動きを含む部分、又は特定の関心対象の物体、例えば、顔、車両、ナンバープレートなどを含む部分である。例えば、ＡＸＩＳ Ｚｉｐｓｔｒｅａｍなどのインテリジェントな圧縮方式を用いて前景と背景部分とを識別してもよい。

従って、光レベルが低い光レベルであると判定された場合、前景として識別された画像部分には第１の低い光レベルの最大ビットレートが設定され、背景として識別された画像部分には第２の低い光レベルの最大ビットレートが設定される。光レベルが中程度の光レベルであると判定された場合、前景として識別された画像部分には第１の中程度の光レベルの最大ビットレートが設定され、背景として識別された画像部分には第２の中程度の光レベルの最大ビットレートが設定される。光レベルが高い光レベルであると判定された場合、前景として識別された画像部分には第１の高い光レベルの最大ビットレートが設定され、背景として識別された画像部分には第２の高い光レベルの最大ビットレートが設定される。第１の低い光レベルの最大ビットレートは第１の中程度の光レベルの最大ビットレートよりも低い。第１の高い光レベルの最大ビットレートは第１の中程度の光レベルの最大ビットレートよりも低い。第２の低い光レベルの最大ビットレートは第２の中程度の光レベルの最大ビットレートよりも低い。第２の高い光レベルの最大ビットレートは第２の中程度の光レベルの最大ビットレートよりも低い。或いは、第２の低い光レベルの最大ビットレート、第２の中程度の光レベルの最大ビットレート、及び第２の高い光レベルの最大ビットレートが、同じ最大ビットレートに設定される。即ち、光レベルに関わらず背景には同じ最大ビットレートが設定される。

従って、背景として識別された部分と前景として識別された部分とで異なるビットレートが用いられ得る。例えば、固定最大ビットレートが背景に用いられ、光レベルに応じて最大ビットレートのバリエーションが前景に用いられ得る。或いは、光レベルに応じて最大ビットレートを変化させることが、背景とともに前景にも用いられ得る。しかしながら、背景での光レベルに応じた最大ビットレートは、前景でのものとは異なる。

シーンを前景と背景に分けることは、更なる工程でなされてもよい。更に、１つの最大ビットレートが前景に設定され、別の最大ビットレートが背景に設定され、それらの間の境界に平滑化関数を使用して画像の品質上の急激な移行が回避されてもよい。

映像のシーンの前景及び背景について上記で述べたことは、熱画像との関連で実施されてもよい。熱画像においては光レベルの代わりに、熱放射レベルとそれらを低、中、高のレベルに分けることが用いられる。

ビットレートコントローラ１２０はメモリ２０６を更に含み得る。メモリ２０６はビットレートコントローラ１２０専用のメモリであり得る。代替的に或いはこれとの組み合わせで、メモリがデジタルネットワークカメラ１１０のメモリ１２４であってもよい。メモリ２０６は、所定の最大ビットレートを含むルックアップテーブルを含み得、そこに各個別の光又は熱放射レベルが関連付けられている。従って、各最大ビットレートの設定は、ルックアップテーブルのルックアップを行うことで実施され得る。隣り合う２つの個別の光又は熱放射レベル間の光又は熱放射レベルの差は、最大で、光又は熱放射レベルの倍であり得る。判定された光又は熱放射レベルが、ルックアップテーブル中の個別の光又は熱放射レベルの個別の光又は熱放射レベルに対応しない場合、判定された光又は熱放射レベルに最も近い個別の光又は熱放射レベルが用いられて、所定の最大ビットレートが求められ得る。或いは、ルックアップテーブルの値を用いた内挿により最大ビットレートを求めてもよい。

デジタルネットワークカメラ１１０は、温度判定部１３４も含み得る。温度判定部１３４は、画像を捕捉する画像センサ１１６の温度を判定するように構成されている。温度判定部１３４は、画像センサ１１６において又はその隣で画像センサ１１６の温度を測定するように構成された温度センサを含み得る。従って、温度判定部１３４は、画像センサ１１６の温度を直接測定するように構成され得る。或いは、温度判定部１３４は、デジタルネットワークカメラ１１０のハウジング１１２に配置された温度センサを含み得る。デジタルネットワークカメラ１１０のハウジング１１２における温度センサは、デジタルネットワークカメラ１１０内部の温度及び／又はデジタルネットワークカメラ１１０の外部の周辺温度を測定するように構成され得る。次いで、温度判定部１３４が内部温度及び／又は周辺温度を用いて画像センサ１１６の温度を推定し得る。判定された画像センサ１１６の温度は、画像センサ１１６における熱により引き起こされたノイズを示す。画像センサ１１６の温度を用いて、捕捉したシーンの画像のノイズレベルを判定し得る。この場合、ノイズレベルは、シーン内の光レベル又は熱放射レベルとの組み合わせで、画像センサ１１６の温度によって引き起こされ得る。従って、各最大ビットレートの設定が、画像を捕捉する際の画像センサの温度に基づいていてもよい。

図３は、ビットレートコントローラ１２０に接続された複数のデジタルネットワークカメラ３５０のシステム３００を示す。各デジタルネットワークカメラ３５０は、カメラ固有のシーンを示す画像を捕捉するように構成されている。複数のデジタルネットワークカメラ３５０とビットレートコントローラ１２０とは、コンピュータネットワークで互いに接続されている。図３に示すように、ビットレートコントローラ１２０は固有のデバイスとして配置され得る。或いは、ビットレートコントローラ１２０が、複数のデジタルネットワークカメラ３５０のうちの１つに配置されていてもよい。ビットレートコントローラ１２０は、複数のデジタルビデオカメラ３５０にサービスするように構成されている。ノイズ判定ブロック２０２は、各カメラ固有のシーンの画像の光レベルを、カメラ固有のに判定するように構成されている。カメラ固有の光レベルスケールが、特定のカメラのそれぞれにおいて設定されている。各カメラ固有の光レベルスケールは、複数の個別のカメラ固有の光レベルへと分けられる。カメラ固有の所定最大ビットレートが、カメラ固有の個別の光レベルの各々に関連付けられている。カメラ固有の個別の光レベルは、少なくとも、低、中、及び高の光レベルに分類される。従って、各カメラ固有のシーンの画像の、カメラごとに判定された光レベルに基づいて、最大ビットレート設定ブロック２０４が、カメラ固有の低い光レベルの最大ビットレート、カメラ固有の中程度の光レベルの最大ビットレート、及びカメラ固有の高い光レベルの最大ビットレート、を設定するように構成されている。

或いは、システムが、各カメラに１つのカメラ固有ビットレートコントローラを有して実装されており、１つのシステムビットレートコントローラが別個に配置されているか、又はカメラのうちの１つに配置されていてもよい。

ビットレートコントローラは更に、カメラ固有の低い光レベルの最大ビットレート、カメラ固有の中程度の光レベルの最大ビットレート、及びカメラ固有の高い光レベルの最大ビットレート、を経時的に変更するように構成されている。変更は、判定されたカメラ固有のシーン中のアクティビティに基づき得る。代替的に或いはこれとの組み合わせで、多数のカメラのシステムでは、変更が、種々のカメラから出力された符号化されたストリームのビットレートに基づいていてもよい。即ち、各カメラにおいて設定された最大ビットレートが存在する場合でも、出力されるビデオストリームのビットレートはその最大ビットレート未満で変化し得る。１つのカメラがその最大ビットレートを下回ることがより多く、別のカメラがその最大ビットレートにあることがより多い場合、カメラシステムのカメラ間でビットの割り当てが様々に分散され得る。

各カメラ固有のシーン中のアクティビティは例えば、動き検出アルゴリズムによって判定され得る。動き検出アルゴリズムは、動き検出ソフトウェア及び／又はハードウェアで実施され得る。動き検出ソフトウェア及び／又はハードウェアは、複数のデジタルネットワークカメラ３５０のうちの一以上に実装され得る。代替的に或いはこれとの組み合わせで、動き検出ソフトウェア及び／又はハードウェアがビットレートコントローラ１２０に実装されてもよい。映像の動き検出アルゴリズムは、時空間画像解析に基づくのが好ましい。使用され得る映像の動き検出アルゴリズムの例としては、

「変化検出」に基づくアルゴリズムそのようなアルゴリズムによれば、画像が前の画像と画素ごとに比較され、当該画像と前の画像との間の画素の変化を見出す。

「動き検出」に基づくアルゴリズムそのようなアルゴリズムによれば、画像が前の画像と比較されて、例えば輝度の変化から「真の」動きを抽出する。これは例えば時空間画像解析、例えばＵＳ８，１２１，４２４でＡｌｍｂｌａｄｈが述べている時空間画像解析法を適用することで実施され得る。

「オブジェクト動き検出」及び「オブジェクト分類」に基づくアルゴリズムそのようなアルゴリズムによれば、検出された動きを解析して動く物体を検出、追跡し、動いていたが一時的に静止している物体を検出する。従って、そのようなアルゴリズムによれば、物体は例えば解析されて、例えば「人物」、「移動体」、「車両」、「動物」、「顔」などと分類され得る。物体を分類するために、ＵＳ７，０９９，５１０に記載のＶｉｏｌａ及びＪｏｎｅｓによる方法が用いられてよい。

上述の種々のアルゴリズムは、より高度な複雑性及び信頼性を達成すべく段階的に互いにビルドアップされるのが典型的である。

従って、上述のシステム３００は、例えば、種々のカメラ固有のシーンにおけるアクティビティを長時間にわたり（例えば２４時間又は週）測定し、アクティビティに応じて異なるカメラ固有の最大ビットレートを設定するのに用いられ得る。例えば、１つ又は数個のカメラ固有シーンのみにアクティビティが存在することが多いという場合には、対応するデジタルネットワークカメラ３５０の最大ビットレートは、システム３００の他のデジタルネットワークカメラ３５０と比較して増大される。

カメラ固有の光レベル及び光レベルのスケールとの関連で上記で述べたことは、カメラ固有の熱放射レベル及び熱放射スケールにも当てはまる。

図４は、ビデオエンコーダの出力ビットレートを制限する方法を示す。この方法は、下記の工程を含む。捕捉したシーンの画像の光レベルを判定することＳ４０２、光レベルが低い光レベルであると判定された場合に低い光レベルの最大ビットレートを設定することＳ４０４ａ、光レベルが中程度の光レベルであると判定された場合に中程度の光レベルの最大ビットレートを設定することＳ４０４ｂ、光レベルが高い光レベルであると判定された場合に高い光レベルの最大ビットレートを設定することＳ４０４ｃ、低い光レベルの最大ビットレートは中程度の光レベルの最大ビットレートよりも低い。高い光レベルの最大ビットレートは中程度の光レベルの最大ビットレートよりも低い。

方法は、シーンを示す画像を形成しているデジタルビデオデータを捕捉することＳ４００を更に含み得る。捕捉することは、好ましくはデジタルビデオカメラ１１０の画像センサ１１６によって実施される。或いは、シーンを示す画像を形成しているデジタルビデオデータを捕捉することが、アナログ信号をデジタルビデオデータに変換するアナログ／デジタルコンバータによって実施されてもよい。

画像の光レベルは、少なくとも部分的に、画像センサ１１６の画像センサデータ又は専用の光レベルセンサ１３０によって判定され得る。画像のノイズレベルは、少なくとも部分的に、画像センサ１１６の温度を用いて判定され得る。従って、画像のノイズレベルは画像センサの温度に応じたものであり得る。画像センサ１１６の温度を判定する方法については上記で述べた。

当業者は、本発明はいかなる意味においても、上述した好ましい実施形態に限定されないことを理解するであろう。寧ろ、添付の特許請求項の範囲内で多くの修正例及び変形例が可能である。

例えば、上記で例示した実施形態の大部分では、ビットレートコントローラ１２０がデジタルビデオカメラ１１０に配置されている。しかしながら、ビットレートコントローラ１２０が他のデバイスに配置されてもよいことに留意されたい。非限定的な例として、ビットレートコントローラ１２０が、アナログビデオをデジタルビデオデータに変換するように構成されたアナログ／デジタルコンバータに配置されてもよい。

更に、様々なデジタルビデオカメラが、日中／夜間で挙動が異なるために同じ光レベルでも異なるノイズを生じることがある。幾つかのデジタルビデオカメラは他のよりも早く夜モードに切り替える（ＩＲカットフィルタがオフとなる）。夜モードでは、シーンの画像がモノクロに設定される典型的である。昼モードではシーンの画像がカラーに設定される典型的であり、これにより低い光レベルではノイズが多くなり得る。従って、例えば１．０ルクスでモノクロに切り替えるデジタルビデオカメラは、０．９５ルクスで生じるノイズが、０．９０ルクスまでモノクロに切り替わらないカメラよりも少ないであろう。ある実施形態で、ビットレートコントローラは、昼モードと夜モードの切り替えをわずかにシフトすることにより、デジタルビデオカメラの日中／夜間の挙動に影響を及ぼすように構成され得る。異常な挙動がなされないよう、昼モードと夜モードの切り替えを素早く行うよう注意が必要である。そのような昼モードと夜モードの切り替えは、ビデオを視聴しているオペレータには不快なものであり得、またＩＲカットフィルタが動く際のクリック音が生じ得る。

更に、当業者は、開示された実施形態の変形例を、図面、記載内容、及び添付の特許請求項の精査により理解し、且つ特許請求される本発明を実施する際に実行することが可能である。

Claims (13)

1. ビットレートを設定する方法であって、
   捕捉したシーンの画像の光レベルを判定する（Ｓ３０２）ことであって、光レベルのスケールが、少なくとも、低い光レベル、中程度の光レベル、及び高い光レベルを含む複数の個別の光レベルに分けられており、個別の光レベルのそれぞれに最大ビットレートが関連付けられている、判定する（Ｓ３０２）ことと、
   前記光レベルが前記低い光レベルであると判定された場合に低い光レベルの最大ビットレートを設定する（Ｓ３０４ａ）か、
   前記光レベルが前記中程度の光レベルであると判定された場合に中程度の光レベルの最大ビットレートを設定する（Ｓ３０４ｂ）か、或いは
   前記光レベルが前記高い光レベルであると判定された場合に高い光レベルの最大ビットレートを設定する（Ｓ３０４ｃ）ことと
   を含み、前記低い光レベルの最大ビットレートは前記中程度の光レベルの最大ビットレートよりも低く、前記高い光レベルの最大ビットレートは前記中程度の光レベルの最大ビットレートよりも低い、方法。
2. 隣り合う２つの個別の光レベル間の光レベルの差が、最大で、前記光レベルの倍である、請求項１に記載の方法。
3. 前記画像の前記光レベルが、前記画像を捕捉する画像センサ（１１６）の画像センサデータか、又は、専用の光レベルセンサ（１３０）を用いて判定される、請求項１又は２に記載の方法。
4. 前記光レベルが前記低い光レベルであると判定された場合に、前景として識別された画像部分には第１の低い光レベルの最大ビットレートが設定され、背景として識別された画像部分には第２の低い光レベルの最大ビットレートが設定されるか、
   前記光レベルが前記中程度の光レベルであると判定された場合に、前景として識別された画像部分には第１の中程度の光レベルの最大ビットレートが設定され、背景として識別された画像部分には第２の中程度の光レベルの最大ビットレートが設定されるか、或いは、
   前記光レベルが前記高い光レベルであると判定された場合に、前景として識別された画像部分には第１の高い光レベルの最大ビットレートが設定され、背景として識別された画像部分には第２の高い光レベルの最大ビットレートが設定され、
   前記第１の低い光レベルの最大ビットレートは前記第１の中程度の光レベルの最大ビットレートよりも低く、前記第１の高い光レベルの最大ビットレートは前記第１の中程度の光レベルの最大ビットレートよりも低い、
   請求項１から３の何れか一項に記載の方法。
5. 前記第２の低い光レベルの最大ビットレートは前記第２の中程度の光レベルの最大ビットレートよりも低く、前記第２の高い光レベルの最大ビットレートは前記第２の中程度の光レベルの最大ビットレートよりも低い、請求項４に記載の方法。
6. 前記第２の低い光レベルの最大ビットレート、前記第２の中程度の光レベルの最大ビットレート、及び前記第２の高い光レベルの最大ビットレートが同じ最大ビットレートに設定される、請求項４に記載の方法。
7. 処理能力を有するデバイス上で実行されると請求項１から６の何れか一項に記載の方法を実施するプログラムを記憶している、非一時的コンピュータ可読記録媒体。
8. 捕捉したシーンの画像の光レベルを、前記画像の捕捉中の光レベルに基づいて判定するように構成された、ノイズ判定ブロック（２０２）であって、光レベルのスケールが、少なくとも、低い光レベル、中程度の光レベル、及び高い光レベルを含む複数の個別の光レベルに分けられており、個別の光レベルのそれぞれに最大ビットレートが関連付けられている、ノイズ判定ブロック（２０２）と、
   最大ビットレート設定ブロック（２０４）であって、前記光レベルが前記低い光レベルであると判定された場合に低い光レベルの最大ビットレートを設定するか、
   前記光レベルが前記中程度の光レベルであると判定された場合に中程度の光レベルの最大ビットレートを設定するか、或いは
   前記光レベルが前記高い光レベルであると判定された場合、高い光レベルの最大ビットレートを設定する
   ように構成された、最大ビットレート設定ブロック（２０４）と
   を含み、前記低い光レベルの最大ビットレートは前記中程度の光レベルの最大ビットレートよりも低く、前記高い光レベルの最大ビットレートは前記中程度の光レベルの最大ビットレートよりも低い、ビットレートコントローラ。
9. 前記ビットレートコントローラが、個別の光レベルと、前記個別の光レベルに関連付けられたそれぞれの所定の最大ビットレートとを含むルックアップテーブルを含むメモリ（２０６）を更に含み、
   前記最大ビットレートの各々を設定することが、前記ルックアップテーブルのルックアップを実施することにより行われる、
   請求項８に記載のビットレートコントローラ。
10. 隣り合う２つの個別の光レベル間の光レベルの差が、最大で、前記光レベルの倍である、請求項９に記載のビットレートコントローラ。
11. 前記ビットレートコントローラがデジタルネットワークカメラ（１１０）に配置されている、請求項８から１０の何れか一項に記載のビットレートコントローラ。
12. 前記ビットレートコントローラが、複数のデジタルネットワークカメラ（３５０）にサービスするように構成されており、各デジタルネットワークカメラが、カメラ固有のシーンを示す画像を捕捉するように構成されており、前記ノイズ判定ブロック（２０２）が、各カメラ固有のシーンの前記画像の前記光レベルをカメラごとに判定するように構成されており、前記最大ビットレート設定ブロック（２０４）が、カメラ固有の、低い光レベルの最大ビットレート、中程度の光レベルの最大ビットレート、及び高い光レベルの最大ビットレート、を設定するように構成されている、請求項８から１１の何れか一項に記載のビットレートコントローラ。
13. 前記カメラ固有の、低い光レベルの最大ビットレート、中程度の光レベルの最大ビットレート、及び高い光レベルの最大ビットレートを、経時的に変更するように更に構成されている、請求項１２に記載のビットレートコントローラ。

Images