JP2004506354A

JP2004506354A - 最適な画像通信用の二次センサの利用

Info

Publication number: JP2004506354A
Application number: JP2002518086A
Authority: JP
Inventors: バクムツキー，マイケル
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2000-08-08
Filing date: 2001-07-23
Publication date: 2004-02-26
Also published as: WO2002013535A2; EP1310102A2; CN1393111A; WO2002013535A3; KR20020064794A

Abstract

映像カメラと同じ場面を検知する二次センサが設けられる。二次センサからの映像を利用して、対象のオブジェクトに対応する映像の領域を区別する。対象に関する区別された領域は、その映像における他の領域よりも詳細な繊細さのレベルで符号化され得る。テレビ会議の場面における人物のような動く対象を検出するために好ましい二次センサは、既存の赤外線熱センサ・マトリックスである。非常に粗い詳細さの程度で、熱センサ・マトリックスの周辺温度領域に関連する映像領域を符号化することによって、高い詳細さのレベルで又は高いフレーム・レートで、高温領域を送信するように利用可能な帯域を割り当てることが可能である。二次的な映像は、既存のオブジェクト認識の用途に対する「フロント・エンド・フィルタ」として使用可能であり、これによってその用途の効率および精度を増進させることが可能になる。

Description

【０００１】
１．発明の技術分野
本発明は、画像通信の技術分野に関連し、特に、映像カメラと熱センサ・モザイク（ｈｅａｔｓｅｎｓｏｒｍｏｓａｉｃ）のような二次センサとの結合に基づいて、画像の最適な伝送を支援する方法およびシステムに関連する。
【０００２】
２．関連技術の説明
画像通信は比較的多くの帯域幅を消費し、多数のシステムが開発され、必要な帯域を減少させるため又は既存の帯域の利用を最適化するための開発が継続的に行われている。例えば、画像ストリームのＭＰＥＧ符号化は、送信され又は格納されるのに必要なデータ量を削減するための様々な技術を利用している。参照の便宜のため、帯域なる用語は、映像を格納または送信するのに必要な符号化されたデータ量を包含することを意図する。離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅｃｏｓｉｎｅｔｒａｎｓｆｏｒｍ）を利用して、各画像フレームまたはフレームの一部における符号化データのサイズを空間的に削減する。動き推定（ｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎ）技術を利用して、連続する画像の間の差分又は動きの量に基づいて、符号化された情報のサイズを時間的に削減する。量子化を利用して、必要とされる詳細さの程度に基づいて、符号化情報のサイズを削減し、または利用可能な帯域に基づいてそのサイズおよびその詳細さを削減する。これらの技術が意図するものは、受信した画像がデコードおよび表示される際に目視可能な顕著な異常を導入することなしに、画像の様々な特徴に対する帯域の割当を最適化することである。
【０００３】
ＭＥＰＧ符号化の帯域最適化技術をもってしても、狭帯域システムでは何らかの妥協が必要とされる。例えば、インターネットを介して通信される映像は、一般に小さな画像サイズに制限され、これは同一の映像ストリームの全解像度のＤＶＤ形式のものよりも実質的に少ない解像度を与えるものである。テレビ会議で通信される映像は、一般に、既存のテレビジョン放送のフレーム・レートの半分よりも小さく符号化され、ディスプレイ上に遅延した不連続の画像を形成する。
【０００４】
本願の参考文献に組み込まれ、１９９５年１２月１２日に発行されたＪｅ−ｃｈａｎｇによる “ＦＵＺＺＹ−ＣＯＮＴＲＯＬＬＥＤＣＯＤＩＮＧＭＥＴＨＯＤＡＮＤＡＰＰＡＲＡＴＵＳＴＨＥＲＥＦＯＲ”と題する米国特許５，４７５，４３３が教示するものは、属性の組み合わせに基づいて上述した符号化技術のパラメータを調整することによって、映像のＭＰＥＧ符号化を最適化する更なる方法である。例えば、多くの動きを有する画像シーケンスは、比較的静的な画像よりも低い詳細さの程度で符号化されるが、これは、詳細さの欠如が高速に動く場面では視覚的に検知されないことを前提としている。このようにして、画像およびその輝度の複雑さの程度ならびに利用可能な帯域を利用して、量子化レベルひいては送信画像の詳細さの量を調整する。
【０００５】
提案されている他の技術には、帯域割当プロセスを改善するものがあり、その多くは、画像を「オブジェクト」または「オブジェクト領域」に分離することに基づいている。例えば、ＭＰＥＧ４は、背景からオブジェクトの分離を可能にし、背景とは異なる一般には微細な詳細さの程度でオブジェクトを符号化することを可能にする。この符号化技術は特にテレビ会議に期待されており、その用途では限定された帯域の大部分をその場面における人的「オブジェクト」に割り当て、少ない帯域を背景に割り当てる。このようにして、背景における動きは不安定で不鮮明に見えるかもしれないが、遅延および不連続さを抑制する程度の高いフレーム・レートで、その場面における人的オブジェクトを鮮明に表現し得る。このようなオブジェクト依存符号化技術は、グラフィックス技術を支援することにも期待されており、その用途では選択されたオブジェクトが、背景場面または他のオブジェクトとは異なって強調された符号化を可能にする。
【０００６】
帯域を割り当てる又はグラフィック技術を提供するこれらの最新技術は、符号化される画像における対象のオブジェクト（ｏｂｊｅｃｔｏｆｉｎｔｅｒｅｓｔ）に作用するが、その画像における各オブジェクトの認識を必要とする。しかしながら、対象（オブジェクト）の認識は複雑な処理であり、大衆消費的な装置に見合うコストを超えてしまうようなプロセス条件を必要とする。コストが高いことおよび現在の対象認識装置の比較的低い精度に起因して、テレビ会議およびインターネット映像通信のような、最適化された符号化により恩恵を受け得る多くの製品用途が閉ざされている。
【０００７】
本発明は、映像の帯域割当の最適化を支援する対象認識のための方法およびシステムを提供することを目的とする。本発明は、オブジェクト依存資源割当機能を有する低コストの映像システムを提供することを更なる目的とする。本発明は、帯域割当の最適かを支援する低コストの映像システムを提供することを更なる目的とする。本発明は、画像の背景からオブジェクトを区別する手段を提供することを更なる目的とする。
【０００８】
これら及び他の目的は、映像カメラと同じ場面を検知する二次センサを設けることによって達成される。二次的な映像を利用して、対象のオブジェクトに対応する映像の領域を区別する。対象に関する区別された領域は、その映像における他の領域よりも詳細な繊細さのレベルで符号化され得る。テレビ会議の場面における人物のような動く対象を検出するために好ましい二次センサは、既存の赤外線熱センサ・マトリックスである。非常に粗い詳細さの程度で、熱センサ・マトリックスの周辺温度領域に関連する映像領域を符号化することによって、高い詳細さのレベルで又は高いフレーム・レートで、高温領域を送信するように利用可能な帯域を割り当てることが可能である。二次的な映像は、既存のオブジェクト認識のアプリケーションに対する「フロント・エンド・フィルタ」として使用可能であり、これによってそのアプリケーションの効率および精度を増進させることが可能になる。
【０００９】
以下、添付図面を参照しながら本願実施例を説明する。
【００１０】
各図を通じて同一の参照番号は同様の又は対応する要素又は機能を示す。
【００１１】
図１は、本発明による符号化システム１００のブロック図の例を示す。符号化システム１００は、映像のソース１１０と、関連する二次的映像１２０と、符号化器１５０とを有する。参照の便宜のため、ここで使用される映像なる用語は、収集装置の視野内の要素に対応する値の配列を規定することを含む。例えば、映像１１０は、概して、映像カメラの視野における可視光線の集合に関連する値の配列に対応する。この値の配列は、様々な形式における任意のものであるが、図における値の配列として表現されているものは、値の直列的なストリームであり得る。
【００１２】
以下に詳細に説明するように、本発明による二次的映像１２０は、映像１１０から派生したものではないが、映像として実質的に同一の場面を表現したものであり、これは、映像１１０を収集するのに使用されたセンサとは異なるセンサを通じて収集されたものである。好適実施例では、二次的映像１２０は赤外線熱センサにより収集されたその場面の表現であるが、他の二次的センサ装置を利用することも可能である。好ましくは、二次的センサはその場面の特徴を捉えるものであり、映像１１０内の潜在的な対象のオブジェクト１０１の表現を支援するものである。赤外線センサは、対象が完全に隠れていたとしても、人間のような動くオブジェクトを検出するのに特に適している。例えば、対象の潜在的なオブジェクトに特定の色が関連付けられる場合には、特定の可視色の検出器のような他のセンサを利用することも可能である。図示されているように、二次的画像１２０の解像度を映像１１０と異ならせることも可能である。低コストの実施例では、例えば、二次的映像１２０が６４×６４の温度値配列であり、映像１１０が３３０×４８５又はそれ以上の輝度およびクロミナンス値の配列であり得る。二次的画像１２０の解像度は、コスト／パフォーマンスのトレードオフの関係に基づいて選択される。二次的映像１２０の解像度は、対象のオブジェクト１０１の形状を判定する精度、すなわち達成することの可能な符号化の最適化の程度を決定するが、高解像度の映像１２０を生成するセンサのコストは、低い解像度の映像１２０を生成するセンサのコストよりも実質的に高い。そのような高コストが保障されるのは、例えば、ある場面におけるニュースキャスタを識別するのに使用される専門的なシステムにおけるものであり、ニュース内容に基づいて適切な背景画像を置き換えるものである。
【００１３】
参照および理解を容易にするため、本発明は、熱放出に基づいた映像における潜在的な対象または対象の領域に関する表現モデルと、これらのオブジェクトまたは対象の領域を符号化する場合の詳細さの程度を調整することを利用して説明される。本願に関し、当業者に明らかになることであるが、特定の色に基づくオブジェクトの識別のような、二次的映像の他の属性（特徴）を利用して映像の符号化を制御することが可能である。同様に、明るさ、色彩強度、フレーム・レート等のような他の符号化パラメータが、検出された属性に依存して調整され得る。本願において、映像の符号化に影響する任意のパラメータまたは属性は、「符号化パラメータ（ｅｎｃｏｄｉｎｇｐａｒａｍｅｔｅｒ）」と呼ぶ。例えば、背景領域の詳細さに関する符号化の程度を直接的に調整する代わりに、これらの領域における輝度およびクロミナンス値を一定値に設定し、これらの領域の符号化に必要な情報内容を最小化することが可能である。
【００１４】
図１に示されているように、二次的映像１２０の特徴を利用して、映像１１０を符号化するために符号化器１５０で使用される符号化パラメータ１６０を制御する。例えば、オブジェクト１０１が映像１１０，１２０で重なるように示される。上述した赤外線センサの例において、このオブジェクト１０１が熱源であるならば、赤外線放出オブジェクト１０１に重なる赤外線映像１２０に対応するセンサ領域は、周囲の領域よりも高い検出値を有する。赤外線放出オブジェクト１０１と部分的に重複する領域は、赤外線放出オブジェクト１０１により完全に覆われる領域より低いが、赤外線法出源を含まない領域よりは高い平均的な検出値を有する。図示されるように、二次的映像１２０の領域１２１は、（高温検出値という）特徴を有しているならば、これは領域１２１内に動的なオブジェクト（暖かい物体）が存在することに相当し、符号化器１５０はその領域１２１に対応する映像１１０の領域１１１を、暖かい物体の存在することを示さない二次的映像１２０の領域よりも繊細な詳細さのレベルで符号化する。この詳細さのレベルは、例えば、ＭＰＥＧ符号化におけるＤＣＴ値の量子化で使用される量子化ステップ・サイズを修正することによって変更することが可能である。量子化パラメータに加えて又はそれに代えて、他の符号化パラメータ１６０を調整することも可能である。例えば、他の領域を包含するフレームよりも頻繁に対象の領域を包含するフレームを送信することによって、より高いフレーム・レートの認識を行うことも可能である。
【００１５】
領域１２１の特徴は、映像１１０における対応する領域１１１の符号化の詳細さのレベルに影響を及ぼす多くのパラメータ１６０の１つである点に留意を要する。例えば、上記の米国特許５，４７５，４３３に示されている「ファジィ論理」システムを利用して、符号化レベルの詳細さを決定することが可能であり、これは、二次的映像１２０の１つ又はそれ以上の特徴を含む様々な要素に依存する。本願の参考文献に組み込まれ、代理人管理番号がＰＨＡ２３，５９７のＳｈｉｎｇ−ＣｈｉＴｚｏｕ，ＡｈｉｙｏｎｇＷａｎｇ，ａｎｄＪａｎｗｕｎＬｅｅによる“ＭＯＴＩＯＮ−ＡＮＡＬＹＳＩＳＢＡＳＥＤＢＵＦＦＥＲＲＥＧＵＬＡＴＩＯＮＳＣＨＥＭＥ”　と題し、シリアル番号が０９／２２０，２９２の共に係属した米国特許出願が開示するものは、映像内の各ＭＰＥＧサイズ・ブロックについて量子化サイズを判定するのに使用される公称値を含む映像マップを利用することである。各ブロックの公称値は、現在だけでなくこのブロックの特徴にも基づいて動的に調整される。引用された米国特許５，４７４，４３３におけるもののように、この公称値を調整して、その内容が急速に変化する「動的（ｄｙｎａｍｉｃ）」ブロックに関する粗いレベル生成する。映像マップを利用すると、映像の変化を連続的に改善することが可能になる。例えば、映像における「静止」ブロックは、帯域の利用可能性に依存して、より繊細に段階的に符号化され、映像品質を改善するために帯域利用における任意の「ラル（ｌｕｌｌ）」を利用可能である。この発明と関連発明の好適な組み合わせは、潜在的に対象としない領域ではなく、二次的映像１２０により識別された対象の領域に関する段階的な繊細な符号化に好ましいものである。例えば、識別された対象の領域は、利用可能な帯域の割当に関して高い優先度が与えられ、対象でない領域には、対象の領域が所定の許容可能な詳細さのレベルに達した後に、帯域が割り当てられる。
【００１６】
本願に関し当業者に明らかになるであろうが、様々な技術を利用して、二次的映像１２０の領域の特徴を、映像１１０の領域の詳細さのレベルに関連付けることが可能である。二次的映像１２０に関する領域の特徴のフィルタ処理または補間を利用して、当該技術分野で一般的な技術を利用して、映像１１０の各領域またはブロックに関する対応する量子化因子を判定し、二次的映像１２０の各領域の端部における不連続性を最小化させることが可能である。明確な対象認識手法において、二次的映像１２０は、既存のオブジェクト認識アプリケーションにおける「フロント・エンド」フィルタとして使用されることが可能である。そのような実施例において、二次的映像１２０の領域の特徴によって識別される対象の領域に対して、潜在的なオブジェクトの探索を優先するように、オブジェクト認識アプリケーションを構築することが可能である。同様に、オブジェクト認識アプリケーションが、二次的領域１２０に対して最小サイズの領域に対応するものとして知られているオブジェクトを見出すよう設計されるならば、その探索は、その最小サイズ領域を占める所望の特徴を有する隣接するブロックを包含する二次的映像の領域に限定して行うことが可能である。オブジェクト認識アプリケーションが対象のオブジェクトを認識する場合に、符号化器１５０は、繊細な詳細さのレベルで映像１１０の個々の領域をエンコードすることが可能であり、あるいは、符号化がＭＰＥＧ４符号化のようなオブジェクト依存符号化を直接的に支援するものであるならば、符号化器１５０は識別された領域を、関連する量子化パラメータと共に明確なオブジェクトとして符号化する。符号化の特定の詳細さおよび付随する詳細さレベルの依存性は、使用される具体的な符号化手法に依存し、オブジェクト又は対象の領域の識別に基づいて詳細さのレベルを最適化する他の手法は、本願に関連して当業者には明白になるであろう。
【００１７】
図２は、本発明によるカメラ・システム２００の例を示す。カメラ・システム２００は、映像（図１における１１０）を収集するカメラ２１０と、二次的映像（図１における１２０）を収集する二次センサ２２０を含む。二次的映像１２０が映像１１０に対応するように、カメラ２１０の視界２１５とセンサ２２０の視界２２５は実質的に等しくすべきである。理想的な実施例では、映像１１０を作成するためにカメラで使用される光学システムと同じものを利用して、カメラ２１０に組み込まれるセンサ２２０を通じて二次的映像１２０を作成し、厳密な対応関係が得られるようにする。しかしながら図２に示されるように、厳密な対応関係は必ずしも必要ない。図２は、カメラ２１０に隣接する二次センサ２２０を示し、既存の映像カメラ２１０に対する「オプション」として、又は本発明による一体化エンコーダ（図１の１５０）を含むカメラ２１０における取り外し可能な要素として提供されるセンサ２２０の配置を示す。
【００１８】
カメラ２１０に関するセンサ２２０の特定の配置に依存して、視野２１５，２２５が実質的に対応する領域２７５が存在する。この領域２７５において、映像１１０，１２０の間の対応関係は、図１に示すように実質的にリニアである。望まれる精度に依存して、対応領域２７５を実質的に超える領域における映像１１０，１２０の間のマッピングは、当該技術分野で一般的な近似手法を利用して、より複雑な座標変換を利用して決定することが可能である。カメラ２１０が可変ズーム機能を有するならば、視界２１５はそれに従って接近または拡張される。理想的な実施例では、カメラにおけるズームの変更は、二次センサの視界２２５の変化に影響する。あるいは、低価格の実施例では、視界２２５を固定させることも可能である。この実施例では、視界２２５は、対象のオブジェクトが現れるような「典型的な（ｔｙｐｉｃａｌ）」フィールドに設定される。この実施例におけるカメラ２１０のズーム・アウト設定に起因して、二次センサ２２０の視界２２５を超えるカメラ２１０の視界２１５における映像領域１１０は、詳細さに関する粗いデフォルトに設定される。同様に、カメラ２１０のズーム・イン設定に起因して、カメラ２１０の視界２１５を越える二次的映像１２０の領域は、端部の不連続性に対処するための上述した属性値の補間に影響を及ぼす必要性のあることを除いて、無視される。映像１１０，１２０の間の相関性を改善する付随的な手法を利用することも可能である。例えば、当該技術分野で一般的であるように、映像１１０，１２０の特徴を比較することによって、および最小二乗誤差曲線を当てはめる技術を利用することによって、適切な座標変換が決定され、映像１１０，１２０の間の座標変換に適切なパラメータを決定することが可能である。
【００１９】
当該技術分野で一般的な様々な装置の任意のものを利用して、図１の二次的映像１２０を形成する図２の二次センサ２２０を提供することが可能である。赤外線の技術分野において、熱的な映像配列が一般に利用可能である。一般に利用可能な熱的な配列は６４×６４の領域（１２１）を有する映像（図１の１２０）を提供し；より大きい及びより小さい配列も利用可能である。本願の参考文献に組み込まれ、２０００年２月２９日に発行されたＫｉｍａｔａｅｔａｌによる“ＩＮＦＲＡＲＥＤＦＯＣＡＬＰＬＡＮＥＡＲＲＡＹ”と題する米国特許６，０３１，２３１は、半導体基板に設けられた温度検出装置の２次元的な赤外焦点平面配列（ｉｎｆｒａｒｅｄｆｏｃａｌｐｌａｎｅａｒｒａｙ）の概略を開示している。本願の参考文献に組み込まれ、１９８９年９月１９日に発行されたＡｎｔｏｎｉｅＹ．Ｍｅｓｓｉｏｕによる“ＩＮＦＲＡＲＥＤＬＥＮＳＡＲＲＡＹＳ”と題する米国特許４，８６８，３９１は、広範な視界を得るために異なる角度で配列されたフレネル・レンズの配列を開示し、その配列は実質的に平坦なシートとして構成される。’３９１特許では、レンズの各々が共通の焦点を有し、単独の温度検出装置を活性化させる。本発明による好ましい低コストの実施例では、フレネル・レンズの配列が設けられ、熱エネルギを半導体基板上の複数の温度検出装置に方向付ける。温度検出装置からの出力は図１の映像１２０に対応する。
【００２０】
センサ２２０内の個々の検出装置の視界は必ずしも一様である必要のない点に留意を要する。すなわち、例えば、本発明の好適実施例において、映像１２０の周辺領域に関連するフレネル・レンズは、映像１２０の中央領域に関連するフレネル・レンズよりも広い視界を有する。なぜなら、オブジェクト又は対象の領域は、一般に映像１１０の中央付近に位置する傾向にあるからである。
【００２１】
また、センサ２２０は既存の赤外線カメラを採用し得る点にも留意を要する。そのような実施例では、赤外線カメラ２２０および映像カメラ２１０は、共通のキャリアに搭載され、共通の制御システムによって制御される。カメラ２１０，２２０の各々は、それらの対応する映像１１０，１２０を、上述した処理を行う符号化器１５０に提供する。
【００２２】
符号化器１５０は、カメラ２１０およびセンサ２２０から直接的に映像１１０，１２０を読み取り、カメラ２１０またはセンサ２２０に埋め込まれることの可能な装置に設けることが可能である。同様に、符号化器１５０、カメラ２１０およびセンサ２２０は、単独の装置として実現し得る。また、符号化器１５０は、カメラ２１０およびセンサ２２０からの記録または送信による映像１１０，１２０を取得する独立した装置とすることが可能である。好ましくは、タイム・スタンプを各映像１１０，１２０に用意して、映像１１０および二次的映像１２０の間の同期を支援する。カメラ２１０およびセンサ２２０の」フレーム・レートは必ずしも同一である必要はなく、二次的映像１２０が映像１１０に時間的に実質的に関連付けられていればよい点に留意を要する。これら及び他のシステム配置の選択肢は、本願に関し当業者に明白になるであろう。
【００２３】
図３は、本発明による符号化システムのフローチャートの例を示す。参照および理解の便宜のため、このフローチャートは、直接的なＭＰＥＧ符号化に関連して図１および図２のオブジェクトに関連して説明され、上述したような他の実施例に関する詳細を省略する。しかしながら本発明がこの例に限定されないことは、当業者には明白であろう。
【００２４】
３１０において、上述したように、二次的映像１２０と映像１１０の間の対応関係が決定される。３２０において、デフォルトの量子化因子が設定される。おのデフォルト量子化因子は、既存のＭＰＥＧ符号化における量子化ステップ・サイズに対応し、比較的粗い詳細さのレベルを提供する。このデフォルト因子は、利用可能な帯域、以前の映像品質、全体的な複雑さ、以前の映像の動き等に基づいて決定され得る。簡単のため、このデフォルト量子化因子が、３３０において映像１１０の各領域に割り当てられ、その後、二次的映像１２０により導出される熱的なオブジェクトの輪郭のような二次的映像１２０の特徴に基づいて、ループ３４０−３６０を通じて選択的に修正される。
【００２５】
二次的映像１２０の各領域１２１はループ３４０−３６０で連続的に処理される。この例では、３４５において、単独の閾値検査を利用して、各領域が「対象の領域」に相当するか否かを判別する。二次的映像１２０の各領域１２１は、その領域１２１において検出された熱に対応する抵抗または電圧のような付随的な特徴を有し、特徴の測定はその領域が「対象の領域」であるか否かを判別するために使用される。この測定値が閾値を超えているならば、映像１１０の対応する領域１１１の量子化因子が調整され、３５０において、より繊細な詳細さのレベルで符号化されるようにする。上述したように、ループ３４０−３６０は、各領域１２１の測定値の補間に基づいて、映像１１０の各領域１１１に関する適切な量子化因子の連続的な判定に置き換えることも可能である。同様に、ループ３４０−３６０は、上述した米国特許５，４７５，４３３に開示されるファジィ論理システム、または出願０９／２２０，２９２に開示されるような段階的な手法で置換または付加することが可能である。同様に、ループ３４０−３６０は、既存のオブジェクト認識システムで置換することが可能であり、そのシステムは、上述したように映像１２０の特徴の測定値を利用して、効果的なオブジェクト探索を支援するものである。
【００２６】
３７０において、映像１１０は、二次的映像１２０に基づいて、先に判定された量子化因子を利用して符号化される。符号化および量子化因子は、当該技術分野で一般的な技術を利用して、又は米国特許出願０９／２２０，２９２に開示されるような技術を利用して、使用可能な帯域、複雑さおよび動きの程度等のような他のパラメータにも依存し得る。
【００２７】
以上のものは本発明の原理を説明するに過ぎない。他の実施例および用途は本願に関連して当業者に明白であろう。例えば、本発明は映像を送信するのに必要な帯域を最適化する観点から説明されたが、ここに説明された符号化手法は映像を格納する格納条件を最適化することにも等しく適用することが可能であり、ビデオ・テープのような記録媒体の容量を最適化するために使用することも可能である。当業者であれば、ここに明示的に記述され又は示されていないが本発明の原理を利用し且つ特許請求の範囲に含まれ得る様々な代替例を考察することが可能であろう。
【図面の簡単な説明】
【図１】
図１は、本発明による符号化システムのブロック図の例を示す。
【図２】
図２は、本発明によるカメラシステムの例を示す。
【図３】
図３は、本発明による符号化システムのフローチャートの例を示す。

Claims

少なくとも１つの映像と対応する少なくとも１つの二次的映像を受信するよう形成された映像符号化システムであって：
前記二次的映像の対応する領域の特徴に依存する符号化パラメータを利用して、映像の複数の領域の各領域を符号化し、映像の符号化を行う符号化器
を有することを特徴とする映像符号化システム。
更に：
第１の視界における可視光を検知し、前記第１の視界に対応する少なくとも１つの映像を形成する映像検出器，および
前記映像検出器の前記第１の視界の少なくとも一部に実質的に対応する第２の視界における赤外線放出を検知し、対応する二次的映像を作成する熱検出器
を有することを特徴とする請求項１記載の映像符号化システム。
更に：
前記対応する少なくとも１つの二次的映像が、オブジェクトに関連するパターンを形成し、
前記符号化器が、前記オブジェクトに関連するパターンに基づいて、前記映像におけるオブジェクトをエンコードするよう形成される
ことを特徴とする請求項１記載の映像符号化システム。
更に：
前記対応する少なくとも１つの二次的映像に基づいて、前記オブジェクトに関連するパターンを支援するオブジェクト認識システム
を有することを特徴とする請求項３記載の映像符号化システム。
前記符号化器が、更に、動きパラメータ、複雑さパラメータ、輝度パラメータおよび帯域パラメータのうち少なくとも１つに基づいて、前記複数の領域の各領域を符号化するよう形成されることを特徴とする請求項１記載の映像符号化システム。
前記符号化パラメータが前記映像の符号化の詳細さの程度に対応することを特徴とする請求項１記載の映像符号化システム。
前記二次的映像の対応する領域の前記特徴が、前記二次的映像の対応する領域に関連する温度の測定値であることを特徴とする請求項６記載の映像符号化システム。
前記符号化器が、更に、動きパラメータ、複雑さパラメータ、輝度パラメータおよび帯域パラメータのうち少なくとも１つに基づいて、前記複数の領域の各領域を符号化するよう形成されることを特徴とする請求項７記載の映像符号化システム。
映像カメラの第１の視野に対応する映像を収集する映像カメラ，
前記映像カメラに動作可能に取り付けられる二次検出器であって、前記第１の視野の少なくとも一部に対応する第２の視野に対応する二次的映像を収集し、関連する二次的映像に基づいて、映像における対象の領域の以後の認識を支援するところの二次検出器
を有することを特徴とするカメラ・システム。
前記二次検出器が熱検出器より成ることを特徴とする請求項９記載のカメラ・システム。
更に：
対応する二次的映像の特徴に依存して前記映像を符号化し、符号化された出力を生成するよう形成される符号化器
を有することを特徴とする請求項９記載のカメラ・システム。
更に：
符号化された出力を受信機に送信するよう形成された送信機および
符号化された出力を格納するよう形成されたレコーダ
のうち少なくとも１つを有することを特徴とする請求項１１記載のカメラ・システム。
更に：
前記二次的映像を利用してオブジェクトに関連するパターンの判定を支援するオブジェクト認識システム，および
を有し、前記符号化器がオブジェクトに関連するパターンに基づいて、映像におけるオブジェクトを符号化するよう形成される
ことを特徴とする請求項１１記載のカメラ・システム。
前記符号化器が、更に、動きパラメータ、複雑さパラメータ、輝度パラメータおよび帯域パラメータのうち少なくとも１つに基づいて、映像を符号化するよう形成されることを特徴とする請求項１１記載のカメラ・システム。
対応する二次的映像の特徴が、第２の視野における熱放出の測定値に対応することを特徴とする請求項１１記載のカメラ・システム。
前記符号化器が、対応する二次的映像の特徴に依存する量子化因子を利用して、前記映像を符号化するよう形成されることを特徴とする請求項１１記載のカメラ・システム。
前記量子化因子が、更に、動きパラメータ、複雑さパラメータ、輝度パラメータおよび帯域パラメータのうち少なくとも１つに依存することを特徴とする請求項１６記載のカメラ・システム。
映像を符号化する方法であって：
前記映像の少なくとも一部に対応する二次的映像を受信するステップ，
前記二次的映像および前記映像の間の対応関係を判定するステップ，
前記二次的映像の対応する領域に依存して、映像の複数の領域の各々の領域に対して符号化因子を関連付けるステップ，および
関連付けられた前記符号化因子に基づいて、前記映像の複数の領域の各々の領域を符号化するステップ
より成ることを特徴とする方法。
前記二次的映像が温度マップより成ることを特徴とする請求項１８記載の方法。
符号化パラメータが、前記映像の各領域の符号化の詳細さの程度に影響を及ぼすことを特徴とする請求項１８記載の方法。