JP2017005687A - ビデオカメラでビデオストリームを処理する方法及び装置 - Google Patents

Abstract

【課題】ビデオカメラ内のビデオストリームを処理する方法を提供する。【解決手段】ビデオ装置の画像を処理する方法は、画像を読み取ることと、画像に関するメタデータを画像の中に、又は画像と共に埋め込むことによって、画像を、画像に関するメタデータと結合することを含む。更に、画像をエンコーダで符号化する前に、画像を結合して変換し、画像からメタデータを抽出することと、更なる処理においてメタデータを入力として用いることとを含む。【選択図】図２

Description

本発明は、ビデオストリーム、具体的にはビデオカメラ内のビデオストリームを処理する方法に関する。

ビデオカメラでは、ビデオカメラの結合光学系を介して取得されるように画像を取得するため、画像センサが使用される。概して画像センサは、一般に、光の形態の放射線を感知できるピクセルのマトリクスである。

画像センサから読み取られた未加工画像（ｒａｗ ｉｍａｇｅ）は通常、直接表示に適合しておらず、これには幾つかの理由があり、このため画像には、表示のために転送される前に、相当の処理が行われる。ビデオカメラの一般的な目的は、画像を取得して、表示するために画像を整えることである。本明細書において使用されるビデオカメラでは、カメラは主に、調査等の作業を監視するために使用される。上記カメラにおいて、画像はビデオストリームの一フレームとしてカメラから離れ、そしてカメラ自体は、ビデオストリームを整え、転送するエンコーダを含む。

処理ステップは、例えばデモサイシング、強度のバランス調整、色のバランス調整、画像歪曲の修正等の、画像に実施される工程を含むことができ、画像は更に、サイズ変更、回転、そして最終的にエンコーダにおいて処理されうる。記載したステップは単なる例であり、いかなる特定の順序も付与していない。

画像を処理する際には、例えば未加工画像から推定されたデータ等のメタデータが使用されうる。幾つかの関連した例を挙げると、メタデータは、画像の様々な部分の信号対ノイズ比（ＳＮＲ）に関連しうる。ＳＮＲデータを使用して、例えばノイズフィルター等のカメラ内部のフィルタを構成する又は変更することができ、ＳＮＲデータを使用して、光条件を改善するために外部光をトリガすることもできる。

動作が検出された領域の識別は通常、ビデオカメラが監視又は調査目的で使用された場合に識別され、ここでは通常、画像の変化により対象の事象が識別される。

例えば顏、特定の形状等の画像処理のための特定対象の識別された（又はユーザによって特に興味があると識別された）又は予め設定された対象領域（ＲＯＩ）。

この種のメタデータの最後の例は、画像の圧縮マップに関するものである。圧縮マップは、空間的にそれ自体の圧縮パラメータを変更するためにエンコーダへ提供される表であってよく、圧縮レベル、また定数及び閾値、又はブロックタイプの決定のための定数を有する表に関するものであってよい。画像を前の画像と比較することによって、特定のプロトコルに従ってどのように画像を符号化しうるかを示すマップを生成することができる。

メタデータの上記の例は、まるで画像センサから読み取られたかのように、未加工画像から抽出することができ、下流プロセスに使用可能である。

メタデータは、本発明においてメタデータとして見なされるために、画像から抽出された情報を含む必要はない。この種のメタデータの例は、画像の処理の後段階における画像の修正又は調節に使用される様々なマスクに関連しうる。別の例は、ユーザによって予め設定された対象領域に関連しうる。メタデータはまた、ユーザ定義の対象領域、プライバシーマスク、優先領域（必要に応じて、画像の品質に重点が置かれるべきところのマップ）、及びカメラ設定に関する情報、又はセンサからの入力（ズームレベル、シャッタースピード、傾きセンサ）にも関連しうる。

ビデオカメラの結像光学ではほとんどの場合、画像にある程度の歪曲が生じうる。ある一般例は、たる形歪曲及びピンクッション歪曲である。その他の種類の歪曲は、色収差、単色収差、及び関連のサブグループを含みうる。

この歪曲は、画像センサから読み取られた画像がその現在の形態ではディスプレイに適合していないことを意味し、画像を表示する前に変換することが必要でありうる。

記載された画像の処理は、ビデオカメラの代替例を挙げるだけでも、エンコーダ、トランスコーダ、又はビデオ管理システムにおいて実施することができる、すなわち、画像が画像センサから読み取られる、あるいはファイルから提供されるか否かにかかわらず、処理は同じ又は同様のものであってよい。

特に処理が画像を変換することを含む時に、画像の処理を簡略化するために、本発明は、ビデオ装置の画像を処理する方法を開示する。本方法は、リストに記載された順番に実施しうる、又は実施しえない一連のステップであって、画像を読み取ること、メタデータを画像の中に、又は画像と共に埋め込むことによって、画像を、画像に関するメタデータと結合することと、画像を変換することと、画像からメタデータを抽出することと、画像をエンコーダで符号化することと、更なる処理においてメタデータを入力として用いることとを含む一連のステップを含む。

本方法は特に、画像の特定領域（ピクセル、ピクセルのブロック等）に関するメタデータが変換中にその領域に従うため、変換前にメタデータが画像と共に、又は画像の中に埋め込まれた時に有用である。更なる効果は、メタデータと画像の各セットに対し、相次いで変換するのではなく、１回だけ変換すればよいことである。

一又は複数の実施形態では、更なる処理は、画像の処理又は次の画像の処理を含む、すなわち、１つの画像から抽出されたメタデータを、例えばそのメタデータを符号化している間にその特定画像の処理に使用することができるが、メタデータは、例えば画像の特定領域における特定の信号対ノイズ比の結果として設定を変更することによって、次の画像の処理に使用することもできる。

その他の、又は関連の実施形態では、処理は、上記のメタデータを画像とは別に処理することを含みうる。処理は、ＳＮＲメタデータ、動作メタデータ、オブジェクト識別メタデータ等の分析を含みうる。異なる使用の場合の例を挙げると、ＳＮＲメタデータを使用して、エッジの検出誤差を回避することができ、動作メタデータを使用して、動作検出の実施において分析論の節を支持することができる。

関連する、又は別の実施形態では、更なる処理は、例えば画像分析、視覚的応用、レート制御又はフレームスティッチング等のプロセスを含みうる。これらのプロセスは明らかに、単独で、又は組み合わせて実施されうる。画像の分析とは、オブジェクト、動作又はその他の基本情報、例えば動作の検出、オブジェクトの検出、顔の検出等の、画像を分析するプロセスを含むことを意味する。視覚的応用は、画像を理解する、例えば人間の視覚及び認識方法を模倣するために画像を処理することを想定し、例として、オブジェクトの識別、顔の識別、人数計測等を含む。

上記処理の結果又は基本は、メタデータの形態の画像又は画像のシーケンスから引き出すことができ、メタデータを単独で、及び／又は他のプロセスをサポートするために使用可能である。

一又は複数の実施形態では、画像に埋め込まれた、又は画像と共に埋め込まれたメタデータは、画像から引き出されてきた、すなわち、様々なアルゴリズムを使用して画像を分析し、様々な種類のメタデータを達成してきた。これを更に詳細説明において示す。本方法がビデオカメラにおいて使用される状況では、この実施形態は大抵適用可能である。未加工画像は、異なるアルゴリズムを使用して評価され、結果はメタデータの形態でありうる。このメタデータは次に、便宜のため画像と共に埋め込まれうる、又は画像に埋め込まれうる。

一又は複数の実施形態では、画像をラスターフォーマットからブロックフォーマットへ転換することは、画像を変換する前に実施され、メタデータを入力として使用して画像をブロックフォーマットからラスターフォーマットへ転換し戻すことは、画像を処理する前に実施される。

一又は幾つかの実施形態では、本方法は、画像を変換する前に、及び／又は画像を変換した後に、画像をメタデータと結合することを含み、ここでメタデータはオーバーレイの形態である。本発明に関して記載された幾つかの利点は、変換を実施する前にメタデータを埋め込むことに連結しているが、メタデータが変換した後にのみ、あるいは変換した後にも追加される状況がありうる。

一又は複数の実施形態では、メタデータは、メタデータを対応するピクセルブロックへの追加の色空間構成要素として埋め込むことによって、画像に埋め込まれる。

一又は複数の他の実施形態では、特定のピクセルブロックに対応するメタデータで、特定のピクセルブロックの色空間構成要素をパディングすることによって、メタデータが画像と共に埋め込まれる。

更に別の実施形態では、画像の色、又は輝度情報の一部を差し替えることによって、メタデータが画像に埋め込まれる。

画像がブロックフォーマット化された画像である実施形態では、メタデータは、ブロックフォーマット化された画像の全てのマクロブロックに追加されうる。

一又は複数の実施形態では、メタデータは、単に抽出される代わりに、画像をエンコーダへ転送する前に画像から分離される。標準のエンコーダが使用された場合、画像に埋め込まれたメタデータの存在がエンコーダの誤動作、又は不一致の原因となりうるため、メタデータをエンコーダへ送る前にメタデータを除去することに利点がありうる。

一又は複数の実施形態では、メタデータは、信号対ノイズメタデータ、圧縮メタデータ、動作メタデータ、プライバシーマスクメタデータ及び対象領域メタデータ、及びこれらの組み合わせからなるグループから選択されうる。

いかなる実施形態、又は追加の実施形態においても、ビデオ装置はビデオカメラ、エンコーダ、トランスコーダ、又はビデオ管理システム（ＶＭＳ）の構成要素であってよい。

別の態様によれば、本発明は、一又は複数の前の、又は次の実施形態の方法を実施するように構成されたビデオ装置に関するものである。ビデオ装置は、画像からメタデータを抽出するように構成され、前記メタデータ又はその他のメタデータを画像の中に埋め込むように更に構成された画像処理パイプラインと、埋め込まれたメタデータを有する画像を受信し、埋め込まれたメタデータを有する画像を既定の設定に従って変換するように構成されたトランスフォーマと、メタデータを有する変換された画像からメタデータを抽出し、例えば特定のプロトコルに従って画像を圧縮するように構成された画像エンコーダ等へ画像を転送するように構成された抽出器とを備えうる。

一又は複数の実施形態では、メタデータの少なくとも選択された部分を更なる処理のために転送することができ、選択された部分は、画像を圧縮した時に入力として使用される。

本発明の様々な実施形態のビデオ装置の更なる特徴は、別々に説明することはない。代わりに、ビデオ装置の更なる実施形態は、対応する方法の実施形態から推定することができ、これらの特徴の効果もまた、対応する方法の効果から推測することができる。一例として、ビデオ装置は、ビデオカメラ、ビデオエンコーダ、ビデオトランスコーダ、又はＶＭＳの構成要素であってよい。

本発明の第１の実施形態を示すブロック図である。 本発明の第２の実施形態を示すブロック図である。 本発明の第３の実施形態を示すブロック図である。 本発明の第４の実施形態を示す機能図である。

図１に、本発明の第１の実施形態１００による方法を示す。

図１の詳細を説明する前に、本発明の背景においてメタデータの定義に含まれうる幾つかの例を挙げることが得策である。まず、対象のメタデータとは、画像の異なるエリアと幾つかの相関性を有するメタデータである。このメタデータは、単一のピクセルから、異なるサイズのピクセルのブロックまでのレベルでありうる。その内、広い定義を狭める例には、例えば色、対象領域、動き等の画像の特性を表す統計、又はその他のデータが含まれ、背景技術の節において記載された例に追加される、又は含まれる。ビデオカメラに組み込まれた画像プロセッサの分析ユニットは、画像の特定部分の動きを検出することができる、又は保存部分は、画像センサの不規則性を考慮するために、画像の様々な部分の強度をどのようにバランス調整するべきかに関するマスクを組み込むことができる。更に、メタデータは、前の画像に対してその画像の強度がどのように変化したか、画像の様々な部分がどのように移動したかを追跡することができ、それによって、メタデータは画像の様々な部分がどのように変わったか、そして画像は画像のストリームにおいてどのように符号化されるべきかを規定する。メタデータは、画像の様々な部分の信号対ノイズ比、画像の様々な部分の対比、画像の様々な部分の強度ヒストグラム等を考慮しうる。これとは別に、メタデータは個々のピクセル又はピクセルのグループのレベルに影響を与えるはずであり、メタデータは好ましくは、今日のような場合に、エンコーダ等の下流プロセスによって使用されるように意図されるべきである。

図１のブロック図を再び参照する。メタデータ１０２は未加工画像１０４と結合されているため、メタデータは画像に埋め込まれている１０６。

実際の埋め込みは、多数の方法の内の一方法で実施されうる。第１の例には、メタデータを既存の色空間にパディング（ｐａｄｄｉｎｇ）することが含まれうる。通常、Ｕ／Ｖ構成要素は１バイトであってよく、画像の品質を目いっぱい劣化させなければ、６又は７ビットの削減は許容範囲内でありうる。次に、メタデータを現在利用可能な２又は１ビットに加えることができる。この解決策は完全にカメラの内部的なものであるため、特定の用途のために最適な方法を選択することが可能である。第２の例は、１バイトのメタデータを追加することによって、色空間構成要素が拡張されうる。一例として、Ｕ／Ｃ構成要素は１バイトの長さでありうるが、２バイトの長さにする代わりに、メタデータの追加のバイトが各Ｕ／Ｖ構成要素に加えられる。

画像及びメタデータの結合がどのように実施されうるかの幾つかの更なる特定例には下記が含まれうる。
− Ｕ及びＶの両方に対し、１×Ｙバイト／ピクセル及び１×バイト／２×１ピクセルブロック＝ＵＹＶＹを有するＹＵＶ４２２において、ＵＹＶＹフォーマットに１バイトのメタデータを更に追加して、ＵＹＶＹＭにすることができ、ここでＭは追加されたメタデータを表す。
− Ｕ及びＶの両方に対し、１×Ｙバイト／ピクセル及び１×バイト／２×２ピクセルブロック＝ＹＹＹＹＵＶを有するＹＵＶ４２０において、各２×２ブロックに１バイトのメタデータを更に追加して、ＹＹＹＹＵＶＭにすることができ、ここでもまたＭは追加されたメタデータを表す。
− ＮＶ１２においてメタデータは離れた平面に保存されうる。ＮＶ１２にすでに存在する２つのＹ及びＵＶ平面に加えて、メタデータの第３の平面が追加されうる。

メタデータはまた、Ｙ、Ｕ、又はＶ色空間構成要素に一又は複数のビットとしてパディングされうる。

更に、メタデータを画像の中に埋め込む幾つかの方法があり、上記の非常に特殊な例は従って、特許請求の範囲によって定義されるように、本発明を限定するものと解釈されるべきではない。上記の例は主に、メタデータが画像と共に埋め込まれる状況に関するものである。別のカテゴリは、メタデータが画像の中に埋め込まれることである、すなわち例えば色情報又は輝度情報の一部は除去され、メタデータによって差し替えられる。ある画像情報は失われるかもしれないが、標準のエンコーダへ画像を送る前に必ずしもメタデータを除去する必要はなくてよく、これを、エンコーダを参照しながら説明する。

上記メタデータは、例示したように、画像と共に、又は画像の中に埋め込まれうる。メタデータが大きすぎる場合、又はその他の理由で適切な場合に、メタデータをポインタによって差し替えることができる。ポインタをメタデータに埋め込む効果と意味は、メタデータ自体を埋め込むことと全く類似しており、ポインタは、メタデータと同じように、ピクセル、ピクセルのブロック、又は領域に関連付けられる。そのため、本明細書の目的において、メタデータに対するポインタは、より広い定義の「メタデータ」に含まれる。各ポインタは、実際のメタデータが位置づけされるメモリ空間の位置を指し示す。

例示のリストは包括的なものではなく、画像とメタデータとの結合を達成するためには幾つかのオプションがあることを示し、方法の選択はその背景に依存しうることを意味する。

データの結合の後に、画像はラスターフォーマットとも呼ばれるラインフォーマットからブロックフォーマットに変換される１０８。幾つかの転換（例えばデワーピング（ｄｅｗａｒｐｉｎｇ））にはブロックデータが必要とされるため、全ての実施形態に対してこの変換が要求されるわけではないが、その他幾つかの場合には、ラスター画像に直接行われうる。本実施形態では、ブロックごとにメタデータが追加され、従って、転換は道理にかなっている。実際、ラスター画像にブロックごとのメタデータを使用することは可能となりうるが、上記プロセスは不必要に面倒なものである。

この時点で埋め込まれたメタデータを含む画像を、結合後に様々な方法で転換させうる１１０。典型的な転換には、たる形歪曲等の光学的歪曲、及びその他の画像歪曲について画像を修正することを含むデワーピングと、画像が特定の基準システムに対して正確に配置される回転とを含む。別の例は画像安定化であり、画像取得中に、制御されていない動作を考慮してピクセル情報が周辺で変更されうる。任意の転換の結果、個々のピクセル、又はピクセルのブロックが、画像周辺で移動されうる。

転換１１０の後に、必ずしも直後でなくてもよいが、画像がエンコーダ１１４へ転送され、エンコーダの前に、これから説明する理由で、画像からメタデータを抽出（及び除去）することが好ましいことでありうる。エンコーダ１１４において、画像は符号化され、フレームとして、又は個別の圧縮画像として、ビデオストリームにおいて転送される。メタデータを抽出し、画像データを符号化する前に、結合された画像をブロックフォーマットからラインフォーマットに変換し戻される。上記符号化は、多数の既存の符号化技術の内の１つに従って実施することができ、上記符号化は本発明の主要箇所ではないため、これには将来の符号化技術も含まれうる。符号化において、メタデータ又はそれらの少なくとも一部が使用される。メタデータが画像に埋め込まれる、又は画像と共に埋め込まれるために、メタデータは、ピクセル又はピクセルのブロックが転換ステップにおいて移動するように移動する。これは、プロセス全体において、画像の正確な部分への結合が維持されるため、メタデータを容易に抽出して、画像の正確な部分に結合させることができることを意味する。メタデータの抽出は好ましくは、実際にエンコーダに入る前に達成しうる。理由は、これにより任意の標準エンコーダを使用することが可能になるためである点で、実用的である。エンコーダに入る前にメタデータを抽出する理由となりうる態様とは別に、エンコーダ内のメタデータの抽出は、決して不可能、あるいは困難ではなく、従って、特許請求の範囲によって定義されるように、本発明の範囲から除外されるべきではない。

メタデータが画像に埋め込まれている場合、すなわち、メタデータが例えば色情報等の部分と差し替えられた場合、上記情報を画像から抽出しうるが、画像をエンコーダへ送る前にメタデータを画像から除去する必要はありえない。エンコーダはそれがそこにあったことに気付かず、それが画像の外観に影響を与えうるが、その影響は取るに足らないものである。その影響は、メタデータが全プロセス、またその後にわたって画像に含まれることでありうる。

エンコーダの主な対象のメタデータは、圧縮メタデータ、又は圧縮マップでありうるが、本発明のさらなる影響は、エンコーダから送出された画像に完全に一致するメタデータの集合体である、すなわち、ユーザに図示される画像、あるいはクライアントのところで更に処理される画像である。これは、メタデータ又はメタデータの選択部分が下流プロセスへ転送されうるということを意味する。下流プロセスは、ビデオカメラの制約内のプロセスでありうるが、ビデオカメラの制約外のものであってもよい。これは、図２に更に示され、第２の実施形態に関する。図２は実際、図２の１１６において示すように、抽出されたメタデータが符号化以外のプロセスにおいて使用されることが共通している一連の実施形態を含むと考えられうる。一実施形態では、メタデータはレート制御１１８へ転送される。別の実施形態では、メタデータが外部のアプリケーション１２０へ、またＶＭＳ（ビデオ管理システム）へ、及び／又は内部のアプリケーションへ転送されうる。また別の実施形態では、メタデータが４つの異なるビュー（４つのビデオカメラ各々からの１つ）が、作業員に示される単一のビューに組み合わされるフレームスティッチングプロセス１２２へ転送される。これらの実施形態はいずれも、自由に組み合わせることができる。他の例には、領域ごとにＳＮＲを使用して誤検出を回避する、すなわち実際はエッジではないエッジを検出する危険性を低下させるエッジ検出アルゴリズムが含まれうる。別の例では、動作検出アルゴリズムの結果がメタデータとして画像に埋め込まれる、又は画像と共に埋め込まれ、この結果は、保護されたエリアの横切りを予想するために、境界線検出アルゴリズムへ送られうる。

図３に示す第３の実施形態では、画像を転換するステップの前、又は転換するステップの後に、オーバーレイ１２４を追加する更なるステップがあり、このオーバーレイは、画像と結合されている更なるメタデータとして見なされうる。オーバーレイは、ユーザの利益のために画像にテキスト情報を追加するプライバシーマスク又はテキスト層であってよく、種類によって、画像の転換前、あるいは転換後に画像に埋め込むことができ、テキスト層は転換後までは概して追加されず、これはテキスト層が特定のピクセル又は領域に接続されえないためであり、プライバシーマスクは、マスクの種類によって、転換前、又は転換後に追加されうる。プライバシーマスクが動的に適用される場合に、マスクされるべき領域を識別するアルゴリズムは、転換されていない画像を用いうる。

これまで開示された実施形態を自由に組み合わせて、更なる実施形態を生成することができる、例えば図３に示す第３の実施形態で使用されるオーバーレイソースの追加を、図２に示す第２の実施形態に加えることができ、これにより第４の実施形態が生成されることを指摘したい。

図１〜３の概略図に続いて、図４に、本発明の更に詳しい用途を幾つか示す。図４は、本発明の第４の実施形態による、画像処理の機能図である。上記実施形態は、すでに開示された幾つかの特徴を含み、必要に応じて複数の実施形態に分割することも可能である。図４の目的は、図１〜３とはわずかに異なる本発明の態様を図示することによって、本発明の理解を深めることである。

第１のステップにおいて、画像が取得される。上記画像は画像センサから取得可能であるが、ファイルから読み取る、又は別の画像供給源から取得することができる。本実施形態では、木が結像されている。画像は、この簡略化されたレイアウトでは４つのセクタ：左上（ＵＬ），右上（ＵＲ）、左下（ＬＬ）及び右下（ＬＲ）に分割されている。

画像は次に画像処理パイプライン４０６に入り、第１のステップ４０８において各セクタの動作を検出することができ、この例では、４１０の出力画像に示すように、左上のセクタにおいて動作ｍ１が検出され、左下のセクタにおいて動作ｍ２が検出されている。この例の他のセクタでは、動作が検出されなかった。

第２のステップ４１２では、各セクタに対し信号対ノイズ比を計算することができ、画像の左上から右下のセクタまでを含む、各々特定のセクタのＳＮＲレベルを示すｓｎｒ１〜ｓｎｒ４の値が得られる。

信号対ノイズ比の推論後に、対象領域４１４及び圧縮マップ４１６を識別するステップを実施することができ、対応するメタデータが画像４１８の中に埋め込まれる。

画像処理パイプラインの後の結果は、メタデータが埋め込まれた未加工画像であり、画像４１８の各セクタの結果は下記の通りである。
ＵＬ： ｍ１， ｓｎｒ１， ｃｏｍｐ１，
ＵＲ： ｓｎｒ１， ｒｏｉ１， ｃｏｍｐ１
ＬＬ： ｍ２， ｓｎｒ３， ｃｏｍｐ１
ＬＲ： ｓｎｒ４， ｒｏｉ１ ｃｏｍｐ３

結合された画像はここで転換ステップ４２０に進み、本発明の利点が明らかとなる。本発明の実施形態では、転換は画像の１８０度の回転に対応し、画像が回転する時に、埋め込まれたメタデータも回転する。メタデータにおいては、これは時計回りに（又はさらに言えば反時計回りに）２つのセクタを移動することに対応するが、転換に関わらず、埋め込まれたメタデータは、出力画像４２２に示すように、対応する画像データに従うことが分かる。

転換後、メタデータは画像から分離し、送られ４２４、圧縮マップに関するメタデータ４２６は、転換された画像４２８と共にエンコーダ４３０に転送され、エンコーダ４３０から圧縮された画像４３２が得られる。他の種類のメタデータ、例えば信号対ノイズ比４３４に関するメタデータを対象領域４３６に関するメタデータと結合させることができ、他のアプリケーション、例えばアプリケーションプラットフォーム４３８で利用可能なアプリケーションへ転送することができる。

この例において、画像は４つのセクタに分割されたが、これは単なる説明のためであり、非限定的な例として見なすべきである。他の実施形態では、幾つか更なる例を挙げると、この分割はピクセルサイズ、例えば１６×１６〜３２×３２ピクセルにより近いものであってよく、各画像が３２×３２セクタを含むように画像ブロックに分割することができる。セクタの幅と高さは対称でなくてもよく、そのうえ画像をスライス状等に分割することができる。

図４の実施形態は、幾つかの実施形態及び代替例を含む。図４の実施形態は、例えばステップ４０８、又は４１２、又は４１６等の図４のフロー図から、単一の画像処理ステップを選択し、その他の内の一又は複数を省略することによって、更なる実施形態に分割することができる。

メタデータの定義に関してすでに開示されてきたものに加えて、（本明細書の例のほとんどがそうであるように）メタデータを実際のデータに関連付けることができるが、特許請求の範囲によって定義される本発明の範囲から逸脱することなく、メタデータの表へのＩＤ又はポインタも含まれることに注目されたい。また、メタデータは、画像処理中のいかなる段階においても使用可能である。メタデータの幾つかの例を本明細書に記載してきたが、メタデータのリストは包括的なものではないことを強調すべきである。本発明は、新しい種類のメタデータに関するものではなく、特許請求の範囲によって定義されるように、画像処理パイプラインの画像と合わせてメタデータを処理する新たな方法に関するものである。この対応において更に、本明細書の例において、画像は従ってこれまでセンサから取得されてきたが、画像がファイルから、あるいは別の入力源から読み取られた場合にも本発明の方法は等しく有用でありうる。上記画像はもちろん、ある時点でセンサから取得されたものであってよいが、本発明はその点に関して限定されるべきではない。

上記方法、及びこれらの実施形態を符号化シーケンス、又はコード変換シーケンスの一部として単独で使用することができ、「ビデオ装置」という用語は、非限定的に例示の装置、すなわちビデオカメラ、ビデオ符号化装置、ビデオコード変換装置、及びビデオ管理システムを含む一般用語として使用される。

Claims (16)

1. ビデオ装置の画像を処理する方法であって、
   画像（１０４）を読み取ることと、
   前記画像に、前記画像に関するメタデータ（１０２）を埋め込むことによって、前記画像（１０４）を前記メタデータ（１０２）と結合する（１０２）ことと、
   前記埋め込まれたメタデータを有する前記画像を変換すること（１１０）であって、ピクセル又はピクセルのブロックに関連付けられた前記メタデータは、上記ピクセル又はピクセルのブロックの動きに従う、変換すること（１１０）と、
   前記画像から前記メタデータを抽出して（１１６；４２４）、前記画像をエンコーダへ転送することと、
   前記画像を前記エンコーダにおいて符号化する（１１４；４３０）ことと
   更なる処理において前記メタデータを入力として用いることと
   を含む方法。
2. 前記更なる処理は、前記画像を処理すること、又は次の画像を処理することを含む、請求項１に記載の方法。
3. 前記更なる処理は、前記メタデータを処理することを含む、請求項１又は２に記載の方法。
4. 前記更なる処理は、画像分析、視覚的応用、レート制御、又はフレームスティッチング、及びこれらの組み合わせ、レート制御、フレームスティッチング、動作トリガ、画像分析ツールのサポート、及びこれらの組み合わせを実施することを含む、請求項１から３のいずれか１項に記載の方法。
5. 前記画像に前記メタデータを埋め込む前に、前記画像から前記メタデータを引き出す（４０８、４１２、４１４、４１６）ことを更に含む、請求項１から４のいずれか１項に記載の方法。
6. 前記画像をラスターフォーマットからブロックフォーマットへ転換することは、前記画像を変換する前に実施され（１０８）、前記画像をブロックフォーマットからラスターフォーマットへ転換し戻すことは、前記画像を処理する前に前記メタデータを入力として使用して実施される（１１２）、請求項１から５のいずれか１項に記載の方法。
7. 前記画像を変換する前に、及び／又は前記画像を変換した後に、前記画像を前記メタデータと結合することを含み、前記メタデータはオーバーレイ（１２４）の形態である、請求項１から６のいずれか１項に記載の方法。
8. 前記メタデータは、前記メタデータを対応するピクセルブロックへの追加の色空間構成要素として埋め込むことによって、前記画像と結合される、請求項１から７のいずれか１項に記載の方法。
9. 前記特定のピクセルブロックに対応する前記メタデータで、特定のピクセルブロックの色空間構成要素をパディングすることによって、前記メタデータが前記画像と結合される、請求項１から８のいずれか１項に記載の方法。
10. 前記メタデータは、前記画像の前記色又は輝度情報の一部を差し替える、請求項１から９のいずれか１項に記載の方法。
11. 前記メタデータは、ブロックフォーマット化された画像の全てのマクロブロックに追加される、請求項１から１０のいずれか１項に記載の方法。
12. 前記メタデータは、前記画像を前記エンコーダ（４３０）へ転送する前に、前記画像から分離される（４２４）、請求項１から１１のいずれか１項に記載の方法。
13. 前記メタデータは、信号対ノイズメタデータ、圧縮メタデータ、動作メタデータ、プライバシーマスクメタデータ及び対象領域メタデータ、及びこれらの組み合わせからなるグループから選択される、請求項１から１２のいずれか１項に記載の方法。
14. 前記ビデオ装置は、ビデオカメラ、ビデオエンコーダ、ビデオトランスコーダ、又はビデオ管理システムである、請求項１から１３のいずれか１項に記載の方法。
15. 請求項１から１４のいずれか１項に記載の方法を実施するために構成されたビデオ装置であって、
    画像（１０４）からメタデータ（１０２）を抽出する（４０８、４１２、４１４、４１６）ように構成され、前記メタデータ又は他のメタデータを前記画像に埋め込むように更に構成された画像処理パイプライン（４０６）と、
    前記埋め込まれたメタデータを有する前記画像を受信し、前記埋め込まれたメタデータを有する前記画像を既定の設定に従って変換するように構成されたトランスフォーマ（４２０）と、
    前記メタデータを有する前記変換された画像から前記メタデータを抽出し、更なる処理のために、例えば特定のプロトコルに従って前記画像を圧縮するように構成された画像エンコーダ（１１４；４３０）等へ前記画像を転送するように構成された抽出器（４２４）と
    を備えるビデオ装置。
16. 前記ビデオ装置は、ビデオカメラ、ビデオエンコーダ、ビデオトランスコーダ、又はビデオ管理システムである、請求項１５に記載のビデオ装置。

Images