JP2014507842A - Ｐｐｇ関連情報を保存するビデオコーディング及びデコーディングデバイス及び方法 - Google Patents

Abstract

本発明は、デコードの間においてＰＰＧ関連情報が保存される、ビデオデータをエンコードするためのビデオエンコーディングデバイス１０及び対応するビデオデコーディングデバイスに関する。この目的のために、ビデオ符号化デバイス１０は、第１のエンコーディングスキームに従って入力ビデオデータ１００をエンコードし、入力ビデオデータより低い品質を有する第１の符号化されたビデオデータ１２０を出力するための第１のエンコーダ２０と、ＰＰＧ関連情報を保存する第２のエンコーディングスキームに従って入力ビデオデータ１００をエンコードし、第２の符号化されたビデオデータ１３０を出力するための第２のエンコーダ３０とを有する。

Description

本発明は、ＰＰＧ（photo plethysmographic imaging）関連情報が保存される、ビデオデータをエンコードするためのビデオエンコーディングデバイス及び対応するビデオエンコーディング方法に関する。

更に、本発明は、エンコードされたビデオデータをデコードするためのビデオデコーディングデバイス及び対応するビデオデコーディング方法に関する。

より更に、本発明は、ビデオデータをエンコード及びデコードするためのビデオコーディングシステム、並びに、前記方法を実装するためのコンピュータプログラムに関する。

人々の生物測定信号の強い連続的モニタリングのための技術的ソリューションを与えるという増加している要求がある。この要求は、より若い世代の中の健康的でアクティブなライフスタイルの重要性の発達している認識の結果である。その上、増大された寿命の結果として絶えず高齢化する人口は、人の日常生活活動に対する最小限の干渉を伴う健康モニタリングシステムの必要性に追加の圧力をかける。生物測定信号の控え目なモニタリングは、いつでも体及びマインド状態に関する事実上直接のフィードバックを与え、できるだけ早く人々の健康状況の変化を評価するために用いられ得る。

生物測定信号（例えば、心拍数、呼吸速度、血圧、皮膚酸化等）を測定する従来のデバイス及び方法は、ユーザが面倒な体センサを着用することを必要とし、これは、通常の人間の生活活動に対して目障りなものとして体験され得る。それ故、近年、バイタル体信号の遠隔モニタリングに関するコンタクトレス技術を開発するという試みが見られる。最新の開発は、消費者（ウェブカメラ）又は放送ビデオのために設計されたイメージングセンサによる控え目な遠隔モニタリングの実装を示す。

皮膚色変化を測定する方法（ＰＰＧ（Photo-Plethysmographic imaging）と呼ばれている）は、Wim Verkruysse、 Lars O. Svaasand 及び J. Stuart Nelsonによる"Remote plethysmographic imaging using ambient light", Optics Express, Vol. 16, No. 26, December 2008において述べられる。これは、皮膚における血液量の時間的変化が皮膚による光吸収の変化をもたらすという原理に基づく。斯様な変化は、皮膚エリア（例えば顔）の画像をとるビデオカメラにより登録され得る一方で、処理は、手動で選択された領域（典型的にはこのシステムにおける頬の部分）に渡るピクセル平均を計算する。この平均信号の周期的な変化を調べることにより、心拍速度及び呼吸速度が抽出され得る。

心拍又は呼吸速度信号の遠隔測定に関する既知のシステムは、画像検出の直後の圧縮されていない未処理のビデオシーケンスの分析に基づく。ほとんどの"実在の"アプリケーションにおいて、ビデオシーケンスは、圧縮された形態で格納又は出力される。ビデオ信号の圧縮は、（表示の視覚ポイントからの）いくつかの冗長な情報の削除を仮定する。不都合にも、視覚にとって重要でない情報は、生物測定信号の検出のために重要であり得る。例えば、ＭＰＥＧ圧縮規格は、ビデオ信号の時間的情報を僅かに変えるフレーム間予測を利用する。これらの変化は、時間的生物測定信号の検出を困難又は不可能にする。しかしながら、多くのアプリケーションに関して、ビデオからの心拍信号の抽出は、ビデオレコーディングが行われた後に実行されるべきである。これらの場合においては、圧縮ビデオが処理されるだろう。

ＰＰＧ関連情報は、ビデオが高ビットレートで圧縮される場合に、符号化されたビットストリームにおいて保存され得る。しかしながら、低圧縮比でのビデオの圧縮は、格納ファイルのサイズを増大させるか又は伝送帯域幅を増大させるだろう。

それ故、特に従来のビデオコーディング規格のうちの１つによる、ビデオレコーディング及び圧縮の間における、生物測定信号のオフライン抽出のために必要とされる情報の保存の必要性がある。

本発明の目的は、大量の追加のデータを必要とすることなくＰＰＧ関連情報が保存される、ビデオデータをエンコードするためのビデオエンコーディングデバイス及び対応するビデオエンコーディング方法を提供することにある。本発明の更なる目的は、対応するビデオデコーディングデバイス及び方法、ビデオコーディングシステム並びに前記方法を実装するためのコンピュータプログラムを提供することにある。

本発明の第１の態様において、
ｉ）第１のエンコーディングスキームに従って入力ビデオデータをエンコードし、前記入力ビデオデータよりも低い品質を有する第１の符号化されたビデオデータを出力するための第１のエンコーダと、
ｉｉ）ＰＰＧ関連情報を保存する第２のエンコーディングスキームに従って入力ビデオデータをエンコードし、第２の符号化されたビデオデータを出力するための第２のエンコーダとを有し、
前記第２のエンコーディングユニットは、
− とりわけ前記第１のエンコーディングスキームに対して相補的なデコーディングスキームに従って前記第１の符号化されたビデオデータをデコードし、中間ビデオデータを出力するためのデコーディングユニットと、
− 前記中間ビデオデータと前記入力ビデオデータとの間の差分を決定することにより差分ビデオデータを形成するための減算ユニットと、
− 強いＰＰＧ信号を供給する前記差分ビデオデータにおける関心のある領域を選択するための選択ユニットと、
− 前記差分ビデオデータの選択された関心のある領域をエンコードし、これを前記第２の符号化されたビデオデータとして出力するためのエンコーディングユニットとを有する、ビデオエンコーディングデバイスが示される。

本発明の更なる態様において、エンコードされたビデオデータをデコードするためのビデオデコーディングデバイスであって、前記エンコードされたビデオデータは、第１のエンコードスキームに従ってエンコードされ、入力ビデオデータより低い品質を有する第１の符号化されたビデオデータを有し、ＰＰＧ関連情報を保存する第２のエンコーディングスキームに従ってエンコードされた第２の符号化されたビデオデータを有し、
前記ビデオデコーディングデバイスは、
ｉ）第１のデコーディングスキームに従って前記第１の符号化されたビデオデータをデコードし、第１のデコードされたビデオデータを出力するための第１のデコーダと、
ｉｉ）第２のエンコーディングスキームに従って前記第２の符号化されたビデオデータをデコードし、ＰＰＧ信号を出力するための第２のデコーダとを有し、
前記第２のデコーディングユニットは、
− とりわけ前記入力ビデオデータをエンコードするために使用される前記第２のエンコーディングスキームにおいて使用されるエンコーディングスキームに対して相補的なデコーディングスキームに従って、前記第２の符号化されたビデオデータをデコードし、第１の符号化されたビデオデータにおいて選択された関心のある領域の位置に関するＲＯＩ情報を取り出し、第２のデコードされたビデオデータ及び前記ＲＯＩ情報を出力するためのデコーディングユニットと、
− 前記第１のデコードされたビデオデータに前記第２のデコードされたビデオデータを加えることにより加算ビデオデータを形成するための加算ユニットと、
− 前記ＲＯＩ情報を用いて前記加算ビデオデータにおける関心のある領域を選択する選択ユニットであって、前記関心のある領域は、強いＰＰＧ信号を供給する、選択ユニットと、
− 前記加算ビデオデータにおける選択された関心のある領域から前記ＰＰＧ信号を抽出するためのＰＰＧ抽出ユニットとを有する、ビデオデコーディングデバイスが示される。

本発明の更なる態様において、対応するビデオコーディング方法、対応するビデオデコーディング方法、ビデオコーディングシステム、及び、前記コンピュータプログラムがコンピュータ上で実行されたときに前記の提案された方法のステップをコンピュータに実行させるためのプログラムコード手段を有するコンピュータプログラムが示される。

本発明の好ましい実施形態は、従属請求項において規定される。請求項に記載されたビデオデコーディングデバイス、ビデオコーディングシステム、方法及びコンピュータプログラムは、請求項に記載されたビデオコーディングデバイス及び従属請求項において規定されたものと類似の及び／又は同一の好ましい実施形態を有することが理解されるべきである。

本発明は、例えば標準的なビデオ符号器により、ビデオ圧縮の間においてＰＰＧ視覚的情報を保存しようとする一方で、低ビットレートでの圧縮を可能にする。好ましくは、本発明は、規格に準拠した符号化されたビットストリームの生成を可能にする。とりわけ少なくとも２つのレイヤによりビデオストリームを圧縮することが提案され、レイヤのうちの１つ（以下、提案されたビデオエンコーディングデバイスにおける第２のエンコーディングユニットの出力に対応する強化レイヤと呼ばれる）は、デコードされたビデオからのＰＰＧ信号の抽出を可能にする追加の情報を含む一方で、他のレイヤ（以下、提案されたビデオエンコーディングデバイスにおける第１のエンコーディングユニットの出力に対応するベースレイヤと呼ばれる）が、例えば規則的な態様で、即ち、表示の認識ポイントから最適に、エンコード／圧縮されたビデオを含むだろう。

それ故、ベースレイヤ層は、入力ビデオデータより低い品質を有する第１の符号化されたビデオデータを有する。一般に、低い品質は低い視覚的品質であるが、例えばデータ圧縮を含む第１のエンコードが必ずしも視覚的な低下をもたらすというわけではない。ＰＰＧ関連情報は、第１のエンコードによる視覚的品質の損失を伴うことなく破壊されるか又は損なわれる、即ち、観察者が入力ビデオデータと第１の符号化されたビデオデータとの間のいかなる視覚的な差分をも必ずしも見るというわけではないが、ＰＰＧ関連情報はエンコードのため失われていることもあり得る。

提案された発明は、ベースレイヤにおけるビデオシーケンスの規則的なエンコード及びデコードを実行するために、とりわけ元のビデオシーケンスの分析に基づいて、ＰＰＧ基本視覚的情報を検出し、前述の検出に基づいてＰＰＧ抽出に関連する視覚的情報のより正確な表示を可能にするために（場合により圧縮された）追加の情報を含む強化レイヤを生成するという思想に基づいている。とりわけ強いＰＰＧ信号（好ましくは最も強いＰＰＧ信号）を供給するエリア、即ちＰＰＧ信号が良好に抽出され得るエリアは、前記強化レイヤへのエンコードのために選択される。最終的に、ベースレイヤ及び強化レイヤ（即ち、第１の符号化されたビデオデータ及び第２のビデオデータ）は、データキャリア上への格納のために、又は、伝送ライン（例えばインターネット）を介した若しくは移動通信手段システムを介した伝送のために、単一のエンコードされたビデオストリームにおいて組み合わせられ得る。

この文書において、"ＰＰＧ関連情報"という表現は、ＰＧＧ信号を得ることに関連する情報として理解されるべきである。斯様なＰＰＧ関連情報は、人間の目では認識されない元のビデオデータに含まれる情報（例えば、人の皮膚のわずかな色変化）を含み得る。この文書における"ＰＰＧ信号"という表現は、一般に、時間的生物測定信号、例えば鼓動、心周期、呼吸速度、ＳｐＯ２、麻酔の深さ又は低血及び多血のような、ＰｈｏｔｏＰｌｅｔｈｙｓｍｏＧｒａｐｈｙ分析を介して得られ得る任意の信号を意味する。

好ましい実施形態において、提案されたビデオエンコーディングデバイスは、前記入力ビデオデータを分析して強いＰＰＧ信号を供給する関心のある領域を決定し、前記差分ビデオデータにおいて前記関心のある領域を選択するための前記選択ユニットに前記関心のある領域の位置に関するＲＯＩ情報を供給するための分析ユニットを更に有する。一般に、選択ユニットは、所望の関心のある領域の選択のために、又は、例えばユーザインタフェースを介して若しくは任意の以前の選択から、関心のある領域としてどの領域を用いるかについての情報を得るために適合される。好ましい実施形態において、別々の分析ユニットが設けられる。斯様な分析ユニットは、とりわけ１又はそれ以上の画像フレームにおいて、例えば、ビデオデータ中の顔及び／又は皮膚領域を検出するための顔及び／又は皮膚検出器を有してもよい。好ましくは、最も安定した顔及び／又は皮膚領域が関心のある領域として選択され、選択ユニットには、ＲＯＩ情報と以下で呼ばれる、前記関心のある領域の位置に関する情報が提供される。斯様な検出器は、例えば、Paul Viola, Michael Jones, "Robust Real-time Object Detection", 2nd Intern. Workshop on Statistical and Computational Theories of Vision, Vancouver, Canada, 2001において述べられている。

好ましくは、一実施形態において、エンコーディングユニットは、前記差分ビデオデータにおける選択された関心のある領域だけでなく、完全な差分ビデオデータのための追加の領域もエンコードするように適合される。これは、ビデオデコーディングデバイスのデコードの間、（用いられた第１のエンコーディングスキームに従った低い視覚的品質を有する）元のビデオデータ及びＰＰＧ信号が得られ得るだけでなく、向上した視覚的品質を有するビデオデータも、前記エンコードされた追加の領域又はエンコードされた完全な差分ビデオデータから得られ得ることを提供する。

例えば、一実施形態において、画像の特定領域が、デコード後の低品質によって提供されるだけでなく、人の顔のような、より高い品質によって提供されることが望ましくなり得る。そして、この領域は、ビデオデコーディングデバイスにおいて前記追加の領域が第１の符号化されたビデオデータより高い画像品質によってデコードされ得るように、第２の符号化されたビデオデータにビデオエンコーディングデバイスにおいて別々にエンコードされる追加の領域として選択され得る。

他の実施形態によれば、減算ユニットは、前記中間ビデオデータのビデオフレームと前記入力ビデオデータの対応するビデオフレームとの間のピクセルベースの差分を決定することにより前記差分ビデオデータを形成するように適合される。それ故、一般に、ブロックベースの差分（即ち、ピクセルのグループの間の差分）が、差分ビデオデータを形成するために用いられてもよい一方で、ピクセルベースの差分が最も高い精度を提供する。好ましくは、これはフレーム単位で行われ、これは、提案された方法およびデバイスの他のステップを保持する。

有利には、選択ユニットは、前記差分ビデオデータにおける前記関心のある領域の少なくともクロミナンス成分（とりわけクロミナンス成分のみ）を選択するように適合され、エンコーディングユニットは、前記差分ビデオデータにおける選択された関心のある領域の少なくともクロミナンス成分（とりわけクロミナンス成分のみ）をエンコードするように適合される。これは、本発明に従って実現される目的のうちの１つである第２の符号化されたビデオデータに含まれるデータの量の削減に寄与する。一般に、しかしながら、クロミナンス成分だけでなく輝度成分も選択及びエンコードされてもよいが、第２の符号化されたビデオデータのためのより多くの記憶空間を必要とする。しかしながら、第２の符号化されたビデオデータを提供する目的が、ビデオデコーディングデバイスがＰＰＧ信号を取り出すのを可能にすることのみである場合には、斯様な輝度成分は一般に必要とされない。

他の実施形態において、エンコーディングユニットは、前記ビデオデータにおける選択された関心のある領域の少なくともクロミナンス成分（とりわけクロミナンス成分のみ）のブロック間又はブロック内部のＤＣ成分だけをエンコードするように適合される。これは、第２の符号化されたビデオデータの量の削減に更に寄与する。ＰＰＧ関連情報は一般に全てのピクセル毎にもたらされるが、一般に空間情報について多くの関心がない。代わりに、多くのピクセルが、個々ピクセルにおける所望のＰＰＧ信号（例えば鼓動）の信号−ノイズの割合を改良するために平均をとるために必要とされる。ＰＰＧ関連情報／ＰＰＧ信号は、通常、圧縮されていない８ビットのビデオ信号の量子化ステップよりも小さい。この平均は、ＤＣ成分に基づいてもよく、個々のピクセル値を知っていることを絶対的に必要とはしないが、皮膚及び幾つかの他の画像部分（例えば顔の境界）を含むブロックについて支援することができる。

他の実施形態において、エンコーディングユニットは、入力ビデオデータにおける選択された関心のある領域の位置に関するＲＯＩ情報のエンコーディング又は第２の符号化されたビデオデータへの追加のために適合される。ビデオデコーディングデバイスが画像分析を通じて選択された関心のある領域の位置を見つけ得ることが一般に可能である一方で、好ましい実施形態では、ビデオデコーディングデバイスにより読み取られ用いられ得る、対応するＲＯＩ情報が追加的にエンコードされる。

また更に、一実施形態において、選択ユニットは、強いＰＰＧ信号を供給する斯様な差分ビデオデータにおける２つ以上の関心のある領域を選択するように適合され、エンコーディングユニットは、前記差分ビデオデータの選択された関心のある領域をエンコードし、これらを前記第２の符号化されたビデオデータとして出力するように適合される。それ故、単一の関心のある領域だけでなくいくつかの関心のある領域が、デコードの間におけるＰＰＧ信号の評価及び取り出しのために利用可能であり、これは、信頼性を増大させる。例えば、一実施形態において、ＰＰＧ信号が前記関心のある領域の各々から取り出されてもよく、その後、評価において、最も高い信頼性としてのＰＰＧ信号又は全てのＰＰＧ信号の平均化のうちどちらが実行されてもよい。

デコードの間、ビデオデコーディングデバイスは、少なくとも、第１及び第２の符号化されたビデオデータの組み合わせからＰＰＧ信号を抽出することが可能である。ＰＰＧ抽出は、この目的のために、例えば、ＰＰＧイメージングに関する上述の刊行物において述べられたような、又は、ＰＰＧの基本について説明している他の引用文献において述べられたような、一般に知られた方法を用いる。しかしながら、ビデオデコーディングデバイスの好ましい実施形態において、また、対応するデータが前述したように第２の符号化されたビデオデータに含まれる場合において、追加の領域の又は完全な入力ビデオデータの強化された（より高品質の）ビデオデータが取り出されてもよい。

本発明のこれらの及び他の態様は、以下で述べられる実施形態から明らかになり、これらの実施形態を参照して説明されるだろう。

本発明によるビデオエンコーディングデバイスの第１の実施形態の概略ブロック図を示す。 本発明によるビデオデコーディングデバイスの第１の実施形態の概略ブロック図を示す。 本発明によるビデオエンコーディングデバイスの第２の実施形態の概略ブロック図を示す。 本発明によるビデオデコーディングデバイスの第２の実施形態の概略ブロック図を示す。 本発明によるビデオエンコーディングデバイスの第３の実施形態の概略ブロック図を示す。

図１は、本発明によるビデオエンコーディングデバイス１０の第１の実施形態の概略ブロック図を示す。この実施形態によれば、（入力ビデオデータとも呼ばれる）元のビデオストリーム１００は、低ビットレート（または、認識のために最適で有り得るがＰＰＧ抽出に対して充分ではないビットレート）で第１の（例えば標準の）エンコーダ２０により圧縮され、これにより、ここでは第１の符号化されたビデオデータとも呼ばれるベースレイヤビデオストリーム１２０を形成する。このベースレイヤビデオストリーム１２０は、一般に、ＰＰＧに関する情報が破壊された品質を有するビデオデータを含む。ＰＰＧに関する情報のエンコード及び伝送は、ベースレイヤビデオストリーム１２０において除去又は破壊されるＰＰＧに関する情報を含む強化レイヤによって行われる。

一般に、ＰＰＧ信号は、皮膚エリアからのみ抽出され得る。更に、ＰＰＧ信号の品質は、これらの皮膚エリアの或る特性（例えば、時間的安定性、照明のレベル及びサイズ）に依存する。それ故、全ての皮膚エリアは、ＰＰＧ信号に均等に寄与しないだろう。

第２のエンコーダ３０において、エンコード後にＰＰＧ関連情報を保存するために提供される第２のエンコーディングスキームを適用した場合には、ベースレイヤビデオストリーム１２０が、好ましくは第１のエンコーダ２０によるエンコードのために使用された第１のエンコーディングスキームに相補的なデコーディングスキームに従って、デコーディングユニット３１において最初にデコードされ、中間ビデオストリーム（中間ビデオデータ）１０１がデコーディングユニット３１から出力される。

減算ユニット３２において、差分ビデオストリーム１０２（差分ビデオデータ）は、前記中間ビデオストリーム１０１と前記入力ビデオストリーム１００との間の差分を決定することにより形成される。

概して、輝度及びクロミナンス成分についての元のビデオストリーム１００とデコードされたベースレイヤフレーム１０１との間の差分は、強化レイヤビデオストリーム１３０においてエンコードされ得る。しかしながら、強化レイヤビデオストリーム１３０がデコード後にＰＰＧ信号を抽出することのみを必要とする場合において、その後、少なくともクロミナンス成分（好ましくは、クロミナンス成分のみ）が強化レイヤビデオストリーム１３０においてエンコードされ得る。好ましくは、強化レイヤビデオストリーム１３０は、デコードされたベースレイヤビデオストリーム１０１と元のビデオフレーム１００との間のピクセルベースの差分として生成される。

オプションの分析ユニット３３において、元のビデオストリーム１００が処理される。詳細には、１又はそれ以上の画像フレームにおける人の皮膚の皮膚エリアが分析され、強いＰＰＧ信号を提供する関心のある領域（ＲＯＩ）が規定される。この分析ユニット３３は、例えば、最も安定した顔及び／又は皮膚を捜す一般的な顔及び／又は皮膚検出器を有し得る。斯様な安定した領域が最も強いＰＰＧ信号を出力すると一般に想定されるためである。ユニット３３は、ＰＰＧ信号を供給することができる最も小さいＲＯＩを選択し得る。ＰＰＧ信号の予期される強度は、ＲＯＩ内の空間ピクセル均一性を分析することにより、又は、好ましい顔エリア（例えば額、頬）を検出することにより、分析され得る。分析ユニット３３の出力は、（例えばＲＯＩ情報の形式の）関心のある領域の位置に関する情報であり、これは、中間ビデオデータ１０２において関心のある領域を選択するための選択ユニット３４に供給される。そして、前記差分ビデオデータ１０２の選択された関心のある領域は、エンコーディングユニット３５においてエンコードされる。最終的に、エンコードされた関心のある領域は、その後、第２の符号化されたビデオデータ１３０として出力される。

選択ユニット３４は、好ましくは、例えば供給されたＲＯＩ情報１０３に基づいて、最も強いＰＰＧ信号を供給するピクセルの少なくともクロミナンス成分（好ましくはクロミナンス成分だけ）を選択信号として選択する。代わりに、選択ユニット３４は、中間ビデオデータ１０２を自己で分析してもよく、例えば画像分析手段を用いて、適切な関心のある領域を選択してもよい。また更に、一実施形態において、単一の関心のある領域だけでなく、とりわけ最良のＰＰＧ信号を選択する能力を向上させるために又は異なる領域から得られたＰＰＧ信号を平均するために、いくつかの領域がＰＰＧ抽出のために選択される。

選択された関心のある領域は、対応する皮膚エリアより概ね小さく、ＰＰＧ信号の抽出のために必要とされる最小ピクセル数を含む。エンコーダ（例えば標準のエンコーダ）は、選択信号、即ち、この実施形態においては選択されたＲＯＩのクロミナンス成分１０４を、強化レイヤビデオストリーム１３０へとエンコードする。強化レイヤビデオストリーム１３０は、比較的少ないピクセル数及び好ましくはクロミナンス成分のみを含むという事実のため、このレイヤは、比較的高いビットレート（即ち、ほぼロスレス）でエンコードされ得るが、全体のビットレートにはあまり寄与しない。即ち、ベースレイヤビデオストリーム１２０と比較して少ない量のビットレート又は格納スペースしか必要としない。

概して、輝度及びクロミナンス成分の双方についての元のベースレイヤビデオフレームとデコードされたベースレイヤビデオフレームとの間の差分は、強化レイヤビデオストリーム１３０においてエンコードされ得る。しかしながら、強化レイヤビデオストリーム１３０が、デコード後にＰＰＧ信号を抽出するためだけに必要とされる場合においては、その後、少なくともクロミナンス成分（好ましくは、クロミナンス成分のみ）が、強化レイヤビデオストリーム１３０においてエンコードされることを必要とする。好ましくは、強化レイヤビデオストリーム１３０は、デコードされたベースレイヤと元のビデオフレームとの間のピクセルベースの差分として生成される。

概して、ベースレイヤビデオストリーム１２０及び強化レイヤビデオストリーム１３０は、別々に（例えば、インターネット、コミュニケーションネットワーク又は放送システムを介して）出力及び／又は（例えば、記録担体上に）格納されてもよい。しかしながら、一実施形態において、ベースレイヤビデオストリーム１２０及び強化レイヤビデオストリーム１３０は、組み合わせユニット４０により、格納及び／又は出力されるエンコーダ出力ビデオストリーム１４０に結合される。斯様な組み合わせに関して、複数のオプションが存在し、２つのビデオストリーム又はより一般的には２つのデータストリームを組み合わせるための複数の既知の方法のうち任意の１つが用いられてもよい。

一般に、ベース及び強化レイヤビデオストリーム１２０，１３０は、標準のエンコーダを用いてエンコードされ、それ故、任意の対応する標準のデコーダがビデオストリーム（ビットストリーム）のそれぞれをデコードすることができる。しかしながら、図１に示されたスケーラブルなビデオエンコーディングデバイス１０に対して相補的な提案されたスキームに従って構成される）ビデオデコーディングデバイスだけが、ＰＰＧ信号をそこからデコードして取り出すために概ね用いられ得る。

ビデオデコーディングデバイス５０の概略ブロック図の第１の実施形態が図２に示される。このビデオデコーディングデバイスにより、ＰＰＧ信号は、圧縮されたビデオストリーム（又は、組み合わせられたビデオストリーム）から再現され得る。

詳細には、入力において、デコーダ入力ビデオストリーム１５０が、格納及び／又は伝送の間にもたらされた妨害から離れて分離ユニット６０におけるエンコーダ出力ビデオストリーム１４０に対応すべきである組み合わせられたビデオストリームである場合には、ベースレイヤビデオストリーム１２０及び強化レイヤビデオストリーム１３０に対応すべきであるベースレイヤビデオストリーム１６１及び強化レイヤビデオストリーム１６２が取り出される。

第１のデコーダ７０において、（第１の符号化されたビデオデータとも呼ばれる）ベースレイヤビデオストリーム１６１は、とりわけ第１のエンコーダ２０により使用された第１のエンコーディングスキームに対して相補的である第１のデコーディングスキームに従って、デコードされる。出力は、ビデオデータ１０１に対応すべき第１のデコードされたビデオデータ１７０である。

第２のデコーダ８０において、（第２の符号化されたビデオデータとも呼ばれる）強化レイヤビデオストリーム１６２は、第２のエンコーディングスキームに従ってエンコードされる。第２のデコーダ８０の出力は、ビデオデータにおいて示される人の生物測定情報を供給するＰＰＧ信号１８０である。それ故、この実施形態において、強化レイヤビデオストリーム１３０及び１６２は、それぞれ、ＰＰＧ信号を抽出するために必要とされるビデオ情報を運ぶためにのみ用いられる。

詳細には、デコーダユニット８１において、好ましくはＲＯＩのクロミナンス成分のみが、第２のデコードされたビデオデータ１８１としてデコード及び出力され、それ故、関心のある領域を示すビデオデータの品質を向上させる。加算ユニット８２において、合計ビデオデータ１８２は、第２のデコードされたビデオデータ１８１を、デコードされたベースレイヤビデオストリーム１７０に加えることにより形成される。

選択ユニット８３はエリア（関心のある領域）１８３を規定し、これは、強化レイヤビデオデータ１８１により改良され、ＰＰＧ信号の抽出のために用いられるだろう。斯様な関心のある領域を規定するために、圧縮されたクロミナンスブロックの座標は、例えば強化レイヤビデオストリーム１６２に含まれるＲＯＩ情報を読み込むことにより、又は、画像分析により、好ましくは、対応するＲＯＩ情報１８４を抽出した第１のデコーダから得られる。

ＰＰＧ抽出ユニット８４において、ＰＰＧ信号抽出アルゴリズムは、１又はそれ以上のＰＰＧ信号１８０を得るために選択ユニット８３により選択される空間的な関心のある領域１８３に適用される。

ＰＰＧ抽出アルゴリズムは、パラメータの手動調整によるリアルタイム又は非リアルタイムであり得る。更に、本発明は、概して、特定のアプリケーションに依存して、ビデオデータが記録された後に生物測定信号抽出の任意の特定の方法の選択を可能にする。それ故、同じビデオが、異なる生物測定信号（例えば、心拍数、心拍変動性、ＳｐＯ２、呼吸、ＰＰＧイメージング）の抽出に対して用いられ得る。

それ故、本発明は、バイタルサイン抽出を可能にする目的で、ビデオ圧縮の間におけるＳＮＲ又は品質スケーラビリティの既知のコンセプトを変更する。提案されたコンセプトにおいて、ベースレイヤエンコーダは、ＰＰＧ基本情報の損失を伴う（概して）比較的低い視覚的品質でビデオストリームを圧縮する一方で、強化レイヤエンコーダは、従来技術から知られているように追加の解像度によるよりはむしろ、ＰＰＧ基本情報を失うことなく、（元のビデオとデコードされたベースレイヤとの間の差分として得られる）残りのビデオデータの１又はそれ以上の関心のある領域を圧縮する。

本発明は、ビデオストリーミングのためにも、圧縮されたビデオ材料の格納のためにも用いられ得る。通常、ベースレイヤビットストリームのみが、基本的な品質でビデオデータを得るために伝達又は解凍されるだろう。生物測定信号が皮膚エリアから抽出されるべき場合にのみ、ＰＰＧ基本情報を有する強化レイヤが伝達又は解凍されるだろう。この手法において、圧縮されたビデオにおける生物測定情報の保存と圧縮効率との間の最適なトレードオフが実現され得る。

本発明によるビデオエンコーディングデバイス１０´及びビデオデコーディングデバイス５０´の他の実施形態が図３及び４に示される。

ビデオエンコーディングデバイス１０´の実施形態において、エンコーディングユニット３５´は、強化レイヤビデオストリーム１３０´へのＰＰＧ信号抽出のために必要とされるクロミナンス成分だけでなく、ビデオ（又は、１若しくはそれ以上のビデオフレーム）のより多く（又は、全て）のピクセルのための強化情報を含むように適合される。この場合において、デコードされたベースレイヤビデオストリーム１７０及びデコードされた強化レイヤビデオストリーム１８１の組み合わせ１８２は、向上した視覚的品質を有する強化されたビデオシーケンスを供給し、これは、デコードされたベースレイヤビデオストリーム１７０より高い画像品質を有するデコードされたビデオデータとして、別々に出されてもよく用いられてもよい。

より更に、ビデオデコーディングデバイス５０´の実施形態において、選択ユニット８３´は、強化されたビデオストリーム１８２のフレームに適用されてもよく、独立して、又は、ベース及び強化レイヤのデコーダからのビット−バジェット情報に基づいて、ＰＰＧ信号抽出のための適切なエリアを選択することができる。第２の場合において、クロミナンス成分に対して費やされるより高いビット−バジェット（即ち、より多くのビット）を有する皮膚ブロック及び／又はエンコードされた内部ブロックが、ＰＰＧ信号抽出のために最適になるように選択されるだろう。

本発明によるビデオエンコーディングデバイス１０´´の更に他の実施形態が図５において概略的に示される。この実施形態は、図１に示されたビデオエンコーディングデバイス１０の実施形態に非常に類似しているが、加えて、デコーディングユニット３６及びＰＰＧ信号抽出ユニット３７がエンコーディングユニット３５´´により形成されたフィードバックループ内に設けられる。このフィードバックループは、選択された関心のある領域１０４に割り当てられるビットの数を制御する、即ち、ＰＰＧ関連情報がエンコードされた関心のある領域１３０において保存されることを確認するために、選択された関心のある領域１０４をエンコードするために使用されるエンコードの設定を制御する。

それ故、デコーディングユニット３６は、（第１のエンコーディングユニット３０´´により適用された第１のエンコーディングスキームに対して相補的であるデコーディングスキームを適用する）エンコードされた関心のある領域１０４をデコードし、ＰＰＧ信号抽出ユニット３７は、デコードされた関心のある領域１０５からＰＰＧ信号１０６を抽出する。そして、第１のエンコーディングユニット３０´´は、ＰＰＧ信号が充分な品質を有するかどうか、又は、エンコードのために使用される設定が抽出されたＰＰＧ信号の品質を増大させるために変えられる必要があるかどうか（例えば、より多くのビットがエンコードされた関心のある領域のために割り当てられることを必要とするかどうか、及び／若しくは、圧縮速度を低くする必要があるかどうか）、を決めることができる。それ故、デコーディングデバイスにおいてＰＰＧ信号が充分な品質で抽出され得ることが保証され得る。

要約すると、提案された発明は、ビデオ圧縮（解凍）後にＰＰＧ信号の抽出を可能にする。ＰＰＧ抽出アルゴリズムのタイプ、複雑さ及び精度、並びに、ＰＰＧ信号のタイプ（例えば、心拍数、心拍変動性、ＳｐＯ２）は、具体的なアプリケーションに基づいて選択され得る。例えば、幾つかのアプリケーションは、心拍数情報のみの抽出を必要とし得る一方で、他のものは、心拍間隔の正確な鼓動信号、又は／及び呼吸、又は／及びＳｐＯ２（oxygenation）を必要とし得る。更に、本発明は、手動で最適なパラメータを選択及び調整するという可能性により、圧縮されたビデオからのＰＰＧ信号のオフライン（非リアルタイム）の抽出を可能にする。

概して、本発明は、特定のエンコーディング／デコーディングスキームに限定されるものではない。概して、第１のエンコーディングスキームは、第２のエンコーディングスキームよりも損失が多い（lossy）。第２のエンコーダのエンコーディングユニットにより実行されるエンコードは、例えば、内部ブロック及び／又はブロック間符号化技術を用いてもよい。例えば、一実施形態において、強化レイヤの選択された画像エリア（関心のある領域）に関連付けられたクロミナンスチャネルの内部ブロック又はブロック間の少なくともＤＣ成分はロスレスでエンコードされる。

より更に、一実施形態において、ループ内のデブロッキングフィルタ（in-loop de-blocking filter）は、少なくとも、選択された画像エリア（及び、場合によりこれらの隣接ブロック）のクロミナンス成分に対してオフにされる。標準のビデオコーディングアルゴリズムの幾つかは、ノイズのレベル、（デブロッキングによる）符号化アーチファクトを低減させるために、又は、ビデオを空間的にダウンスケーリングすることにより品質対ビットレートのトレードオフを最適化するために、エンコードされるビデオに対する処理を適用する。本発明の実施形態において、斯様な処理は、第２のエンコーディングスキームにおける選択された画像エリアの少なくともクロミナンス成分には適用されない。

本発明が図面及び前述の説明において示され、詳述された一方で、斯様な図例および説明は、例示又は単なる例であり、限定するものではないものとみなされるべきである。本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他のバリエーションは、図面、開示及び添付の特許請求の範囲の研究から、当業者によって理解され、実施され得る。

請求項において、"有する"という用語は他の要素又はステップを除外するものではなく、単数表記は複数を除外するものではない。単一の要素又は他のユニットが請求項に記載された幾つかのアイテムの機能を実現してもよい。特定の手段が相互に異なる従属請求項に記載されるという単なる事実は、これらの手段の組み合わせが有効に用いられ得ないことを示すものではない。

コンピュータプログラムは、他のハードウェアと共に又はこの一部として供給される光記憶媒体又はソリッドステート媒体のような、適切な持続媒体に格納／分配されてもよいが、インターネット又は他の有線若しくは無線通信システムを介するような、他の形式において分配されてもよい。

請求項中のいかなる参照符号も、その範囲を限定するものとして解釈されるべきでない。

Claims (15)

1. ビデオデータをエンコードするためのビデオエンコーディングデバイスであって、
   ｉ） 第１のエンコーディングスキームに従って入力ビデオデータをエンコードし、前記入力ビデオデータよりも低い品質を有する第１の符号化されたビデオデータを出力するための第１のエンコーダと、
   ｉｉ） ＰＰＧ関連情報を保存する第２のエンコーディングスキームに従って入力ビデオデータをエンコードし、第２の符号化されたビデオデータを出力するための第２のエンコーダとを有し、
   前記第２のエンコーディングユニットは、
   − とりわけ前記第１のエンコーディングスキームに対して相補的なデコーディングスキームに従って前記第１の符号化されたビデオデータをデコードし、中間ビデオデータを出力するためのデコーディングユニットと、
   − 前記中間ビデオデータと前記入力ビデオデータとの間の差分を決定することにより差分ビデオデータを形成するための減算ユニットと、
   − 強いＰＰＧ信号を供給する前記差分ビデオデータにおける関心のある領域を選択するための選択ユニットと、
   − 前記差分ビデオデータの選択された関心のある領域をエンコードし、これを前記第２の符号化されたビデオデータとして出力するためのエンコーディングユニットとを有する、ビデオエンコーディングデバイス。
2. 前記入力ビデオデータを分析して強いＰＰＧ信号、とりわけ最も強いＰＰＧ信号を供給する関心のある領域を決定し、前記差分ビデオデータにおいて前記関心のある領域を選択するための前記選択ユニットに前記関心のある領域の位置に関するＲＯＩ情報を供給するための分析ユニットを更に有する、請求項１に記載のビデオエンコーディングデバイス。
3. 前記エンコーディングユニットは、前記差分ビデオデータにおける選択された関心のある領域だけでなく、追加の領域又は完全な差分ビデオデータをもエンコードするように適合される、請求項１に記載のビデオエンコーディングデバイス。
4. 前記減算ユニットは、前記中間ビデオデータのビデオフレームと前記入力ビデオデータの対応するビデオフレームとの間のピクセルベースの差分を決定することにより前記差分ビデオデータを形成するように適合される、請求項１に記載のビデオエンコーディングデバイス。
5. 前記選択ユニットは、前記差分ビデオデータにおける前記関心のある領域の少なくともクロミナンス成分（とりわけクロミナンス成分のみ）を選択するように適合され、
   前記エンコーディングユニットは、前記差分ビデオデータにおける選択された関心のある領域の少なくともクロミナンス成分（とりわけクロミナンス成分のみ）をエンコードするように適合される、請求項１に記載のビデオエンコーディングデバイス。
6. 前記エンコーディングユニットは、前記差分ビデオデータにおける選択された関心のある領域の少なくともクロミナンス成分（とりわけクロミナンス成分のみ）のブロック間又はブロック内部のＤＣ成分だけをエンコードするように適合される、請求項１に記載のビデオエンコーディングデバイス。
7. 前記エンコーディングユニットは、前記入力ビデオデータにおける選択された関心のある領域の位置に関するＲＯＩ情報のエンコード又は前記第２の符号化されたビデオデータへの追加のために適合される、請求項１に記載のビデオエンコーディングデバイス。
8. 前記選択ユニットは、強いＰＰＧ信号、とりわけ最も強いＰＰＧ信号を供給する前記差分ビデオデータにおける２つ以上の関心のある領域を選択するように適合され、
   前記エンコーディングユニットは、前記差分ビデオデータの選択された関心のある領域をエンコードし、これらを前記第２の符号化されたビデオデータとして出力するように適合される、請求項１に記載のビデオエンコーディングデバイス。
9. ビデオデータをエンコードするためのビデオエンコーディング方法であって、
   第１のエンコーディングスキームに従って入力ビデオデータをエンコードし、前記入力ビデオデータよりも低い品質を有する第１の符号化されたビデオデータを出力するステップと、
   とりわけ前記第１のエンコーディングスキームに対して相補的なデコーディングスキームに従って、前記第１の符号化されたビデオデータをデコードし、中間ビデオデータを出力するステップと、
   前記中間ビデオデータと前記入力ビデオデータとの間の差分を決定することにより差分ビデオデータを形成するステップと、
   強いＰＰＧ信号を供給する前記差分ビデオデータにおける関心のある領域を選択するステップと、
   前記差分ビデオデータの選択された関心のある領域をエンコードし、これを、ＰＰＧ関連情報を保存する第２の符号化されたビデオデータとして出力するステップとを有する、ビデオエンコーディング方法。
10. エンコードされたビデオデータをデコードするためのビデオデコーディングデバイスであって、前記エンコードされたビデオデータは、第１のエンコードスキームに従ってエンコードされ、入力ビデオデータより低い品質を有する第１の符号化されたビデオデータを有し、ＰＰＧ関連情報を保存する第２のエンコーディングスキームに従ってエンコードされた第２の符号化されたビデオデータを有し、
    前記ビデオデコーディングデバイスは、
    ｉ） 第１のデコーディングスキームに従って前記第１の符号化されたビデオデータをデコードし、第１のデコードされたビデオデータを出力するための第１のデコーダと、
    ｉｉ） 第２のエンコーディングスキームに従って前記第２の符号化されたビデオデータをデコードし、ＰＰＧ信号を出力するための第２のデコーダとを有し、
    前記第２のデコーディングユニットは、
    − とりわけ前記入力ビデオデータをエンコードするために使用される前記第２のエンコーディングスキームにおいて使用されるエンコーディングスキームに対して相補的なデコーディングスキームに従って、前記第２の符号化されたビデオデータをデコードし、前記第１の符号化されたビデオデータにおける選択された関心のある領域の位置に関するＲＯＩ情報を取り出し、第２のデコードされたビデオデータ及び前記ＲＯＩ情報を出力するためのデコーディングユニットと、
    − 前記第１のデコードされたビデオデータに前記第２のデコードされたビデオデータを加えることにより加算ビデオデータを形成するための加算ユニットと、
    − 前記ＲＯＩ情報を用いて前記加算ビデオデータにおける関心のある領域を選択する選択ユニットであって、前記関心のある領域は、強いＰＰＧ信号、とりわけ最も強いＰＰＧ信号を供給する、選択ユニットと、
    − 前記加算ビデオデータにおける選択された関心のある領域から前記ＰＰＧ信号を抽出するためのＰＰＧ抽出ユニットとを有する、ビデオデコーディングデバイス。
11. 前記デコーディングユニットは、前記第２の符号化されたビデオデータの少なくともクロミナンス成分（とりわけクロミナンス成分のみ）をデコードするように適合される、請求項１０に記載のビデオデコーディングデバイス。
12. 前記デコーディングユニットは、選択された関心のある領域の符号化されたビデオデータだけでなく、追加の領域又は完全な入力ビデオデータの符号化されたビデオデータをも有する第２の符号化されたビデオデータをデコードするように適合される、請求項１０に記載のビデオデコーディングデバイス。
13. エンコードされたビデオデータをデコードするためのビデオデコーディング方法であって、前記エンコードされたビデオデータは、第１のエンコードスキームに従ってエンコードされ、入力ビデオデータより低い品質を有する第１の符号化されたビデオデータを有し、ＰＰＧ関連情報を保存する第２のエンコーディングスキームに従ってエンコードされた第２の符号化されたビデオデータを有し、
    当該ビデオデコーディング方法は、
    第１のデコーディングスキームに従って前記第１の符号化されたビデオデータをデコードし、第１のデコードされたビデオデータを出力するステップと、
    とりわけ前記入力ビデオデータをエンコードするために使用される前記第２のエンコーディングスキームにおいて使用されるエンコーディングスキームに対して相補的なデコーディングスキームに従って、前記第２の符号化されたビデオデータをデコードし、前記第１の符号化されたビデオデータにおける選択された関心のある領域の位置に関するＲＯＩ情報を取り出し、第２のデコードされたビデオデータ及び前記ＲＯＩ情報を出力するステップと、
    前記第１のデコードされたビデオデータに前記第２のデコードされたビデオデータを加えることにより加算ビデオデータを形成するステップと、
    前記ＲＯＩ情報を用いて前記加算ビデオデータにおける関心のある領域を選択するステップであって、前記関心のある領域は、強いＰＰＧ信号、とりわけ最も強いＰＰＧ信号を供給する、ステップと、
    前記加算ビデオデータにおける選択された関心のある領域から前記ＰＰＧ信号を抽出するステップとを有する、ビデオデコーディング方法。
14. ビデオデータをエンコード及びデコードするためのビデオ符号化システムであって、
    入力ビデオデータをエンコードするための請求項１に記載のビデオエンコーディングデバイスと、
    前記ビデオエンコーディングデバイスによりエンコードされたエンコードされたビデオデータをデコードするための請求項１０に記載のビデオデコーディングデバイスとを有する、ビデオ符号化システム。
15. コンピュータプログラムがコンピュータ上で実行されたときに請求項９又は請求項１３に記載の方法のステップを前記コンピュータに実行させるためのコンピュータプログラムコード手段を有する、コンピュータプログラム。

Images