JP2009147987A - Ecg/ppgベースのバイオメトリクスのためのテンプレート合成 - Google Patents

Ecg/ppgベースのバイオメトリクスのためのテンプレート合成 Download PDF

Info

Publication number
JP2009147987A
JP2009147987A JP2009079451A JP2009079451A JP2009147987A JP 2009147987 A JP2009147987 A JP 2009147987A JP 2009079451 A JP2009079451 A JP 2009079451A JP 2009079451 A JP2009079451 A JP 2009079451A JP 2009147987 A JP2009147987 A JP 2009147987A
Authority
JP
Japan
Prior art keywords
image
camera system
light source
video camera
shutter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009079451A
Other languages
English (en)
Other versions
JP4965597B2 (ja
Inventor
Bernard Tichit
ティシ,ベルナール
Bruno Botte
ボット,ブリューノ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2009147987A publication Critical patent/JP2009147987A/ja
Application granted granted Critical
Publication of JP4965597B2 publication Critical patent/JP4965597B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used

Abstract

【課題】本発明は、画像と同時に、画像のフィルム化ポイントの各々の距離に関係する情報を与えるテレメトリ手段(8乃至10)と適合するビデオカメラを提供する。
【解決手段】距離に関係する情報に関して計算されるクリップキーは、色付けされた背景を用いることなく、クロマキーと同じ方法で計算されることが可能である。
【選択図】図1

Description

本発明は、特別な効果をもつビデオカメラに関し、特に、特定の効果を容易にすることを可能にするテレビカメラに関する。
ビデオカメラはフィルム映像画像シーケンスをフィルム化する役割を果たす。特にテレビ放送の間に、映像画像シーケンスを使用し、異なる種類の処理を必要とする。既知の種類の処理においては、特別な効果は、画像において多少なりとも詳細を加えまたは差し引くようにフィルム画像のシーケンスを修正する役割を果たす。一部の処理を容易にするため且つライブ操作を可能にするために、種々の方法が知られている。
1つの技術は、クロマキーによる埋め込みを用いる。この技術は、例えば、青または緑に色付けされたシーンを用い、背景の色の検出は、ビデオミキサにおける正確なクロミナンスの検出によりリアルタイムに1つまたはそれ以上の対象を分離することを可能にする。この方法は、フィルム化された被写体の背景進化を変化させるために、テレビおよび映画において広く使用されている。設定を仮想的に再生するために画像を二重に埋め込みまたは撮影角を特定するように数種類の色を同時に頼ることがまた、知られている。
概して、この技術は、幾つかの欠点はあるが、非常に満足できるものである。欠点に関しては、第1の欠点は、ライティングの色を変化させる被写体に用いてはならない背景色に関連する。第2の欠点は、エッジ効果、すなわち、被写体と背景との間の遷移部分における色の変化である。第3の欠点は、埋め込まれた背景が対象を必要とするとき、対象の部分的なマスキングに関係する。第4の欠点は、非常に単純であって、特別に設置されたスタジオにおける撮影の必要性に関連する。
上記の欠点を最小化または低減するための解決方法が存在する。しかしながら、それら解決方法の幾つかは高い費用が必要であり、ライブで使用することができず、または視認的な欠陥が現れる原因になる。屋外でフィルム化されたシーンの背景の完全な消去は、画像毎の処理とオペレータのスキルを必要とする冗長な操作である。
本発明は、同じ品質を有するライブの操作を可能にすることにより色付けされた背景を削除することを可能にするビデオカメラを提供する。色付けされた背景を除去するために、そのビデオカメラは、画像と同時に、画像のフィルム化ポイントの各々の距離に関する情報を提供するテレメトリ手段に適応する。それ故、ビデオミキサは、色付けされた背景を使用することなくクロマキーを用いるのと同様な方法で距離に関する情報について計算されるクリップキーを用いることが可能である。
本発明は、少なくとも1つの画像の各々のポイントに対しておよび少なくとも1つの画像と同時に、カメラと画像のポイントに対応する対象のポイントとの間の距離に関する情報を提供するために、映像画像ストリームとテレメトリ手段とを提供する画像捕捉手段を有するビデオカメラシステムを提供する。このテレメトリ手段は、間欠性不可視光源と、間欠性不可視光源の不可視光の範囲内で機能するイメージセンサと、不可視光の範囲内で機能するイメージセンサの前に設けられるシャッタと、シャッタおよび間欠性不可視光源を同期化するための同期化手段と、反射情報を距離に関する情報に変換するための処理手段と、を有する。不可視光領域で機能するイメージセンサは、シャッタが開放されおよび/または間欠性不可視光源が連続的に点灯している間に、第1画像を撮影し、同期化方法で間欠性不可視光源とシャッタが数回開閉する間に、第2画像を撮影する。第1画像と第2画像は交互的である
以下の詳細説明を、添付図面を参照して読むことにより、本発明はより理解され、他の特定の特徴および優位性が明らかになるであろう。
本発明に従ったカメラを示す図である。 本発明の動作原理を示す図である。 本発明の動作原理を示す図である。 本発明の動作原理を示す図である。 本発明に従った距離の計算のための回路を示す図である。 動作原理の変形を示す図である。 異なる動作パラメータを用いる使用モードを示す図である。 本発明に従った小型カメラの変形を示す図である。
図1は、同じ光軸14に設置された、ズームを含む可能性がある対物レンズ1、第1光スプリッタ2、および第2光スプリッタ3から構成される、本発明に従ったビデオカメラを示している。第1光スプリッタ2は、対物レンズ1と第2光スプリッタとの間に設置される。第1光スプリッタ2は、例えば、可視光スペクトルの下に位置付けられる赤外光を、光軸14に垂直な方向に偏光させるダイクロイック表面から構成され、可視光スペクトルに対して透明の状態を保つ。第2光スプリッタ3は、赤、緑および青の光を3つの異なる方向に分離するために、ダイクロイック層から構成される既知のプリズムスプリッタである。
CCD(Charge Coupled Device:電荷結合素子)タイプの3つの画像センサ4、5および6は、画像処理回路に、赤、緑および青の画像をそれぞれ提供するために、既知の技術に従って、第2光スプリッタ3の周囲に設置される。画像処理装置は、全ての処理と従来の業務用品質を得るために必要な補正を実行し、映像ストリームを提供する。アセンブリは、第2光スプリッタと、3つのCCD4乃至6と、画像処理回路7とから構成されるが、それらに関してはさらに詳細に説明しない。
赤外画像センサ8は、画像捕捉手段3乃至7によりフィルム化された画像に対応する赤外線画像を撮るためにスプリッタの偏向軸において第1光スプリッタ2の近くに設置される。好適には、赤外線画像センサ8は、同じ空間解像度を有するように、そして対物レンズを通る可視光のように振舞う可視光に近い赤外線放射を用いて機能するように、画像を捕捉するために用いられる同じタイプのCCDである。赤外線画像を距離に関係する情報に変換するために、シャッタ9が、CCD8により見ることができる赤外線放射をサンプリングするために、第1光スプリッタ2とCCD8との間に設置される。赤外線源10はパルス化方式でフィルム化シーンを照明し、同期化回路11は、CCDへの距離の光集積を直接生成するように、シャッタ9、赤外線源10およびCCD8を同期化する。シャッタ9は、機械的手段(例えば、ステッパーモータにより駆動されるディスク)または光バルブのどちらかにより作製されることが可能である。赤外線源10は、例えば、0.7乃至0.8μmの範囲内の波長における、例えば、可視光に近い赤外線を放射する赤外線ダイオードのパネルから構成される。画像の各々のポイントに対して、ポイントに固有の距離情報が割り当てられるような画像処理を並行して用いて、距離を計算するための回路12は、赤外線画像を距離情報に変換する。
図2は、用いられるテレメトリ装置の一般的な動作原理を示している。この図においては、減衰することなく赤外光を反射する、カメラからの距離dに置かれた一様な背景をカメラは撮影する。図2aは、赤外線源10により生成されるパルス化照明を示している。赤外線源10は、周期TIRの半分の期間、点灯される。図2bは、一様な背景により反射される赤外光に対応するカメラの対象により受け取られる赤外光を示している。受け取られる光は放射光と同じ形をしたパルス化光であるが、赤外線源10から一様な背景まで、および一様な背景からカメラの対物レンズまでその光が移動するために必要とされる時間に等しい時間により位相は不一致である。赤外線源10およびカメラが一様な背景に平行な平面内にある場合、図2bに関する図2aの光列の遅延Rtは2*d/cに等しく、ここで、cは光の速度である。図2cは、赤外線源10と同期化されたシャッタ9の開放を示している。図2dは、シャッタを介して、CCD8により受け取られる赤外光を示している。画像を撮る時間の間に、CCDは、受け取られた光の合計を累積し、センサにより累積された光が距離に関係する一様な画像を提供する。
図3においては、曲線20は、赤外線源10からの赤外線放射の理想的な反射率を有するフィルム化された対象の距離の関数として、CCDのポイントの階調レベルに対応する。曲線21は、距離の関数としての光の減衰に対応する。曲線20は、半周期のD=c*TIR/4倍した曲線21の三角波信号21の積に対応する。距離情報は絶対的なものではなく、それ自身距離に依存することを当業者は理解することができる。しかしながら、Dに等しい被写界深度が使用される場合、距離情報は実質的に線形であることに留意する必要がある。
CCD8により実行される光集積を最適化するために、CCD8により画像をサンプリングしている期間の間に、全体の照明周期を有することは好適である。例えば、フレーム周波数の複数倍の照明周波数と複数分の1の画素周波数とが選択される。例示として、周期TIRは画素周波数に等しく、すなわち、13.5MHzであり、例えば、周期TIR=74がとられる。このとき、一部の場合に適する距離Dは約5.5mである。
しかしながら、現実のシーンがフィルム化されるとき、フィルム化される対象全ては、可視光または不可視光に関して理想的な反射率を有することは稀である。フィルム化された対象の反射率により問題を排除するためには、シーンを構成する対象の明度が距離を考慮されることなく測定される基準画像を使用することは好ましい。第1の解決方法は、2つの画像のうち1つの画像について距離の測定を実行することを有する。しかしながら、現在のCCDは、50または60Hzである、通常の画像周波数より数倍大きい画像サンプリング周波数において用いられることが可能である。従って、本発明の好適な実施形態に従って、CCD8は、画像を捕捉する役割を果たすCCD4乃至6の2倍の速さで動作する。
図4aは、可視画像の時間的捕捉を示している。第1周期T1に対して、CCD4乃至6は1つのフレーム(または、カメラがプログレッシブモードで動作する場合には1つの画像)に集積する。周期T1に続く周期T2の間に、CCD4乃至6は周期T1の間に受信フレームに出力し、次のフレームに集積する。
図4bは、周期T1の前半の半分の間、開放された状態を保ち、周期T1の後半の半分の間に赤外線源10と同期化状態で光のサンプリングを実行するシャッタ9の開放状態を示している。周期T1の前半の半分の間に、赤外線源10は、連続的にまたは間欠的に点灯されることが可能である。また、周期T1の前半の半分の間に、赤外線源10は連続的に点灯され、シャッタ9は交互に開閉されることが可能である。大事なことは、周期T1の前半の半分の間に、赤外線基準フレームがある、すなわち、光変調から独立しているフレームは、シャッタ9と赤外線源10とにおいて同時に実行されることである。
図4cは、CCD8により実行される光集積を示している。周期T1の前半の半分に対して、CCD8は、周期T1の間に集積されたフレームに対応するフレームRD1の赤外線における集積を実行する。周期T1の後半の半分の間に、CCD8はフレームRD1に対応するポイントを提供し、赤外線において実行される光変調を用いて距離情報を有するフレームD1であって、周期T1の間に集積されたフレームに対応するフレームD1の集積を実行する。周期T2の前半の半分の間に、CCD8はフレームD1に対応するポイントを提供し、赤外線においてフレームRD2の集積を実行し、フレームRD2は周期T2の間に集積されるフレームに対応している。周期T2の後半の半分の間に、CCD8はフレームRD2に対応するポイントを提供し、赤外線において実行される光変調を用いて距離情報を有するフレームD2の集積を実行し、D2は周期T2の間に集積されるフレームに対応している。
フレームRD1(第1画像)とD1(第2画像)と(およびフレームRD2(第1画像)とD2(第2画像)と)は同じシーンに対して時間的に対応していないが、それた両方は、周期T1の間に集積された画像フレームに対応している。これら2つのフレームの集積を時間的に逆にすること、またはCCDにより可能である場合により多くのフレームを使用することさえ、可能であることが、当業者には理解されるであろう。
距離情報のみを有するフレームを保持するために、簡単な技術は、フレームRD1により、フレームD1を、ポイント毎に分割することから構成される。具体的には、フレームRD1のポイントの階調は次のように表されることが可能である。すなわち、ng1=P1*RP1+GS1であり、ここで、P1は赤外線源10により放射された光パワーであり、ここで、RP1は、赤外線源10とフィルム化ポイントとの間の距離に関連する反射率と減衰とを有する減衰係数であり、GS1は関心のある赤外線スペクトルにおけるポイントの自然な輝度である。それ故、フレームD1のポイントの階調は、ng2=P2*RP2*KM+GS2と表すことが可能であり、ここで、P2は赤外線源10により放射された光パワーであり、RP2は赤外線源10とフィルム化ポイントとの間の距離に関連する反射率と減衰とを有する減衰係数であり、KMは赤外線源10とシャッタ9との間の光変調に関連する距離係数であり、GS2は関心のある赤外線スペクトルにおけるポイントの自然な輝度である。比ng2/ng1がとられる場合、比(P2*RP2*KM+GS2)/(P1*RP1+GS1)が得られる。自然の赤外線画像が、0.7μmと0.8μmの間の波長に対応するスペクトルにおける赤外線照明により生成される赤外線画像と比較される場合、自然な画像は非常に弱く、無視できると考慮し得ることに留意する必要がある。自然の輝度を無視することにより、比ng2/ng1はP2*RP2*KM+GS2となる。ここで、赤外線輝度パワーP1はk*P2に等しく、ここで、kは、源10がシャッタ9開を継続することにより変調されるか否かに依存して、1または1/2に等しい係数である。さらに、フレームRD1とフレームD1は、空間的に、CCD8の同じポイントに対応する。シーンがフレームRD1とフレームD1との間で殆ど変化しないことを仮定する場合、PR1=PR2が得られる。それ故、比ng2/ng1は、殆どKM/kに等しい。
対象の反射率が小さい場合、計算は不正確になり得ると当業者は思うであろう。しかしながら、興味のある赤外線域において、14ビットの解像度を有することを可能にし、それ故、低輝度レベルに対して十分正確であることを可能にする、85dBのダイナミックレンジをCCDが有するため、対象全ては、CCDにより容易に回復されることが可能である最小反射率を有する。
図5は、距離を計算するための回路12の例示としての実施形態を示している。計算回路12の入力は、CCDにより前に集積された画像を有する一連のポイントの形式で赤外線画像センサ10から生じるデータを受け取る。メモリ30は、データがRDiフレーム、すなわち、赤外線基準フレームであるとき、CCDからのポイントを記憶し、CCDがフレームDi、すなわち、距離を表す赤外線フレームを提供するとき、記憶されたフレームのポイントを1つの出力において回復する。分割回路31は、赤外線イメージセンサ10とメモリ30に接続された第2入力部とから生じる一連のポイントを受け取る第1入力部を有する。好適には、分割回路31は、aおよびbが第1入力部および第2入力部それぞれにある値である、出力部において、bが0に等しい場合に結果としてk*a/bまたは0を与えるLUT(ルックアップテーブル)の名前で周知の対応表を用いて、作製される。赤外線画像イメージセンサ10がフレームDiに対応する一連のポイントを提供するとき、メモリ30は、同期化方式で、フレームRDiに対応するポイントを提供し、それ故、演算回路12は、その両方の入力部において、画像と同じ場所に位置付けされる2つのポイントを同時に受け取る。従って、分離回路31の出力部は、情報フレームの各々のポイントに対して、KM=k*ng2/ng1を供給する。FIFO(先入れ先出し)タイプのバッファメモリ32は、画像処理回路7により供給される画像ポイントと距離データを同期化するために駆動回路の出力部に接続される。
図6は、同期化を変化させることによるシステムの有効な改善を示している。距離に関する情報が距離の周期関数に対応することを上記のように理解した。理想的には、この関数の線形または殆ど線形領域に手を加えることである。しかしながら、カメラの近くに位置付けられたその領域は、いずれかの対象から非常に自由であり、距離制御を必要としない。
図6aは、赤外線源10により生成されたパルス化照明を示している。図6bは、カメラの対物レンズ1により受け取られた赤外光を示している。図6cは、赤外線源10と同期化されたシャッタ9の開放を示している。図6dは、シャッタを通ってCCDにより受け取られた赤外光を示している。図6eは、フィルム化された対象の距離の関数として距離係数KMの曲線表示を示している。
位相シフトdTが、シーンが照明される周期とシャッタ8が開閉される周期との間に導入される。位相シフトdTは上記の遅延Rtから差し引かれる。従って、c*dTに等しい信号KMの周期を有する位相シフトが得られる。位相シフトdTは、式Dm=c*dTによってカメラを使用するための最小距離Dmにより決定される。用語、カメラを使用するための最小距離、は、フィルム化される対象以外の要素が確実に存在しないカメラに平均距離に対して理解される必要がある。
図7は、異なる照明周期TIRを用いる動作の例を示している。図7aは、被写界深度を限定する建物102の前のライン101により示されたカメラの対物レンズのアパチャにより範囲を定められたシーンをフィルム化する、本発明に従って作製されたかめらにより、屋外でピクチャを撮影する様子を表している。そのピクチャを撮影する目的は、その建物102の前の領域105において動く二人の人103および104をフィルム化することである。この例においては、建物102と領域105との間にある領域106を、制御することはできず、人107乃至109は、ピクチャを撮影している間に。そこに移動することが可能である。
図7bは、74nsecの赤外線照明周期TIRを使用することによる距離情報KMを表す曲線を示している。最小距離Dmは、例えば0.5mに設定される。情報KMが距離に比例すると考えられる第1領域はDmとDとの間であり、Dは約6mに等しい場合、周期は約11mである。ピクチャを撮影する例において、領域105は約6mの領域内に位置づけられ、領域106は約11.5mの領域内に位置付けられ、建物は約17mの領域に位置付けられることが理解できる。領域106から不所望の人を取り除くことができるように、閾値S1との簡単な比較により距離情報からクリップキーを計算することが可能である。クリップキーにより取り除かれる画像のそれらの部分は、領域105の人を伴わないで撮影された基準画像を用いて置き換えられることが可能である。基準画像はまた、
人103および104を伴わないピクチャを撮影する少し前に撮影された数個の画像から再構成された画像とすることが可能である。
ピクチャの撮影がテレビに対するライブレポートに対応する場合、前もって基準画像を
撮影することにより、背景に移動する人を取り除くことが可能である。対照的に、建物102の完全な除去は、距離情報KMが領域105と建物102とに対して同じレベルにあるため、距離情報に基づいて計算されるカットキーを用いて実行することはできない。
他方、例えば、222nsecの周期TIRを選択する場合、距離の関数としての情報KMは図7cに対応する。情報KMが距離に対して比例すると考えられる第1動作領域はDmとDとの間であり、ここで、Dは約17mに等しい。領域106から人だけを取り除くことが所望される場合、クリップキーは閾値S2およびS3を用いて計算される。さらに、建物102を取り除くことが所望される場合、閾値S2のみがクリップキーのために考慮される必要がある。
好適には、距離情報KMが、被写界深度の関数として調整されることができるように、赤外線照明周波数のマニュアル調整が提供される。
上記のカメラは外付けの赤外線源10を使用する。本発明に従って設けられる携帯型カメラを有するために、赤外線源はカメラであって、例えば対物レンズの周囲全てに固定することが可能である。
また、照明パワーを減少させるために、対物レンズを通ってフィルム化されるシーンのみを照明することが可能である。図8は、赤外線カメラ源10bが対物レンズ1を通して照明するコンパクトバリアント(compact variant)を示している。源10bは、実質的に一方向に向けられた赤外光ビームを供給するためにフォーカシング手段と適合する赤外線ダイオードのアレイを用いて、作製される。半反射スプリッタ15は、対物レンズ1と第1光スプリッタ2との間の対物レンズの軸において設置される。半反射スプリッタ15は、赤外光の80%が通過することを可能にし且つ赤外光の20%を反射する面から構成される。従って、源10bからの赤外光の20%は、赤外線スペクトルにおいてフィルム化されたシーンを照明するように、対物レンズにより方向付けられる。イメージセンサにより受け取られた光は20%まで減衰される。
本発明の他の変形は可能である。本発明に従って、画像捕捉装置は対物レンズの光軸上に位置付けられ、赤外線装置は実質的に垂直な軸上に置かれる。この例示としての実施形態は比較的小型になる優位性を有する。しかしながら、画像捕捉装置がその光軸上にないことがまったく可能であり、一方で可視光を取り出し、他方で赤外光を取り出すための光学距離を有することは重要である。
上記の例に従って、一方で、赤外光と可視光とを分離するために、他方で、可視光を赤、緑および青の光に分離するために、2つのスプリッタを使用する。1つのスプリッタを、それら4種類の光に分離するために用いることが可能である。
上記の例に従って、赤外光を用いる。この選択は、標準的な対物レンズを用いることが可能であるため、製造の容易化により影響される。しかしながら、他の不可視放射、例えば、紫外光、または他のタイプの放射線を用いることが可能である。しかしながら、全ての放射線が可視光のように振舞うわけではなく、また、用いられる可視光と不可視光に対して同じ焦点を実質的に有することを可能にするより高価な対物レンズを用いることが必要である。
上記の例に従って、可視光画像が撮影される間に、2つの赤外線画像が撮影され、距離を計算するために、第1赤外線画像は第2赤外線画像のための反射率として保存される。これら2つの画像を逆にすることが可能であり、さらに複雑且つさらに正確な計算を得るために、さらに多くの数の画像を用いることが可能である。
1 対物レンズ
2 第1光スプリッタ
3 第2光スプリッタ
4、5および6 画像センサ
7 画像処理回路
8 赤外画像センサ
9 シャッタ
10 赤外線源
12 計算回路
14 光軸
30 メモリ
31 分割回路
32 バッファメモリ

Claims (7)

  1. 映像画像ストリームを捕捉して、供給するための画像捕捉手段、及び
    少なくとも1つの画像を提供するとともに、該画像の各々のポイントについて、カメラと前記画像のポイントに対応する対象ポイントとの間の距離に関する情報を提供するためのテレメトリ手段、
    を有するビデオカメラシステムであって、
    前記テレメトリ手段は、
    光源、
    該光源の光領域において機能するイメージセンサ、
    該イメージセンサの前に置かれたシャッタ、
    該シャッタと前記光源とを同期化するための同期化手段、及び
    前記光源から発せられ、前記シャッタを経由し、前記対象ポイントにより反射された光の反射情報を距離に関する情報に変換するための処理手段、
    を有し、
    前記イメージセンサは、前記シャッタが開放され続けて、前記光源が連続的に点灯している間に第1画像を撮影し、前記光源がオンオフし、それに前記シャッタが開閉を同期化して繰り返している間に第2画像を撮影し、前記第1画像及び第2画像を交互に撮影し、前記第1画像及び第2画像に関連する前記反射情報に基づいて前記距離を求める
    ことを特徴とするビデオカメラシステム。
  2. 請求項1に記載のビデオカメラシステムであって、前記光源は赤外光源である、ことを特徴とするビデオカメラシステム。
  3. 請求項1または2に記載のビデオカメラシステムであって、前記光源はカメラの内部に置かれている、ことを特徴とするビデオカメラシステム。
  4. 請求項1乃至3のいずれか一項に記載のビデオカメラシステムであって、前記画像捕捉手段は3つのCCDを有し、不可視光領域で機能するイメージセンサは前記画像捕捉手段において用いられるCCDと同じ種類のCCDである、ことを特徴とするビデオカメラシステム。
  5. 請求項4に記載のビデオカメラシステムであって、前記画像捕捉手段と対物レンズとの間に光スプリッタを有し、前記光スプリッタは可視光と不可視光とを2つの異なる方向に分離する、ことを特徴とするビデオカメラシステム。
  6. 請求項4に記載のビデオカメラシステムであって、前記不可視光領域において機能するイメージセンサは、前記画像捕捉手段に属するCCDの画像周波数の2倍である画像周波数において機能する、ことを特徴とするビデオカメラシステム。
  7. 請求項1乃至6のいずれか一項に記載のビデオカメラシステムであって、前記シャッタと前記光源とが同期化して動作するときに前記シャッタのシャッティングと前記光源とオンオフとの間に位相シフトが存在する、ことを特徴とするビデオカメラシステム。
JP2009079451A 2001-11-27 2009-03-27 特別効果ビデオカメラ Expired - Lifetime JP4965597B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR01/15408 2001-11-27
FR0115408A FR2832892B1 (fr) 2001-11-27 2001-11-27 Camera video d'effets speciaux

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003548526A Division JP4825401B2 (ja) 2001-11-27 2002-11-15 特別効果ビデオカメラ

Publications (2)

Publication Number Publication Date
JP2009147987A true JP2009147987A (ja) 2009-07-02
JP4965597B2 JP4965597B2 (ja) 2012-07-04

Family

ID=8869897

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003548526A Expired - Fee Related JP4825401B2 (ja) 2001-11-27 2002-11-15 特別効果ビデオカメラ
JP2009079451A Expired - Lifetime JP4965597B2 (ja) 2001-11-27 2009-03-27 特別効果ビデオカメラ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2003548526A Expired - Fee Related JP4825401B2 (ja) 2001-11-27 2002-11-15 特別効果ビデオカメラ

Country Status (6)

Country Link
US (1) US7259375B2 (ja)
EP (1) EP1449358B1 (ja)
JP (2) JP4825401B2 (ja)
DE (1) DE60239285D1 (ja)
FR (1) FR2832892B1 (ja)
WO (1) WO2003047241A1 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4931288B2 (ja) * 2001-06-08 2012-05-16 ペンタックスリコーイメージング株式会社 画像検出装置と絞り装置
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US8947347B2 (en) 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離(rgb−z)センサー
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
EP2408193A3 (en) * 2004-04-16 2014-01-15 James A. Aman Visible and non-visible light sensing camera for videoing and object tracking
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
DE502006004474D1 (de) * 2006-02-02 2009-09-17 Alstom Technology Ltd Messvorrichtung
US8395658B2 (en) 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8840470B2 (en) 2008-02-27 2014-09-23 Sony Computer Entertainment America Llc Methods for capturing depth data of a scene and applying computer actions
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
ES2463390T3 (es) * 2011-06-24 2014-05-27 Tomra Systems Asa Máquina expendedora inversa y método de representación mediante imágenes para ella
IL217361A0 (en) * 2012-01-04 2012-03-29 Rafael Advanced Defense Sys Device & method providing combined video camera and range finder functionality
CN104243840A (zh) * 2014-09-22 2014-12-24 电子科技大学 一种在强光下获取目标图像的方法及装置
EP3214462B1 (en) * 2016-03-04 2021-04-28 ams AG Optical sensor arrangement
US10902626B2 (en) 2018-04-11 2021-01-26 International Business Machines Corporation Preventing intrusion during video recording or streaming
JP6974252B2 (ja) * 2018-05-15 2021-12-01 京セラ株式会社 電磁波検出装置および情報取得システム
JP7257751B2 (ja) * 2018-07-27 2023-04-14 京セラ株式会社 電磁波検出装置
JP2020016622A (ja) * 2018-07-27 2020-01-30 京セラ株式会社 電磁波検出装置および情報取得システム
JP2020016602A (ja) * 2018-07-27 2020-01-30 京セラ株式会社 電磁波検出装置および情報取得システム
JP2020073894A (ja) * 2019-12-25 2020-05-14 京セラ株式会社 電磁波検出装置および情報取得システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60170778A (ja) * 1984-02-08 1985-09-04 ドルニエ、ゲゼルシヤフト、ミツト、ベシユレンクテル、ハフツング コード化測距画像作成方法
JPH109834A (ja) * 1996-06-19 1998-01-16 Olympus Optical Co Ltd 3次元画像入力装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
CN1253636A (zh) * 1995-06-22 2000-05-17 3Dv系统有限公司 远心光阑3维照相机及方法
DE19619186C1 (de) * 1996-05-02 1998-01-02 Pco Computer Optics Gmbh Verfahren sowie System zur Erstellung eines Bildes
EP1214609B1 (en) * 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60170778A (ja) * 1984-02-08 1985-09-04 ドルニエ、ゲゼルシヤフト、ミツト、ベシユレンクテル、ハフツング コード化測距画像作成方法
JPH109834A (ja) * 1996-06-19 1998-01-16 Olympus Optical Co Ltd 3次元画像入力装置

Also Published As

Publication number Publication date
JP4965597B2 (ja) 2012-07-04
US7259375B2 (en) 2007-08-21
EP1449358A1 (en) 2004-08-25
WO2003047241A1 (en) 2003-06-05
US20050077470A1 (en) 2005-04-14
EP1449358B1 (en) 2011-02-23
FR2832892A1 (fr) 2003-05-30
FR2832892B1 (fr) 2004-04-02
DE60239285D1 (de) 2011-04-07
JP4825401B2 (ja) 2011-11-30
JP2005521276A (ja) 2005-07-14

Similar Documents

Publication Publication Date Title
JP4965597B2 (ja) 特別効果ビデオカメラ
US9100581B2 (en) Time interleaved exposures and multiplexed illumination
AU2002306508B2 (en) Method and apparatus for inhibiting projection of selected areas of a projected image
US7436403B2 (en) Performance relighting and reflectance transformation with time-multiplexed illumination
JP3276637B2 (ja) コントラスト向上照明装置
JP3241327B2 (ja) クロマキーシステム
IL225194A (en) A method for distinguishing a background from a front view of an environment and replacing a background with an image of an environment
JP2007215088A (ja) 面順次方式カラーカメラシステム
US20120162390A1 (en) Method of Taking Pictures for Generating Three-Dimensional Image Data
CN103371795A (zh) 图像处理装置和图像处理方法
JP5694332B2 (ja) オブジェクトの外観を強調するための照明システム及び方法
JP2004021388A (ja) 画像処理装置及びそれを備えた撮影システム
US20130083997A1 (en) Temporally structured light
US20050057663A1 (en) Video processing
US20030063191A1 (en) Method and system for detecting and selecting foreground objects
US6529243B1 (en) Method for electronic reduction of the contrast of video images as early as during recording
JPH11155808A (ja) 内視鏡撮像装置
JP2016015017A (ja) 撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラム
JPH08139982A (ja) 固体撮像装置
Carbonara et al. High Frame Rate Capture and Production
KR100661528B1 (ko) 적응형 크로마키 합성 장치 및 그 방법
US20170287140A1 (en) High quality Lightning resilient segmentation system using active background
KR20050015737A (ko) 조명제어에 의한 사실적 영상합성 방법
JPS5937777A (ja) 電子的撮像装置
JPH0447871A (ja) 物体抽出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120329

R150 Certificate of patent or registration of utility model

Ref document number: 4965597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250