JP2013536610A - 距離測定を含むシーン背景ぼかし - Google Patents

Abstract

テレビ会議において捕捉されているシーンの２つ以上の物体の異なる距離は、２つ以上の色チャンネルの内の最鮮明値を測定し、該２つ以上の色チャンネルの内の最鮮明値の測定に基づいて距離を計算することによって測定される。前記異なる距離の測定に基づいて、物体らの少なくとも１つは、前景物体または背景物体、或いはこれら各々の１つ以上として識別される。本技術は、距離の測定にさらに基づいて、少なくとも１つの背景物体又は少なくとも１つの前景物体以外のシーンの１つ以上の部分、或いはそれらの組み合わせを、ぼかす或いは他の不明瞭なレンダリングを行うことを含む。
【選択図】図２

Description

優先権

この出願は、２０１０年９月１６日に提出された米国特許出願第１２／８８３，１９２号及び２０１０年７月６日に提出された米国仮特許出願第６１／３６１，８６８号に対して優先権を主張する。

背景

テレビ電話会議は、オフィステレビ電話会議システム、パーソナルコンピュータ、及び移動電話機を含む電話装置のような、種々様々の装置を使用して行うことができる。したがって、テレビ会議は、会社のオフィス、個人の住宅、インターネットカフェ、さらには路上さえをも含む様々なロケ地で使用することができる。テレビ会議カメラがテレビ会議で視聴する或いは参加する全ての者に参加者のロケ地を明らかにするので、テレビ会議を開催することについての多くの可能性及び様々なロケ地は、問題を引き起こし得る。例えば、参加者の住宅の私的な場所からテレビ電話会議がなされる場合、参加者の個人の環境及び彼又は彼女の世帯の構成者がテレビ電話会議に露出され撮影され得ることから、参加者のプライバシーが危険にさらされ得る。不注意に或いはテレビ会議の背景に現われるプライバシーや他の商的問題の秘密を維持できるようにすることが望まれる。そのようなアイテムがテレビ会議中に公開されない或いは共有されないことを保証する技術を有することが望まれる。

距離測定は、軸上色収差補正、監視手段及び安全手段を含む幾つかのアプリケーションにおいて重要である。物体と測定装置との距離を計算するための能動的な方法は、通常、反映される電磁気または到達する音波の所要時間の測定に基づくものであり、測定装置（例えばソナー、レーダー）によって測定される。距離測定の能動的な方法は、測定装置と物体との間の中間地点にある対象物によって悪影響を受ける。現在の受動的な方法は、オートフォーカス機構を使用する。しかしながら、距離の測定は、典型的には、レンズ位置の変更によって焦点距離を変えることを含んでおり、それはカメラ付き携帯電話機及び他の多くのカメラ対応の装置において利用可能ではない。

デジタルカメラは、通常、センサーから受信される検出結果に基づいて露光量を制御するように設計された虹彩モジュールを装備している。サイズ及びコスト制限により、カメラ付き携帯電話機は、通常、固定された絞り値であり、従って固定のＦ値を有する。既存の機械的な虹彩モジュールは、光学モジュールの増加した価格、虹彩モジュールの高さが約１ｍｍであり、より大きな機械的な感度、電力の消費量、及び複素積分（収率）による要因から増加した光学モジュールの波形率、により、それらの最も単純な形式でカメラ付き携帯電話機に組み込むのでさえ困難である。

デジタルカメラは、通常、センサーから受信される検出結果に基づいて露光量を制御するように設計された虹彩モジュールを装備する。サイズ及びコスト制限により、カメラ付き携帯電話機は、通常、固定された開口部であり、従って固定のＦ値を有する。携帯電話機のカメラは、一般に、Ｆ／２．４乃至Ｆ／２．８の範囲でのＦ値を提供する口径を有している。より高い値（Ｆ／２．８）の利点は主としてその画像分解能にあるが、微光状態下での低機能が難点となり得る。より低い値のＦ／２．４は、より速いレンズの焦点深度及び画像解像度、つまり微光状態下のより良い性能に対して妥協する。代替的に、Ｆ／＃を変更する代わりに露光量を制御するために、ＮＤフィルターが使用されてもよい。いくつかの最高級のモジュールは、機械的に調整可能な開口部を使用して、前述の問題に取り組む。カメラ付き携帯電話機に虹彩モジュールを組み入れることは、可変Ｆ値を提示し、被写体ぶれの縮小、改善されたＳＮＲ及び向上された分解能による画質改善を含む多数の利点を達成する。加えて、カメラ付き携帯電話機への虹彩モジュールの組み入れは、可変被写界深度、つまり、ぼけ味効果（Ｂｏｋｅｈ ｅｆｆｅｃｔ）による「雰囲気（ｆｅｅｌ）」のようなものをデジタルスチルカメラに授ける傾向が生じ得る。カメラ付き携帯電話機に虹彩モジュールを組み入れることの不利益は、光学モジュールの価格増加、約１ｍｍである虹彩モジュール高さによる増加される波形率、より大きな機械的感度、電力の消費、及び複素積分（収率）を含む。使用者が不利益なしに機械的虹彩の利点を享受することができ、デジタルスチルカメラの「雰囲気」を経験することができるデジタル虹彩を備えることが望まれる。

図１Ａは前景における人の顔及びはっきり視認できる背景物品を含むテレビ会議表示部を示す図であり、図１Ｂは、ぼかされた背景に対する人の顔、首及び肩を含むテレビ会議表示部を示す図である。 特定の実施の形態に従った典型的な方法のフローチャートである。 特定の実施の形態に従った典型的な方法のフローチャートである。 特定の実施の形態に従ったデジタル虹彩（ｄｉｇｉｔａｌ ｉｒｉｓ）を示す図である。 １ｍｍ当たりの計算されたＭＴＦ曲線と、同じ焦点距離での低いＦ／＃に対する高いＦ／＃についてのピンぼけ距離と、を対比して示すプロット図である。 特定の実施の形態に従ったデジタル虹彩を示す図である。 特定の実施の形態に従った、計算されたＭＴＦ曲線とスルーフォーカスＭＴＦのプロットを示す図である。 特定の実施の形態に従った、計算されたＭＴＦ曲線とスルーフォーカスＭＴＦのプロットを示す図である。 特定の実施の形態に従った、縦色収差の知識を使用する深度推定を示す図である。 特定の実施の形態に従った、縦色収差の知識を使用する深度推定を示す図である。 特定の実施の形態に従った、オートフォーカス収束中の相対的な鮮明度測定を示す図である。 特定の実施の形態に従った、深度図を用いて焦点深度を制御することを示す図である。 特定の実施の形態に従った、デジタル虹彩を使用した拡張被写界深度を示す図である。 特定の実施の形態に従った、デジタル虹彩を使用したオートフォーカスモードを示す図である。 特定の実施の形態に従った、デジタル虹彩を使用した、ぼけ味効果を示す図である。 図１１乃至図１３に示された３つの異なるモードの比較を示す図である。 特定の実施の形態に従った、狭開口モードにおいてデジタル虹彩を使用した拡張被写界深度を示す図である。 特定の実施の形態に従った、遠距離フォーカスでの広開口モードにおいてデジタル虹彩を使用したオートフォーカスモードを示す図である。 特定の実施の形態に従った、デジタル虹彩を使用したぼけ味効果を示す図である。 図１５乃至図１７に示された３つの異なるモードの比較を示す図である。 特定の実施の形態に従った、狭開口モードにおいてデジタル虹彩を使用した拡張被写界深度を示す図である。 特定の実施の形態に従った、遠距離フォーカスでの広開口モードにおいてデジタル虹彩を使用したオートフォーカスモードを示す図である。 特定の実施の形態に従った、デジタル虹彩を使用したぼけ味効果を示す図である。 図１９乃至図２１に示された３つの異なるモードの比較を示す図である。

ぼかされた或いは不明瞭な背景に対するテレビ会議中の参加者を表示するための方法が提供される。特定の実施の形態に従った方法は、シーンのオートフォーカス捜索を行なうことを含み、ビデオ中に捕らえられているシーンの２つ以上の物体の異なる距離を測定することを含む。オートフォーカス捜索に基づいてシーンの深度図が生成される。異なる距離の測定に基づいて、物体の少なくとも１つは、前景物体又は背景物体、或いは各々の１つ以上であると識別される。本方法は、距離の測定にさらに基づいて、少なくとも１つの背景物体及び／又は少なくとも１つの前景物体以外のシーンの１つ以上の部分を、ぼかすこと或いは不明瞭な他のレンダリングを行うことをさらに含む。

ぼかされた或いは不明瞭な背景に対するテレビ会議中の参加者を表示するために、例えば図２のフローチャートに示されるような、さらなる方法が提供される。かかる方法は、ビデオ中に捕らえられているシーンの２つ以上の物体の異なる距離を測定することを含み、２つ以上の色チャンネルのうち最も鮮明なものを測定すること及び当該２つ以上の色チャンネルのうち最も鮮明なものの測定に基づいて距離を計算することを含む。異なる距離の測定に基づいて、物体の少なくとも１つは、前景物体又は背景物体であると識別され、或いは各々の一つ以上が識別される。当該方法は、さらに、距離の測定に基づいて、少なくとも１つの背景物体又は少なくとも１つの前景物体以外のシーンの１つ以上の部分を、ぼかすこと或いは不明瞭な他のレンダリングを行うこと、或いはこれらを組み合せることをさらに含む。

顔は、シーン内に検知されることができ、前景物体として指定する。例えば、前記顔に関連した人により話される言葉の音量、音色、または響きのバランスを向上させること、または前記顔のシーン内の輝度、色、コントラスト、或いはサイズまたは位置を向上させること、またはこれらを組み合わせること、のような音声または顔の視覚的なパラメーター或いは両方は、増強されることができる。本方法は、顔を特定の人のものとして認識及び識別することができ、また、前記顔は、格納された識別子でタグ付けされることができる。最も近い物体は、前景物体として指定されることができる。１つ以上の物体は、前景物体とは異なった距離にある背景として指定されることができる。最も近い物体または検知された顔、或いはこれら両方は、前景物体として指定されることができる。異なる距離の測定は、固定焦点レンズの使用を含むことができる。前景物体以外のシーンの部分は、検知され又は認識された顔或いは他の物体を含むことができ、また、本方法は、認識された顔或いは他の物体が内密のものである（そして、例えば、ぼかす或いは不明瞭にレンダリングする対象とする）と判定することができる。距離は、ビデオカメラ構成要素とシーン内の２つ以上の物体の少なくとも１つの物体との間の距離を含むことができる。シーン内の検知された顔に顔モデルを適用することに基づいて、１つ以上の距離が測定されることができる。２つ以上の色チャンネルの最も鮮明なものの測定は、以下の数式を計算することを含めることができる：

ここで、ＡＶｉは３つの色チャンネル｛ｊ｜ｒ，ｇ，ｂ｝についての画素の平均値であり、また、さらに下記数式の１つ又は両方を計算することを含めることができる：


または

ぼかされた或いは他の不明瞭な背景に対するテレビ会議中の参加者を表示するために、例えば図３のフローチャートに示されるような、他の方法が提供される。デジタル処理で獲得された画像内に顔が検知される。当該顔に対して顔モデルが適用される。当該顔モデルの適用に基づいて、ビデオカメラ構成要素からの顔の距離が測定される。顔以外のシーンの少なくとも１つの部分は、ビデオカメラ構成要素から顔とは異なる距離にある背景物体を含んでいると識別される。当該背景物体は、ぼかされる或いは他の不明瞭なレンダリングがなされる。

音響または顔の視覚的なパラメーター或いはこれら両方は、当該顔に関連した人により話される言葉の音量、音色、または響きのバランスを向上させること、または前記顔のシーン内の輝度、色、コントラスト、またはサイズまたは位置を向上させること、またはこれらを組み合わせること、のように増強されることができる。本方法は、顔を特定の人のものであると認識及び識別することを含み、また、当該顔が格納された識別子にタグ付けされることを含み得る。

本方法は、さらに、顔のサイズを増加させる又はセンタリングすること或いはこれら両方を行うことを含むことができる。顔の明るさ、輝度、コントラスト、色や色バランスの内の任意の１つ以上を向上させることができる。ビデオカメラ構成要素からの顔の距離の測定は、１つ以上の距離及び／又は検知された顔特徴の他の幾何学的な特性を判定することを含むことができる。ビデオカメラ構成要素からの顔の距離の測定は、２つ以上の色チャンネルの最鮮明値（ｓｈａｒｐｅｓｔ）を測定し、当該２つ以上の色チャンネルの最鮮明値の測定に基づいて距離を計算することを含むことができる。異なる距離の測定は、固定焦点レンズの使用を含むことができる。

２つ以上の色チャンネルの最鮮明値の測定は、下記数式を計算することを含むことができる：

ここで、ＡＶｉは、３つの色チャンネル｛ｊ｜ｒ，ｇ，ｂ｝についての画素の平均値であり、また、さらに、下記数式の１つ或いは両方を計算することを含むことができる：

または

本書に記載された方法の任意のものを遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを有する１つ以上のコンピューター可読の記憶媒体。

さらに、レンズ、及び画像センサーを含むビデオカメラと、マイクロホンと、表示部と、プロセッサーと、１つ以上のネットワークのコネクターと、本書に記載された任意の方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを有する記憶媒体と、を備えたテレビ会議装置も提供される。

シーン背景のぼかし

本方法は、テレビ会議参加者が焦点が合って写り、他方、彼らのまわりのシーンの残部がぼかされて見られることを可能にすることを提供する。したがって、参加者は、彼らが明るみにしたくない或いは共有したくない他の商用問題のプライバシー及び機密性を維持することができる。本方法は、参加者の顔識別及び参加者とレンズの間の距離の推定、または代替的に、参加者から距離を置かれているそれらの物体の識別を含むことができる。

本方法は、テレビ会議で参加者のプライバシーのメンテナンスを好都合に許し、秘密情報を保護し、呼び出しがなされている所からの位置の正確な本性を露呈することなく、任意の位置から呼び出しがなされるというそのような要求を可能にする。他の利点は、既存の顔識別ソフトウェアパッケージを使用する能力である。

テレビ会議でプライバシーを維持すること、すなわちシーン背景をぼかすこと（ＳＢＢ：Ｓｃｅｎｅ Ｂａｃｋｇｒｏｕｎｄ Ｂｌｕｒｒｉｎｇ）の前述の課題を解決する実施の形態が記述される。シーン背景をぼかすことは、シーンでの物体ら間の距離の実時間推定に基づく。特に、本方法は、カメラレンズとテレビ電話会議に参加する人の位置との間の距離を推定することを含むことができる。画像処理及びこの距離についての知識を使用して、レンズからのより大きな（及び／又はより小さな）距離に位置する他の全ての詳細をぼかすことが可能である（図１Ａ及び１Ｂを参照）。テレビ会議参加者とカメラレンズとの間の距離を推定するために、顔識別ソフトウェアは、参加者の位置を識別し、次に、参加者のレンズからの距離を推定するために使用されることができる。

或いは、システムは、どの物体が参加者よりもレンズからさらに遠ざかっているか判定することができる。したがって、参加者よりも遠方にある（及び／又はより近接した）情報を選択的にぼかすことが可能である。レンズから参加者までの距離或いは物体と参加者との間の相対的な距離は、以下に記述されるような様々な光学的性質を用いて測定することができる。例えば、光の波長と共に、焦点距離とレンズ材料の分散の関係、つまり屈折率の変化ｎを使用する方法が用いられることができる。異なる色に対する焦点面の異なる位置は、レンズからの物体の距離の測定を可能にする。さらに、参加者の相対的な距離の推定のために、６乃至７ｃｍであると知られている目の間の距離、或いは別の幾何学的な顔特徴または人間のプロファイル特徴を利用することが可能である。他の光学的性質もどの物体が識別された人よりも一層遠方であるか判定するために使用されることができる。これは、画像処理とＳＢＢの両方を含む光学系の一部として、或いはテレビ会議用に用いられるカメラ内で柔軟に実装されることができるソフトウェアシステムの一部として、達成することができる。

テレビ会議における参加者或いは画像の他の要素の鮮明で選択的な画像化が提供されることができ、一方、より離れた環境（及び／又は、机や同種の物のようなアイテムで、より接近している物体）がぼかされることができる。本方法は、参加者の顔識別及び参加者とカメラレンズとの間の距離の推定、或いは代替的に、参加者とは異なる距離にある物体の識別を含めることができる。

バイエル画像パターン上で適用される距離測定

カメラのレンズ材料の分散に関する焦点距離の依存性は、特定の実施の形態で用いられる。この依存性は、光の波長を備えた屈折率ｎの変化と関係する。異なる色に対する焦点距離の変化は、鮮明なチャンネル（Ｒ，Ｇ或いはＢチャンネルの内の１つ）を提供し、他方、残りのチャンネルはぼやける。これは、カメラレンズからの物体の距離の少なくとも１つの大まかな測定を可能にする。

距離測定の能動的な方法と異なり、受動的方法は、測定装置と物体の間の中間にあり得る（窓ガラス或いは木のような）物理的な対象物による影響がより少ない。さらに、受動的方法は、より正確な傾向がある。さらに、ＩＳＰ連鎖内のブロックの配置に顕著な柔軟性があるので、ＩＳＰ連鎖の一部であってバイエル画像パターンに直接作用する方法には有利である。さらに、距離は、固定焦点レンズで大まかに測定されることができる。特定の実施の形態に従う距離測定のための受動的方法は、分散手段を使用する、つまり、Ｒ、Ｇ及びＢの色チャンネル間での最も鮮明なチャンネルを見つけることを含む。

実施の形態は、バイエルパターン上で作動する受動の距離測定技術がここに記述され、それにより、両方の利点を組み合わせる。２つ以上の色の異なるウィンドウ及び異なる組み合わせが使用され得るが、一例において、９ｘ９バイエルウィンドウが使用され、また、３つの色（Ｒ，Ｇ，及びＢ）が使用されることができる。１つの実施の形態では、４つの色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）への拡張が含まれることができ、それにより、Ｇｒは赤ラインにおける緑の画素であり、また、Ｇｂは青ラインにおける緑の画素である。

赤い画素、緑の画素及び青い画素に対する３つの平均値が、それぞれ（ＡＶｒ，ＡＶｇ，ＡＶｇ）計算されることができる。情報の総量の基準が計算されることができる。そのような手段は、例えば、標準偏差或いは各色の平均絶対偏差の計算により、一般性の損失なしに得ることができる（後述の数式１及び２を参照）。その後、鮮明度測定が引き出されることができ、例えば、σｊ／ＡＶｊによって定義され、最も鮮明な色が選ばれる（後述の数式３を参照）。遠くの物体については、ステップ３に起因する大部分は「ｊ＝Ｒ」であり、他方、近い物体については、結果の大部分は「ｊ＝Ｂ」である。ほとんどの結果が「ｊ＝Ｇ」である場合には、当該物体は、中程度の距離（ｍｉｄ−ｒａｎｇｅ）に位置する。

近くから中距離まで、また続く遠距離までの遷移が段階的とすることができるので、距離測定は、一層精練されることさえ可能である。したがって、中距離と遠距離との間にある領域ではｊ＝Ｂ及びｊ＝Ｇの混合物が支配的であろう一方で、近距離と中距離との間にある領域ではｊ＝Ｂ及びｊ＝Ｇの混合物が得られるであろうことが期待される。したがって、物体とレンズの間の距離をより正確に測定するために、統計値を適用することが可能である（特定の色チャンネルが特定の領域内で最も鮮明になる）。

次の数式は、受動的方法において、バイエル（ＢＡＹＥＲ）画像パターン上で直接適用される距離測定のために使用されることができる。赤、緑及び青色の画素の３つの平均は、それぞれ（ＡＶｒ，ＡＶｇ，ＡＶｂ）と称することができる。

情報の総量についての測定は、一般性の損失無しで、次の例から与えられることができる：

または

最も鮮明なチャンネルは下記式によって提供されることができる：

デジタル虹彩

特定の実施の形態に従うデジタル虹彩システムは、変数Ｆ／＃の効果を達成することができる。加えて、当該システムは、低光量の捕捉中で低いＦ／＃を利用し、ぼけ味効果（これはＦ／２．４−４．８の典型的な機械式のカメラ付き携帯電話機の虹彩では通常達成されない）のような結果を創生する。このシステムは、被写界深度の制御によって、使用者に彼らの経験を増進させることができる。本システムの追加の利点としては、より低コスト、より低いモジュール高さ、より低い複雑さ、及び、より大きな強健さを含む。

デジタル虹彩は、機械的な虹彩を含まない装置でありながらその不利な側面のない機械的な虹彩を含む装置の利点で使用者を楽しませることができ、そしてデジタルスチルカメラの「感じること」を経験する。それらの利点は、低い光の環境、被写体ぶれの消去及び改善されたＳＮ比（ＳＮＲ）におけるより良い性能を含む。本システムの付加的な利点は、より低いコスト、より低いモジュール高さ、より低い複雑性、及びより大きな強健さを含む。

デジタル虹彩は、特定の実施の形態に従って提供され、被写体画像に関して動作し、撮影されるべき被写体の所望の１つ以上の部分の有利なデジタル露光を遂行する。その利点は、低光量の環境、被写体ぶれの消去、及び改善されたＳＮＲを含む。良好な光の状態の下では、使用者によって制御することができる大きな被写界深度が得られる。曇り（ｂｌｕｒ）効果が独自の審美的な品質を有する一方で、ぼけ味（Ｂｏｋｅｈ）効果は、それによって写真の背景が焦点ずれとなり、使用者の経験が増進されることができる。

レンズ設計のためのＦ／＃値に関する別個の２つの可能性があり、それは露光量の値に緊密に関係する。Ｆ値は、有効開口直径で除算された焦点距離（ｆ＿ｅｆｆ／Ｄ）と定義される。Ｆストップ（露光量）はそれぞれ、前のストップに関する光の強度を半分にする。低いＦ／＃のレンズ（広い開口）の場合については、利点は、短い露光時間、より少ない被写体ぶれ、焦点の高解像度、縮小された被写界深度−ぼけ味効果、及び改善された低い光での性能（同じ露光時間に対するより少ない雑音）を含む。特定の実施の形態では、より厳しい製作公差、製造エラーによるフレア、及び（ＡＦ技術の不足とともに）縮小された被写界深度のような不利益は、縮小或いは除去される。高いＦ／＃のレンズ（狭い開口）の場合については、利点は、大きな被写界深度、改善された低周波の振る舞い（コントラスト）、縮小されたフレア、より洗練された飽和端部及び緩和された製作公差を含む。特定の実施の形態では、長い露光時間、被写体ぶれ、及び微小光のノイズ性能のような損失が縮小或いは除去される。

特定の実施の形態に従うデジタル虹彩は、図４に示され、そこでは同じ焦点距離について低いＦ／＃と比較された高いＦ／＃のために(ミリメートルの単位での)ピンぼけ距離と対比して１ｍｍ当たり１８０のサイクルの空間周波数で計算されたスルーフォーカス法のＭＴＦを示す。図４では、スルーフォーカス法のＭＴＦに付け加えられた矢印は、ＭＴＦが０．１５を越えるピンぼけ距離の区切り範囲に相当する。ピンぼけ距離は、ピンぼけ距離の範囲が画像の解像のために十分なコントラストを提供する被写界深度を含む。図４は、より高いＦ／＃の場合のための増強された焦点深度を示す。我々の結果は、ＤＯＦがＦ／＃に直線的に依存することを示す。図５は、異なる光波長の約１ｍの撮影距離に関して、結像レンズ設計のために計算されたＭＴＦ曲線のプロットを示す。その得られた解像限界は、レンズのＦ／＃に反比例することが分かる。より低いＦ／＃レンズは、より高い空間分解能に達するが、場依存性はより大きい（主として接線の構成要素）。

一例として、デジタル虹彩は、特定の実施の形態において、Ｆ／２．４のＦ値に対してアドレス指定され得る。レンズは、広い開口レンズ、つまりＦ／２．４の低いＦ値で設計されることができ、そのような縮小されたＤＯＦ（図４を参照）は、「ＣＵＳＴＯＭＩＺＥＤ ＤＥＰＴＨ ＯＦ ＦＩＥＬＤ ＯＰＴＩＣＡＬ ＳＹＳＴＥＭ」と題され、２００７年１１月７日に提出された米国仮特許出願第６１／００２，２６２号に基づいて２００８年１１月７日に提出された米国特許出願ＰＣＴ／ＵＳ０８／１２６７０号明細書で記載されたような技術の使用により、Ｆ／４．８まで拡張される。図６は、この典型的な実施の形態に従った、デジタル虹彩アーキテクチャーの単純化されたブロックダイヤグラムを示す。図６に示されるように、デジタル虹彩は、この例において３つの独立した構成、すなわち、小さいＦ／＃及び拡張被写界深度（ＥＤｏＦ）標準の機械的なＡＦエンジン４を伴うレンズ２と、前処理部８を伴う画像処理アルゴリズム部６と、画像の深度図を生成する深度推移部１０と、を含む。さらに、フォーカスエンジン１２は、ＥＤｏＦを支援し、かつ景観に配慮したデジタルのぼかし機能及び後処理部１４をさらに提供するために使用されることができる。

図７Ａ及び７Ｂは、特定の実施の形態に従って計算されたＭＴＦ曲線及びスルーフォーカス法のＭＴＦのプロットを示す。図７Ａ及び７Ｂは、ＭＴＦ１ｍｍ当たり１８０のサイクルの空間周波数でＦ／２．４に対して計算されたスルーフォーカス法のＭＴＦが、図４中で示されるものと比較して拡張されたことを示す。ＭＴＦが０．１５を越えるものとなる、対応するピンぼけ距離の区切り範囲は、図４に示されるようなＦ／４．８のレンズのそれとほとんど等しい特定の実施の形態に従ってなる。計算されたＭＴＦ曲線は、Ｆ／２．４のレンズに対して図５で示されるような高い空間分解能を可能にする値を維持する。深度推定は、デジタル虹彩アプリケーションにとって有用である。良好な光の状態下では、大きな被写界深度が得られることができ、それは使用者によって制御可能である。深度図に使用される各画素について、焦点の場所及び距離は、最後に選択された焦点計画から測定されることが可能である。この距離は、デジタル後処理が適用されるときに、この画素にどの程度のぼかしを導入するかを決定するであろう。デジタル虹彩の本実施形態では、焦点面は、使用者の設定に従って、オートフォーカス（ＡＦ）エンジン４（図６を参照）によって決定されることができる。

深度図の生成のために使用されることができる一例のアプローチは、レンズ材料の分散に関する焦点距離依存性、つまり、光の波長にともなった、屈折率の変化ｎを使用することを含む。異なる色に対する焦点計画の異なる位置は、レンズからの物体の距離の測定を可能にするものであり、図８Ａ及び８Ｂで参照される。この技術は、受動的であり、バイエル（ＢＡＹＥＲ）パターン、つまり３つの色（Ｒ，Ｇ，及びＢ）に関して作動する。

他のアプローチ例は、（副標本画像を備えた）オートフォーカス（ＡＦ）収束中に相対的な鮮明度測定を使用するものであり、これは図９に示される。この実施の形態では、視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）に関する多数の位置で統計値が集められる（符号２２）。２４で、各関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）についての最良の焦点位置が決定される。２６で、深度図が生成される。

様々な画像位置で、ＡＦ収束プロセス中に試写ストリームに関して鮮明度統計値が集められることができる。異なる焦点位置で鮮明度を比較することにより、各位置に対しての最良の焦点位置が評価されることができる。ＡＦ収束の後、焦点位置測定から深度図が計算されることができる。

図１０は、例として、デジタル虹彩システムの実施の形態に従った、焦点エンジン２８によって焦点深度（ＤＯＦ）を制御するために使用される深度図２６を示す。深度図情報は、使用者により選択されたＦ／＃と共にフォーカスエンジン２８へ入力されることができる。このフォーカスエンジンは、鮮明さを増強する或いは画像を芸術的にぼかして所望の効果を達成するために使用されることができる。広いＤＯＦ（大きなＦ／＃）は、標準焦点アルゴリズムの適用により生成されることができる。狭いＤＯＦ（小さなＦ／＃）は、焦点面の外側の物体を幾分ぼかすことにより生成されることができる。ぼけ味効果は、大きなぼかしの適用により達成される（符号３０）。

ここで、図１１乃至２２は、３つのモジュールで得られた画像の多数の例を示す。図１１乃至１３は、３つの異なるモジュールで得られた画像を提示し、他方、図１４は、ＥＤｏＦを備えたデジタル虹彩の利点を表示する、それらの間の比較を提示する。図１５乃至１７は、狭開口と広開口及びぼけ味効果との間の比較を提示する。図１８は、ＥＤｏＦを備えたデジタル虹彩の利点を表示する、それらの間の比較を提示する。図１８乃至２１は、デジタル虹彩の利点を強調するために別の比較を提示する。図２２は、ＥＤｏＦを備えたデジタル虹彩の利点を表示する、それらの間の比較を提示する。

デジタル虹彩は、拡張被写界深度を備えた低いＦ／＃レンズ設計に基づくことができる。ぼけ味モードと同様に、レンズの被写界深度を縮小するための低いＦ／＃モード及び拡張被写界深度を維持するための大きなＦ／＃モードのデジタル処理モードも、すべて有利である。評価深度図は、ＡＦ収束中の相対的な鮮明度測定によって及び／又はレンズ材料の分散に依存した焦点距離に基づいて、生成されることができる。

特定の実施の形態では、ぼかされた或いは他の不明瞭な背景に対するテレビ会議中の参加者を表示する方法が提供される。ビデオ中に捕らえられているシーンでの２つ以上の物体についての距離が測定される。本方法は、距離の測定に基づいて少なくとも１つの物体を前景物体として識別すること、及び／又は、さらに距離の測定に基づいて、少なくとも１つの前景物体以外のシーンの１以上の部分をぼかす或いは他の不明瞭なレンダリングを遂行すること、を含むことができる。

特定の実施の形態では、ぼかされた或いは他の不明瞭な背景に対するテレビ会議中の参加者を表示する更なる方法が提供される。ビデオ中に捕らえられているシーンでの２つ以上の物体についての距離が測定される。本方法は、距離の測定に基づいて少なくとも１つの物体を背景物体として識別すること、及び／又は、さらに距離の測定に基づいて、少なくとも１つの背景物体以外のシーンの１以上の部分をぼかす或いは他の不明瞭なレンダリングを行うこと、を含むことができる。

顔は、シーン内に検知され、前景物体として指定されることができる。最も近い物体は、前景物体として指定されることができる。前景物体とは異なった距離にある１つ以上の物体は、背景として指定されることができる。最も近い物体または検知された顔あるいはこれら両方は、前景物体として指定されることができる。距離の測定は、２つ以上の色チャンネルの最鮮明値を測定すること及び当該２つ以上の色チャンネルの最鮮明値の測定に基づいた距離を計算することを含むことができる。

本発明の典型的な図面及び特定の実施の形態が記述され示されたが、本発明の範囲は、議論された特定の実施の形態に制限されものではないことが理解されるべきである。したがって、実施の形態は、限定的なものというよりむしろ例示的なものとみなされるべきであり、また、当業者によって、本発明の範囲を逸脱することなく、それらの実施の形態での変形例が作られ得ることが理解されるべきである。

加えて、好ましい実施の形態によってここに実行されることができる上述された方法では、オペレーションは、選択された活版印刷の順序で記述された。しかしながら、当該順序は選択されたもので、かつ活版印刷の便宜のために命じられたものであり、特定の順序が表明され得る場合、あるいは当業者が特定の順序を必要であると考える場合を除いて、オペレーションを行なうためにいかなる特定の順序も意味するようには意図されない。

Claims (15)

1. ぼかされた或いは他の不明瞭な背景を備えたテレビ会議中の参加者を表示する方法であって、
   光学系、画像センサー及びプロセッサーを含む画像化装置を使用すること；
   ２つ以上の色チャンネルの内の最も鮮明なものを測定し、前記２つ以上の色チャンネルの内の最も鮮明なものの測定に基づいて距離を算出することを含み、動画像中に捕らえられているシーンの２つ以上の物体の異なる距離を測定すること；
   前記異なる距離の測定に基づいて、前景物体または背景物体として少なくとも１つの物体、或いは各々の１つ以上を識別すること；及び、
   前記異なる距離の測定にさらに基づいて、少なくとも１つの背景物体、または少なくとも１つの前景物体以外のシーンの一以上の部分、或いはこれらの組合せを、ぼかす或いは不明瞭な他のレンダリングを行うこと
   を含む方法。
2. シーン内の顔を検知し、該顔を前景物体として指定することをさらに含む請求項１記載の方法。
3. 前記顔に関連した人により話される言葉の音量、音色、または響きのバランスを向上させること、または前記顔のシーン内の輝度、色、コントラスト、またはサイズまたは位置を向上させること、またはこれらを組み合わせること、をさらに含む請求項２記載の方法。
4. 前記顔を格納された識別子にタグ付けすることをさらに含む請求項２又は３記載の方法。
5. 最も近い物体を前景物体として指定することをさらに含む請求項１乃至４のいずれか記載の方法。
6. １つ以上の物体を前景物体とは異なる距離にある背景として指定することをさらに含む請求項１乃至５のいずれか記載の方法。
7. シーンのオートフォーカス捜索を遂行し、該オートフォーカス捜索に基づいてシーンの深度図を生成することをさらに含む請求項１乃至６のいずれか記載の方法。
8. 前記異なる距離の測定は、固定焦点レンズを使用することを含む請求項１乃至７のいずれか記載の方法。
9. 前記前景物体以外のシーンの一部は検出及び認識された顔又は他の物体を含み、前記方法はさらに、前記認識された顔又は他の物体が内密なものと判定することを含む請求項１乃至８のいずれか記載の方法。
10. 前記距離は、ビデオカメラ構成要素と、シーン内の２つ以上の物体の少なくとも１つとの間の距離からなる請求項１乃至９のいずれか記載の方法。
11. ２つ以上の色チャンネルの最鮮明値（sharpest）を測定し、前記２つ以上の色チャンネルの最鮮明値の測定に基づいて距離を計算することをさらに含む請求項１乃至１０のいずれか記載の方法。
12. 前記２つ以上の色チャンネルの最鮮明値の測定は、下記式に従って算出する請求項１１記載の方法。
    
    ここで、ＡＶiは、３つの色チャンネル｛ｊ｜ｒ，ｇ，ｂ｝についての画素の平均値である。
13. 前記２つ以上の色チャンネルの最鮮明値の測定は、さらに下記式に従って算出する請求項１１記載の方法。
    
    又は
    
14. 請求項１乃至１３のいずれか１項に記載の方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを有する１つ以上のコンピューター可読の記憶媒体。
15. レンズ及び画像センサーを含むビデオカメラと、
    マイクロホンと、
    表示部と、
    プロセッサーと、
    １つ以上のネットワークのコネクターと、
    請求項１乃至１３のいずれか記載の方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを有する、１以上のコンピューター判読可能な記憶媒体と、
    を備えたテレビ会議装置。