JP2017534899A - 色温度合わせのためのマルチledカメラフラッシュ - Google Patents

色温度合わせのためのマルチledカメラフラッシュ Download PDF

Info

Publication number
JP2017534899A
JP2017534899A JP2017514639A JP2017514639A JP2017534899A JP 2017534899 A JP2017534899 A JP 2017534899A JP 2017514639 A JP2017514639 A JP 2017514639A JP 2017514639 A JP2017514639 A JP 2017514639A JP 2017534899 A JP2017534899 A JP 2017534899A
Authority
JP
Japan
Prior art keywords
image
leds
led
color
sensor response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017514639A
Other languages
English (en)
Other versions
JP6258555B2 (ja
Inventor
ベラルド、ルーベン・マニュエル
サラザー、ナサニエル・ジェイ・トビアス
ハング、スゼポ・ロバート
ダール、サンディープ
ディン、ヘンジョウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017534899A publication Critical patent/JP2017534899A/ja
Application granted granted Critical
Publication of JP6258555B2 publication Critical patent/JP6258555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • G03B7/17Selection of modes in flash units by exposure control arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0503Built-in units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0564Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567Solid-state light source, e.g. LED, laser
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0564Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0571With second light source

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

いくつかの態様は、色温度分析および合わせのためのシステムおよび技法に関する。たとえば、黒体曲線上の非線形空間における周囲色温度の範囲のいずれかに合うように、異なる出力色の3つ以上のカメラフラッシュLEDが使用され得る。シーン色温度は、予備画像において実際のセンサーR/GおよびB/G比を決定することによって分析され、その後のホワイトバランス処理のために、参照光源による背景照明への前景フラッシュ照明のより正確なマッチングが可能になり得る。各LEDに提供される電流、およびその結果各LEDから発せられる明るさは、LEDの出力色の動的および適応的混合をもたらすために、決定されたセンサー応答に基づいて個々に制御され得る。

Description

[0001]本明細書で開示するシステムおよび方法は、画像取込みシステムおよび技法を対象とし、より詳細には、色温度分析および合わせを対象とする。
[0002]いかなる光源も、そのスペクトルプロット、すなわち波長ごとの光の量によって、一意に特徴付けられ得る。黒体(black body)放射体の色相の測定において光を特徴付けるために、相関色温度(CCT)が使用される。したがって、CCTは、光スペクトルに関して、すなわち、赤みがかったオレンジから黄および多少の白から青みがかった白までのライン上のそれらに関して、黒体放射体に実に近い光源を特徴付けるのに適している。CCTは、たとえば、緑または紫光の色温度を測定するのには適していない。それらの色相およびスペクトルは、黒体放射体からかけ離れているからである。昼光およびタングステン電球などの光源は、黒体によって作り出される光の分布に非常によく似ているので、色温度は、写真アプリケーションには有用な光の描写であり得るが、蛍光灯および大部分の商業用の照明など、その他のものは黒体とは著しくかけ離れている。
[0003]デジタルカメラは、一般に、太陽光に近づけた単一色に較正されたカメラフラッシュユニットまたはサブユニットを搭載されている。少ない周囲光またはシーン照明(illumination)の条件で、カメラフラッシュユニットは、画像取込み中に人工的に生成された光のフラッシュを発する。利用可能な周囲光とともに、カメラフラッシュユニットから発せられたフラッシュ光は、全体的なシーン照明を増やして、より明るい画像を可能にする。写真では、周囲照明(ambient lighting)のタイプは、画像シーンのCCTを規定し得る(すなわち、昼光、蛍光、タングステンなど)。フラッシュが使用されるとき、フラッシュの出力色(output color)は、画像シーンのCCTに合わないことがあり、結果として、特定の色かぶり(color cast)を示した、異なる周囲光条件の下で生成された画像をもたらす。周囲光の色温度および発せられたフラッシュの色が合わないとき、取込み画像には、前景および背景の物体に様々な色かぶりなどの不自然に見えるホワイトバランスが発生し得る。
[0004]場合によっては、カメラのホワイトバランスアルゴリズムがよりよく機能することを可能にするために、周囲光の決定されたCCTに、2色発光ダイオード(LED)フラッシュが合わされ得る。しかしながら、2つのLEDの使用は、出力照明の可能な色の線形範囲に対処する(allow)にすぎず、ある周囲照明によりよく合うが、その他を排除する。したがって、取込み画像における色かぶりは低減され得るが、出力照明色を周囲光色温度に合わせる能力は限られるので、すべての場合において解消され(eliminated)ないことがある。いくつかの例では、フラッシュの出力色が、周囲照明の色温度に合わない場合、これは結果として、フラッシュおよび周囲光から様々な色かぶりを有する取込み画像をもたらし、取込み画像にホワイトバランスを実行することを複雑にし得る。さらに、LED出力色とセンサー応答の両方に対しての製造ばらつきのために、センサーに合うように2つのLEDを選択することは困難であり得る。さらに、LEDの組み合わせた出力色を決定するために周囲光の決定されたCCTの使用が、カメラのホワイトバランスプロセスに対して最も適したフラッシュ出力色をもたらさないことがある。
[0005]特に前述の問題は、本明細書で説明される色温度分析および合わせ(matching)システムならびに技法によって、いくつかの実施形態において対処され(addressed)る。たとえば、高次元空間における周囲照明色の範囲のいずれかに合うように、3つ以上のカメラフラッシュLEDが使用され得る。3つ以上のLEDは各々、異なる出力色を有するように選択され得、これらの色は、すべてのまたは実質的にすべての一般的な周囲光源に合う組み合わせた出力色の範囲にわたって、LEDフラッシュユニットの出力色の微調整を可能にするように選択され得る。シーン色温度は、予備画像において実際のセンサー応答をR/GおよびB/G比に関して決定することによって分析され得、その後のホワイトバランス処理のために、参照光源(reference illuminant)による背景照明への前景フラッシュ照明のより正確なマッチングを可能にし得る。各LEDに提供される電流、およびその結果各LEDから発せられる明るさは、LEDの出力色の動的および適応的混合のために、決定されたセンサー応答に基づいて個々に制御され得る。
[0006]したがって、一態様は、ターゲット画像シーンの画像データを取り込むように構成された画像センサーと、複数のLEDを備えるフラッシュユニットと、ターゲット画像シーンの予備画像を備える画像データを受信し、予備画像のセンサー応答データに基づいて、ターゲット画像シーンの参照光源の相関色温度を決定し、複数のLEDの組み合わせた出力色が参照光源の相関色温度に合うまたはほぼ合うように、複数のLEDの各々に対する(for)電流量を決定し、その電流量で複数のLEDの各々を作動させることによって、ターゲット画像シーンの最終的な画像を取り込むように構成されたプロセッサとを備える、画像取込みシステムに関する。
[0007]別の態様は、決定された色温度フラッシュ出力を提供する方法に関し、本方法は、ターゲット画像シーンの予備画像を備える画像データを受信することと、予備画像のセンサー応答データに基づいて、ターゲット画像シーンの参照光源の相関色温度を決定することと、複数のLEDのフラッシュ出力色が参照光源の相関色温度に合うまたはほぼ合うように、フラッシュユニット内の複数のLEDの各々に対する電流量に基づいてフラッシュ出力色を決定することと、フラッシュ出力色を提供するためにその電流量で複数のLEDの各々を作動させることによって、ターゲット画像シーンの最終的な画像を取り込むこととを備える。
[0008]別の態様は、実行されると、1つまたは複数のプロセッサに、ターゲット画像シーンの予備画像を備える画像データを受信することと、予備画像のセンサー応答データに基づいて、ターゲット画像シーンの参照光源の相関色温度を決定することと、複数のLEDの組み合わせた出力色が参照光源の相関色温度に合うまたはほぼ合うように、フラッシュユニット内の複数のLEDの各々に対する電流量を決定することと、組み合わせた出力色を提供するためにその電流量で複数のLEDの各々を作動させることによって、ターゲット画像シーンの最終的な画像を取り込むこととを備える動作を実行させる命令を記憶する非一時的コンピュータ可読媒体に関する。
[0009]別の態様は、画像取込み装置を製造する方法に関し、本方法は、画像センサーを選択することと、フラッシュモジュールのための複数のLEDを選択することと、画像センサーと通信しているメモリを設けることと、複数の参照光源へのセンサー応答を決定することに少なくとも部分的に基づいてメモリに記憶するための参照光源データリポジトリをポピュレートすることとを備える。
[0010]別の態様は、決定された色温度フラッシュ出力を提供するためのデバイスに関し、本デバイスは、ターゲット画像シーンの予備画像を備える画像データを受信するための手段と、予備画像のセンサー応答データに基づいて、ターゲット画像シーンの参照光源の相関色温度を決定するための手段と、複数のLEDのフラッシュ出力色が参照光源の相関色温度に合うまたはほぼ合うように、フラッシュユニット内の複数のLEDの各々に対する電流量に基づいてフラッシュ出力色を決定するための手段と、フラッシュ出力色を提供するためにその電流量で複数のLEDの各々を作動させることによって、ターゲット画像シーンの最終的な画像を取り込むための手段とを備える。デバイスは、予備画像の所定の領域に関してR/GおよびB/Gセンサー応答比を決定するための手段と、予備画像の背景部分におけるグレーエリアに対応する画素を識別するための手段であって、グレーエリアに対応する画素のうちの少なくともいくつかが所定の領域を備える、識別するための手段とをさらに含むことができる。
[0011]開示する態様を限定するためではなく、開示する態様を例示するために与えられる、添付の図面および付属書類とともに、開示する態様について以下で説明し、ここにおいて、同様の表示は同様の要素を示す。
[0012]マルチLEDフラッシュユニットを有する画像取込みデバイスの一実施形態を示す図。 マルチLEDフラッシュユニットを有する画像取込みデバイスの一実施形態を示す図。 マルチLEDフラッシュユニットを有する画像取込みデバイスの一実施形態を示す図。 [0013]本明細書で説明する色温度合わせ(color temperature matching)技法を使用した画像取込みプロセスの一実施形態のフローチャート。 [0014]一般的な参照光源のCCT値と比較した3LEDフラッシュユニットの色温度出力の範囲の一実施形態を示す図。 [0015]一般的な参照光源のCCT値と比較した4LEDフラッシュユニットの色温度出力の範囲の一実施形態を示す図。 [0016]一般的な参照光源のCCT値と比較した5LEDフラッシュユニットの色温度出力の範囲の一実施形態を示す図。 [0017]本明細書で説明する色温度合わせ技法を使用したプリフラッシュ画像取込みプロセスの一実施形態のフローチャート。 [0018]色温度合わせ能力を有する画像取込みデバイスの一実施形態の高レベル概略図。
序論
[0019]開示の実施形態は、参照光源の色温度を表すセンサー応答の分析、および決定されたセンサー応答へのフラッシュユニット出力色のマッチングのシステムおよび技法に関する。たとえば、カメラフラッシュユニットは、異なる出力色を有するように各々選択された、3つ以上のLEDを含むことができ、LEDの各々は、画像シーンの周囲光(「参照光源」)の色温度特性へのセンサーの決定された応答に合わせるために、フラッシュユニットの出力色の微調整を可能にするように調節可能に照明され得る。各LEDに提供される電流、およびその結果各LEDから発せられる明るさは、LEDの出力色の動的および適応的混合のために個々に制御され得る。本明細書で説明する色温度合わせ技法のシーン色温度分析は、参照光源の色温度へのセンサー応答を決定するために、予備画像におけるR/GおよびB/G比に関する実際のセンサー応答を使用し、次いで、どの出力LED色を生成するかを決定するためにセンサー応答を使用し、参照光源による背景照明への前景フラッシュ照明のより正確なマッチングを可能にする。
[0020]出力フラッシュ色特性を制御するために複数のLEDを使用するとき、まずシーン背景における周囲光は、参照光源、すなわち背景における支配的な黒体放射温度色の色特性を決定するために分析され得る。一般に、色温度合わせプロセスでは、参照光源のCCTが決定される。しかしながら、ホワイトバランス(WB)プロセスは、取込み画像においてR/GおよびB/G比に関して現在の照明のセンサー応答を決定し、次いで、現在の照明の下で取り込まれたグレー色が最終的な画像においてグレー応答(R=G=B)を有するように、R、G,およびB(赤、緑、および青)チャネルのそれぞれに異なるゲインを適用しようと試みる。したがって、WBプロセスは、参照光源の計算されたCCT値をフラッシュの推定色出力と正確に合わせることによって、必ずしも最もよく機能する(serve)とは限らない。むしろ、本明細書で説明する色合わせ技法によれば、LEDフラッシュ出力および周囲照明が、R/GおよびB/G比によって特徴付けられ得る、センサー応答に関して同じ振る舞いをするとき、取込み画像は、より均一にホワイトバランスのとれたように見え得る。
[0021]この合わせを実現するために、本明細書で説明する色合わせ技法は、R/GおよびB/G比を調べる。これらはホワイトバランスに影響を及ぼすセンサー応答を一意に表すからである。センサー応答合わせは、フラッシュ出力色を決定するためには、計算された周囲CCTのマッチングよりもはるかに正確である。さらに、周囲照明(本明細書では「参照光源」とも呼ぶ)の計算されたCCTは、1次元の値であるが、ホワイトバランスは、2次元の値(R/GおよびB/Gセンサー応答比)に基づいて作用する(operate)。
[0022]いくつかの実施形態では、たとえば、プリフラッシュの使用を通して、またはプレビュー画像として、予備画像が取り込まれ得、予備画像は、R/GおよびB/G比を決定するために分析され得る。いくつかの実施形態は、予備画像の背景に対応する画素および前景に対応する画素を決定し、R/GおよびB/G比を決定するために背景画素を分析することができる。したがって、フラッシュは取込み画像において画像シーンの前景を照明することになり、参照光源は取込み画像において画像シーンの背景を照明し続けることになるので、フラッシュユニット色出力は、画像シーンの背景に合うように選択されることになり、より均一なホワイトバランスを有利にもたらす。
[0023]決定されたR/GおよびB/Gセンサー応答比は、フラッシュユニットLEDの各々に対する電流を決定するために使用され得る。異なるレベルの明るさを有する異なる色の様々なLEDを照明することによって、フラッシュユニットの出力色は、組み合わせたLED色が、周囲照明と比較されるとき、同じまたは同様のセンサー応答(R/GおよびB/G比)を有するように、適応的に混合され得る。これは、参照光源による背景照明への前景フラッシュ照明のより正確なマッチングをもたらし、したがって、その後のホワイトバランス処理の後の取込み画像により均一な色かぶりももたらす。したがって、フラッシュによって照明された前景の物体が、参照光源によって照明された背景の物体とともに取込み画像において見られるとき、より適切にホワイトバランスのとれたものに見えることになる。
[0024]さらに、色合わせにおけるR/GおよびB/Gセンサー応答の使用は、LEDおよびセンサーの一方または両方における製造ばらつきの補正を可能にする。たとえば、実際のセンサー応答は、規定の製造応答から最大(up to)20%変動する可能性がある。さらに、実際のLED出力色は、予想される色からずれる(shift)可能性がある。場合によっては、センサー応答およびLED出力色は、反対方向にずれ得、たとえ決定されたCCTを使用して色温度合わせが使用されても、その特定のセンサーおよびLED組合せを使用して取り込まれた画像における望ましくない色かぶりにつながり(lead to)得る。したがって、いくつかの実施形態では、特定のカメラに対してセンサーおよびLEDが選択された後、カメラは、たとえば、典型的な照明条件を表す様々な参照光源の下でテストされ得て、そのような参照光源の下でR/GおよびB/Gセンサー応答比のプロファイルを構築し得る。LEDは、個々におよび/または組み合わせて、LEDの実際の色出力への選択されたセンサーの実際の応答を決定するためにテストされ得る。したがって、特定のセンサー−フラッシュユニットペアを用いて取り込まれた画像の前景と背景との間で均一のまたは実質的に均一のホワイトバランスを実現するために、特定の参照光源へのセンサー応答と、各LEDに供給されるべき対応する電流との間の相関を表すプロファイル(たとえば、ルックアップテーブル)が構築され得る。
[0025]いくつかの実施形態では、寒(すなわち、青または青みがかった)色(5500〜6500Kあたりの高いCCT)を有する第1のLEDが選択され得、暖(すなわち、黄または黄みがかった、赤または赤みがかったなど)色(2000〜2500Kあたりの低いCCT)を有する第2のLEDが選択され得る。これらの2つのLEDは、いくつかのまたは大部分の(most)参照光源の下で、様々な電流レベルで作動されてよい。一例では、緑(または緑がかった)または紫(または紫がかった)色を有する追加のLEDが選択され得、追加のLEDは、第1のLEDおよび第2のLEDの組合せの線形範囲をその線形範囲の外の参照光源の方へバイアスをかけるために、様々な電流レベルで作動され得る。追加のLEDは、第1のLEDおよび第2のLEDの組合せの線形範囲にバイアスをかけるために最小の電流を必要とする色を有するように選択され得る。いくつかの例では、緑がかったLEDと紫がかったLEDの両方が、第1のLEDおよび第2のLEDと組み合わされ得る。
[0026]いくつかの実施形態では、参照光源の色温度へのセンサー応答の分析、および決定されたセンサー応答へのフラッシュユニット出力色のマッチングのための技法(まとめて「色合わせ技法」と呼ぶ)は、画像取込みデバイスによって自動的に行われてよい。センサー応答分析のためにプレビュー画像が使用されるとき、色合わせ技法は、リアルタイムで行われ得る、すなわち画像取込みデバイスのユーザの視点から顕著な遅延を生じることなく行われ得る。いくつかの実施形態では、フラッシュユニットの組み合わせた出力色は、取込み画像に意図的な、望ましい色かぶりを実現するために、ユーザ構成可能であり得る。一例では、ユーザが、あらかじめ定義された色かぶりの選択を提供され得、あらかじめ定義された色かぶりの1つの選択が、フラッシュユニットの色出力を自動的に設定し得る。別の例では、ユーザは、出力LED色の微調整のために個々のLED色に対応する色出力の範囲に及ぶ色出力調整インターフェースを提供され得る。
[0027]センサー応答分析および色温度合わせが、本明細書では主として、3つ以上のLEDを有するフラッシュユニットの文脈で説明されるが、そのような技法は、いくつかの実施形態では2つのLEDを有するフラッシュユニットを備えるカメラにおいても有用であり得る。センサー応答分析は、本明細書ではR/GおよびB/Gセンサー応答値を含むとして説明されるが、他の実施形態においては、色へのセンサー応答を示す(indicative of)他の値が使用され得る。さらに、提供される例は、RGB色空間に焦点を合わせるが、これは、デジタル撮像のための、一般的に使用される色空間であるからである。しかしながら、本明細書で述べるセンサー応答分析および色温度合わせ技法は、他の色空間にも適用され得る。
[0028]様々な実施形態について、説明のために図面とともに以下に記載する。開示する概念の多くの他の実装形態が可能であり、開示する実装形態を用いて様々な利点が達成され得ることを諒解されたい。
例示的なマルチLEDフラッシュユニットの概要
[0029]図1A〜図1Cは、マルチLEDフラッシュユニットを有する画像取込みデバイス100の様々な実施形態を示す。図1Aは、第1のLED115A、第2のLED115B、および第3のLED115Cを含んだ3LEDフラッシュユニット110を有する画像取込みデバイス100の一実施形態を示す。図1Bは、第1のLED115A、第2のLED115B、第3のLED115C、および第4のLED115Dを含んだ4LEDフラッシュユニット110を有する画像取込みデバイス100の一実施形態を示す。図1Cは、第1のLED115A、第2のLED115B、第3のLED115C、第4のLED115D、および第5のLED115Eを含んだ3LEDフラッシュユニット110を有する画像取込みデバイス100の一実施形態を示す。図示していないが、他の実施形態ではフラッシュユニットに2つのLEDおよび6つ以上のLEDが含まれる可能性がある。
[0030]デバイス100は、カメラ開口部105と、フラッシュユニット110とを含み、フラッシュユニット110は、いくつかのLED115A〜115Eを含む。本明細書では主としてLED光源を実装するとして述べるが、フラッシュユニット110は、たとえば特に、閃光管およびキセノンフラッシュ光など、任意の好適な光源を実装することができる。フラッシュユニット110は、カメラ開口部105に隣接しているとして図示されるが、フラッシュユニット110およびカメラ開口部105は、他の実施形態では間隔をあけて配置されていることがある。たとえば、フラッシュユニットは、いくつかの実施形態では、デバイス100とは別個の(separate)デバイスとして、たとえば、外部フラッシュユニットとして、設けられ得る。そのような外部フラッシュユニットが、LED電流を決定するためにセンサー応答比に関してデバイス100と通信し得、および/または独立した参照光源CCT分析が可能であり得る。フラッシュユニット110は、LED115A〜115Eのいくつかまたは全部に選択された電流を提供するための電子回路(図示せず)も含む。
[0031]図示した構成は、限定ではなく例として提供されるものであり、他の構成が可能である。LEDは、取り込まれた画像の異なる部分にわたって一様でない(uneven)色かぶりを引き起こすことを避けるために、各LEDからの出力色の実質的に均質な(homogenous)混合を提供する任意の構成で配列され得る。たとえば、図示したいくつかの実施形態では、LEDは、各LEDからの出力色の実質的に均質な混合を実現するために極めて接近して配置され得る。いくつかの実施形態では、LEDは、重なった出力エリアおよび実質的に均質な混合を提供するために、角度を付けられ得る。いくつかの実施形態では、フラッシュユニット110は、出力LED色を混合して実質的に均質な出力色にするために、反射体またはレンズを備え得る。
[0032]デバイス100は、携帯型コンピューティングデバイスとして図示されているが、デバイス100は、たとえば、スマートフォン、デジタルカメラ、タブレットコンピュータ、ラップトップコンピュータ、パーソナルコンピュータ、ウェブカメラ、ゲーム機、フォトブースなど、画像取込み能力を有する任意のデバイスの形態をとり得る。デバイス100は、デバイス700に関して以下でより詳細に説明するように、たとえば、メモリ構成要素、1つまたは複数のプロセッサ、および色合わせ技法に関係する命令を記憶するモジュール、色合わせ技法に関係する内部構成要素を含み得る。
例示的なセンサー応答分析の概要
[0033]図2は、本明細書で説明するセンサー応答分析および色温度合わせ技法を使用した画像取込みプロセス200の一実施形態のフローチャートを示す。プロセス200は、上述のデバイス100、以下で述べるデバイス700、またはセンサー応答分析および色温度合わせ能力が搭載されたその他のデバイスによって実行され得る。
[0034]プロセス200は、プロセス200がターゲット画像シーンの予備画像の画像データを受信するブロック205で始まる。予備画像は、いくつかの実施形態ではプレビュー画像データを含むことができる。たとえば、デジタルカメラが、ライブプレビュー機能を実装することができる。ライブプレビューは、デジタルカメラのディスプレイ画面がビューファインダーとして使用されることを可能にする機能であり、ユーザに写真を撮る前にフレーミングおよび他の露光をプレビューする手段を提供する。プレビューは、一般に、レンズによって形成された画像をメイン画像センサーに連続的および直接的に投影することによって生成され、それが次に電子画面にライブプレビュー画像をフィードする。そのようなライブプレビューは、プロセス200に従って連続的または断続的に分析され得るか、または画像取込みが要求されるというユーザ指示(たとえば、シャッターボタンを作動させること、または別の画像取込みコマンドを与えること)に応答して分析され得る。他の実施形態では、予備画像は、シーンの最初の取込み画像、たとえば、いくつかの実施形態ではプリフラッシュ中に、画像取込みが要求されるというユーザ指示に応答して取り込まれた画像であり得る。
[0035]ブロック210において、プロセス200は、ターゲット画像シーンの背景部分を識別する。上記で説明したように、画像を取り込むためにフラッシュが使用されるとき、画像の背景部分は依然として参照光源によって完全にまたは実質的に照明される可能性が高い(is likely to)。したがって、背景を照明する参照光源の色温度へのセンサー応答にフラッシュユニットの色出力を合わせることが、取込み画像のホワイトバランスをとるために有利であり得る。プロセス200のいくつかの実施形態は、たとえば、深さ分析、特徴識別、または他の好適な技法を通して、1つまたは複数の画素を画像の背景部分として識別し得る。いくつかの実施形態では、ブロック210は随意であってよい。
[0036]ブロック215において、プロセス200は、決定された領域におけるR/GおよびB/Gセンサー応答を決定し、それは、いくつかの実施形態では、決定された背景部分である。決定された領域は、いくつかの例では取込み画像データの分析に基づいて、たとえば、1つまたは複数のグレー画素の位置および/または背景部分の位置に基づいて、適応的に位置を特定されてよい。ホワイトバランスプロセスは、いくつかの実施形態ではそのような画素領域(pixel regions)を識別するために使用され得る。いくつかの実施形態では、R/GおよびB/Gセンサー応答は、グレーエリアに対して決定され得、決定された領域は、グレー色値を有すると決定された画素のブロックまたはグループであり得る。グレー画素は、画像の背景部分にあり得る。しかしながら、いくつかの例では、画像がグレー画素を含んでいない場合があり、したがって決定された領域は、非グレー画素を含み得、センサー応答は、非グレー画素から決定され得る。非グレー画素は、たとえば、ホワイトバランス処理によって、グレー画素に似たまたは近い色値であると識別された領域に由来するものであり得る。他の実施形態では、プロセス200は、画像全体における、または画像の異なる部分の上の、R/GおよびB/Gセンサー応答を決定する。R/Gは、決定された領域における赤対緑の比を表し、B/Gは、決定された領域における青対緑の比を表す。
[0037]R/GおよびB/Gセンサー応答は、決定された領域におけるいくつかのまたは全部の画素に対して、補間画素値に基づいて、または生の(raw)センサーデータに基づいて、決定され得る。いくつかの実施形態では、決定されたR/GおよびB/Gセンサー応答は、予備画像が参照光源と関連する色かぶりを含むかどうかを決定するために、様々な照明条件の下での記憶されたセンサー応答値と比較され得る。いくつかの実施形態では、決定されたR/GおよびB/Gセンサー応答の値は、予備画像が参照光源と関連する色かぶりを含んでいるかどうかを決定するために、分析され(すなわち、様々な色かぶりと関連するしきい値と比較され)得る。
[0038]ブロック220において、参照光源の色温度への決定されたセンサー応答に、フラッシュユニットの出力色を合わせるために、フラッシュユニット内のN個のLEDを表すLED1からLEDNに対して、電流が計算され得る。いくつかの実施形態では、決定された電流は、LEDの1つまたは組合せの実際の出力色への実際のセンサー応答を示す、記憶されたテスト結果に基づくものであり得る。たとえば、電流は、(センサー応答値によって示される)参照光源色温度を、合うまたは実質的に合う出力色を作り出すことになる、互いに関連する(correlated)LED1からLEDN電流と関連付けるテーブルルックアップにより決定され得る。
[0039]ブロック225において、プロセス200は、LED1からLEDNを計算された電流で設定したフラッシュを使用して画像を取り込む。したがって、画像シーンの前景は、決定された出力色でフラッシュモジュールから発せられる光によって照明されることになり、画像シーンの背景は、上述のセンサー応答分析および色合わせにより合うまたはほぼ合うはずである参照光源によって照明されることになる。図示していないが、プロセス200は、その後、取り込まれた画像にホワイトバランスを行い得る。ホワイトバランス処理の性能は、異なる色の照明の下で取り込まれた前景部分および背景部分を有する画像上の実行と比較して向上する可能性が高く、より正確な(すなわち、人間の眼によって知覚されるホワイトバランスに似た)および均一の(すなわち、あるとしても、画像への単一の色かぶり)結果をもたらす。
例示的な出力色範囲の概要
[0040]図3は、異なるCCT値を有する一般的な参照光源へのセンサー応答と比較した、3つのLEDのフラッシュユニットの組み合わせた色出力の範囲(影つきの三角形の領域で表す)の一実施形態の2次元のグラフ表現300を示す。
[0041]色温度は、参照光源から発せられる赤、緑、および青の光の量によって特徴付けられ得る。図3は、青(B/G)および赤(R/G)が緑の量によって正規化された2D軸上にプロットされた様々な参照光源の色温度へのセンサー応答を示す。図示した参照光源は、表1に列記するように、以下のケルビン単位の黒体温度に対応する。一般に、温度が高くなるほど、参照光源の外観はより寒色またはより白色になり、温度が低くなるほど、参照光源の外観は「より暖色」または「黄みがかった(amberish)」ものになる。
Figure 2017534899
[0042]グラフ300において参照光源色温度の分布で示すように、単一の出力色を有する1つのLEDのみを使用するとき、多くの周囲照明環境の下で取り込まれる画像は、参照光源CCTへのセンサー応答にLED組合せ出力色を合わせる際に誤差が大きい(gross)ために、強い色かぶりを示すことになる。2つのLED(たとえば、LED1305およびLED2310)を用いると、各LEDへの電流の割合および各LEDの対応する輝度は、可能な出力色の線形範囲が周囲環境によりよく合うことを可能にするように制御され得る。しかしながら、いくつかの周囲照明環境(すなわち、D75、D65、Horizon、およびCW)の下で取り込まれる画像は、LEDの組み合わせた出力色を参照光源CCTへのセンサー応答に合わせる際の誤差のために色かぶりを依然として示すだろう。3つのLEDの提供は、組み合わせた出力色のさらに微細な調整を可能にし、フラッシュユニット出力色がより多数の周囲照明環境へのセンサー応答に合うことを可能にする。フラッシュユニット出力色が参照光源の黒体温度へのセンサー応答に合わないいくつかの例では、補正のためにホワイトバランス補間が使用され得る。たとえば、決定されたセンサー応答への色合わせが、自動露光制御感度出力に基づいて、ホワイトバランスゲイン補間(典型的な単一のLEDのフラッシュシステムで使用されるものと同様である)と併せて使用され得る。
[0043]3つのLEDのフラッシュユニットは、LED1305、LED2310、およびLED3315を含む。いくつかの実施形態では、LED1305が青みがかった寒色(5000〜6500Kあたりの高いCCT)を有して選択され得、LED2310が黄みがかった暖色(2000〜2500Kあたりの低いCCT)を有して選択され得、LED3315が緑がかった色(CCTで適切に表現されない)を有して選択され得る。LED3315は、LED1305およびLED2310の組合せの線形範囲を、LED1305とLED2310との間の線形範囲の外の参照光源の方へバイアスをかけるために、様々な、適応的に選択された電流レベルで作動され得る。たとえば、LED3315は、LED1305およびLED2310の線形結合(linear combination)を、CW参照光源の方へバイアスをかけるように作動され得る。参照光源への決定されたセンサー応答、たとえばターゲット画像シーンの予備画像から決定されたセンサー応答に合わせる必要に応じて、LED1305、LED2310、およびLED3315の他の組合せが、適応的に照明され得る。予備画像は、様々な実施形態においてプレビュー画像またはプリフラッシュ画像であってよい。
[0044]グラフ300上の参照光源色温度へのセンサー応答に対する個々のLED1305、LED2310、およびLED3315のR/GおよびB/G値の特定の位置は、選択され得るLED色のほんの一例を提供する。たとえば、いくつかの実施形態では、LED1305およびLED2310が、D75およびHorizonを通る線形範囲を有するように選択され得、したがって、LED3315とともに、フラッシュユニットは、図示した周囲照明環境の各々に合い得る。いくつかの実施形態では、LED3315のR/GおよびB/G色値は、最小量の電流でLED1305およびLED2310の線形出力のバイアスをかけることを可能にするように選択され得る。たとえば、LED3315の色が、参照光源の色からより離れる(たとえば、より飽和度に達する)ように選択される場合、LED1305およびLED2310の出力色にバイアスをかけるためにより少ない電流が必要とされ得る。
[0045]図4は、異なるCCT値を有する一般的な参照光源へのセンサー応答と比較した、4つのLEDのフラッシュユニットの組み合わせた色出力の範囲(影つきの四角形の領域で表す)の一実施形態の2次元グラフ表現400を示す。図示した参照光源は、上記の表1において詳述した黒体温度値に対応する。色出力範囲の影つきエリアで示すように、4つのLEDを備えると、カメラフラッシュ出力は、すべての周囲色温度へのセンサー応答に合い得て、最適な画像色補正およびホワイトバランスをもたらし得る。
[0046]4つのLEDのフラッシュユニットは、LED1405、LED2410、LED3415、およびLED4420を含む。いくつかの実施形態では、LED1405が青みがかった寒色(5000〜6500Kあたりの高いCCT)を有して選択され得、LED2410が黄みがかった暖色(2000〜2500Kあたりの低いCCT)を有して選択され得、LED3415が緑がかった色(CCTで適切に表現されない)を有して選択され得、LED4420が、紫がかった色(CCTで適切に表現されない)を有して選択され得る。LED1405およびLED2410の線形出力は、適応的に選択された電流量をLED3415またはLED4420に選択的に適用することによって必要とされるいずれかの方向にバイアスをかけられ得る。ターゲット画像シーンの予備画像の決定されたセンサー応答に合わせる必要に応じて、LED1405、LED2410、およびLED3415、およびLED4420の他の組み合わせが、適応的に照明され得る。
[0047]グラフ400上の参照光源色温度へのセンサー応答に対するLED1405、LED2410、およびLED3415、およびLED4420のR/GおよびB/G値の特定の位置は、選択され得るLED色のほんの一例を提供する。いくつかの実施形態では、LED3415および/またはLED4420のR/GおよびB/G色値は、最小量の電流でLED1305およびLED2310の線形出力のバイアスをかけることを可能にするように選択され得る。たとえば、LED3415またはLED4420の色が、参照光源の色からより離れる(たとえば、より飽和度に達する)ように選択される場合、より少ない電流が、LED1405およびLED2410の出力色にバイアスをかけるために必要とされ得る。
[0048]図5は、異なるCCT値を有する一般的な参照光源へのセンサー応答と比較した、5つのLEDのフラッシュユニットの組み合わせた色出力の範囲(影つきの五角形の領域によって表される)の一実施形態の2次元グラフ表現500を示す。図示した参照光源は、上記の表1において詳述した黒体温度値に対応する。5つのLED(LED1505、LED2510、LED3515、LED4520、およびLED5525)を備えて示しているが、マルチLED色混合方式は、用途に応じてカメラフラッシュ出力色のための可能な調整範囲をカスタマイズするために異なる出力色特性を有する任意のN個のLEDに一般化され得る。
例示的なプリフラッシュ分析の概要
[0049]図6は、本明細書で説明する色温度合わせ技法を使用したプリフラッシュ画像取込みプロセス600の一実施形態のフローチャートを示す。プロセス600は、上述のデバイス200、以下で述べるデバイス700、またはセンサー応答分析および色温度合わせ能力が搭載されたその他のデバイスによって実行され得る。
[0050]ブロック605において、プロセス600は、フラッシュユニットがオフである間のホワイトバランスCCT値および/またはセンサー応答を決定する。これは、いくつかの例では、参照光源のCCTを決定するために、これらのセンサー応答比を使用するための、および、R/GおよびB/G比を決定するための、上述のプロセス200のブロック205〜215によって達成され得る。
[0051]ブロック610において、プロセス600は、参照光源の色温度への決定されたセンサー応答にフラッシュユニットの出力色を合わせるために、フラッシュユニット内のN個のLEDを表すLED1からLEDNに対して電流を計算する。これは、プロセス200のブロック220と同様に、いくつかの実施形態において達成され得る。たとえば、識別される参照光源へのセンサー応答に合わせるのに必要とされる電流を決定するために、ルックアップテーブルが使用され得る。ルックアップテーブルは、いくつかの実施形態ではカメラの特定のセンサーおよびLEDのためのテストデータに基づき得る。他の実施形態では、ルックアップテーブルは、他のデータ、たとえば、センサーおよびLEDの一方または両方の対象とする(intended)製造パラメータに基づいて構築され得る。
[0052]ブロック620において、プリフラッシュ電流は、決定されたLED1からLEDN電流に設定される。たとえば、いくつかのカメラでは、フラッシュ露光測定ロジックは、最終的な画像を取り込むために使用される実際のフラッシュの前に非常に速くプリフラッシュを発光させる。いくつかのカメラでは、被写体の虹彩をわずかに縮小させ、それによって「赤目」現象を緩和または回避するために、1つまたは複数のプリフラッシュが、実際のフラッシュの直前に(shortly before)発光されてよい。そのようなプリフラッシュは、検出された参照光源とフラッシュユニット出力色との間の色合わせを改良するための有益なツールを提供することができる。
[0053]LED1からLEDNに対して決定された電流を使用すると、ブロック625においてプリフラッシュが発光され、プリフラッシュ画像が取り込まれる。いくつかの実施形態では、赤目を軽減するために複数のプリフラッシュが発光されてよく、したがって複数のプリフラッシュフレームが取り込まれ得る。いくつかの例では、複数のプリフラッシュフレームの各々が、異なる露光設定で取り込まれ得る。これらの複数のプリフラッシュフレームは、後に、露光制御推定によって、および潜在的には色合わせを改良するためにも使用され得る。
[0054]プロセス600は次いで、ブロック630に移行し、そこにおいて自動露光制御LED露光推定が行われる。適正に露光された画像を実現するために、自動露光制御(AEC)プロセスが、カメラ露光タイミングと、マルチLEDフラッシュユニットによって発せられる照明の量または強度の両方を制御することができる。たとえば、プリフラッシュ画像が露光オーバーである場合、AECプロセスは、露光時間を減らす、および/またはフラッシュユニットの強度を下げる(すなわち、フラッシュユニット内の各LEDに供給される電流を比例して下げる)ことができる。別の例として、プリフラッシュ画像が露光不足(under-exposed)である場合、AECプロセスは、露光時間を増やす、および/またはフラッシュユニットの強度を上げる(すなわち、フラッシュユニット内の各LEDに供給される電流を比例して上げる)ことができる。したがって、いくつかの実施形態では、ブロック620においてプロセス600は、LED電流と各LED電流の初期強度との比を提供してよく、ブロック630においてプロセスは、LED電流間の比を維持しながら電流値を調整し得る。
[0055]随意に(Optionally)、プリフラッシュ画像は、LED1からLEDNに対する決定された電流に基づいて生成された、組み合わせた出力色が、ホワイトバランスに関して、参照光源へのセンサー応答とどのように合うかをテストするために使用され得る。たとえば、プリフラッシュ画像の前景領域および背景領域が識別され得、前景および背景領域の各々におけるグレーエリアに対して、R/GおよびB/Gセンサー応答が決定され得る。いくつかの画像では、グレーエリアが前景および背景の一方または両方にあるように決定されない場合、グレーに近いエリアまたは他のエリアが使用され得る。前景領域と背景領域との間のセンサー応答の差がしきい値を超える場合、差は、参照光源によりよく合うようにフラッシュユニットの組み合わせた出力色をさらに改良するために使用され得る。したがって、LED電流間の比は、いくつかの例では、AECプロセスによって決定されたフラッシュ強度を維持しながら調整され得る。
[0056]ブロック635において、プロセス600は、ブロック630において決定された任意の調整を用いて、ブロック620に従ってLED1からLEDNに対する電流を設定する。
[0057]プロセス600は次いで、AEC推定に少なくとも部分的に基づいてホワイトバランス取込みゲインを決定するためにブロック640に移行する(transition)。ホワイトバランス取込みゲインは、いくつかの実施形態では、参照光源およびLEDフラッシュの一方または両方への決定されたセンサー応答に少なくとも部分的に基づき得る。
[0058]ブロック645において、プロセス600は、LED1からLEDNが計算された電流に設定されたフラッシュを使用して画像を取り込む。したがって、画像シーンの前景は、決定された出力色でフラッシュモジュールから発せられる光によって照明されることになり、画像シーンの背景は、参照光源によって照明されることになり、これは、上述のセンサー応答分析および色合わせのために合うまたはほぼ合うはずである。
例示的な色温度合わせデバイスの概要
[0059]図7は、色温度合わせ能力を有する画像取込みデバイス700の一実施形態の高レベル概略図を示し、デバイス700は、カメラ701にリンクされた画像プロセッサ720を含む構成要素のセットを有する。画像プロセッサ720はまた、作業メモリ765、メモリ730、およびデバイスプロセッサ755と通信しており、それは、次に、ストレージ770および随意の電子ディスプレイ760と通信している。
[0060]デバイス700は、モバイルフォン、デジタルカメラ、タブレットコンピュータ、携帯情報端末(personal digital assistant)などのポータブルパーソナルコンピューティングデバイスであってよい。デバイス700は、上述のデバイス100であってよい。本明細書で説明するように色温度合わせ技法を使用することが利点をもたらすだろう多くのポータブルコンピューティングデバイスがある。デバイス700は、色温度合わせ技法が有益となる固定コンピューティングデバイスまたは任意のデバイスであってもよい。デバイス700上で、複数のアプリケーションがユーザにとって利用可能であり得る。これらのアプリケーションは、伝統的な写真およびビデオアプリケーション、ならびにLEDフラッシュモジュールの組み合わせた出力色を調整することに関連しているアプリケーション、たとえば、あらかじめ定義された色かぶりから選択するためのユーザインターフェースまたは出力LED色を手動で(manually)調整するためのユーザインターフェースを含んでよい。
[0061]画像取込みデバイス700は、外部画像を取り込むためのカメラ701を含む。カメラ701は、画像センサー715と、N個のLEDのフラッシュユニット710と含むことができる。N個のLEDのフラッシュユニットは、上述のように、2個、3個、4個、またはさらに多くの異なる色のLEDを有することができる。カメラ701は、プレビューフレームの連続的または断続的な取込み、およびプリフラッシュ画像取込み、ならびにフル解像度最終画像の取込みのために構成され得る。
[0062]画像プロセッサ720は、色温度合わせ技法を実行するために、受信したプレビューフレームに対して様々な処理動作を実行するように構成されてよい。プロセッサ720は、汎用処理ユニット、または撮像アプリケーションのために特別に設計されたプロセッサであってよい。画像処理動作の例は、AWBおよびAECデータ生成、LED電流計算、クロッピング、(たとえば、異なる解像度への)スケーリング、画像スティッチング、画像フォーマット変換、カラー補間、カラー処理、画像フィルタリング(たとえば、空間画像フィルタリング)、レンズアーティファクトまたは欠陥補正などを含む。プロセッサ720は、いくつかの実施形態では、複数のプロセッサを備え得る。プロセッサ720は、1つまたは複数の専用画像信号プロセッサ(ISP)またはプロセッサのソフトウェア実装形態であり得る。
[0063]図示のように、画像プロセッサ720は、メモリ730と作業メモリ765とに接続される。図示の実施形態では、メモリ730は、取込み制御モジュール735と、色温度合わせモジュール740と、オペレーティングシステム750とを記憶する。メモリ730のモジュールは、様々な画像処理およびデバイス管理タスクを実行するようにデバイスプロセッサ755の画像プロセッサ720を構成する命令を含む。作業メモリ765は、メモリ730のモジュールに含まれているプロセッサ命令の作業セットを記憶するために、画像プロセッサ720によって使用され得る。代替的に、作業メモリ765はまた、デバイス700の動作中に作成された動的データを記憶するために、画像プロセッサ720によって使用され得る。
[0064]色温度合わせモジュール740は、いくつかの実施形態では、サブモジュールプレビューフレーム分析部742、電流計算モジュール744、およびLED制御モジュール746を記憶することができる。一体となって、これらのモジュールは、センサー応答分析および色温度合わせ技法を実行するために協働することができる。
[0065]プレビューフレーム分析部742は、決定されたセンサー応答に基づいて画像シーンの参照光源の推定CCTを識別するために、予備画像、たとえば、プレビューフレームまたはプリフラッシュフレームを分析するようにプロセッサ720を構成する命令を記憶するように構成され得る。上述のように、決定されたセンサー応答は、予備画像のすべてについての、または予備画像の所定の部分(すなわち、前景または背景)についてのR/GおよびB/G比(または、RGB以外の色空間に対する他の正規化された色値)に基づくものであってよい。
[0066]電流計算モジュール744は、N個のLEDのフラッシュユニット710内の各LEDに与えられることになる電流についての電流値および/または電流値間の比を決定するようにプロセッサ720を構成する命令を記憶するように構成され得る。いくつかの実施形態では、電流計算は、プレビューフレーム分析部742によって決定された参照光源の推定CCTに基づくテーブルルックアップ(table-lookup)により達成されてよい。いくつかの実施形態では、電流計算は、たとえば、N個のLEDの相対強度とフラッシュユニット710の出力色との関係を定義する数式または数式のセットに基づいて、適応的に決定され得る。
[0067]LED制御モジュール746は、N個のLEDのフラッシュユニット710内のLEDを制御するようにプロセッサ720を構成する命令を記憶するように構成され得る。たとえば、LED制御モジュール746は、プロセッサ720に、N個のLEDのいくつかまたは各々に(たとえば、AECに基づいて)所定のタイミングの間の(for)特定の電流量を提供するように命令してよい。
[0068]上述のように、画像プロセッサ720は、メモリに記憶されたいくつかのモジュールによって構成される。取込み制御モジュール735は、カメラ701の焦点位置を調整するように画像プロセッサ720を構成する命令を含んでよい。取込み制御モジュール735は、デバイス700の全体的な画像取込み機能を制御する命令をさらに含んでよい。たとえば、取込み制御モジュール735は、カメラ701を使用してターゲット画像シーンの1つまたは複数のフレームを含んだプレビュー画像データを取り込むように画像プロセッサ720を構成するためのサブルーチンを呼び出す命令を含んでよい。一実施形態では、取込み制御モジュール735は、次いで、センサー応答分析および色温度合わせを実行するために色温度合わせ740を呼び出してよい。
[0069]オペレーティングシステムモジュール750は、デバイス700の処理リソースと作業メモリ765とを管理するように画像プロセッサ720を構成する。たとえば、オペレーティングシステムモジュール750は、ハードウェアリソース、たとえばカメラ701を管理するためのデバイスドライバを含んでよい。したがって、いくつかの実施形態では、上記で説明した画像処理モジュール中に含まれている命令は、これらのハードウェアリソースと直接対話しないが、代わりに、オペレーティングシステム構成要素750中にある標準サブルーチンまたはAPIを通して対話する場合がある。オペレーティングシステム750内の命令は、次いで、これらのハードウェア構成要素と直接対話し得る。オペレーティングシステムモジュール750は、デバイスプロセッサ755と情報を共有するように画像プロセッサ720をさらに構成し得る。
[0070]デバイスプロセッサ755は、取り込まれた画像、または取り込まれた画像のプレビューをユーザに対して表示するようにディスプレイ760を制御するように構成され得る。ディスプレイ760は、撮像デバイス200の外部にあってよく、または撮像デバイス200の一部であってよい。ディスプレイ760は、画像を取り込む前に使用するためのプレビュー画像を表示するビューファインダーを提供する、たとえば、色かぶりの視覚表現または出力フラッシュユニット色を手動で調整するためのユーザインターフェースをユーザに提示するように構成されてもよい。ディスプレイ760は、LCDまたはLED画面を備えてよく、タッチセンシティブ技術を実装してよい。
[0071]デバイスプロセッサ755は、データ、たとえば、取り込まれた画像および行の合計値および比較を表すデータをストレージモジュール770に書き込んでよい。ストレージモジュール770は旧来のディスクデバイスとして図式的に表されているが、ストレージモジュール770は任意のストレージメディアデバイスとして構成され得ることを当業者は理解されよう。たとえば、ストレージモジュール770は、ディスクドライブ、たとえばフロッピー(登録商標)ディスクドライブ、ハードディスクドライブ、光ディスクドライブまたは光磁気ディスクドライブ、あるいは固体メモリ、たとえばフラッシュメモリ、RAM、ROM、および/またはEEPROM(登録商標)を含み得る。ストレージモジュール770はまた、複数のメモリユニットを含むことができ、メモリユニットのいずれか1つが、画像取込みデバイス700内にあるように構成されてよく、または画像取込みデバイス700の外部にあってよい。たとえば、ストレージモジュール770は、画像取込みデバイス700内に記憶されたシステムプログラム命令を含んでいるROMメモリを含んでよい。ストレージモジュール770はまた、カメラから取外し可能であってよい、取り込まれた画像を記憶するように構成されたメモリカードまたは高速メモリを含んでもよい。記憶モジュール770はまた、デバイス700の外部にあることがあり、一例では、デバイス700は、たとえば、ネットワーク接続上で記憶モジュール770にデータをワイヤレス送信し得る。
[0072]図7は、プロセッサと撮像センサーとメモリとを含むように別個の構成要素を有するデバイスを示しているが、これらの別個の構成要素は、特定の設計目標を達成するために様々な方法で組み合わせられ得ることを当業者は認識されよう。たとえば、代替実施形態では、メモリ構成要素は、たとえば、コストを節約し、および/または性能を改善するために、プロセッサ構成要素と組み合わせられ得る。
[0073]さらに、図7は、いくつかのモジュールを備えるメモリ構成要素720と、作業メモリを備える別個のメモリ765とを含む2つのメモリ構成要素を示しているが、異なるメモリアーキテクチャを利用するいくつかの実施形態を当業者は認識されよう。たとえば、ある設計は、メモリ730に含まれているモジュールを実行するプロセッサ命令の記憶のために、ROMまたはスタティックRAMメモリを利用することがある。プロセッサ命令は、画像プロセッサ720による実行を容易にするために、RAMにロードされてよい。たとえば、作業メモリ765がRAMメモリを備え、命令は、プロセッサ720による実行の前に作業メモリ765にロードされてよい。
システムの実施および用語
[0074]本明細書で開示した実装形態は、色温度分析および合わせのためのシステム、方法、および装置を提供する。これらの実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得ることを当業者は認識されよう。
[0075]いくつかの実施形態では、上記で説明した回路、プロセス、およびシステムは、ワイヤレス通信デバイスにおいて利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレス通信するために使用される一種の電子デバイスであり得る。ワイヤレス通信デバイスの例は、セルラーフォン、スマートフォン、携帯情報端末(PDA)、電子リーダー、ゲームシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどを含む。
[0076]ワイヤレス通信デバイスは、1つまたは複数の画像センサー、2つ以上の画像信号プロセッサ、上記で説明したCNRプロセスを実行するための命令またはモジュールを含んだメモリを含み得る。デバイスはまた、データと、メモリから命令および/またはデータをロードするプロセッサと、1つまたは複数の通信インターフェースと、1つまたは複数の入力デバイスと、ディスプレイデバイスなどの1つまたは複数の出力デバイスと、電源/電力インターフェース(power source/interface)とを有し得る。ワイヤレス通信デバイスは、送信機と受信機とをさらに含み得る。送信機および受信機は、まとめてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および/または受信するために、1つまたは複数のアンテナに結合され得る。
[0077]ワイヤレス通信デバイスは、別の電子デバイス(たとえば、基地局)にワイヤレスに接続し得る。ワイヤレス通信デバイスは、代替的に、モバイルデバイス、移動局、加入者局、ユーザ機器(UE)、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることがある。ワイヤレス通信デバイスの例は、ラップトップまたはデスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどを含む。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP(登録商標))など、1つまたは複数の業界規格に従って動作し得る。したがって、「ワイヤレス通信デバイス」という一般的な用語は、業界規格に従って異なる名称を用いて表されるワイヤレス通信デバイス(たとえば、アクセス端末、ユーザ機器(UE)、リモート端末など)を含み得る。
[0078]本明細書で説明される機能は、プロセッサ可読媒体またはコンピュータ可読媒体上に1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータあるいはプロセッサによってアクセスされ得る何らかの利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。コンピュータ可読媒体は、有形および非一時的とすることができることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用する「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。
[0079]ソフトウェアまたは命令はまた、送信媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は伝送媒体の定義に含まれる。
[0080]本明細書で開示する方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、説明した方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、その順序、ならびに/あるいは特定のステップおよび/またはアクションの使用は、特許請求の範囲を逸脱することなく変更され得る。
[0081]「結合する(couple)」、「結合すること(coupling)」、「結合される(coupled)」という用語、または本明細書で使用される結合するという単語の他のバリエーションは、間接接続または直接接続のいずれかを示し得ることに留意されたい。たとえば、第1の構成要素が第2の構成要素に「結合される」場合、第1の構成要素は、第2の構成要素に間接的に接続されるか、または第2の構成要素に直接的に接続されるかのいずれかであり得る。本明細書で使用する「複数」という用語は、2つ以上を示す。たとえば、複数の構成要素は、2つ以上の構成要素を示す。
[0082]「決定すること」という用語は、様々なアクションを包含し、したがって、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベース、または別のデータ構造内でルックアップすること)、確認することなどを含むことができる。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ中のデータにアクセスすること)などを含むことができる。また、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含むことができる。
[0083]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
[0084]上記の説明では、例の完全な理解をもたらすために具体的な詳細が与えられている。しかしながら、例はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。たとえば、電気的構成要素/デバイスは、不必要な詳細で例を不明瞭にしないために、ブロック図で示されることがある。他の事例では、そのような構成要素、他の構造および技法は、例をさらに説明するために詳細に図示されることがある。
[0085]本明細書には、参照のための、および様々なセクションを見つけるのに役立つ見出しが含まれる。これらの見出しは、それに関して説明した概念の範囲を限定するものではない。そのような概念は、明細書全体にわたって適用可能性を有し得る。
[0086]また、例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明されることがあることに留意されたい。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並列にまたは同時に実行され得、プロセスは繰り返され得る。さらに、動作の順序は並べ替えられてよい。プロセスは、その動作が完了すると、終了する。プロセスは、メソッド、関数、手続き、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア関数に対応するとき、その終了は呼出し関数またはメイン関数への関数の復帰に対応する。
[0087]開示する実装態様の以上の説明は、当業者が本発明を作成または使用することができるように提供されるものである。これらの実装形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示した原理および新規の特徴に一致する最も広い範囲を与えられるべきである。
[0087]開示する実装態様の以上の説明は、当業者が本発明を作成または使用することができるように提供されるものである。これらの実装形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示した原理および新規の特徴に一致する最も広い範囲を与えられるべきである。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
ターゲット画像シーンの画像データを取り込むように構成された画像センサーと、
複数のLEDを備えるフラッシュユニットと、
前記ターゲット画像シーンの予備画像を備える画像データを受信し、
前記予備画像のセンサー応答データに基づいて、前記ターゲット画像シーンの参照光源の相関色温度を決定し、
前記複数のLEDの組み合わせた出力色が前記参照光源の前記相関色温度に合うまたはほぼ合うように、前記複数のLEDの各々に対する電流量を決定し、
前記電流量で前記複数のLEDの各々を作動させることによって、前記ターゲット画像シーンの最終的な画像を取り込む
ように構成されたプロセッサとを備える、画像取込みシステム。
[C2]
前記フラッシュユニットが、3個のLEDを備える、C1に記載の画像取込みシステム。
[C3]
前記3個のLEDが、青色LEDと、黄色LEDと、緑色LEDとを含む、C2に記載の画像取込みシステム。
[C4]
前記フラッシュユニットが、4個のLEDを備える、C1に記載の画像取込みシステム。
[C5]
前記4個のLEDが、青色LEDと、黄色LEDと、緑色LEDと、紫色LEDとを含む、C4に記載の画像取込みシステム。
[C6]
前記フラッシュユニットが、2個のプライマリLEDを備え、前記2個のプライマリLEDが暖色LEDと寒色LEDとを備える、C1に記載の画像取込みシステム。
[C7]
前記フラッシュユニットが、前記2個のプライマリLEDの色組合せの線形範囲にバイアスをかけるために選択された色を備える少なくとも1つの追加のLEDをさらに備える、C6に記載の画像取込みシステム。
[C8]
電子回路が、前記複数のLEDの各々に調整可能な電流を別々に提供するようにさらに構成される、C1に記載の画像取込みシステム。
[C9]
決定された色温度フラッシュ出力を提供する方法であって、
ターゲット画像シーンの予備画像を備える画像データを受信することと、
前記予備画像のセンサー応答データに基づいて、前記ターゲット画像シーンの参照光源の相関色温度を決定することと、
複数のLEDのフラッシュ出力色が前記参照光源の前記相関色温度に合うまたはほぼ合うように、フラッシュユニット内の前記複数のLEDの各々に対する電流量に基づいて前記フラッシュ出力色を決定することと、
前記フラッシュ出力色を提供するために前記電流量で前記複数のLEDの各々を作動させることによって、前記ターゲット画像シーンの最終的な画像を取り込むこととを備える、方法。
[C10]
前記参照光源の前記相関色温度を決定することが、前記予備画像の所定の領域に関してR/GおよびB/Gセンサー応答比を決定することを備える、C9に記載の方法。
[C11]
前記予備画像の背景部分においてグレーエリアに対応する画素を識別することをさらに備え、前記グレーエリアに対応する前記画素のうちの少なくともいくつかが、前記所定の領域を備える、C10に記載の方法。
[C12]
前記相関色温度を決定するために、前記R/GおよびB/Gセンサー応答比を、既知の照明条件下でのセンサーデータと比較することをさらに含む、C10に記載の方法。
[C13]
前記複数のLEDを前記適応的な電流量でプリフラッシュとして作動させることと、前記プリフラッシュを使用してプリフラッシュ画像を取り込むこととをさらに備える、C9に記載の方法。
[C14]
前記フラッシュ出力色へのセンサー応答が、前記参照光源の前記相関色温度への前記センサー応答に合うまたはほぼ合うかどうかを決定するために、前記プリフラッシュ画像を分析することをさらに備える、C13に記載の方法。
[C15]
前記予備画像の前景部分に対応する画素を識別することと、
前記前景部分に対応する前記画素のうちの少なくともいくつかに関して第1のR/GおよびB/Gセンサー応答比を決定することと、
前記予備画像の背景部分に対応する画素を識別することと、
前記背景部分に対応する前記画素のうちの少なくともいくつかに関して第2のR/GおよびB/Gセンサー応答比を決定することと、
前記第1のR/GおよびB/Gセンサー応答比と前記第2のR/GおよびB/Gセンサー応答比との差を計算することとをさらに備える、C14に記載の方法。
[C16]
前記差がしきい値を超えるという決定に応答して、前記フラッシュ出力色に基づいて、調整されたフラッシュ出力色を計算することをさらに備える、C15に記載の方法。
[C17]
前記調整されたフラッシュ出力色を使用して前記最終的な画像を取り込むことをさらに備える、C16に記載の方法。
[C18]
前記複数のLEDの各々に異なる電流量を提供することをさらに備える、C9に記載の方法。
[C19]
前記複数のLEDの一部のみに電流を提供するように決定することをさらに備える、C9に記載の方法。
[C20]
実行されると、1つまたは複数のプロセッサに、
ターゲット画像シーンの予備画像を備える画像データを受信することと、
前記予備画像のセンサー応答データに基づいて、前記ターゲット画像シーンの参照光源の相関色温度を決定することと、
複数のLEDの組み合わせた出力色が前記参照光源の前記相関色温度に合うまたはほぼ合うように、フラッシュユニット内の前記複数のLEDの各々に対する電流量を決定することと、
前記組み合わせた出力色を提供するために前記電流量で前記複数のLEDの各々を作動させることによって、前記ターゲット画像シーンの最終的な画像を取り込むこととを備える動作を実行させる命令を記憶する非一時的コンピュータ可読媒体。
[C21]
前記動作が、前記複数のLEDの各々に異なる電流量を提供することをさらに備える、C20に記載の非一時的コンピュータ可読媒体。
[C22]
前記動作が、前記複数のLEDの一部のみに電流を提供するように決定することをさらに備える、C20に記載の非一時的コンピュータ可読媒体。
[C23]
前記動作が、前記予備画像の背景部分に関して前記センサー応答データを決定することをさらに備える、C20に記載の非一時的コンピュータ可読媒体。
[C24]
前記センサー応答データが、前記予備画像の所定の領域に関してのR/GおよびB/Gセンサー応答比を備える、C20に記載の非一時的コンピュータ可読媒体。
[C25]
画像取込み装置を製造する方法であって、
画像センサーを選択することと、
フラッシュモジュールのための複数のLEDを選択することと、
前記画像センサーと電子通信しているメモリを設けることと、
複数の参照光源へのセンサー応答を決定することに少なくとも部分的に基づいて前記メモリに記憶するための参照光源データリポジトリをポピュレートすることとを備える、方法。
[C26]
前記参照光源データリポジトリをポピュレートするために、前記フラッシュモジュールを作動させることなく前記複数の参照光源の下で前記画像センサーをテストすることをさらに備える、C25に記載の画像取込み装置を製造する方法。
[C27]
作動されるとき、前記複数のLEDへの画像センサー応答を決定することに少なくとも部分的に基づいて前記メモリに記憶するためのルックアップテーブルを構築することをさらに備える、C25に記載の画像取込み装置を製造する方法。
[C28]
前記ルックアップテーブルが、ターゲット画像シーンにおける識別された参照光源に合うように前記フラッシュモジュールの組み合わせた出力色を決定するために利用可能である、C27に記載の画像取込み装置を製造する方法。
[C29]
前記ルックアップテーブルを構築するために前記複数のLEDの各々を個々に作動させることによって、前記複数のLEDへの前記センサー応答をテストすることをさらに備える、C27に記載の画像取込み装置を製造する方法。
[C30]
前記ルックアップテーブルを構築するために前記複数のLEDのうちの少なくともいくつかのLEDの少なくとも1つの組合せを作動させることによって、前記複数のLEDへの前記画像センサー応答をテストすることをさらに備える、C27に記載の画像取込み装置を製造する方法。

Claims (30)

  1. ターゲット画像シーンの画像データを取り込むように構成された画像センサーと、
    複数のLEDを備えるフラッシュユニットと、
    前記ターゲット画像シーンの予備画像を備える画像データを受信し、
    前記予備画像のセンサー応答データに基づいて、前記ターゲット画像シーンの参照光源の相関色温度を決定し、
    前記複数のLEDの組み合わせた出力色が前記参照光源の前記相関色温度に合うまたはほぼ合うように、前記複数のLEDの各々に対する電流量を決定し、
    前記電流量で前記複数のLEDの各々を作動させることによって、前記ターゲット画像シーンの最終的な画像を取り込む
    ように構成されたプロセッサと
    を備える、画像取込みシステム。
  2. 前記フラッシュユニットが、3個のLEDを備える、請求項1に記載の画像取込みシステム。
  3. 前記3個のLEDが、青色LEDと、黄色LEDと、緑色LEDとを含む、請求項2に記載の画像取込みシステム。
  4. 前記フラッシュユニットが、4個のLEDを備える、請求項1に記載の画像取込みシステム。
  5. 前記4個のLEDが、青色LEDと、黄色LEDと、緑色LEDと、紫色LEDとを含む、請求項4に記載の画像取込みシステム。
  6. 前記フラッシュユニットが、2個のプライマリLEDを備え、前記2個のプライマリLEDが暖色LEDと寒色LEDとを備える、請求項1に記載の画像取込みシステム。
  7. 前記フラッシュユニットが、前記2個のプライマリLEDの色組合せの線形範囲にバイアスをかけるために選択された色を備える少なくとも1つの追加のLEDをさらに備える、請求項6に記載の画像取込みシステム。
  8. 電子回路が、前記複数のLEDの各々に調整可能な電流を別々に提供するようにさらに構成される、請求項1に記載の画像取込みシステム。
  9. 決定された色温度フラッシュ出力を提供する方法であって、
    ターゲット画像シーンの予備画像を備える画像データを受信することと、
    前記予備画像のセンサー応答データに基づいて、前記ターゲット画像シーンの参照光源の相関色温度を決定することと、
    複数のLEDのフラッシュ出力色が前記参照光源の前記相関色温度に合うまたはほぼ合うように、フラッシュユニット内の前記複数のLEDの各々に対する電流量に基づいて前記フラッシュ出力色を決定することと、
    前記フラッシュ出力色を提供するために前記電流量で前記複数のLEDの各々を作動させることによって、前記ターゲット画像シーンの最終的な画像を取り込むことと
    を備える、方法。
  10. 前記参照光源の前記相関色温度を決定することが、前記予備画像の所定の領域に関してR/GおよびB/Gセンサー応答比を決定することを備える、請求項9に記載の方法。
  11. 前記予備画像の背景部分においてグレーエリアに対応する画素を識別することをさらに備え、前記グレーエリアに対応する前記画素のうちの少なくともいくつかが、前記所定の領域を備える、請求項10に記載の方法。
  12. 前記相関色温度を決定するために、前記R/GおよびB/Gセンサー応答比を、既知の照明条件下でのセンサーデータと比較することをさらに含む、請求項10に記載の方法。
  13. 前記複数のLEDを前記適応的な電流量でプリフラッシュとして作動させることと、前記プリフラッシュを使用してプリフラッシュ画像を取り込むこととをさらに備える、請求項9に記載の方法。
  14. 前記フラッシュ出力色へのセンサー応答が、前記参照光源の前記相関色温度への前記センサー応答に合うまたはほぼ合うかどうかを決定するために、前記プリフラッシュ画像を分析することをさらに備える、請求項13に記載の方法。
  15. 前記予備画像の前景部分に対応する画素を識別することと、
    前記前景部分に対応する前記画素のうちの少なくともいくつかに関して第1のR/GおよびB/Gセンサー応答比を決定することと、
    前記予備画像の背景部分に対応する画素を識別することと、
    前記背景部分に対応する前記画素のうちの少なくともいくつかに関して第2のR/GおよびB/Gセンサー応答比を決定することと、
    前記第1のR/GおよびB/Gセンサー応答比と前記第2のR/GおよびB/Gセンサー応答比との差を計算することと
    をさらに備える、請求項14に記載の方法。
  16. 前記差がしきい値を超えるという決定に応答して、前記フラッシュ出力色に基づいて、調整されたフラッシュ出力色を計算することをさらに備える、請求項15に記載の方法。
  17. 前記調整されたフラッシュ出力色を使用して前記最終的な画像を取り込むことをさらに備える、請求項16に記載の方法。
  18. 前記複数のLEDの各々に異なる電流量を提供することをさらに備える、請求項9に記載の方法。
  19. 前記複数のLEDの一部のみに電流を提供するように決定することをさらに備える、請求項9に記載の方法。
  20. 実行されると、1つまたは複数のプロセッサに、
    ターゲット画像シーンの予備画像を備える画像データを受信することと、
    前記予備画像のセンサー応答データに基づいて、前記ターゲット画像シーンの参照光源の相関色温度を決定することと、
    複数のLEDの組み合わせた出力色が前記参照光源の前記相関色温度に合うまたはほぼ合うように、フラッシュユニット内の前記複数のLEDの各々に対する電流量を決定することと、
    前記組み合わせた出力色を提供するために前記電流量で前記複数のLEDの各々を作動させることによって、前記ターゲット画像シーンの最終的な画像を取り込むことと
    を備える動作を実行させる命令を記憶する非一時的コンピュータ可読媒体。
  21. 前記動作が、前記複数のLEDの各々に異なる電流量を提供することをさらに備える、請求項20に記載の非一時的コンピュータ可読媒体。
  22. 前記動作が、前記複数のLEDの一部のみに電流を提供するように決定することをさらに備える、請求項20に記載の非一時的コンピュータ可読媒体。
  23. 前記動作が、前記予備画像の背景部分に関して前記センサー応答データを決定することをさらに備える、請求項20に記載の非一時的コンピュータ可読媒体。
  24. 前記センサー応答データが、前記予備画像の所定の領域に関してのR/GおよびB/Gセンサー応答比を備える、請求項20に記載の非一時的コンピュータ可読媒体。
  25. 画像取込み装置を製造する方法であって、
    画像センサーを選択することと、
    フラッシュモジュールのための複数のLEDを選択することと、
    前記画像センサーと電子通信しているメモリを設けることと、
    複数の参照光源へのセンサー応答を決定することに少なくとも部分的に基づいて前記メモリに記憶するための参照光源データリポジトリをポピュレートすることと
    を備える、方法。
  26. 前記参照光源データリポジトリをポピュレートするために、前記フラッシュモジュールを作動させることなく前記複数の参照光源の下で前記画像センサーをテストすることをさらに備える、請求項25に記載の画像取込み装置を製造する方法。
  27. 作動されるとき、前記複数のLEDへの画像センサー応答を決定することに少なくとも部分的に基づいて前記メモリに記憶するためのルックアップテーブルを構築することをさらに備える、請求項25に記載の画像取込み装置を製造する方法。
  28. 前記ルックアップテーブルが、ターゲット画像シーンにおける識別された参照光源に合うように前記フラッシュモジュールの組み合わせた出力色を決定するために利用可能である、請求項27に記載の画像取込み装置を製造する方法。
  29. 前記ルックアップテーブルを構築するために前記複数のLEDの各々を個々に作動させることによって、前記複数のLEDへの前記センサー応答をテストすることをさらに備える、請求項27に記載の画像取込み装置を製造する方法。
  30. 前記ルックアップテーブルを構築するために前記複数のLEDのうちの少なくともいくつかのLEDの少なくとも1つの組合せを作動させることによって、前記複数のLEDへの前記画像センサー応答をテストすることをさらに備える、請求項27に記載の画像取込み装置を製造する方法。
JP2017514639A 2014-09-19 2015-08-19 色温度合わせのためのマルチledカメラフラッシュ Active JP6258555B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/491,627 2014-09-19
US14/491,627 US9420248B2 (en) 2014-09-19 2014-09-19 Multi-LED camera flash for color temperature matching
PCT/US2015/045933 WO2016043912A1 (en) 2014-09-19 2015-08-19 Multi-led camera flash for color temperature matching

Publications (2)

Publication Number Publication Date
JP2017534899A true JP2017534899A (ja) 2017-11-24
JP6258555B2 JP6258555B2 (ja) 2018-01-10

Family

ID=54072970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514639A Active JP6258555B2 (ja) 2014-09-19 2015-08-19 色温度合わせのためのマルチledカメラフラッシュ

Country Status (5)

Country Link
US (1) US9420248B2 (ja)
EP (1) EP3195054A1 (ja)
JP (1) JP6258555B2 (ja)
CN (1) CN106716243B (ja)
WO (1) WO2016043912A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2771851C (en) 2011-04-12 2018-07-24 Research In Motion Limited Camera flash for improved color balance
CN105657283A (zh) * 2014-11-11 2016-06-08 索尼公司 图像生成方法、装置以及终端设备
JP5849150B1 (ja) * 2014-12-25 2016-01-27 アキュートロジック株式会社 撮像方法
CN106470336A (zh) * 2015-08-17 2017-03-01 深圳富泰宏精密工业有限公司 相机色温补偿系统及智能终端
DE102016104381A1 (de) * 2016-03-10 2017-09-14 Osram Opto Semiconductors Gmbh Optoelektronische Leuchtvorrichtung, Verfahren zum Beleuchten einer Szene, Kamera sowie mobiles Endgerät
US10482668B2 (en) * 2016-06-02 2019-11-19 Thales Visionix, Inc. Miniature vision-inertial navigation system with extended dynamic range
US20180115710A1 (en) * 2016-10-20 2018-04-26 Motorola Mobility Llc Apparatus and Method for Adjusting an Image in Response to Flash Driver Output Current
CN106331382B (zh) * 2016-11-17 2019-06-25 捷开通讯(深圳)有限公司 一种基于移动终端的闪光灯组件及其控制系统、控制方法
US10154256B1 (en) * 2017-06-13 2018-12-11 Qualcomm Incorporated Flash color calibration
US10346670B2 (en) 2017-07-09 2019-07-09 Lumenetix, Inc. Full-spectrum flash for electronic devices
US11263428B2 (en) 2017-07-09 2022-03-01 Ringo Ai, Inc. Electromagnetic emitters and detectors for electronic devices
US11436858B2 (en) 2017-07-09 2022-09-06 Ringo Ai, Inc. Characterizing reflectance, illuminance, and sensor response for electromagnetic radiation
KR20230050485A (ko) * 2017-07-21 2023-04-14 루미리즈 홀딩 비.브이. 세그먼트화된 플래시 시스템을 제어하는 방법
CN107204170A (zh) * 2017-07-21 2017-09-26 京东方科技集团股份有限公司 一种色偏补偿方法、色偏补偿系统和显示面板
CN109688396B (zh) * 2017-07-25 2021-02-02 Oppo广东移动通信有限公司 图像的白平衡处理方法、装置和终端设备
WO2019026191A1 (ja) * 2017-08-01 2019-02-07 オリンパス株式会社 撮像装置および制御方法
JP6971710B2 (ja) * 2017-08-24 2021-11-24 キヤノン株式会社 照明装置、その制御方法、制御プログラム、および照明システム、並びに撮像装置
EP3685227B1 (en) 2017-09-18 2023-10-18 Profoto Aktiebolag A flash housing and a method for controlling a flash light by manual rotation of a zoom element
US11054722B2 (en) 2017-09-18 2021-07-06 Profoto Aktiebolag Flash housing for photographic purposes and a method for simulating a flash light
CN107798664B (zh) * 2017-10-27 2021-08-06 北京小米移动软件有限公司 闪光灯的色温校准方法及装置
JP6971794B2 (ja) * 2017-11-14 2021-11-24 キヤノン株式会社 照明装置およびその制御方法
US20190370942A1 (en) * 2018-06-01 2019-12-05 Apple Inc. Red-eye correction techniques
US10977351B2 (en) * 2018-07-19 2021-04-13 Motorola Mobility Llc Electronic device and corresponding methods for selecting initiation of a user authentication process
US10771717B2 (en) * 2018-07-30 2020-09-08 Lumileds Llc Use of IR pre-flash for RGB camera's automatic algorithms
CN111988531B (zh) * 2019-05-21 2022-07-08 北京小米移动软件有限公司 补光模组、补光模组的补光控制方法、终端及装置
US11825205B2 (en) 2019-06-13 2023-11-21 Profoto Aktiebolag Computer implemented method and a system for obtaining a camera setting
US11361460B2 (en) 2019-11-19 2022-06-14 Lumileds Llc Multi-color flash with image post-processing
US11076083B2 (en) * 2019-11-19 2021-07-27 Lumileds Llc Multi-color flash with image post-processing
CN113973163A (zh) 2020-07-23 2022-01-25 北京小米移动软件有限公司 图像采集模组、电子设备、图像采集方法及存储介质
US11165969B1 (en) 2020-08-03 2021-11-02 Sky Castle Toys LLC System and method for adding auxiliary lights to a camera to create fluorescence in selected features of a captured image
CN115242984A (zh) * 2022-06-30 2022-10-25 纳欣科技有限公司 拍摄补光方法及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116481A (ja) * 2000-07-25 2002-04-19 Fuji Photo Film Co Ltd カメラのストロボ装置、電子カメラ及び発光ヘッド
US20030025822A1 (en) * 2001-08-02 2003-02-06 Olympus Optical Co., Ltd. Electronic camera
JP2003116142A (ja) * 2001-08-02 2003-04-18 Olympus Optical Co Ltd 電子カメラ
US20060067668A1 (en) * 2004-09-30 2006-03-30 Casio Computer Co., Ltd. Electronic camera having light-emitting unit
JP2006126798A (ja) * 2004-09-30 2006-05-18 Casio Comput Co Ltd 電子カメラ
JP2008298847A (ja) * 2007-05-29 2008-12-11 Fujifilm Corp 撮影方法及びデジタルカメラ
WO2009074938A2 (en) * 2007-12-11 2009-06-18 Koninklijke Philips Electronics N.V. Camera illumination device
JP2009276524A (ja) * 2008-05-14 2009-11-26 Nikon Corp カメラシステム、カメラ本体および閃光装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7772786B2 (en) * 1999-12-02 2010-08-10 Olympus Corporation Battery-powered light source device for endoscope
JP2005073227A (ja) 2003-08-04 2005-03-17 Sharp Corp 撮像装置
JP2005210526A (ja) * 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
JP4115467B2 (ja) 2005-06-01 2008-07-09 富士フイルム株式会社 撮影装置
US7663691B2 (en) 2005-10-11 2010-02-16 Apple Inc. Image capture using display device as light source
EP2244463B1 (en) 2008-01-18 2015-10-07 Nikon Corporation Illumination device for imaging and camera
US7995911B2 (en) 2009-01-26 2011-08-09 Koninklijke Philips Electronics N.V. Matching led flash to camera's ambient light compensation algorithm
JP5434513B2 (ja) 2009-11-18 2014-03-05 富士通株式会社 携帯端末および輝度調整プログラム
JP5704855B2 (ja) 2010-07-30 2015-04-22 キヤノン株式会社 発光装置、撮像装置、及び発光制御方法
JP2013106284A (ja) * 2011-11-16 2013-05-30 Sony Corp 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
TWI465825B (zh) * 2012-06-27 2014-12-21 Acer Inc 影像擷取裝置與其光源輔助拍攝方法
US9525811B2 (en) 2013-07-01 2016-12-20 Qualcomm Incorporated Display device configured as an illumination source

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116481A (ja) * 2000-07-25 2002-04-19 Fuji Photo Film Co Ltd カメラのストロボ装置、電子カメラ及び発光ヘッド
US20060250519A1 (en) * 2000-07-25 2006-11-09 Chikuni Kawakami Electronic flash, electronic camera and light emitting head
US20030025822A1 (en) * 2001-08-02 2003-02-06 Olympus Optical Co., Ltd. Electronic camera
JP2003116142A (ja) * 2001-08-02 2003-04-18 Olympus Optical Co Ltd 電子カメラ
US20060067668A1 (en) * 2004-09-30 2006-03-30 Casio Computer Co., Ltd. Electronic camera having light-emitting unit
JP2006126798A (ja) * 2004-09-30 2006-05-18 Casio Comput Co Ltd 電子カメラ
JP2008298847A (ja) * 2007-05-29 2008-12-11 Fujifilm Corp 撮影方法及びデジタルカメラ
WO2009074938A2 (en) * 2007-12-11 2009-06-18 Koninklijke Philips Electronics N.V. Camera illumination device
JP2009276524A (ja) * 2008-05-14 2009-11-26 Nikon Corp カメラシステム、カメラ本体および閃光装置

Also Published As

Publication number Publication date
US9420248B2 (en) 2016-08-16
EP3195054A1 (en) 2017-07-26
CN106716243B (zh) 2019-12-20
WO2016043912A1 (en) 2016-03-24
JP6258555B2 (ja) 2018-01-10
US20160088278A1 (en) 2016-03-24
CN106716243A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
JP6258555B2 (ja) 色温度合わせのためのマルチledカメラフラッシュ
US20220210386A1 (en) Systems and methods for digital photography
US8976264B2 (en) Color balance in digital photography
CN104954661B (zh) 用于控制图像捕获的方法和装置
US20160227100A1 (en) Dual camera systems and methods for rapid 3a convergence and high dynamic range exposure metering
US7394488B2 (en) System and method for dual white balance compensation of images
JP2018503325A (ja) 画素データに対して演算を実行するためのシステムおよび方法
US9497433B2 (en) Imaging device with color adjustment function, imaging method using the same, and non-transitory storage medium in which imaging program is stored
JP2012523799A (ja) 自動バックライト検出
CN105245863A (zh) 进行白平衡控制的图像处理装置及其控制方法和摄像设备
US9161000B2 (en) Light parameter measurement method and device, screen adjustment method and electronic device
US10469723B2 (en) Photography lighting control
US10574876B2 (en) Photography environment control
US9167174B1 (en) Systems and methods for high-dynamic range images
CN103227928A (zh) 白平衡的调整方法及装置
WO2016184167A1 (zh) 一种实现自动白平衡功能的方法和装置
US20200278833A1 (en) Audio based image capture settings
US9532024B2 (en) Color calibration and use of multi-LED flash modules
CN111492653A (zh) 相机白平衡快速调整方法、装置及计算机可读存储介质
JP6429176B2 (ja) 画像処理方法および装置
KR20160098540A (ko) 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
WO2016075979A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6523908B2 (ja) コード読取装置、コード読取方法、およびプログラム
CN109391804A (zh) 摄像装置、图像处理装置及系统、控制方法和存储介质
JP2010166591A (ja) カメラ撮影画像色調補正装置および携帯端末装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171206

R150 Certificate of patent or registration of utility model

Ref document number: 6258555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250