JP2012530278A - カメラフラッシュ緩和 - Google Patents

カメラフラッシュ緩和 Download PDF

Info

Publication number
JP2012530278A
JP2012530278A JP2012516144A JP2012516144A JP2012530278A JP 2012530278 A JP2012530278 A JP 2012530278A JP 2012516144 A JP2012516144 A JP 2012516144A JP 2012516144 A JP2012516144 A JP 2012516144A JP 2012530278 A JP2012530278 A JP 2012530278A
Authority
JP
Japan
Prior art keywords
image
flash
data
scene
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012516144A
Other languages
English (en)
Other versions
JP5699140B2 (ja
Inventor
ウォルフ,アンドリュー
コンテ,トーマス,マーティン
Original Assignee
エンパイア テクノロジー ディベロップメント エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エンパイア テクノロジー ディベロップメント エルエルシー filed Critical エンパイア テクノロジー ディベロップメント エルエルシー
Publication of JP2012530278A publication Critical patent/JP2012530278A/ja
Application granted granted Critical
Publication of JP5699140B2 publication Critical patent/JP5699140B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Abstract

画像センサー、照明を提供するためのフラッシュ、データ記憶装置、およびデータ記憶装置と動作可能に関連するプロセッサを含んでもよい画像取込みシステムのための技術が、一般的に述べられる。プロセッサは、1つまたは複数の画像取込みデバイス特性をデータ記憶装置に事前保存し、事前取込みフェーズでデータを取得し、事前保存されたデータおよび取得されたデータのどちらかまたは両方に基づいて陰影効果をモデル化し、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更し、かつ画像センサーで画像データを記録するためのコンピュータ実装命令を実行するように適合されてもよい。照明は、画像データの記録と実質的に同時に提供されてもよい。

Description

本発明は一般に、画像センサー、照明を提供するためのフラッシュ、データ記憶装置、およびデータ記憶装置と動作可能に関連するプロセッサを含んでもよい画像取込みシステムのための技術に関する。
写真システムは、アマチュア写真家によって操作されるとき広範囲の画像品質を作成する。もし所与のシーンのための写真環境が、写真システムによく適している(例えば周囲の光レベルが、一様で、十分な強度である)ならば、良好な結果が、典型的に得られる。しかし、これらの条件が存在しないときは、画像欠陥が、取込みまたは再生システムでの失敗に起因して導入されることもあり、それによって見られる最終画像の品質を低下させる。準最適画像取込み条件の影響を最小限にするために、写真システムは、画像が取り込まれてもよい光レベルおよび距離の範囲を拡張することを目的とする機能を追加することによって補償しようと試みてきた。例えば、もし周囲の光の強度が、適正な露光量を提供するのに不十分であり、主要対象が、カメラから所定の距離未満に位置するならば、大部分の組込み電子フラッシュ装置は、主要対象を少なくとも部分的に露光するのに十分な補助照明を提供することができる。しかし、たとえ主要対象が今、適正な照明を受けても、フラッシュは、画像欠陥を導入することもある。
陰影付けの画像欠陥は、補助照明が用いられるときに生じることもある。具体的には、補助照明源、またはフラッシュからの光は、被写体による妨害に起因して1つまたは複数の背景物体に達しないこともあり、被写体の背後の暗い領域として最終画像に現れることもあり、それはしばしば、画像品質の観点から望ましくない。この好ましくない現象は、少なくともある程度はレンズとカメラ筺体にまたはその中に取り付けられるフラッシュとの間の変位のために最終画像で見えると理解される。
画像センサー、照明を提供するためのフラッシュ、データ記憶装置、およびデータ記憶装置と動作可能に関連するプロセッサを含んでもよい画像取込みシステムのための技術が、一般的に述べられる。プロセッサは、1つまたは複数の画像取込みデバイス特性をデータ記憶装置に事前保存し、事前取込みフェーズでデータを取得し、事前保存されたデータおよび取得されたデータのどちらかまたは両方に基づいて陰影効果をモデル化し、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更し、かつ画像センサーで画像データを記録するためのコンピュータ実装命令を実行するように適合されてもよい。照明は、画像データの記録と実質的に同時に提供されてもよい。
一例では、シーンのデジタル画像と関連する画像データでの陰影効果を最小限にするための画像取込みシステムが、提供される。システムは、画像センサー、シーンを照らすためのフラッシュ、データ記憶装置、およびプロセッサを含んでもよい。プロセッサは、データ記憶装置と動作可能に関連してもよく、1つまたは複数の画像取込みデバイス特性をデータ記憶装置に事前保存し、事前取込みフェーズでシーン関連データを取得し、事前保存された画像取込みデバイス特性および取得されたシーン関連データのどちらかまたは両方に基づいて陰影効果をモデル化し、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更し、かつフラッシュによるシーンの照明の間に変更された設定値を使用して画像センサーで画像データを記録するためのコンピュータ実装命令を実行するように適合されてもよい。
別の例では、コンピュータ実行可能命令が、画像取込みデバイスの処理装置によって実行されるとき、シーンのデジタル画像と関連する画像データでの陰影効果を最小限にするためのコンピュータ実行可能命令がその上に保存されるコンピュータアクセス可能媒体が、提供される。画像取込みデバイスは、シーンの画像データを取り込むための画像センサー、シーンを照らすためのフラッシュ、および取り込まれた画像データを記録するためのデータ記憶装置を含んでもよい。画像データを処理するためのコンピュータ実行可能命令は、1つまたは複数の画像取込みデバイス特性をデータ記憶装置に事前保存すること、事前取込みフェーズでシーン関連データを取得すること、事前保存された画像取込みデバイス特性および取得されたシーン関連データのどちらかまたは両方に基づいて陰影効果をモデル化すること、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更すること、および変更された設定値を使用して画像センサーで画像データを記録することを含んでもよく、フラッシュによるシーンの照明は、画像データの記録と実質的に同時に提供される。
なお別の例では、シーンのデジタル画像と関連する画像データでの陰影効果を最小限にするための画像取込みデバイスのための方法であり、画像取込みデバイスは、フラッシュ、画像センサー、およびデータ記憶装置を含む。その方法は、事前取込みフェーズでシーン関連データを取得することと、取得されたシーン関連データに基づいて陰影効果をモデル化することと、モデル化された陰影効果に基づいて画像取込みデバイスのための1つまたは複数の画像取込みデバイス設定値を変更することであって、画素ごとの基準で行われる、1つまたは複数の画像取込みデバイス設定値を変更することと、フラッシュによるシーンの照明の間に変更された設定値を使用して画像センサーで画像データを記録することとを含んでもよい。
複数の例が、開示されるが、なお他の例は、以下の詳細な記述から当業者には明らかになる。明らかとなるように、本明細書で述べられるシステム、装置、および方法は、すべて本明細書での教示の精神および範囲から逸脱することなく、さまざまな明らかな態様での変更形態の能力があってもよい。それに応じて、詳細な記述は、本来説明に役立つものであり、制限するものではないと見なされるべきである。
本開示の前述のおよび他の特徴は、付随する図面と併せて受け取られる以下の記述および添付の特許請求の範囲からより完全に明らかになる。これらの図面は、本開示によるいくつかの例だけを描写し、したがってそれの範囲を限定すると考えるべきでないことを理解して、本開示は、付随する図面の使用を通じてさらに具体的にかつ詳細に述べられることになる。
いくつかの例によるデジタルカメラ装置などの画像取込みシステムのブロック図を描写する図である。 本開示の例を実施するためのコンピュータシステムを描写する図である。 いくつかの例によるフラッシュ緩和システムの動作のプロセス流れ図を描写する図である。 いくつかの例によるシステムとともに使用するのに適しているカメラを描写する図である。 説明に役立つ例による画像取込みシーンの略図を描写する図である。 本開示によるコンピュータプログラム製品例のブロック図を描写する図である。 いくつかの例によるデジタル画像内の陰影効果を最小限にするための方法の例を行うために構成されるプロセッサを含むコンピュータシステムを描写する図である。 いくつかの例によるデジタル画像内の陰影効果を最小限にするための方法の例を行うために構成されるプロセッサを含むコンピュータシステムを描写する図である。 いくつかの例による画像取込みシステムの概略図を描写する図である。
以下の詳細な記述では、本明細書の一部を形成する、付随する図面が、参照される。図面では、同様の符号は典型的には、文脈がそうでないと指示しない限り、同様の構成要素を識別する。詳細な記述、図面、および特許請求の範囲で述べられる説明に役立つ例は、限定することを意図されない。本明細書で提示される主題の精神または範囲から逸脱することなく、他の例が、利用されてもよく、他の変形が、なされてもよい。本開示の態様は、本明細書で一般的に述べられ、図で例示されるように、すべてが本明細書で明確に熟考される多種多様の異なる構成で配置され、置換され、組み合わされ、分離され、設計されてもよい。
いくつかの例では、本開示は、補助照明源の使用から結果として生じる取り込まれたデジタル画像データでの欠陥を緩和する前処理システムおよび方法に関連してもよい。より詳しくは、説明に役立つ例では、本開示は、補助照明源の使用から結果として生じる取り込まれたデジタル画像データでの陰影効果の緩和に関連してもよい。そのようなプロセスおよび方法は、例えばアマチュア写真家が、時間のかかる高価な後処理技術を必要とすることなくより高い品質の写真を撮ることを可能にすることもある。さらなる例では、前処理の間に得られるデータは、後処理で使用されてもよい。
図1は、本開示のいくつかの例によるデジタルカメラ装置などの画像取込みシステムのブロック図を描写する。画像取込みシステムは、本明細書では以後カメラ10と呼ばれるが、プロセッサ30を含んでもよい。カメラ10で実施されるプロセスの多くは、ブロック30として集合的に描写され、「プロセッサ」と称される、マイクロプロセッサ、中央処理装置(CPU)、コントローラ、デジタルシグナルプロセッサ(DSP)および/もしくは特定用途向け集積回路(ASIC)で実施されてもよくまたはそれで動作するソフトウェアによって制御されてもよいことが理解される。さまざまな例では、より多くのまたはより少ない構成要素が、プロセッサ30に含まれてもよい。例えばボタンおよびディスプレイなどを含む、ユーザー直視または操作のための構成要素などの、周辺構成要素が、含まれてもよい。一般に、ユーザーインターフェース(UI)40および/または周辺構成要素45は、マイクロコントローラ32によって制御されてもよい。プロセッサ30は、例えばシャッターボタンまたは他の適切な手段を押すなどの、マイクロコントローラ32でのユーザー入力に応答して、デジタル写真プロセスを開始し、制御してもよい。
図2を参照すると、本開示の例を実施するためのコンピュータシステムが、描写される。図2のコンピュータシステムは、プロセッサともまた呼ばれる中央処理装置(CPU)102、メインメモリ103および1つまたは複数の大容量記憶デバイス104を含むコンピュータ101を含む。プロセッサ102は一般に、マイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタルシグナルプロセッサ(DSP)、またはそれらの任意の組合せを含むが限定されない、任意の所望の構成であってもよい。それ故に、個別プロセッサ102は、プログラム命令を実行するための論理部ならびに演算論理装置(ALU)、浮動小数点演算装置(FPU)、デジタルシグナルプロセッサ(DSP)コア、レジスタ、アキュムレータ、その他などの他の機能ブロックを含んでもよい。メインメモリ103は、ランダムアクセスメモリ(RAM)などの揮発性メモリ、読み出し専用メモリ(ROM)およびフラッシュメモリ記憶装置などの不揮発性メモリ、磁気ディスク記憶装置(例えば、ハードディスクドライブすなわちHDD)、テープ記憶装置、光学式記憶装置(例えば、コンパクトディスクすなわちCD、デジタル多用途ディスクすなわちDVD)、または取外し可能な、取外しできない、揮発性もしくは不揮発性であってもよい他の機械可読記憶媒体などのデータ記憶装置を含むが限定されない、任意の適切な形態のメモリであってもよい。デジタル画像内の陰影効果を低減するためのアルゴリズムは、例えばROMなどのメインメモリ103に提供されてもよい。
大容量記憶デバイス104およびそれらの関連するコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールおよびコンピュータ101のための他のデータの記憶装置を提供する。大容量記憶デバイス104はまた、オペレーティングシステム106、応用プログラム107、プログラムモジュール108、およびデータベース180を含んでもよい。コンピュータ101はさらに、それを通じてユーザーがコマンドおよびデータを入力できるユーザー入力デバイス190を含む。入力デバイスは、電子デジタイザー、マイクロフォン、キーボードおよび一般的にマウス、トラックボールまたはタッチパッドと呼ばれるポインティングデバイスを含んでもよい。他の入力デバイスは、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナーなどを含んでもよい。
これらのおよび他の入力デバイスは、システムバスに結合されるユーザー入力インターフェースを通じてプロセッサ102に結合されてもよいが、しかしパラレルポート、ゲームポートまたはユニバーサルシリアルバス(USB)などの他のインターフェースおよびバス構造によって結合されてもよい。コンピュータ101などのコンピュータはまた、出力周辺インターフェース194または同様のものを通じて結合されてもよい、スピーカなどの他の周辺出力デバイスを含んでもよい。
コンピュータ101は、ネットワークインターフェース196に結合されるリモートコンピュータなどの、1つまたは複数のコンピュータへの論理接続を使用してネットワーク化された環境で動作してもよい。リモートコンピュータは、パーソナルコンピュータ、サーバー、ルーター、ネットワークPC、ピアデバイスまたは他の共通ネットワークノードであってもよく、コンピュータ101に関して上で述べられた要素の多くまたはすべてを含んでもよい。リモートコンピュータは、コンピュータ101の指示に応じてクライアントまたはサーバーのもう一方のものと考えられてもよい。ネットワーク環境は、職場、企業向け広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)、イントラネットおよびインターネットでごく普通である。発信元および送信先マシンは、ネットワーク109または任意の他の手段によって結合される必要はないが、しかし代わりに、データは、発信元プラットフォームによって書き込まれ、送信先プラットフォームまたは複数プラットフォームによって読み出される能力がある任意の媒体を介して移動されてもよい。いくつかの例では、ネットワークは、無線ローカルエリアネットワーク(WLAN)などの無線ネットワークであってもよい。LANまたはWLANネットワーク環境で使用されるときは、コンピュータ101は、ネットワークインターフェース196またはアダプターを通じてLANに結合される。WANネットワーク環境で使用されるときは、コンピュータ101は典型的に、インターネットまたはネットワーク109などの、WANでの通信を確立するためのモデムまたは他の手段を含む。コンピュータ間の通信リンクを確立する他の手段が、使用されてもよいことが理解されよう。
図1を再び参照すると、説明に役立つ例では、カメラ10は、光センサー50を含んでもよい。光センサー50は、周囲光の露光量を決定するために使用されてもよい。周囲光の露光量は、フラッシュを使用すべきかどうかを決定するのに有用なこともある。カメラ10はまた、画像センサー70を含んでもよい。画像センサー70は、例えば電荷結合デバイス(CCD)、相補型金属酸化膜半導体(CMOS)、および同様のものなどの、デジタル画像データを取り込むのに適している任意の構成要素を含んでもよい。いくつかの例では、画像センサー70は、関連する画像センサー論理部75を使用して取り込まれた画像を分析し、画像データを展開してもよい。一例では、カメラ10はまた、二次的画像センサー77を含んでもよい。例えば、二次的画像センサー77は、画像センサー70よりも低い解像度を有してもよい。
いくつかの例では、カメラ10はさらに、焦点整合構成要素60を含んでもよい。焦点整合構成要素60は、画像の焦点を画像センサー70に合わせることができる。加えて、焦点整合構成要素60は、例えば主要対象までの距離および/または背景物体までの距離などの、さまざまなシーン関連距離を決定することができる。一例では、焦点整合構成要素60は、関連する焦点整合構成要素論理部65を使用してさまざまなシーン関連距離を決定することができる。
さらになお、カメラ10は、補助照明、またはフラッシュ構成要素80を含んでもよく、それは、例えばシャッターボタンの押し下げなどの、ユーザーによる作動に基づく画像センサー70によるデジタル画像データの記録と実質的に同時に写真用フラッシュを発生させることができる。フラッシュ構成要素80は、カメラ筺体中に形成されてもよくまたはカメラ10への取外し可能な付属品として構成されてもよい。フラッシュは、周囲の光がしきい値レベルより下であることを光センサー50が感知することによるなどの、光センサー50に応答して、またはカメラ10のユーザーからの手動入力により、フラッシュ構成要素80によって選択的に発生されてもよい。いくつかの例では、プロセッサ30は、デジタル画像データの前処理および/または後処理での使用のためにデジタル記録で記録されるべきシーン関連情報を前述のセンサー/構成要素の1つまたは複数から受け取ってもよい。
いくつかの例では、デジタル画像データおよび/またはそれと関連するデータは、データ記憶構成要素90に保存されてもよく、それは、例えばダイナミックランダムアクセスメモリ(DRAM)または不揮発性メモリなどの任意の適切なコンピュータメモリを含んでもよい。例えばCFカード、SDカード、または同様のものなどの、取外し可能な記憶デバイス95がさらに、デジタル画像データおよび/またはそれと関連するデータを保存するために使用されてもよい。
いくつかの例では、フラッシュ緩和システム100は、コンピュータソフトウェア、ファームウェア、デバイスドライバー、デジタル電子回路もしくはコンピュータハードウェア、またはこれらの任意の組合せを含むが限定されない、任意の計算および/または処理環境で実施されてもよい。一例では、フラッシュ緩和システム100は、カメラ10に統合されてもよく、プロセッサ30で実行する一組の命令を含んでもよい。いくつかの例では、プロセッサ30によって受け取られる事前保存された情報および/またはシーン関連情報に基づいて、フラッシュ緩和システム100は、カメラフラッシュから結果として生じ、1つまたは複数の背景物体に現れる陰影効果の特質および/または特性をモデル化することができる。フラッシュ緩和システム100はまた、カメラ設定値調節を概算して、取り込まれた画像データでの陰影効果を除去するまたは実質的に低減することができる。本開示は、陰影効果がカメラフラッシュの結果として生じることもある例に関して述べられるが、本開示のシステムおよび方法は、任意の照明源から結果として生じる陰影効果を緩和するために用いられてもよいことを理解すべきである。
図3は、本開示のいくつかの例によるフラッシュ緩和システム100の動作のプロセス流れ図を描写する。フラッシュ緩和システム100は、事前取込みフェーズの間にシーン関連データを取得することができる(ブロック110)。事前取込みフェーズは、画像データの取込みより前に行われるフェーズのことであってもよく、そのフェーズではカメラは、環境パラメーターを検出するまたは感知する。例えば、周囲の光レベルは、光センサー50または画像センサー70もしくは77を介して検出されてもよい。さらなる例として、主要対象までの距離および/または1つもしくは複数の背景物体までの距離は、焦点整合構成要素60を介して、または光センサー50を使用してフラッシュ構成要素80からの反射光を測定することによって、または画像センサー70もしくは77を介して決定されてもよい。なお別の例として、事前フラッシュから結果として生じる陰影の特性は、例えば焦点整合構成要素60、画像センサー70、および/または二次的画像センサー77などの、1つまたは複数のデバイス構成要素を介して検出されてもよい。事前フラッシュは、フラッシュ構成要素80を使用して達成されてもよい。別法として、事前フラッシュは、他の手段を使用して達成されてもよい。図4aに関して論じられるフラッシュオフセット変位などの事前保存されたデータ、および/または取得されたシーン関連データを使用して、システムは次いで、補助照明の結果として背景物体に投げかけられる可能性が高い陰影効果をモデル化することができる(ブロック120)。モデル化された陰影効果に基づいて、フラッシュ緩和システム100は、フラッシュの結果として1つまたは複数の背景物体に投げかけられる陰影が除去されるまたは実質的に低減されるように1つまたは複数のカメラ設定値を変更することができる(ブロック130)。カメラ設定値変更の後、画像データは、画像センサー70によって取り込まれまたは記録され、データ記憶装置90および/または取外し可能なデータ記憶装置95に保存されてもよい(ブロック140)。
最初の事柄として、いくつかの例では、1つまたは複数のカメラ特性は、データ記憶装置90に事前保存されてもよい。図4aは、本明細書で開示されるいくつかの例によるシステムとともに使用するのに適しているカメラ300を描写する。図示されるように、カメラ300は、レンズ320から変位d1およびd1だけそれぞれオフセットしている(「フラッシュオフセット変位(複数可)」)組込みフラッシュ310aおよび/または取外し可能なフラッシュ310bを含んでもよい。いくつかの例では、カメラ300は、組込みフラッシュ310aかまたは取外し可能なフラッシュ310bが用いられるかを感知するように構成されてもよい。上で論じたように、フラッシュオフセット変位は、少なくともある程度は、カメラフラッシュから結果として生じる陰影効果が取り込まれた画像で見える原因になる。いくつかの例では、フラッシュオフセット変位は、データ記憶装置90に事前保存されてもよい。別法として、カメラ10の任意の有用な特性は、データ記憶装置90に事前保存されてもよい。
いくつかの例では、事前取込みフェーズの間のデータの取得(ブロック110)は、カメラフラッシュから結果として生じる陰影効果のモデル化/推定を可能にする1つまたは複数のパラメーターの取得を含んでもよい。いくつかの例では、1つまたは複数のシーン関連距離が、推定され、データ記憶装置90に保存されてもよい。
図4bは、本開示の説明に役立つ例による画像取込みシーンの略図を描写する。図示されるように、ユーザー401は、補助照明410の助けを借りてカメラ402を使用して主要目標404または焦点の画像を取り込むことができる。また図示もされるように、補助照明は、陰影405がシーン背景の物体406に投げかけられる結果をもたらすこともある。いくつかの例では、カメラ402の焦点整合構成要素は、d2として図示される主要目標までの距離を概算することができる。さらなる例では、焦点整合構成要素は、シーンを走査して、カメラ402と背景物体406との間の距離d3などの、1つまたは複数の背景物体までの距離を概算することができる。いくつかの例では、主要目標までの距離および背景物体までの距離のどちらかまたは両方は、データ記憶装置90または他の適切な記憶場所に保存されてもよい。一般に、距離d1、d2、および/またはd3は、陰影効果が背景物体に投げかけられることになる角度を決定しかつ/または取り込まれた画像データでの陰影効果の位置をより確実に予測するために使用されてもよい。
さらなる例では、事前取込みフェーズの間のデータ取得(ブロック110)は、事前フラッシュと関連するデータを取得することを含んでもよい。事前フラッシュは一般に、取り込まれる画像データの記録と実質的に同時に放出されるフラッシュより前にかつそのフラッシュから離れてカメラから放出されるフラッシュのことであってもよい。事前フラッシュの発生は、取り込まれる画像データに現れる可能性が高い陰影効果を生成することもある。いくつかの例では、事前フラッシュ発生により、システムは、例えば陰影の暗さ、形状、および/またはサイズなどの、生じる陰影の特性/特質に関連するデータを取り出すことができる。説明に役立つ例では、エッジ検出アルゴリズムは、陰影の境界、それ故に取得された画像でどの画素が陰影によって影響を受けるかを決定するために使用される。さまざまな例では、事前フラッシュと実質的に同時に、画像センサー70および/または二次的画像センサー77は、シーンの1つまたは複数の事前取込み画像を記録することができる。事前取込み画像は、フラッシュ緩和システム100による分析のためにデータ記憶装置90に保存されてもよい。本開示の事前フラッシュはまた、当技術分野では周知であるように、赤目軽減システムの一部として用いられてもよく、または別法としてそのようなシステムから分離されてもよいと理解すべきである。
いくつかの例では、事前保存されたデータおよび/または事前取込みフェーズの間に収集されたデータを使用して、フラッシュ緩和システム100は、背景物体に投げかけられる陰影効果をモデル化することができる(ブロック120)。例えば、一例では、フラッシュオフセット距離、主要目標までの距離、1つまたは複数の背景物体までの距離、事前取込み画像、またはそれらの組合せのいずれかもしくはすべてに基づいて、システムは、例えば陰影の暗さ、サイズ、および/または広がりなどの、主要目標の背後の陰影効果をモデル化することができる。画像内の陰影の付いた画素の位置は、主要目標430、照明源、および画像センサーに関連する画像での各画素間の角度を使用し、次いで背景物体450へのこの角度に沿った照明源の投影をモデル化することによって推定されてもよい。この角度は、変位d1および距離d2から計算されてもよく、次いで距離d3に投影されてもよい。エッジ検出などの画像処理技術は、どの画素が陰影中にあるかの推定を精緻化するために使用できる。
デジタル画像は、色および陰を変える複数の個別画素を含み、これらの画素のグループ化したものは、デジタル画像を作り上げるものであることが理解されよう。説明に役立つ例では、フラッシュ効果のモデル化(ブロック120)は、陰影領域に対応する1つまたは複数の保存された事前取込み画像での個別画素または画素の範囲を識別することを含んでもよい。この関連で、フラッシュ緩和システム100は、陰影付けを示す特質を有する事前取込み画像で画素の位置を特定するための画素ロケーターを含んでもよい。いくつかの例では、識別された画素は、少なくともある程度は、モデル化された陰影を規定することができる。別法として、フラッシュ緩和システム100は、陰影効果を検出し、除去するのに有用な任意の構成要素を含んでもよい。
いくつかの例では、モデル化された陰影に基づいて、フラッシュ緩和システム100は、陰影効果が除去されるまたは実質的に低減されるように1つまたは複数のカメラ設定値を自動的に調節することができる(ブロック130)。カメラ設定値は、フラッシュ誘発の陰影によって引き起こされる照明差異を補償するために、画素当たり、ライン当たり、または画素のグループ当たりの基準で調節できる。調節できるカメラ設定値は、例えば画素利得、画素オフセット、シャッター速度、露光量、ISO設定値、および同様のものなどの任意の従来のカメラ設定値を含む。別法として、任意の適正なカメラ設定値が、調節されてもよい。いくつかの例では、カメラ設定値の1つまたは複数は、デフォルト値にプリセットされてもよい。さらなる実施形態では、カメラ設定値は、ユーザーによって手動でかつ/またはカメラによって自動で変更されてもよい。
フラッシュ緩和システム100は、モデル化された陰影効果の領域に対応する個別画素または画素の範囲の特質を調節することができる。この関連で、フラッシュ緩和システム100は、識別された画素の特質を変更するための画素モディファイアを含んでもよい。いくつかの例では、フラッシュ緩和システム100は、識別された各画素または画素のグループの利得を個別にかつ動的に調節し、例えば利得を増加させることによって、陰影効果から結果として生じる低コントラストを補償することができる。一例では、フラッシュ緩和システム100は、識別された各画素または画素のグループの露光量を個別にかつ動的に調節し、例えば露光量を増加させることによって、陰影効果から結果として生じる暗さを補償することができる。本明細書で述べられる利得および露光量を調節するためのシステムは、周知のシステムとは対照的であり、周知のシステムは、個別画素または画素のグループ基準とは対照的に画像基準で利得を調節する(すなわち、画像を構成する画素の各々についての利得は、同じ量だけ調節される)。本開示のシステムおよび方法に従って取り込まれる画像データの後処理の目的のために、個別画素利得および/または露光量調節は、周知である必要があり得ることを理解すべきである。この関連で、以下でより詳細に論じられるように、少なくともある程度は、個別画素調節を含むメタデータは、データ記憶装置90に保存され、取り込まれた画像データと関連してもよい。
説明に役立つ例では、カメラ設定値が変更された(ブロック130)後、デジタル画像データは、画像センサー70によって取り込まれてもよい(ブロック140)。取り込まれた画像データは、画像ディスプレイで表示され、データ記憶装置90に保存され、取外し可能な記憶装置95に保存され、かつ/またはパーソナルコンピュータ、サーバー、もしくはプリンターなどの別のデバイスに画像出力構成要素を介してダウンロードされ、さもなければ処理されてもよい。
図5は、本開示に従って配置されるコンピュータプログラム製品例501のブロック図を例示する。いくつかの例では、図5で示されるように、コンピュータプログラム製品501は、プログラム命令505もまた含んでもよい信号保持媒体503を含む。プログラム命令505は、1つまたは複数の画像取込みデバイス特性をデータ記憶装置に事前保存するように配置されてもよい。プログラム命令505はまた、事前取込みフェーズでデータを取得するように配置されてもよい。さらに、プログラム命令505はまた、事前保存されたデータおよび取得されたデータのどちらかまたは両方に基づいて陰影効果をモデル化するように配置されてもよい。さらになお、プログラム命令505は、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更するように配置されてもよい。さらにその上、プログラム命令505は、画像センサーで画像データを記録するように配置されてもよく、フラッシュによる照明は、画像データの記録と実質的に同時に提供される。
図5でまた描写されるように、いくつかの例では、コンピュータプログラム製品501は、コンピュータ可読媒体506、記録可能な媒体508および通信媒体510の1つまたは複数を含んでもよい。これらの要素の周りの点線ボックスは、信号保持媒体503内に含まれてもよいが限定されない、異なる種類の媒体を描写してもよい。これらの種類の媒体は、プロセッサ、論理部および/またはそのような命令を実行するための他の手段を含むコンピュータデバイスによって実行されるべきプログラム命令505を配布することができる。コンピュータ可読媒体506および記録可能な媒体508は、フレキシブルディスク、ハードディスクドライブ(HDD)、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、コンピュータメモリ、その他を含んでもよいが限定されない。通信媒体510は、デジタルおよび/またはアナログ通信媒体(例えば、光ファイバーケーブル、導波管、有線通信リンク、無線通信リンク、その他)を含んでもよいが限定されない。
いくつかの特定例では、図6aの概略図で示されるように、コンピュータシステム200は、本開示のいくつかの例によるデジタル画像内の陰影効果を最小限にするための方法の例を行うために構成されるプロセッサ205を含んでもよい。他の例では、その方法のさまざまなステップまたはさまざまなステップの一部は、プロセッサ205の外側で行われてもよい。さまざまな例では、その方法は、1つまたは複数の画像取込みデバイス特性をデータ記憶装置90に事前保存することを含んでもよい(ブロック210)。その方法は次いで、事前取込みフェーズでデータを取得することを含んでもよい(ブロック220)。次に、その方法は、事前保存されたデータおよび取得されたデータのどちらかまたは両方に基づいて陰影効果をモデル化することを含んでもよい(ブロック230)。その方法は次いで、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更することを含んでもよい(ブロック240)。最後に、その方法は、画像センサー70で画像データを記録することを含んでもよく、照明は、画像データの記録と実質的に同時に提供されてもよい(ブロック250)。
別の特定例では、図6bの概略図で示されるように、コンピュータシステム300は、本開示のいくつかの例によるデジタル画像内の陰影効果を最小限にするための方法の例を行うために構成されるプロセッサ305を含んでもよい。他の例では、その方法のさまざまなステップまたはさまざまなステップの一部は、プロセッサ305の外側で行われてもよい。さまざまな例では、その方法は、事前取込みフェーズでデータを取得することを含んでもよい(ブロック310)。その方法は次いで、取得されたデータに基づいて陰影効果をモデル化することを含んでもよい(ブロック320)。次に、その方法は、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更することを含んでもよい(ブロック330)。その方法は次いで、ピクセルごとの基準でモデル化された陰影効果の責任を取ることを含んでもよい(ブロック340)。最後に、その方法は、画像センサーで画像データを記録することを含んでもよく、照明は、画像データの記録と実質的に同時に提供される(ブロック350)。
いくつかの例では、非画像情報、またはメタデータは、取り込まれた画像データと一緒に保存されてもよい。メタデータは、非画像ヘッダーデータの一部としてデジタル画像ファイルに保存されてもよく、またはデジタル画像ファイルと関連する任意の形態のデジタルメモリに保存されてもよい。保存されたメタデータは、デジタル画像データの後処理を支援するために使用されてもよく、取り込まれた画像データに関連する任意の情報を含んでもよい。例えば、メタデータは、オフセット変位、主要目標までの距離、1つもしくは複数の背景物体までの距離、事前画像データ、陰影モデルデータ、カメラ設定値(例えば、各画素のための利得調節)などのいずれかまたはすべてを含んでもよい。別法として、メタデータは、取り込まれた画像データの後処理に有用な任意の情報を含んでもよい。
図7は、本開示のいくつかの例による画像取込みシステム400の概略図を描写する。画像センサー410および焦点整合構成要素420などの、画像取込みシステム400の1つまたは複数の構成要素は、事前取込みフェーズの間に主要目標430に関連するデータを取得するために別々にまたは組合せで使用されてもよい。いくつかの例では、画像センサー410によって取得されるデータは、画像データ412および/または事前取込みデータ414を含んでもよい。先に述べたように、画像センサー410は、関連する画像センサー論理部413を使用して取り込まれた画像を分析し、画像データ412または事前取込みデータ414を展開してもよい。焦点整合構成要素から取得されるデータは、事前取込みデータ416を含んでもよい。先に述べたように、焦点整合構成要素420は、関連する焦点整合構成要素論理部417を使用して取り込まれた画像を分析し、事前取込みデータ416を展開してもよい。事前取込みデータ414、画像データ412、または事前取込みデータ416のいずれかを含む、取得されたデータは、データバス415および425をそれぞれ介して画像センサー410および焦点整合構成要素420からプロセッサ440に転送されてもよい。プロセッサ440は、取得されたデータに基づいて陰影効果をモデル化することができる。プロセッサ440は、画像センサー410の1つまたは複数の設定値などの、1つまたは複数の画像取込みデバイス設定値を変更することができ、その設定値は、データバス415を介して画像センサー410および関連する論理部413に伝えられてもよい。プロセッサ440は、画素ごとの基準でモデル化された陰影効果の責任を取ることができる。画像センサー410は、主要目標430に関連する画像データを記録することができる。照明は、画像データの記録の前および/または間にフラッシュ構成要素450によって発生されてもよい。
前述のことは、補助照明源の使用から結果として生じる取り込まれたデジタル画像での欠陥を緩和する前処理システムおよび方法のさまざまな例を述べる。次に来るのは、デジタル画像内の陰影効果を最小限にするシステムおよび方法の具体例である。これらは、例示のためだけであり、限定することを意図されない。
本開示は一般に、画像を取り込むためのシステムに関する。述べられるシステムは、画像センサー、照明を提供するためのフラッシュ、データ記憶装置、およびデータ記憶装置と動作可能に関連するプロセッサを含んでもよい。プロセッサは、データ記憶装置と動作可能に関連してもよく、1つまたは複数の画像取込みデバイス特性をデータ記憶装置に事前保存し、事前取込みフェーズでデータを取得し、事前保存されたデータおよび取得されたデータのどちらかまたは両方に基づいて陰影効果をモデル化し、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更し、かつフラッシュによる照明の間に画像センサーで画像データを記録するためのコンピュータ実装命令を実行するように適合されてもよい。
いくつかのさらに述べられるシステムでは、画像取込みシステムは、画像センサー、照明を提供するためのフラッシュ、データ記憶装置、およびデータ記憶装置と動作可能に関連するプロセッサを含んでもよい。プロセッサは、データ記憶装置と動作可能に関連してもよく、事前取込みフェーズでデータを取得し、取得されたデータに基づいて陰影効果をモデル化し、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更し、画素ごとの基準で変更された陰影効果の責任を取り、かつ画像センサーで画像データを記録するためのコンピュータ実装命令を実行するように適合されてもよい。照明は、画像データの記録と実質的に同時に提供されてもよい。
本開示はまた一般に、実行可能命令が、画像センサーおよびデータ記憶装置を含む画像取込みデバイスの処理装置によって実行されるとき、画像を処理するためのコンピュータ実行可能命令がその上に保存されるコンピュータアクセス可能媒体にも関する。その命令は、処理装置にデジタル画像内の陰影効果を低減するプロセスを行わせることができる。いくつかの例では、述べられるプロセスは、1つまたは複数の画像取込みデバイス特性をデータ記憶装置に事前保存すること、事前取込みフェーズでデータを取得すること、事前保存されたデータおよび取得されたデータのどちらかまたは両方に基づいて陰影効果をモデル化すること、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更すること、および画像センサーで画像データを記録することを含んでもよい。照明は、画像データの記録と実質的に同時に提供されてもよい。
本開示はさらに一般に、デジタル画像内の陰影効果を最小限にするための方法に関する。いくつかの例では、その方法は、事前取込みフェーズでデータを取得することと、取得されたデータに基づいて陰影効果をモデル化することと、モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更することと、画素ごとの基準でモデル化された陰影効果の責任を取ることと、フラッシュによる照明の間に画像センサーで画像データを記録することとを含んでもよい。
本開示は、この出願で述べられる特定例の観点から限定されるべきでなく、その特定例は、さまざまな態様の例示として意図される。多くの変更および変形は、当業者には明らかであるように、それの精神および範囲から逸脱することなくなされてもよい。本開示の範囲内の機能的に同等の方法および装置は、本明細書で列挙されるそれらに加えて、前述の記述から当業者には明らかとなる。そのような変更および変形は、添付の特許請求の範囲内に入ることを意図される。本開示は、そのような特許請求の範囲が権利を与えられる等価物の完全な範囲とともに、添付の特許請求の範囲の条項によってのみ限定されるべきである。この開示は、もちろん変わることができる特定の方法、試薬、化合物組成または生物学的システムに限定されないことを理解すべきである。本明細書で使用される専門用語は、特定例だけを述べる目的のためであり、限定することを意図されないこともまた理解すべきである。
本明細書での実質的に任意の複数形および/または単数形の術語の使用に関して、当業者は、文脈および/または適用にふさわしいように、複数形から単数形におよび/または単数形から複数形に言い換えてもよい。さまざまな単数形/複数形の置換は、明確さのために本明細書ではっきりと説明されてもよい。
一般的に、本明細書で、特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の主要部)で使用される術語は一般に、「開いた」術語(例えば、術語「含んでいる」は、「含んでいるが限定されない」として解釈されるべきであり、術語「有する」は、「少なくとも有する」として解釈されるべきであり、術語「含む」は、「含むが限定されない」として解釈されるべきであり、その他)として意図されることが当業者には理解されよう。もし導入される特許請求の範囲列挙の具体的な数字が意図されるならば、そのような意図は、その特許請求の範囲で明確に列挙されることになり、そのような列挙がない場合には、そのような意図はないことが当業者にはさらに理解されよう。例えば、理解の補助として、次に来る添付の特許請求の範囲は、特許請求の範囲列挙を導入するために前置き語句「少なくとも1つ」および「1つまたは複数」の使用を含んでもよい。しかし、そのような語句の使用は、単数表現による特許請求の範囲列挙の導入が、同じ特許請求の範囲が前置き語句「1つもしくは複数」または「少なくとも1つ」および単数表現などの不定冠詞を含むときでさえ、そのような導入される特許請求の範囲列挙を含む任意の特定の特許請求の範囲を1つだけのそのような列挙を含む例に限定することを暗示すると解釈されるべきでなく(例えば、単数表現は、「少なくとも1つ」または「1つもしくは複数」を意味すると解釈すべきである)、同じことは、特許請求の範囲列挙を導入するために使用される定冠詞の使用についても当てはまる。加えて、たとえ導入される特許請求の範囲列挙の具体的な数字が明確に列挙されても、そのような列挙は、少なくとも列挙される数字を意味する(例えば、他の修飾語句のない「2つの列挙」の裸の列挙は、少なくとも2つの列挙または2つ以上の列挙を意味する)と解釈すべきであることが当業者には認識されよう。さらに、「A、B、およびC、その他の少なくとも1つ」に類似した慣習が使用されるそれらの場合には、一般にそのような構文は、当業者がその慣習を理解することになる(例えば、「A、B、およびCの少なくとも1つを有するシステム」は、Aだけ、Bだけ、Cだけ、AおよびBを一緒に、AおよびCを一緒に、BおよびCを一緒に、ならびに/またはA、B、およびCを一緒に、その他を有するシステムを含むが限定されないことになる)という意味に意図される。「A、B、またはC、その他の少なくとも1つ」に類似した慣習が使用されるそれらの場合には、一般にそのような構文は、当業者がその慣習を理解することになる(例えば、「A、B、またはCの少なくとも1つを有するシステム」は、Aだけ、Bだけ、Cだけ、AおよびBを一緒に、AおよびCを一緒に、BおよびCを一緒に、ならびに/またはA、B、およびCを一緒に、その他を有するシステムを含むが限定されないことになる)という意味に意図される。2つ以上の代替術語を提示する事実上任意の離接語および/または語句は、明細書、特許請求の範囲、または図面のいずれであろうが、術語の1つ、術語のどちらか、または両方の術語を含む可能性を熟考すると理解すべきであることが当業者にはさらに理解されよう。例えば、語句「AまたはB」は、「A」または「B」または「AおよびB」の可能性を含むと理解されることになる。
加えて、本開示の特徴または態様がマーカッシュグループの観点から述べられる場合は、本開示はまた、それによってマーカッシュグループの任意の個別メンバーまたはメンバーのサブグループの観点からも述べられることが当業者には認識されよう。
当業者には理解されるように、書面による明細を提供する観点からなどの任意のおよびすべての目的のために、本明細書で開示されるすべての範囲はまた、それの任意のおよびすべての可能な部分的範囲ならびに部分的範囲の組合せも包含する。任意の記載された範囲は、同じ範囲が少なくとも均等な半分、3分の1、4分の1、5分の1、10分の1、その他に分解されることを十分に記述し、可能にすると容易に認識されてもよい。限定しない例として、本明細書で論じられる各範囲は、下側の3分の1、真ん中の3分の1および上側の3分の1、その他に容易に分解されてもよい。当業者にはまた理解されるように、「に至るまで」、「少なくとも」、「よりも大きい」、「よりも小さい」、および同様のものなどのすべての言語は、列挙される数字を含み、上で論じたような部分的範囲に後で分解されてもよい範囲のことである。最後に、当業者には理解されるように、範囲は、各個別メンバーを含む。それ故に、例えば、1〜3セルを有するグループは、1、2、または3セルを有するグループのことである。同様に、1〜5セルを有するグループは、1、2、3、4、または5セルを有するグループのこと、などである。
さまざまな態様および例が、本明細書で開示されたが、他の態様および例は、当業者には明らかであろう。本明細書で開示されるさまざまな態様および例は、例示の目的のためであり、限定することを意図されず、真の範囲および精神は、次に来る特許請求の範囲によって示される。
図4bは、本開示の説明に役立つ例による画像取込みシーンの略図を描写する。図示されるように、ユーザー401は、補助照明の助けを借りてカメラ402を使用して主要目標404または焦点の画像を取り込むことができる。また図示もされるように、補助照明は、陰影405がシーン背景の物体406に投げかけられる結果をもたらすこともある。いくつかの例では、カメラ402の焦点整合構成要素は、d2として図示される主要目標までの距離を概算することができる。さらなる例では、焦点整合構成要素は、シーンを走査して、カメラ402と背景物体406との間の距離d3などの、1つまたは複数の背景物体までの距離を概算することができる。いくつかの例では、主要目標までの距離および背景物体までの距離のどちらかまたは両方は、データ記憶装置90または他の適切な記憶場所に保存されてもよい。一般に、距離d1、d2、および/またはd3は、陰影効果が背景物体に投げかけられることになる角度を決定しかつ/または取り込まれた画像データでの陰影効果の位置をより確実に予測するために使用されてもよい。
いくつかの例では、事前保存されたデータおよび/または事前取込みフェーズの間に収集されたデータを使用して、フラッシュ緩和システム100は、背景物体に投げかけられる陰影効果をモデル化することができる(ブロック120)。例えば、一例では、フラッシュオフセット距離、主要目標までの距離、1つまたは複数の背景物体までの距離、事前取込み画像、またはそれらの組合せのいずれかもしくはすべてに基づいて、システムは、例えば陰影の暗さ、サイズ、および/または広がりなどの、主要目標の背後の陰影効果をモデル化することができる。画像内の陰影の付いた画素の位置は、主要目標404、照明源、および画像センサーに関連する画像での各画素間の角度を使用し、次いで背景物体406へのこの角度に沿った照明源の投影をモデル化することによって推定されてもよい。この角度は、変位d1および距離d2から計算されてもよく、次いで距離d3に投影されてもよい。エッジ検出などの画像処理技術は、どの画素が陰影中にあるかの推定を精緻化するために使用できる。

Claims (21)

  1. シーンのデジタル画像と関連する画像データでの陰影効果を最小限にするための画像取込みシステムであって、前記画像取込みシステムは、
    画像センサーと、
    前記シーンを照らすためのフラッシュと、
    データ記憶装置と、
    前記データ記憶装置と動作可能に関連し、
    1つまたは複数の画像取込みデバイス特性を前記データ記憶装置に事前保存し、
    事前取込みフェーズでシーン関連データを取得し、
    前記事前保存された画像取込みデバイス特性および前記取得されたシーン関連データのどちらかまたは両方に基づいて陰影効果をモデル化し、
    前記モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更し、かつ
    前記フラッシュによる前記シーンの照明の間に前記変更された設定値を使用して前記画像センサーで画像データを記録するためのコンピュータ実装命令を実行するように適合されるプロセッサとを含む、画像取込みシステム。
  2. 前記事前保存された画像取込みデバイス特性は、フラッシュオフセット距離を含む、請求項1に記載の画像取込みシステム。
  3. 前記事前取込みフェーズの間に取得される前記シーン関連データは、前記画像センサー、焦点整合構成要素、または光センサーのいずれかまたはすべてによって決定される前記シーンでの主要目標までの距離を含む、請求項1に記載の画像取込みシステム。
  4. 前記事前取込みフェーズの間に取得される前記シーン関連データは、事前フラッシュによって生じる陰影効果の特性を含み、前記事前フラッシュは、前記フラッシュによって発生され、前記陰影効果の前記特性は、前記画像センサーおよび焦点整合構成要素のどちらかまたは両方によって決定される、請求項1に記載の画像取込みシステム。
  5. 前記事前取込みフェーズの間に取得される前記シーン関連データは、事前フラッシュと実質的に同時に前記画像センサーによって記録される1つまたは複数の事前取込み画像を含み、前記事前フラッシュは、前記フラッシュによって発生される、請求項1に記載の画像取込みシステム。
  6. 前記プロセッサはさらに、陰影付けを示す前記事前取込み画像での個別画素を識別するためのコンピュータ実装命令を実行するように適合される、請求項5に記載の画像取込みシステム。
  7. 前記プロセッサはさらに、フラッシュオフセット距離、前記主要目標までの距離、および/または事前フラッシュと実質的に同時に前記画像センサーによって記録される1つもしくは複数の事前取込み画像の1つもしくは複数に基づいて前記陰影効果をモデル化するためのコンピュータ実装命令を実行するように適合され、前記事前フラッシュは、前記フラッシュによって発生される、請求項1に記載の画像取込みシステム。
  8. 前記陰影効果をモデル化するために、前記プロセッサはさらに、識別された陰影の暗さ、サイズ、および/または形状の1つもしくは複数を概算するためのコンピュータ実装命令を実行するように適合される、請求項7に記載の画像取込みシステム。
  9. 前記プロセッサはさらに、前記識別された陰影に対応する各画素と関連する利得を個別にかつ動的に調節するためのコンピュータ実装命令を実行するように適合される、請求項8に記載の画像取込みシステム。
  10. 前記プロセッサはさらに、画素ごとの基準で前記モデル化された陰影効果の責任を取るためのコンピュータ実装命令を実行するように適合される、請求項1に記載の画像取込みシステム。
  11. 前記プロセッサはさらに、前記画像データの記録と実質的に同時に前記シーンを照らすように前記フラッシュを作動させるためのコンピュータ実装命令を実行するように適合される、請求項1に記載の画像取込みシステム。
  12. コンピュータ実行可能命令が、画像取込みデバイスの処理装置によって実行されるとき、シーンのデジタル画像と関連する画像データでの陰影効果を最小限にするための前記コンピュータ実行可能命令がその上に保存されるコンピュータアクセク可能媒体であって、前記画像取込みデバイスは、シーンの前記画像データを取り込むための画像センサー、前記シーンを照らすためのフラッシュ、および前記取り込まれた画像データを記録するためのデータ記憶装置を含み、前記画像データを処理するための前記コンピュータ実行可能命令は、
    1つまたは複数の画像取込みデバイス特性を前記データ記憶装置に事前保存すること、
    事前取込みフェーズでシーン関連データを取得すること、
    前記事前保存された画像取込みデバイス特性および前記取得されたシーン関連データのどちらかまたは両方に基づいて陰影効果をモデル化すること、
    前記モデル化された陰影効果に基づいて1つまたは複数の画像取込みデバイス設定値を変更すること、および
    前記変更された設定値を使用して前記画像センサーで画像データを記録することを含み、前記フラッシュによる前記シーンの照明は、前記画像データの記録と実質的に同時に提供される、コンピュータアクセス可能媒体。
  13. 前記事前保存された画像取込みデバイス特性は、フラッシュオフセット距離を含む、請求項12に記載のコンピュータアクセス可能媒体。
  14. 前記事前取込みフェーズの間に取得されるシーン関連データは、主要目標までの距離を含む、請求項12に記載のコンピュータアクセス可能媒体。
  15. シーンのデジタル画像と関連する画像データでの陰影効果を最小限にするための画像取込みデバイスのための方法であって、前記画像取込みデバイスは、フラッシュ、画像センサー、およびデータ記憶装置を含み、前記方法は、
    事前取込みフェーズでシーン関連データを取得することと、
    前記取得されたシーン関連データに基づいて陰影効果をモデル化することと、
    前記モデル化された陰影効果に基づいて前記画像取込みデバイスのための1つまたは複数の画像取込みデバイス設定値を変更することであって、画素ごとの基準で行われる、前記1つまたは複数の画像取込みデバイス設定値を変更することと、
    前記フラッシュによる前記シーンの照明の間に前記変更された設定値を使用して画像センサーで画像データを記録することとを含む、方法。
  16. 1つまたは複数の画像取込みデバイス特性をデータ記憶装置に事前保存することをさらに含み、1つまたは複数の画像取込みデバイス設定値を変更することは、前記事前保存されたデータおよび前記取得されたシーン関連データに基づいてなされる、請求項15に記載の方法。
  17. 前記事前保存された画像取込みデバイス特性は、フラッシュオフセット距離を含む、請求項16に記載の方法。
  18. 前記事前取込みフェーズの間に取得される前記シーン関連データは、主要目標までの距離を含む、請求項15に記載の方法。
  19. 前記陰影効果をモデル化することは、認識された陰影の暗さ、サイズ、および/または形状を概算することを含む、請求項15に記載の方法。
  20. 前記1つまたは複数の画像取込みデバイス設定値を変更することは、前記認識された陰影に対応する各画素の利得を個別にかつ動的に調節することを含む、請求項19に記載の方法。
  21. 前記変更された1つまたは複数の画像取込みデバイス設定値を使用して前記記録された画像データからの1つまたは複数の画素を調節し、調節された画像データを提供すること、および前記調節された画像データを前記データ記憶装置に保存することをさらに含む、請求項15に記載の方法。
JP2012516144A 2009-06-22 2010-06-11 カメラフラッシュ緩和 Expired - Fee Related JP5699140B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/489,197 2009-06-22
US12/489,197 US8547457B2 (en) 2009-06-22 2009-06-22 Camera flash mitigation
PCT/US2010/038393 WO2010151443A1 (en) 2009-06-22 2010-06-11 Camera flash mitigation

Publications (2)

Publication Number Publication Date
JP2012530278A true JP2012530278A (ja) 2012-11-29
JP5699140B2 JP5699140B2 (ja) 2015-04-08

Family

ID=43354017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012516144A Expired - Fee Related JP5699140B2 (ja) 2009-06-22 2010-06-11 カメラフラッシュ緩和

Country Status (5)

Country Link
US (2) US8547457B2 (ja)
JP (1) JP5699140B2 (ja)
KR (1) KR101319048B1 (ja)
CN (1) CN102460297B (ja)
WO (1) WO2010151443A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547457B2 (en) * 2009-06-22 2013-10-01 Empire Technology Development Llc Camera flash mitigation
TWI461967B (zh) * 2010-04-07 2014-11-21 Hon Hai Prec Ind Co Ltd 手寫輸入電子設備
CA2991216C (en) 2010-12-22 2020-04-28 Purdue Pharma L.P. Encased tamper resistant controlled release dosage forms
US8818091B2 (en) 2011-03-21 2014-08-26 Apple Inc. Red-eye removal using multiple recognition channels
US8786735B2 (en) * 2011-03-21 2014-07-22 Apple Inc. Red-eye removal using multiple recognition channels
US8837785B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8837827B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8811683B2 (en) 2011-06-02 2014-08-19 Apple Inc. Automatic red-eye repair using multiple recognition channels
JP2014230088A (ja) 2013-05-22 2014-12-08 ソニー株式会社 画像調整装置、画像調整方法、画像調整プログラムおよび撮像装置
JP2015056143A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置および情報処理方法
US10262452B2 (en) * 2015-09-30 2019-04-16 Apple Inc. 3D lighting
KR102348927B1 (ko) * 2015-11-13 2022-01-11 한국전자통신연구원 절단면 촬영 제어 장치 및 방법
JP2018151464A (ja) * 2017-03-10 2018-09-27 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
WO2020055305A1 (en) 2018-09-11 2020-03-19 Profoto Aktiebolag A computer implemented method and a system for coordinating taking of a picture using a camera and initiation of a flash pulse of at least one flash device
EP3850424A4 (en) * 2018-09-11 2022-05-25 Profoto Aktiebolag METHOD, SOFTWARE PRODUCT, CAMERA DEVICE AND SYSTEM FOR DETERMINING ARTIFICIAL LIGHTING AND CAMERA SETTINGS
WO2020159422A1 (en) 2019-02-01 2020-08-06 Profoto Aktiebolag A housing for an intermediate signal transmission unit and an intermediate signal transmission unit

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087653A (ja) * 2001-09-06 2003-03-20 Ricoh Co Ltd 撮像装置
JP2003169246A (ja) * 2001-11-30 2003-06-13 Olympus Optical Co Ltd カメラ
JP2003295251A (ja) * 2002-04-02 2003-10-15 Olympus Optical Co Ltd カメラ
JP2009124309A (ja) * 2007-11-13 2009-06-04 Nikon Corp 撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4054435B2 (ja) * 1998-04-01 2008-02-27 キヤノン株式会社 カメラシステムおよびカメラ
US7245325B2 (en) * 2000-03-17 2007-07-17 Fujifilm Corporation Photographing device with light quantity adjustment
US6526234B1 (en) 2001-07-17 2003-02-25 Eastman Kodak Company Revision suggestion camera and method
US7262798B2 (en) 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US7978260B2 (en) 2003-09-15 2011-07-12 Senshin Capital, Llc Electronic camera and method with fill flash function
CN100381933C (zh) * 2003-12-04 2008-04-16 宇东电浆科技有限公司 闪光灯强度调整系统与方法
US7574043B2 (en) * 2005-06-27 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Method for modeling cast shadows in videos
TW200736793A (en) * 2006-03-22 2007-10-01 Hi Touch Imaging Tech Co Ltd Method for avoiding generating shades when taking a picture of an object
US8259179B2 (en) * 2006-05-15 2012-09-04 Csr Technology Inc. Compensating for non-uniform illumination of object fields captured by a camera
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
JP2008233381A (ja) * 2007-03-19 2008-10-02 Fujifilm Corp 撮像装置
US20080231714A1 (en) * 2007-03-22 2008-09-25 Texas Instruments Incorporated System and method for capturing images
DE102007029476A1 (de) * 2007-06-26 2009-01-08 Robert Bosch Gmbh Bildverarbeitungsvorrichtung zur Schattendetektion bzw. -unterdrückung, Verfahren und Computerprogramm
JP5110373B2 (ja) * 2008-03-07 2012-12-26 オムロン株式会社 測定装置および方法、撮像装置、並びに、プログラム
US8547457B2 (en) 2009-06-22 2013-10-01 Empire Technology Development Llc Camera flash mitigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087653A (ja) * 2001-09-06 2003-03-20 Ricoh Co Ltd 撮像装置
JP2003169246A (ja) * 2001-11-30 2003-06-13 Olympus Optical Co Ltd カメラ
JP2003295251A (ja) * 2002-04-02 2003-10-15 Olympus Optical Co Ltd カメラ
JP2009124309A (ja) * 2007-11-13 2009-06-04 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
CN102460297A (zh) 2012-05-16
JP5699140B2 (ja) 2015-04-08
US20100321559A1 (en) 2010-12-23
KR101319048B1 (ko) 2013-10-17
WO2010151443A1 (en) 2010-12-29
US8547457B2 (en) 2013-10-01
KR20120016104A (ko) 2012-02-22
US20140016026A1 (en) 2014-01-16
US8994857B2 (en) 2015-03-31
CN102460297B (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
JP5699140B2 (ja) カメラフラッシュ緩和
US10313589B2 (en) Imaging device having an image mode set according to a filter
RU2528590C2 (ru) Устройство для захвата изображений, способ управления им и носитель записи
JP4834725B2 (ja) 赤目補正において虹彩色を組み込む方法及び装置
JP4133052B2 (ja) デジタル撮像システム
JP2007194794A (ja) 撮影装置、撮影画像の画像処理方法及びプログラム
JP2005136852A (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP4466015B2 (ja) 画像処理装置および画像処理プログラム
JP2015156615A (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP2007158830A (ja) 撮像装置及び撮像装置の制御方法
KR102574649B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
JP5882644B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP2011514097A (ja) 画像におけるモーション・ボケの方向を推定する方法
JP6827782B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
JP2014150409A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5199908B2 (ja) 撮像装置およびその制御方法
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4872564B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP6272006B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2010102507A (ja) 背景置換装置、背景置換プログラム、背景置換方法、および撮影システム
JP2007036972A (ja) 電子カメラ
JP2010067125A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009053438A (ja) 電子カメラ
JP2006180271A (ja) 撮像装置、プログラム、及び記録媒体
US9936158B2 (en) Image processing apparatus, method and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140507

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20140516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140911

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150216

R150 Certificate of patent or registration of utility model

Ref document number: 5699140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees