JP2017526199A - かすみ検出のためのシステムおよび方法 - Google Patents

Abstract

電子デバイスによって実行される方法が説明される。本方法は、複数のモダリティに基づいてかすみ信頼レベルを決定することを含む。本方法はまた、かすみ信頼レベルに基づいて動作を実行するかどうかを決定することを含む。本方法は、かすみ信頼レベルに基づいてかすみ低減を実行することを含む、動作を実行することを含み得る。

Description

関連出願
[0001]本出願は、２０１５年２月１１日に出願された「ＥＮＶＩＲＯＮＭＥＮＴＡＬ ＳＣＥＮＥ ＣＯＮＤＩＴＩＯＮ ＤＥＴＥＣＴＩＯＮ」と題する米国特許出願第１４／６１９，３５４号の一部継続出願であり、２０１４年５月２０日に出願された「ＡＵＴＯＭＡＴＩＣ ＨＡＺＹ ＳＣＥＮＥ ＤＥＴＥＣＴＩＯＮ ＡＮＤ ＤＥ−ＨＡＺＩＮＧ ＵＳＩＮＧ ＩＮＦＯＲＭＡＴＩＯＮ ＦＲＯＭ ＭＵＬＴＩＰＬＥ ＭＯＤＡＬＩＴＩＥＳ」と題する米国仮特許出願第６２／０００，８５６号の優先権を主張し、それらのすべては本願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる。

[0002]本開示は、一般に電子デバイスに関する。より具体的には、本開示はかすみ（haziness）検出のためのシステムおよび方法に関する。

[0003]過去数十年間に、電子デバイスの使用がより一般的になってきた。特に、電子技術の進歩により、ますます複雑で有用になる電子デバイスのコストが削減されてきた。コスト削減と消費者の需要は、現代社会において事実上ユビキタスとなるように電子デバイスの使用を拡大した。電子デバイスの使用が拡大するにつれて、電子デバイスの新しく改良された機能に対する需要も拡大してきた。より具体的には、新しい機能を実行する、および／または機能をより速く、より効率的に、または高品質で実行する電子デバイスがしばしば追求される。

[0004]いくつかの電子デバイス（たとえば、カメラ、ビデオカメラ、デジタルカメラ、セルラー電話、スマートフォン、コンピュータ、テレビ、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、ドローン、スマートアプリケーション、ヘルスケア機器、セットトップボックスなど）は、画像をキャプチャおよび／または利用する。たとえば、デジタルカメラはデジタル画像をキャプチャし得る。

[0005]場合によっては、キャプチャされた画像の品質が低下してしまう可能性がある。たとえば、かすみ（haze）やギラつき（glare）などの大気効果を含む環境シーン条件によって画質が低下する場合がある。この議論から分かるように、画像使用を改善するシステムおよび方法は有益であり得る。

[0006]電子デバイスによって実行される方法が説明される。本方法は、複数のモダリティに基づいてかすみ信頼レベルを決定することを含む。本方法はまた、かすみ信頼レベルに基づいて動作を実行するかどうかを決定することを含む。モダリティは、画像モダリティ情報および位置モダリティ情報、方向モダリティ情報、時刻モダリティ情報、地域の天気予報モダリティ情報、遠隔デバイス画像モダリティ情報、屋内／屋外インジケータ、ユーザオーバーライドインジケータ、および／または温度モダリティ情報を提供し得る。

[0007]本方法は、動作を実行することを含み得る。動作を実行することは、かすみ信頼レベルに基づいてかすみ低減を実行することを含み得る。かすみ低減を実行することは、オートホワイトバランス、オートフォーカス、自動露出、色、鮮明度、および／またはローカルトーンマッピング曲線を調整することを含み得る。動作を実行することは、少なくとも１つの非画像処理動作を実行することを含み得る。

[0008]かすみ信頼レベルを決定することは、２段階分類に基づき得る。２段階分類は、１つまたは複数の抽出された特徴の第１のセットを生成するためにカメラ入力信号に基づいて第１の特徴抽出を実行することと、抽出された特徴の第１のセットおよびモダリティのうちの１つまたは複数に基づいて第１の分類を実行することと、第１の分類はかすみが検出されたことを示すと決定することとを含み得る。２段階分類はまた、１つまたは複数の抽出された特徴の第２のセットを生成するためにカメラ入力信号およびモダリティのうちの１つまたは複数に基づいて第２の特徴抽出を実行することと、抽出された特徴の第２のセットおよびモダリティのうちの１つまたは複数に基づいて第２の分類を実行することとを含み得る。

[0009]抽出された特徴の第１のセットは、ダークチャネル特徴、輝度特徴の勾配、および／またはぼやけ（blurriness）／鮮明度特徴を含み得る。抽出された特徴の第２のセットは、ダークチャネル特徴、勾配特徴の大きさ、勾配特徴の位相、および／または勾配空間情報特徴を含み得る。

[0010]かすみ信頼レベルは、検出器によって取得され得る。検出器は、モダリティのうちの１つまたは複数に基づいてかすみ信頼レベルを取得し得る。

[0011]かすみ信頼レベルは、複数の検出器によって取得され得る。各検出器は、モダリティのうちの１つまたは複数に基づいてモダリティかすみ信頼レベルを取得し得る。モダリティかすみ信頼レベルは、かすみ信頼レベルを形成するために組み合わせられ得る。

[0012]電子デバイスについても説明する。本電子デバイスは、複数のモダリティに基づいてかすみ信頼レベルを決定し、かすみ信頼レベルに基づいて動作を実行するかどうかを決定するように構成されたプロセッサを含む。

[0013]装置についても説明する。本装置は、複数のモダリティに基づいてかすみ信頼レベルを決定するための手段を含む。本装置はまた、かすみ信頼レベルに基づいて動作を実行するかどうかを決定するための手段を含む。

[0014]コンピュータプログラム製品についても説明する。本コンピュータプログラム製品は、命令をもつ非一時的コンピュータ可読媒体を含む。本命令は、電子デバイスに、複数のモダリティに基づいてかすみ信頼レベルを決定させるためのコードを含む。本命令はまた、電子デバイスに、かすみ信頼レベルに基づいて動作を実行するかどうかを決定させるためのコードを含む。

[0015]複数のモダリティに基づくかすみ検出のためのシステムおよび方法が実装され得る、電子デバイスの一例を示すブロック図。 [0016]かすみ検出および／またはかすみ低減のためのシステムおよび方法が実装され得る、電子デバイスの一構成のある例を示すブロック図。 [0017]かすみ検出および／またはかすみ低減のためのシステムおよび方法が実装され得る、電子デバイスのある構成の別の例を示すブロック図。 [0018]かすみ検出器の一構成のある例のブロック図。 [0019]複数のモダリティに基づくかすみ検出のための方法の一構成を示す流れ図。 [0020]複数のモダリティに基づくかすみ検出のための方法のより具体的な構成を示す流れ図。 [0021]かすみ検出器のある構成の別の例を示すブロック図。 [0022]並列に動作する複数のかすみ検出器のある構成のある例を示すブロック図。 [0023]ある画像信号プロセッサの一構成の一例を示すブロック図。 [0024]ローカルトーンマッピング（ＬＴＭ）機能の様々な態様を示すいくつかのグラフを含む図。 [0025]かすみ低減決定を示すグラフ。特に、グラフは継時的なかすみ信頼レベルを示す。 [0026]大気汚染指数マップのある例を示す図。 [0027]１種類のモダリティ情報（大気汚染指数）に基づいてかすみ検出を実行するための手法を示す図。 [0028]本明細書に開示されるシステムおよび方法による、かすみ低減前およびかすみ低減後の画像の例を示す図。 [0029]本明細書に開示されるシステムおよび方法の様々な構成を実装するように構成された電子デバイス内に含まれ得るいくつかの構成要素を示す図。

[0030]本明細書に開示されるシステムおよび方法のいくつかの構成は、複数のモダリティからの情報を使用するかすみ検出およびかすみ低減に関連し得る。本明細書で使用される場合、「かすみ」という用語、およびその派生語（たとえば、「かすんだ（hazy）」、「かすみ（haziness）」など）は、キャプチャされた画像内にかすみ、霧、湯気、水蒸気、大気汚染（たとえば、スモッグ）、雨、雪、塵、および／または煙などの浮遊微小粒子の出現を含む環境シーン条件を指し得る。かすみ検出および／またはかすみ低減がカメラの光入力のみに基づく場合は特に、自動かすみ検出および／またはかすみ低減（たとえば、かすみ除去）は非常に複雑になり得る。この困難さのいくつかの理由は、照明条件の大きな変動、かすみの色、かすみ領域の位置、およびかすみの程度を含み得る。さらに、シーン構成に大きな変動がある（シーン内に異なる対象がある、など）場合がある。信頼性が高く、迅速なかすみ検出および／またはかすみ低減（たとえば、カメラを備えた電子デバイス上の）は、シーン内のオブジェクトの可視性を大きく回復させ、カメラユーザの認識を向上させることができる。さらに、かすみ検出および／またはかすみ低減は、オブジェクト検出、オブジェクト追跡、オブジェクト認識などのコンピュータ視覚処理を改善し得る。たとえば、かすみ検出および／またはかすみ低減は、先進運転支援システム（ＡＤＡＳ）の性能を改善し得る。

[0031]かすみ検出を改善するために、複数のモダリティからの情報が利用され得る。モダリティは、電子デバイスまたはシーンの周囲に関する情報を取得する（たとえば、検知する）ための手段であり得る。いくつかの構成では、複数のモダリティは、電子デバイス（たとえば、カメラ、ビデオカメラ、デジタルカメラ、セルラー電話、スマートフォン、コンピュータ、テレビ、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、ドローン、スマートアプリケーション、ヘルスケア機器、セットトップボックスなど）において容易に利用可能であり得る。１つまたは複数のモダリティ（たとえば、カメラ入力に加えて）は、かすみ検出および／またはかすみ低減の精度を向上させるために利用され得る情報を提供し得る。そのような情報の例には、全地球測位システム（ＧＰＳ）位置（たとえば、都市対田舎、山岳地帯、肋骨領域など）、コンパスセンサからの方向、時刻、地域の天気予報（たとえば、予測）、遠隔デバイス画像（たとえば、衛星画像、接続されたカメラ画像、パーソナル／アクションカメラ画像など）、環境光、温度（たとえば、１つの位置での、および／または２つの位置または環境間の温度差）、気圧、湿度、時期（たとえば、暦日）などが含まれる。そのような情報の別の例は、オンラインサービス（たとえば、地図サービス、ソーシャルネットワークなど）に掲載された同じ位置で撮影された写真であり得、かすみを検出し、および／またはかすみを低減するための基準として使用され得る。

[0032]次に、図面を参照して様々な構成を説明するが、同様の参照番号は機能的に類似の要素を示し得る。本明細書の図面において一般的に記載され図示されたシステムおよび方法は、多種多様な異なる構成で配置および設計され得る。したがって、図面に示されているようないくつかの構成の以下のより詳細な説明は、特許請求の範囲の範囲を限定することが意図されるものではなく、単にシステムおよび方法の代表例である。

[0033]図１は、複数のモダリティに基づくかすみ検出のためのシステムおよび方法が実装され得る、電子デバイス１０２の一例を示すブロック図である。電子デバイス１０２の例には、スマートフォン、セルラー電話、コンピュータ（たとえば、デスクトップコンピュータ、ラップトップコンピュータ、サーバなど）、タブレットデバイス、メディアプレーヤー、テレビ、ゲーム機、セットトップボックス、パーソナルデジタルアシスタント（ＰＤＡ）、ロボット、航空機、無人航空機（ＵＡＶ）、自動車などが含まれる。電子デバイス１０２は、１つまたは複数の構成要素または要素を含み得る。構成要素または要素のうちの１つまたは複数は、ハードウェア（たとえば、回路）またはハードウェアとソフトウェアの組合せ（たとえば、命令をもつプロセッサ）で実装され得る。いくつかの構成では、電子デバイス１０２は、プロセッサ１０４、メモリ１０６、ディスプレイ１０８、画像センサ１１０、光学システム１１２、画像信号プロセッサ１３２、通信インターフェース１１４、クロック１１６、および／または１つまたは複数のセンサ１１８を含み得る。プロセッサ１０４は、メモリ１０６、ディスプレイ１０８、画像センサ１１０、光学システム１１２、画像信号プロセッサ１３２、通信インターフェース１１４、クロック１１６、および／または１つまたは複数のセンサ１１８に結合され（たとえば、電子通信し）得る。画像センサ１１０および／または光学システム１１２の間の通信は、画像信号プロセッサ１３２を介して通過し得るが、いくつかの構成では、プロセッサ１０４は、追加的に、または代替案として、画像センサ１１０および／または光学システム１１２と直接的に通信し得る点に留意されたい。

[0034]通信インターフェース１１４は、電子デバイス１０２が１つまたは複数の他の電子デバイスと通信することを可能にし得る。たとえば、通信インターフェース１１４は、ワイヤードおよび／またはワイヤレス通信のためのインターフェースを提供し得る。いくつかの構成では、通信インターフェース１１４は、無線周波数（ＲＦ）信号を送信および／または受信するために、１つまたは複数のアンテナ１２０に結合され得る。追加的に、または代替案として、通信インターフェース１１４は、１つまたは複数の種類の有線（たとえば、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）など）通信を可能にし得る。

[0035]電子デバイス１０２は、１つまたは複数の画像（たとえば、デジタル画像、画像フレーム、ビデオなど）を取得し得る。たとえば、電子デバイス１０２は、光学システム１１２の視野内に位置するオブジェクトの画像を画像センサ１１０上に集束させる画像センサ１１０および光学システム１１２（たとえば、レンズ）を含み得る。いくつかの構成では、画像センサ１１０は、１つまたは複数の画像をキャプチャし得る。光学システム１１２は、画像信号プロセッサ１３２および／またはプロセッサ１０４に結合されてもよく、および／またはそれによって制御されてもよい。追加的に、または代替案として、電子デバイス１０２は、別のデバイス（たとえば、電子デバイス１０２、ネットワークサーバ、トラフィックカメラ、ドロップカメラ、自動車カメラ、ウェブカメラなどに結合された外部画像センサ）に１つまたは複数の画像を要求してもよく、および／または別のデバイスから受信してもよい。いくつかの構成では、電子デバイス１０２は、通信インターフェース１１４を介して１つまたは複数の画像を要求および／または受信し得る。たとえば、電子デバイス１０２は、カメラ（たとえば、画像センサ１１０および／または光学システム１１２）を含んでも含まなくてもよく、遠隔デバイスから画像を受信し得る。

[0036]いくつかの構成では、電子デバイス１０２は画像データバッファ（図示せず）を含み得る。画像データバッファは、画像センサ１１０からの画像データをバッファ（たとえば、記憶）し得る。バッファされた画像データは、画像信号プロセッサ１３２に、および／またはプロセッサ１０４に提供され得る。

[0037]いくつかの構成では、電子デバイス１０２は、画像信号プロセッサ（ＩＳＰ）１３２を含み得る。画像信号プロセッサ１３２は、画像センサ１１０から画像データ（たとえば、生センサデータおよび／または前処理されたセンサデータ）を受信し得る。画像信号プロセッサ１３２は、画像データに対して１つまたは複数の動作（operations）を実行し得る。たとえば、画像信号プロセッサ１３２は、逆圧伸（decompanding）、ローカルトーンマッピング（ＬＴＭ）、フィルタリング、スケーリング、および／またはトリミング（cropping）などを実行し得る。画像信号プロセッサ１３２は、得られた画像データをプロセッサ１０４に提供し得る。たとえば、画像データは、画像モダリティ情報であり得る。

[0038]いくつかの構成では、電子デバイス１０２は、カメラソフトウェアアプリケーションおよびディスプレイ１０８を含み得る。カメラアプリケーションが実行されているとき、光学システム１１２の視野内に位置するオブジェクトの画像は、画像センサ１１０によって記録され得る。画像センサ１１０によって記録されている画像は、ディスプレイ１０８上に提示され得る。いくつかの構成では、これらの画像は、任意の所与の瞬間に、光学システム１１２の視野内に位置するオブジェクトがディスプレイ１０８上に提示されるように、比較的高いフレームレートで迅速に連続して表示され得る。電子デバイス１０２によって取得された１つまたは複数の画像は、１つまたは複数のビデオフレームおよび／または１つまたは複数の静止画像であり得る。ビデオフレームおよびデジタル画像という用語は、本明細書では互換的に使用され得る。

[0039]プロセッサ１０４は、自動シーン検出器１２２、かすみ検出器１２４、および／またはかすみ低減器１２６を含み得る、および／または実装し得る。自動シーン検出器１２２は、画像キャプチャおよび／または処理の１つまたは複数の態様を制御し得る。たとえば、自動シーン検出器１２２は、オートホワイトバランス、オートフォーカス、および／または自動露出を制御し得る。たとえば、自動シーン検出器１２２は、光学システム１１２（たとえば、レンズ）の焦点、画像センサ１１０の利得、画像センサ１１０の露光時間などを制御し得る。いくつかの構成では、自動シーン検出器１２２は、通信インターフェースを介して遠隔デバイスに情報を送信することによって、遠隔電子デバイス（たとえば、遠隔カメラ、ネットワークデバイスなど）のオートホワイトバランス、オートフォーカス、および／または自動露出を制御し得る。

[0040]かすみ検出器１２４は、かすみ信頼レベルを決定するために、複数のモダリティ１３０に基づいてかすみ検出を実行し得る。モダリティ１３０の各々は、電子デバイス１０２の周囲に関する情報を取得する（たとえば、検知する）ための手段であり得る。たとえば、画像センサ１１０および光学システム１１２（カメラと呼ばれ得る）は、電子デバイス１０２の周囲に関する画像情報をキャプチャするためのモダリティ１３０の一例であり得る。

[0041]通信インターフェース１１４は、電子デバイス１０２の（および／または遠隔電子デバイスの）周囲に関する情報を要求および／または受信するためのモダリティ１３０であり得る。たとえば、通信インターフェース１１４は、電子デバイスの位置（たとえば、緯度および経度情報、他の位置情報など）、現在の時刻、地域の天気予報および／または予測、遠隔デバイス画像（たとえば、衛星画像、接続されたカメラ画像、パーソナル／アクションカメラ画像など）現在の温度、大気汚染指数などに関する情報を要求および／または受信し得る。いくつかの構成では、複数の通信インターフェース１１４が実装および／または利用され得る。たとえば、１つの通信インターフェース１１４は、全地球測位システム（ＧＰＳ）受信機であってもよく、別の通信インターフェース１１４は、セルラー（たとえば３Ｇ、ロングタームエボリューション（ＬＴＥ(登録商標)）、ＣＤＭＡなど）通信インターフェース１１４であってもよく、別の通信インターフェース１１４は、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）インターフェース（たとえば、８０２．１１インターフェース）であってもよい。

[0042]時計１１６は、時刻を知らせるためのモダリティ１３０であり得る。たとえば、時計１１６は、時刻を決定するために通信インターフェース１１４に加えて、またはその代わりに利用され得る。

[0043]１つまたは複数のセンサ１１８は、１つまたは複数の種類の情報を取得するためのモダリティ１３０であり得る。センサ１１８の例には、温度センサ、気圧センサ、湿度センサ、加速度計（たとえば、慣性航法で使用され得る）、周囲光センサ、方向センサ（たとえば、コンパスセンサ）などが含まれる。

[0044]１つまたは複数のモダリティ１３０は、かすみ検出器１２４に情報を提供し得る。モダリティ情報の例には、画像情報（たとえば、１つまたは複数の画像、フレームなど）、遠隔デバイス画像情報、位置情報、方向情報、時刻、天気予報および／または予測情報、衛星情報（たとえば、衛星画像、ドップラーレーダー、温度など）、光情報（たとえば、電子デバイス１０２が屋内にあるか、または屋外にあるかを決定するために利用され得る）、温度、大気汚染指数などが含まれる。いくつかの構成では、電子デバイス１０２は、追加的に、または代替案として、遠隔電子デバイスに１つまたは複数の種類のモダリティ情報を要求してもよく、および／または遠隔電子デバイスから受信してもよい。たとえば、遠隔電子デバイスは、前述のモダリティ（たとえば、センサ）のうちの１つまたは複数を含み得、通信インターフェース１１４を介して、対応するモダリティ情報を電子デバイス１０２に提供し得る。

[0045]かすみ検出器１２４は、複数のモダリティ１３０に基づいてかすみ信頼レベルを決定し得る。たとえば、かすみ検出器１２４は、かすみ信頼レベルを決定するために、複数のモダリティに基づいてかすみ検出を実行し得る。かすみ信頼レベルは、キャプチャされた画像がかすみを含む、および／または電子デバイス１０２の周囲がかすんでいるという信頼の尺度であり得る。たとえば、かすみ検出器１２４は、画像から１つまたは複数の特徴を抽出し得る。画像からの１つまたは複数の特徴、および１つまたは複数の種類の（追加の）モダリティ情報は、かすみ信頼レベルを決定するために利用され得る。いくつかの構成では、かすみ検出器１２４は、かすみ信頼レベルを決定するために２段階分類を採用し得る。２段階分類の例は、図４に関連して示されている。

[0046]いくつかの構成では、かすみ検出器１２４は、かすみ信頼レベルを決定するために、サポートベクトルマシン（ＳＶＭ）および／またはニューラルネットワーク分類子を採用し得る。たとえば、サポートベクトルマシン分類子は、かすみを示さないベクトルからかすみを示すベクトル（たとえば、抽出された特徴、および１つまたは複数の種類の追加のモダリティ情報）を分離する、事前トレーニングされた分類子であり得る。分類子は、決定境界と呼ばれ得る。たとえば、分類子は、かすみを示さないベクトルからかすみを示すベクトルを分割する超平面であり得る。かすみ信頼レベルは、ベクトルと超平面との間の距離によって反映され得る。たとえば、ベクトルが、かすみを示す分類子の側にあり、分類子の近くにある場合、かすみ検出器１２４は、かすみが低いかすみ信頼レベルで検出されたことを示し得る。別の例では、ベクトルが、かすみを示す分類子の側にあり、分類子から遠い場合、かすみ検出器１２４は、かすみが高いかすみ信頼レベルで検出されたことを示し得る。

[0047]いくつかの構成では、分類子（たとえば、決定境界）は事前トレーニングされ得る。たとえば、分類子（たとえば、ＳＶＭ境界）は、あらかじめラベル付けされたかすんだシーンおよびかすんでいないシーン画像を使用して（たとえば、勾配降下法を通じて）トレーニングされ得る。たとえば、トレーニングデータセットは、ＳＶＭ分類子および／またはニューラルネットワーク分類子をトレーニングするために利用され得る。いくつかの構成では、トレーニングデータセットの各サンプルは、各モダリティ（たとえば、２Ｄ画像、ＧＰＳ、時刻、時期、画像が撮影された時刻のその位置の天気予報／予測、その日の大気汚染指数など、および画像がかすんでいるか否かを示すためのバイナリ注釈）からのデータポイントを含み得る。トレーニングデータセットは、ＳＶＭにおけるサポートベクトル、および／または逆伝搬を通じてニューラルネットワーク内の層ごとの重み／バイアスを生成するために利用され得る。

[0048]いくつかの構成では、かすみ信頼レベルを決定することは、以下のように達成され得る。ＳＶＭ手法では、かすみ信頼レベル（たとえば、かすみスコア）は、入力データ（たとえば、画像または抽出された特徴、および／または１つまたは複数の種類のモダリティ情報）とサポートベクトルとの内積として計算され得る。たとえば、かすみ検出器１２４は、入力データ（たとえば、（２Ｄ）画像、ＧＰＳ、時刻および／または時期など）に基づくベクトルとサポートベクトルとの内積を計算し得る。ニューラルネットワーク手法では、かすみ検出器１２４は、重みとバイアスの組合せを用いて複数の層を通じて入力データを渡す（put）ことができる。最終層からの出力は、かすみ信頼レベル（たとえば、かすみスコア）であり得る。

[0049]プロセッサ１０４は、かすみ信頼レベルに基づいて動作を実行するかどうかを決定し得る。たとえば、プロセッサ１０４は、かすみ信頼レベルが１つまたは複数の基準を満たす場合（たとえば、かすみ信頼レベルが特定のレベル（たとえば、かすみしきい値レベル）以上である場合）、動作を実行すると決定し得る。

[0050]かすみ信頼レベルに基づく動作の例には、画像処理（たとえば、かすみ低減）および非かすみ低減動作が含まれ得る。いくつかの構成では、電子デバイス１０２（たとえば、プロセッサ１０４）は、かすみ信頼レベルに基づいて画像処理を実行するだけでよい。他の構成では、電子デバイス１０２は、１つまたは複数の非画像処理動作（たとえば、非かすみ低減動作）を実行するだけでよい。他の構成では、電子デバイス１０２は、１つまたは複数の非画像処理動作と組み合わせて１つまたは複数の画像処理動作を実行し得る。

[0051]たとえば、電子デバイス１０２（たとえば、プロセッサ１０４）は、かすみ信頼レベルに基づいて画像を処理する。いくつかの構成では、画像を処理することは、かすみ低減を実行することを含み得る。たとえば、プロセッサ１０４は、かすみ低減器１２６を含み得る、および／または実装し得る。かすみ信頼レベルが低い場合（たとえば、かすみしきい値未満の場合）、かすみ低減器１２６はかすみ低減を実行し得ない。かすみ信頼レベルが十分に高い（たとえば、かすみしきい値を満たすか、超える）場合、プロセッサ１０４はかすみ低減を実行し得る。いくつかの構成では、実行されるかすみ低減の程度は、かすみ信頼レベルに基づいて決定され得る。たとえば、より大きなかすみ信頼レベルに対してより大きなかすみ低減が実行され得る。かすみを低減することは、ローカルトーンマッピング（ＬＴＭ）、オートホワイトバランス、オートフォーカス、自動露出、色補正、および／または鮮明度を調整することを含み得る。

[0052]現在の画像（たとえば、フレーム）および／または後続の画像（たとえば、フレーム）に対してかすみ低減が実行され得る点に留意されたい。たとえば、電子デバイス１０２は、フレーム上でかすみ検出を実行し得る。たとえば、色、露出、および／または鮮明度を調整することによって、そのフレームに対してかすみ低減が実行され得る。追加的に、または代替案として、かすみ低減は、後続のフレームのためのオートホワイトバランス、オートフォーカス、および／または自動露出を調整すること（色、露出、および／または鮮明度を調整することに加えて、またはその代わりに）によって実行され得る。

[0053]非画像処理動作の例には、フォグライトを作動させること、通知灯を作動させること、通知音を作動すること、フロントガラス上のかすみ（たとえば、曇り、結露など）のために暖房および／または冷却システム（たとえば、暖房、換気、および空調（ＨＶＡＣ）システム）を作動させること、ならびに１つまたは複数のオブジェクト（たとえばヘッドアップディスプレイ、フロントガラスプロジェクタ、または他のディスプレイ上に、たとえばレーンマーカー、車両マーカー、道路エッジマーカー、バリアマーカーなど）を表示することなどのうちの１つまたは複数が含まれ得る。１つまたは複数の非画像処理動作は、いくつかの構成では、ＡＤＡＳによって、および／またはＡＤＡＳと共に実行され得る。非かすみ低減動作の別の例には、かすみ情報（たとえば、かすみ信頼レベル）を遠隔デバイスに送信することが含まれ得る。たとえば、電子デバイス１０２は、遠隔デバイスから画像データ（および、任意で追加のモダリティ情報）を受信するサーバであり得る。電子デバイス１０２は、かすみ情報を決定し、かすみ情報を遠隔デバイスに送信し得る。いくつかの構成では、遠隔デバイスは、かすみ情報に基づいてかすみ低減を任意に実行し得る。

[0054]メモリ１０６は、命令および／またはデータを記憶し得る。プロセッサ１０４は、メモリ１０６にアクセスし（たとえば、そこから読み出し、および／またはそこに書き込み）得る。メモリ１０６によって記憶され得る命令および／またはデータの例には、画像データ、モダリティ情報、かすみ信頼レベル、自動シーン検出器命令、かすみ検出器命令、かすみ低減器命令などが含まれ得る。

[0055]いくつかの構成では、電子デバイス１０２は、ディスプレイ１０８上にユーザインターフェース１２８を提示し得る。たとえば、ユーザインターフェース１２８は、ユーザが電子デバイス１０２と対話することを可能にし得る。いくつかの構成では、ユーザインターフェース１２８は、ユーザが（たとえば、環境内、および／またはキャプチャされた画像内に）かすみが存在するかどうかを示すことを可能にし得る。

[0056]いくつかの構成では、ディスプレイ１０８は、物理的タッチ（たとえば、指、スタイラス、または他のツールによる）から入力を受信するタッチスクリーンであり得る。たとえば、タッチスクリーンは、かすみが存在するか否かを示すタッチ入力を受信する入力インターフェースであり得る。追加的に、または代替案として、電子デバイス１０２は、別の入力インターフェースを含んでもよく、別の入力インターフェースに結合されてもよい。たとえば、電子デバイス１０２は、ユーザに面するカメラを含み得、かすみが存在するかどうかを示すためにユーザのジェスチャ（たとえば、手のジェスチャ、腕のジェスチャ、目の追跡、まぶたの瞬きなど）を検出し得る。別の例では、電子デバイス１０２はマウスに結合され得、かすみが存在するかどうかを示すマウスクリックを検出し得る。したがって、かすみが存在するかどうかは、任意の適切な方法（たとえば、タッチ入力、マウスクリック、認識されたジェスチャなど）で示され得る。したがって、いくつかの構成では、モダリティ１３０はユーザ入力を受信するための手段を含み得る。たとえば、センサ１１８は、かすみ（または、かすみがないこと）を示すユーザ入力を受信するためのタッチスクリーンディスプレイ１０８（および／または、ユーザインタ−フェース１２８）を含み得る。追加的に、または代替案として、モダリティ１３０は、かすみ（または、かすみがないこと）を示すユーザ入力を受信するための入力インターフェース（たとえば、マウス、タッチパッド、カメラ、マイクロフォンなどの入力デバイス用の入力ポート）を含み得る。

[0057]いくつかの構成では、ユーザ入力は必要ない場合がある点に留意されたい。たとえば、電子デバイス１０２は、１つまたは複数の画像内のかすみを自動的に検出し、および／またはかすみを低減し得る。

[0058]図２は、かすみ検出および／またはかすみ低減のためのシステムおよび方法が実装され得る、電子デバイス２０２の一構成のある例を示すブロック図である。図２の電子デバイス２０２は、図１の電子デバイス１０２の一例であり得る。電子デバイス２０２は、画像（たとえば、写真および／またはビデオ）を取得するカメラレンズ２４６を含み得る。追加的に、または代替案として、電子デバイス２０２は、遠隔デバイスから画像を取得し得る。

[0059]電子デバイス２０２は、１つまたは複数のかすみ検出器２２４を含み得る。各かすみ検出器２２４は、１つまたは複数のモダリティに基づいて、カメラレンズ２４６によって見られるシーンのかすみ信頼レベルを決定し得る。モダリティの各々は、モダリティ情報２４８を生成し得る。モダリティ情報２４８の例には、電子デバイス２０２の位置２５０ａ（および／または、たとえば撮影されるシーンの位置）、電子デバイス２０２の方向２５０ｂ（たとえば、電子デバイス２０２がどの方向を指しているか）、時刻２５０ｃ、地域の天気予報２５０ｄ（たとえば、予測）、１つまたは複数の遠隔デバイス画像２５０ｅ、屋内／屋外インジケータ２５０ｆ、ユーザオーバーライドインジケータ２５０ｇ、ならびに温度２５０ｈが含まれる。画像センサおよび／または光学システム（たとえば、カメラレンズ２４６）から取得され得る画像モダリティ情報もまた、モダリティ情報２４８に含まれ得る点に留意されたい。

[0060]モダリティの各々は、電子デバイス２０２にとって容易に利用可能であり得る（たとえば、モバイル電話として）。たとえば、位置２５０ａは、電子デバイス２０２が都市、田舎、山岳地帯、または沿岸地域などに位置しているかどうかを決定するために、電子デバイス２０２上のＧＰＳ機能を使用して取得され得る。位置２５０ａは、いくつかの構成では、高度を決定するために利用され得る。方向２５０ｂは、カメラの方向（たとえば、海に向かっている、または海から離れている）を決定するために、コンパス（たとえば、向き）センサからの情報に基づき得る。他のモダリティ情報２４８もまた、電子デバイス２０２によって容易に取得され得る。たとえば、マップウェブサービスおよび／またはソーシャルネットワークに掲載されたものと同じ位置（たとえば、位置２５０ａ）で撮影された写真は、かすみ（たとえば、かすみ、霧、煙など）を検出するための、およびかすみ低減（たとえば、前のかすみの例を有する位置は、現在かすみを有する可能性が高い）を実行するための基準として使用され得る。モダリティの各々は、電子デバイス２０２の特定の位置（たとえば、位置２５０ａ）に応じて、多かれ少なかれ有用であり得る（たとえば、多かれ少なかれかすみを示す）。

[0061]時刻２５０ｃは、電子デバイス２０２上のクロックから、および／または遠隔電子デバイス（たとえば、全地球的航法衛星システム（ＧＮＳＳ）、位置サーバ、基地局、アクセスポイント、ウェブサーバなど）に時間を要求することによって取得され得る。時刻２５０ｃは、他のモダリティ情報２４８のうちの１つまたは複数と組み合わせて利用され得る。たとえば、時刻２５０ｃは、電子デバイス２０２の位置２５０ａおよび方向２５０ｂと組み合わせてかすみを示す可能性がある。たとえば、電子デバイス２０２によってキャプチャされた画像は、沿岸地域の冬の朝の時間に、電子デバイス２０２が沿岸のシーン（たとえば、桟橋またはビーチ付近）に向けられたときにかすみを含む可能性があり得る。

[0062]地域の天気予報２５０ｄは、通信インターフェースを介して取得され得る。たとえば、電子デバイス２０２は、遠隔電子デバイス（たとえば、ウェブサーバ）に地域の天気予報２５０ｄを要求し得る。地域の天気予報２５０ｄは、領域内のかすみの可能性を示し得る、地域の気象条件（たとえば、霧、スモッグ、かすみ、風、雨、雪、曇り、可視性、明瞭度など）、温度、湿度、気圧などを示し得る。地域の天気予報２５０ｄは、他のモダリティ情報２４８のうちの１つまたはと組み合わせて利用され得る。

[0063]遠隔デバイス画像２５０ｅは、通信インターフェースを介して取得され得る。遠隔デバイス画像２５０ｅは、１つまたは複数の遠隔デバイスから受信した画像情報（たとえば、１つまたは複数の画像）を含み得る。たとえば、電子デバイス２０２は、１つまたは複数のネットワークデバイス（たとえば、ウェブサーバ）、１つまたは複数の衛星、１つまたは複数の車両（たとえば、１つまたは複数の内部および／または外部カメラ）、インフラストラクチャ（たとえば、交通カメラ、セキュリティカメラなど）、１つまたは複数の接続されたカメラ（たとえば、ドロップカメラ）、１つまたは複数のパーソナル／アクションカメラなどから、遠隔デバイス画像２５０ｅを取得し得る。いくつかの遠隔デバイスは、かすみ検出および／またはかすみ低減に十分な画像信号処理能力を有さない場合がある。追加的に、または代替案として、いくつかの構成では、電子デバイス２０２は一体型カメラを含まなくてもよく、（たとえば、一体型カメラからキャプチャされた画像の代わりに）遠隔デバイスによってキャプチャされた画像内のかすみを検出する／かすみを低減するために動作し得る。

[0064]一例では、電子デバイス２０２は、遠隔電子デバイス（たとえば、ウェブサーバ）に衛星画像を要求し得る。たとえば、衛星画像は、気象サービス、マッピングサービス、または他の何らかのウェブサービスによって提供され得る。他の構成では、電子デバイス２０２は、衛星から直接遠隔デバイス画像２５０ｅを受信し得る。遠隔デバイス画像２５０ｅは、地域の気象条件（たとえば、霧、スモッグ、かすみ、曇り、降水量など）を示し得る。追加的に、または代替案として、遠隔デバイス画像２５０ｅは、かすみが存在しない場合、周囲の色を提供し得る。したがって、遠隔デバイス画像２５０ｅは、その領域におけるかすみの可能性を示し得る。たとえば、ある領域の雲の覆いは、かすみの可能性が高くなっていることを示し得る。

[0065]いくつかの構成では、遠隔デバイス画像２５０ｅは、他のモダリティ情報２４８のうちの１つまたは複数と組み合わせて利用され得る。たとえば、衛星画像は、カメラレンズ２４６からキャプチャされた画像と組み合わせて利用され得る。衛星画像の色は、キャプチャされた画像からの色と比較され得る。キャプチャされた画像が衛星画像と比較して、くすんだ、または弱い色を有する場合、これはかすみの可能性の増加を示し得る。

[0066]屋内／屋外インジケータ２５０ｆは、周囲光センサを介して取得され得る。たとえば、電子デバイス２０２は、周囲光センサによって提供される周囲光の明度をチェックし得る。明度しきい値を超える明度は、電子デバイス２０２が屋外にあることを示し得る。追加的に、または代替案として、屋内／屋外インジケータ２５０ｆは、位置２５０ａから導出され得る。たとえば、位置情報２５０ａは、電子デバイス２０２が構造物内または屋外にありそうかどうかを示し得る。したがって、屋内／屋外インジケータ２５０ｆは、その領域内のかすみの可能性を示し得る（たとえば、かすみは屋外で発生する可能性がより高いので）。屋内／屋外インジケータ２５０ｆは、他のモダリティ情報２４８のうちの１つまたは複数と組み合わせて利用され得る。たとえば、屋内／屋外インジケータ２５０ｆは、位置２５０ａ、方向２５０ｂ、および地域の天気予報２５０ｄと組み合わせて利用され得る。たとえば、屋内／屋外インジケータ２５０ｆは電子デバイス２０２が屋内にあることを示すが、位置２５０ａは電子デバイス２０２が建物の端に近いことを示す場合、方向２５０ｂは、電子デバイス２０２のカメラが建物から外を向いていることを示し、地域の天気予報２５０ｄは霧を示し、これは、ユーザが、かすみの可能性が高い窓から写真を撮っているシナリオであり得る。しかしながら、他のシナリオでは、屋内／屋外インジケータ２５０ｆが、電子デバイス２０２は屋内にあることを示す場合、かすみの可能性が減少する可能性があり得る。

[0067]ユーザオーバーライドインジケータ２５０ｇは、ユーザインターフェースを介して取得され得る。たとえば、電子デバイス２０２は、かすみ、またはかすみがないことを示すユーザインターフェースオブジェクト（たとえば、ボタン、テキストなど）上のタッチまたはクリックイベントを検出し得る。たとえば、電子デバイス２０２は、かすみ、またはかすみがないことを示すユーザ入力を受信し得る。ユーザオーバーライドインジケータ２５０ｇは、画像内にかすみがあるか否かを示し得る。ユーザオーバーライドインジケータ２５０ｇは、他のモダリティ情報２４８のうちの１つまたは複数と組み合わせて利用され得る。たとえば、たとえ電子デバイス２０２が（複数のモダリティから）かすみが検出されない（および／またはかすみ信頼レベルが低い）と決定するが、ユーザオーバーライドインジケータ２５０ｇはかすみがあることを示す場合でも、かすみ検出器２２４はかすみを検出するためにオーバーライドされ得る。いくつかの構成では、ユーザオーバーライドインジケータ２５０ｇは、分類器トレーニングを更新するために使用され得る。

[0068]温度２５０ｈは、温度センサ（たとえば、熱センサ）を介して、および／または通信インターフェースを介して取得され得る。たとえば、電子デバイス２０２は、電子デバイス２０２に含まれる温度センサから温度読取り値を取得し得、ならびに／あるいは遠隔電子デバイス（たとえば、ウェブサーバ）に温度読取り値を要求してもよく、および／またはそこから受信してもよい。たとえば、いくつかの構成では、温度２５０ｈは地域の天気予報２５０ｄの一部であり得る。温度２５０ｈは、電子デバイス２０２の温度および／または屋外の温度を示し得る。したがって、温度２５０ｈは、その領域内のかすみの可能性を示し得る（たとえば、かすみはある温度範囲で発生する傾向があるため）。いくつかの構成では、温度差が利用され得る。たとえば、電子デバイス２０２の温度が屋外温度との特定の差にある場合に、かすみが発生する可能性がより高い。たとえば、電子デバイス２０２が屋外温度とある一定の差を有する温度の車にある場合、フロントガラスにかすみ（たとえば結露、霜など）が発生する可能性があり得る。温度２５０ｈは、他のモダリティ情報２４８のうちの１つまたは複数と組み合わせて利用され得る。たとえば、温度２５０ｈは位置２５０ａと組み合わせて利用され得、特定の位置（たとえば、水の近く）は特定の温度でかすみの可能性が高くなっていることを示し得る。

[0069]特定の環境シーン条件（たとえば、天候、照明など）によって、画像内の特徴があまり明瞭に見えなくなることがある。たとえば、車両は霧の中や雨の中を移動している可能性がある。さらに、画像センサが画像をキャプチャする窓（たとえば、フロントガラス）は、車両の内部温度と車両の外部温度との間の差のために曇る場合があり、または結露や霜のために不明瞭である場合がある。画像内の特徴を識別することが困難である場合（たとえば、画像が「かすんでいる」）、画像は環境シーン条件（たとえば、雨、霧、曇ったフロントガラス、スモッグ、かすみなど）を示し得る。システムおよび方法が車両支援アプリケーション（たとえば、先進運転支援システム（ＡＤＡＳ）および／または拡張ディスプレイ）とともに使用される構成では、かすんだ画像は、車両の操作者が車外のシーンの特徴（たとえば、交通標識、交通車線、歩行者、他の車両、樹木など）を見ることができない場合があるというインジケータであり得る。かすみ検出器２２４は、画像センサからかすみ画像を検出し得る。

[0070]いくつかの実施形態では、かすみ検出器２２４は、画像センサが向いている窓（たとえば、フロントガラス）が曇っているかどうか、または画像センサのカメラレンズ２４６が濡れているか曇っているかを決定し得る。例示のために、画像センサは、車両の客室などの客室内に配置されてもよく、車両の窓を通してシーンをキャプチャするように配置されてもよい。かすみ検出器２２４は、車両の内部の第１の温度および車両の外部の第２の温度などの複数の温度２５０ｈに関連付けられる、および／またはそれに対応するセンサデータを受信し得る。かすみ検出器２２４は、第１の温度と第２の温度との間の温度差を決定するように構成され得る。温度差が、（車両の内部の）第１の温度の差が（車両の外部の）温度を超えることを示す場合、かすみ検出器２２４は、画像センサによってキャプチャされた画像は、画像センサが面している窓が曇っているために部分的にかすんでいること決定し得る。窓が曇っているという決定に応答して、かすみ検出器２２４は、かすみ信頼レベルに基づいて画像処理（たとえば、かすみ低減）を実行し得る。いくつかの構成では、電子デバイス２０２は、例示的で非限定的な例として、暖房、換気、または空調（ＨＶＡＣ）システムおよび／またはフロントガラスワイパーを作動させるなどの動作を開始する。

[0071]別の例では、かすみ検出器２２４は、かすみが車両の外部のシーンにある（たとえば、窓の上の結露または曇ったフロントガラスではない）と決定し得る。この場合、かすみ検出は、１つまたは複数の動作を開始し得る。これらの動作は、曇ったフロントガラスに対して（for）開始された１つまたは複数の動作とは異なる場合がある。たとえば、車両の外部のシーンのためのかすみに対して（for）、動作はヘッドアップディスプレイおよび／またはＡＤＡＳ機能におけるかすみ除去（たとえば、ブレーキング、減速、車線区分線、可聴警報など）を含み得る。

[0072]いくつかのモダリティ情報２４８が図２に示されているが、より少数、より多数、および／または異なる種類のモダリティ情報２４８が利用され得る点に留意されたい。たとえば、気圧、時期、湿度、および／または他の種類のモダリティ情報２４８が利用され得る。たとえば、気圧は、電子デバイス２０２上の気圧センサから、および／または通信インターフェースから（たとえば、地域の天気予報の一部として、遠隔ウェブサーバから、など）取得され得る。時期は、電子デバイス２０２上のカレンダーアプリケーションから、および／または通信インターフェースから（たとえば、遠隔ウェブサーバから）取得され得る。湿度は、電子デバイス２０２上の湿度センサから、および／または通信インターフェースから（たとえば、地域の天気予報の一部として、遠隔ウェブサーバから、など）取得され得る。モダリティ情報２４８の別の例は、通信インターフェースから（たとえば、遠隔ウェブサーバから）取得され得る気象アルマナック情報であり得る。モダリティ情報２４８の別の例は、通信インターフェースから（たとえば、遠隔ウェブサーバから）取得され得る大気汚染情報（たとえば、大気汚染指数）であり得る。これらのモダリティ情報２４８のうちの１つまたは複数は、かすみ発生の可能性に関係があり得る。したがって、１つまたは複数のかすみ検出器２２４は、かすみ信頼レベルを決定するために複数のモダリティを利用し得る。

[0073]いくつかの構成では、電子デバイス２０２は、複数のモダリティに基づいて、かすみ低減器２２６によってかすみ低減を実行し得る。かすみ低減器２２６は、色２４０、露出２４２、および／または鮮明度２４４への調整を提供し得、それによって特定のシーンおよび／または写真に対するかすみの影響を除去または低減する。かすみ低減器２２６、自動シーン検出器２２２、またはその両方は、かすみ低減を実行するためにコントラストを調整し得る点に留意されたい。かすみ検出器２２４の結果はまた、自動シーン検出器２２２（たとえば、３Ａモジュール）内の設定を調整するために使用され得る。たとえば、自動シーン検出器２２２は、オートホワイトバランス２３４、オートフォーカス２３６、および自動露出２３８の設定を含み得る、および／またはオートホワイトバランス２３４、オートフォーカス２３６、および自動露出２３８の設定を制御し得る。追加的に、または代替案として、電子デバイス２０２は、オートホワイトバランス２３４、オートフォーカス２３６、および／または自動露出２３８を制御（たとえば、調整）することによってかすみ低減を実行し得る点に留意されたい。

[0074]図３は、かすみ検出および／またはかすみ低減のためのシステムおよび方法が実装され得る、電子デバイス３０２のある構成の別の例を示すブロック図である。電子デバイス３０２は、カメラレンズ３４６を含み得る。カメラレンズ３４６は、図２に関連して説明したカメラレンズ２４６の一例であり得る。カメラレンズ３４６は、光を画像センサ３１０に集束し得る。画像センサ３１０は、図１に関連して説明した画像センサ１１０の一例であり得る。画像センサ３１０は、生の（raw）カメラ信号３５２を画像信号プロセッサ３３２に提供し得る。画像信号プロセッサ３３２は、図１に関連して説明した画像信号プロセッサ１３２の一例であり得る。画像信号プロセッサ３３２は、電子デバイス３０２による画像処理に使用される特殊なデジタル信号プロセッサ（ＤＳＰ）であり得る。画像信号プロセッサ３３２は、生のカメラ信号３５２をカメラ信号３５４に変換し得る。いくつかの構成では、画像信号プロセッサ３３２または別個のリサイザは、画像をサイズ変更（たとえば、赤−緑−青（ＲＧＢ）プレーンをサイズ変更）し得る。たとえば、画像信号プロセッサ３３２または別個のリサイザは、画像またはフレームをクォータビデオグラフィックスアレイ（ＱＶＧＡ）にサイズ変更し得る。サイズ変更は、同等の精度と少ない計算量を提供し得る。サイズ変更することは、特徴抽出（たとえば、かすみ検出器３２４による特徴抽出）の前に実行され得る。カメラ信号３５４は、かすみ検出器３２４に提供され得る。かすみ検出器３２４は、図１に関連して説明したかすみ検出器１２４の一例であり得る。

[0075]いくつかの構成では、電子デバイス（たとえば、電子デバイス１０２、２０２、３０２）は、画像信号プロセッサ（たとえば、画像信号プロセッサ１３２、３３２）を含み得るが、カメラを含まなくてもよい（たとえば、カメラレンズ２４６、３４６、画像センサ１１０、および／または光学システム１１２を含まなくてもよい）。これらの構成では、電子デバイス（たとえば、電子デバイス１０２、２０２、３０２）は、遠隔デバイスから（たとえば、別個のカメラから）画像データ（たとえば、カメラ信号）を受信し得る。たとえば、電子デバイス（たとえば、電子デバイス１０２、２０２、３０２）は、遠隔電子デバイス（たとえば、ネットワークサーバ、電子デバイスに結合された別個のカメラなど）から画像データを受信し得る。したがって、かすみ検出は電子デバイス上で実行され得る。かすみ低減は、電子デバイス上で、および／または遠隔電子デバイスと協調して実行され得る。たとえば、電子デバイス３０２は、遠隔画像センサおよび／またはカメラレンズに１つまたは複数の調整（たとえば、レンズ焦点、画像センサ利得、画像センサ露出時間などに対する調整）を送信し得る。

[0076]かすみ検出器３２４は、カメラレンズ３４６によって見られるシーン内でかすみが検出されたかどうかを決定し得る。より具体的には、かすみ検出器３２４は、かすみ信頼レベル３５６を決定するために複数のモダリティに基づいてかすみ検出を実行し得る。これは、図１および図２のうちの１つまたは複数に関連して説明したように達成され得る。図４〜図９のうちの１つまたは複数に関連して、かすみ検出のより多くの例が与えられる。たとえば、かすみ検出器３２４は、いくつかの構成では、計算の複雑さを低減するために２段階分類を採用し得る。いくつかの例では、分類器は線形サポートベクトルマシン（ＳＶＭ）を採用し得、モデルにおける（in）サポートベクトルのすべてを保存する必要はない場合がある。かすみ信頼レベル３５６は、かすみ検出器３２４がカメラレンズ３４６によって見られるシーン内のかすみを検出したという相対的な信頼性を反映し得る。たとえば、低いかすみ信頼レベル３５６は、シーン内の任意のかすみが最小であること、および／またはありそうもないことを示し得る。かすみ信頼レベル３５６が低い場合、かすみ低減処理が低減される、および／または実行されない場合がある。高いかすみ信頼レベル３５６は、そのシーンがかなりのかすみを含むこと、および／またはかすみがある可能性があることを示し得る。高いかすみ信頼レベル３５６の場合、シーンからかすみを除去および／または低減するために、かすみ低減の増加が採用され得る。

[0077]かすみ信頼レベル３５６は、かすみ低減器３２６に提供され得る。かすみ低減器３２６は、カメラレンズ３４６によって見られるシーン内のかすみの量を低減し得る。たとえば、かすみ低減器３２６は、知覚されるかすみを低減および／または除去するために、色、露出、および／または鮮明度の設定を調整し得る。かすみ低減のより具体的な例は、図９〜図１０のうちの１つまたは複数に関連して与えられる。かすみ信頼レベル３５６はまた、自動シーン検出器３２２（たとえば、３Ａモジュール）に提供され得る。自動シーン検出器３２２（たとえば、３Ａモジュール）は、カメラレンズ３４６によって見られるシーンからかすみを低減／除去するために、かすみ信頼レベル３５６に基づいて、オートホワイトバランス、オートフォーカス、および／または自動露出を調整し得る。

[0078]図４は、かすみ検出器４２４の一構成のある例のブロック図である。図４のかすみ検出器４２４は、図１〜図３のうちの１つまたは複数に関連して説明したかすみ検出器１２４、２２４、３２４のうちの１つまたは複数の一構成であり得る。かすみ検出器４２４は、カメラ信号４５４を受信し得る。カメラ信号４５４は、カメラレンズ、画像センサ、および／または画像信号プロセッサを介して受信された信号であり得る。あるいは、カメラ信号４５４は、遠隔デバイス（たとえば、遠隔カメラ）から受信され得る。いくつかの構成では、カメラ信号４５４は、カメラ信号４５４をかすみ検出器４２４に提供する前に、画像信号プロセッサを使用して処理され得る。

[0079]いくつかの構成では、かすみ検出器４２４は、２段階分類に基づき得る。より少数、またはより多数の段階が分類（たとえば、多段階分類システム）に使用され得る点に留意されたい。分類システムの第１の段階は、第１の特徴抽出器４５８（たとえば、画像に基づく）と、第１の分類器４６２とを含み得る。分類システムの第２の段階は、第２の特徴抽出器４６０（たとえば、画像およびモダリティに基づく）と、第２の分類器４６４とを含み得る。いくつかの構成では、分類器４６２、４６４のうちの１つまたは複数は、サポートベクトルマシン（ＳＶＭ）に基づき得る。

[0080]第１の特徴抽出器４５８は特徴抽出を実行し得る。いくつかの構成では、第１の特徴抽出器４５８は、第２の特徴抽出器４６０よりも少ない計算能力を使用し得る。第１の特徴抽出器４５８は、カメラ信号４５４を受信し得る。次いで、第１の特徴抽出器４５８は、カメラ信号４５４から１つまたは複数の第１の抽出された特徴４６６を抽出し得る。抽出され得る特徴の例には、色特徴（ダークチャネル特徴４７０など）と、空間特徴（輝度の勾配４７２、ぼやけ／鮮明度インジケータ４７４、および／または勾配の大きさ／位相など）とが含まれる。第１の特徴抽出器４５８は、１つまたは複数の第１の抽出された特徴４６６を第１の分類器４６２に提供し得る。第１の分類器４６２はまた、１つまたは複数の種類のモダリティ情報４４８を受信し得る。上述したように、モダリティ情報４４８は、電子デバイスにとって利用可能である（１つまたは複数のセンサを介して、インターネットなどを介して、など）かすみに関連する追加情報であり得る。

[0081]抽出された特徴およびモダリティ情報４４８に基づいて、第１の分類器４６２は、第２の特徴抽出器４６０にかすみ／かすみなし決定４６８を出力し得る。第１の分類器４６２がかすみなし決定４６８を出力すると、かすみが検出されないので、かすみに関して追加の計算は実行され得ない。しかしながら、第１の分類器４６２がかすみ決定４６８を出力すると、少なくともいくつかのかすみが検出され、第２の特徴抽出器４６０は１つまたは複数の第２の抽出された特徴４６９を抽出し得る。

[0082]いくつかの構成では、第２の特徴抽出器４６０は、カメラ信号４５４からより具体的な抽出された特徴を取得するために、より計算量の多い（computationally intense）特徴抽出を採用し得る。たとえば、第２の特徴抽出器４６０は、画像と、１つまたは複数の追加種類のモダリティ情報４４８の両方に基づく、カメラ信号４５４から１つまたは複数の第２の抽出された特徴４６９を取得し得る。第２の特徴抽出器４６０によって抽出される特徴の例には、ダークチャネル特徴４７６、勾配の大きさ４７８、勾配の位相４８０、および／または勾配空間情報４８２が含まれる。したがって、いくつかの構成では、第２の特徴抽出器４６０は第１の特徴抽出器４５８よりも高度な抽出された特徴を提供し得る。この手法は、かすみが検出されず、抽出があまり必要とされない場合に計算リソースを節約することを可能にし得る。

[0083]第２の特徴抽出器４６０は、第２の抽出された特徴４６９のうちの１つまたは複数を第２の分類器４６４に提供し得る。１つまたは複数の抽出された特徴、および１つまたは複数の種類のモダリティ情報４４８に基づいて、第２の分類器４６４はかすみ信頼レベル４５６を出力し得る。かすみ信頼レベル４５６は、カメラ信号４５４内にかすみが含まれるという確信（confidence）を反映し得る。

[0084]いくつかの構成では、各段階のＳＶＭ分類器は、かすんだシーンとかすんでいないシーンとを区別するために、高次元の特徴空間内に決定境界（decision boundary）を作成するために、トレーニングデータセットから抽出された特徴についてトレーニングされ得る。検出では、ＳＶＭは同じ特徴セットに適用され得る。ＳＶＭは、入力画像が決定境界の一方の側にあるか、他方の側にあるかを評価し得る。改良された（たとえば、最適な）精度／効率のトレードオフを達成するために、各ＳＶＭ分類器の適切な動作点が選択され得る。たとえば、第１の段階と第２の段階の両方に（２段階構成で）リニアカーネルＳＶＭが使用され得る。バイナリ決定は、第１の段階で１つの動作点に基づいて行われ得る。第２の段階は、連続的なかすみ信頼レベル４５６を出力し得る。

[0085]図５は、複数のモダリティに基づくかすみ検出のための方法５００の一構成を示す流れ図である。方法５００は、電子デバイス（たとえば、電子デバイス１０２、２０２、３０２のうちの１つまたは複数）によって実行され得る。電子デバイスは、かすみ検出器（たとえば、かすみ検出器１２４、２２４、３２４、４２４）で構成され得る。

[0086]電子デバイスは、任意で、カメラ入力信号（たとえば、１つまたは複数の画像）を取得５０２し得る。たとえば、カメラ入力信号は、図１〜図４のうちの１つまたは複数に関連して上述したように、レンズ、画像センサ、および／または画像信号プロセッサを介して取得され得る。あるいは、カメラ入力信号は、遠隔デバイス（たとえば、電子デバイスに結合された遠隔カメラ、電子デバイスと通信するネットワークサーバなど）から取得され得る。これは、図１〜図４のうちの１つまたは複数に関連して説明したように達成され得る。

[0087]電子デバイスは、複数のモダリティに基づいてかすみ信頼レベルを決定５０４し得る。たとえば、電子デバイスは、かすみ信頼レベルを決定するために、複数のモダリティに基づいてかすみ検出を実行し得る。これは、図１〜図４のうちの１つまたは複数に関連して上述したように達成され得る。たとえば、電子デバイスは、１つまたは複数の画像から（たとえば、カメラ入力信号から）１つまたは複数の特徴を抽出し、特徴および１つまたは複数の（追加の）種類のモダリティ情報に基づいて画像を分類し得る。いくつかの構成では、かすみ検出は２段階分類に基づいて実行され得る。

[0088]電子デバイスは、かすみ信頼レベルに基づいて動作を実行するかどうかを決定５０６し得る。これは、図１〜図３のうちの１つまたは複数に関連して説明したように達成され得る。たとえば、電子デバイスは、かすみ信頼レベルが１つまたは複数の基準を満たす場合（たとえば、かすみ信頼レベルがかすみしきい値レベル以上である場合）に、動作を実行することを決定５０６し得る。かすみ信頼レベルに基づく動作の例には、画像処理動作（たとえば、かすみ低減）および非画像処理動作が含まれ得る。たとえば、電子デバイスは、図１〜図３のうちの１つまたは複数に関連して説明したようなかすみ信頼レベルに基づいてかすみ低減を実行し得る。追加的に、または代替案として、電子デバイスは、図１に関連して説明したかすみ信頼レベルに基づいて非画像処理動作を実行し得る。

[0089]図６は、複数のモダリティに基づくかすみ検出のための方法６００のより具体的な構成を示す流れ図である。方法６００は、電子デバイス（たとえば、電子デバイス１０２、２０２、３０２のうちの１つまたは複数）によって実行され得る。電子デバイスは、かすみ検出器（たとえば、かすみ検出器１２４、２２４、３２４、４２４）で構成され得る。

[0090]電子デバイスは、カメラ入力信号のフレーム（たとえば、画像）を取得６０２し得る。これは、図１〜図４のうちの１つまたは複数に関連して上述したように達成され得る。たとえば、電子デバイスは、レンズ、画像センサ、および／または画像信号プロセッサを介して１つまたは複数の画像を取得６０２し得る。

[0091]電子デバイスは、フレーム上で第１の（たとえば、基本的な）特徴抽出を実行６０４し得る。これは、図４に関連して上述したように達成され得る。たとえば、電子デバイスは、フレームのダークチャネル特徴、フレームの輝度の勾配、および／またはフレームのぼやけ／鮮明度インジケータを決定し得る。

[0092]電子デバイスは、第１の抽出された特徴および１つまたは複数のモダリティに基づいて第１の分類を実行６０６し得る。これは、図４に関連して上述したように達成され得る。いくつかの構成では、第１の分類は、フレーム内でかすみが検出されたか否かを決定するために、サポートベクトルマシン（ＳＶＭ）を使用し得る。

[0093]電子デバイスは、第１の分類はフレーム内でかすみが検出されたことを示すかどうかを決定６０８し得る。これは、図４に関連して上述したように達成され得る。たとえば、ベクトルが（第１の抽出された特徴、および／または１つまたは複数の種類のモダリティ情報に基づいて）決定境界の一方の側に位置する場合、第１の分類はかすみが検出されたことを示し得る。しかしながら、ベクトルが決定境界の他方の側にある場合、かすみが検出されないことがある。かすみが検出されない場合、動作は終了６１０し得る。

[0094]フレーム内でかすみが検出された場合、電子デバイスは、フレーム上で第２の（たとえば、より集約的な）特徴抽出を実行６１２し得る。これは、図４に関連して上述したように達成され得る。いくつかの構成では、第２の特徴抽出は、勾配空間情報、勾配位相情報、勾配の大きさ情報、および／または追加のダークチャネル特徴などの、より計算量の多い特徴抽出を含み得る。いくつかの構成における第１の特徴抽出とは異なり、たとえば、第２の特徴抽出は１つまたは複数のモダリティに基づき得る。たとえば、第２の特徴抽出は、電子デバイスの位置、電子デバイスが向いている方向、時刻などに基づき得る。

[0095]電子デバイスは、かすみ信頼レベルを取得するために、第２の抽出された特徴および１つまたは複数のモダリティに基づいて第２の分類を実行６１４し得る。これは、図４に関連して上述したように達成され得る。いくつかの構成では、第２の分類は、フレーム内でかすみが検出されるかすみ信頼レベルを決定するために、サポートベクトルマシン（ＳＶＭ）を使用し得る。第２の分類は、第２の抽出された特徴および１つまたは複数のモダリティに基づき得る。

[0096]電子デバイスは、かすみ信頼レベルに基づいてかすみ低減を任意で実行６１６し得る。これは、図１〜図３のうちの１つまたは複数に関連して上述したように達成され得る。たとえば、電子デバイスは、可視のかすみを低減／除去するために、オートホワイトバランス、オートフォーカス、自動露出、色、鮮明度、および／または局所コントラストを調整し得る。したがって、かすみ低減は、信号処理、およびカメラの１つまたは複数の物理的設定を調整することを含み得る。

[0097]図７は、かすみ検出器７２４のある構成の別の例を示すブロック図である。かすみ検出器７２４は、カメラ入力７５０ａ、ならびに１つまたは複数の追加の種類のモダリティ情報、すなわち位置７５０ｂ、方向７５０ｃ、時刻７５０ｄ、地域の天気予報７５０ｅ（たとえば、予測）、遠隔デバイス画像７５０ｆ、屋内／屋外インジケータ７５０ｇ、ユーザオーバーライドインジケータ７５０ｈ、温度７５０ｉ、大気汚染指数７５０ｊ、および／または日付７５０ｋを受信し得る。カメラ入力７５０ａおよび１つまたは複数の追加の種類のモダリティ情報７５０ｂ〜ｋに基づいて、かすみ検出器７２４は、かすみ信頼レベル７５６を決定し得る。たとえば、かすみ検出器７２４は、単一のかすみ信頼レベルを直接決定するために、カメラ入力７５０ａおよび１つまたは複数の追加の種類のモダリティ情報７５０ｂ〜ｋを利用し得る。

[0098]図８は、並列に動作する複数のかすみ検出器８２４ａ〜ｈのある構成のある例を示すブロック図である。かすみ検出器８２４ａ〜ｈは、図１〜図４のうちの１つまたは複数に関連して説明したかすみ検出器１２４、２２４、３２４、４２４のうちの１つまたは複数の一例であり得る。各かすみ検出器８２４は、カメラ入力８５０ｉおよび１つまたは複数の種類のモダリティ情報８５０ａ〜８５０ｈを受信し得る。たとえば、かすみ検出器Ａ ８２４ａは、位置モダリティ情報８５０ａを受信し得る。かすみ検出器Ａ ８２４ａは、位置モダリティかすみ信頼レベル８８４ａ（たとえば、カメラ入力および位置モダリティ情報に基づくかすみ信頼レベル）を出力し得る。

[0099]別の例として、かすみ検出器Ｂ ８２４ｂは方向モダリティ情報８５０ｂを受信し得る。かすみ検出器Ｂ ８２４ｂは、方向モダリティかすみ信頼レベル８８４ｂを出力し得る。

[00100]かすみ検出器Ｃ ８２４ｃは、時刻モダリティ情報８５０ｃを受信し得、時刻モダリティかすみ信頼レベル８８４ｃを出力し得る。かすみ検出器Ｄ ８２４ｄは、地域の天気予報（たとえば、予報）モダリティ情報８５０ｄを受信し得、地域の天気予報モダリティかすみ信頼レベル８８４ｄを出力し得る。

[00101]かすみ検出器Ｅ ８２４ｅは、遠隔デバイス画像モダリティ情報８５０ｅを受信し得、また遠隔デバイス画像モダリティかすみ信頼レベル８８４ｅを出力し得る。かすみ検出器Ｆ ８２４ｆは、屋内／屋外インジケータモダリティ情報８５０ｆを受信し得、また屋内／屋外モダリティかすみ信頼レベル８８４ｆを出力し得る。

[00102]かすみ検出器Ｇ ８２４ａは、ユーザオーバーライドインジケータモダリティ情報８５０ｇを受信し得、またユーザオーバーライドモダリティかすみ信頼レベル８８４ｇを出力し得る。かすみ検出器Ｈ ８２４ｈは、温度モダリティ情報８５０ｈを受信し得、また温度モダリティかすみ信頼レベル８８４ｈを出力し得る。

[00103]次いで、全体的なかすみ信頼レベル８５６を取得するために、取得されたモダリティかすみ信頼レベル８８４ａ〜ｈの各々が組み合わせられ（combined）得る。たとえば、モダリティかすみ信頼レベル８８４ａ〜ｈの各々は、信頼レベル結合器８８６に提供され得る。信頼レベル結合器８８６は、たとえば、電子デバイス１０２、２０２、３０２のうちの１つまたは複数（たとえば、プロセッサ１０４内）に実装され得る。いくつかの構成では、信頼レベル結合器８８６は、モダリティかすみ信頼レベル８８４ａ〜ｈを平均化することによって、モダリティかすみ信頼レベル８８４ａ〜ｈを組み合わせることができる。いくつかの構成では、信頼レベル結合器８８６は、かすみ信頼レベル８５６を生成するために、モダリティかすみ信頼レベル８８４ａ〜ｈの加重平均を決定し得る。並行して実行している複数のかすみ検出器８２４ａ〜ｈを有することは、かすみ信頼レベル８５６を取得する際の計算時間の短縮という利点を提供し得る。

[00104]より少数、またはより多数のかすみ検出器８２４が実装され得る点に留意されたい。たとえば、日付モダリティ情報のためのかすみ検出器が実装され得る。追加的に、または代替案として、大気汚染指数のためのかすみ検出器が実装され得る。検出器８２４のうちの１つまたは複数からの結果は、上述したように組み合わせられ得る。

[00105]図９は、画像信号プロセッサ９３２の一構成の一例を示すブロック図である。画像信号プロセッサ９３２は、図１および図３のうちの１つまたは複数に関連して説明した画像信号プロセッサ１３２、３３２のうちの１つまたは複数の一例であり得る。かすみ低減中に達成されるべきいくつかの目的には、画像処理および／または関連するアプリケーション（たとえば、ＡＤＡＳ機能、オブジェクト検出、オブジェクト追跡、オブジェクト認識、オートフォーカス、深度マッピング、および／または３Ｄモデリングなどの精度を高めることが含まれ得る。たとえば、かすみ低減のための手法のうちの１つまたは複数は、プレビューフレーム中およびちらつきのないスナップショット間の一貫性、明らかな人工物（色、ノイズ、および／または人工輪郭）がないこと、および／またはＡＤＡＳ画像品質および検出精度の向上を達成し得る。いくつかの構成では、かすみを低減するために、カメラ画像信号プロセッサパイプライン内のローカルトーンマッピング（ＬＴＭ）ハードウェアが制御され得る。

[00106]画像センサ９１０は、画像データをキャプチャし得る。図９に関連して説明した画像センサ９１０は、図１および図３のうちの１つまたは複数に関連して説明した画像センサ１１０、３１０のうちの１つまたは複数の一例であり得る。画像データは、オプションのビデオフロントエンド（ＶＦＥ）９８８に提供され得る。ビデオフロントエンド９８８は、１つまたは複数の前処理動作を実行し得る。たとえば、ビデオフロントエンド９８８は、画像センサ出力に基づいて画像を生成し得る。ビデオフロントエンド９８８は、前処理された画像データを画像信号プロセッサ９３２および統計コレクタ９９６に提供し得る。

[00107]画像信号プロセッサ９３２は、オプションの逆圧伸器（decompander）９９０、ローカルトーンマッパ（ＬＴＭ）９９２、および／またはオプションのスケーラ／クロッパ９９４を含み得る。より多数、またはより少数の処理要素が画像信号プロセッサ９３２に実装され得る点に留意されたい。

[00108]逆圧伸器９９０は、前処理された画像データに対して逆圧伸動作を実行し得る。逆圧伸器９９０は、画像信号プロセッサ９３２および／またはビデオフロントエンド９８８に含まれ（たとえば、画像信号プロセッサ９３２および／またはビデオフロントエンド９８８によって実装され）得る点に留意されたい。

[00109]ローカルトーンマッパ９９２は、画像データに対してローカルトーンマッピングを実行し得る。たとえば、ローカルトーンマッピングは、色のセットを異なる色のセットにマッピングすることを含み得る。たとえば、入力画像データの第１のダイナミックレンジ（たとえば、より高いダイナミックレンジ）が、第２のダイナミックレンジ（たとえば、より低いダイナミックレンジ）にマッピングされ得る。いくつかの構成では、第２のダイナミックレンジは、ディスプレイ（たとえば、ディスプレイ１０８）のダイナミックレンジに対応し得る。ローカルトーンマッピングは、入力画像のコントラストを表示可能な範囲に減少させ、色を保存する目的で実行され得る。いくつかの構成では、ローカルトーンマッパ９９２は、ローカルトーンマッピング曲線を画像データに適用し得る。特に、ローカルトーンマッパ９９２は、画像データの高輝度領域において、局所コントラストをブーストし得る（たとえば、画像内のオブジェクトを潜在的にレンダリングする隣接画素間の差をより明瞭に広げるために、画素の輝度値を調整し得る）。ローカルトーンマッピングに関する追加の詳細は、図１０に関連して与えられる。

[00110]スケーラ／クロッパ９９４は、画像データをスケーリングおよび／またはクロッピングし得る。したがって、画像信号プロセッサ９３２は、（処理された）カメラ信号９５４を生成し得る。カメラ信号９５４は、かすみ検出器９２４に提供され得る。

[00111]かすみ検出器９２４は、図１〜図４および図７〜図８のうちの１つまたは複数に関連して説明したかすみ検出器１２４、２２４、３２４、４２４、７２４、８２４のうちの１つまたは複数の一例であり得る。かすみ検出器９２４は、上述したようにかすみ信頼レベル９５６を決定し得る。かすみ信頼レベル９５６は、ローカルトーンマッパ９９２に提供され得る。ローカルトーンマッパ９９２は、かすみ低減を実行するために、ローカルトーンマッピングを制御（たとえば、調整）し得る。ローカルトーンマッピングを制御することは、高輝度領域における局所コントラストをブーストするために、１つまたは複数のＬＴＭ曲線を修正することを含み得る。たとえば、ローカルトーンマッパ９９２は、より高いかすみ信頼レベル９５６に対してＬＴＭ曲線の深度を増加させ、および／またはより低いかすみ信頼レベル９５６に対してＬＴＭ曲線の深度を減少させることができる。ＬＴＭ曲線の例は、図１０に関連して提供される。

[00112]統計コレクタ９９６は、前処理された画像データの統計値９９８を収集し得る点に留意されたい。統計値９９８は、かすみ検出器９２４に提供され得る。いくつかの構成では、かすみ検出器９２４は、分類器をトレーニングするために使用され得る入力ベクトルとして統計値９９８を利用し得る。

[00113]図１０は、ローカルトーンマッピング（ＬＴＭ）機能の様々な態様（たとえば、曲線）を示すいくつかのグラフ１００１ａ〜ｆを含む。たとえば、グラフ１００１ａ〜ｆは、入力および出力グレースケールレベルに関連し得る。入力および出力グレースケールレベルは、任意で、異なるビット数（たとえば、２５６または１０２４）で量子化され得る。グラフＡ １００１ａおよびグラフＤ １００ｄのそれぞれの垂直軸１００３、１０７３は、照度に適用される調整値を表し得る。グラフＢ １００１ｂおよびグラフＥ １００１ｅのそれぞれの垂直軸１００７、１０７７は、照度に適用される調整量を表し得る。グラフＡ〜Ｂ、１００１ａ〜ｂ、およびＤ〜Ｅ、１００１ｄ〜ｅの水平軸１００５、１００９、１０７５、１０７９は照度値を表し得る。グラフＣ １００１ｃおよびグラフＦ １００１ｆは、入力照度値（それぞれの垂直軸１０１３、１０８３上の）から出力照度値（それぞれの水平軸１０１１、１０８１の）への最終マッピング曲線を表し得る。

[00114]ＬＴＭ機能は、かすみ低減を実行するために、たとえば画像信号プロセッサ１３２、３３２（たとえば、ローカルトーンマッパ９９２）によって利用され得る。デジタル画像（たとえば、画像センサからの画像データ、生のカメラ信号、前処理された画像データなど）は、画素から構成され得る。各画素は、１つまたは複数のチャネル（たとえば、赤、緑、青など）における輝度値を有し得る。輝度値は、特定の範囲（たとえば、０〜２５５）を有し得る。画像内の画素ごとに、画像信号プロセッサ１３２、３３２（たとえば、ローカルトーンマッパ９９２）は、隣接する画素の輝度に基づいて、チャネルのうちの１つまたは複数における画素の輝度を調整し得る。グラフＡ １００１ａは、ＬＴＭマスタ曲線の一例を示す。ＬＴＭマスタ曲線は、隣接画素の異なる平均輝度（水平軸１００５に沿った）について画素の輝度（垂直軸１００３に沿った）に適用される調整を示す。図示されるように、画像信号プロセッサ１３２、３３２は、低輝度領域内の画素の輝度を増加させ得、また高輝度領域内の画素の輝度を減少させ得る。たとえば、輝度レベルを低減し、２００の照度レベル付近のコントラストを増加させるために、ＬＴＭマスタ曲線における２００付近のディップが使用され得る。グラフＢ １００１ｂはマスタ曲線スケールファクタの一例を示し、グラフＣ １００１ｃはマスク整流の一例を示す。

[00115]グラフＤ １００１ｄは、ＬＴＭシフト曲線の一例を示す。ＬＴＭシフト曲線は、輝度と隣接画素の平均輝度との間の差（水平軸１０７５に沿った）に基づいて、画素の輝度がどのように調整されるか（垂直軸１０７３に沿った）を示す。グラフＥ １００１ｅはシフト曲線スケールファクタの一例を示し、グラフＦ １００１ｆはＬＴＭ原理曲線の一例を示す。

[00116]ＬＴＭマスタ曲線およびＬＴＭシフト曲線のうちの１つまたは複数は、かすみ信頼レベルに基づいて制御され得る。たとえば、画素輝度の調整は、かすみ信頼レベルが高くなるにつれて増加され得る。たとえば、かすみを低減することは、１つまたは複数のＬＴＭ曲線の深度を増加させる（たとえば、かすみ信頼レベルが高くなるにつれて）ことを含み得る。

[00117]図１１は、かすみ低減決定を示すグラフである。特に、グラフは時間１１１７にわたる（フレーム（たとえば、１秒当たり３０フレーム（ｆｐｓ））内の）かすみ信頼レベル１１１５を示す。具体的には、１つのプロットは、前のフレームからのかすみ信頼レベル１１１９と、平滑されたかすみ信頼レベル１１２１を示す。たとえば、電子デバイスは、時間１１１７にわたってかすみ信頼レベルを平滑化し得る。図１１に示されるように、かすみ低減決定１１２３は、かすみ信頼レベル１１１５が十分に高い（たとえば、かすみ信頼しきい値以上）場合に発生し得る。図１１のプロットは、画像のサイズが変更されたＡＤＡＳアプリケーションからとられた（taken）かすみ低減決定を示し得る。

[00118]図１２Ａは、大気汚染指数マップ１２３５の例である。いくつかの構成では、電子デバイス（たとえば、電子デバイス１０２、２０２、３０２）は、遠隔デバイス（たとえば、遠隔サーバ）に１つまたは複数の位置に対する大気汚染指数を要求してもよく、および／または遠隔デバイス（たとえば、遠隔サーバ）から受信してもよい。たとえば、電子デバイスは、電子デバイスが位置するエリアに対する大気汚染指数を要求および／または受信し得る。大気汚染指数は、本明細書に記載されるかすみ信頼値を決定するために利用され得るモダリティ情報の一種であり得る。大気汚染指標マップ１２３５は、大気汚染指標を有するマップの一例を示す。

[00119]図１２Ｂは１種類のモダリティ情報（大気汚染指数）に基づいてかすみ検出を実行するための手法を示す図である。たとえば、ブロック図は、大気汚染指数かすみ信頼レベル１２３３を決定するための１つの手法を示し、大気汚染指数かすみ信頼レベル１２３３は正規化大気汚染指数である。大気汚染指数かすみ信頼レベル１２３３は、図８に関連して説明したモダリティかすみ信頼レベルの一例であり得る。

[00120]この例では、大気汚染指数１２２５（たとえば、遠隔サーバから取り出され得る）は、正規化器１２２７に提供され得る。特に、大気汚染指数マップ１２３５は、電子デバイスによって取得され得る大気汚染指数の例を提供する。正規化器１２２７は、生の大気汚染指数かすみレベル１２２９を生成するために、大気汚染指数１２２５を正規化し得る。いくつかの構成では、生の大気汚染指数かすみレベル１２２９は、以下の式に従って決定され得る。

上式で、Ｒａｗは生の大気汚染指数かすみレベル１２２９であり、ＡｉｒＰｏｌｌｕｔｉｏｎＩｎｄｅｘは大気汚染指数１２２５であり、ＭｉｎＰｏｌｌｕｔｉｏｎＩｎｄｅｘＴｈｄは最小大気汚染指数しきい値であり、ＭａｘＰｏｌｌｕｔｉｏｎＩｎｄｅｘＴｈｄは最大大気汚染指数しきい値である。いくつかの構成では、生の大気汚染指数かすみレベル１２２９は、クランプ１２３１（関数）に提供され得る。クランプ１２３１は、生の大気汚染指数かすみレベル１２２９を所与の範囲内（たとえば、［０，１］）に変換し得る。クランプ１２３１は、大気汚染指数かすみ信頼レベル１２３３を提供し得る。

[00121]大気汚染指数かすみ信頼レベルを決定することに対する別の手法は、大気汚染指数を大気汚染指数かすみ信頼レベル（たとえば、視覚かすみスコア）に関連付ける１次元関数を生成するために回帰を使用する、機械学習手法であり得る。データラベリングと大気汚染指数は、リグレッサをトレーニングするために記録され得る。この手法は、回帰グラフ１２４５に関連して示されている。回帰グラフ１２４５は、大気汚染指数１２３９に対するかすみスコア１２３７を示す。特に、回帰グラフ１２４５は、かすみスコア回帰１２４１および直線かすみスコア１２４３を示す。

[00122]図１３は、本明細書に開示されるシステムおよび方法による、かすみ低減前１３４７およびかすみ低減後１３４９の画像の例を示す。具体的には、トップ画像は、約５０メートル（ｍ）の可視性を有するかすみ低減前画像１３４７の一例である。下側の画像は、かすみ低減後の画像１３４９の一例を示しており、可視性の大幅な改善を示している。本明細書に開示されるシステムおよび方法のいくつかの構成は、交通標識および／または車線検出に適用され得る。たとえば、自動車は、本明細書に開示されたシステムおよび方法で実装され得る。かすみがある場合、本明細書に開示されたシステムおよび方法は、かすみ検出およびかすみ低減を提供し得る。かすみ除去された画像は、電子デバイス（たとえば、自動車）が、道路標識および／または車線をより正確に検出および／または追跡することを可能にし得る。

[00123]図１４は、本明細書に開示されるシステムおよび方法の様々な構成を実装するように構成された電子デバイス１４０２内に含まれ得るいくつかの構成要素を示す。電子デバイス１４０２は、アクセス端末、移動局、ユーザ機器（ＵＥ）、基地局、アクセスポイント、ブロードキャスト送信機、ノードＢ、進化型ノードＢなどであり得る。電子デバイス１４０２は、本明細書に記載される電子デバイス１０２、２０２、３０２のうちの１つまたは複数に従って実装され得る。電子デバイス１４０２は、プロセッサ１４６９を含む。プロセッサ１４６９は、汎用シングルチップマイクロプロセッサあるいは多重チップマイクロプロセッサ（たとえば、ＡＲＭ）、専用マイクロプロセッサ（たとえば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ１４６９は、中央処理装置（ＣＰＵ）と呼ばれ得る。単一のプロセッサ１４６９が電子デバイス１４０２に示されているが、代替の構成では、プロセッサ（たとえば、ＡＲＭおよびＤＳＰ）の組合せが使用され得る。

[00124]電子装置１４０２はまた、メモリ１４５１を含む。メモリ１４５１は、電子情報を記憶し得る任意の電子構成要素であり得る。メモリ１４５１は、それらの組合せを含めた、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ内のフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタなどとして具体化され得る。

[00125]データ１４５３ａおよび命令１４５５ａは、メモリ１４５１に記憶され得る。命令１４５５ａは、本明細書に開示される方法５００、６００のうちの１つまたは複数を実行するためにプロセッサ１４６９によって実行可能であり得る。命令１４５５ａを実行することは、メモリ１４５１に記憶されたデータ１４５３ａの使用を含み得る。プロセッサ１４６９が命令１４５５ａを実行すると、命令１４５５ｂの様々な部分がプロセッサ１４６９にロードされ得、またデータ１４５３ｂの様々な部分がプロセッサ１４６９にロードされ得る。

[00126]電子デバイス１４０２はまた、電子デバイス１４０２へ信号の送信、およびそこからの信号の受信を可能にするために、送信機１４５７および受信機１４５９を含み得る。送信機１４５７および受信機１４５９は、まとめてトランシーバ１４６１と呼ばれ得る。複数のアンテナ１４６３ａ〜ｂは、トランシーバ１４６１に電気的に結合され得る。電子デバイス１４０２はまた、複数の送信機、複数の受信機、複数のトランシーバ、および／または追加のアンテナ（図示せず）を含み得る。

[00127]電子デバイス１４０２はデジタル信号プロセッサ（ＤＳＰ）１４６５を含み得る。電子デバイス１４０２はまた、通信インターフェース１４６７を含み得る。通信インターフェース１４６７は、電子デバイス／デバイスへのワイヤレス１４０２が１つまたは複数の他のデバイスおよび／またはユーザと通信することを可能にし得る。たとえば、通信インターフェース１４６７は、デバイス間通信のための１つまたは複数のワイヤードおよび／またはワイヤレスインターフェースを含み得る。いくつかの構成では、トランシーバ１４６１は、通信インタ−フェース１４６７に含まれ得る。追加的に、または代替案として、通信インターフェース１４６７は、１つまたは複数の他の入力／出力インターフェース（たとえば、タッチスクリーン、マウスポートなど）を含み得る。

[00128]電子デバイス１４０２の様々な構成要素は１つまたは複数のバス１４７１によってともに結合され得、電源バス、制御信号バス、ステータス信号バス、データバスなどを含み得る。明確にするために、様々なバスがバスシステム１４７１として図１４に示されている。

[00129]「決定すること」という用語は多種多様な動作を包含し、したがって、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、検索すること（たとえば、表、データベース、または別のデータ構造を検索すること）などを含み得る。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ内のデータにアクセスすること）などを含み得る。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含み得る。

[00130]「〜に基づいて」という句は、明示的に指定されていない限り、「〜にのみ基づいて」を意味するものではない。言い換えれば、「〜に基づいて」という句は、「〜のみに基づいて」と「少なくとも〜に基づいて」の両方を表す。

[00131]「プロセッサ」という用語は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械などを包含するように広く解釈されるべきである。場合によっては、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指すことがある。「プロセッサ」という用語は、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは他の任意のそのような構成などの処理デバイスの組合せを指し得る。

[00132]「メモリ」という用語は、電子情報を記憶し得る任意の電子構成要素を包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶装置、レジスタなどの様々な種類のプロセッサ可読媒体を指し得る。プロセッサがメモリから情報を読み出すことができ、および／またはメモリに情報を書き込むことができる場合、メモリはプロセッサと電子通信していると言われる。プロセッサに不可欠なメモリは、プロセッサと電子通信している。

[00133]「命令」および「コード」という用語は、任意の種類のコンピュータ可読ステートメントを含むように広く解釈されるべきである。たとえば、「命令」および「コード」という用語は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを指し得る。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを備え得る。

[00134]本明細書で説明された機能は、ハードウェアによって実行されるソフトウェアまたはファームウェアで実装され得る。機能は、コンピュータ可読媒体上に１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形な記憶媒体を指す。限定ではなく一例として、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、あるいは命令またはデータ構造の形態で所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備え得る。本明細書で使用されるディスク（disk）および（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイ（登録商標）を含み、ディスク（disk）は通常磁気的にデータを再生し、ディスク（disc）はレーザで光学的にデータを再生する。コンピュータ可読媒体は、有形および非一時的であり得る点に留意すべきである。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理、または計算され得るコードまたは命令（たとえば、「プログラム」）と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能なソフトウェア、命令、コード、またはデータを指し得る。

[00135]ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。

[00136]本明細書に開示される方法は、記載された方法を達成するための１つまたは複数のステップあるいは動作を備える。方法ステップおよび／または動作は、特許請求の範囲から逸脱することなしに、相互に交換され得る。言い換えれば、説明されている方法の適切な動作のためにステップまたは動作の特定の順序が必要でない限り、特定のステップおよび／または動作の順序および／または使用は、特許請求の範囲から逸脱することなしに変更され得る。

[00137]さらに、図５および図６によって示されるような本明細書に記載の方法および技法を実行するためのモジュールおよび／または他の適切な手段は、デバイスによってダウンロードされ得ること、および／または他の方法で入手され得ることを理解されたい。たとえば、本明細書に記載の方法を実行するための手段の転送を容易にするために、デバイスがサーバに接続され得る。別法として、本明細書に記載の様々な方法は、ストレージ手段（たとえば、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）やフロッピーディスクなどの物理ストレージ媒体、等）を介して提供されてもよく、したがって、ストレージ手段がデバイスに結合または提供されると、デバイスは様々な方法を得ることができる。

[00138]請求項は、上に例示された正確な構成および構成要素に限定されないことを理解されたい。特許請求の範囲を逸脱することなしに、本明細書に記載のシステム、方法、および装置の、配置、動作、および詳細に、様々な修正、変更、および変形が加えられてもよい。

[00138]請求項は、上に例示された正確な構成および構成要素に限定されないことを理解されたい。特許請求の範囲を逸脱することなしに、本明細書に記載のシステム、方法、および装置の、配置、動作、および詳細に、様々な修正、変更、および変形が加えられてもよい。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
複数のモダリティに基づいてかすみ信頼レベルを決定し、前記かすみ信頼レベルに基づいて動作を実行するかどうかを決定するように構成されたプロセッサを備える、電子デバイス。
［Ｃ２］
前記プロセッサが、前記かすみ信頼レベルに基づいてかすみ低減を実行するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ３］
前記プロセッサが、オートホワイトバランス、オートフォーカス、自動露出、色、鮮明度、およびローカルトーンマッピング曲線で構成されるグループのうちの１つまたは複数を調整するように構成される、Ｃ２に記載の電子デバイス。
［Ｃ４］
前記プロセッサが、少なくとも１つの非画像処理動作を実行するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ５］
前記プロセッサが、２段階分類に基づいて前記かすみ信頼レベルを決定するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ６］
前記プロセッサが、
１つまたは複数の抽出された特徴の第１のセットを生成するためにカメラ入力信号に基づいて第１の特徴抽出を実行し、
抽出された特徴の前記第１のセットおよび前記モダリティのうちの１つまたは複数に基づいて第１の分類を実行し、
前記第１の分類はかすみが検出されたことを示すと決定し、
１つまたは複数の抽出された特徴の第２のセットを生成するために前記カメラ入力信号および前記モダリティのうちの１つまたは複数に基づいて第２の特徴抽出を実行し、
抽出された特徴の前記第２のセットおよび前記モダリティのうちの１つまたは複数に基づいて第２の分類を実行する
ように構成される、Ｃ５に記載の電子デバイス。
［Ｃ７］
抽出された特徴の前記第１のセットが、ダークチャネル特徴、輝度特徴の勾配、およびぼやけ／鮮明度特徴で構成されるグループのうちの１つまたは複数を備える、Ｃ６に記載の電子デバイス。
［Ｃ８］
抽出された特徴の前記第２のセットが、ダークチャネル特徴、勾配特徴の大きさ、勾配特徴の位相、および勾配空間情報特徴で構成されるグループのうちの１つまたは複数を備える、Ｃ６に記載の電子デバイス。
［Ｃ９］
前記プロセッサが、前記モダリティのうちの１つまたは複数に基づいて前記かすみ信頼レベルを取得するように構成された検出器を実装するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ１０］
前記プロセッサが、複数の検出器を実装するように構成され、各検出器が、前記モダリティのうちの１つまたは複数に基づいてモダリティかすみ信頼レベルを取得するように構成され、前記プロセッサが、前記かすみ信頼レベルを形成するために前記モダリティかすみ信頼レベルを組み合わせるように構成される、Ｃ１に記載の電子デバイス。
［Ｃ１１］
前記モダリティが、画像モダリティ情報、ならびに位置モダリティ情報、方向モダリティ情報、時刻モダリティ情報、地域の天気予報モダリティ情報、遠隔デバイス画像モダリティ情報、屋内／屋外インジケータ、ユーザオーバーライドインジケータ、および温度モダリティ情報で構成されるグループのうちの１つまたは複数を提供するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ１２］
電子デバイスによって実行される方法であって、
複数のモダリティに基づいてかすみ信頼レベルを決定することと、
前記かすみ信頼レベルに基づいて動作を実行するかどうかを決定することと
を備える、方法。
［Ｃ１３］
前記動作を実行することをさらに備え、前記動作を実行することが、前記かすみ信頼レベルに基づいてかすみ低減を実行することを備える、Ｃ１２に記載の方法。
［Ｃ１４］
かすみ低減を実行することが、オートホワイトバランス、オートフォーカス、自動露出、色、鮮明度、およびローカルトーンマッピング曲線で構成されるグループのうちの１つまたは複数を調整することを備える、Ｃ１３に記載の方法。
［Ｃ１５］
前記動作を実行することが、少なくとも１つの非画像処理動作を実行することを備える、Ｃ１２に記載の方法。
［Ｃ１６］
前記かすみ信頼レベルを決定することが２段階分類に基づく、Ｃ１２に記載の方法。
［Ｃ１７］
前記２段階分類が、
１つまたは複数の抽出された特徴の第１のセットを生成するためにカメラ入力信号に基づいて第１の特徴抽出を実行することと、
抽出された特徴の前記第１のセットおよび前記モダリティのうちの１つまたは複数に基づいて第１の分類を実行することと、
前記第１の分類はかすみが検出されたことを示すと決定することと、
１つまたは複数の抽出された特徴の第２のセットを生成するために前記カメラ入力信号および前記モダリティのうちの１つまたは複数に基づいて第２の特徴抽出を実行することと、
抽出された特徴の前記第２のセットおよび前記モダリティのうちの１つまたは複数に基づいて第２の分類を実行することと
を備える、Ｃ１６に記載の方法。
［Ｃ１８］
抽出された特徴の前記第１のセットが、ダークチャネル特徴、輝度特徴の勾配、およびぼやけ／鮮明度特徴で構成される前記グループのうちの１つまたは複数を備える、Ｃ１７に記載の方法。
［Ｃ１９］
抽出された特徴の前記第２のセットが、ダークチャネル特徴、勾配特徴の大きさ、勾配特徴の位相、および勾配空間情報特徴で構成される前記グループのうちの１つまたは複数を備える、Ｃ１７に記載の方法。
［Ｃ２０］
前記かすみ信頼レベルが検出器によって取得され、前記検出器が、前記モダリティのうちの１つまたは複数に基づいて前記かすみ信頼レベルを取得する、Ｃ１２に記載の方法。
［Ｃ２１］
前記かすみ信頼レベルが複数の検出器によって取得され、各検出器が、前記モダリティのうちの１つまたは複数に基づいてモダリティかすみ信頼レベルを取得し、前記モダリティかすみ信頼レベルが、前記かすみ信頼レベルを形成するために組み合わせられる、Ｃ１２に記載の方法。
［Ｃ２２］
前記モダリティが、画像モダリティ情報、ならびに位置モダリティ情報、方向モダリティ情報、時刻モダリティ情報、地域の天気予報モダリティ情報、遠隔デバイス画像モダリティ情報、屋内／屋外インジケータ、ユーザオーバーライドインジケータ、および温度モダリティ情報で構成される前記グループのうちの１つまたは複数を提供する、Ｃ１２に記載の方法。
［Ｃ２３］
複数のモダリティに基づいてかすみ信頼レベルを決定するための手段と、
前記かすみ信頼レベルに基づいて動作を実行するかどうかを決定するための手段と
を備える、装置。
［Ｃ２４］
前記動作を実行するための手段をさらに備え、前記動作を実行するための前記手段が、前記かすみ信頼レベルに基づいてかすみ低減を実行することを備える、Ｃ２３に記載の装置。
［Ｃ２５］
前記動作を実行するための前記手段が、少なくとも１つの非画像処理動作を実行するための手段を備える、Ｃ２３に記載の装置。
［Ｃ２６］
前記かすみ信頼レベルを決定するための前記手段が２段階分類に基づく、Ｃ２３に記載の装置。
［Ｃ２７］
命令をもつ非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令が、
電子デバイスに、複数のモダリティに基づいてかすみ信頼レベルを決定させるためのコードと、
前記電子デバイスに、前記かすみ信頼レベルに基づいて動作を実行するかどうかを決定させるためのコードと
を備える、コンピュータプログラム製品。
［Ｃ２８］
前記電子デバイスに前記動作を実行させるためのコードをさらに備え、前記電子デバイスに、前記かすみ信頼レベルに基づいてかすみ低減を実行させるためのコードを備える、Ｃ２７に記載のコンピュータプログラム製品。
［Ｃ２９］
前記電子デバイスに前記動作を実行させるための前記コードが、前記電子デバイスに少なくとも１つの非画像処理動作を実行させるためのコードを備える、Ｃ２７に記載のコンピュータプログラム製品。
［Ｃ３０］
前記電子デバイスに前記かすみ信頼レベルを決定させるための前記コードが２段階分類に基づく、Ｃ２７に記載のコンピュータプログラム製品。

Claims (30)

1. 複数のモダリティに基づいてかすみ信頼レベルを決定し、前記かすみ信頼レベルに基づいて動作を実行するかどうかを決定するように構成されたプロセッサを備える、電子デバイス。
2. 前記プロセッサが、前記かすみ信頼レベルに基づいてかすみ低減を実行するように構成される、請求項１に記載の電子デバイス。
3. 前記プロセッサが、オートホワイトバランス、オートフォーカス、自動露出、色、鮮明度、およびローカルトーンマッピング曲線で構成されるグループのうちの１つまたは複数を調整するように構成される、請求項２に記載の電子デバイス。
4. 前記プロセッサが、少なくとも１つの非画像処理動作を実行するように構成される、請求項１に記載の電子デバイス。
5. 前記プロセッサが、２段階分類に基づいて前記かすみ信頼レベルを決定するように構成される、請求項１に記載の電子デバイス。
6. 前記プロセッサが、
   １つまたは複数の抽出された特徴の第１のセットを生成するためにカメラ入力信号に基づいて第１の特徴抽出を実行し、
   抽出された特徴の前記第１のセットおよび前記モダリティのうちの１つまたは複数に基づいて第１の分類を実行し、
   前記第１の分類はかすみが検出されたことを示すと決定し、
   １つまたは複数の抽出された特徴の第２のセットを生成するために前記カメラ入力信号および前記モダリティのうちの１つまたは複数に基づいて第２の特徴抽出を実行し、
   抽出された特徴の前記第２のセットおよび前記モダリティのうちの１つまたは複数に基づいて第２の分類を実行する
   ように構成される、請求項５に記載の電子デバイス。
7. 抽出された特徴の前記第１のセットが、ダークチャネル特徴、輝度特徴の勾配、およびぼやけ／鮮明度特徴で構成されるグループのうちの１つまたは複数を備える、請求項６に記載の電子デバイス。
8. 抽出された特徴の前記第２のセットが、ダークチャネル特徴、勾配特徴の大きさ、勾配特徴の位相、および勾配空間情報特徴で構成されるグループのうちの１つまたは複数を備える、請求項６に記載の電子デバイス。
9. 前記プロセッサが、前記モダリティのうちの１つまたは複数に基づいて前記かすみ信頼レベルを取得するように構成された検出器を実装するように構成される、請求項１に記載の電子デバイス。
10. 前記プロセッサが、複数の検出器を実装するように構成され、各検出器が、前記モダリティのうちの１つまたは複数に基づいてモダリティかすみ信頼レベルを取得するように構成され、前記プロセッサが、前記かすみ信頼レベルを形成するために前記モダリティかすみ信頼レベルを組み合わせるように構成される、請求項１に記載の電子デバイス。
11. 前記モダリティが、画像モダリティ情報、ならびに位置モダリティ情報、方向モダリティ情報、時刻モダリティ情報、地域の天気予報モダリティ情報、遠隔デバイス画像モダリティ情報、屋内／屋外インジケータ、ユーザオーバーライドインジケータ、および温度モダリティ情報で構成されるグループのうちの１つまたは複数を提供するように構成される、請求項１に記載の電子デバイス。
12. 電子デバイスによって実行される方法であって、
    複数のモダリティに基づいてかすみ信頼レベルを決定することと、
    前記かすみ信頼レベルに基づいて動作を実行するかどうかを決定することと
    を備える、方法。
13. 前記動作を実行することをさらに備え、前記動作を実行することが、前記かすみ信頼レベルに基づいてかすみ低減を実行することを備える、請求項１２に記載の方法。
14. かすみ低減を実行することが、オートホワイトバランス、オートフォーカス、自動露出、色、鮮明度、およびローカルトーンマッピング曲線で構成されるグループのうちの１つまたは複数を調整することを備える、請求項１３に記載の方法。
15. 前記動作を実行することが、少なくとも１つの非画像処理動作を実行することを備える、請求項１２に記載の方法。
16. 前記かすみ信頼レベルを決定することが２段階分類に基づく、請求項１２に記載の方法。
17. 前記２段階分類が、
    １つまたは複数の抽出された特徴の第１のセットを生成するためにカメラ入力信号に基づいて第１の特徴抽出を実行することと、
    抽出された特徴の前記第１のセットおよび前記モダリティのうちの１つまたは複数に基づいて第１の分類を実行することと、
    前記第１の分類はかすみが検出されたことを示すと決定することと、
    １つまたは複数の抽出された特徴の第２のセットを生成するために前記カメラ入力信号および前記モダリティのうちの１つまたは複数に基づいて第２の特徴抽出を実行することと、
    抽出された特徴の前記第２のセットおよび前記モダリティのうちの１つまたは複数に基づいて第２の分類を実行することと
    を備える、請求項１６に記載の方法。
18. 抽出された特徴の前記第１のセットが、ダークチャネル特徴、輝度特徴の勾配、およびぼやけ／鮮明度特徴で構成される前記グループのうちの１つまたは複数を備える、請求項１７に記載の方法。
19. 抽出された特徴の前記第２のセットが、ダークチャネル特徴、勾配特徴の大きさ、勾配特徴の位相、および勾配空間情報特徴で構成される前記グループのうちの１つまたは複数を備える、請求項１７に記載の方法。
20. 前記かすみ信頼レベルが検出器によって取得され、前記検出器が、前記モダリティのうちの１つまたは複数に基づいて前記かすみ信頼レベルを取得する、請求項１２に記載の方法。
21. 前記かすみ信頼レベルが複数の検出器によって取得され、各検出器が、前記モダリティのうちの１つまたは複数に基づいてモダリティかすみ信頼レベルを取得し、前記モダリティかすみ信頼レベルが、前記かすみ信頼レベルを形成するために組み合わせられる、請求項１２に記載の方法。
22. 前記モダリティが、画像モダリティ情報、ならびに位置モダリティ情報、方向モダリティ情報、時刻モダリティ情報、地域の天気予報モダリティ情報、遠隔デバイス画像モダリティ情報、屋内／屋外インジケータ、ユーザオーバーライドインジケータ、および温度モダリティ情報で構成される前記グループのうちの１つまたは複数を提供する、請求項１２に記載の方法。
23. 複数のモダリティに基づいてかすみ信頼レベルを決定するための手段と、
    前記かすみ信頼レベルに基づいて動作を実行するかどうかを決定するための手段と
    を備える、装置。
24. 前記動作を実行するための手段をさらに備え、前記動作を実行するための前記手段が、前記かすみ信頼レベルに基づいてかすみ低減を実行することを備える、請求項２３に記載の装置。
25. 前記動作を実行するための前記手段が、少なくとも１つの非画像処理動作を実行するための手段を備える、請求項２３に記載の装置。
26. 前記かすみ信頼レベルを決定するための前記手段が２段階分類に基づく、請求項２３に記載の装置。
27. 命令をもつ非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令が、
    電子デバイスに、複数のモダリティに基づいてかすみ信頼レベルを決定させるためのコードと、
    前記電子デバイスに、前記かすみ信頼レベルに基づいて動作を実行するかどうかを決定させるためのコードと
    を備える、コンピュータプログラム製品。
28. 前記電子デバイスに前記動作を実行させるためのコードをさらに備え、前記電子デバイスに、前記かすみ信頼レベルに基づいてかすみ低減を実行させるためのコードを備える、請求項２７に記載のコンピュータプログラム製品。
29. 前記電子デバイスに前記動作を実行させるための前記コードが、前記電子デバイスに少なくとも１つの非画像処理動作を実行させるためのコードを備える、請求項２７に記載のコンピュータプログラム製品。
30. 前記電子デバイスに前記かすみ信頼レベルを決定させるための前記コードが２段階分類に基づく、請求項２７に記載のコンピュータプログラム製品。