JP2018514011A - 環境シーン状態検出 - Google Patents

環境シーン状態検出 Download PDF

Info

Publication number
JP2018514011A
JP2018514011A JP2017541922A JP2017541922A JP2018514011A JP 2018514011 A JP2018514011 A JP 2018514011A JP 2017541922 A JP2017541922 A JP 2017541922A JP 2017541922 A JP2017541922 A JP 2017541922A JP 2018514011 A JP2018514011 A JP 2018514011A
Authority
JP
Japan
Prior art keywords
scene
image
data
sharpness score
sharpness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017541922A
Other languages
English (en)
Inventor
ジョン、シン
グオ、フェン
シュ、シリ
レン、ジャンフェン
ヤン、ヤン
ガオ、ダシャン
ヤン、ルイドゥオ
ビスワス、マイナック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018514011A publication Critical patent/JP2018514011A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
    • B60Q1/20—Fog lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Air-Conditioning For Vehicles (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

データを処理する方法が、コンピューティングデバイスにおいて、画像センサによってキャプチャされた画像を表すデータを受信することを含む。この方法はまた、第１のシーン鮮明さスコアを決定することを含む。この方法は、第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、第１のシーン鮮明さスコアがしきい値を満たす場合、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することとをさらに含む。【選択図】 図５

Description

関連出願への相互参照
[0001]本願は、２０１５年２月１１日に出願された、共同所有される米国非仮特許出願第１４／６１９，３５４号の優先権を主張し、その内容は、その全文が参照により本明細書に明確に組み込まれる。
[0002]本開示は、一般にシーン検出に関する。より具体的には、本開示の態様は、環境シーン状態（environmental scene conditions）の検出に関する。
関連技術の説明
[0003]様々な環境状態が、シーンの視認性を損ない得る。例えば、霧、煙霧、雨、スモッグ、雪、みぞれ、結露、ウィンタリーミックス（wintery mix）、および／または他の環境状態は、このような状態がシーンにない場合に比べて、シーンをより低い鮮明さにし得る（make a scene less clear）。加えて、環境状態は、シーン内の他のオブジェクトを見えにくくし得る。したがって、環境シーン状態は、ドライバによって見られるシーンに存在するとき、車両（vehicle）を運転することをより困難にし得る。さらに、いくつかの車両は、先進運転支援システム（ＡＤＡＳ：advanced driver assistance system）を装備し得る。ＡＤＡＳは、車両周辺のエリアの画像をキャプチャするカメラからデータを受信し得る。いくつかのインプリメンテーションでは、カメラは、フロントガラスを通しての鮮明さ状態（clarity condition）が、キャプチャされた画像の鮮明さに影響を及ぼし得るように、車両内に配置（positioned）され得る。すなわち、車両内の環境および／または車両外の環境の状態は、キャプチャされた画像の鮮明さに影響を及ぼし得る。例えば、車両内と周囲環境の間の温度は、霧、雨、または煙霧、または車両外のその他の環境状態なしに、フロントガラス上に曇りまたは結露を生じさせ得る。ＡＤＡＳは、車両の操作（operation of the vehicle）を支援するために、画像に基づいて、様々な機能を実行し得る。しかしながら、キャプチャされた画像が（例えば、環境シーン状態により）不鮮明である場合、ＡＤＡＳは、正常に機能できないことがあり得、および／または、ドライバは、必要な操作を実行する能力が低下し得る。
[0004]例えば、煙霧、スモッグ、および／または天気などの、環境シーン状態を検出し、これら状態に基づいてアクションを開始するためのシステムおよび方法が開示される。環境シーン状態は、不鮮明であるとしてカテゴリ化されている画像に基づいて検出され得る。これらアクションは、画像を鮮明にするために画像処理を使用すること、メッセージを出力すること、デバイスの１つまたは複数のシステムを起動すること、またはこれらの組合せを含み得る。システムおよび方法は、電子デバイス、自動車システムコンソール（例えば、ＡＤＡＳ）、モバイルデバイス、ゲーミングコンソール、ウェアラブルデバイス（例えば、パーソナルマウントカメラ）、ヘッドマウントディスプレイなどでインプリメントされ得る。追加の例は、それに限定されるものではないが、ロボットまたはロボティスクデバイス、無人航空機（ＵＡＶ)、およびドローンを含む。
[0005]例えば、環境シーン状態検出モジュールは、車両から見えるシーンを表す入力画像を受信し得、入力画像が（例えば、雨、霧、曇ったフロントガラス、スモッグなどによる）１つまたは複数の環境シーン状態を含むかどうかを決定し得る。画像が１つまたは複数の環境シーン状態を含むかどうかを決定するために、環境シーン状態検出モジュールは、入力画像を記述するデータから第１のデータ（例えば、ダークな特徴データ（dark feature data）を抽出し、第１のシーン鮮明さスコア（first scene clarity score）を決定するために、第１のデータを第１のシーン鮮明さモデル（例えば、線形サポートベクターモデルのような、教師あり機械学習モデル（supervised machine learning model））と比較し得る。環境シーン状態検出モジュールは、第１のシーン鮮明さスコアを第１のしきい値と比較し得、第１のシーン鮮明さスコアが第１のしきい値を満たさないとき、入力画像が、シーンをより低い鮮明さにし得る１つまたは複数の環境シーン状態を含まないことを決定する。したがって、鮮明なシーンの画像は、より複雑な勾配位相動作（gradient phase operations）を実行することなく、ダークな特徴に基づいて識別され得る。
[0006]第１のシーン鮮明さスコアが第１のしきい値を満たすとき、環境シーン状態検出モジュールは、入力画像を記述するデータから第２のデータ（例えば、ダークな特徴データおよび勾配位相データ）を抽出し、第２のデータを第２のシーン鮮明さモデル（例えば、線形サポートベクターモデルのような、教師あり機械学習モデル）と比較することによって、第２のシーン鮮明さスコアを決定し得る。環境シーン状態検出モジュールは、第２のシーン鮮明さスコアが第２のしきい値を満たすとき、入力画像が鮮明でないことを決定し得る。環境シーン状態検出モジュールは、画像が鮮明でないとき、および／または、画像が鮮明でない可能性があることを示す１つまたは複数の環境状態を画像が含むとき、アクション（例えば、鮮明化された画像を生成するために画像を向上させること（enhancing)、警告を生成すること、車両に搭載されたライトシステム（light system）を起動すること、他の車両システムを起動すること、表示を拡張すること（augmenting a display）、別のデバイスにメッセージを送ることなど）をさらに開始し得る。アクションは、不鮮明な状態における車両のより安全な操作を可能にし得る。
[0007]一態様では、データを処理する方法が、コンピューティングデバイスにおいて、画像センサによってキャプチャされた画像を表すデータを受信することを含む。この方法はまた、このデータから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定することを含む。この方法は、第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、第１のシーン鮮明さスコアがしきい値を満たす場合、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することとをさらに含む。
[0008]別の態様では、装置がコンピューティングデバイスを含む。コンピューティングデバイスは、画像センサによってキャプチャされた画像を表すデータを受信するように構成される。コンピューティングデバイスは、このデータから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定するようにさらに構成され得る。コンピューティングデバイスは、このシーン鮮明さスコアがしきい値を満たすかどうかを決定するように構成され得る。第１のシーン鮮明さスコアがしきい値を満たす場合、コンピューティングデバイスは、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定し得る。
[0009]別の特定の態様では、コンピュータ可読記憶媒体が、プロセッサによって実行されると、プロセッサに動作（operations）を実行させる命令を記憶する。これら動作は、画像センサによってキャプチャされた画像を表すデータを受信することを含む。これら動作はまた、このデータから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定することを含む。これら動作は、第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、第１のシーン鮮明さスコアがしきい値を満たす場合、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することとをさらに含む。これら動作は、第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定することをさらに含む。
[0010]本開示の他の態様、利点、および特徴が、下記のセクション：図面の簡単な説明、発明の詳細な説明、および特許請求の範囲、を含む本願全体のレビュー後に明らかになるであろう。
[0011]図１は、環境シーン状態検出のための特定のシステムを例示する特定のブロック図である。 [0012]図２は、環境シーン状態検出の特定の方法を例示するフローチャートである。 [0013]図３は、環境シーン状態検出のための別のシステムを例示するブロック図である。 [0014]図４は、鮮明化された画像を生成するために使用され得るローカルトーンマッピング（ＬＴＭ）関数（functions）を例示する図である。 [0015]図５は、環境シーン状態の別の特定の方法を例示するフローチャートである。 [0016]図６は、環境シーン状態のために使用され得るデバイスを例示するフローチャートである。
発明の詳細な説明
[0017]図１を参照すると、環境シーン状態を検出するためのシステム１００を例示するブロック図が示される。システム１００は、画像センサ１０２（例えば、カメラ）を含む。画像センサ１０２は、シーン１２２の画像をキャプチャするように配置され得る。シーン１２２は、車両から見えるシーンを表すか、人間の視野を表すか（例えば、画像センサ１２２は、データグラスまたは別のヘッドマウントカメラ中に含まれ得る）、または無人航空機のようなロボットを取り囲むシーンを表し得る。さらなる例では、シーン１２２は、モバイルフォンまたはタブレットコンピュータのような、モバイルデバイスによってキャプチャされ得る。
[0018]シーン１２２が車両から見えるシーンを表す例では、画像センサ１０２によってキャプチャされたシーン１２２の画像は、フロントガラス（例えば、画像センサ１２２は、バックミラーアセンブリに取り付けられ得る）または車両の他のウィンドウを通してキャプチャされ得る。このような事例では、画像は、車両内からと、車両外からの環境状態を含み得る。他の例では、画像センサ１０２は、車両外にあり得る。画像センサ１０２は、静止画像、ビデオ、または両方を撮ることが可能なデジタルカメラであり得る。特定の例では、システム１００は、１つより多くの画像センサを含む。例えば、システム１００は、リアウィンドウ、サイドウィンドウ、フロントガラス、またはこれらの組合せに対応した画像センサを含み得る。特定の例では、画像センサ１０２は、１秒当たり３０個の画像をキャプチャするように構成される。
[0019]システム１００は、コンピューティングデバイス１０６をさらに含む。画像センサ１０２は、コンピューティングデバイス１０６と（例えば、ワイヤードまたはワイヤレス接続を介して）通信状態にある。コンピューティングデバイス１０６および画像センサ１０２は、ほぼ同じ位置または異なる位置に位置し得る。例えば、コンピューティングデバイス１０６および画像センサ１０２の両方が、車両内に搭載されて位置し（located onboard）得る。別の例では、コンピューティングデバイス１０６は、車両内に搭載されて位置し得、一方、画像センサ１０２は、車両外に位置する。例えば、画像センサ１０２は、コンピューティングデバイス１０６を含む車両と通信状態にある異なる車両内に位置し得る。別の例示的な例では、画像センサ１０２は、コンピューティングデバイス１０６を含む車両と通信状態にある、固定サイト（例えば、気象観測所）において、またはモバイルなインフラストラクチャの断片（piece of infrastructure）（例えば、気象観測気球）において、位置し得る。さらに、画像センサ１０２は、車両内に搭載されて位置し得、一方、コンピューティングデバイス１０６は、車両と通信状態にある位置（例えば、コンピューティングセンター）において離れて位置する。先の例が、車両に対する画像センサ１０２とコンピューティングデバイス１０６の相対的な位置を例示する一方で、いくつかのインプリメンテーションでは、画像センサ１０２もコンピューティングデバイス１０６も車両内に位置しないことに留意されたい。例えば、画像センサ１０２およびコンピューティングデバイス１０６のうちの１つまたは両方が、ロボット、ウェアラブルコンピューティングデバイス、ゲーミングシステム上、またはモバイルデバイス（例えば、モバイルフォンまたはタブレットコンピュータ）上に位置し得る。
[0020]コンピューティングデバイス１０６は、環境シーン状態検出モジュール１０８を含み得る。環境シーン状態検出モジュール１０８および環境シーン状態検出モジュール１０８の構成要素は、ハードウェアまたはソフトウェアに対応し得る。例えば、環境シーン状態検出モジュール１０８は、コンピューティングデバイス１０６のプロセッサ（例えば、中央処理装置、画像信号プロセッサ、またはこれらの組合せ）において実行されるソフトウェア、コンピューティングデバイス１０６の画像信号プロセッサに統合されたハードウェア、またはこれらの組合せに対応し得る。
[0021]システム１００の動作が、図２を参照して説明される。図２は、方法２００を例示するフローチャートを示す。方法２００は、不鮮明な画像を検出するためのカスケード分類器（cascade classifier）の動作に対応し得る。方法２００は、ブロック２０２において、入力画像を受信することを含む。例えば、環境シーン状態検出モジュール１０８は、画像センサ１０２から画像を表す画像データ１０３を受信し得る。この画像は、シーン１２２を描写（depict）し得る。ある特定の環境シーン状態（例えば、天気、照明など）は、画像における特徴がより低い鮮明さで見えるようにし得る。例えば、車両は、霧の中を通って、または雨の中を通って移動し得る。加えて、それを通して画像センサ１０２が画像をキャプチャするウィンドウ（例えば、フロントガラス１２１）は、車両内の温度と車両外の温度との間の差により曇った状態であり得、さもなければ結露または霜により不鮮明であり得る。画像における特徴が認識しにくい（例えば、画像が「不鮮明」である）とき、画像は、環境シーン状態（例えば、雨、霧、曇ったフロントガラス、スモッグ、煙霧など）を示し得る。システム１００および方法２００が、車両支援アプリケーション（例えば、ＡＤＡＳ）と連携して使用される例では、不鮮明な画像は、車両の運転者が車両外のシーン１２２の特徴（例えば、道路標識、車線、歩行者、他の車両、木など）を見ることができない可能性があることのインジケータであり得る。環境シーン状態検出モジュール１０８は、画像センサ１０２からの不鮮明な画像を検出し得、車両の操作をより安全にするためのアクションを開始し得る。
[0022]方法２００は、ブロック２０４において、入力画像をオプションでサイズ変更することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、画像をサイズ変更するために、画像データ１０３を変換（transform）し得る。特定の例では、環境シーン状態検出モジュール１０８は、３２０×２４０の解像度に画像をサイズ変更し得る。画像をサイズ変更することは、環境シーン状態検出モジュール１０８が、（例えば、この画像よりも、サイズ変更された画像がより小さいので）より少ない計算リソースを使用して環境シーン状態検出を実行することを可能にし得る。特定の例では、環境シーン状態検出モジュール１０８は、画像をサイズ変更するために、ソフトウェアを実行するか、またはハードウェアモジュール（例えば、画像プロセッサのハードウェアモジュール）を利用し得る。
[0023]方法２００は、ブロック２０６において、画像から第１の特徴（例えば、カスケード分類器の第１ステージの分類器（a first stage classifier））を抽出することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、画像データ１０３から第１のデータ１０４を抽出し得る。第１のデータ１０４は、画像のチャネルにおける高いインテンシティ値（high intensity values）を記述するダークな特徴データに対応し得る。例えば、画像が赤、緑、青（ＲＧＢ）画像であるとき、ダークな特徴データは、画像におけるどの画素が、画像の赤チャネル、緑チャネル、および青チャネルの各々において高い値を含むかを記述し得る。システム１００および方法２００は、代替セットのチャネル（例えば、シアン、マゼンタ、黄、および黒（ＣＭＹＫ））を含むデジタル画像と互換性があることに留意されたい。第１のデータ１０４は、画像におけるコントラストを示し得る。例えば、ダークな特徴データは、高いインテンシティ値を有する画素（例えば、ダークな特徴）を識別し得る。ダークな特徴データは、識別された画素のインテンシティ値をさらに識別し得る。したがって、ダークな特徴データは、画像のダークな領域における画素間のインテンシティの差（例えば、コントラスト）を決定するために使用され得る。
[0024]方法２００は、ブロック２０８において、第１の特徴（例えば、ダークな特徴）に基づいて、第１のシーン鮮明さスコアを生成することをさらに含む。例示的な例では、第１のシーン鮮明さスコア１１１は、第１のシーン鮮明さモデル１１０を使用して生成される。例えば、第１のシーン鮮明さモデル１１０は、入力画像および／または入力ビデオ（例えば、サンプル画像および／またはサンプルビデオ）のセットに基づいて「トレーニングされた」教師あり機械学習モデルであり得、ここで、各画像は、「鮮明」または「不鮮明」であるとして、（例えば、第１のシーン鮮明さモデル１１０のベンダーによって）予めカテゴリ化される。いくつかの例では、第１のシーン鮮明さモデル１１０は、線形サポートベクターモデル（ＳＶＭ）である。「トレーニング」フェーズ中、各追加の入力画像が第１のシーン鮮明さモデル１１０に提供されるにつれて、第１のシーン鮮明さモデル１１０は、「鮮明」と「不鮮明」の間の機械学習された「境界」を調整する。この境界は、入力画像のダークな特徴に基づいて、入力画像を分け得る。いくつかの例では、第１のシーン鮮明さモデル１１０は、テストビデオシーケンスの１つまたは複数のフレームが不鮮明または鮮明であるとして予めカテゴリ化されている、テストビデオシーケンスに基づく。いったん第１のシーン鮮明さモデル１１０がトレーニングされると、画像についてのシーン鮮明さスコアは、画像（または画像データ）のダークな特徴が境界の「鮮明」側にあるか、または「不鮮明」側にあるか、および／または、ダークな特徴が境界からどれくらい離れているかに基づいて決定され得る。不鮮明であるとして分類されている画像は、この画像が環境シーン状態（例えば、雨、霧、曇ったフロントガラス、スモッグ、煙霧など）による影響を受けていることのインジケーションであり得る。したがって、第１のシーン鮮明さモデル１１０を第１のデータ１０４と比較することによって、環境シーン状態検出モジュール１０８は、画像が環境シーン状態によって影響を受けている確率を示す第１のシーン鮮明さスコア１１１を生成することが可能であり得る。
[0025]方法２００は、ブロック２１０において、第１のシーン鮮明さスコアを第１のしきい値と比較すること（例えば、カスケード分類器の第１ステージの分類器に基づいて、画像が鮮明であるかどうかを決定すること）をさらに含む。例えば、環境シーン状態検出モジュール１０８は、第１のシーン鮮明さスコア１１１を第１のしきい値１１２と比較し得る。第１のしきい値１１２は、第１のシーン鮮明さスコア１１１に基づいて画像が不鮮明であるしきい値確率に対応し得る。特定の例では、第１のしきい値１１２は５０％である（例えば、第１のシーン鮮明さスコア１１１が、第１のデータ１０４に基づいて、画像が鮮明であるよりも不鮮明である可能性が高いことを示すとき、第１のシーン鮮明さスコア１１１は、第１のしきい値１１２を満たす）。第１のシーン鮮明さスコア１１１を第１のしきい値１１２と比較することは、不鮮明な画像を検出するために、カスケード分類器の第１ステージ中に実行され得る。
[0026]第１のシーン鮮明さスコアが第１のしきい値を満たさないとき、方法２００は、ブロック２０２に進む。例えば、第１のシーン鮮明さスコア１１１が第１のしきい値１１２を満たさないとき、環境シーン状態検出モジュール１０８は、鮮明であるとして画像を分類し、分類すべき別の画像を受信するのを待ち得る。
[0027]方法２００は、ブロック２１２において、第１のシーン鮮明さスコアが第１のしきい値を満たすとき、画像から第２の特徴（例えば、カスケード分類器の第２ステージの分類器）を抽出することをさらに含む。例えば、第１のシーン鮮明さスコア１１１が第１のしきい値１１２を満たすとき、環境シーン状態検出モジュール１０８は、画像を表すデータから第２のデータ１０５を抽出し得る。特定の例では、第２のデータ１０５は、画像の勾配位相を記述するデータ（例えば、勾配特徴データ）に加えて、ダークな特徴データを含む。勾配位相は、画像における画素のインテンシティ値の方向の変化を記述し得る。第２のデータ１０５が画像全体にわたるインテンシティ値の変化についてのより多くの情報を含み得るので、第２のデータ１０５は、第１のデータ１０４よりも、画像におけるコントラストをより示し得る。しかしながら、第２のデータ１０５は、より多くの情報を含み得るので、第２のデータ１０５を決定すること／処理することは、より時間がかかり／計算処理上費用がかかり得る。
[0028]方法２００は、ブロック２１４において、第２のシーン鮮明さスコアを決定するために、第２の特徴を第２のシーン鮮明さモデルと比較することをさらに含む。例示的な例では、第２のシーン鮮明さスコア１１５は、第２のシーン鮮明さモデル１１４を使用して生成される。例えば、第２のシーン鮮明さモデル１１４は、入力画像および／またはビデオ（例えば、サンプル画像および／またはサンプルビデオ）のセットに基づいて「トレーニングされた」教師あり機械学習モデルであり得、ここで、各画像は、「不鮮明」または「鮮明」であるとして、（例えば、第２のシーン鮮明さモデル１１４のベンダーによって）予めカテゴリ化される。いくつかの例では、第２のシーン鮮明さモデル１１４は、線形サポートベクターモデル（ＳＶＭ）である。「トレーニング」フェーズ中、各追加の入力画像が第２のシーン鮮明さモデル１１４に提供されるにつれて、第２のシーン鮮明さモデル１１４は、「不鮮明」と「鮮明」の間の機械学習された「境界」を調整する。この境界は、入力画像のダークな特徴と勾配位相の組合せに基づいて、入力画像を分け得る（一方で、第１のシーン鮮明さモデル１１２における境界は、ダークな特徴のみに基づいて入力画像を分け得る）。例えば、各入力画像は、空間におけるデータ点であると考えられ得る（空間は、３つより多くの次元を含み得る）。各点は、ダークな特徴と勾配位相に対応する座標によって定義され得、境界は、空間における入力画像を不鮮明な画像と鮮明な画像に分割する超平面に対応し得る。いくつかの例では、第２のシーン鮮明さモデル１１４は、テストビデオシーケンスの１つまたは複数のフレームが不鮮明または鮮明であるとして予めカテゴリ化されている、テストビデオシーケンスに基づく。いったん第２のシーン鮮明さモデル１１４がトレーニングされると、シーン鮮明さスコアは、画像（または画像データ）のダークな特徴と勾配位相の組合せ（例えば、空間における画像の座標）が境界（例えば、超平面）の「不鮮明」側にあるか、または「鮮明」側にあるか、および／または、ダークな特徴と勾配位相の組合せが境界からどれくらい離れているかに基づいて決定され得る。環境シーン状態検出モジュール１０８したがって、第２のシーン鮮明さモデル１１４を第２のデータ１０５と比較することによって、は、画像が不鮮明である（例えば、環境シーン状態による影響を受けている）確率を示す第２のシーン鮮明さスコア１１５を生成し得る。
[0029]方法２００は、ブロック２１６において、第２のシーン鮮明さスコアを第２のしきい値と比較すること（例えば、第２ステージの分類器に基づいて、画像が不鮮明であるかどうかを決定すること）をさらに含む。例えば、環境シーン状態検出モジュール１０８は、第２のシーン鮮明さスコア１１５を第２のしきい値１１６と比較し得る。第２のしきい値１１６は、第２のシーン鮮明さスコア１１５に基づいて画像が不鮮明であるしきい値確率に対応し得る。特定の例では、第２のしきい値１１６は５０％である（例えば、第２のシーン鮮明さスコア１１５が、第２のデータ１０５に基づいて、画像が鮮明であるよりも不鮮明である可能性が高いことを示すとき、第２のシーン鮮明さスコア１１４は、第２のしきい値１１６を満たす）。代替として、第２のしきい値１１６は、第１のしきい値１１２とは異なり得る。例えば、第１のしきい値１１２は、第１のしきい値１１２に基づいて、より少ない画像が不鮮明であるとの考慮から除外されるように、第２のしきい値１１６よりも緩やか（less strict）になり得る。第２のシーン鮮明さモデル１１４を第２のデータ１０５と比較することは、第１のシーン鮮明さモデル１１０を第１のデータ１０４と比較するよりも、より計算処理上複雑であり得、より多くの時間がかかり得る。したがって、カスケード分類器を使用すること（例えば、第１の分類器に基づいて、画像が不鮮明であるかどうかを決定することと、その後、画像が第１の分類器に基づいて不鮮明であるとして分類されたとき、第２の分類器に従って、画像が不鮮明であるかどうかを決定することと）によって、環境シーン状態検出モジュール１０８は、相対的に複雑さがより低い特徴に基づいて、いくつかの画像が鮮明であると決定することによって、時間および／またはコンピューティングサイクルを節約し得る。方法２００は、ますます正確（および複雑）な分類器を使用することによって、画像が不鮮明であることを確定することによって、正確さを維持し得る。図２に示される方法２００のフローチャートが２つのステージを含む一方で、２つより多くのカスケード分類器のステージが代替の実施形態において含まれ得ることに留意されたい。例えば、第３ステージの分類器は、ダークな特徴データ、勾配位相データ、および光特徴（light feature）を含み得る。
[0030]方法２００は、ブロック２１８において、第２のシーン鮮明さスコアが第２のしきい値を満たすとき、アクションを開始することをさらに含む。例えば、第２のシーン鮮明さスコア１１５が第２のしきい値１１６を満たすとき、環境シーン状態検出モジュール１０８は、不鮮明であるとして画像を分類し得、図３を参照して車両に関連するアクションを開始するように構成されるシステム１００のコンテキストにおいてさらに詳細に説明されるように、１つまたは複数のアクション（例えば、１つまたは複数のモジュールにおいて１つまたは複数のアクションを開始するように構成された出力１１８を送信すること）を開始し得る。他のコンテキストでは、これらアクションは、ロボット（例えば、ＵＡＶ）による使用、モバイルデバイス（例えば、モバイルフォンまたはタブレットコンピュータ）、ウェアラブルデバイス（例えば、パーソナルマウントカメラ）、ヘッドマウントディスプレイ、ゲーミングシステムなどによる使用のために画像を鮮明にするための画像処理を実行することを含み得る。これらアクションはまた、ロボット（例えば、ＵＡＶ）、モバイルデバイス（例えば、モバイルフォンまたはタブレットコンピュータ）、ウェアラブルデバイス（例えば、パーソナルマウントカメラ）、ヘッドマウントディスプレイなどについての、１つまたは複数のシステムを起動することまたは調整することを含み得る。例えば、不鮮明な画像を検出することに応答して、システム１００は、ＵＡＶに、ＵＡＶが飛行している高度を増大または低減させ得る。代替として、システム１００は、ＵＡＶに、その後別のデバイスに転送されるおよび／またはＵＡＶの動きを制御するために使用されることができる鮮明化された画像データを作成するために、画像データを処理させ得る。画像センサ１０２およびコンピューティングデバイス１０６のいずれも、開始されたアクションを実行するデバイス中に含まれない可能性があることに留意されたい。例えば、モバイルデバイスは、画像センサ１０２およびコンピューティングデバイス１０６を含み得る。不鮮明な画像を検出することに応答して、モバイルデバイス（例えば、モバイルフォン）は、別のデバイス（例えば、ロボット）にメッセージを送ることによってアクションを開始し得る。方法２００は、１つまたは複数のアクションを開始した後、２０２に戻り得る。例えば、アクションを開始した後、環境シーン状態検出モジュール１０８は、別の入力画像を受信するのを待ち得る。
[0031]方法２００は、第２のシーン鮮明さスコアが第２のしきい値を満たさないとき、ブロック２０２に戻る。例えば、第２のシーン鮮明さスコア１１５が第２のしきい値１１６を満たさないとき、環境シーン状態検出モジュール１０８は、鮮明であるとして画像を分類し、別の入力画像を待ち得る。
[0032]不鮮明な画像を検出するためにカスケード分類器を使用することは、相対的に複雑さがより低い比較を使用して、鮮明であるとしていくつかの画像を迅速に識別することによって、不鮮明な画像を検出するために使用される時間／コンピュテーションサイクルを低減させ得る。加えて、サイズ変更された画像を使用することは、計算の複雑さを低減させ得る。したがって、環境シーン状態検出モジュール１０８は、正確さを維持しながらより効率的なシーン検出を可能にし得る。
[0033]図３を参照すると、追加の構成要素を含む、システム１００の別のブロック図が示される。システム１００は、画像センサ１０２およびコンピューティングデバイス１０６を含む。図３に示されるシステム１００は、車両に組み込まれるかまたは部分的に組み込まれ得る。例えば、画像センサ１０２およびコンピューティングデバイス１０６のうちの１つまたは両方が、車両に組み込まれるか、または車両内に位置し得る。図３は、コンピューティングデバイス１０６のさらなる詳細を示す。例えば、コンピューティングデバイス１０６は、ビデオフロントエンドモジュール３０２、統計モジュール３０３、画像信号プロセッサ（ＩＳＰ）３０５、およびオブジェクト検出モジュール３０８を含む。モジュール３０２、３０３、１０８、３０８は、コンピューティングデバイス１０６において実行されるソフトウェアに対応し得る。代替として、モジュール３０２、３０３、１０８、３０８の一部または全ては、ＩＳＰ ３０５（図示せず）に組み込まれたハードウェアであり得、またはＩＳＰ ３０５（図示せず）において実行されるソフトウェアであり得る。ＩＳＰ ３０５は、ローカルトーンマッピング（ＬＴＭ）モジュール３０６を含む。ＬＴＭモジュール３０６は、ハードウェアモジュールまたはソフトウェアモジュールであり得る。
[0034]システム１００は、ヒューマンマシンインタフェース（ＨＭＩ）３１０をさらに含む。ＨＭＩ ３１０は、ヘッドアップディスプレイ（ＨＵＤ：heads up display）のようなディスプレイデバイス、スピーカ、またはこれらの組合せに対応し得る。ＨＭＩ ３１０は、入力デバイス（例えば、タッチスクリーン、キーボード、コントロールパネル）をさらに含み得る。ＨＭＩ ３１０は、車両にインストールされ得る。例えば、ＨＭＩ ３１０は、車両のダッシュボードに搭載されるか、または車両のフロントガラスに取り付けられ得る。他の例では、ＨＭＩ ３１０は、電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイス（例えば、データグラス）などのような、モバイルデバイスに対応し得る。モバイルデバイスは、車両の運転者によって持ち運ばれ、または見られ得る。
[0035]ビデオフロントエンドモジュール３０２、環境シーン状態検出モジュール１０８、ＩＳＰ ３０５、オブジェクト検出モジュール３０８、およびＨＭＩ ３１０は、先進運転支援システム（ＡＤＡＳ）の複数の部分であり得る。
[0036]システム１００は、１つまたは複数のセンサ３１４をさらに含む。１つまたは複数のセンサ３１４は、（例えば、車両内、車両外、または両方の）１つまたは複数の温度計、ナビゲーションシステム（例えば、衛星ナビゲーションシステム）、光検出および測距（ＬＩＤＡＲ：light detection and ranging）デバイス、慣性センサ、マップデータベース、またはこれらの組合せを含み得る。
[0037]システム１００は、本体制御ユニット３１６をさらに含む。本体制御ユニット３１６は、車両における様々なシステムを制御し得る。例えば、本体制御ユニット３１６は、ヘッドライト、ハイビームライト、フォグランプ、空調システム、ヒーター、除霜システム、ワイパー、またはこれらの組合せを制御し得る。本体制御ユニット３１６はまた、ワイドエリアネットワーク接続、パーソナルエリアネットワーク接続、ローカルエリアネットワーク接続、またはこれらの組合せのための、１つまたは複数のインタフェースを含み得る。例えば、本体制御ユニット３１６は、米国電気電子学会（ＩＥＥＥ）８０２．１１インタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）（Ｂｌｕｅｔｏｏｔｈは、ワシントン州カークランドのＢｌｕｅｔｏｏｔｈ ＳＩＧ，Ｉｎｃ．の登録商標である）インタフェース、ロングタームエボリューション（ＬＴＥ（登録商標））インタフェース、その他任意の通信インタフェース、またはこれらの組合せを含み得る。１つまたは複数のインタフェースは、車両ツー車両通信、車両ツーインフラストラクチャ通信、車両内通信、またはこれらの組合せのために使用され得る。いくつかの例では、システム１００は、車両の他のシステムのためのアクチュエータ（図示せず）をさらに含む。例えば、システム１００は、ギヤアクチュエータ、スロットルアクチュエータ、ブレーキアクチュエータ、ステアリングアクチュエータ、またはこれらの組合せを含み得る。
[0038]上記で説明されたように、画像センサ１０２は、車両から見えるシーン（例えば、シーン１２２）の画像をキャプチャし得る。画像を表す画像データ１０３は、コンピューティングデバイス１０６に送られ得る。ビデオフロントエンドモジュール３０２は、環境シーン状態検出モジュール１０８に画像データ１０３を送る前に、画像データ１０３に対して様々な動作を実行し得る。例えば、いくつかの例では、ビデオフロントエンドモジュール３０２は、図２のブロック２０４を参照して説明されたように、画像をサイズ変更するために、画像データ１０３を変換し得る。ビデオフロントエンドモジュール３０２はさらに、統計モジュール３０３に画像データ１０３を送り得る。統計モジュール３０３は、画像データ１０３に基づいて、様々な統計（statisitics）を識別するように構成され得る。例えば、統計モジュール３０３は、画像データ１０３によって表される画像が屋内環境を描写することを識別し得る。様々な統計に基づいて、統計モジュール３０３は、環境シーン状態検出モジュール１０８をイネーブルまたはディセーブル（enable or disable）にするように構成されたオン／オフ信号３０４を生成し得る。例えば、車両が屋内にあるとき、統計モジュール３０３は、環境シーン状態検出モジュール１０８をディセーブルにし得る。
[0039]環境シーン状態検出モジュール１０８がイネーブルにされると、環境シーン状態検出モジュール１０８は、画像データ１０３によって表される画像が不鮮明であるかどうかを決定するために、図１−図２を参照して上記で説明されたように動作する。環境シーン状態検出モジュール１０８が、不鮮明であるとして画像を識別すると、環境シーン状態検出モジュール１０８は、ＨＭＩ信号３３０、ＩＳＰデータ３３２、およびＢＣＵ信号３３４のうちの１つまたは複数を生成することによって、１つまたは複数のアクションを開始し得る。ＨＭＩ信号３３０、ＩＳＰデータ３３２、およびＢＣＵ信号３３４の各々は、図１に示される出力１１８に対応し得る。特定の例では、環境シーン状態検出モジュール１０８は、１つまたは複数のセンサ３１４から受信されるセンサデータ３１５に基づいて、どのアクションまたは複数のアクションを開始するかを決定する。
[0040]例えば、不鮮明な画像を検出することに応答して、環境シーン状態検出モジュール１０８は、ＢＣＵ ３１６による１つまたは複数のアクションを開始するために、ＢＣＵ信号３３４を送り得る。ＢＣＵ ３１６は、ＢＣＵ信号３３４に応答して、車両の電気システムを（例えば、信号３１７を送ることによって）起動するように構成され得る。例えば、環境シーン状態検出モジュール１０８は、ＢＣＵ ３１６に、フォグランプを起動すること、ハイビームライトをオフにすること、ワイパーを起動すること、またはこれらの組合せを行わせ得る。
[0041]いくつかのインプリメンテーションでは、環境シーン状態検出モジュール１０８は、画像センサ１０２が面しているウィンドウ（例えば、フロントガラス)が曇っているかどうか、または画像センサのレンズが濡れているまたは曇っているかどうかを決定し得る。例えば、画像センサ１０２は、車両の客室のような、キャビン内に位置し得、車両のウィンドウを通してシーンをキャプチャするように配置され得る。環境シーン状態検出モジュール１０８は、車両内の第１の温度および車両外の第２の温度などの、複数の温度に関連付けられたおよび／または対応するセンサデータ３１５を受信し得る。環境シーン状態検出モジュール１０８は、第１の温度と第２の温度の間の温度差を決定するように構成され得る。温度差が、（車両内の）第１の温度との間の差が（車両外の）温度を超えることを示すとき、環境シーン状態検出モジュール１０８は、１つには画像センサ１０２が面しているウィンドウが曇っているという理由で、画像センサ１０２によってキャプチャされた画像が不鮮明であることを決定し得る。ウィンドウが曇っているという決定に応答して、環境シーン状態検出モジュール１０８は、例示的な、非限定的な例として、暖房、換気、または空調（ＨＶＡＣ）システムおよび／またはワイパーを起動するなどの、アクションを開始し得る。
[0042]いくつかのインプリメンテーションでは、システム１００は、複数の画像センサを含み得、環境シーン状態検出モジュール１０８は、車両のウィンドウ（例えば、フロントガラス）が損なわれている（例えば、濡れている、曇っている、霜で覆われている、汚れている、または鮮明さを妨げるようにその他の方法で汚染されている）かどうか、または特定の画像センサのレンズが損なわれているかどうかを決定し得る。複数の画像センサは、第１の画像（例えば、画像データ１０３）を生成する画像センサ１０２と、第２の画像（例えば、第２の画像データ）を生成する第２の画像センサ（図示せず）とを含み得る。画像センサ１０２は、車両のキャビン内に位置し得、ウィンドウを通してシーンをキャプチャするように配置され得る。第２の画像センサは、車両に搭載されてか、または車両から遠く離れて位置してのいずれかで、車両外に位置し得る。環境シーン状態検出モジュール１０８は、第１の画像および第２の画像を受信し得、図２を参照して説明されたように、これら画像の各々を処理し得る。
[0043]第２の画像センサが車両外に（例えば、搭載されてかまたは遠く離れて）位置するとき、環境シーン状態検出モジュール１０８は、第１の画像が第２の画像よりも鮮明であるかどうかを決定し得る。環境シーン状態検出モジュール１０８は、第１の画像が鮮明であると決定され、かつ第２の画像が不鮮明であると決定されたとき、第１の画像が第２の画像よりも鮮明であると決定し得る。環境シーン状態検出モジュール１０８は、第２の画像が鮮明であると決定され、かつ第１の画像が不鮮明であると決定されたとき、第１の画像が第２の画像よりも低い鮮明さであると決定し得る。第１の画像および第２の画像が、両方とも鮮明であると決定された、または両方とも不鮮明であると決定されたとき、環境シーン状態検出モジュール１０８は、第１の画像のシーン鮮明さスコアを第２の画像のシーン鮮明さスコアと比較し得る。例えば、環境シーン状態検出モジュール１０８は、第１の画像（例えば、画像データ１０３）の第１のシーン鮮明さスコア１１１を、第２の画像の第１のシーン鮮明さスコアまたは第２のシーン鮮明さスコアと比較し得る。代替または追加として、環境シーン状態検出モジュール１０８は、第１の画像（例えば、画像データ１０３）の第２のシーン鮮明さスコア１１５を、第２の画像の第１のシーン鮮明さスコアまたは第２のシーン鮮明さスコアと比較し得る。
[0044]（車両内の画像センサ１０２からの）第１の画像が、（車両外に搭載された、または車両外に遠く離れて位置する第２の画像センサからの）第２の画像よりも鮮明であるという決定に応答して、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０に、第２の画像センサのレンズが損なわれている（例えば、汚れているまたは濡れている）ことを示させるためのＨＭＩ信号３３０を生成する、および／または、暖房、換気、および空調（ＨＶＡＣ）システムおよび／またはワイパーを起動するなどの、第１のセットの１つまたは複数のアクションを開始し得る。第１の画像が第２の画像よりも低い鮮明さであるという決定に応答して、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０に、第１の画像センサのレンズが損なわれている（例えば、汚れているまたは濡れている）ことを示させるためのＨＭＩ信号３３０を生成するなどの、第２のセットの１つまたは複数のアクションを開始し得る。したがって、２つの異なる画像センサから受信される画像を比較することによって、環境シーン状態検出モジュール１０８は、画像センサに関する潜在的な問題（例えば、汚れているおよび／または濡れているレンズ）、または環境（例えば、車両のウィンドウ）に関する潜在的な問題を識別し得る。
[0045]いくつかのインプリメンテーションでは、システム１００は、画像センサ１０２、第２の画像センサ（図示せず）、および第３の画像センサ（図示せず）を含み得る。画像センサ１０２は、車両のキャビン内に位置し得、第２の画像センサは、車両外に搭載されて位置し得、第３の画像センサは、車両外に遠く離れて位置し得る。これら画像センサの各々は、第１の画像センサ１０２によって生成される第１の画像（例えば、画像データ１０３）、第２の画像センサによって生成される第２の画像（例えば、第２の画像データ）、および第３の画像センサによって生成される第３の画像（例えば、第３の画像データ）などの、対応する画像を生成し得る。環境シーン状態検出モジュール１０８は、第１、第２、および第３の画像の各々を受信し得、図１−図２を参照して説明されたように、これら画像の各々を処理し得る。代替または追加として、環境シーン状態検出モジュール１０８は、第３の画像センサから環境状態が鮮明または不鮮明であることのインジケーションを受信し得、および／または第３の画像センサに基づいて決定されるシーン鮮明さスコアを受信し得る。環境シーン状態検出モジュール１０８は、第３の画像が第１の画像および／または第２の画像よりも鮮明であるかどうかを決定するために、第３の画像を第１の画像および／または第２の画像と比較し得る。
[0046]（第３の画像センサからの）第３の画像が（画像センサ１０２からの）第１の画像よりも鮮明であるという決定に応答して、環境シーン状態検出モジュール１０８は、第１の画像センサのレンズが損なわれているおよび／または車両のウィンドウが損なわれていることを決定し得る。（第３の画像センサからの）第３の画像が（第２の画像センサからの）第２の画像よりも鮮明であるという決定に応答して、環境シーン状態検出モジュール１０８は、第２の画像センサのレンズが損なわれているおよび／または車両のウィンドウが損なわれていることを決定し得る。第３の画像が第１の画像および／または第２の画像よりも鮮明であるという決定に応答して、環境シーン状態検出モジュール１０８は、例示的な、非限定的な例として、ＨＭＩ信号３３０を生成するおよび／またはＢＣＵ信号３３４を生成するなどの、１つまたは複数のアクションを開始し得る。
[0047]システム１００は、１つまたは複数の画像センサを含み得る。例えば、１つまたは複数の画像センサは、車両のキャビン内に位置する画像センサ１０２および／または車両外に搭載されて位置する第２の画像センサを含み得る。環境シーン状態検出モジュール１０８は、鮮明または不鮮明であるなどの環境状態情報を示す、外部ソース（例えば、気象サービスとアソシエートされた（associated）コンピューティングデバイス）からのデータを（例えば、ＢＣＵ ３１６の通信インタフェースを介して）受信し得る。環境シーン状態検出モジュール１０８は、環境状態を示すデータを、１つまたは複数の画像センサからの１つまたは複数の画像（例えば、画像データ）に基づく他のデータと比較し得る。例えば、環境シーン状態検出モジュール１０８は、（車両内に位置する）画像センサ１０２から第１の画像（例えば、画像データ１０３）を受信し得、第１の画像を使用して第１の環境状態を決定し得る。
[0048]環境シーン状態検出モジュール１０８は、環境状態情報を第１の環境状態と比較し得る。環境シーン状態検出モジュール１０８が、第１の環境状態が不鮮明であることを決定し、一方、外部ソースからの環境状態情報が、環境状態が鮮明であることを示すとき、環境シーン状態検出モジュール１０８は、ウィンドウが損なわれていることおよび／または画像センサ１０２のレンズが損なわれていることを決定し得る。別の例として、環境シーン状態検出モジュール１０８は、環境状態情報を、第２の画像を使用して決定される第２の環境状態と比較し得る。環境シーン状態検出モジュール１０８が、第２の環境状態が不鮮明であることを決定し、一方、外部ソースからの環境状態情報が、環境状態が鮮明であることを示すとき、環境シーン状態検出モジュール１０８は、第２の画像センサのレンズが損なわれている（例えば、汚れている、濡れている、または曇っている）ことを決定し得る。
[0049]環境シーン状態検出モジュール１０８が、ウィンドウが曇っている（またはその他の方法で損なわれている）ことおよび／または画像センサ１０２のレンズが汚れている（またはその他の方法で損なわれている）ことを決定したとき、ＢＣＵ信号３３４は、ＢＣＵ ３１６に、暖房、換気、および空調（ＨＶＡＣ）システムおよび／またはワイパーを起動させるように構成された起動信号またはメッセージを含み得る。追加または代替として、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０に、決定された状態（例えば、ウィンドウが曇っているまたは画像センサ１０２が汚れている）に対応するメッセージを提示させるためのＨＭＩ信号を生成し得る。
[0050]いくつかのインプリメンテーションでは、画像データ１０３が不鮮明であると決定することに応答して、環境シーン状態検出モジュール１０８は、ＢＣＵ ３１６に、通信インタフェースを介してメッセージを送信させるためのＢＣＵ信号３３４を生成するように構成され得る。例えば、ＢＣＵ ３１６は、別の車両にメッセージを送信し得る。このメッセージは、（例えば、画像鮮明化を起動する、システムを起動する、警告を提示する、またはこれらの組合せのような）アクションを実行するように他の車両に命令し得る。したがって、システム１００は、他のコンピューティングデバイスのような他のデバイスと、不鮮明であり、潜在的に危険を伴う状態についての情報を共有し得る。
[0051]追加または代替として、環境シーン状態検出モジュール１０８が、画像データ１０３によって表される画像が不鮮明であることを検出したとき、環境シーン状態検出モジュール１０８は、ＩＳＰ ３０５にＩＳＰデータ３３２を送り得る。ＩＳＰデータ３３２は、画像データ１０３または処理されたバージョン（例えば、サイズ変更された）の画像データ１０３を搬送（carry）し得る。いくつかの例では、ＩＳＰデータ３３２は、画像データ１０３によって表される画像がキャプチャされた後に、画像センサ１０２によってキャプチャされた第２の画像を表す第２の画像データ３６０を含み得る。いくつかの例では、ＩＳＰ ３０５は、ビデオフロントエンドモジュール３０２から直接画像データ（例えば、画像データ１０３および／または第２の画像データ３６０）を受信する。このような例では、ＩＳＰデータ３３２は、ＩＳＰ ３０５による鮮明化を可能にし得る。いくつかの例では、ＩＳＰデータ３３２は、図１および図２を参照して上記で説明されたように計算された第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５を含む。ＩＳＰデータ３３２に応答して、ＩＳＰ ３０５は、鮮明化された画像を表す「鮮明化された（clarified）」画像データ３０７を生成する。例えば、ＬＴＭモジュール３０６は、画像（または第２の画像）の高いインテンシティの領域におけるローカルコントラストをブーストし得る（例えば、隣接する画素間の差を増大させるために画素のインテンシティ値を調整し、潜在的により鮮明に画像にけるオブジェクトをレンダリングする）。ＩＳＰデータ３３２が第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５を含むとき、ＬＴＭモジュール３０６は、第１のシーン鮮明さスコア１１１および第２のシーン鮮明さスコア１１５のうちの１つまたは両方に基づいて、鮮明化された画像データ３０７を生成し得る。例えば、画像における各画素に対する調整の度合いは、第１のシーン鮮明さスコア１１１および第２のシーン鮮明さスコア１１５のうちの１つまたは両方に基づき得る。例えば、第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５が低いときと比較して、第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５が高いとき、より大きな調整が画素のインテンシティに対して適用され得る（例えば、調整の度合いは、第１のシーン鮮明さスコア１１１および／または第２のシーン鮮明さスコア１１５と正の相関があり得る）。ＬＴＭモジュール３０６のような、ハードウェアモジュールを使用することによって、システム１００は、代替システムよりも迅速に、鮮明化された画像データ３０７を生成し得る。鮮明化された画像データ３０７を迅速に生成することは、（例えば、車両が高速で環境を通って移動するにつれて）周囲の状況が迅速に変化する状況において有益であり得る。
[0052]ＩＳＰ ３０５は、オブジェクト検出モジュール３０８に、鮮明化された画像データ３０７を送り得る。オブジェクト検出モジュール３０８は、鮮明化された画像におけるオブジェクトを識別し、ＨＭＩ ３１０を介して車両の運転者に、検出されたオブジェクト出力３０９（例えば、衝突警報、速度制限通知、車線支援など）を提供し得る。オブジェクト出力３０９は、鮮明化された画像において検出されたオブジェクトの視覚表示を含み得る。例えば、ＨＭＩ ３１０は、鮮明化された画像を出力し得、鮮明化された画像上にオーバレイを出力し得る。オーバレイは、鮮明化された画像における検出されたオブジェクト（例えば、車線、標識、他の車両、歩行者、動物など）の表示（例えば、外形線（outline）、ハイライトなど）を含み得る。オブジェクト出力３０９は、（例えば、ディスプレイスクリーン、スピーカなどを介して）ＨＭＩ ３１０によって出力される警告を含み得る。警告は、音声警告、テキスト警告、視覚的な警告（例えば、ビデオまたは画像）、またはこれらの組合せを含み得る。例えば、警告は、「前方に木があります」といったアナウンスを含む音声メッセージ、または「前方に歩行者がいます」といったテキストメッセージに対応し得る。いくつかの例では、オブジェクト検出モジュール３０８は、鮮明化された画像において検出されたオブジェクトに基づいて車両のアクチュエータ（例えば、ステアリング、スロットル、ブレーキ、ギヤシフトなど）を起動するためのメッセージを送り得る。例えば、オブジェクト検出モジュール３０８は、車両の前方にあるオブジェクトが、鮮明化された画像において検出されたとき、車両のブレーキを起動するためのメッセージを送り得る。
[0053]更なる例として、環境シーン状態検出モジュール１０８が、画像データ１０３によって表される画像が不鮮明であることを検出したとき、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０にＨＭＩ信号３３０を送り得る。ＨＭＩ信号 ３３０は、ＨＭＩ ３１０に、（例えば、ディスプレイスクリーン、スピーカなどを介して）警告を提示させ得る。警告は、音声警告、テキスト警告、視覚的な警告（例えば、ビデオまたは画像）、またはこれらの組合せであり得る。警告は、状態が不鮮明であり、車両の運転者が車両外のオブジェクトを検出することが困難であり得ることを示し得る。
[0054]環境シーン状態検出モジュール１０８は、画像が鮮明であると決定することに応答して、１つまたは複数の出力を生成し得ることに留意されたい。例えば、環境シーン状態検出モジュール１０８は、ＢＣＵ ３１６に、車両の電子機器を停止させる（例えば、フォグランプ、除霜システムなどをオフにする）ために、ＢＣＵ ３１６にＢＣＵ信号３３４を送り得る。環境シーン状態検出モジュール１０８は、ＩＳＰ ３０５の鮮明化機能をオフにするために、ＩＳＰ ３０５にＩＳＰデータ３３２を送り得る。さらに、環境シーン状態検出モジュール１０８は、ＨＭＩ ３１０に、（例えば、ディスプレイを介してまたはスピーカを介して）「鮮明な状態」ステータスを出力させるために、ＨＭＩ ３１０にＨＭＩ信号３３０を送り得る。
[0055]上記で説明されたように、画像センサおよびコンピューティングデバイス１０６のうちの１つまたは両方が、車両外に位置し得る。例えば、コンピューティングデバイスは、ＢＣＵ ３１６のインタフェースとの確立された接続を通じて車両と通信する計算センターに位置するサーバであり得る。サーバは、この接続を介して車両に、ＨＭＩ信号３３０、ＢＣＵ信号３３４、オブジェクト出力３０９、またはこれらの組合せを送り得る。したがって、環境シーン検出および鮮明化は、車両外で実行され得る。さらに、環境シーン検出および鮮明化は、車両外でキャプチャされる画像データに基づいて実行され得る。例えば、画像センサ１０２は、気象観測所、気象観測気球、別の車両、または何らかの他の位置において位置し得る。
[0056]したがって、システム１００は、車両の操作に影響を及ぼし得る不鮮明な状態の検出を可能にし得る。加えて、システム１００は、車両を操作することの潜在的な危険を軽減し得るアクションの自動開始を可能にし得る。
[0057]図４を参照すると、鮮明化された画像データ３０７を生成するために、ＬＴＭモジュール３０６によって使用され得るＬＴＭ関数（LTM functions）に対応する様々なグラフを例示する図４００が示される。デジタル画像（例えば、画像データ１０３によって表される画像または第２の画像データ３６０によって表される第２の画像）は、画素から成り得る。各画素は、１つまたは複数のチャネル（例えば、赤、緑、青）におけるインテンシティ値を有し得る。インテンシティ値は、０〜２５５の範囲であり得る。画像における各画素について、ＬＴＭモジュール３０６は、隣接する画素のインテンシティに基づいて、１つまたは複数のチャネルにおける画素のインテンシティを調整し得る。ＬＴＭマスタ曲線４０２は、（Ｘ軸に沿った）隣接する画素の異なる平均インテンシティについて（Ｙ軸に沿った）画素のインテンシティに適用される調整を示す。例示されるように、ＬＴＭモジュール３０６は、低いインテンシティの領域における画素のインテンシティを増大させ得、また、高いインテンシティの領域における画素のインテンシティを低減させ得る。
[0058]ＬＴＭシフト曲線４０４は、どのように画素のインテンシティが（Ｙ軸に沿って）調整されるかを、インテンシティと隣接する画素の平均インテンシティの間の（Ｙ軸に沿った）差に基づいて示す。ＬＴＭマスタ曲線４０２およびＬＴＭシフト曲線４０４の両方が、第１のシーン鮮明さスコア１１１および第２のシーン鮮明さスコア１１５のうちの１つまたは両方に基づき得る。例えば、画素のインテンシティに対する調整は、シーン鮮明さスコア（第１のシーン鮮明さスコア１１１および第２のシーン鮮明さスコア１１５のうちの１つまたは両方）が増大するにつれて、増大し得る。
[0059]図５を参照すると、不鮮明な画像を識別するための方法５００を例示するフローチャートが示される。方法５００は、ブロック５０２において、画像センサによってキャプチャされた画像を表すデータを受信することを含み、この画像はシーンを描写する。例えば、コンピューティングデバイス１０６は、画像データ１０３を受信し得る。画像データ１０３は、画像センサ１０２によってキャプチャされたシーン１２２の画像を表し得る。いくつかの例では、シーン１２２は、車両から見えるシーンを表し得る。
[0060]方法５００は、ブロック５０４において、データから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定することをさらに含み、第１のシーン鮮明さスコアは、画像におけるコントラストを示す。例えば、環境シーン状態検出モジュール１０８は、画像データ１０３から抽出された第１のデータ１０４に基づいて、第１のシーン鮮明さスコア１１１を決定し得る。
[0061]方法５００は、ブロック５０６において、第１のシーン鮮明さスコアをしきい値と比較することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、第１のシーン鮮明さスコア１１１を第１のしきい値１１２と比較し得る。第１のシーン鮮明さスコアがしきい値を満たさない場合、方法５００は、ブロック５０８において、画像が鮮明であること（例えば、いずれの環境シーン状態も検出されないこと）を決定することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、第１のシーン鮮明さスコア１１１が第１のしきい値１１２を満たさないことに応答して、画像データ１０３によって表される画像が鮮明であることを決定し得る。
[0062]第１のシーン鮮明さスコアがしきい値を満たす場合、方法５００は、ブロック５１０において、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することを含み、第２のシーン鮮明さスコアは、画像におけるコントラストを示す。例えば、第１のシーン鮮明さスコア１１１が第１のしきい値１１２を満たす場合、環境シーン状態検出モジュール１０８は、第２のデータ１０５に基づいて、第２のシーン鮮明さスコア１１５を決定し得る。
[0063]方法５００は、５１２において、第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定することをさらに含む。例えば、環境シーン状態検出モジュール１０８は、出力１１８を介してアクションを開始するかどうかを決定するために、第２のシーン鮮明さスコア１１５を第２のしきい値１１６と比較し得る。
[0064]したがって、方法５００は、画像が不鮮明であるかどうか、およびアクションが開始されるべきであるかどうかを決定するために、２段階の比較（two stage comparison）を使用し得る。
[0065]図６を参照すると、デバイス６００（例えば、電子デバイス）の特定の例示的な実施形態のブロック図が図示される。デバイス６００は、コンピューティングデバイス１０６に対応し得る。デバイス６００は、メモリ６３２に結合されたプロセッサ６１０を含む。プロセッサ６１０は、環境シーン状態検出モジュール１０８のような、環境シーン状態検出モジュール６６４を実行し得る。
[0066]メモリ６３２は、コンピュータ可読命令またはプロセッサ可読命令のような、命令およびデータを含み得る。データおよび命令は、環境シーン状態検出モジュール６６４を実行することに関連付けられ得る。
[0067]図６はまた、プロセッサ６１０とディスプレイ６２８とに結合されたディスプレイコントローラ６２６を示す。コーダ／デコーダ（ＣＯＤＥＣ）６３４もまた、プロセッサ６１０に結合されることができる。スピーカ６３６およびマイクロホン６３８は、ＣＯＤＥＣ ６３４に結合されることができる。スピーカ６３６、マイクロホン６３８、ディスプレイ６２８、またはこれらの組合せは、ＨＭＩ ３１０に対応し得る。
[0068]図６はまた、カメラ６３１を含む。カメラ６３１は、画像センサ１０２に対応し得る。カメラ６３１は、デバイス６００に物理的に結合され得るか、またはデバイス６００とワイヤレスに通信し得る。
[0069]図６はまた、メモリとプロセッサ６１０とに結合された画像信号プロセッサ６１１を含む。画像信号プロセッサ６１１は、ＩＳＰ ３０５に対応し得る。画像信号プロセッサ６１１は、ＬＴＭモジュール６１２を含む。ＬＴＭモジュール６１２は、ハードウェアモジュールまたはソフトウェアモジュールであり得、ＬＴＭモジュール３０６に対応し得る。
[0070]図６はまた、ワイヤレスインタフェース６４０が、プロセッサ６１０とアンテナ６４２とに結合されることができることを示す。デバイス６００は、ワイヤレスインタフェース６４０およびアンテナ６４２を介して、本体制御ユニット３１６またはＨＭＩ ３１０のような、他のデバイスと通信し得る。代替の実施形態では、デバイス６００は、ワイヤード接続を介して、本体制御ユニット３１６またはＨＭＩ ３１０のような、他のデバイスと通信し得る。いくつかのインプリメンテーションでは、プロセッサ６１０、ディスプレイコントローラ６２６、メモリ６３２、ＣＯＤＥＣ ６３４、およびワイヤレスインタフェース６４０は、システムインパッケージまたはシステムオンチップデバイス６２２に含まれる。特定の実施形態では、入力デバイス６３０および電源６４４が、システムオンチップデバイス６２２に結合される。さらに、特定の実施形態では、図６に例示されるように、ディスプレイ６２８、入力デバイス６３０、スピーカ６３６、マイクロホン６３８、アンテナ６４２、および電源６４４は、システムオンチップデバイス６２２に外付けである。しかしながら、ディスプレイ６２８、入力デバイス６３０、スピーカ６３６、マイクロホン６３８、アンテナ６４２、および電源６４４の各々は、インタフェースまたはコントローラのような、システムオンチップデバイス６２２の構成要素に結合されることができる。環境シーン状態検出モジュール６６４は、プロセッサ６１０によって実行されるように図示されているが、他のインプリメンテーションでは、環境シーン状態検出モジュール６６４は、デバイス６００の別の構成要素に含まれ得るか、またはデバイス６００に結合された構成要素であり得る。例えば、環境シーン状態検出モジュール６６４は、画像信号プロセッサ６１１に含まれるハードウェアに対応し得る。
[0071]ある実施形態では、装置が、画像を表すデータを受信するための手段を含む。データを受信するための手段は、画像センサ１０２、カメラ６３１、コンピューティングデバイス１０６、ビデオフロントエンドモジュール３０２、システムオンチップデバイス６２２、ＢＣＵ ３１６の通信インタフェース、またはこれらの組合せに対応し得る。この装置は、画像をキャプチャするための手段によってキャプチャされた画像を表すデータを受信するように構成された画像処理のための手段をさらに含む。画像処理のための手段は、このデータから抽出された第１のデータに基づいて、画像の第１のシーン鮮明さスコアを決定するようにさらに構成され得る。画像処理のための手段は、第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定し、第１のシーン鮮明さスコアがしきい値を満たす場合、第１のシーン鮮明さスコアがしきい値を満たすときに、このデータから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定するようにさらに構成され得る。画像処理のための手段は、第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定するようにさらに構成され得る。画像処理のための手段は、コンピューティングデバイス１０６、環境シーン状態検出モジュール１０８、デバイス６００、プロセッサ６１０、環境シーン状態検出モジュール６６４、またはこれらの組合せに対応し得る。
[0072]開示された実施形態の先の説明は、当業者が開示された実施形態を製造または使用することができるように提供されたものである。これらの実施形態への様々な修正は、当業者には容易に明らかとなり、ここで定義した原理は、本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、ここに示された実施形態に限定されるようには意図されず、以下の特許請求の範囲によって定義される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
[0072]開示された実施形態の先の説明は、当業者が開示された実施形態を製造または使用することができるように提供されたものである。これらの実施形態への様々な修正は、当業者には容易に明らかとなり、ここで定義した原理は、本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、ここに示された実施形態に限定されるようには意図されず、以下の特許請求の範囲によって定義される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ データを処理するための方法であって、
コンピューティングデバイスにおいて、
画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと
を備える方法。
［Ｃ２］ 前記第２のシーン鮮明さスコアに基づいて、前記シーンが環境状態を含むかどうかを決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］ 前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定することをさらに備える、Ｃ２に記載の方法。
［Ｃ４］ 前記環境状態がビークルのウィンドウ上に存在するかどうかを決定することをさらに備える、Ｃ３に記載の方法。
［Ｃ５］ 前記環境状態が前記ビークルの前記ウィンドウ上に存在するかどうかの前記決定に基づいて、前記ビークルの暖房、換気、および空調（ＨＶＡＣ）システムまたはワイパーを起動することをさらに備える、Ｃ４に記載の方法。
［Ｃ６］ 前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、前記画像におけるコントラストを示す、Ｃ３に記載の方法。
［Ｃ７］ 前記アクションは、ビークルのフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、Ｃ３に記載の方法。
［Ｃ８］ 前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、Ｃ３に記載の方法。
［Ｃ９］ 前記鮮明化された画像データを作成することは、前記画像の高いインテンシティの領域におけるローカルコントラストをブーストするために、ローカルトーンマッピング（ＬＴＭ）を使用することを含む、Ｃ８に記載の方法。
［Ｃ１０］ 前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、Ｃ８に記載の方法。
［Ｃ１１］ 前記鮮明化された画像データに基づいて、オブジェクト検出を実行することと、前記オブジェクト検出に基づいて、ビークルの出力デバイスに出力を提供することとをさらに備える、Ｃ８に記載の方法。
［Ｃ１２］ 前記第１のデータは、前記画像の赤チャネル、緑チャネル、および青チャネルのうちの少なくとも１つにおける高いインテンシティ値を有する前記画像における画素に対応するダークな特徴データを含み、前記第２のデータは、前記ダークな特徴データおよび勾配特徴データを含む、Ｃ１に記載の方法。
［Ｃ１３］ 装置であって、
コンピューティングデバイスを備え、前記コンピューティングデバイスは、
画像センサによってキャプチャされた画像を表すデータを受信し、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定し、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定し、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定する
ように構成される、装置。
［Ｃ１４］ 前記コンピューティングデバイスは、前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定するようにさらに構成される、Ｃ１３に記載の装置。
［Ｃ１５］ 前記コンピューティングデバイスは、ローカルトーンマッピング（ＬＴＭ）モジュールを含み、前記アクションは、鮮明化された画像データを生成するために、前記ＬＴＭモジュールを使用することを含む、Ｃ１４に記載の装置。
［Ｃ１６］ 前記鮮明化された画像データは、第２の画像を表す追加のデータに基づいて生成され、前記第２の画像は、前記画像センサが前記画像をキャプチャした後に、前記画像センサによってキャプチャされる、Ｃ１５に記載の装置。
［Ｃ１７］ 前記鮮明化された画像を生成することは、隣接する画素の平均インテンシティ値に基づいて、ローカルコントラストを増大させるために、１つまたは複数の画素のインテンシティ値を修正することを含む、Ｃ１５に記載の装置。
［Ｃ１８］ 前記鮮明化された画像を生成することは、前記画素の前記インテンシティ値を低減させることを含む、Ｃ１７に記載の装置。
［Ｃ１９］ 前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、Ｃ１５に記載の装置。
［Ｃ２０］ 前記量は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方と正の相関がある、Ｃ１９に記載の装置。
［Ｃ２１］ ビークル内に搭載されたディスプレイデバイスをさらに備え、前記ディスプレイデバイスは、前記鮮明化された画像データによって表される鮮明化された画像を表示するように構成される、Ｃ１５に記載の装置。
［Ｃ２２］ 前記コンピューティングデバイスは、前記鮮明化された画像データにおけるオブジェクトを検出するように構成される、Ｃ１５に記載の装置。
［Ｃ２３］ ビークルの暖房、換気、および空調（ＨＶＡＣ）システム、ワイパー、またはフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せをさらに備える、Ｃ１４に記載の装置。
［Ｃ２４］ 命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、
前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、
前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定することと
を含む動作を実行させる、コンピュータ可読記憶媒体。
［Ｃ２５］ 前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、教師あり機械学習モデルを使用して計算される、Ｃ２４に記載のコンピュータ可読記憶媒体。
［Ｃ２６］ 前記第１のシーン鮮明さスコアは、第１の線形サポートベクターモデルを前記第１のデータと比較することによって計算され、前記第２のシーン鮮明さスコアは、第２の線形サポートベクターモデルを前記第２のデータと比較することによって計算される、Ｃ２５に記載のコンピュータ可読記憶媒体。
［Ｃ２７］ 前記第１の線形サポートベクターモデルおよび前記第２の線形サポートベクターモデルの各々は、サンプルビデオを使用して生成される、Ｃ２６に記載のコンピュータ可読記憶媒体。
［Ｃ２８］ 装置であって、
画像を表すデータを受信するための手段と、
前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定することと、前記第１のシーン鮮明さスコアは、前記画像におけるコントラストを示す、
前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、
前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、
前記第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定することと
を行うように構成された画像処理のための手段と
を備える装置。
［Ｃ２９］ 前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、Ｃ２８に記載の装置。
［Ｃ３０］ 前記アクションは、ビークルのフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、Ｃ２８に記載の装置。

Claims (30)

  1. データを処理するための方法であって、
    コンピューティングデバイスにおいて、
    画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
    前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
    前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
    前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと
    を備える方法。
  2. 前記第２のシーン鮮明さスコアに基づいて、前記シーンが環境状態を含むかどうかを決定することをさらに備える、請求項１に記載の方法。
  3. 前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定することをさらに備える、請求項２に記載の方法。
  4. 前記環境状態が車両のウィンドウ上に存在するかどうかを決定することをさらに備える、請求項３に記載の方法。
  5. 前記環境状態が前記車両の前記ウィンドウ上に存在するかどうかの前記決定に基づいて、前記車両の暖房、換気、および空調（ＨＶＡＣ）システムまたはワイパーを起動することをさらに備える、請求項４に記載の方法。
  6. 前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、前記画像におけるコントラストを示す、請求項３に記載の方法。
  7. 前記アクションは、車両のフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、請求項３に記載の方法。
  8. 前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、請求項３に記載の方法。
  9. 前記鮮明化された画像データを作成することは、前記画像の高いインテンシティの領域におけるローカルコントラストをブーストするために、ローカルトーンマッピング（ＬＴＭ）を使用することを含む、請求項８に記載の方法。
  10. 前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、請求項８に記載の方法。
  11. 前記鮮明化された画像データに基づいて、オブジェクト検出を実行することと、前記オブジェクト検出に基づいて、車両の出力デバイスに出力を提供することとをさらに備える、請求項８に記載の方法。
  12. 前記第１のデータは、前記画像の赤チャネル、緑チャネル、および青チャネルのうちの少なくとも１つにおける高いインテンシティ値を有する前記画像における画素に対応するダークな特徴データを含み、前記第２のデータは、前記ダークな特徴データおよび勾配特徴データを含む、請求項１に記載の方法。
  13. 装置であって、
    コンピューティングデバイスを備え、前記コンピューティングデバイスは、
    画像センサによってキャプチャされた画像を表すデータを受信し、前記画像はシーンを描写する、
    前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定し、
    前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定し、
    前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定する
    ように構成される、装置。
  14. 前記コンピューティングデバイスは、前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定するようにさらに構成される、請求項１３に記載の装置。
  15. 前記コンピューティングデバイスは、ローカルトーンマッピング（ＬＴＭ）モジュールを含み、前記アクションは、鮮明化された画像データを生成するために、前記ＬＴＭモジュールを使用することを含む、請求項１４に記載の装置。
  16. 前記鮮明化された画像データは、第２の画像を表す追加のデータに基づいて生成され、前記第２の画像は、前記画像センサが前記画像をキャプチャした後に、前記画像センサによってキャプチャされる、請求項１５に記載の装置。
  17. 前記鮮明化された画像を生成することは、隣接する画素の平均インテンシティ値に基づいて、ローカルコントラストを増大させるために、１つまたは複数の画素のインテンシティ値を修正することを含む、請求項１５に記載の装置。
  18. 前記鮮明化された画像を生成することは、前記画素の前記インテンシティ値を低減させることを含む、請求項１７に記載の装置。
  19. 前記画像における１つまたは複数の画素のインテンシティ値は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方に基づいて選択された量だけ修正される、請求項１５に記載の装置。
  20. 前記量は、前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアのうちの１つまたは両方と正の相関がある、請求項１９に記載の装置。
  21. 車両内に搭載されたディスプレイデバイスをさらに備え、前記ディスプレイデバイスは、前記鮮明化された画像データによって表される鮮明化された画像を表示するように構成される、請求項１５に記載の装置。
  22. 前記コンピューティングデバイスは、前記鮮明化された画像データにおけるオブジェクトを検出するように構成される、請求項１５に記載の装置。
  23. 車両の暖房、換気、および空調（ＨＶＡＣ）システム、ワイパー、またはフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せをさらに備える、請求項１４に記載の装置。
  24. 命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
    画像センサによってキャプチャされた画像を表すデータを受信することと、前記画像はシーンを描写する、
    前記データから抽出された第１のデータに基づいて、第１のシーン鮮明さスコアを決定することと、
    前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
    前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、
    前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、
    前記第２のシーン鮮明さスコアに基づいて、アクションを開始するかどうかを決定することと
    を含む動作を実行させる、コンピュータ可読記憶媒体。
  25. 前記第１のシーン鮮明さスコアおよび前記第２のシーン鮮明さスコアは、教師あり機械学習モデルを使用して計算される、請求項２４に記載のコンピュータ可読記憶媒体。
  26. 前記第１のシーン鮮明さスコアは、第１の線形サポートベクターモデルを前記第１のデータと比較することによって計算され、前記第２のシーン鮮明さスコアは、第２の線形サポートベクターモデルを前記第２のデータと比較することによって計算される、請求項２５に記載のコンピュータ可読記憶媒体。
  27. 前記第１の線形サポートベクターモデルおよび前記第２の線形サポートベクターモデルの各々は、サンプルビデオを使用して生成される、請求項２６に記載のコンピュータ可読記憶媒体。
  28. 装置であって、
    画像を表すデータを受信するための手段と、
    前記データから抽出された第１のデータに基づいて、前記画像の第１のシーン鮮明さスコアを決定することと、前記第１のシーン鮮明さスコアは、前記画像におけるコントラストを示す、
    前記第１のシーン鮮明さスコアがしきい値を満たすかどうかを決定することと、
    前記第１のシーン鮮明さスコアが前記しきい値を満たす場合、
    前記データから抽出された第２のデータに基づいて、第２のシーン鮮明さスコアを決定することと、
    前記第２のシーン鮮明さスコアに基づいて、アクションを自動的に開始するかどうかを決定することと
    を行うように構成された画像処理のための手段と
    を備える装置。
  29. 前記アクションは、鮮明化された画像データを作成するために前記データを処理することを含む、請求項２８に記載の装置。
  30. 前記アクションは、車両のフォグランプを起動すること、音声警告を提供すること、視覚的な警告を提供すること、またはこれらの組合せを含む、請求項２８に記載の装置。
JP2017541922A 2015-02-11 2016-01-20 環境シーン状態検出 Pending JP2018514011A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/619,354 2015-02-11
US14/619,354 US9734425B2 (en) 2015-02-11 2015-02-11 Environmental scene condition detection
PCT/US2016/014144 WO2016130294A1 (en) 2015-02-11 2016-01-20 Environmental scene condition detection

Publications (1)

Publication Number Publication Date
JP2018514011A true JP2018514011A (ja) 2018-05-31

Family

ID=55411730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017541922A Pending JP2018514011A (ja) 2015-02-11 2016-01-20 環境シーン状態検出

Country Status (8)

Country Link
US (1) US9734425B2 (ja)
EP (1) EP3256985A1 (ja)
JP (1) JP2018514011A (ja)
KR (1) KR20170115544A (ja)
CN (1) CN107209856B (ja)
BR (1) BR112017017222A2 (ja)
CA (1) CA2973212A1 (ja)
WO (1) WO2016130294A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020085564A (ja) * 2018-11-20 2020-06-04 トヨタ自動車株式会社 判定装置、車両制御装置、判定方法、判定プログラム
JP2021531545A (ja) * 2019-06-19 2021-11-18 センスタイム グループ リミテッド インテリジェント運転制御方法及び装置、電子機器

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
US10110880B2 (en) * 2015-09-25 2018-10-23 Amazon Technologies, Inc. Selective colorization using monochromic imagery
DE102015221439B3 (de) * 2015-11-02 2017-05-04 Continental Automotive Gmbh Verfahren und Vorrichtung zur Auswahl und Übertragung von Sensordaten von einem ersten zu einem zweiten Kraftfahrzeug
JP2017144937A (ja) * 2016-02-19 2017-08-24 トヨタ自動車株式会社 撮像システム
US10435176B2 (en) 2016-05-25 2019-10-08 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
US9928434B1 (en) * 2016-06-14 2018-03-27 State Farm Mutual Automobile Insurance Company Appartuses, systems, and methods for determining when a vehicle occupant is using a mobile telephone
US9928433B1 (en) * 2016-06-14 2018-03-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for determining when a vehicle operator is texting while driving
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
CN106427902A (zh) * 2016-10-26 2017-02-22 江苏金米智能科技有限责任公司 一种基于图像检测的车辆雨刮器自动控制系统
CN106427765A (zh) * 2016-11-09 2017-02-22 山东国金汽车工程技术有限公司 一种节能环保的雾灯装置
CN108133223B (zh) * 2016-12-01 2020-06-26 富士通株式会社 确定卷积神经网络cnn模型的装置和方法
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN106515578A (zh) * 2016-12-22 2017-03-22 百度在线网络技术（北京）有限公司 无人车驾驶状态的识别装置、识别方法及无人车
CN109131076A (zh) * 2017-06-27 2019-01-04 上海蔚兰动力科技有限公司 驾驶辅助系统及驾驶辅助方法
US10688929B2 (en) * 2017-06-27 2020-06-23 Shanghai XPT Technology Limited Driving assistance system and method of enhancing a driver's vision
TWM557685U (zh) * 2017-06-27 2018-04-01 大陸商上海蔚蘭動力科技有限公司 駕駛輔助系統
US20190068880A1 (en) * 2017-08-25 2019-02-28 Rosemount Aerospace Inc. Image optimization by aircraft exterior camera system
JP6922700B2 (ja) * 2017-12-05 2021-08-18 株式会社デンソー 雨滴検出装置及びワイパ制御装置
CN107958224B (zh) * 2017-12-14 2021-09-21 智车优行科技（北京）有限公司 Adas上基于isp的图像预处理系统及方法
WO2019127085A1 (en) * 2017-12-27 2019-07-04 Volkswagen (China) Investment Co., Ltd. Processing method, processing apparatus, control device and cloud server
US10678255B2 (en) * 2018-02-14 2020-06-09 GM Global Technology Operations LLC Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis
US10922626B2 (en) 2018-03-09 2021-02-16 Qualcomm Incorporated Conditional branch in machine learning object detection
CN108638957B (zh) * 2018-05-11 2021-10-26 长安大学 一种夜间低能见度下自动开启车辆雾灯的装置及方法
CN108921013B (zh) * 2018-05-16 2020-08-18 浙江零跑科技有限公司 一种基于深度神经网络的视觉场景识别系统及方法
CN108926306B (zh) * 2018-08-15 2020-11-27 佛山市百斯特电器科技有限公司 洗碗机及其控制方法
US10597002B1 (en) 2018-09-21 2020-03-24 Ford Global Technologies, Llc Imaging system
US10589723B1 (en) 2018-09-21 2020-03-17 Ford Global Technologies, Llc Imaging system
KR102634349B1 (ko) * 2018-10-11 2024-02-07 현대자동차주식회사 차량의 제어 장치 및 방법
US10839220B2 (en) * 2018-10-15 2020-11-17 Kepler Vision Technologies B.V. Method for categorizing a scene comprising a sub-scene with machine learning
US11127121B2 (en) * 2019-03-29 2021-09-21 Wipro Limited System and method of generating enhanced video by removing fog for vehicle navigation
US20200385116A1 (en) * 2019-06-06 2020-12-10 Motorola Solutions, Inc. System and Method of Operating a Vehicular Computing Device to Selectively Deploy a Tethered Vehicular Drone for Capturing Video
CN110227264B (zh) * 2019-06-06 2023-07-11 腾讯科技(成都)有限公司 虚拟对象控制方法、装置、可读存储介质和计算机设备
US11134201B2 (en) * 2019-08-20 2021-09-28 International Business Machines Corporation Vision assisted driving system using a vertically extendable camera
US11386289B2 (en) * 2019-11-05 2022-07-12 Elementary Robotics, Inc. Systems and methods for robot-aided product inspection
JP7485512B2 (ja) * 2019-12-26 2024-05-16 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
US11645780B2 (en) * 2020-03-16 2023-05-09 Realsee (Beijing) Technology Co., Ltd. Method and device for collecting images of a scene for generating virtual reality data
CN111559344A (zh) * 2020-04-21 2020-08-21 汉腾汽车有限公司 一种基于图像识别的自动雨刮系统
CN112180472A (zh) * 2020-09-28 2021-01-05 南京北极光智能科技有限公司 一种基于深度学习的大气能见度集成预报方法
CN112417952B (zh) * 2020-10-10 2022-11-11 北京理工大学 一种车辆碰撞防控系统的环境视频信息可用性测评方法
CN113077422B (zh) * 2021-03-22 2023-08-15 浙江大华技术股份有限公司 起雾图像检测方法、模型训练方法及装置
CN113581131B (zh) * 2021-08-12 2023-08-08 上海仙塔智能科技有限公司 挡风玻璃附着灰尘的清理方法及智能眼镜
CN115257632B (zh) * 2022-08-16 2024-05-03 重庆金康赛力斯新能源汽车设计院有限公司 车窗除雾控制方法、装置、计算机设备和存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434254B1 (en) 1995-10-31 2002-08-13 Sarnoff Corporation Method and apparatus for image-based object detection and tracking
US7653215B2 (en) * 1997-04-02 2010-01-26 Gentex Corporation System for controlling exterior vehicle lights
US6611610B1 (en) 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
JP2001082097A (ja) 1999-09-13 2001-03-27 Toshiba Corp トンネル換気制御装置
US6807473B1 (en) 2003-04-09 2004-10-19 Continental Teves, Inc. Road recognition system
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
JP2009527063A (ja) 2006-02-14 2009-07-23 インテリサイエンス コーポレーション 仮想環境において見本及びデータを使用及び統合するシステム及びその方法
US20070244844A1 (en) 2006-03-23 2007-10-18 Intelliscience Corporation Methods and systems for data analysis and feature recognition
JP2007310741A (ja) 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP4784452B2 (ja) 2006-09-12 2011-10-05 株式会社デンソー 車載霧判定装置
JP4321591B2 (ja) 2007-01-11 2009-08-26 株式会社デンソー 車載霧判定装置
US8098889B2 (en) 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8831869B2 (en) 2009-03-31 2014-09-09 GM Global Technology Operations LLC Using V2X-based in-network message generation, aggregation, distribution and processing protocols to enable road hazard condition warning applications
US8350933B2 (en) 2009-04-08 2013-01-08 Yissum Research Development Company Of The Hebrew University Of Jerusalem, Ltd. Method, apparatus and computer program product for single image de-hazing
JP4807439B2 (ja) 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
US8340461B2 (en) 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
DE102010002488A1 (de) 2010-03-02 2011-09-08 Robert Bosch Gmbh Verfahren und Vorrichtung zur Nebelerkennung mittels Spektroskopie
CN101957309B (zh) * 2010-08-17 2012-11-07 招商局重庆交通科研设计院有限公司 一种能见度的全天候视频测量方法
CN103609201B (zh) 2011-06-13 2017-01-18 皇家飞利浦有限公司 自适应控制的户外照明系统及其操作方法
CN102411774B (zh) * 2011-08-08 2013-05-01 安科智慧城市技术（中国）有限公司 一种基于单幅图像去雾的处理方法、装置及系统
DE102011086512B4 (de) 2011-11-16 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Nebeldetektion
CN102609939B (zh) * 2012-01-16 2015-03-11 北京航空航天大学 一种tfds图像质量评价方法及系统
US9009083B1 (en) 2012-02-15 2015-04-14 Google Inc. Mechanism for automatic quantification of multimedia production quality
CA2910644A1 (en) 2012-05-23 2013-11-28 Liping Fu Road surface condition classification method and system
US8755628B2 (en) 2012-09-10 2014-06-17 Google Inc. Image de-hazing by solving transmission value
JP5930067B2 (ja) * 2012-12-18 2016-06-08 三菱電機株式会社 視認性推定装置及び安全運転支援システム
JP5561396B1 (ja) 2013-02-19 2014-07-30 日本電気株式会社 運転支援システムおよび運転支援方法
US9025140B2 (en) 2013-05-07 2015-05-05 Google Inc. Methods and systems for detecting weather conditions including sunlight using vehicle onboard sensors
JP2016523154A (ja) 2013-06-28 2016-08-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像ノイズ情報を利用する方法
US9514373B2 (en) 2013-08-28 2016-12-06 Gentex Corporation Imaging system and method for fog detection
US20150178930A1 (en) 2013-12-20 2015-06-25 Qualcomm Incorporated Systems, methods, and apparatus for generating metadata relating to spatial regions of non-uniform size
US9846927B2 (en) 2014-05-20 2017-12-19 Qualcomm Incorporated Systems and methods for haziness detection
EP3640890B1 (en) 2014-05-22 2023-06-21 Mobileye Vision Technologies Ltd. Systems and methods for braking a vehicle based on a detected object

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020085564A (ja) * 2018-11-20 2020-06-04 トヨタ自動車株式会社 判定装置、車両制御装置、判定方法、判定プログラム
JP7103185B2 (ja) 2018-11-20 2022-07-20 トヨタ自動車株式会社 判定装置、車両制御装置、判定方法、判定プログラム
US11718151B2 (en) 2018-11-20 2023-08-08 Toyota Jidosha Kabushiki Kaisha Determination device, vehicle control device, determination method and determination program
JP2021531545A (ja) * 2019-06-19 2021-11-18 センスタイム グループ リミテッド インテリジェント運転制御方法及び装置、電子機器

Also Published As

Publication number Publication date
CN107209856B (zh) 2021-02-26
WO2016130294A1 (en) 2016-08-18
BR112017017222A2 (pt) 2018-04-03
EP3256985A1 (en) 2017-12-20
KR20170115544A (ko) 2017-10-17
CN107209856A (zh) 2017-09-26
CA2973212A1 (en) 2016-08-18
US9734425B2 (en) 2017-08-15
US20160232423A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
CN107209856B (zh) 环境场景状况检测
US11386673B2 (en) Brake light detection
US10694262B1 (en) Overlaying ads on camera feed in automotive viewing applications
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US20180017799A1 (en) Heads Up Display For Observing Vehicle Perception Activity
WO2019044652A1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, PROGRAM, AND MOBILE OBJECT
WO2017034679A1 (en) System and method of object detection
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7226440B2 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
KR20200043391A (ko) 화상 블러 보정을 위한 화상 처리, 화상 처리 방법 및 프로그램
US20220335728A1 (en) Electronic device, method, and computer readable storage medium for detection of vehicle appearance
US11645779B1 (en) Using vehicle cameras for automatically determining approach angles onto driveways
US11531197B1 (en) Cleaning system to remove debris from a lens
JP6789151B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7160085B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020036057A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
CN114788257A (zh) 信息处理装置、信息处理方法、程序、成像装置和成像系统
US11438517B2 (en) Recognition device, a recognition method, and a program that easily and accurately recognize a subject included in a captured image
US20230251649A1 (en) Remote operation system, remote operation control method, and remote operator terminal
US20230394842A1 (en) Vision-based system with thresholding for object detection
CN113614777A (zh) 信息处理装置、信息处理方法和程序
CN116457843A (zh) 飞行时间物体检测电路和飞行时间物体检测方法