JP2021527980A - 高フレームレート画像前処理システム及び方法 - Google Patents

高フレームレート画像前処理システム及び方法 Download PDF

Info

Publication number
JP2021527980A
JP2021527980A JP2020568695A JP2020568695A JP2021527980A JP 2021527980 A JP2021527980 A JP 2021527980A JP 2020568695 A JP2020568695 A JP 2020568695A JP 2020568695 A JP2020568695 A JP 2020568695A JP 2021527980 A JP2021527980 A JP 2021527980A
Authority
JP
Japan
Prior art keywords
image
images
frame rate
target areas
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020568695A
Other languages
English (en)
Inventor
ジョン ノーブル
Original Assignee
シーイング マシーンズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2018902161A external-priority patent/AU2018902161A0/en
Application filed by シーイング マシーンズ リミテッド filed Critical シーイング マシーンズ リミテッド
Publication of JP2021527980A publication Critical patent/JP2021527980A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

画像前処理システム及び方法がここで記載される。ある実施形態は、方法（５００）を提供し、この方法は、ステップ（５０１）で、第１フレームレートでキャプチャされた複数の画像を受け取ることであって、少なくとも２つの異なる画像条件の下で複数の画像がキャプチャされる、受け取ること、複数の画像の前処理をすることであって、ステップ（５０２）で、画像内において１つ以上の対象領域を特定すること、ステップ（５０３）で、１つ以上の対象領域で可視性計測を実行すること、及びステップ（５０４）で、可視性計測に基づいて複数の画像のサブセットを選択することによって前処理をすること、及びステップ（５０５）で、第１フレームレートより低い第２フレームレートでの後続の処理のために、画像処理パイプラインに画像のサブセットを供給することを含む。
【選択図】図５

Description

本発明は、画像処理に関し、画質を改善するためにビデオシーケンスの画像を前処理するためのシステム及び方法に特に関する。いくつかの実施形態がその応用例を特に参照してここでは説明されるが、本発明はそのような使用分野に限定されず、より広い文脈でも応用可能である。
明細書を通して背景技術についての任意の議論は、そのような技術が周知であり、又は当該分野における広く一般的に知られた知識の一部を成すという自認としては決して考えられるべきではない。
現代の画像センサは、数百ヘルツにまで達する高フレームレートイメージングに対応し得る。しかしそのような高フレームレートの効率的な処理は、高価な画像処理システムを必要とし、特に画像がリアルタイムで処理されなければならない時はそうである。一般に、画像処理力の上限は、イメージングシステムのコスト及び高度化のレベルが上がると共に引き上げられる。よって高フレームレートで画像を処理することは、低コストのアプリケーションに対してはふつうは実用不可能である。
ハイダイナミックレンジ（ＨＤＲ）イメージングは、より洗練されていないイメージングシステムから、より高いダイナミックレンジの画像を作るために発達してきた技術である。ＨＤＲの特定の応用例は、明るい領域及び暗い領域の両方を含む実世界のシーンをより正確に表現するための、より大きなレンジの輝度レベルのキャプチャである。
ＨＤＲ技術において、シーンの画像は、異なる露光時間においてキャプチャされ、複数の画像は、画像の輝度のレンジを最大化するように複雑なやり方で組み合わせられる。これは、計算処理が負担になる、複雑な画像合成技術を必要とする。特に、ＨＤＲプロセスにおいては、それぞれの画像は、合成高画質イメージを生成するために別個に処理される。よってＨＤＲ技術は、高価な機器なしでは高フレームレート画像シーケンスに対して実行するのが難しい。
「Face Monitoring System and Method for Vehicular Occupants」と題された、Automotive Technologies International, Inc.に譲渡された米国特許出願公開２００８／０６９４０３は、自動車ドライバーのための顔モニタリングシステムに関する。この文献は、非常に短い露光のシーケンスを加算することによって画像が形成される時に、画像の異なる画素領域にわたって、カメラの露光時間を調節することを記載する。しかしＨＤＲプロセスのように、全ての画像が処理されなければならず、異なる露光は、一つの画像を形成するためにアルゴリズムを通して組み合わせられなければならない。よってこの処理は、高価な処理機器なしでは、リアルタイムで実行するのが難しい。
本発明の第１局面によれば、画像前処理方法であって、第１フレームレートでキャプチャされた複数の画像を受け取ることであって、前記複数の画像は、少なくとも２つの異なる画像条件の下でキャプチャされる、画像を受け取ること、
（ａ）前記画像内で１つ以上の対象領域を特定すること、
（ｂ）前記１つ以上の対象領域上で可視性計測を実行すること、及び
（ｃ）前記可視性計測に基づいて前記複数の画像のサブセットを選択すること
によって前記複数の画像を前処理すること、及び
前記第１フレームレートより低い第２フレームレートでの後続の処理のために、画像の前記サブセットを画像処理パイプラインに供給すること
を含む方法が提供される。
ある実施形態では、前記画像条件は、画像の露光時間を含む。ある実施形態では、前記画像条件は、１つ以上の光源による選択的な照明を含む。ある実施形態では、前記画像条件は、前記１つ以上の光源の輝度を含む。前記画像条件はまた、前記画像の解像度を上げる又は下げるための画像センサのビニングを含み得る。前記画像条件はさらに、前記1つ以上の対象領域へのイメージセンサのトリミング（cropping）を含み得る。最後に、前記画像条件はさらに、前記画像をキャプチャするために使用されるカメラのイメージング光学系の焦点距離を含み得る。
ある実施形態では、前記対象領域は、前記画像全体である。
ある実施形態では、１つ以上の対象領域を特定する前記ステップは、個々の画像内の１つ以上の画像特徴を特定することを含む。前記１つ以上の対象領域は、前記特定された画像特徴の周りの画素のサブセットを含み得る。
ある実施形態では、可視性計測を実行する前記ステップは、前記１つ以上の対象領域内で鏡面反射を検出することを含む。前記鏡面反射を検出することは、前記１つ以上の対象領域内で鏡面反射の位置を求めることを含む。前記鏡面反射を検出することは、撮像されている被写体の目からの鏡面角膜反射を特定することを含み得る。前記鏡面反射を検出することは、撮像されている被写体によって着用されているアイウェアからの鏡面反射を特定することを含み得る。
ある実施形態では、前記可視性計測を実行するステップは、前記１つ以上の対象領域内の鏡面反射の数を求めることを含む。
ある実施形態では、前記可視性計測を実行するステップは、前記１つ以上の対象領域の輝度を検出することを含む。
ある実施形態では、前記可視性計測を実行するステップは、前記１つ以上の対象領域に対してエッジ検出を実行することを含む。
ある実施形態では、前記可視性計測を実行するステップは、前記１つ以上の対象領域に対してコントラスト検出を実行することを含む。
ある実施形態では、前記可視性計測を実行するステップは、前記１つ以上の対象領域内のグレアレベルを検出することを含む。
ある実施形態では、前記可視性計測を実行するステップは、前記１つ以上の対象領域内の画像ノイズのレベルを検出することを含む。
ある実施形態では、前記１つ以上の画像特徴は、撮像されている被写体の顔を含み得る。前記１つ以上の画像特徴は、撮像されている被写体の顔の特徴を含み得る。例えば、前記１つ以上の画像特徴は、前記撮像される被写体の目を含み得る。ある実施形態では、前記１つ以上の画像特徴は、車両ステアリングホイールの一部を含む。
ある実施形態では、前記第１フレームレートは、前記画像処理パイプラインによって処理されることが可能な前記フレームレートの上限値より高い。
ある実施形態では、前記画像処理パイプラインは、車両ドライバーモニタリングシステムである。好ましくは、前記ドライバーモニタリングシステムは、車両ドライバーの顔及び／又は目を追跡するように構成されている。前記１つ以上の対象領域は、前記ドライバーモニタリングシステムによって、前記車両ドライバーの前記顔及び／又は目の前記位置の以前の検出から求められ得る。
ある実施形態では、前記受け取られた複数の画像をバッファリングし及びそれらをバッチ群に配分するステップを含む。
本発明の第２局面によれば、画像キャプチャ及び処理システムであって、
第１フレームレートで、シーンの複数のデジタル画像をキャプチャするように構成されたカメラと、
前記デジタル画像がキャプチャされる期間の間、前記シーンを明るくするように構成された１つ以上の光源と、
前記カメラのシャッター速度及び／又は前記露光時間と、前記１つ以上の光源の明るさとのうちの片方又は両方を選択的に制御することによって、それぞれのデジタル画像がキャプチャされる画像条件を変化させるように構成されたコントローラと、
前記デジタル画像を第１フレームレートで受け取り、
（ｄ）前記画像内で１つ以上の対象領域を特定すること、
（ｅ）前記１つ以上の対象領域の可視性計測を実行すること、及び
（ｆ）前記可視性計測に基づいて前記複数の画像のサブセットを選択すること
によって前記デジタル画像を前処理し、
前記第１フレームレートより低い第２フレームレートで、画像処理パイプラインに前記複数の画像の前記サブセットを供給する
よう構成された前処理システムと、
を備える画像キャプチャ及び処理システムが提供される。
本発明の第３局面によれば、画像前処理方法であって、
第１フレームレートでの複数の画像をキャプチャすることであって、前記複数の画像は、少なくとも２つの異なる画像条件の下でキャプチャされる、キャプチャすること、
前記画像において特定された１つ以上の特徴の可視性計測に基づいて、前記複数の画像のサブセットを選択することによって、前記複数の画像を前処理すること、及び
前記第１フレームレートより低い第２フレームレートで画像処理パイプラインに前記複数の画像の前記サブセットを供給することを含む方法が提供される。
本開示の好ましい実施形態が、添付の図面を参照して、例示としてのみ、ここで説明される。
本発明の実施形態による、カメラ及び対象を照らす２つのＬＥＤ光源を含む画像処理システムの概略的機能構成である。 ドライバーモニタリングシステムとして動作する図１による画像処理システムを有する車両の内部の透視図である。 そこに装着された図２のドライバーモニタリングシステムを有する自動車のダッシュボードのドライバーが見た透視図の表現である。 画像プリプロセッサがシステムコントローラと一体化している本発明の代替の実施形態による画像処理システムの概略的機能構成である。 本発明による画像前処理方法における主要なステップを示すプロセスフロー図である。 異なる画像が異なる画像条件でキャプチャされ、画像ストリームがどのように４つの画像のバッチ群に分散されるかを概略的に表す図である。 図６の画像前処理方法における、可視性計測スコアを計算するためのプロセスの概略例を示す。 図６の画像前処理方法がどのように高フレームレート画像シーケンスを、高画質のより低いフレームレート画像シーケンスに変換するかを示す概略図である。
ここに説明されるのは、画像処理システム及び方法である。このシステム／方法は、ドライバーモニタリングシステムの具体的な応用例を参照して説明される。しかし、本発明は、もっと広い文脈における応用例、特にリアルタイム又はリアルタイムに近いビデオシーケンスの処理を伴う応用例を有することが理解されよう。本発明のある可能な候補は、Xbox Kinectのような３Ｄモーションキャプチャシステムである。
［システムの概観］
まず図１を参照すれば、本発明の実施形態による画像処理システム１００が示されている。図２及び図３に示されるように、システム１００は、特に、自動車１０４の運転中に、自動車１０４のドライバー１０２をモニタリングするためのドライバーモニタリングシステムとして動作するように構成されている。システム１００は、顔検出、顔特徴検出、顔認識、顔特徴認識、顔追跡、又は人の目を追跡するような顔特徴追跡等のような、キャプチャされた画像に対して、様々な画像処理アルゴリズムを実行するようにさらに構成されている。例示的な画像処理手順は、「Facial Image Processing System」と題され、Seeing Machines Pty Ltd に譲渡されたEdwardsらに対する米国特許７，０４３，０５６（以下、「Edwardsら」）に記載されており、その内容は、ここに相互参照によって本明細書に援用される。
図３で最もよく図示されているように、システム１００は、車両のダッシュボード１０７の計器ディスプレイの上又は計器ディスプレイ内に配置され、及び１人以上の人間の顔の特徴を識別し、位置を特定し、及び追跡するように、赤外線波長範囲内で、ドライバーの顔の画像をキャプチャするように方向付けされている、イメージングカメラ１０６を含む。
カメラ１０６は、光電性画素の２次元アレイを有し、オプションとして距離つまり深度を決定する（１つ以上の位相検出要素を通してのような）能力を有する従来のＣＣＤ又はＣＭＯＳベースのデジタルカメラであり得る。光電性画素は、赤外領域の電磁放射を検出することができる。カメラ１０６は、３次元のシーンを画像化できる、タイムオブフライト（time-of-flight）カメラ又は他の走査又は距離ベースのカメラのような３次元カメラであってもよい。他の実施形態では、カメラ１０６は、ステレオ構成で動作し、深度を抽出するよう較正された１対の同様のカメラによって置き換えられてもよい。カメラ１０６は、赤外波長領域で画像化するよう好ましくは構成されが、代替の実施形態においては、カメラ１０６は、可視光領域で画像化してもよいことが理解されよう。
図３をさらに参照すれば、システム１００は、車両のダッシュボード１０７上のカメラに近接したそれぞれの位置に水平に対称的に配置された発光ダイオード（ＬＥＤ）１０８及び１１０の形をとる１対の赤外光源も含む。ＬＥＤ１０８及び１１０は、カメラ１０６が画像をキャプチャしている時に、ドライバーの顔又は顔の特徴の高品質な画像を得るために、ドライバーの顔を向上させるよう、ドライバー１０２を赤外放射で照らすよう構成されている。赤外領域でのカメラ１０６及びＬＥＤ１０８及び１１０の動作は、ドライバーに対する目に見える注意力を削ぐ物を減らす。ＬＥＤ１０８及び１１０は、連続的に、間欠的に、又は周期的に動作され得て、代替としては、画像に存在するグレアを減らすのに動作上の優位性を提供するストロボのように動作され得る。カメラ１０６及びＬＥＤ１０８，１１０の動作は、コンピュータプロセッサ又はマイクロプロセッサ及びカメラ１０６からのキャプチャされた画像を記憶及びバッファリングするためのメモリを含む関連付けられたコントローラ１１２によって制御される。他の実施形態では、光源の異なるタイプがＬＥＤの代わりに用いられ得る。
図２及び図３に示されるように、カメラ１０６及びＬＥＤ１０８及び１１０は、共通のハウジングを有する単一のユニット１１１として製造され又は組み立てられ得る。このユニット１１１は、車両ダッシュボード１０７内に取り付けられているように示され、車両の製造の間に設置されてもよく、又はアフターマーケット製品として後で取り付けられてもよい。他のドライバーモニタリング実施形態においては、システム１００は、車両内のドライバー、被写体、及び／又は同乗者の頭部又は顔の特徴の画像をキャプチャするのに適する任意の位置に装着される１つ以上のカメラ及び光源を含み得る。例として、カメラ及びＬＥＤは、車両のステアリングコラム、リヤビューミラー、センターコンソール、又はドライバー側フロントピラー上に配置され得る。またある実施形態では、システムにおいて、２つよりも少ない又は２つよりも多い光源が採用され得る。示されている実施形態では、第１及び第２光源は、それぞれ単一のＬＥＤを含む。他の実施形態では、それぞれの光源は、複数の個別ＬＥＤをそれぞれ含み得る。
示されている実施形態において、ＬＥＤ１０８及び１１０は、約２ｃｍから１０ｃｍの範囲の距離で水平に好ましくは間隔を空けられており、約３０ｃｍから８０ｃｍだけドライバーの顔から離れて配置されている。キャプチャされた画像に赤目現象が存在しないように、ＬＥＤ群がカメラから軸が十分にずれているように配置される限り、ＬＥＤ１０８及び１１０の間隔は変えてもよい。典型的には、ＬＥＤがカメラの光軸から約３度よりも大きい角度でドライバーを照射するとき、赤目現象は回避され得る。しかし、具体的なイメージング環境及び応用例に依存して、光源は、カメラに対して他の位置に置かれてもよいことが理解されよう。
ここで図４を参照すれば、システム１００の機能的要素が概略的に図示されている。
システム１００は、イメージプリプロセッサ１１１モジュールを含み、これは本発明の主題であり及び以下の次のセクションで詳細に記載される。プリプロセッサ１１１は、カメラ１０６と同じ場所に配置され又はカメラ１０６に直接に接続されており、及び異なる照明条件下で、カメラ１０６によってキャプチャされた画像の高速な前処理を実行するように構成される（下で記載される）。高速な前処理を実行するために、プリプロセッサ１１１は、システムオンチップ構成のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなハードウェアに予め構成された画像処理要素を好ましくは含む。ハードウェアでエンコードされる例示的な要素は、画像バッファ、エンコーダ、デコーダ、メモリ及び以下に記載される前処理操作を実行するように構成された１つ以上のマイクロプロセッサを含む。しかし、いくつかの代替の実施形態では、プリプロセッサ１１１は、前処理操作を実行するためのソフトウェアで構成された、より汎用のコンピュータプロセッサを利用し得ることが理解されよう。
プリプロセッサ１１１は、カメラ１０６から２４０Ｈｚのような高いフレームレートでストリームの画像を受け取り、及び６０Ｈｚのような低いフレームレートで画像のストリームをシステムコントローラ１１２に出力する。
コントローラ１１２は、システム１００のセントラルプロセッサとして機能し、及び下で記載されるように画像処理パイプラインにおいていくつかの画像処理機能を実行するように構成される。図示された実施形態では、コントローラ１１２は、車両１０４のダッシュボード１０７内に配置され、及びプリプロセッサ１１１と同じ場所に配置され又は直接に接続される。コントローラ１１２は、車両に搭載されたコンピュータと、結合され得て又は一体化され得る。別の実施形態では、コントローラ１１２は、カメラ１０６及びＬＥＤ１０８及び１１０とともに、ハウジング又はモジュール内に配置され得える。ハウジング又はモジュールは、アフターマーケット製品として販売され、車両のダッシュボードに取り付けられ及びその後その車両での使用のために調整され得る。フライトシュミレータのような更なる実施形態では、コントローラ１１２は、パーソナルコンピュータのような外部コンピュータ又はユニットであり得る。
コントローラ１１２は、例えばレジスタ及び／又はメモリからの電子データを処理して、その電子データを例えばレジスタ及び／又はメモリに記憶され得る他の電子データに変換する、様々な形態のコンピュータ処理装置又は装置の一部として実装され得る。図１に図示されるように、コントローラ１１２は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電子的に消去可能なプログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）及び当業者にはすぐに分かるはずである他の同等なメモリ又は記憶システムのような、メモリ１１６に記憶されたコードを実行するマイクロプロセッサ１１４を含む。
コントローラ１１２は、低いフレームレートで画像を処理するだけなので、全体としてのデータレートは低く、コントローラ１１２の機能は、コストを下げるために、ソフトウェアで制御されたマイクロプロセッサを通して実現され得る。そのような実現手法は、ソフトウェアアルゴリズムのリプログラミングを通してコントローラ１１２の機能に関する柔軟性も提供する。対照的に、プリプロセッサ１１１は、画像のフレームレートがより高いので、より高いデータレートを取り扱うことになり、よって、より効率的な画像処理のためにハードウェア要素で好ましくは実現され得る。
コントローラ１１２のマイクロプロセッサ１１４は、ビジョンプロセッサ１１８及びデバイスコントローラ１２０を含む。ビジョンプロセッサ１１８及びデバイスコントローラ１２０は、適切なソフトウェア制御と共に、両方ともマイクロプロセッサ１１４によって実行される機能的要素を表す。しかしながら、代替の実施形態では、ビジョンプロセッサ１１８及びデバイスコントローラ１２０は、カスタムの、つまり特化された回路又はＦＰＧＡ（例えば、システム・オン・チップ）と併用されるマイクロプロセッサのような別個のハードウェア要素として実現され得ることが理解されよう。
ビジョンプロセッサ１１８は、ドライバーモニタリングを実行するために、例えば、モニタリング環境における３次元の頭の位置及び／又はドライバー１０２の視線位置を求めるために、キャプチャされた画像を処理するよう構成される。これを達成するために、ビジョンプロセッサ１１８は、１つ以上の視線決定のアルゴリズムを利用する。これは、例として、Edwardsらに記載された方法を含み得る。ビジョンプロセッサ１１８はまた、ドライバーが安全に車両を運転することを妨げ得る眠気又は他の問題を検出するために、閉眼、瞬目間隔のようなドライバー１０２の属性を求めること及びドライバーの頭部の動きを追跡することを含む、様々な他の機能を実行し得る。
ビジョンプロセッサ１１８で取得された生の画像データ、視線位置データ及び他のデータは、メモリ１１６に記憶される。
デバイスコントローラ１２０は、カメラ１０６を制御し及びカメラ１０６の露光時間に同期して順次にＬＥＤ１０８及び１１０を選択的に発光させるように構成される。例えば、ストロボシーケンスを実行するために、ＬＥＤ１０８は奇数画像フレームの間に発光するように制御され得て及びＬＥＤ１１０は偶数画像フレームの間に発光するように制御される。Ｌ，Ｌ，Ｒ，Ｒ，Ｌ，Ｌ，Ｒ，Ｒ，…又はＬ，Ｒ，０，Ｌ，Ｒ，０，Ｌ，Ｒ，０，…のような他の照射シーケンスがデバイスコントローラ１２０によって実行され得て、ここで「Ｌ」は、左に配置されたＬＥＤ１０８を表し、「Ｒ」は、右に配置されたＬＥＤ１１０を表し、「０」は、両方のＬＥＤが消灯している間にキャプチャされた画像フレームを表す。ＬＥＤ１０８及び１１０は、好ましくはデバイスコントローラ１２０に電気的に結合されるが、ブルートゥース（商標）又はWiFi（商標）通信のような無線通信を通してコントローラ１２０によって無線で制御されてもよい。
よって、車両１０４の運転の間、デバイスコントローラ１２０は、カメラ１０６をアクティベートして、ドライバー１０２の顔の画像をビデオシーケンスとしてキャプチャする。ＬＥＤ１０８及び１１０は、画像キャプチャの間にドライバーを照射するために、カメラ１０６によってキャプチャされる連続した画像フレームと同期して、点灯及び消灯される。連携して動作することで、デバイスコントローラ１２０及びビジョンプロセッサ１１８は、車両１０４の通常運転の間の眠気、注意、及び視線位置のようなドライバーの状態情報を得るために、ドライバーの画像をキャプチャすること及び処理することを提供する。
システムの追加の要素は、ユニット１１１の共通ハウジング内に含まれてもよく、又は他の追加の実施形態による別個の要素として提供されてもよい。ある実施形態では、コントローラ１１２の動作は、カメラ１０６及びＬＥＤ１０８及び１１２に結合されているオンボード車両コンピュータシステムによって実行される。
画像処理システム１００に含まれているように図示されているが、他の実施形態では、異なる要素が別々に製造及び販売されてもよい。例えば、ある実施形態では、カメラ１０６及び光源１０８、１１０は、コントローラ１１２とは別個であってもよく、その場合、画像処理システムは、プリプロセッサ１１１及びコントローラ１１２の要素だけを含むことになる。そのような実施形態は、車両製造者が車両のダッシュボードと一体化したカメラ及び光源を製造し、画像処理システム１００の機能を提供するためにカスタムコントローラが後でインストールされる場合には現実的であり得る。
さらなる実施形態において、図４に示されるように、プリプロセッサ１１３は、コントローラ１１２と一体化され、全ての要素は、単一のチップ又は回路基板でハードウェア及び／又はソフトウェアによって構成される。この実施形態において、プリプロセッサ１１３は、より高速で実行するために、ＦＰＧＡシステムオンチップのような予め構成されたハードウェア要素で全体が形成され得るが、コントローラ１１２の機能は、特定のソフトウェアアルゴリズムでプログラムされた、より標準的なコンピュータプロセッサを利用し得る。
［画像前処理］
上に記載されたシステム要素を用いて、プリプロセッサ１１１の動作がこれから図５を参照して詳細に説明される。
プリプロセッサ１１１は、カメラ１０６によってキャプチャされた画像を前処理し及びその画像のサブセットを、コントローラ１１２によって実行される画像処理パイプラインに供給するための画像処理方法５００を実行するように構成されている。ステップ５０１で、プリプロセッサ１１１は、カメラ１０６から第１フレームレートでキャプチャされた複数の画像を受け取る。このフレームレートは、冗長性のためにより多くの画像をキャプチャし、及びドライバー１０２（又は一般的には被写体）が動いている時にモーションブラーが低減することから利益を享受できるように、２４０Ｈｚのような特に高いものが選択される。
カメラ１０６による画像のキャプチャの間、デバイスコントローラ１２０は、カメラ１０６とＬＥＤ１０８及び１１０との一方又は両方を、制御信号で制御して画像条件を変化させる。変化され得る画像条件は、以下のものを含むが、これらには限定されない。
・カメラ１０６のシャッター速度、露光時間及び／又はセンサの積分時間（integration time）を制御することによる画像の露光時間、
・異なる画像フレームにわたって、ＬＥＤの異なる組み合わせをオン又はオフするようなＬＥＤ１０８及び１１０による選択的な照明、
・ＬＥＤ１０８及び１１０の輝度レベル、
・画像の解像度を上げる又は下げるための画像センサのビニング（複数の画素の統合）、
・画像内の1つ以上の対象領域へのイメージセンサのトリミング（cropping）、及び
・画像をキャプチャするために使用されるカメラのイメージング光学系の焦点距離。
カメラ１０６からの画像の入力ストリームは、好ましくはプリプロセッサ１１１によってバッチで前処理される。よって、ステップ５０１は、カメラ１０６から受け取られた画像をバッファリングし、それらをバッチに分配することを含み得る。これは、図６に概略的に示されており、ここでは４枚（又は任意の他の整数個）の画像のバッチサイズが用いられている。前処理された画像のそれぞれのグループについて、好ましくは、画像は少なくとも２つの異なる画像条件の下でキャプチャされている。図６に示されるような、より好ましい構成においては、各画像は、画質又は特徴の可視性において起こりうるバラツキを最大化するために、異なる画像条件下でキャプチャされる。例として、いくつかの画像は、異なる画像条件下でキャプチャされるので、異なるＬＥＤ１０８及び１１０からの角膜反射、シャドーイング及びグレア効果及び低い輝度／コントラストを呈する。
ステップ５０２では、それぞれの画像内の１つ以上の対象領域が特定される。いくつかの実施形態では、識別プロセスはユーザーによって手動で実行されるが、他の実施形態では、対象領域は、ビジョンプロセッサ１１８によって直接的に、又は機械学習プロセスを通じて、自律的に決定される。この対象領域は、画像全体又は画素群の１つ以上のサブセットを含み得る。
ある実施形態では、ステップ５０２は、目のような個々の画像内の画像特徴を特定すること、及び特定された画像特徴（群）の周りの画素のサブセットであるように１つ以上の対象領域を定義することを含む。一例として、画像特徴は、ドライバー１０２（又はより一般的には被写体）の目又は瞳孔のような顔又は顔の特徴、又はカメラ１０６が車両ダッシュボード搭載カメラである場合には車両ステアリングホイールの一部を含み得る。様々な他の特徴が、システムの応用例に依存して特定可能であり得る。関連付けられた対象領域は、特定された特徴（群）の周囲にエッジを持ち、検出された特徴（群）の寸法によって定義される寸法を有する、画素の直線からなる形状又は他の形状の領域として定義され得る。特徴がオクルージョンを作る特徴（車両のステアリングホイールの一部のような）である場合、対象領域は、そのような特定された特徴を除外する画素の領域として定義され得る。
特徴特定プロセスは、プリプロセッサ１１１自体によって又はプリプロセッサ１１１へのフィードバック制御信号１３０を通してビションプロセッサ１１８によって、リアルタイムで実行され得る。後者の場合、ビジョンプロセッサ１１８によって実行されるドライバーモニタリングアルゴリズムが特徴検出を含む時、画像内のそれらの特徴の位置の以前の検出は、１つ以上の対象領域を定義するために、プリプロセッサ１１１にフィードバックされ得る。
ステップ５０３において、プリプロセッサ１１１は、ステップ５０２で検出された１つ以上の対象領域における可視性計測を実行するための処理を実行する。可視性計測は、画像又は画像内の特徴の品質、明瞭度又は可視性に関連する様々な計測を含み得る。可視性計測は、好ましくは、プリプロセッサ１１１にエンコードされた所定のセットの規則群によって求められる数値である。例として、可視性計測は、０と１との間、１と１０との間又は１と１００との間の数字であり得る。ある実施形態では、可視性計測は、関連する信頼度計測値を持つ真／偽の指定を含む。下で記載のように、ステップ５０３の処理は、画像の特性を計測することを含み及び計測された特性はその画像の可視性計測を向上又は低下し得る。
ある実施形態では、可視性計測は、対象領域内で鏡面反射を検出するために、鏡面反射検出プロシージャを実行することを含む。このプロシージャは、対象領域内で鏡面反射の数及び位置を求めること及び／又はそれぞれの鏡面反射のタイプを特定する又は特徴付けることを含み得る。特徴付けは、どの鏡面反射がドライバー１０２の目からの鏡面角膜反射に対応するか及び／又はどの鏡面反射がドライバー１１１によって着用されているアイウェアから生じるかを求めることができ得る。ドライバーモニタリングシステムの場合、角膜鏡面反射の検出は、明瞭かつ非遮蔽の瞳孔の存在を表すので、画像の可視性計測値を向上するように作用する。しかしながら、アイウェアからの角膜反射の検出は、瞳孔の可視性をしばしば妨げる又は減少させる遮蔽するグレア（occluding glare）の存在を表すので、画像の可視性計測値を低下させるように作用する。
画像における角膜反射を検出及び区別する1つの例示的な技術は、「Method and Apparatus for Eye Detection from Glints」と題され及びSeeing Machines Limitedに譲渡された米国特許出願公開第２０１６／０２１０４９７号Ａ１に記載されている。この開示の内容は、相互参照により本明細書に援用される。
ある実施形態では可視性計測は、以下のプロシージャを実行することを含む。
・対象領域の平均的又は全体的な輝度レベルを計測する。
・画像特徴の形状又はサイズを求めるために１つ以上の対象領域でエッジ検出を実行する。
・特徴の可視性を求めるために1つ以上の対象領域でコントラスト検出を実行する。
・1つ以上の対象領域内で全体的なグレアレベルを検出する。及び／又は、
・1つ以上の対象領域内で画像ノイズのレベルを検出する。
特定のアプリケーション及び所望の結果に依存して、可視性計測値は上で述べられた画像特性のうちの１つ又は多数を含み得る。ある実施形態では、角膜反射の計測値は、画像の可視性計測値を求めるための主要な特性である。これらの実施形態では、関連付けられた信頼度計測値とともに、可視性計測値は、角膜反射の存在の真／偽の指定を包含し得る。
ある実施形態では、上の画像特性の評価は、可視性計測値を求めるために優先され得る。優先順位付けは、例えば、ドライバーモニタリングシステムの、以前の頭部追跡ループから検出されたドライバーの頭部の向きに基づき得る。頭部の向きがカメラに対して角度が付けられていると判断される場合、陰影効果がより優先され得るので、画像の輝度が画像の可視性を求めるための特性として優先される。
ステップ５０３は、いくつかの上に記載されたプロセスを含み得て、及び結果として得られる可視性計測値はそれぞれのプロセスから求められた値の組み合わせであることが理解されよう。例として、図７は、いくつかの、異なる、測定された画像特性から1と１００との間の可視性計測スコアを計算するための例示的なプロセスを図示している。本実施例では、ステップ５０３は、角膜及びアイウェアに関連する鏡面反射の数を検出する鏡面反射検出プロセス、輝度レベル検出プロセス、コントラスト検出プロセス、及びノイズレベル検出プロセスを実行することを含む。それぞれのプロセスは、個々の計測に基づいてスコアを出力する。検出された角膜反射の存在は、可視性計測値を上昇させるが、検出された遮蔽するアイウェアの反射の存在は、可視性計測値を低下させる。輝度、コントラスト及びノイズレベルの計測値は全て、1と１００との間でスライディングスケールの計測値を生成する。結果として得られる可視性測定値は、個々のスコアの、ある総計値である。画像又は特性の可視性を評価するための様々な他の枠組みとして、異なる画像特性には異なる重みが付与されたものも可能であることが理解されよう。
ステップ５０４では、複数の画像のサブセットが、ステップ５０４の可視性計測値に基づいて選択される。例えば、ステップ５０３で最も高い可視性計測値に関連付けられたプリプロセッサ１１１によって処理された画像群のそれぞれのバッチにおける画像が、ステップ５０４で選択される。これは図８で図示されており、この図はカメラ１０６によってキャプチャされる４つの画像の３つのバッチを図示している。この図示された例においては、前処理ステップ５０１−５０３に続くステップ５０４で、それぞれのバッチから１つの画像が選択される。しかし、他の実施形態では、入力及び所望の出力フレームレートに依存して、画像のそれぞれのバッチから１つより多い画像が選択されることが理解されよう。
角膜反射の真／偽の指定を含む可視性計測値の例において、選択された画像は、最も大きい関連付けられた信頼値（confidence value）とともに、真の値を返す画像であり得る。
最後に、ステップ５０５では、ステップ５０４で選択された画像が、第１フレームレートより低い第２フレームレートにおけるその後の処理のための画像処理パイプラインに供給される。これは図８に図示されており、６０Ｈｚの出力フレームレートを生成する（２４０Ｈｚの入力フレームレートから）ために、１２個の初期候補から選択された３個の画像を図示している。その結果、より高画質な画像のより低いフレームレートの画像シーケンスが得られる。これらのより高画質な画像は、Edwardsらで開示されたドライバーモニタリングアルゴリズムのようなさまざまな画像処理技術を実行するために、画像処理パイプラインとしてビジョンプロセッサ１１８に供給される。
ステップ５０２−５０４は、それぞれの画像バッチで実行される前処理ステップを表す。これらのステップは、カメラ１０６から受け取る画像群のそれぞれのバッチに対して、連続かつリアルタイムで繰り返される。
プリプロセッサ１１１は、４つの画像のバッチ群を処理するものとして記載されてきたが、それぞれのバッチにおける画像の個数は、２，３，４，５，１０，２０のような任意の整数であり得ることが理解されよう。一つのバッチに何個の画像を含めるべきかの選択は、カメラ１０６のフレームレート、画像処理パイプライン（ビジョンプロセッサ１１８）によって処理されることができるフレームレートの上限、及びビジョンプロセッサ１１８によって処理されるべき所望のフレームレートに依存する。ここに記載される例においては、カメラ１０６は２４０Ｈｚで画像をキャプチャし、及びそれら画像群は４個の画像のバッチで処理される。よって、前処理プロシージャで、それぞれのバッチから１つの画像が選択される時、ビジョンプロセッサ１１８に供給される画像シーケンスの出力フレームレートは６０Ｈｚである。
ある実施形態では、カメラ１０６によってキャプチャされた画像のフレームレートが、画像処理パイプライン（ビジョンプロセッサ１１８）によって処理されることが可能なフレームレートの上限値より高い。プリプロセッサ１１１によるフレームレートの低下のため、カメラ１０６からの高フレームレートの画像の直接処理と比較したとき、ビジョンプロセッサ１１８の処理能力要件は著しく緩和され得る。
ある実施形態では（不図示）、システム１００は、所定の要因に依存して、高フレームレート／低速処理又は低フレームレート／高速処理のような異なるモードで動作し得る。これは、前処理プロシージャの間に、プリプロセッサ１１１をオフにする又はバッチサイズ及び／又はそれぞれのバッチから選択される画像の個数を変化させることによって達成され得る。
結論
上に記載された本発明において、高フレームレートのビデオシーケンスからキャプチャされた画像は、低コストの画像処理システムを使用して、大量の計算を処理する方法で、処理され得る。特に、計算上軽い前処理アルゴリズムを使用して、高フレームレートシーケンスからの適切な高い可視性及び高品質の画像がシーケンスから選択され得て、これは好ましくはＦＰＧＡチップ上のハードウェアにコード化され得る。ドライバーモニタリングのようなより軽い計算処理の画像処理を実行するために、これらの選択された画像は、より従来からある画像処理パイプラインに供給される、より低いフレームレートのビデオシーケンスを形成するために使用される。
この前処理プロシージャによってカメラは画像の高速のキャプチャを実現し得る一方で、従来の画像処理装置は、プリプロセッサによって出力されたキャプチャされた画像のサブセットに基づいてより低いフレームレートの処理を行うだけで済む。本発明は、与えられた期間にキャプチャされた多数の画像から最良の品質の画像だけが選択されるように、画像の冗長性を利用する。これによって、処理するためのよりクリアな画像を得る機会が増える。ある実施形態では、システムは、所定の要因に依存して、高フレームレート／低速処理（low processing）又は低フレームレート／高速処理（high processing）のような異なるモードで動作し得る。
ＨＤＲ技術と比較して、前処理ステップでは画像群の複雑な組み合わせ又はスティッチングは実行されず、より高い可視性の画像を効率的に選択することだけが実行される。これによって、処理時間が大幅に減少され及び高フレームレートの利点が低コストで低フレームレートの画像処理システムに適用され得る。
［解釈］
本明細書で使用されるように、「リアルタイム」という用語は、プロセスにおいて次のステップがタイムリーに実行され得るようなタイムフレーム内で情報を処理するためのシステムの能力を参照する。例として、上で述べられた画像前処理方法は、連続的な出力を生成するのに十分に継続的に画像がビデオ処理パイプラインに供給され得るように、画像のそれぞれのバッチにおいて反復的に実行されることが可能である。「リアルタイム」及び「ニアリアルタイム」の制約を定義する目的のための適用可能な応答期間は、ナノ秒から数ミリ秒の範囲である。
本明細書を通して「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という言い方は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通してさまざまな箇所に「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という文言が現れることは、必ずしも全てが同一の実施形態を指すのではない。さらに、特定の特徴、構造、又は特性は、本開示から当業者には明らかなように、１つ以上の実施形態において任意の適切なやり方で組み合わせられてもよい。
ここで用いられるように、特にそうではないと述べられない限り、共通の物体を記載するために用いられる順序を表す形容詞「第１」、「第２」、「第３」等は、単に類似の物体の異なる例が参照されることを示すだけであり、そのように記載された物体が、時間的、空間的、序列において、又は任意の他の点において、与えられた順序で存在しなければならないことを示唆するようには意図されていない。
以下の特許請求の範囲及びここでの説明において、備える、備わった、又は備えられているという語のいずれも開放的な語であり、少なくとも後に続く要素／特徴を含むことを意味するのであって、他のものを排除することを意味しない。よって備えるという語は、特許請求の範囲で用いられるときは、その後に列挙された手段又は要素又はステップに限定されるようには解釈されるべきではない。例えば、Ａ及びＢを備える装置という表現の範囲は、要素Ａ及びＢだけからなる装置に限定されるべきではない。ここで使われているように含むという語のいずれもやはり開放的な語であり、その語の後に続く要素／特徴を少なくとも含むということを意味するが、他の物を排除する意味はない。よって含むは、備えると同義であり、備えるという意味である。
本開示の例示的実施形態の上の説明において、本開示のさまざまな特徴は、時として、本開示を効率的にし、１つ以上のさまざまな発明の局面の理解を助けるために、単一の実施形態、図、又はその記載においてまとめられている。しかしこの開示方法は、特許請求の範囲がそれぞれの特許請求の範囲において明示的に記載されたよりも多くの特徴を要求するという意図を反映するようには解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の局面は、単一の前述の開示された実施形態の全ての特徴よりも少ない所に存する。よって詳細な説明の後の特許請求の範囲は、ここで明示的にこの詳細な説明に援用され、それぞれの請求項は、本開示の別々の実施形態として、それ自身で有効である。
さらに、当業者に理解されるように、ここで記載されたいくつかの実施形態は、いくつかの特徴を含むが、他の実施形態中に含まれる他の特徴は含まないが、異なる実施形態の特徴の組み合わせも本開示の範囲内にあると意図され、異なる実施形態を形成するものと意図される。例えば、以下の特許請求の範囲において、請求された実施形態の任意のものは、任意の組み合わせにおいて用いられ得る。
ここに提供された記載において、多くの具体的な詳細が述べられている。しかし、本開示の実施形態は、これら具体的な詳細なしでも実施され得ることが理解されよう。換言すれば、本記載の理解を不明瞭にさせないために、よく知られた方法、構造、及び技術は詳細には示されていない。
同様に、結合されるという語は、特許請求の範囲で使われるときには、直接的接続だけに限定されて解釈されるべきではないことに注意されたい。「結合された」及び「接続された」という語が、それらの派生形もあわせて、用いられ得る。これら語は、互いの同義語としては意図されていない。よって装置Ｂに結合された装置Ａという表現の範囲は、装置Ａの出力が直接に装置Ｂの入力に接続されている装置又はシステムに限定されるべきではない。それは、Ａの出力及びＢの入力の間のパスが存在し、これは、他の装置又は手段を含むパスであってもよいということを意味する。「結合された」は、２つ以上の要素が直接的な物理的、電気的、又は光学的接触のいずれかにあること、又は２つ以上の要素が直接的な接触にはないが、依然として互いに協働又は相互作用することを意味し得る。
よって、本開示の好ましい実施形態であるべきものが記載されてきたが、他のさらなる改変が本開示の精神から逸脱することなくなされ得て、そのような変更及び改変が本開示の範囲内に入るものとして請求されていると意図されていることが当業者にはわかるだろう。例えば、上で与えられた任意の表現は、用いられ得る手続を代表するものに過ぎない。機能が、ブロック図から追加又は削除されてもよく、操作は、機能ブロック間で相互交換されてもよい。本開示の範囲内で、記載された方法に対してステップが追加又は削除されてもよい。

Claims (31)

  1. 画像前処理方法であって、
    第１フレームレートでキャプチャされた複数の画像を受け取ることであって、前記複数の画像は、少なくとも２つの異なる画像条件の下でキャプチャされる、画像を受け取ること、
    （ａ）前記画像内で１つ以上の対象領域を特定すること、
    （ｂ）前記１つ以上の対象領域上で可視性計測を実行すること、及び
    （ｃ）前記可視性計測に基づいて前記複数の画像のサブセットを選択すること
    によって前記複数の画像を前処理すること、及び
    前記第１フレームレートより低い第２フレームレートでの後続の処理のために、画像の前記サブセットを画像処理パイプラインに供給すること
    を含む方法。
  2. 前記画像条件は、画像の露光時間を含む
    請求項１に記載の方法。
  3. 前記画像条件は、１つ以上の光源による選択的な照明を含む
    請求項１又は２に記載の方法。
  4. 前記画像条件は、前記１つ以上の光源の輝度を含む
    請求項３に記載の方法。
  5. 前記画像条件は、前記画像の解像度を上げる又は下げるための画像センサのビニングを含む
    請求項１−４のいずれか１項に記載の方法。
  6. 前記画像条件は、前記1つ以上の対象領域へのイメージセンサのトリミング（cropping）を含む
    請求項１−５のいずれか１項に記載の方法。
  7. 前記画像条件は、前記画像をキャプチャするために使用されるカメラのイメージング光学系の焦点距離を含む
    請求項１−６のいずれか１項に記載の方法。
  8. 前記対象領域は、前記画像の全体である
    請求項１−７のいずれか１項に記載の方法。
  9. １つ以上の対象領域を特定する前記ステップは、個々の画像内の１つ以上の画像特徴を特定することを含む
    請求項１−７のいずれか１項に記載の方法。
  10. 請求項９に記載の方法。
  11. 可視性計測を実行する前記ステップは、前記１つ以上の対象領域内で鏡面反射を検出することを含む
    請求項１−１０のいずれか１項に記載の方法。
  12. 前記鏡面反射を検出することは、前記１つ以上の対象領域内で鏡面反射の位置を求めることを含む
    請求項１１に記載の方法。
  13. 前記鏡面反射を検出することは、撮像されている被写体の目からの鏡面角膜反射を特定することを含む
    請求項１１又は１２に記載の方法。
  14. 前記鏡面反射を検出することは、撮像されている被写体によって着用されているアイウェアからの鏡面反射を特定することを含む
    請求項１１−１３のいずれか１項に記載の方法。
  15. 前記可視性計測を実行するステップは、前記１つ以上の対象領域内の鏡面反射の数を求めることを含む
    請求項１１−１４のいずれか１項に記載の方法。
  16. 前記可視性計測を実行するステップは、前記１つ以上の対象領域の輝度を検出することを含む
    請求項１−１５のいずれか１項に記載の方法。
  17. 前記可視性計測を実行するステップは、前記１つ以上の対象領域に対してエッジ検出を実行することを含む
    請求項１−１６のいずれか１項に記載の方法。
  18. 前記可視性計測を実行するステップは、前記１つ以上の対象領域に対してコントラスト検出を実行することを含む
    請求項１−１７のいずれか１項に記載の方法。
  19. 前記可視性計測を実行するステップは、前記１つ以上の対象領域内のグレアレベルを検出することを含む
    請求項１−１８のいずれか１項に記載の方法。
  20. 前記可視性計測を実行するステップは、前記１つ以上の対象領域内の画像ノイズのレベルを検出することを含む
    請求項１−１９のいずれか１項に記載の方法。
  21. 前記１つ以上の画像特徴は、撮像されている被写体の顔を含む
    請求項９又は１０に記載の方法。
  22. 前記１つ以上の画像特徴は、撮像されている被写体の顔の特徴を含む
    請求項９又は１０に記載の方法。
  23. 前記１つ以上の画像特徴は、前記撮像される被写体の目を含む
    請求項２２に記載の方法。
  24. 前記１つ以上の画像特徴は、車両ステアリングホイールの一部を含む
    請求項９又は１０に記載の方法。
  25. 前記第１フレームレートは、前記画像処理パイプラインによって処理されることが可能なフレームレートの上限値より高い
    請求項１−２４のいずれか１項に記載の方法。
  26. 前記画像処理パイプラインは、車両ドライバーモニタリングシステムである
    請求項１−２５のいずれか１項に記載の方法。
  27. 前記車両ドライバーモニタリングシステムは、車両ドライバーの顔及び／又は目を追跡するように構成されている
    請求項２６に記載の方法。
  28. 前記１つ以上の対象領域は、前記車両ドライバーモニタリングシステムによって、前記車両ドライバーの前記顔及び／又は目の位置の以前の検出から求められる
    請求項２７に記載の方法。
  29. 前記受け取られた複数の画像をバッファリングし及びそれらをバッチ群に配分するステップを含む
    請求項１−２８のいずれか１項に記載の方法。
  30. 画像キャプチャ及び処理システムであって、
    第１フレームレートで、シーンの複数のデジタル画像をキャプチャするように構成されたカメラ、
    前記デジタル画像がキャプチャされる期間の間、前記シーンを明るくするように構成された１つ以上の光源、
    前記カメラのシャッター速度及び／又は露光時間と、前記１つ以上の光源の明るさとのうちの片方又は両方を選択的に制御することによって、それぞれのデジタル画像がキャプチャされる画像条件を変化させるように構成されたコントローラ、
    前記デジタル画像を第１フレームレートで受け取り、
    （ｄ）前記デジタル画像内で１つ以上の対象領域を特定すること、
    （ｅ）前記１つ以上の対象領域の可視性計測を実行すること、及び
    （ｆ）前記可視性計測に基づいて前記複数の画像のサブセットを選択すること
    によって前記デジタル画像を前処理し、
    前記第１フレームレートより低い第２フレームレートで、画像処理パイプラインに前記複数の画像の前記サブセットを供給する
    よう構成された前処理システム
    を備える画像キャプチャ及び処理システム。
  31. 画像前処理方法であって、
    第１フレームレートでの複数の画像をキャプチャすることであって、前記複数の画像は、少なくとも２つの異なる画像条件の下でキャプチャされる、キャプチャすること、
    前記画像において特定された１つ以上の特徴の可視性計測に基づいて、前記複数の画像のサブセットを選択することによって、前記複数の画像を前処理すること、及び
    前記第１フレームレートより低い第２フレームレートで画像処理パイプラインに前記複数の画像の前記サブセットを供給すること
    を含む方法。
JP2020568695A 2018-06-18 2019-06-17 高フレームレート画像前処理システム及び方法 Pending JP2021527980A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2018902161 2018-06-18
AU2018902161A AU2018902161A0 (en) 2018-06-18 High frame rate image pre-processing system and method
PCT/AU2019/050620 WO2019241834A1 (en) 2018-06-18 2019-06-17 High frame rate image pre-processing system and method

Publications (1)

Publication Number Publication Date
JP2021527980A true JP2021527980A (ja) 2021-10-14

Family

ID=68982548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020568695A Pending JP2021527980A (ja) 2018-06-18 2019-06-17 高フレームレート画像前処理システム及び方法

Country Status (4)

Country Link
US (1) US20210118108A1 (ja)
EP (1) EP3807811A4 (ja)
JP (1) JP2021527980A (ja)
WO (1) WO2019241834A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7439556B2 (ja) * 2020-02-14 2024-02-28 オムロン株式会社 画像処理装置、画像センサ、画像処理装置の制御方法
KR20220140221A (ko) * 2021-04-09 2022-10-18 삼성전자주식회사 복수의 카메라를 포함하는 웨어러블 전자 장치
US20230130201A1 (en) * 2021-10-26 2023-04-27 GM Global Technology Operations LLC Driver seat and side mirror-based localization of 3d driver head position for optimizing driver assist functions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033586A (ja) * 2007-07-30 2009-02-12 Canon Inc 撮像装置
JP2010161664A (ja) * 2009-01-08 2010-07-22 Olympus Corp 顕微鏡撮影システム、画像入力装置、自動露出方法及びプログラム
JP2011160320A (ja) * 2010-02-03 2011-08-18 Mitsubishi Electric Corp ビデオカメラおよびそれを用いた画像監視システム
JP2013146104A (ja) * 2013-04-09 2013-07-25 Canon Inc 再生装置および再生方法
JP2017123997A (ja) * 2016-01-13 2017-07-20 オリンパス株式会社 撮像システムおよび処理装置
US20180005057A1 (en) * 2016-07-01 2018-01-04 Hyundai Motor Company Apparatus and method for capturing face image of decreased reflection on spectacles in vehicle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676062B2 (en) * 2002-09-03 2010-03-09 Automotive Technologies International Inc. Image processing for vehicular applications applying image comparisons
US20050100191A1 (en) * 2003-11-11 2005-05-12 Harbach Andrew P. Imaging system and method for monitoring an eye
US7978231B2 (en) * 2008-11-07 2011-07-12 Cisco Technology, Inc. Method for automatic exposure control within a video capture device
WO2012177542A1 (en) * 2011-06-18 2012-12-27 Identix Incorporated Systems and methods for detecting a specular reflection pattern for biometric analysis
KR102024954B1 (ko) * 2011-08-22 2019-09-24 아이락 엘엘씨 아티팩트 없는 이미지들을 캡처하기 위한 시스템들 및 방법들
US20130259322A1 (en) * 2012-03-31 2013-10-03 Xiao Lin System And Method For Iris Image Analysis
US8437513B1 (en) * 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
US9230250B1 (en) * 2012-08-31 2016-01-05 Amazon Technologies, Inc. Selective high-resolution video monitoring in a materials handling facility
US20160364609A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for iris based biometric recognition
US10701256B2 (en) * 2016-06-12 2020-06-30 Apple Inc. Switchover control techniques for dual-sensor camera system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033586A (ja) * 2007-07-30 2009-02-12 Canon Inc 撮像装置
JP2010161664A (ja) * 2009-01-08 2010-07-22 Olympus Corp 顕微鏡撮影システム、画像入力装置、自動露出方法及びプログラム
JP2011160320A (ja) * 2010-02-03 2011-08-18 Mitsubishi Electric Corp ビデオカメラおよびそれを用いた画像監視システム
JP2013146104A (ja) * 2013-04-09 2013-07-25 Canon Inc 再生装置および再生方法
JP2017123997A (ja) * 2016-01-13 2017-07-20 オリンパス株式会社 撮像システムおよび処理装置
US20180005057A1 (en) * 2016-07-01 2018-01-04 Hyundai Motor Company Apparatus and method for capturing face image of decreased reflection on spectacles in vehicle

Also Published As

Publication number Publication date
WO2019241834A1 (en) 2019-12-26
EP3807811A1 (en) 2021-04-21
EP3807811A4 (en) 2022-03-16
US20210118108A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
JP7369184B2 (ja) 運転者注意状態推定
US10327633B2 (en) Computational array camera with dynamic illumination for eye tracking
US10521683B2 (en) Glare reduction
JP7138168B2 (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
JP4783018B2 (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
KR101829850B1 (ko) 공간적으로 제어된 장면 조명을 위한 시스템 및 방법
JP6346525B2 (ja) 視線検出装置
JP2019519859A (ja) 視線追跡を実行するシステム及び方法
WO2019036751A1 (en) ENHANCED VIDEO-BASED DRIVER MONITORING USING PHASE DETECTION SENSORS
JP2021527980A (ja) 高フレームレート画像前処理システム及び方法
EP3650991B1 (en) Monitoring system
US20160210497A1 (en) Method and apparatus for eye detection from glints
CN107960989B (zh) 脉搏波计测装置以及脉搏波计测方法
US20160302662A1 (en) Measuring device and measuring method
JP2016049260A (ja) 車載用撮像装置
US20220377223A1 (en) High performance bright pupil eye tracking
EP3042341A1 (en) Method and apparatus for eye detection from glints
CN113316805A (zh) 使用红外线和可见光监视人的方法和系统
US20220335648A1 (en) Determination of Gaze Direction
WO2018170538A1 (en) System and method of capturing true gaze position data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230711

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231017