JP2021501517A - 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 - Google Patents
低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 Download PDFInfo
- Publication number
- JP2021501517A JP2021501517A JP2020523296A JP2020523296A JP2021501517A JP 2021501517 A JP2021501517 A JP 2021501517A JP 2020523296 A JP2020523296 A JP 2020523296A JP 2020523296 A JP2020523296 A JP 2020523296A JP 2021501517 A JP2021501517 A JP 2021501517A
- Authority
- JP
- Japan
- Prior art keywords
- image
- drive current
- brightness
- eye
- leds
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000005286 illumination Methods 0.000 title claims abstract description 55
- 210000001508 eye Anatomy 0.000 claims abstract description 144
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 23
- 239000002131 composite material Substances 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 5
- 238000013016 damping Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004313 glare Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2215/00—Special procedures for taking photographs; Apparatus therefor
- G03B2215/05—Combinations of cameras with electronic flash units
- G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
- G03B2215/0567—Solid-state light source, e.g. LED, laser
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Eye Examination Apparatus (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
a)1つ以上のカメラを制御して被験者の画像を取り込むためのカメラ制御信号を生成することと、
b)1つ以上の発光ダイオード(LED)を制御して前記1つ以上のカメラによる画像取り込み中に前記被験者を選択的に照明するためのLED制御信号であって、前記1つ以上のLEDの少なくとも駆動電流振幅及びパルス時間を制御する、LED制御信号を生成することと、
c)前記画像の1つ以上の照明特性を求めるために前記取り込まれた画像の少なくともサブセットを処理することと、
d)求められた前記照明特性に基づいて、前記1つ以上のLEDの前記駆動電流振幅及びパルス時間を選択的に調整することと
を含む撮像方法が提供される。
i. 明るさの測定値を目標明るさと比較すること
を含む。
ステップd)は、
ii. もし前記明るさの測定値が前記目標明るさより小さいなら、
LED駆動電流振幅を選択的に減少させながら、LED駆動電流パルス時間を選択的に増加させること
を更に含む。
iii. もし前記明るさの測定値が前記目標明るさより大きいなら、
LED駆動電流振幅を選択的に増加させながら、LED駆動電流パルス時間を選択的に減少させること
を更に含む。
1つ以上のLEDによる照明の下で被験者の画像を取り込むことと、
画像の照明条件を求めることと、
前記照明条件を基準照明条件と比較することと、
前記比較に基づいて、1つ以上のLEDの前記駆動電流振幅及びパルス時間の一方又は両方を、既定のパルス操作曲線に従って、LED出力電力又はパルス時間におけるLED出力エネルギーを増加させるように選択的に調整することと
を含む、撮像システムにおいて1つ以上のLEDを制御する方法が提供される。
a)物体の画像を取り込むカメラを制御することと、
b)前記1つ以上のカメラによる画像キャプチャ中に前記物体を選択的に照明するために1つ以上のLEDを制御することと、
c) 前記物体の周りの局所的な領域に対応する物体ピクセル領域、
前記物体の1つ以上の眼追跡パラメータ、及び、
前記物体ピクセル領域の1つ以上の照明特性
を求めるために少なくとも前記取り込まれた画像のサブセットを処理することと、
d)以前に取り込まれた1つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の物体ピクセル領域内の対応するピクセルのピクセル値を組み合わせることによって合成画像を生成すること
e)前記物体の1つ以上の物体追跡パラメータを求めるために前記合成画像を処理することと
を含む、物体追跡方法が提供される。
本発明は、好ましくは物体の追跡に使用するための照明システム及び方法に関する。本発明は、車両の運転者の眼の追跡を行うために車両内で使用するための眼追跡システムを特に参照して説明される。しかし、本発明は、車両内における、及び航空機、車両又は航空機シミュレータ、航空交通管制設備及び消費者の意識を監視するシナリオのような他のシナリオにおける、被験者の眼、頭及び他の特性を追跡することに適用可能であるということが理解される。
本発明において、システム100は、頭部、顔特徴及び眼の追跡のような物体検出及び追跡の点で、取り込まれた画像の信号対雑音比(SNR)を高くするために、アクティブLED制御を行うように構成される。眼追跡の文脈において、SNRの適切な信号成分は、運転者の眼の画像特徴の強さ又は視認性のことを意味し、これらはシステム100によって識別され、追跡されるべき特徴であるからである。SNRの雑音成分は、環境からの周囲の明るさ(例えば太陽)、眼又は運転者によって装着されたサングラス上の環境からの反射、及び暗い状況において目立つイメージセンサの暗電流雑音のような、望まれていない信号成分を含む。本発明者は、照明LEDの非線形動作は、さまざまな照明状況の下でSNRを増加又は最大化するのに影響を与えられ得るということを突き止めた。例えば、明るい太陽がある状況において、明るさ及び反射率が支配的な雑音源となる場合に、LEDは、瞬時出力電力又は放射照度を最大化し、かつ、パルス持続時間を最小化するように制御され得る。運転者が濃いサングラスを装着しているときのような暗い画像の状況においては、LEDは、動きブレの限度内でパルス持続時間を増加させることによってエネルギーを最大化するように制御され得る。
露出誤差 = log2(現在のピクセル輝度/目標ピクセル輝度) (式1)
から計算され得る。
(式2)
から計算され得る。
(式3)
として表される。
多くの変更が方法400に行われ得て、これらが以下に説明される。
被験者の眼の周りの局所的な領域に対応する眼ピクセル領域、
被験者の眼の眼追跡パラメータ、及び、
眼ピクセル領域の1つ以上の照明特性
を求めるために、取り込まれた画像の少なくともサブセットを処理する。
上述のシステム及び方法は、明るさ及び反射が大きい条件のような変化する照明条件下での、並びに暗い条件においての、より堅牢性の高い眼(又は他の物体の)追跡に備える。特に、眼追跡は、顔に強いコントラストが存在するとき、及び、被験者がサングラス又は反射性の高いメガネを装着しているときに、実行され得る。LEDの厳重な制御は、コスト、サイズ及び熱損失を減少させるという結果ももたらす。
本明細書を通して、「要素」という用語の使用は、単一の単体の構成部分、又は組み合わせられて特定の機能又は目的を成し遂げる構成部分の集合のいずれかを意味することが意図される。
Claims (50)
- 被験者の画像を取り込むための1つ以上のカメラと、
前記1つ以上のカメラによる画像取り込み中に、前記被験者を選択的に照明するように構成された1つ以上の発光ダイオード(LED)と、
前記被験者の1つ以上の追跡パラメータを求めるため、及び、前記画像の1つ以上の照明特性を求めるために、取り込まれた前記画像の少なくともサブセットを処理するように構成されたプロセッサと、
前記1つ以上のLEDの前記駆動電流振幅及びパルス時間を制御するためのLED制御信号を、前記1つ以上のLEDに送信するように構成され、以前に取り込まれた1つ又は複数の画像の求められた前記照明特性に基づいて前記駆動電流及びパルス時間を選択的に調整するコントローラと
を備える撮像システム。 - 前記コントローラは、以前に取り込まれた1つ又は複数の画像の求められた前記照明特性に基づいて、前記1つ以上のカメラのイメージセンサ露出時間を制御するように構成されてもいる
請求項1に記載の撮像システム。 - 前記コントローラは、以前に取り込まれた1つ又は複数の画像の求められた前記照明特性に基づいて、前記1つ以上のカメラのイメージセンサゲイン値を制御するように構成されてもいる
請求項1又は2に記載の撮像システム。 - 前記LED駆動電流パルス時間は、前記イメージセンサ露出時間に基づいて求められる
請求項2に記載の撮像システム。 - 前記駆動電流振幅は、前記LED駆動電流パルス時間から、前記LED駆動電流振幅と前記LED駆動電流パルス時間との間の予め定義された関係に基づいて求められる
請求項4に記載の撮像システム。 - 前記コントローラは、前記1つ以上のLEDの製造者によって規定された予め定義されたパルス操作曲線に従って、前記駆動電流振幅及びパルス時間を選択的に調整する
請求項5に記載の撮像システム。 - 前記パルス操作曲線は、所与のデューティサイクル用の、前記駆動電流振幅とパルス時間との間の非線形の関係を含む
請求項6に記載の撮像システム。 - 取り込まれた画像の前記照明特性は、前記取り込まれた画像の明るさの測定値を含む
請求項1〜7のいずれか1項に記載の撮像システム。 - 前記明るさの測定値は、前記取り込まれた画像内の各ピクセルの平均ピクセル輝度を含む
請求項8に記載の撮像システム。 - 前記被験者の一方又は両方の眼を撮像するように構成された
請求項1〜8のいずれか1項に記載の撮像システム。 - 前記取り込まれた画像の少なくともサブセットの処理は、前記被験者の眼の周りの局所的な領域に対応する眼ピクセル領域を求めることを含む
請求項10に記載の撮像システム。 - 前記照明特性は、前記眼ピクセル領域の明るさの測定値を含む
請求項11に記載の撮像システム。 - 前記明るさの測定値は、前記眼ピクセル領域内のピクセルの平均ピクセル輝度を含む
請求項12に記載の撮像システム。 - 前記照明特性は、前記眼ピクセル領域内のピクセルのコントラストの測定値を含む
請求項12に記載の撮像システム。 - 前記取り込まれた画像の少なくともサブセットの処理は、前記被験者に装着されたサングラスの検出を含む
請求項1〜14のいずれか1項に記載の撮像システム。 - 前記照明特性は、前記サングラスの濃さ又は反射率の測定値を含む
請求項15に記載の撮像システム。 - 前記プロセッサは、複数の以前に取り込まれた画像の眼ピクセル領域内の対応するピクセルのピクセル値を、以前に取り込まれた1つ又は複数の画像の求められた前記照明特性に基づいて積分するように更に構成される
請求項11〜16のいずれか1項に記載の撮像システム。 - a)1つ以上のカメラを制御して被験者の画像を取り込むためのカメラ制御信号を生成することと、
b)1つ以上の発光ダイオード(LED)を制御して前記1つ以上のカメラによる画像取り込み中に前記被験者を選択的に照明するためのLED制御信号であって、前記1つ以上のLEDの少なくとも駆動電流振幅及びパルス時間を制御する、LED制御信号を生成することと、
c)前記画像の1つ以上の照明特性を求めるために前記取り込まれた画像の少なくともサブセットを処理することと、
d)求められた前記照明特性に基づいて、前記1つ以上のLEDの前記駆動電流振幅及びパルス時間を選択的に調整することと
を含む撮像方法。 - 求められた前記照明特性に基づいて、前記1つ以上のカメラのイメージセンサ露出時間を選択的に調整するステップを含む
請求項18に記載の方法。 - 求められた前記照明特性に基づいて、前記1つ以上のカメラのイメージセンサゲイン値を選択的に調整するステップを含む
請求項18又は19に記載の方法。 - 前記LED駆動電流パルス時間は、前記イメージセンサ露出時間に基づいて求められる
請求項19に記載の方法。 - 前記駆動電流振幅は、前記LED駆動電流パルス時間から、前記LED駆動電流振幅と前記LED駆動電流パルス時間との間の予め定義された関係に基づいて求められる
請求項21に記載の方法。 - 前記駆動電流振幅及びパルス時間は、前記1つ以上のLEDの製造者によって規定された予め定義されたパルス操作曲線に従って、選択的に調整される
請求項22に記載の方法。 - 前記パルス操作曲線は、所与のデューティサイクル用の、前記駆動電流振幅とパルス時間との間の非線形の関係を含む
請求項23に記載の方法。 - 取り込まれた画像の前記照明特性は、前記取り込まれた画像の明るさの測定値を含む
請求項18〜24のいずれか1項に記載の方法。 - 前記明るさの測定値は、前記取り込まれた画像内の各ピクセルの平均ピクセル輝度を含む
請求項25に記載の方法。 - 前記被験者の一方又は両方の眼を撮像するように構成された
請求項18〜25のいずれか1項に記載の方法。 - c)ii)前記被験者の一方又は両方の眼の1つ以上の眼追跡パラメータを求めるステップ
を含む請求項27に記載の方法。 - e)前記被験者の一方又は両方の眼の1つ以上の眼追跡パラメータを出力するステップ
を含む請求項28に記載の方法。 - 前記取り込まれた画像の少なくともサブセットを処理するステップは、前記被験者の眼の周りの局所的な領域に対応する眼ピクセル領域を求めることを含む
請求項27〜29のいずれか1項に記載の方法。 - 前記照明特性は、前記眼ピクセル領域の明るさの測定値を含む
請求項30に記載の方法。 - 前記明るさの測定値は、前記眼ピクセル領域内のピクセルの平均ピクセル輝度を含む
請求項31に記載の方法。 - 前記照明特性は、前記眼ピクセル領域内のピクセルのコントラストの測定値を含む
請求項31に記載の方法。 - 前記取り込まれた画像の少なくともサブセットを処理するステップは、前記被験者に装着されたサングラスの検出を含む
請求項18〜33のいずれか1項に記載の方法。 - 前記照明特性は、前記サングラスの濃さ又は反射率の測定値を含む
請求項34に記載の方法。 - ステップd)は、
i. 明るさの測定値を目標明るさと比較すること
を含む請求項26又は32に記載の方法。 - ステップd)は、
ii. もし前記明るさの測定値が前記目標明るさより小さいなら、
LED駆動電流振幅を選択的に減少させながら、LED駆動電流パルス時間を選択的に増加させること
を更に含む請求項36に記載の方法。 - ステップd)は、
iii. もし前記明るさの測定値が前記目標明るさより大きいなら、
LED駆動電流振幅を選択的に増加させながら、LED駆動電流パルス時間を選択的に減少させること
を更に含む請求項37に記載の方法。 - 前記1つ以上のLEDの駆動電流振幅及びパルス時間を調整する量は、前記明るさの測定値と目標明るさとの間の差に依存する
請求項38に記載の方法。 - 前記駆動電流振幅及びパルス時間の調整の量は、複数の将来の画像にわたって漸増的に適用される
請求項39に記載の方法。 - 以前に取り込まれた1つ又は複数の画像の前記求められた照明特性に基づいて、複数の以前に取り込まれた画像の眼ピクセル領域内の対応するピクセルのピクセル値を積分することによって、積分画像を生成するステップと、
前記被験者の眼の1つ以上の眼追跡パラメータを求めるために、前記積分画像を処理するステップと
を含む、請求項30〜33のいずれか1項に記載の方法。 - 前記積分画像を生成するために使用される以前に取り込まれた画像の数は、以前に取り込まれた1つ又は複数の画像の前記求められた照明特性に依存する
請求項41に記載の方法。 - 1つ以上のLEDによる照明の下で被験者の画像を取り込むことと、
画像の照明条件を求めることと、
前記照明条件を基準照明条件と比較することと、
前記比較に基づいて、1つ以上のLEDの前記駆動電流振幅及びパルス時間の一方又は両方を、既定のパルス操作曲線に従って、LED出力電力又はパルス時間におけるLED出力エネルギーを増加させるように選択的に調整することと
を含む、撮像システムにおいて1つ以上のLEDを制御する方法。 - a)物体の画像を取り込むカメラを制御することと、
b)前記1つ以上のカメラによる画像キャプチャ中に前記物体を選択的に照明するために1つ以上のLEDを制御することと、
c) 前記物体の周りの局所的な領域に対応する物体ピクセル領域、
前記物体の1つ以上の眼追跡パラメータ、及び、
前記物体ピクセル領域の1つ以上の照明特性
を求めるために少なくとも前記取り込まれた画像のサブセットを処理することと、
d)以前に取り込まれた1つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の物体ピクセル領域内の対応するピクセルのピクセル値を組み合わせることによって合成画像を生成すること
e)前記物体の1つ以上の物体追跡パラメータを求めるために前記合成画像を処理することと
を含む、物体追跡方法。 - 前記合成画像は、以前に取り込まれた1つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の物体ピクセル領域内の対応するピクセルのピクセル値を積分することによって形成される
請求項44に記載の方法。 - 前記合成画像は、以前に取り込まれた1つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の物体ピクセル領域内の対応するピクセルのピクセル値を平均することによって形成される
請求項44に記載の方法。 - 前記照明特性は、前記物体ピクセル領域の明るさの測定値を含む
請求項44〜46のいずれか1項に記載の方法。 - 前記合成画像を生成するために使用される以前に取り込まれた画像の数は、前記求められた照明特性に基づいて求められる
請求項44〜47のいずれか1項に記載の方法。 - 前記合成画像を生成するために使用される以前に取り込まれた画像の数は、前記画像内の動きブレの検出レベルに基づいて求められる
請求項44〜48のいずれか1項に記載の方法。 - 前記物体は被験者の一方又は両方の眼であり、前記物体ピクセル領域は、眼ピクセル領域である
請求項44〜49のいずれか1項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2017904419 | 2017-10-31 | ||
AU2017904419A AU2017904419A0 (en) | 2017-10-31 | System and method for improving signal to noise ratio in eye tracking under poor light conditions | |
PCT/AU2018/050776 WO2019084595A1 (en) | 2017-10-31 | 2018-07-27 | System and method for improving signal to noise ratio in object tracking under poor light conditions |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021501517A true JP2021501517A (ja) | 2021-01-14 |
JP7138168B2 JP7138168B2 (ja) | 2022-09-15 |
Family
ID=66331179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523296A Active JP7138168B2 (ja) | 2017-10-31 | 2018-07-27 | 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11386709B2 (ja) |
JP (1) | JP7138168B2 (ja) |
DE (1) | DE112018005191T5 (ja) |
WO (1) | WO2019084595A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020148747A (ja) * | 2019-03-15 | 2020-09-17 | 株式会社リコー | 物体検出装置 |
EP4022502A4 (en) * | 2019-11-07 | 2023-09-13 | Seeing Machines Limited | HIGH POWERFUL TRACKING OF AN EYE WITH A BRIGHT PUPILL |
PT3890300T (pt) | 2020-04-03 | 2023-05-05 | Uav Autosystems Hovering Solutions Espana S L | Veículo autopropulsado |
US11851080B2 (en) | 2021-02-03 | 2023-12-26 | Magna Mirrors Of America, Inc. | Vehicular driver monitoring system with posture detection and alert |
US11780372B2 (en) | 2021-03-01 | 2023-10-10 | Magna Mirrors Of America, Inc. | Vehicular driver monitoring system with driver monitoring camera and near IR light emitter at interior rearview mirror assembly |
EP4301626A1 (en) | 2021-03-01 | 2024-01-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror assembly with driver monitoring system |
US11766968B2 (en) | 2021-05-18 | 2023-09-26 | Magna Mirrors Of America, Inc. | Vehicular interior rearview mirror assembly with video mirror display and VRLC stack |
US11930264B2 (en) | 2021-05-18 | 2024-03-12 | Magna Electronics Inc. | Vehicular driver monitoring system with camera view optimization |
CN113490316B (zh) * | 2021-06-30 | 2024-04-12 | 浙江大华技术股份有限公司 | 一种补光系统及补光灯 |
WO2023034956A1 (en) | 2021-09-03 | 2023-03-09 | Magna Electronics Inc. | Vehicular interior cabin monitoring system with light emitter that is selectively operable for dms and oms functions |
SE2250765A1 (en) * | 2022-06-22 | 2023-12-23 | Tobii Ab | An eye tracking system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009116797A (ja) * | 2007-11-09 | 2009-05-28 | Aisin Seiki Co Ltd | 顔画像撮像装置、顔画像撮像方法、及びそのプログラム |
JP2013175914A (ja) * | 2012-02-24 | 2013-09-05 | Denso Corp | 撮像制御装置及びプログラム |
JP2016532396A (ja) * | 2013-09-03 | 2016-10-13 | シーイング マシーンズ リミテッド | 低電力眼追跡システムおよび眼追跡方法 |
WO2017017896A1 (ja) * | 2015-07-29 | 2017-02-02 | 京セラ株式会社 | 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPQ896000A0 (en) | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
CN102341716A (zh) * | 2009-03-01 | 2012-02-01 | 拓科学股份有限公司 | 利用固态光源的高速量子效率测量装置 |
US9430040B2 (en) * | 2014-01-14 | 2016-08-30 | Microsoft Technology Licensing, Llc | Eye gaze detection with multiple light sources and sensors |
US9454699B2 (en) * | 2014-04-29 | 2016-09-27 | Microsoft Technology Licensing, Llc | Handling glare in eye tracking |
US9131150B1 (en) * | 2014-06-06 | 2015-09-08 | Amazon Technologies, Inc. | Automatic exposure control and illumination for head tracking |
EP3259734A4 (en) | 2015-02-20 | 2019-02-20 | Seeing Machines Limited | GLARE REDUCTION |
-
2018
- 2018-07-27 WO PCT/AU2018/050776 patent/WO2019084595A1/en active Application Filing
- 2018-07-27 US US16/759,951 patent/US11386709B2/en active Active
- 2018-07-27 JP JP2020523296A patent/JP7138168B2/ja active Active
- 2018-07-27 DE DE112018005191.9T patent/DE112018005191T5/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009116797A (ja) * | 2007-11-09 | 2009-05-28 | Aisin Seiki Co Ltd | 顔画像撮像装置、顔画像撮像方法、及びそのプログラム |
JP2013175914A (ja) * | 2012-02-24 | 2013-09-05 | Denso Corp | 撮像制御装置及びプログラム |
JP2016532396A (ja) * | 2013-09-03 | 2016-10-13 | シーイング マシーンズ リミテッド | 低電力眼追跡システムおよび眼追跡方法 |
WO2017017896A1 (ja) * | 2015-07-29 | 2017-02-02 | 京セラ株式会社 | 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019084595A1 (en) | 2019-05-09 |
US20200327323A1 (en) | 2020-10-15 |
DE112018005191T5 (de) | 2020-06-18 |
US11386709B2 (en) | 2022-07-12 |
JP7138168B2 (ja) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7138168B2 (ja) | 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 | |
US10521683B2 (en) | Glare reduction | |
CN110324521B (zh) | 控制摄像头的方法、装置、电子设备及存储介质 | |
RU2453884C1 (ru) | Устройство для формирования изображения водителя и способ формирования изображения водителя | |
JP7369184B2 (ja) | 運転者注意状態推定 | |
US20200169678A1 (en) | Driver's eye position detecting device and method, imaging device having image sensor with rolling shutter driving system, and illumination control method thereof | |
JP6201956B2 (ja) | 視線検出装置および視線検出方法 | |
JP2015194884A (ja) | 運転者監視システム | |
EP3650991B1 (en) | Monitoring system | |
CN111798488A (zh) | 用于执行眼睛检测和/或跟踪的系统 | |
US20220377223A1 (en) | High performance bright pupil eye tracking | |
CN109565549A (zh) | 用于运行内饰摄像机的方法和设备 | |
KR20210146351A (ko) | 저조도 환경에서의 노출 변경 제어 | |
US10089731B2 (en) | Image processing device to reduce an influence of reflected light for capturing and processing images | |
CN112153363A (zh) | 用于3d角膜位置估计的方法和系统 | |
US10866635B2 (en) | Systems and methods for capturing training data for a gaze estimation model | |
KR102442594B1 (ko) | 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법 | |
KR102146837B1 (ko) | 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템 | |
US11272086B2 (en) | Camera system, vehicle and method for configuring light source of camera system | |
US20220335648A1 (en) | Determination of Gaze Direction | |
JP2021527980A (ja) | 高フレームレート画像前処理システム及び方法 | |
US11003936B2 (en) | Method and system for controlling an eye tracking system | |
JP2022131345A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
KR20170133289A (ko) | 운전자의 눈 위치 검출 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200703 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7138168 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |