JP2022128437A - 仮想バイザにおける電力使用量の低減 - Google Patents

仮想バイザにおける電力使用量の低減 Download PDF

Info

Publication number
JP2022128437A
JP2022128437A JP2022024426A JP2022024426A JP2022128437A JP 2022128437 A JP2022128437 A JP 2022128437A JP 2022024426 A JP2022024426 A JP 2022024426A JP 2022024426 A JP2022024426 A JP 2022024426A JP 2022128437 A JP2022128437 A JP 2022128437A
Authority
JP
Japan
Prior art keywords
processor
screen
driver
captured image
visor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022024426A
Other languages
English (en)
Inventor
リウ・レン
Liu Ren
ベンズン・ピオウス・ワイズリー・バブ
Pious Wisely Babu Benzun
シンユー・ファン
Xinyu Huang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2022128437A publication Critical patent/JP2022128437A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60JWINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J3/00Antiglare equipment associated with windows or windscreens; Sun visors for vehicles
    • B60J3/02Antiglare equipment associated with windows or windscreens; Sun visors for vehicles adjustable in position
    • B60J3/0204Sun visors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60JWINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J3/00Antiglare equipment associated with windows or windscreens; Sun visors for vehicles
    • B60J3/04Antiglare equipment associated with windows or windscreens; Sun visors for vehicles adjustable in transparency
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/10Devices for predicting weather conditions
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306Circuit arrangements or driving methods for the control of single liquid crystal cells
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G02F1/13318Circuits comprising a photodetector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00Function characteristic
    • G02F2203/01Function characteristic transmissive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】透明であることと不透明であることとの間を変動することができる様々な領域を備えたスクリーンを含む、車両内の仮想バイザを提供すること。【解決手段】カメラは、ドライバの顔の画像をキャプチャする。プロセッサは、キャプチャ画像に基づいて顔認識等を実施し、スクリーンのどの領域が透明から不透明に移行し、スクリーンの残りの部分を通して視認性を維持すると共に太陽がドライバの目に直接照らすのを遮断するかを確定する。低電力モニタは、スクリーンのどの領域が不透明であるかを制御する画像処理およびアルゴリズムとは非同期に、車両上で独立して動くことができる。モニタは、仮想バイザを連続的に動作させるよりも少ない電力を消費する。モニタによって検出されたトリガ条件に基づいて、画像処理、延いては不透明と透明との間の変動は、トリガ条件が存在しなくなるまで、電力を節約するために中止される。【選択図】図1

Description

[0001]本開示は、仮想バイザにおける電力使用量の低減に関する。
[0002]自動車両には、通常、下方に折り曲げて太陽が直接ドライバの目に当たるのを遮断することができるバイザが装備されている。しかしながら、バイザは、透明ではなく、したがって、ドライバの視界を遮断し、危険を伴う可能性がある。ドライバの目と入って来る直射日光との間に直接ある領域のみを暗くするように電子制御される透明ディスプレイを使用する仮想バイザが開発されている。これにより、ドライバの目から直射日光が遮断され、一方、仮想バイザの他の領域が透明な状態に残されることで、仮想バイザを通じた視認性が維持される。
[0003]一実施形態によれば、車両内の仮想バイザの消費電力を低減するためのシステムは、ドライバの顔の画像をキャプチャするように構成されるカメラと、複数の液晶ディスプレイ(LCD)ピクセルを有するバイザスクリーンであって、各LCDピクセルが、(i)不透明状態では、光がバイザスクリーンの対応する領域を通過することを遮断し、(ii)透明状態では、光がバイザスクリーンの対応する領域を通過することを可能にするように構成される、バイザスクリーンと、車両の内側または外側の環境をモニタし、モニタされた環境に基づいて、LCDピクセルが不透明状態にある必要性が低減したことを示すトリガ信号を出力するように構成される1つまたは複数のモニタと、プロセッサと、を備え、プロセッサは、キャプチャ画像を処理し、処理されたキャプチャ画像に基づいて、透明状態と不透明状態との間で移行するLCDピクセルのグループを選択し、1つまたは複数のセンサによって出力されるトリガ信号に応答して、キャプチャ画像の処理を中止し、LCDピクセルを透明状態に維持するように構成される。
[0004]一実施形態によれば、車両の仮想バイザを制御する方法は、カメラからドライバの顔の画像をキャプチャするステップと、キャプチャ画像上で顔認識を実施して、ドライバの目の位置を確定するステップと、確定された目の位置に基づいて、仮想バイザのLCDピクセルのグループを透明状態から不透明状態に移行して、少なくともいくらかの日光が目に進入するのを遮断するステップと、1つまたは複数のセンサを介して車両の内側または外側の環境をモニタするステップと、LCDピクセルが不透明状態にある必要性が低減したことを示すモニタされた環境に基づいて、トリガ信号を受信するステップと、トリガ信号の受信に応答して顔認識を実施するステップを無効にするステップと、を含む。
[0005]一実施形態によれば、命令を記憶するように構成される記録媒体であって、命令は、少なくとも1つのプロセッサによって実行されるときに、少なくとも1つのプロセッサに、カメラを動作させて、車両のドライバの顔の画像をキャプチャすることと、キャプチャ画像を処理して、ドライバの目の位置を確定することと、確定された目の位置に基づいて、仮想バイザスクリーンのLCDピクセルのグループに、(i)光が仮想バイザスクリーンの対応する領域を透過することを可能にする透明状態と、(ii)光が仮想バイザスクリーンの対応する領域を透過することを遮断する不透明状態との間で切り替えるよう命令することと、1つまたは複数のセンサを動作させて、車両の内側または外側の環境をモニタすることと、LCDピクセルが不透明状態にある必要性が低減したことを示すモニタされた環境に応答して、キャプチャ画像の処理を中止することと、を含む動作を実施させる、記録媒体である。
[0006]仮想バイザシステムの例示的な実施形態を示す、特定の部分が取り除かれまたは切り離された自動車両のキャビン内部の斜視図である。 [0007]一実施形態による仮想バイザシステムの概略図である。 [0008]図3Aは、部分全体が透過状態にある仮想バイザシステムのスクリーンの一部の簡略化されたブロック図である。図3Bは、少なくともいくらかの光が領域を通過することを遮断するために、一部のサブセットまたは領域が不透明であるブロック図である。 [0009]図4Aは、仮想バイザシステムのカメラによって撮られたドライバの正面図の例である。図4Bは、仮想バイザシステムのカメラによって撮られたドライバの正面図の例である。 [0010]一実施形態による、様々なセンサまたはモニタおよび仮想バイザシステムの制御部のフロー図である。 [0011]一実施形態による、仮想バイザシステムを無効にするためのアルゴリズムのフローチャートである。
[0012]本開示の実施形態は、本明細書に記載される。しかしながら、開示された実施形態は単に例であり、他の実施形態は様々な代替の形態をとることができることを理解されたい。図面は必ずしも縮尺通りではなく、いくつかの特徴は特定の構成要素の詳細を示すために誇張または最小化される可能性がある。したがって、本明細書で開示される特定の構造および機能の詳細は限定として解釈されるべきではなく、単に、実施形態を様々に用いるように当業者に教示するための代表的な基礎として解釈されるべきである。当業者には理解されるように、図面のいずれか1つを参照して示され記載される様々な特徴は、1つまたは複数の他の図面に示される特徴と組み合わせて、明示的に示されず記載もされない実施形態を生み出すことができる。示された特徴の組み合わせは、典型的な出願のための代表的な実施形態を提供する。しかしながら、本開示の教示と一致している特徴の様々な組み合わせおよび変更が、特定の出願または実施態様に所望される可能性がある。
[0013]図1は、本開示の一実施形態による仮想バイザシステム10を示す。仮想バイザシステム10は、自動車両、例えば、自動車、バン、スポーツユーティリティビークル(SUV:sports utility vehicle)、トラック等、具体的には車両のキャビン12内で使用するように構成されて示されている。仮想バイザシステム10は、本明細書では、バイザ、バイザスクリーン、またはディスプレイとも称されるスクリーン14を含む。スクリーン14は、フロントガラス16の一部または車両の他のウィンドウを選択的に覆うかまたは遮るように、車両に搭載されるか、取り付けられるか、または他の方法で一体化され得る。使用の際には、ドライバ18は、スクリーン14を、反転、回転、折り曲げ、旋回、スライド、またはその他の方法で、上方の位置(即ち、フロントガラス16を覆わない)から図1に示す下方の位置(即ち、フロントガラス16の一部を覆う)に移動できる。下方の位置では、スクリーン14が、ドライバ16の目と太陽20のような明るい光源との間に直に存在することができる。
[0014]少なくともいくつかの実施形態では、スクリーン14が、ドライバ18または他の乗客の視界中のキャビン12内の表面に搭載されるか、または他の方法で取り付けられる。特に、いくつかの実施形態では、スクリーン14が、運転席に座り、フロントガラス16を通して見ているドライバ18の視線内にあるように、車両に搭載される。例えば、左ハンドル車両の場合には、スクリーン14が、フロントガラス16の左上(キャビン12内で見られるように)の領域の少なくとも一部をカバーし、かつ/または遮るように、フロントガラス16に隣接するルーフ室内またはヘッドライナに搭載され得る。逆に、右ハンドル車両の場合には、スクリーン14が、フロントガラス16の右上(キャビン12内で見られるように)の領域の少なくとも一部をカバーし、かつ/または遮るように、フロントガラス16に隣接するルーフ室内またはヘッドライナに搭載され得る。スクリーン14はまた、車両の任意のウィンドウをカバーするように、車両の任意のピラーに搭載され得る。いくつかの実施形態では、スクリーンは、フロントガラス16のガラス内または車両の他のウィンドウ内で一体化される。
[0015]スクリーン14は、バイザの第1の部分が透明であり、バイザの第2の部分が不透明または透過しないように自動制御させることもできる。実施形態では、スクリーン14が、液晶ディスプレイ(LCD)スクリーンであり得る。日光とドライバの目との間に位置合わせされるスクリーン14内の個々のピクセルまたは領域に、ドライバの目に対して日光を遮断するために不透明になるように命令することができ、一方、日光とドライバの目との間で位置合わせされていないスクリーン14の他の領域は、視野が維持されるように透明であり得る。要するに、スクリーン14の一部のみが不透明であるように命令され、一方、スクリーン14の残り部分が半透明であるように命令される。
[0016]そのために、仮想バイザシステム10は、図1および図2に示すように、カメラ22のような照明センサを含む。カメラ22または他の照明センサ24は、車両のキャビン12内の少なくとも1つの関心のある位置の照明レベルを検出するように構成される。特に、少なくとも1つの実施形態では、カメラ22が、ドライバ18の顔面上の照明レベルを検出するように、ドライバ18の顔を鮮明に見える位置で車両内に搭載される。一実施形態では、カメラ22が、車両の左または右の「A」ピラーに搭載されるか、または他の方法で一体化される。別の実施形態では、カメラ22が、ダッシュボードまたはステアリングホイールに搭載されるか、または他の方法で一体化される。更なる実施形態では、カメラ22が、フロントガラス16の上部に隣接して、車両のルーフの室内側に搭載される。カメラ22は、ドライバ18の顔の画像を連続的または周期的にキャプチャし、キャプチャ画像フレームを出力するように構成される。キャプチャ画像フレームを、メモリ26に画像データ28として保存することができる。
[0017]一実施形態では、照明センサ24は、入射光センサである。入射光センサが、周囲光または入射光を検出することができる位置で、キャビンの内側または外側に搭載されるか、または他の方法で取り付けられ得る。入射光センサは、周囲光の強度および方向の両方を検出し、測定することができる。実施形態では、入射光センサは、コリメータまたは偏光子を利用して、光センサに対する入射光源の方向を確定する。実施形態では、入射光センサは、基準光源の相対位置に基づいて較正のために使用される外付けの指向性のある構成要素を有する。コリメータは、位置感知光検出器に関連して、コリメート光ビームによって1つまたは複数の電極に誘起された電荷の量に関する情報を収集するために使用される。電極からの情報は、光の入射方向を導出するために使用される。実施形態では、光センサ24が、球形(例えば、半球形)の表面を覆って分布された光検出器を実装し、入射光によってどの光検出器が作動するかに基づいて入射光の方向を確定する。実施形態では、入射光センサは、検出される偏光のタイプに基づいて入射光の方向を検出するために、偏光フィルタを使用して、異なる方向からの光を一意に偏光させる。あるいは、入射光センサが、誘電体層(または誘電体層の積層体)、誘電体層に対して連結された複数の光検出器、および誘電体層内に埋め込まれた不透明スラットの複数の積層体を含み、ここで、誘電体層は入射光に対して実質的に透明であり、光検出器は誘電体層を通る入射光を検出し、不透明スラットの積層体は誘電体層と光検出器との間の界面にほぼ平行である。不透明スラットの積層体は、光の開口部を不透明スラットの隣接する積層体の間に定めて、不透明スラットの積層体のうち少なくとも一部は不透明スラットの他の積層体に対してゼロ以外の角度で配置される。要するに、光センサは、入射光の強度および方向の両方を検出および測定するように構成され、光センサはそうするために、様々な構造形態のうちの1つをとり得る。
[0018]仮想バイザシステム10は、プロセッサ30を更に含む。プロセッサは、カメラ22または他の光センサ24、ならびにメモリ26およびスクリーン14に通信可能に連結される。プロセッサ30は、2つ以上プロセッサを含むことができる。プロセッサ30は、スクリーン14の半透明度または不透明度に変更を加えるために、メモリ26に記憶された命令を実行するようにプログラムされる。特に、スクリーン14は、格子状に配置された複数の独立して動作可能なLCDピクセルおよび/またはLCDシャッタを有する液晶ディスプレイ(LCD:liquid crystal display)スクリーンであり得る。各ピクセルは、少なくとも2つの光学的状態、即ち、(1)それぞれのピクセルが、スクリーン14のそれぞれの領域を光が通過することを遮断する不透明状態、および(2)それぞれのピクセルが、スクリーン14のそれぞれの領域を光が通過することを可能にする透明状態、の1つにおいて、プロセッサ30によって選択的に動作するように構成される。しかしながら、任意の数の中間の光学状態も可能であり得ることが認識されるであろう。プロセッサ30は、この方法でスクリーン14を制御するような働きをするので、プロセッサ30は「コントローラ」と呼ばれることもあり、またはスクリーン14のピクセルを制御するアクションを物理的に実施する別個のコントローラに接続されることもあり得る。その上、不透明状態および透明状態は、必ずしも、それぞれ100%の不透明特性および100%の透明特性を示すものではない。その代わりとして、不透明状態は、単に、透明状態よりも多くの光がそれぞれの領域を通過することを遮断するものである。スクリーン14は、その代わりに、他のLCDピクセルの技術を利用してもよく、シャッタスクリーンは、その光透過性を調整するために電気的、磁気的、および/または機械的に制御可能なシャッタピクセルを有する任意のタイプのパネルを利用してもよいことを理解されたい。例えば、スクリーン14は、オフ(例えば、透明)およびオン(例えば、黒のような暗くした色)であるように制御できる発光ダイオード(LED:light emitting diode)のグリッドを含み得る。
[0019]スクリーン14がプロセッサ30によって動作可能なLCDスクリーンである場合、スクリーン14は、様々な実施形態によって、以下のように動作し得る。スクリーン自体は、白色照明システムがガラスの真後ろに配置されている、液晶を備えたガラスの薄い層を備え得る。各単一ピクセルは、赤、青、および緑といった異なる色をそれぞれが生み出すことが可能な複数(例えば、3つ)の「サブピクセル」によって構成されてもよい。電流によって作動させるときに、サブピクセルは「シャッタ」として機能する。電流の強度に応じて、ピクセルは多かれ少なかれ「閉じる」ようになる。この遮断-または部分的遮断-は、光の通過に対して直角をなす方法で行われる。これらの3つの層の混合は、スクリーン14上に見える実際の最終カラーを作り出す。同様に、3つのサブピクセルすべてが「開いている」(または「色なし」)場合、バックライトは変化せずにサブピクセルを通じて進むことになる。次いで、その結果、ピクセルの領域には、透明なドットが存在することになる。そのように、ある領域が透明であるためには、その領域のLCDピクセルが通電される。
[0020]スクリーン14はまた、プロセッサ30によって動作可能な有機発光ダイオード(OLED:organic light-emitting diode)スクリーンであり得る。このような一実施形態では、スクリーンは、発光層および導電層を備えた一組のアドレス指定可能なLEDの両側に2層のガラスを含み得る。電気的インパルスは導電層を通って進み、発光層で光を生み出す。そのように、ある領域が透明であるためには、OLEDスクリーンは単に通電されない。しかしながら、OLEDは、直射日光を効果的に遮断するのに有益であり得る暗色(例えば、ブラック)を作り出すことが困難である。
[0021]LCDおよびOLEDスクリーンに関して上記に提示された例は、スクリーン14として使用できる透明ディスプレイの単なる例であることを理解されたい。他の利用可能な技術もスクリーン14として利用することができる。プロセッサ30およびメモリに記憶された命令によって制御されるように、本明細書に記載される例示的なスクリーン技術のいずれかを利用することで、スクリーンは、(1)スクリーンの領域が日光の少なくとも一部を遮断するように不透明である不透明状態と、(2)領域がスクリーン14のそれぞれの領域を光が通過することを可能にする透明状態との間で変化するように構成される。
[0022]プロセッサ30は、中央処理装置(CPU:central processing unit)、ディスプレイコントローラ、および/またはグラフィックス処理装置(GPU:graphics processing unit)の機能を実装する1つまたは複数の集積回路を含み得る。いくつかの例では、プロセッサ30は、CPUとGPUの機能を一体化したチップ上のシステム(SoC:system on a chip)である。SoCは、例えば、記憶装置26などの他の構成要素を単一の統合デバイスに任意に含み得る。他の例では、CPUおよびGPUは、PCIエクスプレスまたは他の好適な周辺のデータ接続部のような周辺接続デバイスを介して互いに接続される。一例では、CPUは、x86、ARM、Power、またはMIPS命令セットファミリのうちの1つのような命令セットを実装する市販の中央処理装置である。プロセッサは、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理装置、フィールドプログラマブルゲートアレイ、プログラマブル論理デバイス、ステートマシン、論理回路、アナログ回路、デジタル回路、またはメモリ内に常駐するコンピュータ実行可能命令に基づいて信号(アナログまたはデジタル)を操作する任意の他のデバイスから選択される1つまたは複数のデバイスを含み得る。
[0023]本明細書に記載されるプロセスおよび論理フローは、入力データに関して動作し、出力を生み出すことによってアクションを実施するために、1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実施されることができる。プロセスおよび論理フローはまた、専用論理回路、例えば、フィールドプログラマブルゲートアレイ(「FPGA:field programmable gate array」)または特定用途向け集積回路(「ASIC:application specific integrated circuit」)によって実施されることもでき、装置もまた、これらとして実装されることができる。このような専用回路は、たとえ汎用プロセッサでなくても、コンピュータプロセッサと呼ばれ得る。
[0024]詳細にかかわらず、動作中に、プロセッサ30は、記憶装置26から読み出される記憶されたプログラム命令を実行する。記憶装置26は、プロセッサ30によってアクセスされると、スクリーン14の1つもしくは複数のピクセル32またはピクセル32の領域の半透明度および/または不透明度に変更を加えるための命令の実行を可能にするように構成され得る。記憶装置26は、単一のメモリデバイスまたは複数のメモリデバイスを含み得、メモリデバイスは、ランダムアクセスメモリ(「RAM:random access memory」)、揮発性メモリ、不揮発性メモリ、静的ランダムアクセスメモリ(「SRAM:static random-access memory」)、動的ランダムアクセスメモリ(「DRAM:dynamic random-access memory」)、フラッシュメモリ、キャッシュメモリ、または情報を記憶可能な他の任意のデバイスを含むが、これらに限定されない。不揮発性メモリは、NANDフラッシュメモリ、磁気および光記憶媒体、または仮想バイザシステム10が非アクティブ化されるかまたは電力を失ったときにデータを保持する任意の他の適切なデータ記憶デバイスのような、ソリッドステートメモリを含む。不揮発性記憶装置に常駐するプログラムは、オペレーティングシステムまたはアプリケーションを含んでもよく、またはその一部であってもよく、いずれも単独または組み合わせて、Java、C、C++、C#、Objective C、Fortran、Pascal、Java Script、Python、Perl、およびPL/SQLを含むが、これらに限定されない様々なプログラミング言語および/または技術を使用して作成されるコンピュータプログラムからコンパイルまたは解釈され得る。揮発性メモリは、仮想バイザシステム10の動作中にプログラム命令およびデータを記憶する静的および動的ランダムアクセスメモリ(RAM)を含む。
[0025]図1および図2に示すように、プロセッサは、1つまたは複数の環境センサ34にも連結される。これらの環境センサ34は、日光量、雨量などのような車両周囲の現在の環境を検出するように構成される様々なセンサを含み得る。環境センサ34は、車両から時間データを引き出して、現在の時刻を確定することもできる。このデータのすべてを使用して、プロセッサ30がそのようなシステムを動かすのに必要な比較的大きなエネルギーを節約するために、仮想バイザシステム10全体の電源を切る条件が正しいかどうかについての情報に基づく決定を行うことを可能にすることができる。例えば、屋外が夜間であると確定された場合、システム10は、この時点ではバイザが必要ではないので、ドライバの顔および周囲の光の画像を積極的にキャプチャすることを必要としなくてもよく、したがって、システム10が低電力モードになることができる。したがって、環境センサは周囲光のレベルを確定するための(例えば、周囲光が閾値を下回るか、または上回るかに基づいて昼か夜かを確定するための)周囲光センサまたは入射光センサ、車両のフロントガラス(例えば、フロントガラス起動システムの一部として)上の雨量を確定する雨センサなどを含むことができる。スクリーン14の制御の際のこのような環境センサ34のアプリケーションおよび使用法に関する更なる詳細は、本開示で後述される。
[0026]図3Aは、透明状態にあるスクリーン14の簡略化されたブロック図であり、図3Bは、不透明状態にあるスクリーン14の領域を備えたスクリーン14の簡略化されたブロック図である。これらの図に示されるスクリーン14は、スクリーン14全体の一部のみを表していることがあり、縮尺通りでないことがある。例えば、これらの図に示されるスクリーン14は、32個のピクセル32からなるアレイを有する。しかしながら、実際には、スクリーン14全体が、より多くの(例えば、数百または数千個の)ピクセルを含み得る。ピクセル32のアレイは、格子状に配置される。本実施形態では、ピクセルの格子は、4つの列および8つの行に(即ち、4×8の格子状に)配置されるS1からS32とラベル付けされたピクセルを含む。しかしながら、スクリーン14は、任意の好適な数の行および列に配置された任意の数のピクセル32を含むことができることが理解されるのであろう。加えて、様々な形状およびサイズのピクセルを有する非矩形および/または不規則な形態でピクセルを配置することができる。
[0027]少なくとも1つの実施形態では、スクリーン14は、ピクセル32(S1からS32)のアレイを取り囲み、かつ/または包含し、ピクセル32(S1からS32)のアレイを一緒に固定および/または保持するように構成される境界またはベゼル40を含む。スクリーン14は、これらのピクセルを有するLCDスクリーンであり得るが、当然のことながら、他の実施形態では、ピクセルおよび/または光源のタイプは変更し得る。ピクセル32は、ピクセル32の個々のピクセルおよび/または行もしくは列を制御する駆動回路に接続され得る。
[0028]スクリーン14はまた、コントローラもしくはプロセッサ30を個々のピクセル32および/もしくは駆動回路に接続し、駆動回路を個々のピクセルに接続し、ならびに/またはスクリーン14を電源に接続するように構成された電子コネクタ42を含み得る。コントローラまたはプロセッサ30ならびに駆動回路は、適切な電圧、電流、データ、および/または他の信号を、コネクタ42を介してスクリーン14に提供して、ピクセル32を動作させ、その光学状態を制御する(即ち、各ピクセルが不透明状態にあるか透明状態にあるかを制御する)ように構成されることができる。いくつかの実施形態では、特定のデータ(例えば、どのピクセルが不透明であり、どのピクセルが透明であるかの識別)または他の信号は、ピクセル32からコネクタ42を介してプロセッサまたはコントローラ30に送り返される。
[0029]図3Aは、ピクセルのアレイ全体が透明状態にあるスクリーン14を示す。図3Bは、ピクセル32のうち少なくともいくつか(S12からS15、S18からS21、およびS28からS31)が不透明状態にあるスクリーン14を示す。スクリーン14のこの不透明領域は、図1における不透明領域に対応することができ、それにより、ドライバの目の位置におけるドライバの顔に影が投じられる。上記で説明したように、これは、ピクセルが不透明になるか、または「閉じる」ようにピクセルを制御し、したがって、周囲光源(例えば、太陽)からの光を、ピクセルを透過することから少なくとも部分的に遮断することによって達成することができる。
[0030]コントローラまたはプロセッサ30は、透明モードから不透明モードに移行するようにスクリーン14の領域を選択して、ドライバの目への日光を遮断する影をドライバの顔に投じる一方で、スクリーン14の残りの部分を透明に維持する。プロセッサ30は、いくつかの入力に基づいて、スクリーン14のどの領域を不透明にするかを選択することができる。一実施形態では、カメラ22によってキャプチャされた画像からの画像データ28は、顔検出、顔位置合わせ、3D再構成などを含むことができる顔認識のために分析される。例えば、記憶装置26は、顔認識モデル44または他の同様のモデルを含み得る。顔認識モデルは、例えば、OpenFaceまたは同様の利用可能な機械学習モデルとすることができる。モデルは、例えば、DLIBまたはOpenCVからの事前トレーニングされたモデルであり得る。最初に、顔を検出するために画像を分析することができ、境界ボックス50が顔の周りに設定されている状態が図4Aに示される。検出された顔は、ニューラルネットワーク用に変換されることができる。例えば、OpenFaceでは、DLIBのリアルタイムポーズ推定は、クロッピングのために目および下唇を各画像上の同じ位置に現そうと試みるために、OpenCVのアフィン変換と共に使用される。深層ニューラルネットワークを使用して、超球上に顔を表す(または埋め込む)ことができ、超球では、顔が総括的に表される。クラスタリング、類似度検出、および分類タスクを実装して、顔認識タスクを完了することができる。
[0031]顔認識モデルは、関連付けられたプロセッサが、境界ボックス52内に示されるリアルタイムキャプチャ画像中のドライバの目の存在および位置を見分けることを可能にすることができる。画像データ内の特定の目の位置を、不透明になったときにドライバの目から直射日光を遮断することになるスクリーン中の対応するピクセル(またはピクセルのグループ)と関連付けるように、プロセッサを較正するか、または事前トレーニングすることができる。この較正は、太陽の位置を考慮に入れることもあり得る。例えば、仮想バイザシステム10の較正は、入力として、光源(例えば、外側に向いたカメラまたは入射光センサなどの他の環境センサ34から検出されるような光源)の位置および検出されたドライバの目の位置を受信することができ、スクリーン14の対応する領域に、日光がドライバの目に直接進入することを遮断するように不透明状態に移行するよう命令することができる。
[0032]一旦、選択されたピクセルが不透明になってドライバの顔に影を投じると、カメラまたは他のセンサは、ドライバの顔の影の存在を検出して、影が検出されたドライバの目の位置と確実に位置を合わせることができる。
[0033]ドライバの目の存在および位置を検出するための顔認識モデルの上記説明は一例にすぎない。ドライバの目の位置、日光の位置および強度を検出し、日光がドライバの目に直接進入するであろう位置以外の位置でスクリーン14を通過できるようにスクリーン14の対応する領域を暗くするといった同様の機能を実施するために、他の顔認識モデルが存在し、実装することができる。
[0034]一旦、特定のピクセル32が不透明になるように制御されると、カメラ22および関連する画像データ28を利用して、システムの精度をチェックすることができる。例えば、記憶装置26は、プロセッサ30によって実行されるときに、プロセッサに影を探すために画像データを分析させる陰影検出命令を備えることができる。例えば、図4Bに示すように、影は、境界ボックス52内に現れ得る。カメラおよび関連する命令が、検出されたドライバの目の位置と重ならないような影を検出した場合、検出されたドライバの目の位置と影が重なるように、異なるピクセルのグループに不透明になるよう命令できるようにスクリーン14を調整できる。この機能は、不透明なピクセルによって投じられた影がドライバの目に確実に位置するために、閉ループシステムとしての役割を果たすことができる。
[0035]カメラ22の代わりに、またはそれに加えて、熱センサが利用され得る。そのような一実施形態では、サーマルカメラは、ドライバの頭部から来る熱を検出することができ、対応する制御アルゴリズムまたは機械学習システムは、サーマルカメラからの熱シグネチャに基づいて、ユーザの目の存在および位置と共に、ユーザの頭部の存在および位置を検出することができる。
[0036]仮想バイザシステム10の連続動作は、不必要なときに電力を消費する可能性がある。顔認識モデル44は、ドライバの顔の目の領域に影を投じるために利用されるいくつかの制御手段のうちの1つであり得る。顔認識モデルに加えて、またはその一部として、顔位置合わせ、3D顔再構成、日差し方向顔陰影推定の推定、顔の影からバイザ位置までのマッピング、および他の制御手段を利用し得る。上述のカメラまたはセンサを介したドライバの顔および目の検出は、対応する制御アルゴリズムおよびカメラによって得られた画像の処理と共に、高周波数(例えば、10から30Hz)で動かすことができ、それによって、動作するのに比較的多くの電力を必要とする。仮想バイザシステム10が配備されるべき条件を確定することは、システムの消費電力を低減するために極めて有益な可能性がある。例えば、条件として、仮想バイザシステム10が休止状態であることを保証するか、さもなければ能動的に機能しないことを保証する場合、電力を節約することができる。
[0037]本開示の様々な実施形態によれば、仮想バイザシステム10の一部は、1つまたは複数のモニタ(例えば、センサ)によって検出される特定のトリガによって示されるように、必要とされないときに無効にされるように構成される。外部接続とは独立した1つまたは複数の断続的なオンボードモニタは、スクリーン14の動作を制御し、較正チェックを実施するためのトリガを提供することができる。モニタはより低い周波数(例えば、上記で説明した高周波数よりも低い)で動作させ、それにより、スクリーン14のピクセル32を制御するための先に記載した全体的な制御アルゴリズムよりも、消費する電力を少なくすることができる。モニタはユーザによって構成されてもよく、一方で、バイザ制御アルゴリズムのパラメータはユーザに公開されなくてもよい。例えば、ユーザがサングラスを着用すると共に仮想バイザを依然として使用したい場合、ユーザは単にサングラスモニタをオフにすることができる。仮想バイザ上の不透明領域の使用が不要である特定のシナリオを示すために、トリガを設けることができる。例えば、外が暗いか、もしくは雨が降っているか、またはドライバがサングラスを着用していると確定された場合、顔認識モデルおよびカメラからの画像データを処理する他のステップは、エネルギー要求を節約するために中止することができる。また、不透明から透明への画素の移行も同様に中止することができる。ピクセル32は、モニタからのトリガが除かれるか、または存在しなくなるまで、透明モードに設定され、維持され得る。
[0038]図5は、仮想バイザ制御を中断し、仮想バイザシステムを低電力モードまたはスリープモードに設定するためのトリガを出力するように構成される様々なモニタの例示的なフローチャートを示す。これらのモニタのうち1つまたは複数が、システム内に存在し得る。一実施形態では、気象モニタ60が提供される。曇った日には、仮想バイザスクリーン14の動作がドライバ体験に改善をもたらさないおそれがある。それ故、これらの条件の間に仮想バイザを無効にすることで、例えば、制御を無効にすることによって、電力を節約することができる。
[0039]気象モニタ60は、環境センサ34のような1つまたは複数の環境センサを含むことができる。一実施形態では、複数の環境センサが利用される。一例として、気象モニタ60は、プロセッサ30(または別のプロセッサ)によって実施されてもよく、入力として、周囲光センサ、雨センサ、周囲温度センサなどの様々なセンサのうち1つまたは複数からデータを受信してもよい。現在の気象条件を推定するために、センサフュージョンアルゴリズムを使用して、異なるセンサからの測定値を組み合わせることができる。例えば、特定の状況では、1つのセンサだけでは信頼し得ない。したがって、ロバストな測定値を得るために、異なるセンサを組み合わせることが望ましいことがあり得る。1つの可能な方法は決定レベルの融合であり、ここでは、各センサがそれぞれの決定を出力し、次いで、アルゴリズムが多数決戦略に基づいて決定を組み合わせる。別の可能な方法はスコアレベルの融合であり、ここでは、各センサがスコア(例えば、体積、電圧、確率)を出力し、これらのスコアが学習ベースの方法(例えば、回帰)を使用して融合される。また、気象モニタ60は、車両の全地球測位システム(GPS:global positioning system)からの位置情報、および車両と無線で通信しているオフボードセンサからの現在位置に関する現在の気象パラメータを受信することができる。
[0040]これらの実施形態のいずれにおいても、検出または推定された気象は、仮想バイザシステム10がどの制御状態で動作すべきかを確定するために使用される。例えば、気象モニタが目下悪天候(例えば、雲量、雨など)であることを示すならば、その場合、仮想バイザシステム10を、非アクティブ化するか、または低電力モードにすることができる。いくつかの実施形態では、スクリーン14が透明モードに設定され、気象モニタ60が、天候が良くなることを示すまで、そのようなモードに保持され、仮想バイザシステム10の制御を中断するためのトリガ条件を除くことができる。
[0041]一実施形態では、サングラスモニタ62が提供され得る。ドライバがサングラスを着用しているとき、仮想バイザシステム10の使用は、ドライバに何の有用な利益も提供し得ない。ドライバがサングラスを着用しているかどうかを確定するために、サングラスモニタは上記の顔認識モデルにアクセスし得る。特に、一旦、顔が検出されると、検出された顔にサングラスが存在するかどうかを確定するために、同様の方法(例えば、機械学習、事前トレーニングされた方法での深層ニューラルネットワーク)を用いることができる。ドライバがサングラスを着用していると確定された場合、スクリーン14を透明モードに設定し、サングラスモニタ62が仮想バイザの制御を中断するためのトリガ条件をクリアする(例えば、ドライバがサングラスを着用していることが検出されなくなる)まで、このようなモードに保持することができる。サングラスモニタの較正中、ドライバは、システムを初期化する前にサングラスを取り除くよう要求されることができる。
[0042]一実施形態では、昼/夜モニタ64が提供され得る。夜間、サンバイザの動作は有用ではないおそれがあり、したがって、本明細書に記載されるように、電力を節約するために、仮想バイザシステムへの電力フローを中断することができる(または、システムによって使用される電力を低減することができる)。昼/夜モニタ64は、車両外側の光量を検出するように構成される周囲光センサの形態で環境センサ34を含み得る。昼/夜モニタ64はまた、現在の日時、および任意に現在の位置にアクセスし、日時および位置を現在の太陽の位置、または、バイザが利益を提供しない日没もしくは暗い時間に一致させるルックアップテーブルにアクセスし得る。システムにて、これらのポイントを較正することができる。
[0043]先に説明したように、入射光センサをスクリーン14の制御に利用し得る。一実施形態では、入射光センサは、光源(例えば、太陽、他の車両のヘッドライトなど)の位置および光度を検出する。次いで、プロセッサは、入射光に基づいてスクリーン14の領域の不透明度を制御することができる。例えば、全体的な周辺光は閾値未満であってもよく、これは外が夜間であることを示してもよく、バイザは電力使用を節約するために非アクティブ化され得る。しかしながら、全体的な周囲光が対応する閾値を下回っている場合であっても、入射光が閾値を上回っていると入射光センサが確定した場合には、スクリーン14のアクティブ制御を依然として提供し得る。例えば、外が夜明けまたは夕暮れ近くであり得、全体的な周囲光は比較的大きくないが、入射光センサがドライバの視覚を妨げ得る閾値を超える直射日光を検出し得る。したがって、スクリーン14は、周囲光が閾値を下回っている場合であっても、対応するピクセルを不透明にして直射日光を遮断するように制御され得る。別の実施形態では、周囲光が対応する閾値をはるかに下回る暗い時間または夜間であり得、この場合、他の方法で、本明細書の教示に従って電力を節約するために、スクリーンのアクティブ制御を中止してもよい。しかしながら、対向車からの明るいヘッドライト(ハイビームなど)は、ドライバの視界を妨げ得る。したがって、入射光センサがドライバの視界を妨げ得る位置にハイビームがあると確定する場合、スクリーン14を能動的に制御し、スクリーン14の対応するピクセルを不透明にし得る。
[0044]モニタ60から64は、仮想バイザシステム10の使用がドライバに利益を与えないかどうかを確定する単なる例示的な手段である。他のモニタ66を、モニタ60から64と共に機能するように、または独立型モニタとして機能するように設けることもできることを理解されたい。一実施形態では、他のモニタ66は、スクリーン14または周囲のバイザを下方に折り曲げるか、または上方に折り畳むかどうかを確定するスイッチを含む。スクリーン14が収納位置で車両のルーフ内側に対して上方に折り畳まれる場合、仮想バイザの制御を無効にすることができる。もし、スクリーン14が使用位置(例えば、ドライバの目とフロントガラスの一部との間)で車両のルーフ内側から離れるように下方に折り曲げられる場合、仮想バイザの制御を可能にすることができる(例えば、コントローラはピクセル32を制御することができる)。スクリーン14の位置を確定するスイッチは、物理的な近接スイッチ等にすることができる。
[0045]上記モニタ60から66のいずれかが、当該モニタのトリガを示す信号を出力する場合、仮想バイザの制御を68で無効にすることができる。即ち、気象モニタ60が悪天候を示す場合、またはサングラスモニタ62が、ドライバがサングラスを着用していることを示す場合、または昼/夜モニタ64が夜間であることを示す場合、または他のモニタ66が同様の信号を出力する場合、仮想バイザシステム10を68で「オフ」に設定することができる。「オフ」モードに設定される場合、システムは低電力モードにすることができ、ここでは、カメラ22およびピクセル32のような特定の構造体は作動しない。これにより、システム10の全体的な消費電力を低減することができる。あるいは、これは、モニタ60から66がトリガの不在を示す(例えば、天候が良くなった、ドライバが彼/彼女のサングラスを外したなど)まで、システム10をシャットダウンするために、単に停止スイッチ(ハードウェアベースまたはソフトウェアベースのいずれか)を実装し得る。仮想バイザの制御70によって表されるように、スクリーン14を制御する能力は、本明細書に記載されるプロセッサまたはコントローラ30によって実行され得る。例えば、プロセッサまたはコントローラ30は、本明細書に記載される制御および分析の動作(例えば、顔検出、顔位置合わせ、顔再構成、陰影推定、光方向推定など)を無効にし、全ピクセルを透明モードといった一定の状態に設定することができる。これらの制御や分析は比較的多くの電力を消費するため、これらを動かさないことで電力が節約される。
[0046]図6は、本明細書で説明されるモニタを使用することによって仮想バイザシステムの電力要求を低減するためのシステムまたは方法80の一例を示す。システムまたは方法を、例えば、プロセッサ30によって実行することができる。本方法は、82から始まる。84では、プロセッサは、1つまたは複数のセンサが夜間であることを示すかどうかを確定する。即ち、日/夜モニタ64の出力にアクセスする。センサが夜間であることを実際に示す場合、86において、コントローラ30は電力要求を低減するために仮想バイザ制御を無効にし、スクリーン14を透過モードに維持する。特定のLCDスクリーンのような、いくつかの実施形態では、スクリーン14への電力の消失がピクセルを不透明にし、したがって、スクリーン14は86で不透明モードに維持されることになる。
[0047]センサが夜間であることを示さない(例えば、外が昼間である)場合、プロセッサは、88にて、ドライバがサングラスを着用しているかどうかを確定する。即ち、サングラスモニタ62の出力にアクセスする。ドライバがサングラスを着用しているとセンサが判断した場合、仮想バイザの制御は86で無効になる。
[0048]ドライバがサングラスを着用していない場合、本方法は90に進み、90ではプロセッサは気象モニタ60の出力にアクセスして、雨、雲量等のような車両の外が悪天候を示す条件であるかどうかを確定する。悪天候である場合、仮想バイザの制御は、86にて、電力要求を低減するために無効にされる。
[0049]様々なモニタ60から66がすべて、スクリーン14がドライバにとって有益ではないであろうことを示している信号を出力しないならば、その場合、本方法は92へ進み、92では仮想バイザシステム10が問題なく動作することを可能にし、例えば、ピクセルを透明モードまたは不透明モードのいずれかにするように制御することができる。
[0050]図6に示されるステップは、単に例示的な一実施形態であることを理解されたい。他の実施形態では、ステップ84から90の順序が再配置または修正される。優先順位のために、特定のステップを他のステップの前に設定することができる。
[0051]本明細書に記載される実施形態が自動車両に実装される仮想バイザシステムを示す一方で、本開示の教示は他のバイザ設定にも適用することができる。例えば、本明細書に記載されるシステムは、パイロットの目に当たる太陽のグレアまたは直射日光を軽減するのを助けるために航空機に適用することができる。また、本明細書に記載されるシステムは、オートバイヘルメットといったヘルメットに適用することもできる。これらのヘルメットは、通常、1つまたは複数の下方折り曲げ式のバイザまたはシールドを有し、本開示の技術を、これらのバイザのうちの1つに実装することができる。
[0052]1つのプロセッサ30が示されている一方で、「プロセッサ」への言及は1つまたは複数のプロセッサを含むことができることが理解されたい。特定の実施形態では、指定されたハードウェアおよび知覚装置と通信するが、それにもかかわらず、本明細書に記載される動作を個別にもまたは集合的にも実施することができる複数のプロセッサを含むことが有利または適切であり得る。
[0053]本明細書で開示されるプロセス、方法、またはアルゴリズムを、任意の既存のプログラマブル電子制御ユニットまたは専用電子制御ユニットを含むことができる処理デバイス、コントローラ、またはコンピュータに提供可能に/それらによって実装することができる。同様に、プロセス、方法、またはアルゴリズムを、ROMデバイスなどの書き込み不可能な記憶媒体に永久的に記憶される情報、およびフロッピーディスク、磁気テープ、CD、RAMデバイス、ならびにその他の磁気および光媒体といった書き込み可能な記憶媒体に変更可能に記憶される情報を含むが、これらに限定されない多くの形態で、コントローラまたはコンピュータによって実行可能なデータおよび命令として記憶することができる。プロセス、方法、またはアルゴリズムを、ソフトウェア実行可能オブジェクトに実装することもできる。あるいは、プロセス、方法またはアルゴリズムを、好適なハードウェア構成要素、例えば、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field-Programmable Gate Array)、ステートマシン、コントローラもしくはその他ハードウェア構成要素もしくはデバイス、またはハードウェア、ソフトウェアおよびファームウェア構成要素の組み合わせを使用して、全体的または部分的に具現化することができる。
[0054]例示的な実施形態を上述したが、これらの実施形態は、特許請求の範囲によって包含されるすべての可能な形態を記載することを意図するものではない。本明細書で使用される用語は、限定ではなく説明の用語であり、本開示の趣旨および範囲から逸脱することなく、様々な変更を行うことができるものと理解される。前述のように、様々な実施形態の特徴を組み合わせて、明示的に記載されず示されてもいないことがある本発明の更なる実施形態を構成することができる。様々な実施形態が、1つまたは複数の所望の特性に関して、利点を提供するものとして、または他の実施形態もしくは従来技術の実施態様よりも好ましいものとして記載されてきたが、当業者は、特定の用途および実施態様に依存する、所望の全体的なシステム属性を達成するために、1つまたは複数の特徴または特性を妥協することができると認める。これらの属性は、コスト、強度、耐久性、ライフサイクルコスト、市場性、外観、パッケージング、サイズ、サービス性、重量、製造性、組み立ての容易さなどを含むことができるが、これらに限定されない。このように、任意の実施形態が、1つまたは複数の特性に関して、他の実施形態または従来技術の実施態様よりも望ましくないものとして記載される程度まで、これらの実施形態は、本開示の範囲外ではなく、特定の用途にとって望ましい可能性がある。
10 仮想バイザシステム
12 キャビン
14 スクリーン
16 フロントガラス
18 ドライバ
20 太陽
22 カメラ
24 照明センサ/光センサ
26 メモリ/記憶装置
28 画像データ
30 プロセッサ
32 ピクセル
34 環境センサ
40 ベゼル
42 電子コネクタ
44 顔認識モデル
50、52 境界ボックス
60 気象モニタ
62 サングラスモニタ
64 昼/夜モニタ
66 モニタ

Claims (20)

  1. 車両内の仮想バイザの消費電力を低減するためのシステムであって、前記システムは、
    ドライバの顔の画像をキャプチャするように構成されるカメラと、
    複数の液晶ディスプレイ(LCD)ピクセルを有するバイザスクリーンであって、各LCDピクセルが、(i)不透明状態では、光が前記バイザスクリーンの対応する領域を通過することを遮断し、(ii)透明状態では、光が前記バイザスクリーンの前記対応する領域を通過することを可能にするように構成される、バイザスクリーンと、
    前記車両の内側または外側の環境をモニタし、前記モニタされた環境に基づいて、前記LCDピクセルが前記不透明状態にある必要性が低減したことを示すトリガ信号を出力するように構成される1つまたは複数のモニタと、
    プロセッサと、を備え、前記プロセッサは、
    キャプチャ画像を処理し、前記処理されたキャプチャ画像に基づいて、前記透明状態と前記不透明状態との間で移行する前記LCDピクセルのグループを選択し、
    前記1つまたは複数のセンサによって出力される前記トリガ信号に応答して、前記キャプチャ画像の前記処理を中止し、前記LCDピクセルを前記透明状態に維持する、
    ように構成される、システム。
  2. 前記カメラが、前記ドライバの目の位置または方向を検出するように構成され、前記プロセッサが、前記検出された目の位置または方向に基づいて、前記LCDピクセルのどのグループを前記不透明状態に移行するかを選択するように構成される、請求項1に記載のシステム。
  3. 前記1つまたは複数のモニタが第1の周波数でデータをサンプリングし、前記プロセッサが、前記第1の周波数よりも大きい第2の周波数で前記キャプチャ画像を処理するように構成される、請求項2に記載のシステム。
  4. 前記1つまたは複数のモニタが第1の周波数でデータをサンプリングし、前記1つまたは複数のコントローラが、前記第1の周波数よりも高い第2の周波数で前記LCDピクセルのどのグループを前記不透明状態に移行するかを選択するように構成される、請求項2に記載のシステム。
  5. 前記プロセッサが、前記1つまたは複数のモニタが前記信号を出力しなくなるまで、前記LCDピクセルのすべてを前記透明状態に維持するように更に構成される、請求項1に記載のシステム。
  6. 前記フロントガラス上の雨に応答して、または周囲光の量が周囲光閾値未満であることに応答して、前記信号を出力するように構成される環境センサを、前記1つまたは複数のモニタが含む、請求項1に記載のシステム。
  7. 前記環境センサが、入射光の位置および光度を確定するように構成される入射光センサを含み、前記プロセッサが、前記周囲光が前記周囲光閾値未満であると共に前記入射光が入射光閾値を超えることに応答して、前記キャプチャ画像を処理し続け、前記処理されたキャプチャ画像に基づいて、前記透明状態と前記不透明状態との間で移行する前記LCDピクセルの前記グループを選択するように構成される、請求項6に記載のシステム。
  8. 車両の仮想バイザを制御する方法であって、
    カメラからドライバの顔の画像をキャプチャするステップと、
    キャプチャ画像上で顔認識を実施して、前記ドライバの目の位置を確定するステップと、
    前記確定された目の位置に基づいて、前記仮想バイザのLCDピクセルのグループを透明状態から不透明状態に移行して、少なくともいくらかの日光が前記目に進入するのを遮断するステップと、
    1つまたは複数のセンサを介して前記車両の内側または外側の環境をモニタするステップと、
    前記LCDピクセルが前記不透明状態にある必要性が低減したことを示す前記モニタされた環境に基づいて、トリガ信号を受信するステップと、
    前記トリガ信号の受信に応答して顔認識を実施する前記ステップを無効にするステップと、
    を含む方法。
  9. 前記トリガ信号が受信されなくなるまで、前記仮想バイザの前記LCDピクセルのすべてを前記透過状態に維持するステップを更に含む、請求項8に記載の方法。
  10. 前記環境をモニタする前記ステップが、周囲光の量を感知することを含む、請求項8に記載の方法。
  11. 前記環境をモニタする前記ステップが、前記キャプチャ画像を処理して、前記ドライバがサングラスを着用していることを確定することを含む、請求項8に記載の方法。
  12. 前記環境をモニタする前記ステップは、GPSを介して前記車両の前記位置を確定することと、前記車両の前記位置の現在の気象条件を確定することとを含む、請求項8に記載の方法。
  13. 顔認識を実施する前記ステップが第1の周波数でプロセッサによって実施され、モニタする前記ステップが、前記第1の周波数未満である第2の周波数で前記1つまたは複数のセンサによって実施される、請求項8に記載の方法。
  14. 命令を記憶するように構成される記録媒体であって、前記命令は、少なくとも1つのプロセッサによって実行されるときに、前記少なくとも1つのプロセッサに、
    カメラを動作させて、車両のドライバの顔の画像をキャプチャすることと、
    キャプチャ画像を処理して、前記ドライバの目の位置を確定することと、
    前記確定された目の位置に基づいて、仮想バイザスクリーンのLCDピクセルのグループに、(i)光が前記仮想バイザスクリーンの対応する領域を透過することを可能にする透明状態と、(ii)光が前記仮想バイザスクリーンの前記対応する領域を透過することを遮断する不透明状態との間で切り替えるよう命令することと、
    1つまたは複数のセンサを動作させて、前記車両の内側または外側の環境をモニタすることと、
    前記LCDピクセルが前記不透明状態にある必要性が低減したことを示す前記モニタされた環境に応答して、前記キャプチャ画像の前記処理を中止することと、を含む動作を実施させる、
    記録媒体。
  15. 前記記録媒体が、更なる命令を記憶するように構成され、前記更なる命令は、前記少なくとも1つのプロセッサによって実行されるときに、前記少なくとも1つのプロセッサに、
    前記LCDピクセルが前記不透明状態にある必要性が低減したことを示す前記モニタされた環境に応答して、前記仮想バイザスクリーンの前記LCDピクセルのすべてを前記透明状態に維持させる、
    請求項14に記載の記録媒体。
  16. 前記記録媒体が、更なる命令を記憶するように構成され、前記更なる命令は、前記少なくとも1つのプロセッサによって実行されるときに、前記少なくとも1つのプロセッサに、
    前記LCDピクセルが前記不透明状態にある必要性が低減したことを、前記モニタされた環境が示さなくなることに応答して、前記キャプチャ画像の前記処理を再開させる、
    請求項15に記載の記録媒体。
  17. 前記1つまたは複数のセンサが周囲光センサを含み、前記キャプチャ画像の前記処理の前記中止が、前記周囲光センサが閾値未満の周辺光の光度を示すことに応答して実施される、請求項14に記載の記録媒体。
  18. 前記キャプチャ画像の前記処理の前記中止が、前記カメラと前記少なくとも1つのプロセッサのうちの1つとがサングラスを着用している前記ドライバを検出することに応答して実施される、請求項14に記載の記録媒体。
  19. 前記キャプチャ画像の前記処理の前記中止が、前記少なくとも1つのプロセッサが前記車両の外が悪天候であることを確定することに応答して実施される、請求項14に記載の記録媒体。
  20. 前記記録媒体が、更なる命令を記憶するように構成され、前記更なる命令は、前記少なくとも1つのプロセッサによって実行されるときに、前記少なくとも1つのプロセッサに、
    前記車両の内側または外側の環境の変化に応答して、前記1つまたは複数のセンサからトリガ信号を出力させ、前記キャプチャ画像の前記処理の前記中止が、前記トリガ信号に応答して実施される、
    請求項14に記載の記録媒体。
JP2022024426A 2021-02-22 2022-02-21 仮想バイザにおける電力使用量の低減 Pending JP2022128437A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/181,237 2021-02-22
US17/181,237 US20220269892A1 (en) 2021-02-22 2021-02-22 Reducing power usage in a virtual visor

Publications (1)

Publication Number Publication Date
JP2022128437A true JP2022128437A (ja) 2022-09-01

Family

ID=80225693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022024426A Pending JP2022128437A (ja) 2021-02-22 2022-02-21 仮想バイザにおける電力使用量の低減

Country Status (5)

Country Link
US (1) US20220269892A1 (ja)
EP (1) EP4046839A1 (ja)
JP (1) JP2022128437A (ja)
KR (1) KR20220120504A (ja)
CN (1) CN114953941A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11897478B2 (en) * 2021-05-13 2024-02-13 Here Global B.V. Method, apparatus and computer program product for determining the presence of precipitation
FR3139304A1 (fr) * 2022-09-07 2024-03-08 Renault S.A.S Agencement comprenant une caméra en zone avant du toit d’un véhicule automobile

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116632A1 (en) * 1997-04-02 2012-05-10 Bechtel Jon H System for controlling vehicle equipment
WO2003074307A1 (en) * 2002-03-07 2003-09-12 Yechezkal Evan Spero Enhanced vision for driving
US8589034B2 (en) * 2008-10-09 2013-11-19 Angela Karen Kwok System and methods for an automated sun glare block area and sunshield in a vehicular windshield
US9298985B2 (en) * 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
DE102011016652A1 (de) * 2011-04-09 2012-10-11 Conti Temic Microelectronic Gmbh Automatische Sonnenblende
JP6586090B2 (ja) * 2014-08-07 2019-10-02 株式会社半導体エネルギー研究所 運転支援システム
US20170363896A1 (en) * 2016-06-20 2017-12-21 Yongwu Yang Sunlight Attenuation Visor
US20180204538A1 (en) * 2017-01-13 2018-07-19 Continental Automotive Systems, Inc. External light dimming system and method
US10699651B2 (en) * 2017-09-22 2020-06-30 Robert Bosch Gmbh Vehicle mounted virtual visor system having a modular liquid crystal display
CN111746238B (zh) * 2020-07-08 2022-04-01 深圳秋田微电子股份有限公司 一种具备梳妆镜功能的自动调光遮阳板

Also Published As

Publication number Publication date
KR20220120504A (ko) 2022-08-30
US20220269892A1 (en) 2022-08-25
EP4046839A1 (en) 2022-08-24
CN114953941A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
JP2022128437A (ja) 仮想バイザにおける電力使用量の低減
US10699651B2 (en) Vehicle mounted virtual visor system having a modular liquid crystal display
US10137830B2 (en) Self-adjusting lighting based on viewing location
US9994091B2 (en) Window system for a passenger compartment of a vehicle
US10377212B2 (en) Dynamic anti-glare system for a windshield of a vehicle
US10319272B1 (en) Vehicular brightness limiting system
JPH11507444A (ja) 光線強度を減少させる装置及び方法
JP4687573B2 (ja) 車両用運転支援装置
CN106994884A (zh) 基于oled显示技术的主动防炫目方法及装置
CN203945946U (zh) 车辆及车用遮阳板系统
CN113059986B (zh) 一种智能高透车载遮阳屏装置
JPWO2018189908A1 (ja) 日除け装置および画像表示モジュール
US20190322162A1 (en) Method for controlling light transmittance
JP7082479B2 (ja) 移動体用表示装置
JP6548765B2 (ja) 日除け装置および画像表示モジュール
JP6302610B1 (ja) 日除け装置
US11714304B2 (en) Helmet with digital visor
JP6564898B2 (ja) 車両の日除け装置
US20220118909A1 (en) Driving assistance system and method for driver
JP6726343B2 (ja) 車両の日除け装置
JP7243379B2 (ja) 調光制御装置、調光システム、調光制御方法、及び制御プログラム
CN107512222A (zh) 一种车辆后视辅助系统及其控制方法
KR20170061245A (ko) 차량용 전면유리의 광량 조절 장치
US11813990B2 (en) Vehicle mounted virtual visor system with optimized blocker pattern
KR20190090229A (ko) 상대 전조등 대응 유리 시스템