JP2020536782A - 自動車のためのユーザ認識及び表現の方法及びシステム - Google Patents

自動車のためのユーザ認識及び表現の方法及びシステム Download PDF

Info

Publication number
JP2020536782A
JP2020536782A JP2020513566A JP2020513566A JP2020536782A JP 2020536782 A JP2020536782 A JP 2020536782A JP 2020513566 A JP2020513566 A JP 2020513566A JP 2020513566 A JP2020513566 A JP 2020513566A JP 2020536782 A JP2020536782 A JP 2020536782A
Authority
JP
Japan
Prior art keywords
user
computer
vehicle
image
legitimate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020513566A
Other languages
English (en)
Inventor
ウォルフラム ルチナー
ウォルフラム ルチナー
エリック ヴァイト
エリック ヴァイト
Original Assignee
バイトン リミテッド
バイトン リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイトン リミテッド, バイトン リミテッド filed Critical バイトン リミテッド
Publication of JP2020536782A publication Critical patent/JP2020536782A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identity check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/84—Vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Lock And Its Accessories (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Collating Specific Patterns (AREA)

Abstract

自動車のためのユーザ認識及び表現の方法及びシステムを開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像に符合するかを決定することにより、ユーザが正規ユーザとして認証された場合に、自動車へのユーザアクセスを許可する。顔面特徴は、顔面特徴を含む２次元（２Ｄ）又は３次元（３Ｄ）画像を含むことができる。コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。ユーザは、自動車の運転者又は同乗者とすることができる。コンピュータはまた、正規ユーザとして認証された場合に運転者又は同乗者に対する設定又は好みを構成することができる。【選択図】 図７Ｂ

Description

本発明の実施形態は、データ及び画像処理、及びユーザ識別、認識、及び認証の分野のものである。より具体的には、本発明の実施形態は、自動車のためのユーザ認識及び表現の方法及びシステムに関する。
自動車は、運転体験を高める高度な電子制御器と組み込みコンピュータとによってより洗練されてきた。そのような制御器及びコンピュータは、個人情報を含む膨大な量の情報へのアクセスをユーザアプリケーションのアレイに提供することができる。これらの電子制御器及びコンピュータに対するセキュリティ及びアクセスは、キー、ドアロックシステム、及びコンピュータへのログイン／パスワードに限定される。キー、ドアロック、及びログイン／パスワードが障害を受けた場合に、不正ユーザ又は運転者は、個人情報に接続された電子制御器及びコンピュータへのアクセスを含む自動車へのアクセス及びエントリを得ることができる。自動車とその電子制御器及びコンピュータとへの正当なアクセスだけを許可するために、自動車には正規運転者又はユーザ識別が必要である。
自動車のためのユーザ認識及び表現の方法及びシステムを開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像と符合するかを決定することによってユーザが正規ユーザとして認証された場合に自動車へのユーザアクセスを許可する。一例として、ユーザ画像は、顔面特徴を含む２次元（２Ｄ）又は３次元（３Ｄ）ユーザ画像を含む。
一例として、コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。一例として、ユーザは、自動車の運転者又は同乗者である。コンピュータはまた、正規ユーザとして認証かつ認識された場合に運転者又は同乗者のための設定又は好みを構成することができる。
一例として、ユーザ取り込みデバイスは、自動車の内側又は外側に位置付けることができる。一例として、ユーザ取り込みデバイスは、例えば、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含むユーザの表現を取り込む。一例として、コンピュータは、取り込まれた表現に基づいて応答を提供することができる（例えば、規定の期間を超えて目が閉じている場合に「あなたは眠り込んでいる」と運転者に警告する音声）。一例として、ユーザ取り込みデバイスは、立体カメラ、ＲＧＢ（赤、緑、青）カメラ、又は赤外線カメラを含む１又は２以上のカメラを含む。ユーザ取り込みデバイスは、赤外線カメラを使用して温度差情報を取り込んで正規ユーザを更に認証かつ認識することができる。
自動車のためのユーザ認識及び表現の他の方法、システム、及びコンピュータ可読媒体を説明する。
添付の図面は例を示しており、従って例示的実施形態であり、範囲を限定するようには見なされない。
ユーザ識別（ＩＤ）デバイスを有する自動車の上面図の一例を示す図である。 ユーザ取り込みデバイス及び動作制御デバイスを有する自動車の内面図の一例を示す図である。 ユーザ取り込みデバイスによるユーザ画像及び特徴の取り込みの例を示す図である。 ユーザ取り込みデバイスによるユーザ画像及び特徴の取り込みの例を示す図である。 ユーザ取り込みデバイスを有する自動車に対する例示的運転者制御環境を示す図である。 ユーザ取り込みデバイスを有する自動車に対する例示的運転者制御環境を示す図である。 図１Ａ〜図３Ｂの自動車に使用することができるデータ処理又はコンピュータシステムアーキテクチャの一例示的ブロック図を示す図である。 図４のデータ処理システムアーキテクチャのためのコンピュータシステムの一例示的ブロック図を示す図である。 自動車に対してユーザを認識してユーザ表現を取り込むコンピュータシステムのブロック図を示す図である。 自動車のユーザの生体走査を登録するための例示的作動の流れ図である。 自動車のユーザを認証する例示的作動の流れ図である。 自動車のユーザを認証する例示的作動の流れ図である。 自動車のユーザの中立及び非中立表情を処理する例示的作動の流れ図である。
自動車のためのユーザ認識及び表現のための実施形態及び実施例を開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像と符合するかを決定することによってユーザが正規ユーザとして認証された場合に自動車へのユーザアクセスを許可することができる。一例として、顔面特徴は、顔面特徴を含む２次元（２Ｄ）又は３次元（３Ｄ）画像を含む。
一例として、コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。一例として、ユーザは、自動車の運転者又は同乗者である。コンピュータはまた、正規ユーザとして認証された場合に自動車の運転者又は同乗者に対する設定又は好みを構成することができる。
本明細書に示すように、様々な実施形態、実施例、及び態様は、以下で議論する詳細を参照して説明し、添付の図面は、様々な実施形態及び実施例を例示することになる。以下の説明及び図面は例示であり、限定として解釈されないものとする。様々な実施形態及び実施例の完全な理解を提供するために多くの具体的な詳細を説明する。しかし、ある一定の事例では、実施形態及び実施例の簡潔な議論を提供するために公知の又は慣例的な詳細は説明しない。
以下の実施例及び実施形態は、自動車のためのユーザ認識及び表現検出技術に向けられるが、そのような技術は、エントリ及びアクセスを必要とするあらゆるタイプの環境に適用することができる。開示する技術は、エントリ及びアクセスのためのキーを要求することを回避し、かつ不正ユーザからの電子制御器及びコンピュータのなりすまし及び不正使用を防止することができる。
ユーザ認識及び表現検出を有する例示的自動車
図１Ａ〜１Ｂは、ユーザ識別（ＩＤ）及び動作制御デバイスを有する自動車１１０の上面図及び内面図（１００及び１５０）の例を示している。一例として、１又は２以上のユーザ（例えば、運転者又は同乗者）は、自動車にアクセスしてそれを使用するために登録された生体走査情報を有することができる。一例として、生体走査情報は、安全なデータベースに又は安全なクラウドストレージに格納することができる。生体走査情報の例は、ユーザの２Ｄ又は３Ｄ顔面画像を含むユーザの２次元（２Ｄ）又は３次元画像を含むことができる。
ユーザに対する生体走査情報の登録は、自動車１１０の購入又は注文に使用されるアプリケーションによって開始することができる。例えば、自動車１１０が購入かつ配送された状態で、例えば、個人識別及びパスワード認証、指紋認証、又は２段認証を有する自動車１１０に対して認証されたモバイルデバイス、例えば、モバイル電話、タブレットコンピュータ、ラップトップコンピュータなど上で実行されるプリケーションは、デバイス上の１又は２以上のカメラを使用してユーザの画像を取り込み、正規ユーザとして自動車１１０のための安全な環境に画像を格納かつ登録することができる。登録される正規ユーザは、自動車１１０の運転を許可される又は自動車１１０の運転を制限されるものとして登録することができる。例えば、自動車１１０を運転するために夫と妻の両方を登録することができるが、全ての子供には自動車１１０を運転する権限がない。一例として、自動車１１０は、ユーザの画像を取り込むために１又は２以上のカメラを含み、その画像を自動車のために正規ユーザとして格納かつ登録することができる。
図１Ａを参照すると、上面図１００は、自動車１１０の右側と左側の両方に形成されたピラーＡ、Ｂ、及びＣ（１０１、１０２、１０３）を有する自動車１１０を示している。一例として、複数のユーザＩＤデバイス（１０７−Ａ〜１０７−Ｄ）は、自動車の異なる位置に装着することができ、異なる位置でそれらを使用して自動車１１０のユーザ（例えば、運転者又は同乗者）を識別、認識、及び認証し、自動車２２０内の制御器及びコンピュータへのアクセスを含む自動車１１０へのエントリ及びアクセスを許可することができる。同じく、ユーザＩＤデバイス１０７−Ａ〜１０７−Ｄを使用して、正規ユーザとして自動車１１０に登録された１又は２以上のユーザの画像を取り込むことができる。例えば、ユーザは、ユーザＩＤデバイス１０７−Ｂに近づいて、自動車１１０と共に認証されたモバイルデバイス上で作動しているアプリケーション上で生体走査登録を開始することができ、その場合に、ユーザＩＤデバイス１０７−Ｂは、ユーザの画像を取り込んで正規ユーザとして自動車１１０に対して格納かつ登録する。
各ユーザＩＤデバイス１０７−Ａ〜１０７−Ｄは、２Ｄ又は３Ｄ顔面画像及び特徴を含むユーザ生体走査情報と温度差情報とを取り込むために、例えば、ステレオカメラ、ＲＧＢ（赤、緑、青）カメラ、又は赤外線カメラのような１又は２以上のカメラを含むことができる。カメラは、図１Ａ〜８に説明する技術及び作動を使用してそれを実施するように構成されたそれぞれのハードウエア及びソフトウエアを含むあらゆるタイプの市販カメラとすることができる。一例として、取り込まれたユーザ画像は、格納又は登録されたユーザ画像、例えば、データベースに格納されたユーザ画像と比較され、取り込まれた画像が格納された画像と符合するかを決定し、符合が存在する場合は正規ユーザとしてユーザを認証することができる。正規ユーザとして認証された場合に、自動車１１０は、ユーザにアクセス及びエントリを許可することができる。このようにして、例えば、自動車１１０の運転者又は同乗者のような正規ユーザを検出してそれを認識するのに使用されるユーザの画像を取り込むユーザＩＤデバイス１０７−Ａ〜１０７−Ｄを有することにより、自動車１１０のためのキーは必要ない。
図１Ａの上面図１００により、ユーザＩＤデバイス１０７−Ｃ及び１０７−Ｄは、自動車１１０の両側のドア間のピラーＢ（１０２）上に位置付けられ、自動車１１０の右側又は左側に近づくユーザを識別かつ認識することができる。一例として、運転者側のドア支持体に装着されて位置付けられたユーザＩＤデバイス１０７−Ｂは、近づく運転者を検出し、その個人が自動車にアクセスして入ることができる正規の許可された個人であるか否かを決定することができる。例えば、ユーザＩＤデバイス１０７−Ｂ、１０７−Ｃ、又は１０７−Ｄによって正規ユーザとして識別かつ認識された場合に、自動車１１０は、ユーザに自動車１１０のキーを挿入させる又は起動させる代わりに、ユーザのためにドアを自動的に解錠することができる。一例として、ピラーＡ（１０１）に接続されたユーザＩＤデバイス１０７−Ａは、後端から自動車に近づくユーザ（運転者）を検出することができる。ユーザＩＤデバイス１０７−Ａ〜１０７−Ｄの各々は、自動車１１０の施錠システム及び機構を含む自動車１１０のコンピュータシステムと結合されてそれと通信することができ、例えば、取り込まれたユーザ画像をデータベースに格納されたユーザ画像と照合することによって正規ユーザが検出された場合に、自動車１１０のための施錠システム及び機構は、そのような正規ユーザのためにそれぞれのドアを自動的に解錠し、自動車１１０へのアクセスを許可することができる。一例として、正規運転者と識別された正規ユーザだけが、運転制御器にアクセスして自動車１１０を運転することができる。
図１Ｂを参照すると、自動車１１０の内面図１５０は、後部座席の視点からダッシュボード１３７に向けて示されている。一例として、自動車１１０は、複数のユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃ及び動作制御デバイス１２７−Ａ〜１２７−Ｃを含む。一例として、ユーザ取り込みデバイス１１７−Ａは、ダッシュボード１３７の上方のフロントガラスの上部に位置付けられ、ユーザ取り込みデバイス１１７−Ｂ及び１１７−Ｃは、運転席及び助手席のヘッドレストの裏側に位置付けられる。各ユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃは、ユーザ画像（例えば、ユーザの顔面画像、表現、及び特徴）又は熱差情報（例えば、ユーザの頭部及び周辺区域の温度差情報）を取り込むために１又は２以上のステレオカメラ、ＲＧＢ（赤、緑、青）カメラ、又は赤外線カメラを含むことができる。
一例として、ユーザ取り込みデバイス１１７−Ａは、運転者又は同乗者のユーザ画像を取り込んでそのユーザを正規ユーザとして識別かつ認識することができる。一例として、ユーザが正規ユーザであると決定された場合に、自動車１１０のためのコンピュータシステム及び制御器は、運転者又は同乗者としてのユーザのための設定及び好みを構成することができる。例えば、運転者は、温度制御器を涼しくしたいと望む場合があり、設定及び好みは、認識された運転者に基づいて設定することができる。同乗者はまた、認識された同乗者のために自動車１１０内のディスプレイ上に設定することができるある一定の音楽及び音楽制御器を選択することができる。一例として、正規運転者と識別された正規ユーザだけが、自動車１１０の運転制御器にアクセスすることができ、かつ自動車１１０を運転することができる。
一例として、ユーザ取り込みデバイス１１７−Ａは、例えば、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いのようなユーザの１又は２以上の画像又は表現（例えば、運転者又は同乗者の表現）を取り込むことができる。一例として、自動車１１０のためのコンピュータシステム及び制御器は、例えば、眠り込んだ場合に音声警告を与える又は音楽の音が大きすぎてイライラした表現を認識した場合にラジオの音量を下げるなど、取り込まれたユーザ表現に応答することができる。コンピュータシステム及び制御器は、自動車１１０の各正規ユーザに対してあらゆる望ましい方式でかつ個別に応答するようにプログラムすることができる。
一例として、ユーザ取り込みデバイス１１７−Ｂ及び１１７−Ｃは、運転者席及び助手席の後ろの同乗者に対して、ユーザ取り込みデバイス１１７−Ａと同様に作動し、ディスプレイコンピュータ１５１−Ａ及び１５１−Ｂに対する設定及び好みも、後部座席内の認識されたユーザの設定及び好みに応じて設定することができる。一例として、ユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃは、赤外線カメラを含み、例えば、ユーザが発熱で具合が悪い場合に、健康状態を決定するのにユーザの温度差情報を検出することができる。
一例として、自動車１１０は、自動車１１０のダッシュボードの下方に位置付けられた動作制御デバイス１２７−Ａ〜１２７−Ｃと、ディスプレイコンピュータ１５１−Ａ及び１５１−Ｂとを含む。これらの動作制御デバイス１２７−Ａ〜１２７−Ｃの各々は、自動車１１０のダッシュボードのディスプレイ又はディスプレイコンピュータ１５１−Ａ及び１５１−Ｂ上に提供される機能、アプリケーション、情報、オプション、アイコン、又はオブジェクトを制御又はアクセスする際のユーザ（例えば、自動車１１０の運転者又は同乗者）の手の動作／運動を検出するために１又は２以上のカメラ（例えば、飛行時間ＴＯＦカメラ）又は運動センサを含むことができる。一例として、動作制御デバイス１２７−Ａ〜１２７−Ｃは、ダッシュボード１３７のディスプレイ又はディスプレイコンピュータ１５１−Ａ及び１５１−Ｂ上でインタフェースの動作制御を実施するためにＩｎｔｅｌ Ｒｅａｌｓｅｎｓｅ（登録商標）からのハードウエア及びソフトウエアを含むことができる。
例示的ユーザ特徴及び表現
図２Ａ〜２Ｂは、ユーザ取り込みデバイス２０７によるユーザ画像及び特徴の取り込み例を示している。図２Ａを参照すると、ユーザ頭部２０１が３次元的に描かれている。一例として、ユーザ取り込みデバイス２０７は、ユーザ頭部２０１の顔面特徴２１１を含む２次元（２Ｄ）又は３次元（３Ｄ）の画像を取り込むことができる。ユーザ頭部２０１は、自動車１１０の運転者又は同乗者とすることができるユーザの頭部を示すように描かれ、ユーザ取り込みデバイス２０７によって識別又は認識される。ユーザ取り込みデバイス２０７は、図１に示すユーザＩＤデバイス１０７−Ａ〜１０７−Ｄ又は図１Ｂに示すユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃと同様に１又は２以上のカメラを含むことができる。
一例として、ユーザ取り込みデバイス２０７は、２Ｄユーザ特徴（例えば、２Ｄ顔面特徴２１１）を取り込むためのあらゆるタイプのＲＧＢカメラ、又はユーザ頭部２０１の３Ｄユーザ特徴（例えば、３Ｄ顔面特徴２１１）を取り込むための立体カメラを含むことができる。ユーザ画像での顔面特徴の例は、例えば、ユーザ頭部２０１の鼻、口、耳、目、眉毛、唇、頬、あざ、顔の幅、頭のサイズ、髪の色などの形状、サイズ、及び寸法を含むことができる。一例として、２Ｄ又は３Ｄユーザ画像及び顔面特徴の情報は、自動車１１０のユーザに対する生体走査情報の登録中に格納することができ、この生体走査情報は、自動車１１０内の安全なデータベース内に又は遠隔的に安全なクラウド環境に格納されるものとすることができる。一例として、ユーザ取り込みデバイス２０７を使用してユーザ頭部２０１の顔面特徴を識別かつ認識し、自動車１１０の正規ユーザとしてユーザを認証する時に、そのような特徴がユーザに関するデータベースに格納された特徴と符合するかを決定することができる。例えば、ＯｐｅｎＣＶソフトウエアによって提供されるオープンソースの顔面認識アルゴリズムのようなあらゆるタイプの顔面特徴認識アルゴリズムを使用することができる。一例として、ユーザ取り込みデバイス２０７は、自動車１１０の正規同乗者である可能性がある子供の顔面画像を取り込むことができるが、自動車１１０コンピュータは、子供を運転者制御器から及び自動車１１０を運転することから拒否かつ防止することができる。
一例では、ユーザ取り込みデバイス２０７を使用してユーザ画像を取り込み、ユーザの表現を検出することができる。例えば、ユーザ取り込みデバイスは、ユーザによる自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、悲しみ、疲労、怒り、ストレス、又は身震いを取り込むことができる。一例として、取り込まれた表現は、応答を提供する時に自動車１１０内のコンピュータシステムによって処理かつ分析することができ、又は応答は必要とされない。例えば、運転者が眠り込んでいることを示してユーザの目が規定の期間にわたって閉じているのを取り込みデバイス２０７が取り込んだ場合に、自動車のためのコンピュータ１１０は、「ティムさん、起きてください、眠り込んでいますよ」のような音声応答を提供することによって応答することができる。他の応答は、ディスプレイ上のメッセージ、ディスプレイ上のライト点滅、設定及び好みの変更などを含むことができる。
図２Ｂを参照すると、一例として、ユーザ取り込みデバイス２０７は、温度情報２０３を取り込むことができる赤外線カメラを含むことができる。そのような情報は、温度差情報を含むことができる。例えば、個人は、無生物とは異なる温度差の赤外線画像を有することになる。このタイプの温度情報２０３は、更に、ユーザ頭部２０１が正規ユーザと符合するかを決定するのに使用することができ、なりすましを検出することができる。ユーザ取り込みデバイス２０７を自動車１１０の内側及び外側に設置し、ユーザ頭部２０１のユーザ画像を取り込むように位置合わせすることができる。同じく、温度情報を自動車１１０のユーザ間で比較して運転席又は同乗者席のユーザの健康状態を決定することができる。
ユーザ取り込みデバイスを有する例示的運転者制御環境
図３Ａ〜３Ｂは、ユーザ取り込みデバイス３０７を有する自動車（例えば、自動車１１０）のための例示的運転者制御環境を示している。
図３Ａを参照すると、運転者制御環境３００が前部座席の視点から示されている。一例として、運転者制御環境３００は、ハンドル３１２及び「端から端まで」ディスプレイ３０２を有する自動車ダッシュボード３３７を含む。端から端までディスプレイ３０２は、３つの表示区域：表示区域１（３０４）、２（３０６）及び３（３０８）を含む。図示しないが、自動車ダッシュボード３３７内では、自動車の制御及びアプリケーションを提供する別のコンピュータデバイス（コンピュータ）を含むことができる。一例として、ユーザ取り込みデバイス３０７は、ダッシュボード３３７の上方に装着かつ位置付けることができ、ユーザ（例えば、前部座席の運転者又は同乗者）の画像又は表現を取り込むために１又は２以上のカメラを含む。動作制御デバイス３２７は、自動車ダッシュボード３３２上の端から端までディスプレイ３０２の下方に装着することができる。動作制御デバイス３２７は、端から端までディスプレイ３０２の表示区域１〜３（３０４、３０６、及び３０８）上のアプリケーション及びインタフェースにアクセスしてそれを制御するために、例えば、ユーザの手の動作を取り込むために１又は２以上の運動カメラ（例えば、飛行時間ＴＯＦカメラ）及びセンサを含むことができる。
一例として、ユーザ取り込みデバイス３０７は、自動車ダッシュボード３３２の上方に、例えば、自動車のフロントガラス上に装着することができ、１又は２以上のカメラを含み、図１Ａ〜２Ｂに説明したユーザ取り込みデバイスと同様に作動してユーザの画像、特徴、及び表現を取り込むことができる。ユーザ取り込みデバイス３０７は、図２Ａ〜２Ｂに示すように、ユーザ画像と運転者又は前部座席同乗者の表現とを取り込むために位置合わせされるように位置付ける又は装着することができる。ユーザ取り込みデバイス３０７の他の場所は、ダッシュボード３３７、ハンドル３１２の左側ピラー（自動車の内側又は外側）、助手席の右側ピラー（自動車の内側又は外側）上とすることができる。図示しないが、他のカメラを自動車の内部又は外部に取り付けて、端から端までディスプレイ３０２に、例えば表示区域１（３０４）の左側に表示することができる側方視野及び後方視野画像を取得し、サイドミラー及びバックミラーを使用する必要性を回避することができる。
図３Ｂを参照すると、運転者制御環境３５０は、自動車ダッシュボード３３７上の端から端までディスプレイ３０２上に設けられたユーザインタフェース及びアプリケーションを有して前方視野の視点から示されている。ハンドル３１２及び運転者タブレット３１０は、ダッシュボード３３７に装着される。運転者タブレット３１０は、自動車（例えば、自動車１１０）に対する設定及び好みを含む制御器にアクセスするための運転者インタフェースを提供することができる。一例として、ユーザ取り込みデバイス３７７は、１又は２以上のカメラを有してダッシュボード３３７の上に位置付けられて位置決めされ、運転者（例えば、識別する運転者３７１「ティム」又は識別する同乗者３８１「ジェニー」）を検出かつ識別することができる。一例として、ティムは、ユーザ取り込みデバイス３７７を使用して正規のユーザ又は運転者として一度認証される（例えば、ティムのユーザ画像を格納されたユーザ画像と照合してティムを正規ユーザとして検出する）。ユーザ取り込みデバイス３７７はまた、運転者又は同乗者、例えば、ティム又はジェニーの表現を取り込み、例えば、運転者が眠り込んでいる場合は音声警告のような応答を与えることができる。他の例では、子供が運転席に座っている場合に、ユーザ取り込みデバイス３３７は子供の画像を取り込むことができ、運転者タブレット３１０又は自動車コンピュータは、子供を検出し、運転者タブレット３１０又は端から端までディスプレイ３０２に対する制御を拒否し、子供が自動車を運転する又はその制御器のいずれかにアクセスすることを防ぐことができる。
一例として、正規運転者、例えば、ティムとして認証された状態で、運転者タブレット３１０又は自動車コンピュータ（例えば、自動車ダッシュボード３３７内）は、端から端までディスプレイ３０２上の制御インタフェースに対する設定及び好みを含むティムの設定及び好みを構成することができる。例えば、表示区域３（３０８）に示すように、娯楽設定は、表示区域３（３０８）及びティムのための対応する回転多面体３１７に示すような音楽、オーディオブック、映画、ゲームに関する好みを有するティムに対して設定することができる。同乗者、例えば、ジェニーも、認証された状態で端から端までディスプレイ３０２上にジェニーのために指定された設定及び好みを有することができる。設定及び好みの例は、端から端までディスプレイ３０２上の個人用ユーザインタフェ−ス、個人用座席制御器、個人用ハンドル制御器、ペダル場所、個人用温度制御器、個人用電話インタフェース、個人用マッピングなどを含むことができる。
一例として、動作制御デバイス３２７は、１又は２以上のカメラ及び運動センサを有して自動車のダッシュボード３３７の下方に位置付けられて位置決めされ、手の動作及びユーザの手３０７の運動を検出する。例えば、ユーザの手３０７は、運転者又は同乗者（例えば、正規ユーザとして正しく認識された）の手を表すことができ、動作制御デバイス３２７は、端から端までディスプレイ３０２上に提供される機能、アプリケーション、情報、オプション、アイコン、又はオブジェクトを制御する又はそれらにアクセスするためにユーザの動作（例えば、ユーザの手３０７の動作）を取り込むことができる。一例として、動作制御デバイス３２７は、Ｉｎｔｅｌ Ｒｅａｌｓｅｎｓｅ（登録商標）からのハードウエア及びソフトウエアを含むことができ、ユーザ取り込みデバイス３７７は、例えば、飛行時間ＴＯＦカメラのような１又は２以上のカメラを含むことができる。
一例として、運転者タブレット３１０は、タブレットコンピュータであり、触覚フィードバック及び制御器を有するタッチスクリーンを提供することができる。運転者タブレット３１０は、正規ユーザが識別かつ認証され、例えば識別された運転者３７１ティム又は識別された同乗者３８１ジェニーである状態で設定することができる温度制御及び環境１００の様々な設定のような主要な車両機能制御を運転者又はユーザに提供することができる。運転者タブレット３１０は、自動車ダッシュボード３３７内の自動車コンピュータ（図示せず）、ユーザ取り込みデバイス３７７、又は動作制御デバイス３２７に結合することができる。運転者タブレット３１０、自動車コンピュータ、又はその両方は、運転者（例えば、ティム）又は同乗者（例えば、ジェニー）を認識し、運転者又は同乗者が動作制御デバイス３２７を使用して端から端までディスプレイ３０２にアクセス可能であるように構成することができる。一例として、運転者タブレット３１０は、そのタッチスクリーン上にあらゆる数の表示、オブジェクト、アイコン、又はボタンを設けて機能、ナビゲーションユーザインタフェース、モバイル電話３３３とのＢｌｕｅｔｏｏｔｈ接続を通して電話の呼出しに応答し、又はスマートウォッチのようなウェアラブルデバイスから例えば心拍動又は上った階段の数といった活動情報のようなデータ又は情報を受信するための電話制御ユーザインタフェースを提供することができる。
端から端までディスプレイ３０２は、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、又は量子ドットディスプレイを含むことができ、これらは自動車ダッシュボード３３７の一端から他端まで延びることができる。一例として、端から端までディスプレイ３０２は、自動車ダッシュボード３３７の幅に組み込まれた湾曲ディスプレイとすることができ、その幅にわたって延びる。端から端までディスプレイ３０２の表示区域１（３０４）、２（３０６）、及び３（３０８）のような複数の表示区域には、１又は２以上のグラフィカルユーザインタフェースを設けることができる。そのようなグラフィカルユーザインタフェースは、例えば、表示区域１（３０４）及び３（３０８）に示すステータスメニューを含むことができる。
一例として、表示区域１（３０４）は、後方視野又は側方視野画像を取り込むために、自動車の外側又は内側に設置可能な１又は２以上のカメラからの車両又は自動車の後方視野又は側方視野画像を表示することができる。一例では、表示区域２（３０６）は、点及び線で定められた多角形面を有する回転多面体３１７のような回転可能な３次元オブジェクトを提供かつ表示することができる。これに代えて、表示区域３（３０８）は、回転多面体３２７を表示することができる。回転多面体３１７は、空間に浮かんでいるように表示区域２（３０６）に現れ、一定又は可変の速度で回転することができる。
一例として、回転多面体３１７は、１又は２以上の面、点、及び線を使用して情報の群を提供することができ、それにより、正規ユーザとして認証された各ユーザ（運転者又は同乗者）に様々なパラメータ及び様々なタイプのユーザ情報の有形形態を与えることができる。すなわち、自動車の各認証ユーザ又は正規ユーザは、表示区域２（３０６）及び表示区域３（３０８）に示すユーザ情報及びアプリケーションにアクセスかつ制御するために個人用回転多面体３１７を有することができる。例えば、あらゆる数の運転者又はユーザを顔面特徴又は表情のような格納された生体走査情報と共にデータベースに登録することができる。ユーザ取り込みデバイス３７７は、ユーザを正規として識別、認識、及び認証するのに使用することができ、運転者タブレット３１０は、各正規ユーザに個人用多面体３１７を提供することができる。
正規ユーザ（例えば、正規の運転者又は同乗者）毎に関連付けて個別化することができる情報又はアプリケーションのタイプ又は群の例は、表示区域２（３０６）に示すように回転多面体３１７上の対応する面と共に「私の娯楽」、「私の活動」、「私の健康」のようなユーザ情報及びアプリケーションを含むことができる。回転多面体３１７上の多角形面を定める点又は線、及び点及び線の数は、「私の娯楽」、「私の活動」、及び「私の健康」のようなユーザ情報に関する様々なパラメータを表現することができる。例えば、「私の健康」に対する多角形面を定める点の数は、正規ユーザに対する健康情報のカテゴリの数を示すことができる。
一例として、運転者又はユーザの手３０７は、動作制御デバイス３２７で取り込まれる手の動作を使用してあらゆる軸に沿って多面体３２７を回転させ、多面体３２７の望ましい面を前景に、例えば、表示区域２の前景に移動することによってユーザ情報又はアプリケーションを選択することができる。図３Ｂを参照すると、「私の娯楽」の面は、それが選択されたユーザ情報又はアプリケーションであることを示して前景にある。一例として、選択されたユーザ情報又はアプリケーションがユーザの手によって前景に、例えば、「私の娯楽」に位置決めされた状態で、ユーザ情報又はアプリケーションのアイコン、カテゴリ、項目、制御器などが表示区域３（３０８）に示される。他の例では、制御オブジェクト又はカーソル又はアバターを端から端までディスプレイ３０２に表示して多面体３２７上の面を選択することができる。多面体を回転させるユーザ動作の例は、手又は指を左から右へ又はその逆に移動し、それに応じて多面体３１７を回転させることを含む。他の運動を認識して多面体３１７を異なる軸に沿って回転させ、多面体３１７の望ましい面を前景に移動して望ましいユーザ情報又はアプリケーション、例えば、「私の娯楽」を選択することができる。多面体３１７の望ましい面が前景に来た状態で、ユーザは、自分の手３０７で把持及び解放運動を与えて、選択されたユーザ情報又はアプリケーションに関する追加の情報を取得することができる。
図３Ｂを参照すると、例えば、「私の娯楽」にアクセスする時に、「私の娯楽」の多角形面は、ユーザに対する４つのパラメータ又はカテゴリに対応することができる４つの点又は辺を含み、例えば、「音楽」、「オーディオブック」、「映画」、及び「ゲーム」が表示区域３（３０８）に示される。運転者又はユーザは、自分の手３０７で合図して「私の娯楽」の面が前景に来るように多面体３１７を回転させ、「私の娯楽」を選択して表示区域３（３０８）に「私の娯楽」に関する具体的な項目を表示することができる。次に運転者又はユーザは、動作制御デバイス３２７によって取り込まれる表示区域３（３０８）に自分の手３０７で合図し、例えば、表示区域３（３０８）の音楽カテゴリ下にある特定の音楽項目にアクセスして再生することができる。同様に「私の活動」及び「私の健康」は、例えば、通話、心拍動、上った階段の数のようなユーザ情報の４つの異なるパラメータ又はカテゴリを表すことができる４つの点及び線を含む。他の例では、点はユーザの体重、ユーザの心拍数などを表すことができる。点及び線の数により、回転多面体３１７の形状を変えて修正することができる。例えば、より多くの点が健康関連である場合に、「私の健康」に対する多角形面は、より大きい面と共に多くの点及び線を有する多角形表面を有することができる。
「私の娯楽」の例に言及すると、ユーザが映画を見る場合に、回転多面体３１７の「私の娯楽」の面にデータ点を生成することができる。「私の活動」の例に言及すると、モバイル電話の不在着信に対してデータ点を生成することができる。未読のテキストメッセージを示すデータ点も生成することができる。「私の健康」の例では、ユーザ体重の表示のような回転多面体３１７上のいくつかの点を予め構成することができる。他の例では、運転者又はユーザは、運転者タブレット３１０を通して、例えば、血圧を示す点又は健康目的で歩数を把握する点のような点を追加することができる。点の追加により、回転多面体１１７上の「私の健康」に対する多角形面を変えることができる。各運転者又はユーザは、端から端までディスプレイ３０２上で回転多面体３１７を描写する時に最小数の基準点を生成することができるユーザアカウントを有することができる。運転者又はユーザはまた、例えば、不在着信のようなピン留めすべき特定タイプの情報に関して点を追加することができる。
カテゴリ、関連情報、及びパラメータは、ユーザが運転者タブレット３１０で生成又は入力するか、又は情報を制御して端から端までディスプレイ３０２に提供する運転者タブレット１１０に、例えば、モバイル電話３３３又はスマートウォッチ３１３（又はあらゆる他のモバイルコンピュータデバイス）を使用してダウンロード又は入力することができる。一例として、ユーザ又は運転者が認証又は識別された後で、回転多面体３１７に対して情報及びパラメータを生成又は入力することができ、これらは、運転者タブレット３１０に格納された又は結合された１又は２以上のメモリ又はデータベースに格納することができる。各ユーザ又は運転者に対して、個人用回転多面体３１７を提供し、かつそれぞれの個人情報及びパラメータ、例えば、心拍動、心拍数などに関連付けることができる。例えば、各ユーザ又は運転者はデータ点を生成することができ、又はデータ点は自動的に生成可能であり、それにより、回転多面体３１７の形状は変わるとすることができる。回転多面体３１７の使用に関する実施例及び実施形態は、ディスプレイの乱雑さを低減するためにデスクトップ、ラップトップ、タブレット、ネットブック、モバイル電話、及びデバイスのためのディスプレイインタフェースのようなあらゆるディスプレイインタフェース環境に使用することができる。
例示的データ処理及びコンピュータシステムアーキテクチャ
図４は、図１Ａ〜１Ｂ及び３Ａ〜３Ｂの例示的環境１００、１５０、３００、及び３５０のためのデータ処理（又はコンピュータシステム）アーキテクチャ４００の一例示的ブロック図を示している。一例として、データ処理システムアーキテクチャ４００は、図１Ｂ，３Ａ〜３Ｂのダッシュボード１３７、３３７内の自動車１１０のためのコンピュータシステムを表すことができる。他の例では、アーキテクチャ４００は、図１Ａ〜１Ｂ及び２の運転者タブレット３１０又はディスプレイコンピュータ２１０に対するコンピュータシステムを表すことができる。
図４を参照すると、データ処理システムアーキテクチャ４００は、プロセッサ４１２と、リアルタイム作動システム４１０と、ＨＭＩミドルウェア４０２、仮想マシン４０４及び仮想デバイス環境４０６に結合された処理間通信４０８と、セキュリティ／オンラインサービス４１４とを含む。プロセッサ４１２は、本明細書に開示する技術及び作動を実行するように構成されたＡＲＭ（登録商標）、ｎＶｉｄｉａ（登録商標）、又はＩｎｔｅｌ（登録商標）のマイクロプロセッサ又は中央演算処理ユニット（ＣＰＵ）のあらゆるタイプを含むことができる。一例として、プロセッサ４１２は、図３Ａ〜３Ｂの端から端までディスプレイ３０２に示すようなグラフィカルユーザインタフェース及び制御器を提供する自動車に使用可能なグラフィカル処理ユニット（ＧＰＵ）アーキテクチャを提供するｎＶｉｄｉａ Ｔｅｇｒａ（登録商標）のようなシステムオンチップ（ＳＯＣ）を含むことができる。一例として、プロセッサ４１２はまた、本明細書に開示する技術及び作動を実施するように構成された端から端までディスプレイ３０２に高度なグラフィック及びコンピュータビジョンナビゲーションを提供するｎＶｉｄｉａ Ｄｒｉｖｅ ＣＸハードウエア及びソフトウエアソリューションを含むことができる。プロセッサ４１２はまた、本明細書に開示する技術及び作動を使用して構成された自動車に情報及び娯楽特徴を提供するＩｎｔｅｌ Ｉｎ−Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｔａｉｎｍｅｎｔ（ＩＶＩ）（登録商標）又はｎＶｉｄｉａ Ｄｒｉｖｅ ＣＸ（登録商標）の処理アーキテクチャ及びソフトウエアを含むことができる。
一例として、リアルタイムオペレーティングシステム４１０は、セキュリティ／オンラインサービス４１４を通じたクラウド接続と仮想デバイス環境４０６を通じた仮想デバイス通信とを提供することができるＵｎｉｘ（登録商標）ベースのオペレーティングシステムとすることができる。セキュリティ／オンラインサービス４１４は、スマートアンテナを含み、Ｌｏｎｇ−Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）標準のような高速無線通信を使用するユーザ認証を必要とする外部クラウドサービスへの安全なゲートウェイを提供することができる。Ｂｌｕｅｔｏｏｔｈ（登録商標）通信も、データ処理システムアーキテクチャ４００のセキュリティ／オンラインサービス４１４で提供することができる。仮想デバイス環境４０６は、例えば、データ処理システムアーキテクチャ４００と通信可能なデバイス及び仮想マシンのＡｎｄｒｉｏｄ（登録商標）ベースの環境を含むことができる。
ヒューマンマシンインタフェース（ＨＭＩ）ミドルウェア４０２は、運転者又はユーザにグラフィカルユーザインタフェース及び制御器又は環境１００及び運転者タブレット１１０を提供するソフトウエアを含むことができる。一例として、ＨＭＩミドルウェア４０２は、本明細書に開示する技術及び作動に基づいて図３Ａ〜３Ｂの端から端までディスプレイ３０２にユーザインタフェース及び制御器を提供するように構成されたＵｎｉｔｙ（登録商標）ソフトウエア又はＳｏｆｔｋｉｎｅｔｉｃｓ（登録商標）ソフトウエアを含むことができる。ＨＭＩミドルウェア４０２はまた、図１Ａ〜３Ｂに説明するようなユーザＩＤデバイス１０７−Ａ〜１０７−Ｄ、ユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃ、ユーザ取り込みデバイス２０７、及びユーザ取り込みデバイス３０７及び３７７が受信した２Ｄ及び３Ｄ顔面特徴、表情、及び温度情報を含む取り込まれたユーザ画像を処理かつ分析するソフトウエアを含むことができる。一例として、仮想マシン４０４は、Ｕｎｉｔｙ（登録商標）又はＳｏｆｔｋｉｎｅｔｉｃｓ（登録商標）ソフトウエアのようなＨＭＩミドルウェア４０２と処理通信４０８とを使用して自動車１１０の運転者タブレット１１０又は他のコンピュータデバイス、又は端から端までディスプレイ３０２に対するユーザインタフェースアプリケーションとして作動することができる。ＨＭＩミドルウェア４０２はまた、例えば、手の動作を認識して端から端までディスプレイ３０２上のインタフェースを制御するように構成されＩｎｔｅｌ Ｒｅａｌｓｅｎｓｅ（登録商標）ソフトウエア及びハードウエアを使用して動作制御デバイス３２７によって取り込まれた画像からユーザの動作を認識するソフトウエアを含むことができる。
図５は、図４のデータ処理システムアーキテクチャのためのコンピュータシステムの一例示的ブロック図を示している。例えば、コンピュータシステム５００は、図１Ｂ、３Ａ〜３Ｂのダッシュボード１３７、３３７内にある自動車１１０のための自動車コンピュータ、又は運転者タブレット１１０、３１０、又はディスプレイコンピュータ１５１−Ａ、１５１Ｂのようなコンピュータに使用される様々な構成要素を表すことができる。図５は、データ処理又はコンピュータシステムの様々な構成要素を示すが、構成要素は、それらを相互接続する特定のアーキテクチャ又は方法を表すことを意図したものではなく、なぜならばそのような詳細は、開示する実施例又は実施形態にあまり関連しないからである。より少ない構成要素又は場合によってはより多くの構成要素を有するネットワークコンピュータ及び他のデータ処理システム又は他の消費者向け電子デバイスも、開示する実施例及び実施形態と共に使用することができる。
図５を参照すると、データ処理又はコンピュータシステムの一形態であるコンピュータシステム５００は、キャッシュ５０４に結合されたプロセッサ５０２に結合されたバス５０３、ディスプレイ５１５に結合されたディスプレイコントローラ５１４、ネットワークインタフェース５１７、不揮発性ストレージ５０６、メモリ５１０に結合されたメモリコントローラ、Ｉ／Ｏデバイス５２０に結合されたＩ／Ｏコントローラ４１８、及びデータベース５１２を含む。プロセッサ５０２は、１又は２以上の中央演算処理ユニット（ＣＰＵ）、グラフィカル処理ユニット（ＧＰＵ）、専用プロセッサ、又はそれらのあらゆる組合せを含むことができる。プロセッサ５０２は、不揮発性ストレージ５０６、メモリ５１０、又はデータベース５１２を含むメモリのいずれかから命令を取得し、その命令を実行して開示する実施例及び実施形態に説明する作動を行うことができる。
Ｉ／Ｏデバイス５２０の例は、マウス、キーボード、プリンタ、及びＩ／Ｏコントローラ５１８によって制御される他の類似のデバイスを含む。ネットワークインタフェース５１７は、モデム、有線及び無線送受信機を含み、有線又は無線ＷＡＮを含むあらゆるタイプのネットワークプロトコル、及びＬＴＥ及びＢｌｕｅｔｏｏｔｈ（登録商標）標準を含むＬＡＮプロトコルを使用して通信することができる。メモリ５１０は、ランダムアクセスメモリ（ＲＡＭ）、メモリ内のデータをリフレッシュ又は維持するために断続的に電力を必要とする動的ランダムアクセスメモリ（ＤＲＡＭ）を含むあらゆるタイプのメモリとすることができる。不揮発性ストレージ５０６は、磁気ハードドライブ又は光磁気ドライブ又は光学ドライブ又はデジタルビデオディスク（ＤＶＤ）ＲＡＭ又はフラッシュメモリ又は他タイプのメモリシステムを含む大容量ストレージデバイスとすることができ、これらは、システムの電源が落とされた後でもデータ（例えば、大量のデータ）を維持する。
一例として、メモリデバイス５１０又はデータベース５１２は、自動車（例えば、自動車１１０）のあらゆる数のユーザ（例えば、運転者又は同乗者）の情報を生体走査することができる。生体走査情報は、２Ｄ又は３Ｄ顔面画像、顔面特徴及び表情を含むユーザ画像を含むことができる。他の例では、メモリデバイス５１０又はデータベース５１２は、例えば、「私の健康」、「私の活動」、又は「私の娯楽」タイプのユーザ情報に関連付けられたユーザ情報及びパラメータを端から端までディスプレイ３０２上のアプリケーションに格納することができる。メモリデバイス５１０及びデータベース５１２は、システムバス５０１に結合された状態で示すが、プロセッサ５０２は、ネットワークインタフェース５１７を通して局所的に又は遠隔的にあらゆる数の外部メモリデバイス又はデータベースに結合することができ、例えば、データベース５１２はクラウド環境内の安全なストレージとすることができる。一例では、プロセッサ５０２は、ユーザ及び表現を認識するために図１Ａ〜８に説明する技術及び作動を実施することができる。ディスプレイ５１５は、端から端までディスプレイ３０２、又は図１Ｂ及び３Ａ〜３Ｂのディスプレイコンピュータ１５１−Ａ、１５１−Ｂに対するディスプレイを表すことができる。
本明細書に開示する実施例及び実施形態は、データ処理システムアーキテクチャ、データ処理システム又はコンピュータシステム、又はコンピュータ可読媒体又はコンピュータプログラム製品に具現化することができる。開示する実施例及び実施形態の態様、特徴、及び詳細は、システム又はエンジンと呼ぶ場合のあるハードウエア又はソフトウエア又はその両方の組合せを取ることができる。開示する実施例及び実施形態はまた、図１Ａ〜８に開示する技術及び作動を実施するために１又は２以上のプロセッサ（例えば、プロセッサ４０２）によって実行可能なコンピュータ可読コードを有する１又は２以上のコンピュータ可読媒体を含むコンピュータプログラム製品の形態に具現化することができる。
例示的ユーザ識別システム及び作動
図６は、自動車の運転者又はユーザを認証するためのコンピュータシステム６００のブロック図を示している。コンピュータシステム６００は、ユーザ取り込み及び表現エンジン６２２に結合されたメモリ又はデータベース６３０を含む。一例として、データベース６３０は、ユーザ１の顔面特徴（６０３）、ユーザ２の顔面特徴（６０４）からユーザＮの顔面特徴（６０６）までを含むユーザ画像のような複数の生体走査ユーザ情報を格納する。データベース６３０は、２Ｄ及び３Ｄ画像及び表情を含む他タイプの生体走査情報を格納することができる。格納された顔面特徴は、ユーザ１（６０３）からユーザＮ（６０６）について、例えば、鼻、口、目、唇、頬などを含む顔面特徴の形状、サイズ、及び寸法を含むことができる。一例として、データベース６３０に格納される情報は、自動車、例えば、自動車１１０に関する１又は２以上のユーザの生体走査情報の登録中に格納することができる。データベース６３０は、自動車又はコンピュータ内に又はユーザがアクセス可能な安全なクラウド環境に位置付けられた安全なストレージとすることができる。
一例として、ユーザ取り込みデバイス６０７は、ユーザ（例えば、運転者又は同乗者）が自動車（例えば、自動車１１０）に入るか又はその傍に来ると直ちに例えば顔面特徴画像のようなユーザ画像を取り込むことができる。ユーザ取り込み及び表現エンジン６２２は、顔面特徴を含む取り込まれたユーザ画像をユーザ１の顔面特徴（６０３）からユーザＮの顔面特徴（６０６）を含むデータベース６３０に格納されたユーザ画像と比較し、自動車に登録されたものとの符合が存在するかを決定することができる。エンジン６２２は、あらゆる顔面認識アルゴリズムを使用してユーザ画像及び顔面特徴を認識することができる。エンジン６２２は、符合を検出した場合に、ユーザを正規ユーザとして認証し、自動車に対して運転するための制御器へのアクセスを含む許可された運転者資格証明書をユーザが有するかを更に決定することができる。一例として、エンジン６２２は、同乗者ドアに入る子供を検出してそのドアの解錠を可能にするが、自動車の運転制御器への子供のアクセスを拒否することができる。ユーザ取り込みデバイス６０７は、例えば、赤外線カメラを使用してユーザの温度差情報を取り込むことができ、これをエンジン６２２が処理し、例えば、運転者又は同乗者の健康状態を決定することができる。例えば、運転者が同乗者よりも大きい温度差読取値を有すると温度情報が示す場合に、エンジン６２２は、運転者が健康でない、例えば、熱がある可能性があると決定し、自動車による応答が行われるものとすることができる。一例では、エンジン６２２は、図１Ａ〜８に説明するような技術及び作動を実施することができる。
図７Ａは、自動車のユーザの生体走査画像を登録するための例示的作動７００の流れ図である。
ブロック７０２では、ユーザの生体走査登録を開始する。一例として、ユーザの生体走査情報の登録は、自動車（例えば、自動車１１０）の購入又は注文に使用されるアプリケーションで開始することができる。一例では、個人識別及びパスワード認証、指紋認証、又は２段認証を使用して自動車に対して認証されたモバイルデバイス上で実行されるアプリケーションが、登録処理を開始することができる。ユーザはまた、配偶者、子供のような他のユーザの生体走査登録を開始することができる。
開始後に、ブロック７０４では、ユーザの生体走査画像を取り込み、例えば、２Ｄ又は３Ｄ顔面画像を取り込む。一例として、モバイルデバイス又は自動車は、２Ｄ又は３Ｄ顔面画像のようなユーザ画像を取り込むための１又は２以上のカメラを有することができる。登録中に１よりも多いユーザの画像を取り込むことができる。
ブロック７０６では、ユーザ（又は各ユーザ）の生体走査画像を安全なデータベースに格納する。一例として、顔面画像を含む２Ｄ又は３Ｄユーザ画像のような取り込まれた生体走査画像は、自動車内に局所的に又は安全なクラウド環境内に遠隔的に格納される。
ブロック７０８では、ユーザの格納された生体走査画像を自動車に登録する。取り込まれた各画像は、運転者又は同乗者又はその両方として制限付きで自動車に登録することができる。例えば、第１のユーザは、自動車の所有者とすることができ、運転者アクセス権だけを有することができ、第２のユーザは、第１のユーザの子供とすることができ、運転者アクセス権を持たず、同乗者資格だけに制限されるものとすることができる。ユーザの登録により、自動車へのアクセス及び制御にあらゆる数の統制及び制限を加えることができる。例えば、自動車（例えば、自動車１１０）を運転するために夫と妻の両方を登録することができるが、全ての子供は、運転する権限を持たず、同乗者のディスプレイコンピュータ１１５−Ａ及び１１５−Ｂを利用することができるに過ぎない。
図７Ｂは、自動車のユーザを認証する例示的作動７１０の流れ図を示している。ブロック７１２では、ユーザの２次元（２Ｄ）又は３次元（３Ｄ）顔面特徴を受信する（例えば、ユーザ頭部２０１の２Ｄ又は３Ｄ顔面特徴２１１）。
ブロック７１４では、受信した２Ｄ又は３Ｄ顔面特徴に基づいてユーザを正規ユーザとして認証する。例えば、図６を参照すると、エンジン６２２は、ユーザ取り込みデバイス６０７から２Ｄ又は３Ｄ顔面特徴を受信し、それらをデータベース６３０内の顔面特徴を含む格納されたユーザ画像と比較し、顔面特徴を含むユーザ画像が符合するかを決定することによってユーザを認証することができる。符合が存在する場合に、ユーザは、正規ユーザであると決定することができる。符合するものがない場合に、ユーザは、不正ユーザであると決定することができる。
ブロック７１６では、ユーザを正規ユーザとして認証した場合に、ユーザに対して自動車（例えば、自動車１１０）及び制御器（例えば、端から端までディスプレイ３０２上の制御インタフェース）へのアクセスを許可する。ブロック７１８では、ユーザを正規ユーザとして認証しなかった場合に、ユーザに対して自動車及びその制御器へのアクセスを拒否する。
図７Ｃは、自動車のユーザを認証する例示的作動７２０の流れ図を示している。
ブロック７２２では、ユーザの２次元（２Ｄ）又は３次元（３Ｄ）顔面特徴を受信する。ブロック７２４では、ユーザの温度情報を受信する。例えば、図２Ｂを参照すると、ユーザ取り込みデバイス２０７は、ユーザ頭部２０１の温度差情報を取り込む赤外線カメラを含むことができる。
ブロック７２６では、受信した２Ｄ又は３Ｄ顔面特徴及び温度情報に基づいて、ユーザを正規ユーザとして認証する。例えば、図６を参照すると、エンジン６２２は、ユーザ取り込みデバイス６０７から２Ｄ又は３Ｄ顔面特徴及び温度情報を受信することができる。エンジン６２２は、受信した２Ｄ又は３Ｄ画像をデータベース６３０内の顔面特徴を含む格納されたユーザ画像と比較し、顔面特徴を含むユーザ画像が符合するかを決定することによってユーザを認証することができる。エンジン６２２はまた、本物のユーザを検出してなりすましを防止する際に温度情報を分析してユーザ画像が無生物を示していないかを決定することができる。ユーザ画像との符合が存在し、温度情報が本物のユーザを表す場合に、そのユーザを正規ユーザであると決定することができる。符合するものがなく、温度情報が本物のユーザを表さない場合に、そのユーザを不正ユーザであると決定することができる。
ブロック７２８では、ユーザを正規ユーザとして認証した場合に、ユーザに対して自動車（例えば、自動車１１０）及び制御器（例えば、端から端までディスプレイ３０２上の制御インタフェース）へのアクセスを許可する。ブロック７３０では、ユーザを正規ユーザとして認証しなかった場合に、ユーザに対して自動車及び制御器へのアクセスを拒否する。
図８は、自動車のユーザの中立表情及び非中立表情を処理する例示的作動８００の流れ図を示している。ブロック８０２では、ユーザの取り込まれた画像を受信する。例えば、図１Ｂ、２Ａ〜２Ｂ、及び３Ａ〜３Ｂのユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃ、ユーザ取り込みデバイス２０７、及びユーザ取り込みデバイス３０７、３７７は、ユーザ（例えば、運転者及び同乗者）の画像を取り込むことができる。
ブロック８０４では、ユーザの取り込まれた画像内の非中立又は中立表情について決定を行う。非中立表情の例は、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含むことができる。中立表情は、応答を提供するのに認識されない表情である。
ブロック８０６では、取り込まれた画像に非中立表情が決定された場合に、自動車は、応答を提供することができる。例えば、ユーザの目がある期間にわたって閉じているなどの非中立表情が取り込まれた場合に、エンジン６２２は、例えば、ユーザを目覚めさせるために音声警告を与えることによって応答を提供することができる。ディスプレイ上のメッセージ、ディスプレイ上のライト点滅、設定及び好みの変更、椅子の振動などのようなあらゆるタイプの応答を提供することができる。
ブロック８０８では、取り込まれた画像に中立表情が決定された場合に、自動車は応答を提供しないことになる。中立表情は、いずれの決定的な変化又は特徴もない通常の表情とすることができる。
以上の明細書では、本発明をその特定の例示的実施形態に関連して説明した。しかし、開示した実施例及び実施形態のより広範な精神及び範囲から逸脱することなく様々な修正及び変更をそれに対して行うことができることは明らかであろう。従って、本明細書及び図面は、限定的な意味ではなく例示的に考えるものとする。
７１０ 自動車のユーザを認証する例示的作動
７１２ ユーザの２次元（２Ｄ）又は３次元（３Ｄ）画像を受信する
７１４ 受信した２Ｄ又は３Ｄ画像に基づいてユーザを正規ユーザとして認証する
７１６ 自動車及び制御器へのアクセスを許可する
７１８ 自動車及びその制御器へのアクセスを拒否する

Claims (30)

  1. 自動車のためのデータ処理システムであって、
    少なくとも前記自動車のユーザの画像を格納するデータベースと、
    前記ユーザの画像を取り込むユーザ取り込みデバイスと、
    前記データベースと前記ユーザ取り込みデバイスとに結合され、前記ユーザの格納された画像が該ユーザの取り込まれた画像に符合するかを決定することによって該ユーザが正規ユーザとして認証された場合に前記自動車へのユーザアクセスを許可するコンピュータと、
    を含むことを特徴とするデータ処理システム
  2. 前記ユーザの前記画像は、２次元（２Ｄ）又は３次元（３Ｄ）画像を含むことを特徴とする請求項１に記載のデータ処理システム。
  3. 前記ユーザ取り込みデバイスは、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含む前記ユーザの表現を取り込むためのものであることを特徴とする請求項１に記載のデータ処理システム。
  4. 前記コンピュータは、前記取り込まれた表現に基づいて応答を提供することを特徴とする請求項３に記載のデータ処理システム。
  5. 前記ユーザ取り込みデバイスは、１又は２以上のカメラを含むことを特徴とする請求項１に記載のデータ処理システム。
  6. 前記１又は２以上のカメラは、立体カメラ、ＲＧＢ（赤、緑、青）カメラ、又は赤外線カメラを含むことを特徴とする請求項５に記載のデータ処理システム。
  7. 前記ユーザ取り込みデバイスは、正規ユーザを更に認識するために前記赤外線カメラを使用して温度差情報を取り込むことを特徴とする請求項６に記載のデータ処理システム。
  8. 前記コンピュータは、前記ユーザが正規ユーザとして認証された場合に前記自動車及び該自動車の制御器への前記ユーザアクセスを許可することを特徴とする請求項１に記載のデータ処理システム。
  9. 前記コンピュータは、前記ユーザが正規ユーザとして認証されなかった場合に前記自動車及び該自動車の制御器への前記ユーザアクセスを拒否することを特徴とする請求項１に記載のデータ処理システム。
  10. 前記コンピュータは、前記ユーザが正規ユーザとして認証された場合に該ユーザのための設定及び好みを用いて前記自動車を構成することを特徴とする請求項１に記載のデータ処理システム。
  11. 前記ユーザ取り込みデバイスは、前記自動車の内側又は外側に位置付けられることを特徴とする請求項１に記載のデータ処理システム。
  12. 前記ユーザは、前記自動車の運転社又は同乗者であることを特徴とする請求項１に記載のデータ処理システム。
  13. 自動車のユーザの取り込まれた画像を受信する段階と、
    前記ユーザの前記取り込まれた画像がデータベースに格納された画像に符合する場合に該ユーザを正規ユーザとして認証する段階と、
    を含むことを特徴とするコンピュータ実装方法。
  14. 前記ユーザが正規ユーザとして認証された場合に前記自動車へのユーザアクセスを許可する段階、
    を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
  15. 前記ユーザが正規ユーザとして認証されなかった場合に前記自動車へのユーザアクセスを拒否する段階、
    を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
  16. 前記ユーザが正規ユーザとして認証された場合に該ユーザのための設定及び好みを用いて前記自動車を構成する段階、
    を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
  17. 顔面特徴を含む前記ユーザの前記画像を前記データベースに格納する段階、
    を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
  18. 前記ユーザの前記受信した取り込み画像は、２次元（２Ｄ）又は３次元（３Ｄ）画像を含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
  19. 前記ユーザを正規ユーザとして更に認証するために該ユーザの温度情報を受信する段階、
    を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
  20. 自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含む前記ユーザの取り込まれた表現を受信する段階、
    を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
  21. 前記取り込まれた表現に基づいて応答を提供する段階、
    を更に含むことを特徴とする請求項２０に記載のコンピュータ実装方法。
  22. コンピュータによって実行された場合に該コンピュータに
    自動車のユーザの取り込まれた画像を受信させ、かつ
    前記ユーザの前記取り込まれた画像がデータベースに格納された該ユーザの画像に符合する場合に該ユーザを正規ユーザとして認証させる
    命令を含む非一時的コンピュータ可読媒体。
  23. 前記コンピュータによって実行された場合に該コンピュータに前記ユーザが正規ユーザとして認証された場合に前記自動車へのユーザアクセスを許可させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
  24. 前記コンピュータによって実行された場合に該コンピュータに前記ユーザが正規ユーザとして認証されなかった場合に前記自動車へのユーザアクセスを拒否させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
  25. 前記コンピュータによって実行された場合に該コンピュータに前記ユーザが正規ユーザとして認証された場合に該ユーザに対する設定及び好みを用いて前記自動車を構成させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
  26. 前記コンピュータによって実行された場合に該コンピュータに顔面特徴を含む前記ユーザの前記画像を前記データベースに格納させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
  27. 前記コンピュータによって実行された場合に該コンピュータに前記ユーザを正規ユーザとして認証するために該ユーザの温度情報を受信させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
  28. 前記コンピュータによって実行された場合に該コンピュータに自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含む前記ユーザの取り込まれた表現を受信させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
  29. 前記コンピュータによって実行された場合に該コンピュータに前記取り込まれた表現に基づいて応答を提供させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
  30. 前記コンピュータによって実行された場合に該コンピュータに前記ユーザの取り込まれた２次元（２Ｄ）又は３次元（３Ｄ）画像を受信させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
JP2020513566A 2017-09-05 2018-08-29 自動車のためのユーザ認識及び表現の方法及びシステム Pending JP2020536782A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/695,800 2017-09-05
US15/695,800 US11072311B2 (en) 2017-09-05 2017-09-05 Methods and systems for user recognition and expression for an automobile
PCT/US2018/048645 WO2019050746A1 (en) 2017-09-05 2018-08-29 METHODS AND SYSTEMS FOR RECOGNITION AND USER EXPRESSION FOR A MOTOR VEHICLE

Publications (1)

Publication Number Publication Date
JP2020536782A true JP2020536782A (ja) 2020-12-17

Family

ID=63529001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020513566A Pending JP2020536782A (ja) 2017-09-05 2018-08-29 自動車のためのユーザ認識及び表現の方法及びシステム

Country Status (5)

Country Link
US (1) US11072311B2 (ja)
EP (1) EP3679702A1 (ja)
JP (1) JP2020536782A (ja)
CN (2) CN209044516U (ja)
WO (1) WO2019050746A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US11283877B2 (en) * 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
DE102017204078B4 (de) * 2017-03-13 2020-04-02 Continental Automotive Gmbh Verfahren zum Steuern eines Verschlusselements eines Fahrzeugs
US10583855B2 (en) * 2017-09-05 2020-03-10 Byton Gmbh Steering device for a vehicle, in particular an electric vehicle
US11068741B2 (en) * 2017-12-28 2021-07-20 Qualcomm Incorporated Multi-resolution feature description for object recognition
KR102540920B1 (ko) * 2018-05-04 2023-06-07 현대자동차주식회사 차량 단말 및 그의 얼굴 인증 방법
US10745018B2 (en) 2018-09-19 2020-08-18 Byton Limited Hybrid user recognition systems for vehicle access and control
CN109976513B (zh) * 2019-02-20 2020-03-03 方科峰 一种系统界面设计方法
US11407436B2 (en) 2019-03-04 2022-08-09 Byton North America Corporation Steering wheel with fixed center
US20210229673A1 (en) * 2019-06-17 2021-07-29 Google Llc Seamless driver authentication using an in-vehicle camera in conjunction with a trusted mobile computing device
WO2021003172A1 (en) * 2019-06-30 2021-01-07 Moment Ai, Inc. Facial recognition and monitoring device, system, and method
JP6906023B2 (ja) * 2019-08-13 2021-07-21 本田技研工業株式会社 車両用認証装置
WO2021053365A1 (ja) * 2019-09-16 2021-03-25 日産自動車株式会社 車両用情報処理装置及び方法
KR20210050812A (ko) * 2019-10-29 2021-05-10 현대자동차주식회사 차량 및 차량의 제어방법
US11548433B2 (en) 2019-12-06 2023-01-10 Karma Automotive Llc Automotive directional dark area pathway illumination
CN113232665A (zh) * 2020-01-22 2021-08-10 四川物软网联科技有限公司 一种车载智能装置及车辆
JP2021157644A (ja) * 2020-03-27 2021-10-07 本田技研工業株式会社 制御装置、機器、プログラム、及び、制御方法
HUP2000226A1 (hu) * 2020-07-09 2022-01-28 Peter Pal Veres Gépjármûbe épített berendezés tudatmódosító szer hatása alatt álló vezetõk kiszûrésére, és a gépjármû lopásvédelmére
JPWO2022024316A1 (ja) * 2020-07-30 2022-02-03
CN112319220A (zh) * 2020-11-17 2021-02-05 珠海格力电器股份有限公司 车辆控制方法、装置、车辆及存储介质
JP2022103716A (ja) * 2020-12-28 2022-07-08 株式会社Subaru 個人認識システム
US20220223954A1 (en) * 2021-01-11 2022-07-14 Dus Operating Inc. Modular battery housing for mounting battery modules to one of a plurality of electric vehicles
CN112776814A (zh) * 2021-01-21 2021-05-11 上海禾骋科技有限公司 一种基于人脸识别调用个性化汽车自动控制系统的方法
US11220182B1 (en) * 2021-04-30 2022-01-11 Fisker Inc. Rotating vehicle center information display with stationary buttons and touch bar
US20220375293A1 (en) * 2021-05-20 2022-11-24 Rockwell Automation Technologies, Inc. Electronic safety function lock-unlock system
US11973753B2 (en) * 2021-06-16 2024-04-30 Meta Platforms, Inc. Systems and methods for client-side identity verification
US11590930B1 (en) 2021-08-27 2023-02-28 Toyota Motor North America, Inc. Vehicle systems for verifying passenger protective equipment and methods for using the same
DE102021005277A1 (de) * 2021-10-22 2021-12-16 Daimler Ag Verfahren zum Authentifizieren des Nutzers eines Kraftfahrzeugs
WO2023171829A1 (ko) * 2022-03-08 2023-09-14 엘지전자 주식회사 차량용 디스플레이 디바이스
CN116176432B (zh) * 2023-05-04 2023-09-12 长城汽车股份有限公司 车载设备控制方法、装置、车辆和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
WO2004055302A1 (ja) * 2002-12-13 2004-07-01 Matsushita Electric Industrial Co., Ltd. 車載機器制御システム、車載機器制御装置、及び車載機器制御方法
US20100148923A1 (en) * 2008-12-17 2010-06-17 Toyota Jidosha Kabushiki Kaisha Vehicle on-board biometric authentication system
US20140223531A1 (en) * 2013-01-09 2014-08-07 Chris Outwater Smartphone based identification, access control, testing, and evaluation
US8918162B2 (en) * 2007-04-17 2014-12-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
US8994498B2 (en) * 2013-07-25 2015-03-31 Bionym Inc. Preauthorized wearable biometric device, system and method for use thereof
US20150363986A1 (en) * 2014-06-11 2015-12-17 Hoyos Labs Corp. System and method for facilitating user access to vehicles based on biometric information
US20160063315A1 (en) * 2014-08-27 2016-03-03 Chemtronics Co., Ltd. Method and apparatus for controlling vehicle using motion recognition with face recognition
US9348492B1 (en) * 2011-04-22 2016-05-24 Angel A. Penilla Methods and systems for providing access to specific vehicle controls, functions, environment and applications to guests/passengers via personal mobile devices
US20160171321A1 (en) * 2014-12-15 2016-06-16 Aisin Seiki Kabushiki Kaisha Determination apparatus and determination method
US20170060234A1 (en) * 2015-08-26 2017-03-02 Lg Electronics Inc. Driver assistance apparatus and method for controlling the same

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046538A1 (en) 1995-06-07 2009-02-19 Automotive Technologies International, Inc. Apparatus and method for Determining Presence of Objects in a Vehicle
DE19845299B4 (de) 1998-10-01 2004-01-29 Siemens Ag Verfahren zum Inbetriebsetzen eines Kraftfahrzeugs sowie Vorrichtung zum Inbetriebsetzen eines Verbrennungsmotors
DE10026596C1 (de) 2000-05-30 2001-12-13 Daimler Chrysler Ag Multi-Use Digitalkamera
US20020112177A1 (en) 2001-02-12 2002-08-15 Voltmer William H. Anonymous biometric authentication
US20040174253A1 (en) 2003-03-05 2004-09-09 Power Digital Communication Co., Ltd. Automatic warning system for cars
JP3730967B2 (ja) * 2003-03-20 2006-01-05 株式会社エヌ・ティ・ティ・ドコモ 車両配車システム及び管理サーバ
JP2005001642A (ja) 2003-04-14 2005-01-06 Fujitsu Ten Ltd 盗難防止装置、監視装置、及び盗難防止システム
JP4419758B2 (ja) 2004-08-31 2010-02-24 株式会社デンソー 自動車用ユーザもてなしシステム
JP2007145200A (ja) 2005-11-28 2007-06-14 Fujitsu Ten Ltd 車両用認証装置及び車両用認証方法
EP1984868A4 (en) * 2006-02-13 2010-08-25 All Protect Llc METHOD AND SYSTEM FOR CONTROLLING A VEHICLE GIVEN TO A THIRD PARTY
US8549318B2 (en) * 2006-02-13 2013-10-01 Affirmed Technologies, Llc Method and system for preventing unauthorized use of a vehicle by an operator of the vehicle
US20080106390A1 (en) * 2006-04-05 2008-05-08 White Steven C Vehicle power inhibiter
US9493149B2 (en) * 2008-07-02 2016-11-15 Michael Phelan Driver authentication system and method for monitoring and controlling vehicle usage
KR20110038563A (ko) * 2009-10-08 2011-04-14 최운호 운전자 인증을 통한 차량 제어 방법, 차량 단말기, 생체인식 카드 및 시스템과, 생체인식 카드와 단말기를 이용한 탑승자 보호 추적 기능을 제공하는 방법
US8863256B1 (en) * 2011-01-14 2014-10-14 Cisco Technology, Inc. System and method for enabling secure transactions using flexible identity management in a vehicular environment
DE102012106522A1 (de) 2012-07-18 2014-01-23 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Authentifizierung eines Fahrers in einem Kraftfahrzeug
DE102013002687B4 (de) 2013-02-15 2018-03-29 Audi Ag Personenkraftwagen mit Rückbankbeobachtung
US20160174253A1 (en) 2013-07-12 2016-06-16 Mediatek Singapore Pte. Ltd. Method of channel access control in wireless local area networks
KR102180226B1 (ko) 2013-10-30 2020-11-18 삼성전자주식회사 복합 생체 정보를 이용한 보안을 제공하는 전자 장치 및 방법
US20150166009A1 (en) * 2013-11-11 2015-06-18 Chris Outwater System and Method for Wirelessly Rostering a Vehicle
DE102013114394A1 (de) 2013-12-18 2015-06-18 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Authentifizierung eines Fahrers in einem Kraftfahrzeug
WO2015151862A1 (ja) * 2014-04-01 2015-10-08 みこらった株式会社 自動車及び自動車用プログラム
US9760702B1 (en) 2014-07-14 2017-09-12 Jpmorgan Chase Bank, N.A. Systems and methods for driver authentication through embedded sensing
US9740841B2 (en) 2014-09-08 2017-08-22 Tessera Advanced Technologies, Inc. Using biometric user-specific attributes
US9613515B2 (en) 2015-02-27 2017-04-04 Ford Global Technologies, Llc Method and apparatus for occupant customized wellness monitoring
JP5813893B1 (ja) 2015-03-16 2015-11-17 株式会社城南製作所 車両用窓ガラス昇降装置、車両用ドア、および車両
US20160300410A1 (en) 2015-04-10 2016-10-13 Jaguar Land Rover Limited Door Access System for a Vehicle
US10179568B2 (en) 2015-10-13 2019-01-15 Faraday & Future Inc. Seamless vehicle access system
JP6154876B2 (ja) 2015-10-29 2017-06-28 京セラ株式会社 電子機器及び制御方法
CN105459958B (zh) 2015-12-22 2017-09-12 大丰云润科技有限公司 一种车载多模态生物特征身份验证设备
US20170274825A1 (en) 2016-03-23 2017-09-28 Ford Global Technologies, Llc Vehicle communication system
US20180012197A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
CN107665295A (zh) 2016-07-29 2018-02-06 长城汽车股份有限公司 车辆的身份认证方法、系统及车辆
US11024160B2 (en) 2016-11-07 2021-06-01 Nio Usa, Inc. Feedback performance control and tracking
US10074223B2 (en) * 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
EP3349135A1 (en) * 2017-01-16 2018-07-18 DURA Automotive Holdings U.K., Ltd. Method for authorizing a driver to activate at least one system of a vehicle, based on a biometric authentication process
JP6852584B2 (ja) 2017-06-15 2021-03-31 トヨタ自動車株式会社 車両後方視認装置
US20180365400A1 (en) * 2017-06-19 2018-12-20 Brennan T. Lopez-Hinojosa Biometric authentication for connected vehicles including autonomous vehicles
US20190032374A1 (en) 2017-07-31 2019-01-31 Ford Global Technologies, Llc Handle for vehicle door and method of using the same
US10479289B2 (en) 2017-08-22 2019-11-19 Trw Automotive U.S. Llc Active surround view system with self-cleaning mechanism
US20190073111A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Methods and systems using a rotatable three-dimensional object providing visual user information on a display
US10676067B2 (en) * 2018-01-05 2020-06-09 Byton Limited User capture device configuration for a vehicle
KR20190136720A (ko) * 2018-05-31 2019-12-10 현대자동차주식회사 텔레매틱스 디바이스 및 텔레매틱스 시스템의 보험 가입 및 보험료 산출 방법
US10745018B2 (en) * 2018-09-19 2020-08-18 Byton Limited Hybrid user recognition systems for vehicle access and control

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
WO2004055302A1 (ja) * 2002-12-13 2004-07-01 Matsushita Electric Industrial Co., Ltd. 車載機器制御システム、車載機器制御装置、及び車載機器制御方法
US8918162B2 (en) * 2007-04-17 2014-12-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
US20100148923A1 (en) * 2008-12-17 2010-06-17 Toyota Jidosha Kabushiki Kaisha Vehicle on-board biometric authentication system
JP2010143325A (ja) * 2008-12-17 2010-07-01 Toyota Motor Corp 車両用生体認証システム
US9348492B1 (en) * 2011-04-22 2016-05-24 Angel A. Penilla Methods and systems for providing access to specific vehicle controls, functions, environment and applications to guests/passengers via personal mobile devices
US20140223531A1 (en) * 2013-01-09 2014-08-07 Chris Outwater Smartphone based identification, access control, testing, and evaluation
US8994498B2 (en) * 2013-07-25 2015-03-31 Bionym Inc. Preauthorized wearable biometric device, system and method for use thereof
US20150363986A1 (en) * 2014-06-11 2015-12-17 Hoyos Labs Corp. System and method for facilitating user access to vehicles based on biometric information
US20160063315A1 (en) * 2014-08-27 2016-03-03 Chemtronics Co., Ltd. Method and apparatus for controlling vehicle using motion recognition with face recognition
US20160171321A1 (en) * 2014-12-15 2016-06-16 Aisin Seiki Kabushiki Kaisha Determination apparatus and determination method
US20170060234A1 (en) * 2015-08-26 2017-03-02 Lg Electronics Inc. Driver assistance apparatus and method for controlling the same

Also Published As

Publication number Publication date
CN209044516U (zh) 2019-06-28
US11072311B2 (en) 2021-07-27
CN109343698A (zh) 2019-02-15
US20190071055A1 (en) 2019-03-07
WO2019050746A1 (en) 2019-03-14
EP3679702A1 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
US11072311B2 (en) Methods and systems for user recognition and expression for an automobile
US10745018B2 (en) Hybrid user recognition systems for vehicle access and control
EP3868610A1 (en) Driving environment smart adjustment and driver sign-in methods and apparatuses, vehicle, and device
KR102443186B1 (ko) 생체 인식 정보에 기반된 차량들에 대한 유저 액세스를 가능하게 하기 위한 시스템 및 방법
US20190073111A1 (en) Methods and systems using a rotatable three-dimensional object providing visual user information on a display
EP3735367B1 (en) User capture device configuration for a vehicle
JP7049453B2 (ja) 信頼されたモバイルコンピューティングデバイスに関連してビークル内カメラを使用するシームレスな運転者の認証
JP2017533609A (ja) 対話式移動体制御システムのための一体化ウェアラブル用品
US20190209100A1 (en) In-vehicle user health platform systems and methods
US20180159841A1 (en) Gesture-based access control in virtual environments
US11516214B2 (en) Authenticated device assisted user authentication
US10471965B2 (en) Securing guest access to vehicle
US9697649B1 (en) Controlling access to a device
US20230082758A1 (en) System and method for applying vehicle settings
US20230273985A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
CN116931731A (zh) 基于显示设备的互动方法、装置和显示设备
CN114581291A (zh) 座舱内呈现人脸美妆图像的方法和系统

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230424