JP2022103716A - 個人認識システム - Google Patents

個人認識システム Download PDF

Info

Publication number
JP2022103716A
JP2022103716A JP2020218515A JP2020218515A JP2022103716A JP 2022103716 A JP2022103716 A JP 2022103716A JP 2020218515 A JP2020218515 A JP 2020218515A JP 2020218515 A JP2020218515 A JP 2020218515A JP 2022103716 A JP2022103716 A JP 2022103716A
Authority
JP
Japan
Prior art keywords
image
driver
unit
display
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020218515A
Other languages
English (en)
Other versions
JP7553351B2 (ja
Inventor
亮太 中村
Ryota Nakamura
太陽 松橋
Taiyo Matsuhashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2020218515A priority Critical patent/JP7553351B2/ja
Priority to CN202111312869.6A priority patent/CN114694207A/zh
Priority to US17/538,136 priority patent/US11830260B2/en
Priority to DE102021132653.2A priority patent/DE102021132653A1/de
Publication of JP2022103716A publication Critical patent/JP2022103716A/ja
Application granted granted Critical
Publication of JP7553351B2 publication Critical patent/JP7553351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523—Matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/162—Visual feedback on control action
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • B60K2360/62—Anti-theft arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identity check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Instrument Panels (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ドライバーの顔向きと視線方向が一意に定められた顔画像を取得する個人認識システムを提供する。【解決手段】個人認識システム１にお撮像部１０と、個人認識部３０と、表示画像制御部４０と、第１の表示部２０と、を有する運転状態監視装置１００及び第２の表示部２００を備える。撮像部１０は、第１の表示部２０の外縁に設けられ、運転者の顔画像を撮像する。表示画像制御部４０は、第１の表示部２０と第２の表示部２００とに表示させる表示画面を制御する。そして、個人認識部３０は、運転者が第１の表示部２０を視認した時に撮像した第１の顔画像と、第２の表示部２００を視認した時に撮像した第２の顔画像と、を用いて運転者の個人登録と個人認識とを行う。個人認識部３０が個人登録を行う時には、表示画像制御部４０は第２の顔画像から抽出した顔向きデータに基づいてアバターの顔向きを制御した画像を第２の表示部２００に表示する。【選択図】図１

Description

本発明は、個人認識システムに関する。
車両の安全運転を支援することを目的とする、運転者の状態を監視するドライバーモニタリングシステムが知られている。
この種のドライバーモニタリングシステムでは、システムが車両を運転する個人を識別する必要があるため、個人を識別するための個人情報をシステムに登録する必要がある。
ここで、一般に個人を識別するための情報としては、顔画像が用いられ、カメラで撮影した画像から顔情報、視線情報等を抽出する技術が開示されている（例えば、特許文献１参照）。
また、ドライバーモニタリングシステムでは、個人を識別するための個人情報として、例えば、車両内にあるカメラで撮像した顔画像やその顔画像から抽出した顔の特徴量等がドライバーモニタリングシステムに登録されている。そして、ドライバーモニタリングシステムは、現在運転席に座っている運転者の顔画像から抽出した特徴量と、登録済みの特徴量とを比較することにより、現在運転席に座る個人を識別することができる。
特開２０１９―７５１６２
しかしながら、個人情報を登録する時に取得する顔画像は、運転者の顔の向きと視線方向とが一意に定まらないため、例えば、顔の向きによっては、顔の特徴量を精度よく抽出することができず、正しく個人認識をすることができないという課題があった。
そこで、本発明は、上述の課題に鑑みてなされたものであって、個人情報を登録する時に、運転者の顔向きおよび視線方向が一意に定められた顔画像を取得することができる個人認識システムを提供することを目的とする。
形態１；本発明の１またはそれ以上の実施形態は、運転席の前方で車幅方向の中央部に設けられた第１の表示部と、前記運転席の正面に設けられた第２の表示部と、前記第１の表示部の外縁に設けられた撮像部と、前記第１の表示部と、前記第２の表示部と、に表示させる表示画像を制御する表示画像制御部と、前記運転席の運転者が前記第１の表示部を視認した時に前記撮像部により撮像された前記運転者の顔画像である第１の顔画像と、前記運転者が前記第２の表示部を視認した時に前記撮像部により撮像された前記運転者の顔画像である第２の顔画像と、を少なくとも用いて前記運転者の個人登録と個人認識とを行う個人認識部と、を備えたことを特徴とする個人認識システムを提案している。
形態２；本発明の１またはそれ以上の実施形態は、撮像部と、表示画像制御部と、個人認識部と、前記第１の表示部と、が前記運転者の監視を行う運転状態監視装置に備えられていることを特徴とする個人認識システムを提案している。
形態３；本発明の１またはそれ以上の実施形態は、前記運転者が前記個人登録を行う時に、前記個人認識部が前記第１の顔画像を取得した後に、前記表示画像制御部が前記第２の表示部に画像を表示し、前記個人認識部が前記第２の顔画像を取得することを特徴とする個人認識システムを提案している。
形態４；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は前記第２の顔画像から抽出した顔向きデータに基づいて前記運転者に関連付けらえたアバターの顔向きを制御した画像を前記第２の表示部に表示することを特徴とする個人認識システムを提案している。
形態５；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は前記第２の顔画像から抽出した顔向きデータに基づいて前記第２の顔画像を変換した画像を前記第２の表示部に表示することを特徴とする個人認識システムを提案している。
形態６；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は前記個人登録の進捗状況を示す画像を前記第２の表示部に表示することを特徴とする個人認識システムを提案している。
形態７；本発明の１またはそれ以上の実施形態は、前記第２の表示部がヘッドアップディスプレイで構成されていることを特徴とする個人認識システムを提案している。
本発明の１またはそれ以上の実施形態によれば、個人情報を登録する時に、運転者の顔向きおよび視線方向が一意に定められた顔画像を取得することができ、精度よく運転者を識別できるという効果がある。
本発明の第１の実施形態に係る個人認識システム１の構成を示した図である。 本発明の第１の実施形態に係る個人認識システム１における、撮像部、第１の表示部および第２の表示部の配置状態を示した図である。 本発明の第１の実施形態に係る個人認識システム１における、個人登録の処理のフローを示した図である。 本発明の第１の実施形態に係る個人認識システム１の第２の表示部に画像出力する処理のフローを示した図である。 本発明の第１の実施形態に係る個人認識システム１の個人登録の際に、第１の表示部と第２の表示部とに表示される画像の遷移を例示した図である。 本発明の第２の実施形態に係る個人認識システム１Ａにおける、個人登録の処理のフローを示した図である。 本発明の第２の実施形態に係る個人認識システム１Ａにおける、第２の表示部に画像出力する処理のフローを示した図である。 本発明の変形例に係る個人認識システムにおける、第２の表示部に表示する画像を例示した図である。
以下、本発明の実施形態について、図１から図８を用いて説明する。
＜第１の実施形態＞
図１から図５を用いて、本実施形態に係る個人認識システム１について説明する。
＜個人認識システム１の構成＞
図１に示すように、本実施形態に係る個人認識システム１は、運転状態監視装置１００と、第２の表示部２００とを含んで構成されている。
運転状態監視装置１００は、図２に示すように、後述する撮像部１０により車両の運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態（顔の向きや目の開度等）に基づいて運転者の運転状態を監視する装置である。
なお、詳細な構成については、別途、詳述する。
第２の表示部２００は、図２に示すように、運転席の正面に設けられた表示部であり、例えば、フロントガラスに運転者向けの基本的な情報画像を提示するヘッドアップディスプレイ（Head-Up Display；ＨＵＤ）を例示することができる。
なお、図２にはウインドシールドに投影するＨＵＤを例示したが、ダッシュボード上に設けられたコンバイナーに投影するＨＵＤであってもよい。
なお、本実施形態においては、ＨＵＤに限らず、運転席の正面に画像を提示する表示部を含む。
＜運転状態監視装置１００の構成＞
図１に示すように、運転状態監視装置１００は、撮像部１０と、第１の表示部２０と、個人認識部３０と、表示画像制御部４０と、を含んで構成されている。
撮像部１０は、図２に示すように、後述する第１の表示部２０の外縁上に設けられ、運転席の運転者の少なくとも顔を含む映像（動画像、静止画像を含む）を取得する。
撮像部１０は、例えば、ＣＣＤ（Charge Coupled Device）、またはＣＩＳ(CMOS Image Sensor)等の撮像素子を内蔵したカメラで構成されている。
また、撮像部１０は、例えば近赤外線カメラあるいはＲＧＢカメラ等であって、照射された近赤外光に反射した反射光を受光することにより、運転者の顔を撮像する。撮像部１０は、撮像した画像信号を、後述する個人認識部３０及び表示画像制御部４０に送出する。
第１の表示部２０は、図２に示すように、運転席前方で車幅方向の中央部に配設された表示器であり、例えば、運転者に対して、個人登録等に関する情報を表示する。
なお、第１の表示部２０は、車両に搭載されたナビゲーションシステムの表示部を兼ねていてもよい。
個人認識部３０は、撮像部１０によって撮像された画像から、顔の特徴量を抽出し、その特徴量から運転者を識別する。
また、個人情報を登録する時には、個人認識部３０は、撮像部１０によって撮像された運転者の顔画像から個人を識別するための特徴量を図示しないメモリに保存する。
ここで、個人認識部３０は、例えば、図示しない周知のＲＡＭ、ＲＯＭおよびＩ／Ｏバス等を備えたＣＰＵ（Central Processing Unit）の一部の機能であり、ＲＯＭに格納された制御プログラムに従って制御を実行する。
表示画像制御部４０は、第１の表示部２０と、第２の表示部２００と、に表示する画像を生成する。
ここで、表示画像制御部４０は、例えば、図示しない周知のＲＡＭ、ＲＯＭおよびＩ／Ｏバス等を備えたＧＰＵ（Graphics Processing Unit）機能の一部であり、ＲＯＭに格納された制御プログラムに従って制御を実行する。
＜個人認識システム１の処理＞
図３および図５を用いて、本実施形態に係る個人認識システム１の処理について説明する。
なお、以下、図３を用いて、個人情報を個人認識システム１に個人情報を登録する際に実行される処理について説明する。
また、図５には、図３に示す処理フローが実行されたときに、第１の表示部２０と第２の表示部２００とに表示される画面の表示例を示す。
表示画像制御部４０は、第１の表示部２０に個人情報を登録するための登録画面を表示する（ステップＳ１１０）。
そして、個人情報を登録するための画面にある登録開始の操作が実行されたか否かを判定する（ステップＳ１２０）。登録開始の操作が実行されていない場合（ステップＳ１２０の「ＮＯ」）には、処理をステップＳ１２０に戻し、待機する。そして、登録開始の操作が実行された場合（ステップＳ１２０の「ＹＥＳ」）には、処理をステップＳ１３０に移行する。
個人認識部３０は、撮像部１０から運転者の顔画像（第１の顔画像）を取得する（ステップＳ１３０）。ここで撮像部１０が取得する画像は、運転者が第１の表示部２０を視認している顔画像（第１の顔画像）である。
そのため、第１の表示部２０に、第１の表示部２０を注視することを促す表示を行ってもよい。
また、登録開始の入力（ステップＳ１２０）を、第１の表示部２０に設けられたタッチパネル、第１の表示部２０の周辺にあるボタン等の操作によって実行すれば、運転者の顔の向きを第１の表示部２０の方向に向けることができる。
そして、個人認識部３０は、ステップＳ１３０において取得した運転者の顔画像（第１の顔画像）が正しく取得できたかを確認する（ステップＳ１４０）。
ここで取得した顔画像（第１の顔画像）から、個人認識部３０が運転者を識別するために必要な顔の特徴量を抽出するため、取得した顔画像の顔の向きが所定の範囲内にあるか否かを確認する必要がある。
具体的には、個人認識部３０は、取得した運転者の顔画像（第１の顔画像）から、顔の向き（Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌ）を抽出し、顔の向きが所定の範囲にあるか否かを判定する。
運転者の顔画像（第１の顔画像）の顔向き方向が所定の範囲内にない場合（ステップＳ１４０の「ＮＯ」）には、処理をステップＳ１３０に戻し、再度運転者の顔画像（第１の顔画像）を取得する。
一方で、運転者の顔画像（第１の顔画像）の顔向き方向が所定の範囲にある場合（ステップＳ１４０の「ＹＥＳ」）には、処理をステップＳ１５０に移行する。
ここでは、顔の向きが所定の範囲に入っていることを１回確認する処理を例示したが、複数回確認する処理であってもよい。その場合には、個人認識部３０は、顔の向きが所定の範囲にある顔画像を複数回取得し、その取得した複数の顔画像から運転者の特徴量を決定するようにしてもよい。
次に、表示画像制御部４０は、第１の表示部２０に第２の表示部２００を見るように促す指示を表示し、第２の表示部２００に画像を表示して、運転者の顔画像（第２の顔画像）を取得する（ステップＳ１５０）。
なお、ステップＳ１５０の処理の詳細については、後述する。
そして、個人認識部３０はステップＳ１５０において取得した運転者の顔画像（第２の顔画像）の顔向き方向が所定の範囲内にあるか否かを確認する（ステップＳ１６０）。
運転者の顔画像（第２の顔画像）の顔向き方向が所定の範囲内にない場合（ステップＳ１６０の「ＮＯ」）には、処理をステップＳ１５０に戻し、再度運転者の顔画像（第２の顔画像）を取得する。
一方で、運転者の顔画像（第２の顔画像）の顔向き方向が所定の範囲内にある場合（ステップＳ１６０の「ＹＥＳ」）には、処理をステップＳ１７０に移行する。
ここで、ステップＳ１６０の処理は、ステップＳ１４０の処理で例示した処理と同様に、顔の向きが所定の範囲に入っていることを複数回確認する処理に変更してもよい。その場合には、個人認識部３０は、顔の向きが所定の範囲にある顔画像（第２の顔画像）を複数回取得し、その取得した複数の顔画像（第２の顔画像）から運転者の特徴量を決定するようにしてもよい。
そして、個人認識部３０は、ステップＳ１３０で取得した運転者の顔画像（第１の顔画像）とステップＳ１５０で取得した運転者の顔画像（第２の顔画像）とを図示しないメモリに格納する（ステップＳ１７０）。
ここで、顔画像のデータは、例えば、運転者の名前、性別、年齢等の情報と関連付けされ、個人情報としてメモリに格納される。
そして、表示画像制御部４０は第１の表示部２０と第２の表示部２００とに、個人情報登録処理が完了したことを表示し（ステップＳ１８０）、処理を終了する。
＜第２の表示部２００に表示する画像処理（ステップＳ１５０）＞
図４を用いて、図３のステップＳ１５０で実行される、第２の表示部２００に表示する画像生成および第２の顔画像取得に関する処理について説明する。
表示画像制御部４０は、第１の表示部２０に第２の表示部２００を見るように指示を表示し、その後に、個人認識部３０は、撮像部１０から運転者の顔画像（第２の顔画像）を取得する（ステップＳ１５１）。
そして、個人認識部３０は取得した顔画像（第２の顔画像）から、運転者の顔の向き（Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌ）を算出し、その算出結果を表示画像制御部４０に転送する（ステップＳ１５２）。
そして、表示画像制御部４０は、転送された運転者の顔向きの情報に基づいて、図示しないメモリに格納された３Ｄのアバター画像を読みだすとともに、この３Ｄのアバター画像を回転させ、図５に示すようなアバター画像を第２の表示部２００に表示し（ステップＳ１５３）、図３のステップＳ１６０に処理を戻す。
ここで、ステップＳ１５１において取得された運転者の顔画像は、斜め方向から撮像された顔画像である。そのため、表示画像制御部４０は、画像から算出した顔の方向と、第２の表示部２００が設けられた方向とに基づいて、３Ｄのアバター画像を回転させる。
換言すると、運転者が第２の表示部２００に顔を向けた時には、正面を向いた３Ｄのアバター画像が第２の表示部２００に表示されるように、表示画像制御部４０は、アバター画像を回転させる処理を実行する。
また、第２の顔画像が正しく取得できるまで、第２の表示部２００には、３Ｄのアバター画像が表示され続ける。つまり、第２の表示部２００には、運転者の顔の向きに合わせた３Ｄのアバター画像が継続的に表示される。
＜作用・効果＞
以上、説明したように、本実施形態に係る個人認識システム１は、撮像部１０と、個人認識部３０と、表示画像制御部４０と、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００と、を備えている。撮像部１０は第１の表示部２０の外縁に設けられ、運転者の顔画像を撮像する。表示画像制御部４０は第１の表示部２０と第２の表示部２００とに表示させる表示画面を制御する。個人認識部３０は、運転者が第１の表示部２０を視認した時に撮像部１０により撮像した第１の顔画像と、運転者が第２の表示部２００を視認した時に撮像部１０により撮像した第２の顔画像と、を少なくとも用いて運転者の個人登録と個人認識とを行う。そして、個人認識部３０が個人登録を行う時には、表示画像制御部４０は第２の顔画像から抽出した顔向きデータに基づいてアバターの顔向きを制御した画像を第２の表示部２００に表示する。
つまり、第１の顔画像を取得する時には、第１の表示部２０には、表示画像制御部４０による画像が表示されているため、第１の表示部２０の方向に運転者の顔向きと視線とを一意に定めることができる。また、第２の顔画像を取得する時には、表示画像制御部４０による画像が表示されているため、第２の表示部２００の方向に運転者の顔向きと視線とを一意に定めることができる。
これにより、第１の顔画像と第２の顔画像とから精度よく運転者の顔の特徴量を抽出することができ、個人認識精度を高めることができる。
さらに、第２の顔画像は運転者の運転中を模擬した登録画像としても使用することができる。
また、本実施形態に係る個人認識システム１は、個人認識部３０が個人登録を行う時には、第２の顔画像から抽出した顔向きデータに基づいてアバターの顔向きを制御した画像を第２の表示部２００に表示する。
つまり、第２の顔画像を取得する時には、第２の表示部２００に運転者の顔の向きに合わせて動くアバター画像が画表示されるため、運転者は第２の表示部２００をより注視するようになり、運転者の顔向きと視線を一意に定めることができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
また、第２の表示部に表示すアバター画像は、予めメモリに格納されたアバター画像を回転させる処理のみで画像生成できるため、個人認識システム１の処理の負荷を上げずに実現することができる。
そのため、表示画像制御部４０は高性能なＧＰＵ、大容量のメモリ等を必要としないことから、個人認識システム１を安価に構成することができる。
また、本実施形態に係る個人認識システム１は、運転者が個人登録を行う時に、個人認識部３０が第１の顔画像を取得した後に、表示画像制御部４０が第２の表示部２００に画像を表示し、個人認識部３０が第２の顔画像を取得する。
つまり、第１の表示部２０を運転者が視認した時に取得する第１の顔画像の取得が完了するまでは、表示画像制御部４０は、第２の表示部２００に何も表示をしないため、運転者が見るべき表示部が明確になり、運転者の顔向きと視線を一意に定めることができる。
そのため、第１の顔画像と第２の顔画像とから精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
さらに、個人登録を行う際には、表示画像制御部４０が第２の表示部２００に画像を表示するため、運転者の顔向きと視線を誘導することができる。これにより、運転者の顔画像の登録処理を無駄なく、短時間で処理することができる。
また、本実施形態に係る個人認識システム１は、第２の表示部２００がヘッドアップディスプレイで構成されている。
つまり、ヘッドアップディスプレイの特性上、画像を視認できる目の位置が液晶画面と比較して、非常に狭いため、ヘッドアップディスプレイを使用した場合には、運転者の顔向きと視線とをさらに制限するができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
また、本実施形態に係る個人認識システム１は、撮像部１０と、個人認識部３０と、表示画像制御部４０と、第１の表示部２０と、が運転者の監視を行う運転状態監視装置１００に備えられている。
つまり、車両が運転者を監視する運転状態監視装置１００を備えている場合には、撮像部１０と、個人認識部３０と、表示画像制御部４０と、第１の表示部２０と、を共用し、個人認識システムを構成することができる。
そのため、第２の表示部２００のみを追加することで、個人認識システム１が構成できるため、コストダウンを図ることができる。
＜第２の実施形態＞
図６および図７を用いて、本実施形態に係る個人認識システム１Ａについて説明する。
本実施例は、上で説明した個人認識システム１に対して、第２の表示部２００に表示する画像の生成処理が変更された例である。
＜個人認識システム１Ａの処理＞
図６に示すように、個人認識システム１Ａの処理は、図３に示した個人認識システム１の処理フローのステップＳ１５０がステップＳ３００に変更されている。
そのため、ステップＳ３００についてのみ、以下に説明する。
＜第２の表示部２００に表示する画像処理（ステップＳ３００）＞
図７を用いて、個人認識システム１Ａの第２の表示部２００に表示する画像生成および第２の顔画像取得に関する処理について説明する。
表示画像制御部４０は、第１の表示部２０に第２の表示部２００を見るようなメッセージを表示し、その後に、個人認識部３０は、撮像部１０から運転者の顔画像（第２の顔画像）を取得する（ステップＳ３０１）。
個人認識部３０は取得した顔画像から、運転者の顔の向き（Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌ）を算出し、顔向きの情報を表示画像制御部４０に転送する（ステップＳ３０２）。
表示画像制御部４０は、転送された顔の向きの情報に基づいて、第２の顔画像を３Ｄ画像に変換する（ステップＳ３０３）。
そして、表示画像制御部４０は、３Ｄ変換した第２の顔画像を第２の表示部２００に表示する（ステップＳ３０４）。
ステップＳ３０１において取得された運転者の顔画像（第２の顔画像）は、斜め方向から撮像された画像である。したがって、表示画像制御部４０は、第２の顔画像を透視投影変換により視点変換し、運転者の正面の顔画像を生成している。
そして、第２の顔画像が正しく取得できるまで、第２の表示部２００には、運転者の正面の顔画像が表示され続ける。
＜作用・効果＞
本実施形態に係る個人認識システム１Ａは、個人登録を行う時には、第２の顔画像から抽出した顔向きデータに基づいて第２の顔画像を変換した画像を第２の表示部２００に表示する。
つまり、第２の顔画像を取得する時には、第２の顔画像を透視投影変換により視点変換した運転者の正面の顔画像が第２の表示部２００に表示されるため、運転者は第２の表示部２００をより注視するようになり、運転者の顔向きと視線を一意に定めることができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
＜変形例＞
個人認識システム１，１Ａにおいて、個人登録を行う時に、表示画像制御部４０が個人登録の進捗状況を示す画像を第２の表示部２００に表示してもよい。
つまり、第２の顔画像を取得する時に、第２の表示部２００に個人登録のプロセスの進捗度合いを示す数値、プログレスバー等を表示することによって、運転者は、あとどれだけの時間、第２の表示部２００を見ている必要があるのかを把握できるため、運転者の顔向きと視線とを一定期間、一意に定めることができる。
そのため、第２の顔画像から精度よく運転者の顔の特徴量が抽出でき、個人認識精度を高めることができる。
また、図８に示すように、個人登録のプロセスの進捗度合いを示す数値、プログレスバー等は、上記したアバター画像等の表示と同時に表示してもよい。
なお、個人認識部３０、表示画像制御部４０の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを個人認識部３０、表示画像制御部４０に読み込ませ、実行することによって本発明の個人認識システム１、１Ａを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１；個人認識システム
１Ａ；個人認識システム
１０；撮像部
２０；第１の表示部
３０；個人識別部
４０；表示画像制御部
１００；運転状態監視装置
２００；第２の表示部

Claims (7)

  1. 運転席の前方で車幅方向の中央部に設けられた第１の表示部と、
    前記運転席の正面に設けられた第２の表示部と、
    前記第１の表示部の外縁に設けられた撮像部と、
    前記第１の表示部と、前記第２の表示部と、に表示させる表示画像を制御する表示画像制御部と、
    前記運転席の運転者が前記第１の表示部を視認した時に前記撮像部により撮像された前記運転者の顔画像である第１の顔画像と、前記運転者が前記第２の表示部を視認した時に前記撮像部により撮像された前記運転者の顔画像である第２の顔画像と、を少なくとも用いて前記運転者の個人登録と個人認識とを行う個人認識部と、
    を備えたことを特徴とする個人認識システム。
  2. 撮像部と、個人認識部と、前記第１の表示部と、が前記運転者の監視を行う運転状態監視装置に備えられていることを特徴とする請求項１に記載の個人認識システム。
  3. 前記運転者が前記個人登録を行う時に、前記個人認識部が前記第１の顔画像を取得した後に、前記表示画像制御部が前記第２の表示部に画像を表示し、前記個人認識部が前記第２の顔画像を取得することを特徴とする請求項２に記載の個人認識システム。
  4. 前記表示画像制御部は前記第２の顔画像から抽出した顔向きデータに基づいて前記運転者に関連付けらえたアバターの顔向きを制御した画像を前記第２の表示部に表示することを特徴とする請求項３に記載の個人認識システム。
  5. 前記表示画像制御部は前記第２の顔画像から抽出した顔向きデータに基づいて前記第２の顔画像を変換した画像を前記第２の表示部に表示することを特徴とする請求項３に記載の個人認識システム。
  6. 前記表示画像制御部は前記個人登録の進捗状況を示す画像を前記第２の表示部に表示することを特徴とする請求項３から５のいずれか１項に記載の個人認識システム。
  7. 前記第２の表示部がヘッドアップディスプレイで構成されていることを特徴とする請求項１から６のいずれか１項に記載の個人認識システム。
JP2020218515A 2020-12-28 2020-12-28 個人認識システム Active JP7553351B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020218515A JP7553351B2 (ja) 2020-12-28 2020-12-28 個人認識システム
CN202111312869.6A CN114694207A (zh) 2020-12-28 2021-11-08 个人识别系统
US17/538,136 US11830260B2 (en) 2020-12-28 2021-11-30 Personal identification system
DE102021132653.2A DE102021132653A1 (de) 2020-12-28 2021-12-10 Personenidentifizierungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020218515A JP7553351B2 (ja) 2020-12-28 2020-12-28 個人認識システム

Publications (2)

Publication Number Publication Date
JP2022103716A true JP2022103716A (ja) 2022-07-08
JP7553351B2 JP7553351B2 (ja) 2024-09-18

Family

ID=81972519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020218515A Active JP7553351B2 (ja) 2020-12-28 2020-12-28 個人認識システム

Country Status (4)

Country Link
US (1) US11830260B2 (ja)
JP (1) JP7553351B2 (ja)
CN (1) CN114694207A (ja)
DE (1) DE102021132653A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045713A1 (ja) 2013-09-24 2015-04-02 シャープ株式会社 画像処理装置及び画像表示装置
US11072311B2 (en) * 2017-09-05 2021-07-27 Future Mobility Corporation Limited Methods and systems for user recognition and expression for an automobile
JP6962752B2 (ja) 2017-09-12 2021-11-05 株式会社ダイセル 電気回路遮断装置
US11100349B2 (en) * 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment

Also Published As

Publication number Publication date
US11830260B2 (en) 2023-11-28
CN114694207A (zh) 2022-07-01
JP7553351B2 (ja) 2024-09-18
DE102021132653A1 (de) 2022-06-30
US20220207888A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
JP5295714B2 (ja) 表示装置、画像処理方法、及びコンピュータプログラム
EP2112547A2 (en) Image processing apparatus, image processing method, program, and recording medium
EP3337164B1 (en) Head-mounted display
US10726814B2 (en) Image display apparatus, image processing apparatus, image display method, image processing method, and storage medium
JP5228074B2 (ja) 情報処理装置、表示制御方法
US20170085780A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium
JP2015152939A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2011206435A (ja) 撮像装置、撮像方法、撮像プログラム、及び内視鏡
JP7109193B2 (ja) 操作判定装置及び操作判定方法
JP2010206673A (ja) ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
JP2014023127A (ja) 情報表示装置、情報表示方法、制御プログラム、および記録媒体
JP2012208705A (ja) 画像操作装置、画像操作方法およびプログラム
JP6697751B2 (ja) 車両用表示システム、電子ミラーシステム及び移動体
JP6440910B2 (ja) 表示装置、表示制御装置および表示制御方法
JP6971590B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
US20180150999A1 (en) Image display apparatus, image display method, and system
JP2022103716A (ja) 個人認識システム
CN108885802B (zh) 信息处理装置、信息处理方法和存储介质
JP2010056726A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20210400234A1 (en) Information processing apparatus, information processing method, and program
JP6004354B2 (ja) 画像データ処理装置及び画像データ処理方法
US11327606B2 (en) Image processing device, imaging device, method of controlling image processing device, and recording medium, with outputting image if accepting first action and with outputting distribution information of evaluation values corresponding to image if accepting second action
JP7094759B2 (ja) システム、情報処理方法及びプログラム
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240905

R150 Certificate of patent or registration of utility model

Ref document number: 7553351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150