JP2022091755A - 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体 - Google Patents

車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP2022091755A
JP2022091755A JP2022031362A JP2022031362A JP2022091755A JP 2022091755 A JP2022091755 A JP 2022091755A JP 2022031362 A JP2022031362 A JP 2022031362A JP 2022031362 A JP2022031362 A JP 2022031362A JP 2022091755 A JP2022091755 A JP 2022091755A
Authority
JP
Japan
Prior art keywords
depth
image
distance
vehicle
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022031362A
Other languages
English (en)
Other versions
JP7428993B2 (ja
Inventor
▲シン▼ 胡
Xin Hu
程 黄
Cheng Huang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Publication of JP2022091755A publication Critical patent/JP2022091755A/ja
Application granted granted Critical
Publication of JP7428993B2 publication Critical patent/JP7428993B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/34—Detection related to theft or to other events relevant to anti-theft systems of conditions of vehicle components, e.g. of windows, door locks or gear selectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/10—Communication protocols, communication systems of vehicle anti-theft devices
    • B60R2325/101—Bluetooth
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/20—Communication devices for vehicle anti-theft devices
    • B60R2325/205—Mobile phones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00—Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/60—Indexing scheme relating to groups G07C9/00174 - G07C9/00944
    • G07C2209/63—Comprising locating means for detecting the position of the data carrier, i.e. within the vehicle or within a certain distance from the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Lock And Its Accessories (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本開示は、車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。【解決手段】方法は、車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することと、前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することと、前記第１画像に基づいて顔認識を行うことと、顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することと、を含む。【選択図】図１

Description

関連出願の相互参照
本願は、２０１９年２月２８日に中国特許局に提出された、出願番号２０１９１０１５２５６８．８、発明の名称「車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示は、車両技術に関し、特に、車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。
現在、ユーザは車両のキーでドアを解錠する。したがって、車両のキーを持たなければならないという不便な問題が存在する。また、車両のキーの損壊、失効、紛失が発生するおそれがある。
本開示は、車両のドアロック解除の技術的解決手段を提供する。
本開示の一側面によれば、車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することと、前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することと、前記第１画像に基づいて顔認識を行うことと、顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することと、を含む車両のドアロック解除方法を提供する。
本開示の別の側面によれば、車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得するための取得モジュールと、前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御するためのウェイクアップ制御モジュールと、前記第１画像に基づいて顔認識を行うための顔認識モジュールと、顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信するための送信モジュールと、を含む車両のドアロック解除装置を提供する。
本開示の別の側面によれば、メモリ、顔認識システム、画像取得モジュール及び人体近接監視システムを含み、前記顔認識システムは、前記メモリ、前記画像取得モジュール及び前記人体近接監視システムにそれぞれ接続され、前記人体近接監視システムは、距離が所定の条件を満たすと前記顔認識システムをウェイクアップするマイクロプロセッサ、及び前記マイクロプロセッサに接続される少なくとも１つの距離センサを含み、前記顔認識システムは、ドア領域コントローラに接続される通信インタフェースが更に設置され、顔認識が成功すると、前記通信インタフェースによって、前記ドア領域コントローラへドアを解錠するための制御情報を送信する車載顔認証ロック解除システムを提供する。
本開示の別の側面によれば、上記車載顔認証ロック解除システムを含み、上記車載顔認証ロック解除システムは上記車両のドア領域コントローラに接続される車両を提供する。
本開示の別の側面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは上記車両のドアロック解除方法を実行するように構成される電子機器を提供する。
本開示の別の側面によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドはプロセッサにより実行されると、上記車両のドアロック解除方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。
本開示の別の側面によれば、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは、電子機器で動作すると、前記電子機器のプロセッサに上記車両のドアロック解除方法を実現するためのコマンドを実行させるコンピュータプログラムを提供する。
本開示の実施例では、車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得し、前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御し、前記第１画像に基づいて顔認識を行い、顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することにより、ドアロック解除のセキュリティ性を確保した上で、ドアロック解除の利便性を高めることができる。
以上の一般的な説明と以下の詳細な説明は、例示的及び説明的なものに過ぎず、本開示を制限するものではないと理解すべきである。
本開示の他の特徴および側面は、以下の図面を参照しながら例示的な実施例を詳細に説明することによって明らかになる。
ここで、本明細書の一部として組み込まれる図面は、本開示に適する実施例を示すものであり、明細書と共に本開示の技術的手段を説明するために用いられる。
本開示の実施例に係る車両のドアロック解除方法のフローチャートを示す。 車両のＢピラーの模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における車両のドアロック解除装置の取付高さと識別可能な身長範囲の模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径の模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの別の模式図を示す。 本開示の実施例に係る生体検出方法の一例の模式図を示す。 本開示の実施例に係る生体検出方法において第１画像及び第２深度マップに基づいて第１画像における目標対象物の生体検出結果を決定する一例の模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における深度予測ニューラルネットワークの模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における関連度検出ニューラルネットワークの模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における深度マップ更新の例示的な模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における周辺画素の模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における周辺画素の別の模式図を示す。 本開示の実施例に係る車両のドアロック解除装置のブロック図を示す。 本開示の実施例に係る車載顔認証ロック解除システムのブロック図を示す。 本開示の実施例に係る車載顔認証ロック解除システムの模式図を示す。 本開示の実施例に係る車両の模式図を示す。 例示的な一実施例に示す電子機器８００のブロック図である。
以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および側面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な側面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
図１は本開示の実施例に係る車両のドアロック解除方法のフローチャートを示す。この車両のドアロック解除方法は、車両のドアロック解除装置により実行されるようにしてもよい。例えば、この車両のドアロック解除装置は、車両のＢピラー、少なくとも１つのドア、および少なくとも１つのバックミラーのうちの少なくとも１つに取り付けられるようにしてもよい。図２は車両のＢピラーの模式図を示す。例えば、車両のドアロック解除装置は、Ｂピラーに地面から１３０ｃｍ～１６０ｃｍ離れる箇所に取り付けられ、その水平認識距離が３０ｃｍ～１００ｃｍであるようにしてもよいが、ここでこれを限定しない。図３は本開示の実施例に係る車両のドアロック解除方法における車両のドアロック解除装置の取付高さと認識可能な身長範囲の模式図を示す。図３に示す例において、車両のドアロック解除装置の取付高さが１６０ｃｍであり、認識可能な身長範囲が１４０ｃｍ～１９０ｃｍである。
可能な一実施形態では、この車両のドアロック解除方法は、プロセッサによりメモリに記憶されているコンピュータ読み取り可能なコマンドを呼び出すことによって実現されるようにしてもよい。
図１に示すように、この車両のドアロック解除方法は、ステップＳ１１～ステップＳ１４を含む。
ステップＳ１１において、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得する。
可能な一実施形態では、少なくとも１つの距離センサは、ブルートゥース距離センサを含み、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得することは、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、ブルートゥースによるペアリング接続の成功に応じて、ブルートゥース距離センサによって外部装置を持っている目標対象物と車両との間の第１距離を取得することと、を含む。
この実施形態では、外部装置は、例えば、携帯電話、ウェアラブルデバイス又は電子キー等ブルートゥース機能付きのいかなる携帯型装置であってもよい。ここで、ウェアラブルデバイスは、スマートブレスレット又はスマートグラス等であってもよい。
一例において、少なくとも１つの距離センサがブルートゥース距離センサを含む場合に、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ、受信信号強度インジケーション）によって外部装置を持っている目標対象物と車両との間の第１距離を計測するようにしてもよい。ここで、ブルートゥースによる距離測定範囲が１～１００ｍである。例えば、外部装置を持っている目標対象物と車両との間の第１距離が式１によって決定されるようにしてもよい。
Figure 2022091755000002
 ただし、
Figure 2022091755000003
 は現在のＲＳＳＩを示し、
Figure 2022091755000004
 はマスタとスレーブと（ブルートゥース距離センサと外部装置と）の距離が１ｍである場合のＲＳＳＩを示し、
Figure 2022091755000005
 は温度、湿度等の環境要素に関連する伝搬係数を示し、
Figure 2022091755000006
 は外部装置を持っている目標対象物とブルートゥース距離センサとの間の第１距離を示す。
一例において、
Figure 2022091755000007
 が環境の変化に伴って変化する。異なる環境において、距離を測定する前に、環境要素（例えば、温度及び湿度）に応じて
Figure 2022091755000008
 を調整する必要がある。環境要素に応じて
Figure 2022091755000009
 を調整することにより、異なる環境においてブルートゥースによる距離測定の正確性を高めることができる。
一例において、
Figure 2022091755000010
 は異なる外部装置に応じて校正される必要がある。異なる外部装置に応じて
Figure 2022091755000011
 を校正することにより、異なる外部装置に対してブルートゥースによる距離測定の正確性を高めることができる。
一例において、ブルートゥース距離センサで検出された第１距離を複数回取得し、複数回取得された第１距離の平均値に基づいて所定の条件を満たすか否かを判定するようにしてもよい。これにより、一回の距離測定に比べて、誤差を小さくすることができる。
この実施形態では、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することにより、ブルートゥース認証が追加され、ドアロック解除のセキュリティ性を高めることができる。
可能な別の一実施形態では、少なくとも１つの距離センサは、超音波距離センサを含み、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得することは、車両の車室外部に設置される超音波距離センサによって目標対象物と車両との間の第２距離を取得することを含む。
一例において、超音波による距離測定範囲は０．１～１０ｍであり、測定の精度は１ｃｍである。超音波による距離測定の公式は式３で表されてもよい。
Figure 2022091755000012
 ただし、Ｌは第２距離を示し、Ｃは空气中での超音波の伝播速度を示し、Ｔｕは超音波の送信時間と受信時間の時間差の１／２と等しい。
ステップＳ１２において、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御する。
可能な一実施形態では、所定の条件は、距離が所定の距離閾値より小さいことと、距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される距離が、目標対象物が車両に近づいていることを示すこととのうちの少なくとも１つを含む。
一例において、所定の条件は、距離が所定の距離閾値より小さいことである。例えば、ブルートゥース距離センサにより複数回検出した第１距離の平均値が距離閾値より小さくなると、所定の条件を満たすと判定する。例えば、距離閾値が５ｍである。
別の例において、所定の条件は、距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することである。例えば、超音波距離センサにより検出した第２距離を取得する場合に、第２距離が距離閾値より小さくなる持続時間が時間閾値に達すると、所定の条件を満たすと判定する。
可能な一実施形態では、少なくとも１つの距離センサは、ブルートゥース距離センサ及び超音波距離センサを含み、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得することは、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、ブルートゥースによるペアリング接続の成功に応じて、ブルートゥース距離センサによって外部装置を持っている目標対象物と車両との間の第１距離を取得することと、超音波距離センサによって目標対象物と車両との間の第２距離を取得することと、を含み、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御することは、第１距離及び第２距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御することを含む。
この実施形態では、ブルートゥース距離センサと超音波距離センサを協働させることにより、ドアロック解除のセキュリティ性を高めることができる。
可能な一実施形態では、所定の条件は、第１所定の条件及び第２所定の条件を含み、第１所定の条件は、第１距離が所定の第１距離閾値より小さいことと、第１距離が所定の第１距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される第１距離が、目標対象物が車両に近づいていることを示すこととのうちの少なくとも１つを含み、第２所定の条件は、第２距離が第１距離閾値より小さい所定の第２距離閾値より小さいことと、第２距離が所定の第２距離閾値より小さくなる持続時間が所定の時間閾値に達することとを含む。
可能な一実施形態では、第１距離及び第２距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御することは、第１距離が第１所定の条件を満たすことに応じて、車両に設置される顔認識システムをウェイクアップすることと、第２距離が第２所定の条件を満たすことに応じて、ウェイクアップされた顔認識システムによって、目標対象物の第１画像を取得するように画像取得モジュールを制御することと、を含む。
顔認識システムのウェイクアップは通常、いくらかの時間、例えば４～５秒がかかるため、顔認識トリガ及び処理が遅くしてしまい、ユーザ体験に影響を与える。上記実施形態では、ブルートゥース距離センサと超音波距離センサを組み合わせることにより、顔認識システムは、ブルートゥース距離センサで取得された第１距離が第１所定の条件を満たすと、ウェイクアップされて早期に動作可能状態となり、超音波距離センサで取得された第２距離が第２所定の条件を満たすと、顔画像処理を迅速に実行することができる。このように、顔認識の効率を高め、ユーザ体験を改善することができる。
可能な一実施形態では、距離センサは超音波距離センサであり、所定の距離閾値は、算出されて得た、車両外の目標対象物と車両との間の距離の閾値の基準値を示す距離閾値基準値、及び車両外の目標対象物と車両との間の距離の閾値のオフセット値を示す所定の距離閾値オフセット値に基づいて決定される。
一例において、距離オフセット値は人の立ちで占められる距離に基づいて決定されるようにしてもよい。例えば、距離オフセット値は、初期化時にデフォルト値が設定される。例えば、デフォルト値が１０ｃｍとなる。
可能な一実施形態では、所定の距離閾値は距離閾値基準値と所定の距離閾値オフセット値との差に等しい。例えば、距離閾値基準値を
Figure 2022091755000013
 とし、距離閾値オフセット値を
Figure 2022091755000014
 とすると、所定の距離閾値は式４によって決定されてもよい。
Figure 2022091755000015
距離閾値基準値及び距離閾値オフセット値に基づいて所定の距離閾値を決定する態様について、上記のように所定の距離閾値が距離閾値基準値と距離閾値オフセット値との差に等しいことを例として説明したが、当業者であれば、本開示においてこれに限定されないと理解できる。当業者であれば、実際の適用シーンの要求及び／又は個人的な好みに応じて、所定の距離閾値を距離閾値基準値及び距離閾値オフセット値に基づいて決定する具体的な実現態様を柔軟に設定することができる。例えば、所定の距離閾値は、距離閾値基準値と距離閾値オフセット値の和に等しいようにしてもよい。また、例えば、距離閾値基準値と、距離閾値オフセット値と第５所定係数の積との差を所定の距離閾値として決定するようにしてもよい。
一例において、距離閾値基準値は、車両のイグニッションオフ後の特定期間の車両外の対象物と車両との間の距離の平均値を示す車両のイグニッションオフ後の距離平均値と、ドアロック解除可能な最大距離のうちの最小値を取る。例えば、車両のイグニッションオフ後の特定期間を車両のイグニッションオフ後のＮ秒とすれば、車両のイグニッションオフ後の特定期間に距離センサにより検出した距離の平均値が
Figure 2022091755000016
 となり、ただし、
Figure 2022091755000017
 は、距離センサから取得された
Figure 2022091755000018
 時刻の距離値を示す。例えば、ドアロック解除可能な最大距離を
Figure 2022091755000019
 とすると、距離閾値基準値は式５によって決定されてもよい。
Figure 2022091755000020
 即ち、距離閾値基準値は、車両のイグニッションオフ後の距離平均値
Figure 2022091755000021
 とドアロック解除可能な最大距離
Figure 2022091755000022
 のうちの最小値を取る。
別の例において、距離閾値基準値は車両のイグニッションオフ後の距離平均値と等しい。この例において、ドアロック解除可能な最大距離を考慮せずに、車両のイグニッションオフ後の距離平均値のみに基づいて距離閾値基準値を決定する。
別の例において、距離閾値基準値はドアロック解除可能な最大距離と等しい。この例において、車両のイグニッションオフ後の距離平均値を考慮せずに、ドアロック解除可能な最大距離のみに基づいて距離閾値基準値を決定する。
可能な一実施形態では、距離閾値基準値は周期的に更新される。例えば、距離閾値基準値の更新周期は５分であり、即ち、距離閾値基準値を５分ごとに更新するようにしてもよい。距離閾値基準値を周期的に更新することにより、異なる環境に適応可能となる。
可能な別の一実施形態では、決定された距離閾値基準値を更新しなくてもよい。
可能な別の一実施形態では、所定の距離閾値はデフォルト値に設定されてもよい。
可能な一実施形態では、距離センサは超音波距離センサであり、所定の時間閾値は、算出されて得た、車両外の対象物と車両との間の距離が所定の距離閾値より小さくなる時間の閾値の基準値を示す時間閾値基準値、及び車両外の対象物と車両との間の距離が所定の距離閾値より小さくなる時間の閾値のオフセット値を示す時間閾値オフセット値に基づいて決定される。
いくつかの実施例では、時間閾値オフセット値は実験的に決定されてもよい。一例において、時間閾値オフセット値は、時間閾値基準値の１／２にデフォルトで設定されてもよい。当業者であれば、実際の適用シーンの要求及び／又は個人的な好みに応じて時間閾値オフセット値を柔軟に設定することができ、ここで限定しない。
可能な別の一実施形態では、所定の時間閾値はデフォルト値に設定されてもよい。
可能な一実施形態では、所定の時間閾値は時間閾値基準値と時間閾値オフセット値との和に等しい。例えば、時間閾値基準値を
Figure 2022091755000023
 とし、時間閾値オフセット値を
Figure 2022091755000024
 とすると、所定の時間閾値は式６によって決定されてもよい。
Figure 2022091755000025
時間閾値基準値及び時間閾値オフセット値に基づいて所定の時間閾値を決定する態様について、上記のように所定の時間閾値が時間閾値基準値と時間閾値オフセット値との和に等しいことを例として説明したが、当業者であれば、本開示においてこれに限定されないと理解できる。当業者であれば、実際の適用シーンの要求及び／又は個人的な好みに応じて、所定の時間閾値を時間閾値基準値及び時間閾値オフセット値に基づいて決定する具体的な実現態様を柔軟に設定することができる。例えば、所定の時間閾値は、時間閾値基準値と時間閾値オフセット値との差に等しいようにしてもよい。また、例えば、時間閾値オフセット値と第６所定係数との積と、時間閾値基準値との和を所定の時間閾値として決定するようにしてもよい。
可能な一実施形態では、時間閾値基準値は超音波距離センサの水平方向検知角度、超音波距離センサの検知半径、対象物サイズ及び対象物速度のうちの１つ又は複数に基づいて決定される。
図４は本開示の実施例に係る車両のドアロック解除方法における超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径の模式図を示す。例えば、時間閾値基準値は、超音波距離センサの水平方向検知角度、超音波距離センサの検知半径、少なくとも１種の目標対象物サイズ及び少なくとも１種の目標対象物速度に基づいて決定される。超音波距離センサの検知半径は、超音波距離センサの水平方向の検知半径としてもよい。超音波距離センサの検知半径は、ドアロック解除可能な最大距離、例えば１ｍと等しいようにしてもよい。
他の例において、時間閾値基準値は、デフォルト値に設定されてもよいし、他のパラメータに基づいて決定されてもよく、ここで限定されない。
可能な一実施形態では、この方法は、種別ごとの対象物サイズ、種別ごとの対象物速度、超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定することと、種別ごとの対象物に対応する候補基準値から時間閾値基準値を決定することと、を更に含む。
例えば、種別は、歩行者種別、自転車種別及びオートバイ種別等を含んでもよい。対象物サイズは、対象物の幅であるようにしてもよい。例えば、歩行者種別の対象物サイズは歩行者の幅の経験値で、自転車種別の対象物サイズは自転車の幅の経験値等であるようにしてもよい。対象物速度は対象物速度の経験値であるようにしてもてよい。例えば、歩行者種別の対象物速度は歩行者の歩行速度の経験値であるようにしてもよい。
一例において、種別ごとの対象物サイズ、種別ごとの対象物速度、超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定することは、式２を用いて種別
Figure 2022091755000026
 の対象に対応する候補基準値
Figure 2022091755000027
 を決定することを含む。
Figure 2022091755000028
 ただし、
Figure 2022091755000029
 は距離センサの水平方向検知角度を示し、
Figure 2022091755000030
 は距離センサの検知半径を示し、
Figure 2022091755000031
 は種別
Figure 2022091755000032
 の対象物サイズを示し、
Figure 2022091755000033
 は種別
Figure 2022091755000034
 の対象物速度を示す。
種別ごとの対象物サイズ、種別ごとの対象物速度、超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定する態様について、上記のように式２を例として説明したが、当業者であれば、本開示においてこれに限定されないと理解できる。例えば、当業者は実際の適用シーンの要求に応じて式２を調整することができる。
可能な一実施形態では、種別ごとの対象物に対応する候補基準値から時間閾値基準値を決定することは、種別ごとの対象物に対応する候補基準値のうちの最大値を時間閾値基準値として決定することを含む。
他の例において、種別ごとの対象物に対応する候補基準値の平均値を時間閾値基準値として決定してもよいし、種別ごとの対象物に対応する候補基準値のうちの１つを時間閾値基準値としてランダムに選択してもよいが、ここで限定されない。
いくかの実施例では、所定の時間閾値は、体験に影響を与えないように１秒より小さく設定される。一例では、超音波距離センサの水平方向検知角度を小さくすることにより、歩行者、自転車等の通過による干渉を減少することができる。
本開示の実施例では、環境に応じて所定の時間閾値を動的に更新しないようにしてもよい。
本開示の実施例では、距離センサは、長時間にわたって低消費電力（＜５ｍＡ）で動作することができる。
ステップＳ１３において、第１画像に基づいて顔認識を行う。
可能な一実施形態では、顔認識は、生体検出及び顔認証を含み、第１画像に基づいて顔認識を行うことは、画像取得モジュールの画像センサによって第１画像を取得し、第１画像及び予め登録された顔特徴に基づいて顔認証を行うことと、画像取得モジュールの深度センサによって第１画像に対応する第１深度マップを取得し、第１画像及び第１深度マップに基づいて生体検出を行うことと、を含む。
本開示の実施例では、第１画像は目標対象物を含む。ここで、目標対象物は、顔又は人体の少なくとも一部であってもよく、本開示の実施例においてこれについて限定しない。
ここで、第１画像は静的画像又はビデオフレームの画像であってもよい。例えば、ビデオシーケンスから選択された画像を第１画像とし、また、様々な方式でビデオシーケンスから画像を選択することができる。具体的な一例では、第１画像は、ビデオシーケンスから選択された所定の品質条件を満たす画像であり、この所定の品質条件は、目標対象物を含むか否か、目標対象物が画像の中心領域に位置するか否か、目標対象物が完全に画像に含まれるか否か、目標対象物が画像に占める比率、目標対象物の状態（例えば顔角度）、画像鮮明度、画像露光度等のうちの１つ又は任意の組合せを含んでもよく、本開示の実施例においてこれらについて限定しない。
一例において、生体検出を行ってから顔認証を行うようにしてもよい。例えば、目標対象物が生体であることを示す目標対象物の生体検出結果である場合、顔認証フローがトリガされ、目標対象物が補綴であることを示す目標対象物の生体検出結果である場合、顔認証フローがトリガされない。
別の例において、顔認証を行ってから生体検出を行うようにしてもよい。例えば、顔認証が成功する場合、生体検出フローがトリガされ、顔認証が失敗する場合、生体検出フローがトリガされない。
別の例において、生体検出と顔認証を同時に行うようにしてもよい。
この実施形態では、生体検出は、目標対象物が生体であるか否かを検証するためのものであり、例えば、目標対象物が人体であるか否かを検証することができる。顔認証は、取得された画像における顔特徴を抽出し、取得された画像における顔特徴を予め登録された顔特徴と照合し、同一の人の顔特徴であるか否かを判断するためのものであり、例えば、取得された画像における顔特徴が車両所有者の顔特徴であるか否かを判断することができる。
本開示の実施例では、深度センサとは深度情報を取得するためのセンサを指す。本開示の実施例は深度センサの動作原理及び動作波長帯を限定しない。
本開示の実施例では、画像取得モジュールの画像センサと深度センサは、別々に設置されてもよく、一体的に設置されてもよい。例えば、画像取得モジュールの画像センサと深度センサは、画像センサがＲＧＢ（Ｒｅｄ、赤；Ｇｒｅｅｎ、緑；Ｂｌｕｅ、青）センサ又は赤外線センサを採用し、深度センサが両眼赤外線センサ又はＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、飛行時間）センサを採用するように別々に設置さてもよく、画像取得モジュールがＲＧＢＤ（Ｒｅｄ、赤；Ｇｒｅｅｎ、緑；Ｂｌｕｅ、青；Ｄｅｅｐ、深度）センサを用いて画像センサと深度センサの機能を実現するように一体的に設置されてもよい。
一例として、画像センサは、ＲＧＢセンサである。画像センサがＲＧＢセンサである場合、画像センサで取得された画像はＲＧＢ画像である。
別の例として、画像センサは赤外線センサである。画像センサが赤外線センサである場合、画像センサで取得された画像は赤外線画像である。ここで、赤外線画像は、スポットのあるものであってもよく、スポットのないものであってもよい。
他の例において、画像センサは他の種別のセンサであってもよく、本開示の実施例においてこれについて限定しない。
選択可能的に、車両のドアロック解除装置は、様々な方式で第１画像を取得することができる。例えば、いくつかの実施例では、車両のドアロック解除装置にカメラが設置されており、車両のドアロック解除装置はカメラによって静的画像又はビデオストリームを取得して第１画像を得る。本開示の実施例において、第１画像の取得方式について限定しない。
一例として、深度センサは三次元センサである。例えば、深度センサは、２つの赤外線カメラを含む両眼赤外線センサ、飛行時間ＴＯＦセンサ又は構造化光センサである。構造化光センサは、コード化構造化光センサ又はスペックル構造化光センサであってもよい。深度センサによって目標対象物の深度マップを取得することにより、高精度の深度マップを取得することができる。本開示の実施例は、目標対象物を含む深度マップを用いて生体検出を行うことにより、目標対象物の深度情報を十分に発見することができ、生体検出の正確性を高めることができる。例えば、目標対象物が顔である場合、本開示の実施例は、顔を含む深度マップを用いて生体検出を行うことにより、顔データの深度情報を十分に発見することができ、生体顔検出の正確性を高めることができる。
一例において、ＴＯＦセンサは赤外線波長域に基づくＴＯＦモジュールを用いる。この例において、赤外線波長域に基づくＴＯＦモジュールを用いることにより、外部の光線による深度マップの撮影への影響を低減することができる。
本開示の実施例では、第１深度マップと第１画像は対応するものである。例えば、第１深度マップ及び第１画像は、それぞれ深度センサ及び画像センサにより同一シーンに対して取得されたものであり、又は、深度センサ及び画像センサにより同一時刻で同一目標領域に対して取得されたものであるが、本開示の実施例はこれについて限定しない。
図５ａは本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの模式図を示す。図５ａに示す例において、画像センサはＲＧＢセンサであり、画像センサのカメラはＲＧＢカメラであり、深度センサは、両眼赤外線センサであり、画像センサのＲＧＢカメラの両側に設置される２つの赤外線（ＩＲ）カメラを含む。ここで、２つの赤外線カメラは、両眼視差の原理に基づいて深度情報を取得する。
一例において、画像取得モジュールは、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に設置されるものであって、画像センサ用の補光ライト及び深度センサ用の補光ライトのうちの少なくとも一方を含む少なくとも１つの補光ライトを更に含む。例えば、画像センサがＲＧＢセンサである場合、画像センサ用の補光ライトはホワイトライトであり、画像センサが赤外線センサである場合、画像センサ用の補光ライトは赤外線ライトであり、深度センサが両眼赤外線センサである場合、深度センサ用の補光ライトは赤外線ライトであるようにしてもよい。図５ａに示す例において、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に赤外線ライトが設置されている。例えば、赤外線ライトは、９４０ｎｍの赤外線を用いるようにしてもよい。
一例において、補光ライトはノーマルオープンモードとしてもよい。この例において、画像取得モジュールのカメラが動作状態にある時に、補光ライトはオン状態にある。
別の例において、光線が足りない場合に補光ライトをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値より低い場合に光線が足りないと判定し、補光ライトをオンにするようにしてもよい。
図５ｂは本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの別の模式図を示す。図５ｂに示す例において、画像センサはＲＧＢセンサであり、画像センサのカメラはＲＧＢカメラであり、深度センサはＴＯＦセンサである。
一例において、画像取得モジュールは、深度センサのカメラと画像センサのカメラとの間に設置されるレーザーを更に含む。例えば、レーザーがＴＯＦセンサのカメラとＲＧＢセンサのカメラとの間に設置される。例えば、レーザーはＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ、垂直共振器面発光レーザ）であり、ＴＯＦセンサはＶＣＳＥＬから発生したレーザー光によって深度マップを取得する。
本開示の実施例では、深度センサは深度マップを取得するためものであり、画像センサは二次元画像を取得するためのものである。ＲＧＢセンサ及び赤外線センサを例として画像センサを説明し、両眼赤外線センサ、ＴＯＦセンサ及び構造化光センサを例として深度センサを説明したが、当業者であれば、本開示の実施例においてこれに限定されないと理解できる。当業者であれば、実際の適用の要求に応じて画像センサ及び深度センサの種類を選択してもよく、二次元画像及び深度マップの取得をそれぞれ実現できればよい。
ステップＳ１４において、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信する。
一例において、車両のドアロック解除装置のＳｏＣは、ドア領域コントローラにドアロック解除コマンドを送信して、ドアを解錠するように制御することができる。
本開示の実施例におけるドアは、出入りのためのドア（例えば、左前ドア、右前ドア、左後ドア、右後ドア）を含んでもよく、車両のトランクのドア等を含んでもよい。それに応じて、前記少なくとも１つのドアロックは、左前ドアロック、右前ドアロック、左後ドアロック、右後ドアロック及びトランクのドアロック等のうちの少なくとも１つを含んでもよい。
可能な一実施形態では、前記顔認識は、権限認証を更に含み、前記の第１画像に基づいて顔認識を行うことは、第１画像に基づいて前記目標対象物の解錠権限情報を取得することと、前記目標対象物の解錠権限情報に基づいて権限認証を行うことと、を含む。この実施形態によれば、異なるユーザに対して異なる解錠権限情報を設定することができ、車両のセキュリティ性を高めることができる。
この実施形態の一例として、前記目標対象物の解錠権限情報は、前記目標対象物に解錠権限が持たれるドアの情報、前記目標対象物の解錠権限の期間、前記目標対象物に対応する解錠権限の回数のうちの１つ又は複数を含む。
例えば、前記目標対象物に解錠権限が持たれるドアの情報は、全てのドア又は一部のドアとしてもよい。例えば、車両所有者や車両所有者の家族、友達に解錠権限が持たれるドアは全てのドアであり、配達員や物件管理スタッフに解錠権限が持たれるドアはトランクのドアであるようにしてもよい。ただし、車両所有者により他人に解錠権限が持たれるドアの情報を設定してもよい。例えば、配車サービスのシーンでは、乗客に解錠権限が持たれるドアは運転席以外のドア及びトランクのドアであるようにしてもよい。
例えば、目標対象物の解錠権限の期間は、全ての時間帯としてもよく、所定の時間帯としてもよい。例えば、車両所有者や車両所有者の家族の解錠権限の期間は、全ての時間帯であるようにしてもよい。車両所有者により他人に解錠権限の期間を設定してもよい。例えば、車両所有者は、車両を友達に貸すシーンでは、友達の解錠権限の期間を２日間に設定してもよい。また例えば、車両所有者は、配達員から連絡された後、配達員の解錠権限の期間を２０１９年９月２９日１３：００－１４：００に設定してもよい。また例えば、レンタカーのシーンでは、お客様が車両を３日間賃借りすれば、レンタカースタッフはこのお客様の解錠権限の期間を３日間に設定してもよい。また例えば、配車サービスのシーンでは、乗客の解錠権限の期間を旅行注文書に記載されているサービス期間にしてもよい。
例えば、目標対象物に対応する解錠権限の回数は、無限回数又は有限回数にしてもよい。例えば、車両所有者や車両所有者の家族、友達に対応する解錠権限の回数は、無限回数にしてもよい。また例えば、配達員に対応する解錠権限の回数は、有限回数、例えば１回にしてもよい。
可能な一実施形態では、第１画像及び第１深度マップに基づいて生体検出を行うことは、第１画像に基づいて第１深度マップを更新して、第２深度マップを得ることと、第１画像及び第２深度マップに基づいて目標対象物の生体検出結果を決定することと、を含む。
具体的には、第１画像に基づいて第１深度マップにおける１つ又は複数の画素の深度値を更新して、第２深度マップを得る。
いくつかの実施例では、第１画像に基づいて第１深度マップにおける深度失効画素の深度値を更新して、第２深度マップを得る。
ここで、深度マップにおける深度失効画素とは、深度マップに含まれ、無効な深度値を有する画素、即ち正確でない深度値又は現実に明らか合わない深度値を有する画素を指してもよい。深度失効画素の数は１つ又は複数であってもよい。深度マップにおける少なくとも１つの深度失効画素の深度値を更新することにより、深度失効画素の深度値がより正確になり、生体検出の正確率を高めることに寄与する。
いくつかの実施例では、第１深度マップは欠損値のある深度マップであり、第１画像に基づいて第１深度マップを修復することによって第２深度マップを得る。ここで、選択可能的に、第１深度マップの修復には、欠損画素の深度値の決定又は補完を含むが、本開示の実施例はこれに限定されない。
本開示の実施例では、様々な方式で第１深度マップを更新又は修復することができる。いくつかの実施例では、第１画像を直接用いて生体検出を行い、例えば、第１画像を直接用いて第１深度マップを更新する。他のいくつかの実施例では、第１画像を前処理し、前処理後の第１画像に基づいて生体検出を行う。例えば、第１画像から目標対象物の画像を取得し、目標対象物の画像に基づいて第１深度マップを更新する。
様々な方式で第１画像から目標対象物の画像を切り出すことができる。一例として、第１画像に対して目標検出を行って目標対象物の位置情報、例えば目標対象物の境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の位置情報を得、目標対象物の位置情報に基づいて第１画像から目標対象物の画像を切り出す。例えば、第１画像から目標対象物の境界ボックスの所在する領域の画像を目標対象物の画像として切り出し、また例えば、目標対象物の境界ボックスを一定の倍数で拡大し、第１画像から拡大された境界ボックスの所在する領域の画像を目標対象物の画像として切り出す。別の例として、第１画像における目標対象物のキーポイント情報を取得し、目標対象物のキーポイント情報に基づいて第１画像から目標対象物の画像を取得する。
選択可能的に、第１画像に対して目標検出を行って目標対象物の所在領域の位置情報を得、目標対象物の所在領域の画像に対してキーポイント検出を行って第１画像における目標対象物のキーポイント情報を得る。
選択可能的に、目標対象物のキーポイント情報は、目標対象物の複数のキーポイントの位置情報を含んでもよい。目標対象物が顔である場合、目標対象物のキーポイントは、目のキーポイント、眉のキーポイント、鼻のキーポイント、口のキーポイント及び顔輪郭のキーポイント等のうちの１つ又は複数を含んでもよい。ここで、目のキーポイントは、目輪郭のキーポイント、目尻のキーポイント及び瞳のキーポイント等のうちの１つ又は複数を含んでもよい。
一例において、目標対象物のキーポイント情報に基づいて目標対象物の輪郭を決定し、目標対象物の輪郭に基づいて第１画像から目標対象物の画像を切り出す。目標検出によって得られた目標対象物の位置情報と比べると、キーポイント情報によって得られた目標対象物の位置がより正確であり、後続の生体検出の正確率の向上に寄与する。
選択可能的に、第１画像における目標対象物のキーポイントに基づいて第１画像における目標対象物の輪郭を決定し、第１画像における目標対象物の輪郭の所在する領域の画像、又は目標対象物の輪郭の所在する領域が一定の倍数で拡大された領域の画像を、目標対象物の画像として決定するようにしてもよい。例えば、第１画像において目標対象物のキーポイントに基づいて決定された楕円形領域を目標対象物の画像として決定するか、または第１画像において目標対象物のキーポイントに基づいて決定された楕円形領域の最小外接矩形領域を目標対象物の画像として決定するようにしてもよいが、本開示の実施例は目標対象物の画像の取得方式を限定しない。
このように、第１画像から目標対象物の画像を取得し、目標対象物の画像に基づいて生体検出を行うことにより、第１画像における背景情報による生体検出への干渉を低減することができる。
本開示の実施例では、取得された元の深度マップに対して更新処理を行うようにしてもよい。あるいは、いくつかの実施例では、第１深度マップから目標対象物の深度マップを取得し、第１画像に基づいて目標対象物の深度マップを更新して第２深度マップを得る。
一例として、第１画像における目標対象物の位置情報を取得し、目標対象物の位置情報に基づいて第１深度マップから目標対象物の深度マップを取得する。ここで、選択可能的に、予め第１深度マップ及び第１画像に対してレジストレーション又は位置合わせ処理を行ってもよい。本開示の実施例は目標対象物の深度マップの取得方式を限定しない。
このように、第１深度マップから目標対象物の深度マップを取得し、第１画像に基づいて目標対象物の深度マップを更新して第２深度マップを得ることにより、第１深度マップにおける背景情報による生体検出への干渉を低減することができる。
いくつかの実施例では、第１画像及び第１画像に対応する第１深度マップが取得された後、画像センサのパラメータ及び深度センサのパラメータに基づいて、第１画像と第１深度マップの位置合わせをする。
一例として、第１深度マップに対して変換処理を行って、変換処理後の第１深度マップと第１画像の位置合わせをるようにしてもよい。例えば、深度センサのパラメータ及び画像センサのパラメータに基づいて第１変換行列を決定し、第１変換行列に基づいて第１深度マップに対して変換処理を行うようにしてもよい。それに応じて、第１画像の少なくとも一部に基づいて、変換処理後の第１深度マップの少なくとも一部を更新して第２深度マップを得るようにしてもよい。例えば、第１画像に基づいて、変換処理後の第１深度マップを更新して第２深度マップを得る。また例えば、第１画像から切り出された目標対象物の画像に基づいて、第１深度マップから切り出された目標対象物の深度マップを更新して第２深度マップを得る等のようにする。
別の例として、第１画像に対して変換処理を行って、変換処理後の第１画像と第１深度マップの位置合わせをるようにしてもよい。例えば、深度センサのパラメータ及び画像センサのパラメータに基づいて第２変換行列を決定し、第２変換行列に基づいて第１画像に対して変換処理を行うようにしてもよい。それに応じて、変換処理後の第１画像の少なくとも一部に基づいて、第１深度マップの少なくとも一部を更新して第２深度マップを得るようにしてもよい。
選択可能的に、深度センサのパラメータは、深度センサの内部パラメータ及び／又は外部パラメータを含んでもよく、画像センサのパラメータは、画像センサの内部パラメータ及び／又は外部パラメータを含んでもよい。第１深度マップと第１画像の位置合わせをすることにより、第１深度マップと第１画像の対応部分の、第１深度マップと第１画像における位置が同じようにすることができる。
上述した例では、第１画像は元の画像（例えば、ＲＧＢ又は赤外線画像）であり、他のいくつかの実施例では、第１画像は元の画像から切り出された目標対象物の画像であってもよく、類似的に、第１深度マップは元の深度マップから切り出された目標対象物の深度マップであってもよいが、本開示の実施例はこれらを限定しない。
図６は本開示の実施例に係る生体検出方法の一例の模式図を示す。図６に示される例において、第１画像がＲＧＢ画像であり、かつ目標対象物が顔であり、ＲＧＢ画像と第１深度マップに対してｓ補正処理を行い、処理後の画像を顔キーポイントモデルに入力して処理し、ＲＧＢ顔画像（目標対象物の画像）及び深度顔画像（目標対象物の深度マップ）を得、ＲＧＢ顔画像に基づいて深度顔画像を更新又は修復する。このように、後続のデータ処理量を低減して、生体検出効率及び正確率を高めることができる。
本開示の実施例では、目標対象物の生体検出結果は、目標対象物が生体であることを示すか、又は目標対象物が補綴であることを示すようにしてもよい。
いくつかの実施例では、第１画像及び第２深度マップを生体検出ニューラルネットワークに入力し処理して、第１画像における目標対象物の生体検出結果を得る。又は、他の生体検出アルゴリズムによって第１画像及び第２深度マップを処理して、生体検出結果を得る。
いくつかの実施例では、第１画像に対して特徴抽出処理を行って第１特徴情報を得、第２深度マップに対して特徴抽出処理を行って第２特徴情報を得、第１特徴情報及び第２特徴情報に基づいて第１画像における目標対象物の生体検出結果を決定する。
ここで、選択可能的に、特徴抽出処理は、ニューラルネットワーク又は他の機械学習アルゴリズムによって実現することができ、抽出された特徴情報の種別は、選択可能的にサンプルを用いた学習によって得ることができるが、本開示の実施例はこれらについて限定しない。
いくつかの特定のシーン（例えば、室外の光が強いシーン）では、取得される深度マップ（例えば、深度センサで取得される深度マップ）は一部の面積が失効となる場合がある。また、正常な光の照射でも、メガネによる反射、黒い髪又は黒いメガネフレーム等の要因によって深度マップの部分的失効をランダムに引き起こす。いくつかの特別な紙も、類似的に、印刷された顔写真の深度マップに広面積の失効又は部分的失効を引き起こす。また、深度センサのアクティブ光源が遮蔽される場合、補綴の深度マップの一部が失効になるが、補綴の画像センサでの結像が正常となることがあり得る。このように、深度マップの一部又は全部が失効となる場合に、深度マップに基づく生体と補綴の区別に誤差が発生する。従って、本開示の実施例では、第１深度マップを修復又は更新し、修復又は更新後の深度マップを用いて生体検出を行うことにより、生体検出の正確率の向上に寄与する。
図７は本開示の実施例に係る生体検出方法で第１画像及び第２深度マップに基づいて第１画像中における目標対象物の生体検出結果を決定する一例の模式図を示す。
この例において、第１画像及び第２深度マップを生体検出ネットワークに入力して生体検出処理を行って、生体検出結果を得る。
図７に示すように、この生体検出ネットワークは、第１画像に対して特徴抽出処理を行って第１特徴情報を得るための第１サブネットワーク及び第２深度マップに対して特徴抽出処理を行って第２特徴情報を得るための第２サブネットワークという２つのブランチを含む。
選択可能的な一例では、第１サブネットワークは、畳み込み層、ダウンサンプリング層及び全結合層を含んでもよい。
例えば、第１サブネットワークは、１層の畳み込み層、１層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、この１層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、この１層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。
また例えば、第１サブネットワークは、多層の畳み込み層、多層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、各層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、各層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。ここで、第ｉ層の畳み込み層の後に第ｉ層のダウンサンプリング層がカスケード接続され、第ｉ層のダウンサンプリング層の後に第ｉ＋１層の畳み込み層がカスケード接続され、第ｎ層のダウンサンプリング層の後に全結合層がカスケード接続され、ここで、ｉ及びｎはいずれも正の整数であり、１≦ｉ≦ｎであり、ｎは深度予測ニューラルネットワークにおける畳み込み層及びダウンサンプリング層の層数である。
又は、第１サブネットワークは、畳み込み層、ダウンサンプリング層、正規化層及び全結合層を含んでもよい。
例えば、第１サブネットワークは、１層の畳み込み層、１つの正規化層、１層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、この１層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、この１層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。
また例えば、第１サブネットワークは、多層の畳み込み層、複数の正規化層、多層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、各層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、各層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。ここで、第ｉ層の畳み込み層の後に第ｉの正規化層がカスケード接続され、第ｉの正規化層の後に第ｉ層のダウンサンプリング層がカスケード接続され、第ｉ層のダウンサンプリング層の後に第ｉ＋１層の畳み込み層がカスケード接続され、第ｎ層のダウンサンプリング層の後に全結合層がカスケード接続され、ここで、ｉ及びｎはいずれも正の整数であり、１≦ｉ≦ｎであり、ｎは第１サブネットワークにおける畳み込み層、ダウンサンプリング層の層数及び正規化層の個数を示す。
一例として、第１画像に対して畳み込み処理を行って第１畳み込み結果を得、第１畳み込み結果に対してダウンサンプリング処理を行って第１ダウンサンプリング結果を得、第１ダウンサンプリング結果に基づいて第１特徴情報を得る。
例えば、１層の畳み込み層及び１層のダウンサンプリング層によって第１画像に対して畳み込み処理及びダウンサンプリング処理を行うようにしてもよい。ここで、この１層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、この１層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよい。
また例えば、多層の畳み込み層及び多層のダウンサンプリング層によって第１画像に対して畳み込み処理及びダウンサンプリング処理を行うようにしてもよい。ここで、各層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、各層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよい。
例えば、第１畳み込み結果に対してダウンサンプリング処理を行って第１ダウンサンプリング結果を得ることは、第１畳み込み結果に対して正規化処理を行って第１正規化結果を得ることと、第１正規化結果に対してダウンサンプリング処理を行って第１ダウンサンプリング結果を得ることと、を含むようにしてもよい。
例えば、第１ダウンサンプリング結果を全結合層に入力して、全結合層によって第１ダウンサンプリング結果に対して融合処理を行って、第１特徴情報を得るようにしてもよい。
選択可能的に、第２サブネットワークは、第１サブネットワークと同じのネットワーク構造を有するが、異なるパラメータを有する。又は、第２サブネットワークは、第１サブネットワークと異なるネットワーク構造を有する。本開示の実施例は第２サブネットワークの具体的な実現について限定しない。
図７に示すように、生体検出ネットワークは、第１サブネットワークによって得られた第１特徴情報及び第２サブネットワークによって得られた第２特徴情報を処理して、第１画像における目標対象物の生体検出結果を得るための第３サブネットワークを更に含む。選択可能的に、第３サブネットワークは、全結合層及び出力層を含んでもよい。例えば、出力層はｓｏｆｔｍａｘ関数を採用し、出力層の出力が１の場合、目標対象物が生体であることを示し、出力層の出力が０の場合、目標対象物が補綴であることを示すが、本開示の実施例において第３サブネットワークの具体的な実現について限定しない。
一例として、第１特徴情報及び第２特徴情報に対して融合処理を行って第３特徴情報を得、第３特徴情報に基づいて第１画像における目標対象物の生体検出結果を決定する。
例えば、全結合層によって第１特徴情報及び第２特徴情報に対して融合処理を行って第３特徴情報を得る。
いくつかの実施例では、第３特徴情報に基づいて第１画像における目標対象物が生体である確率を得、目標対象物が生体である確率に基づいて目標対象物の生体検出結果を決定する。
例えば、目標対象物が生体である確率が第２閾値より大きい場合、目標対象物が生体であることを示す目標対象物の生体検出結果と決定される。また例えば、目標対象物が生体である確率が第２閾値以下の場合、目標対象物の生体検出結果として補綴であると決定される。
いくつかの他の実施例では、第３特徴情報に基づいて目標対象物が補綴である確率を得、目標対象物が補綴である確率に基づいて目標対象物の生体検出結果を決定する。例えば、目標対象物が補綴である確率が第３閾値より大きい場合、目標対象物が補綴であることを示す目標対象物の生体検出結果と決定される。また例えば、目標対象物が補綴である確率が第３閾値以下の場合、目標対象物の生体検出結果として生体であると決定される。
一例において、第３特徴情報をＳｏｆｔｍａｘ層に入力して、Ｓｏｆｔｍａｘ層によって目標対象物が生体又は補綴である確率を得るようにしてもよい。例えば、Ｓｏｆｔｍａｘ層の出力には、目標対象物が生体である確率を示すニューロン及び目標対象物が補綴である確率を示すニューロンという２つのものを含むが、本開示の実施例はこれに限定されない。
本開示の実施例では、第１画像及び第１画像に対応する第１深度マップを取得し、第１画像に基づいて第１深度マップを更新して第２深度マップを得、第１画像及び第２深度マップに基づいて第１画像における目標対象物の生体検出結果を決定することにより、深度マップを改善し、生体検出の正確性を高めることができる。
可能な一実施形態では、第１画像に基づいて第１深度マップを更新して、第２深度マップを得ることは、第１画像に基づいて、第１画像における複数の画素の、深度予測値及びこの複数の画素同士の関連度を示す関連情報を決定することと、この複数の画素の深度予測値及び関連情報に基づいて第１深度マップを更新して、第２深度マップを得ることと、を含む。
具体的には、第１画像に基づいて第１画像における複数の画素の深度予測値を決定し、複数の画素の深度予測値に基づいて第１深度マップを修復して改善する。
具体的には、第１画像を処理して第１画像における複数の画素の深度予測値を得る。例えば、第１画像を深度予測ニューラルネットワークに入力し処理して、複数の画素の深度予測結果を得、例えば、第１画像に対応する深度予測マップを得るが、本開示の実施例はこれに限定されない。
いくつかの実施例では、第１画像及び第１深度マップに基づいて、第１画像における複数の画素の深度予測値を決定する。
一例として、第１画像及び第１深度マップを深度予測ニューラルネットワークに入力し処理して、第１画像における複数の画素の深度予測値を得る。又は、他の方式によって第１画像及び第１深度マップを処理して、複数の画素の深度予測値を得るが、本開示の実施例は深度予測値の取得方式について限定しない。
図８は本開示の実施例に係る車両のドアロック解除方法における深度予測ニューラルネットワークの模式図を示す。図８に示すように、第１画像及び第１深度マップを深度予測ニューラルネットワークに入力し処理して、初期深度推定マップを得るようにしてもよい。初期深度推定マップに基づいて、第１画像における複数の画素の深度予測値を決定することができる。例えば、初期深度推定マップの画素値は第１画像における対応画素の深度予測値である。
深度予測ニューラルネットワークは、様々なネットワーク構造によって実現されることができる。一例において、深度予測ニューラルネットワークは、コード化部分及びデコード部分を含む。ここで、選択可能的に、コード化部分は、畳み込み層及びダウンサンプリング層を含み、デコード部分は、逆畳み込み層及び／又はアップサンプリング層を含むようにしてもよい。なお、コード化部分及び／又はデコード部分は、正規化層を更に含んでもよい。本開示の実施例は、コード化部分及びデコード部分の具体的な実現について限定しない。コード化部分において、ネットワーク層数の増加に伴って、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより豊富なセマンティック特徴及び画像の空間特徴を得ることができ、デコード部分において、特徴マップの解像度が次第に増大し、デコード部分から最終的に出力する特徴マップの解像度が第１深度マップの解像度と同じである。
いくつかの実施例では、第１画像及び第１深度マップに対して融合処理を行って融合結果を得、融合結果に基づいて第１画像における複数の画素の深度予測値を決定する。
一例において、第１画像及び第１深度マップを結合（ｃｏｎｃａｔ）して、融合結果を得るようにしてもよい。
一例において、融合結果に対して畳み込み処理を行って第２畳み込み結果を得、第２畳み込み結果に基づいてダウンサンプリング処理を行って第１コード化結果を得、第１コード化結果に基づいて第１画像における複数の画素の深度予測値を決定する。
例えば、畳み込み層によって融合結果に対して畳み込み処理を行って第２畳み込み結果を得るようにしてもよい。
例えば、第２畳み込み結果に対して正規化処理を行って第２正規化結果を得、第２正規化結果に対してダウンサンプリング処理を行って第１コード化結果を得る。ここで、正規化層によって第２畳み込み結果に対して正規化処理を行って第２正規化結果を得、ダウンサンプリング層によって第２正規化結果に対してダウンサンプリング処理を行って第１コード化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第２畳み込み結果に対してダウンサンプリング処理を行って第１コード化結果を得るようにしてもよい。
例えば、第１コード化結果に対して逆畳み込み処理を行って第１逆畳み込み結果を得、第１逆畳み込み結果に対して正規化処理を行って深度予測値を得る。ここで、逆畳み込み層によって第１コード化結果に対して逆畳み込み処理を行って第１逆畳み込み結果を得、正規化層によって第１逆畳み込み結果に対して正規化処理を行って深度予測値を得るようにしてもよい。又は、逆畳み込み層によって第１コード化結果に対して逆畳み込み処理を行って深度予測値を得るようにしてもよい。
例えば、第１コード化結果に対してアップサンプリング処理を行って第１アップサンプリング結果を得、第１アップサンプリング結果に対して正規化処理を行って深度予測値を得る。ここで、アップサンプリング層によって第１コード化結果に対してアップサンプリング処理を行って第１アップサンプリング結果を得、正規化層によって第１アップサンプリング結果に対して正規化処理を行って深度予測値を得るようにしてもよい。又は、アップサンプリング層によって第１コード化結果に対してアップサンプリング処理を行って深度予測値を得るようにしてもよい。
なお、第１画像を処理して第１画像における複数の画素の関連情報を得る。ここで、第１画像における複数の画素の関連情報は、第１画像の複数の画素のそれぞれとその周辺画素との関連度を含むようにしてもよい。ここで、画素の周辺画素は、画素に隣接する少なくとも１つの隣接画素を含んでもよく、又は、この画素との間隔が一定の数値を超えない複数の画素を含んでもよい。例えば、図１１に示すように、画素５の周辺画素は、それに隣接する画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９を含み、これに応じて、第１画像における複数の画素の関連情報は、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９と画素５との関連度を含む。一例として、第１画素と第２画素との関連度は、第１画素と第２画素の相関性によって測定可能であり、ここで、本開示の実施例は、関連技術を用いて画素同士の相関性を決定することができ、ここで詳細な説明を省略する。
本開示の実施例では、様々な方式によって複数の画素の関連情報を決定することができる。いくつかの実施例では、第１画像を関連度検出ニューラルネットワークに入力し処理して、第１画像における複数の画素の関連情報を得る。例えば、第１画像に対応する関連特徴マップを得る。又は、他のアルゴリズムによって複数の画素の関連情報を得てもよい。本開示の実施例は関連情報の取得方式について限定しない。
図９は本開示の実施例に係る車両のドアロック解除方法における関連度検出ニューラルネットワークの模式図を示す。図９に示すように、第１画像を関連度検出ニューラルネットワークに入力し処理して、複数枚の関連特徴マップを得る。複数枚の関連特徴マップに基づいて、第１画像における複数の画素の関連情報を決定することができる。例えば、ある画素の周辺画素とはこの画素との距離が０と等しい画素を指し、即ち、この画素の周辺画素とはこの画素に隣接する画素を指す。この場合、関連度検出ニューラルネットワークは８枚の関連特徴マップを出力する。例えば、第１の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ－１，ｊ－１と画素Ｐｉ，ｊとの関連度であり、ただし、Ｐｉ，ｊは第ｉ行第ｊ列の画素を示し、第２の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ－１，ｊと画素Ｐｉ，ｊとの関連度であり、第３の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ－１，ｊ＋１と画素Ｐｉ，ｊとの関連度であり、第４の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ、ｊ－１と画素Ｐｉ，ｊとの関連度であり、第５の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ，ｊ＋１と画素Ｐｉ，ｊとの関連度であり、第６の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ＋１，ｊ－１と画素Ｐｉ，ｊとの関連度であり、第７の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ＋１，ｊと画素Ｐｉ，ｊとの関連度であり、第８の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ＋１，ｊ＋１と画素Ｐｉ，ｊとの関連度である。
関連度検出ニューラルネットワークは、様々なネットワーク構造によって実現されることができる。一例として、関連度検出ニューラルネットワークは、コード化部分及びデコード部分を含むようにしてもよい。ここで、コード化部分は、畳み込み層及びダウンサンプリング層を含み、デコード部分は、逆畳み込み層及び／又はアップサンプリング層を含むようにしてもよい。コード化部分は、正規化層を更に含んでもよく、デコード部分は、正規化層を含んでもよい。コード化部分において、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより豊富なセマンティック特徴及び画像の空間特徴が得られ、デコード部分において、特徴マップの解像度が次第に増大し、デコード部分から最終的に出力する特徴マップの解像度が第１画像の解像度と同じである。本開示の実施例では、関連情報は画像であってもよく、他のデータ形式、例えば行列等であってもよい。
一例として、第１画像を関連度検出ニューラルネットワークに入力し処理して、第１画像における複数の画素の関連情報を得ることは、第１画像に対して畳み込み処理を行って、第３畳み込み結果を得ることと、第３畳み込み結果に基づいてダウンサンプリング処理を行って、第２コード化結果を得ることと、第２コード化結果に基づいて、第１画像における複数の画素の関連情報を得ることと、を含むようにしてもよい。
一例において、畳み込み層によって第１画像に対して畳み込み処理を行って、第３畳み込み結果を得るようにしてもよい。
一例において、第３畳み込み結果に基づいてダウンサンプリング処理を行って、第２コード化結果を得ることは、第３畳み込み結果に対して正規化処理を行って、第３正規化結果を得ることと、第３正規化結果に対してダウンサンプリング処理を行って、第２コード化結果を得ることと、を含むようにしてもよい。この例において、正規化層によって第３畳み込み結果に対して正規化処理を行って第３正規化結果を得、ダウンサンプリング層によって第３正規化結果に対してダウンサンプリング処理を行って第２コード化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第３畳み込み結果に対してダウンサンプリング処理を行って第２コード化結果を得るようにしてもよい。
一例において、第２コード化結果に基づいて、関連情報を決定することは、第２コード化結果に対して逆畳み込み処理を行って第２逆畳み込み結果を得ることと、第２逆畳み込み結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。この例において、逆畳み込み層によって第２コード化結果に対して逆畳み込み処理を行って第２逆畳み込み結果を得、正規化層によって第２逆畳み込み結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、逆畳み込み層によって第２コード化結果に対して逆畳み込み処理を行って関連情報を得るようにしてもよい。
一例において、第２コード化結果に基づいて関連情報を決定することは、第２コード化結果に対してアップサンプリング処理を行って第２アップサンプリング結果を得ることと、第２アップサンプリング結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。例において、アップサンプリング層によって第２コード化結果に対してアップサンプリング処理を行って第２アップサンプリング結果を得、正規化層によって第２アップサンプリング結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、アップサンプリング層によって第２コード化結果に対してアップサンプリング処理を行って関連情報を得るようにしてもよい。
現在のＴＯＦ、構造化光等の３Ｄセンサは、室外に位置する場合、太陽光に影響されやすく、深度マップに広面積のホール・欠損が発生して、３Ｄ生体検出アルゴリズムの性能に影響を及ぼしてしまう。本開示の実施例において、深度マップの自己改善に基づく３Ｄ生体検出アルゴリズムで、３Ｄセンサで検出された深度マップを改善し修復することにより、３Ｄ生体検出アルゴリズムの性能が高められる。
いくつかの実施例では、複数の画素の深度予測値及び関連情報が得られた後、複数の画素の深度予測値及び関連情報に基づいて、第１深度マップを更新して、第２深度マップを得る。図１０は本開示の実施例に係る車両のドアロック解除方法における深度マップ更新の例示的な模式図を示す。図１０に示す例において、第１深度マップは欠損値のある深度マップであり、得られた複数の画素の深度予測値及び関連情報はそれぞれ初期深度推定マップ及び関連特徴マップであり、この場合、欠損値のある深度マップ、初期深度推定マップ及び関連特徴マップを深度マップ更新モジュール（例えば、深度更新ニューラルネットワーク）に入力し処理して、最終的な深度マップ、即ち第２深度マップを得る。
いくつかの実施例では、この複数の画素の深度予測値から深度失効画素の深度予測値及び深度失効画素の複数の周辺画素の深度予測値を取得し、この複数の画素の関連情報から深度失効画素と深度失効画素の複数の周辺画素との関連度を取得し、深度失効画素の深度予測値、深度失効画素の複数の周辺画素の深度予測値、及び深度失効画素と深度失効画素の周辺画素との関連度に基づいて、深度失効画素の更新後の深度値を決定する。
本開示の実施例では、様々な方式によって深度マップにおける深度失効画素を決定することができる。一例として、第１深度マップにおいて深度値が０と等しい画素を深度失効画素として決定するか、または第１深度マップにおいて深度値を有しない画素を深度失効画素として決定する。
この例において、欠損値のある第１深度マップにおいて、値のある（即ち、深度値が０でない）部分について、その深度値が正確で信頼可能なものとみなし、その深度値を更新せずに元の深度値を保持し、深度値が０となる画素について、深度値を更新する。
別の例として、深度センサは、深度失効画素の判定ための深度値として、１つ又は複数の所定の数値又は所定の範囲を設定してもよい。例において、第１深度マップにおいて、深度値が所定の数値と等しいか又は所定の範囲にある画素を深度失効画素として決定するようにしてもよい。
本開示の実施例において、他の統計方式によって第１深度マップにおける深度失効画素を決定してもよいが、深度失効画素の決定方式について限定しない。
この実施形態では、第１画像における深度失効画素と同じ位置の画素の深度値を深度失効画素の深度予測値として決定してもよく、類似的に、第１画像における深度失効画素の周辺画素と同じ位置の画素の深度値を深度失効画素の周辺画素の深度予測値として決定してもよい。
一例として、深度失効画素の周辺画素と深度失効画素との間の距離は第１閾値以下である。
図１１は本開示の実施例に係る車両のドアロック解除方法における周辺画素の模式図を示す。例えば、第１閾値が０である場合に、隣接画素のみを周辺画素とする。例えば、画素５の隣接画素は、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９を含み、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９のみを画素５の周辺画素とする。
図１２は本開示の実施例に係る車両のドアロック解除方法における周辺画素の別の模式図を示す。例えば、第１閾値が１である場合に、隣接画素のほか、隣接画素のさらに隣の画素も周辺画素とする。即ち、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９のほか、画素１０～画素２５も画素５の周辺画素とする。
一例として、深度失効画素の周辺画素の深度予測値、及び深度失効画素と深度失効画素の複数の周辺画素との関連度に基づいて、深度失効画素の深度関連値を決定し、深度失効画素の深度予測値及び深度関連値に基づいて、深度失効画素の更新後の深度値を決定する。
別の例として、深度失効画素の周辺画素の深度予測値、及び深度失効画素とこの周辺画素との関連度に基づいて、深度失効画素に対するこの周辺画素の有効深度値を決定し、深度失効画素に対するその各周辺画素の有効深度値及び深度失効画素の深度予測値に基づいて、深度失効画素の更新後の深度値を決定する。例えば、深度失効画素の１つの周辺画素の深度予測値とこの周辺画素に対応する関連度との積を、深度失効画素に対するこの周辺画素の有効深度値として決定してもよい。ここで、この周辺画素に対応する関連度とは、この周辺画素と深度失効画素との関連度を指す。例えば、深度失効画素に対するその各周辺画素の有効深度値の和と第１所定係数との積を決定して第１積を得、深度失効画素の深度予測値と第２所定係数との積を決定して第２積を得、第１積と第２積との和を深度失効画素の更新後の深度値として決定するようにしてもよい。いくつかの実施例では、第１所定係数と第２所定係数の和は１とする。
一例において、深度失効画素と各周辺画素との関連度を各周辺画素の重みとして、深度失効画素の複数の周辺画素の深度予測値に対して加重和処理を行って、深度失効画素の深度関連値を得る。例えば、画素５を深度失効画素とする場合、深度失効画素５の深度関連値が
Figure 2022091755000035
 となり、深度失効画素５の更新後の深度値は式７によって決定されることができる。
Figure 2022091755000036
 ただし、
Figure 2022091755000037
 であり、
Figure 2022091755000038
 は画素
Figure 2022091755000039
 と画素５との関連度を示し、
Figure 2022091755000040
 は画素
Figure 2022091755000041
 の深度予測値を示す。
別の例において、深度失効画素の複数の周辺画素のうちの各周辺画素と深度失効画素との関連度および各周辺画素の深度予測値の積を決定し、積の最大値を深度失効画素の深度関連値とする。
一例において、深度失効画素の深度予測値と深度関連値の和を深度失効画素の更新後の深度値とする。
別の例において、深度失効画素の深度予測値と第３所定係数との積を決定して第３積を得、深度関連値と第４所定係数との積を決定して第４積を得、第３積と第４積との和を深度失効画素の更新後の深度値とする。いくつかの実施例では、第３所定係数と第４所定係数との和は１とする。
いくつかの実施例では、第２深度マップにおける非深度失効画素の深度値は第１深度マップにおけるこの非深度失効画素の深度値と等しい。
いくつかの他の実施例では、非深度失効画素の深度値を更新して、より正確な第２深度マップを得るようにしてもよい。これにより、生体検出の正確性を更に高めることができる。
本開示の実施例では、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得し、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御し、第１画像に基づいて顔認識を行い、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することにより、ドアロック解除のセキュリティ性を確保した上で、ドアロック解除の利便性を高めることができる。本開示の実施例を採用すれば、車両所有者が車両に近づいている時に、意図的に動作（例えば、ボタンのタッチ、ジェスチャ）することなく、生体検出と顔認証フローを自動的にトリガし、車両所有者の生体検出と顔認証が成功すると、ドアを自動的に開けることができる。
可能な一実施形態では、この方法は、第１画像に基づいて顔認識を行った後、顔認識の失敗に応じて、車両に設置されるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除フローを起動することを更に含む。
この実施形態では、パスワードによるロック解除は顔認識によるロック解除の代替手段となる。顔認識の失敗の原因は、目標対象物が補綴であることを示す生体検出結果であること、顔認証が失敗したこと、画像取得が失敗した（例えば、カメラが故障した）こと、および認識回数が所定の回数を超えたこと等のうちの少なくとも１つを含んでもよい。目標対象物の顔認識が失敗すると、パスワードによるロック解除フローを起動する。例えば、Ｂピラーのタッチスクリーンによってユーザから入力するパスワードを取得するようにしてもよい。一例において、パスワードをＭ回、例えば５回連続で間違って入力した場合、パスワードによるロック解除を失効にするようにしてもよい。
可能な一実施形態では、この方法は、画像取得モジュールにより取得した車両所有者の顔画像に基づいて車両所有者の登録を行うことと、車両所有者の端末装置により取得した車両所有者の顔画像に基づいて遠隔登録を行い、車両所有者の顔画像を含む登録情報を車両に送信することとの１つ又は２つを更に含む。
一例において、画像取得モジュールにより取得した車両所有者の顔画像に基づいて車両所有者の登録を行うことは、タッチスクリーンの登録ボタンがクリックされたことを検出すると、ユーザにパスワードの入力を要求し、パスワードの検証が成功すると、画像取得モジュールのＲＧＢカメラをオンにさせてユーザの顔画像を取得し、取得された顔画像に基づく登録を行い、後続の顔認証時に顔の照合を行うようにこの顔画像における顔特徴を予め登録される顔特徴として抽出することを含む。
一例において、車両所有者の端末装置により取得した車両所有者の顔画像に基づいて遠隔登録を行い、車両所有者の顔画像を含む登録情報を車両に送信する。この例において、車両所有者は、携帯電話のＡｐｐ（Ａｐｐｌｉｃａｔｉｏｎ、アプリ）を介してＴＳＰ（Ｔｅｌｅｍａｔｉｃｓ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ、自動車テレマティクス・サービス・プロバイダー）クラウドに、車両所有者の顔画像を含む登録要求を送信し、ＴＳＰクラウドは、登録要求をドアロック解除装置の車載用Ｔ－Ｂｏｘ（Ｔｅｌｅｍａｔｉｃｓ Ｂｏｘ、テレマティクス・ボックス）に送信し、車載用Ｔ－Ｂｏｘは、登録要求に応じて顔認識機能をアクティブ化し、後続の顔認証時に顔の照合を行うように登録要求に含まれる顔画像における顔特徴を予め登録される顔特徴とするようにしてもよい。
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができると理解すべきであり、紙数に限りがあるので、本開示ではその説明を省略する。
当業者であれば、具体的な実施形態の上記方法において記載された各ステップの順序は、実施手順を厳密に当該順序に限定するものではない。各ステップの具体的な実行順序は、各ステップの機能と可能な内在的論理に応じて決定されることが理解される。
なお、本開示は、車両のドアロック解除装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムを更に提供し、これらのいずれも本開示で提供される車両のドアロック解除方法のいずれか１つを実現するために利用可能であり、対応する技術的手段及び説明については、方法の対応する記載を参照すればよく、ここで省略する。
図１３は本開示の実施例に係る車両のドアロック解除装置のブロック図を示す。この装置は、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得するための取得モジュール２１と、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御するためのウェイクアップ制御モジュール２２と、第１画像に基づいて顔認識を行うための顔認識モジュール２３と、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信するための送信モジュール２４と、を含む。
本開示の実施例では、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得し、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御し、第１画像に基づいて顔認識を行い、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することにより、ドアロック解除のセキュリティ性を確保した上で、ドアロック解除の利便性を高めることができる。
可能な一実施形態では、所定の条件は、距離が所定の距離閾値より小さいことと、距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される距離が、目標対象物が車両に近づいていることを示すこととのうちの少なくとも一１つを含む。
可能な一実施形態では、少なくとも１つの距離センサは、ブルートゥース距離センサを含み、取得モジュール２１は、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、ブルートゥースによるペアリング接続の成功に応じて、ブルートゥース距離センサによって外部装置を持っている目標対象物と車両との間の第１距離を取得することに用いられる。
この実施形態では、外部装置は、例えば、携帯電話、ウェアラブルデバイス又は電子キー等ブルートゥース機能付きのいかなる携帯型装置であってもよい。ここで、ウェアラブルデバイスは、スマートブレスレット又はスマートグラス等であってもよい。
この実施形態では、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することにより、ブルートゥース認証が追加され、ドアロック解除のセキュリティ性を高めることができる。
可能な一実施形態では、少なくとも１つの距離センサは、超音波距離センサを含み、取得モジュール２１は、車両の車室外部に設置される超音波距離センサによって目標対象物と車両との間の第２距離を取得することに用いられる。
可能な一実施形態では、少なくとも１つの距離センサは、ブルートゥース距離センサ及び超音波距離センサを含み、取得モジュール２１は、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、ブルートゥースによるペアリング接続の成功に応じて、ブルートゥース距離センサによって外部装置を持っている目標対象物と車両との間の第１距離を取得することと、超音波距離センサによって目標対象物と車両との間の第２距離を取得することに用いられ、ウェイクアップ制御モジュール２２は、第１距離及び第２距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御することに用いられる。
この実施形態では、ブルートゥース距離センサと超音波距離センサを協働させることにより、ドアロック解除のセキュリティ性を高めることができる。
可能な一実施形態では、所定の条件は、第１所定の条件及び第２所定の条件を含み、第１所定の条件は、第１距離が所定の第１距離閾値より小さいことと、第１距離が所定の第１距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される第１距離が、目標対象物が車両に近づいていることを示すこととのうちの少なくとも１つを含み、第２所定の条件は、第２距離が第１距離閾値より小さい所定の第２距離閾値より小さいことと、第２距離が所定の第２距離閾値より小さくなる持続時間が所定の時間閾値に達することとを含む。
可能な一実施形態では、ウェイクアップ制御モジュール２２は、第１距離が第１所定の条件を満たすことに応じて、車両に設置される顔認識システムをウェイクアップするためのウェイクアップサブモジュールと、第２距離が第２所定の条件を満たすことに応じて、ウェイクアップされた顔認識システムによって、目標対象物の第１画像を取得するように画像取得モジュールを制御するための制御サブモジュールと、を含む。
顔認識システムのウェイクアップは通常、いくらかの時間、例えば４～５秒がかかるため、顔認識のトリガ及び処理が遅くしてしまい、ユーザ体験に影響を与える。上記実施形態では、ブルートゥース距離センサと超音波距離センサを組み合わせることにより、顔認識システムは、ブルートゥース距離センサで取得された第１距離が第１所定の条件を満たしすと、ウェイクアップされて早期に動作可能状態となり、超音波距離センサで取得された第２距離が第２所定の条件を満たすと、顔画像処理を迅速に実行することができる。このように、顔認識の効率を高め、ユーザ体験を改善することができる。
可能な一実施形態では、距離センサは超音波距離センサであり、所定の距離閾値は、算出されて得た、車両外の対象物と車両との間の距離の閾値の基準値を示す距離閾値基準値、及び車両外の対象物と車両との間の距離の閾値のオフセット値を示す所定の距離閾値オフセット値に基づいて決定される。
可能な一実施形態では、所定の距離閾値は距離閾値基準値と所定の距離閾値オフセット値との差に等しい。
可能な一実施形態では、距離閾値基準値は、車両のイグニッションオフ後の特定期間の車両外の対象物と車両との間の距離の平均値を示す車両のイグニッションオフ後の距離平均値と、ドアロック解除可能な最大距離のうちの最小値を取る。
可能な一実施形態では、距離閾値基準値は、周期的に更新される。距離閾値基準値を周期的に更新することにより、異なる環境に適応可能となる。
可能な一実施形態では、距離センサは超音波距離センサであり、所定の時間閾値は、算出されて得た、車両外の対象物と車両との間の距離が所定の距離閾値より小さくなる時間の閾値の基準値を示す時間閾値基準値、及び車両外の対象物と車両との間の距離が所定の距離閾値より小さくなる時間の閾値のオフセット値を示す時間閾値オフセット値に基づいて決定される。
可能な一実施形態では、所定の時間閾値は、時間閾値基準値と時間閾値オフセット値との和に等しい。
可能な一実施形態では、時間閾値基準値は、超音波距離センサの水平方向検知角度、超音波距離センサの検知半径、対象物サイズ及び対象物速度のうちの１つ又は複数に基づいて決定される。
可能な一実施形態では、装置は、種別ごとの対象物サイズ、種別ごとの対象物速度、超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定するための第１決定モジュールと、種別ごとの対象物に対応する候補基準値から時間閾値基準値を決定するための第２決定モジュールと、を更に含む。
可能な一実施形態では、第２決定モジュールは、種別ごとの対象物に対応する候補基準値のうちの最大値を時間閾値基準値として決定することに用いられる。
いくつかの実施例では、所定の時間閾値は、体験に影響を与えないように１秒より小さく設定される。一例では、超音波距離センサの水平方向検知角度を小さくすることにより、歩行者、自転車等の通過による干渉を減少することができる。
可能な一実施形態では、顔認識は、生体検出及び顔認証を含み、顔認識モジュール２３は、画像取得モジュールの画像センサによって第１画像を取得し、第１画像及び予め登録された顔特徴に基づいて顔認証を行うための顔認証モジュールと、画像取得モジュールの深度センサによって第１画像に対応する第１深度マップを取得し、第１画像及び第１深度マップに基づいて生体検出を行うための生体検出モジュールと、を含む。
この実施形態では、生体検出は、目標対象物が生体であるか否かを検証するためのものであり、例えば、目標対象物が人体であるか否かを検証することができる。顔認証は、取得された画像における顔特徴を抽出し、取得された画像における顔特徴を予め登録された顔特徴と照合し、同一の人の顔特徴であるか否かを判断するためのものであり、例えば、取得された画像における顔特徴が車両所有者の顔特徴であるか否かを判断することができる。
可能な一実施形態では、生体検出モジュールは、第１画像に基づいて第１深度マップを更新して、第２深度マップを得るための更新サブモジュールと、第１画像及び第２深度マップに基づいて目標対象物の生体検出結果を決定するための決定サブモジュールと、を含む。
可能な一実施形態では、画像センサは、ＲＧＢ画像センサ又は赤外線センサを含み、深度センサは、両眼赤外線センサ又は飛行時間ＴＯＦセンサを含む。ここで、両眼赤外線センサは、２つの赤外線カメラを含む。構造化光センサは、コード化構造化光センサ又はスペックル構造化光センサであってもよい。深度センサによって目標対象物の深度マップを取得することにより、高精度の深度マップを取得することができる。本開示の実施例は、目標対象物を含む深度マップを用いて生体検出を行うことにより、目標対象物の深度情報を十分に発見することができ、生体検出の正確性を高めることができる。例えば、目標対象物が顔である場合、本開示の実施例は、顔を含む深度マップを用いて生体検出を行うことにより、顔データの深度情報を十分に発見することができ、生体顔検出の正確性を高めることができる。
可能な一実施形態では、ＴＯＦセンサは赤外線波長域に基づくＴＯＦモジュールを用いる。赤外線波長域に基づくＴＯＦモジュールを用いることにより、外部の光線による深度マップの撮影への影響を低減することができる。
可能な一実施形態では、更新サブモジュールは、第１画像に基づいて第１深度マップにおける深度失効画素の深度値を更新して、第２深度マップを得ることに用いられる。
ここで、深度マップにおける深度失効画素とは、深度マップに含まれ、無効な深度値を有する画素、即ち正確でない深度値又は現実に明らか合わない深度値を有する画素を指してもよい。深度失効画素の数は１つ又は複数であってもよい。深度マップにおける少なくとも１つの深度失効画素の深度値を更新することにより、深度失効画素の深度値がより正確になり、生体検出の正確率を高めることに寄与する。
可能な一実施形態では、更新サブモジュールは、第１画像に基づいて、第１画像における複数の画素の、深度予測値及び複数の画素同士の関連度を示す関連情報を決定することと、複数の画素の深度予測値及び関連情報に基づいて第１深度マップを更新して、第２深度マップを得ることに用いられる。
可能な一実施形態では、更新サブモジュールは、第１深度マップにおける深度失効画素を決定することと、複数の画素の深度予測値から深度失効画素の深度予測値及び深度失効画素の複数の周辺画素の深度予測値を取得することと、複数の画素の関連情報から深度失効画素と深度失効画素の複数の周辺画素との関連度を取得することと、深度失効画素の深度予測値、深度失効画素の複数の周辺画素の深度予測値、及び深度失効画素と深度失効画素の周辺画素との関連度に基づいて、深度失効画素の更新後の深度値を決定することに用いられる。
可能な一実施形態では、更新サブモジュールは、深度失効画素の周辺画素の深度予測値、及び深度失効画素と深度失効画素の複数の周辺画素との関連度に基づいて、深度失効画素の深度関連値を決定することと、深度失効画素の深度予測値及び深度関連値に基づいて、深度失効画素の更新後の深度値を決定することに用いられる。
可能な一実施形態では、更新サブモジュールは、深度失効画素と各周辺画素との関連度を各周辺画素の重みとして、深度失効画素の複数の周辺画素の深度予測値に対して加重和処理を行って、深度失効画素の深度関連値を得ることに用いられる。
可能な一実施形態では、更新サブモジュールは、第１画像及び第１深度マップに基づいて、第１画像における複数の画素の深度予測値を決定することに用いられる。
可能な一実施形態では、更新サブモジュールは、第１画像及び第１深度マップを深度予測ニューラルネットワークに入力し処理して、第１画像における複数の画素の深度予測値を得ることに用いられる。
可能な一実施形態では、更新サブモジュールは、第１画像及び第１深度マップに対して融合処理を行って、融合結果を得ることと、融合結果に基づいて、第１画像における複数の画素の深度予測値を決定することに用いられる。
可能な一実施形態では、更新サブモジュールは、第１画像を関連度検出ニューラルネットワークに入力し処理して、第１画像における複数の画素の関連情報を得ることに用いられる。
可能な一実施形態では、更新サブモジュールは、第１画像から目標対象物の画像を取得することと、目標対象物の画像に基づいて第１深度マップを更新することに用いられる。
可能な一実施形態では、更新サブモジュールは、第１画像における目標対象物のキーポイント情報を取得することと、目標対象物のキーポイント情報に基づいて、第１画像から目標対象物の画像を取得することに用いられる。
一例において、目標対象物のキーポイント情報に基づいて目標対象物の輪郭を決定し、目標対象物の輪郭に基づいて第１画像から目標対象物の画像を切り出す。目標検出によって得られた目標対象物の位置情報と比べると、キーポイント情報によって得られた目標対象物の位置がより正確であり、後続の生体検出の正確率の向上に寄与する。
このように、第１画像から目標対象物の画像を取得し、目標対象物の画像に基づいて生体検出を行うことにより、第１画像における背景情報による生体検出への干渉を低減することができる。
可能な一実施形態では、更新サブモジュールは、第１画像に対して目標検出を行って、目標対象物の所在領域を得ることと、目標対象物の所在領域の画像に対してキーポイント検出を行って、第１画像における目標対象物のキーポイント情報を得ることに用いられる。
可能な一実施形態では、更新サブモジュールは、第１深度マップから目標対象物の深度マップを取得することと、第１画像に基づいて目標対象物の深度マップを更新して、第２深度マップを得ることに用いられる。
このように、第１深度マップから目標対象物の深度マップを取得し、第１画像に基づいて目標対象物の深度マップを更新して第２深度マップを得ることにより、第１深度マップにおける背景情報による生体検出への干渉を低減することができる。
いくつかの特定のシーン（例えば、室外の光が強いシーン）では、取得される深度マップ（例えば、深度センサで取得される深度マップ）は一部の面積が失効となる場合がある。なお、正常な光の照射でも、メガネによる反射、黒い髪又は黒いメガネフレーム等の要因によって深度マップの部分的失効をランダムに引き起こす。いくつかの特別な紙も、類似的に、印刷された顔写真の深度マップに広面積の失効又は部分的失効を引き起こす。また、深度センサのアクティブ光源が遮蔽される場合、補綴の深度マップの一部が失効になるが、補綴の画像センサでの結像が正常となることがあり得る。このように、深度マップの一部又は全部が失効となる場合に、深度マップに基づく生体と補綴の区別に誤差が発生する。従って、本開示の実施例では、第１深度マップを修復又は更新し、修復又は更新後の深度マップを用いて生体検出を行うことにより、生体検出の正確率の向上に寄与する。
可能な一実施形態では、決定サブモジュールは、第１画像及び第２深度マップを生体検出ニューラルネットワークに入力し処理して、目標対象物の生体検出結果を得ることに用いられる。
可能な一実施形態では、決定サブモジュールは、第１画像に対して特徴抽出処理を行って第１特徴情報を得ることと、第２深度マップに対して特徴抽出処理を行って第２特徴情報を得ることと、第１特徴情報及び第２特徴情報に基づいて、目標対象物の生体検出結果を決定することに用いられる。
ここで、選択可能的に、特徴抽出処理は、ニューラルネットワーク又は他の機械学習アルゴリズムによって実現することができ、抽出された特徴情報の種別は、選択可能的にサンプルを用いた学習によって得ることができるが、本開示の実施例はこれらについて限定しない。
可能な一実施形態では、決定サブモジュールは、第１特徴情報及び第２特徴情報に対して融合処理を行って第３特徴情報を得ることと、第３特徴情報に基づいて、目標対象物の生体検出結果を決定することに用いられる。
可能な一実施形態では、決定サブモジュールは、第３特徴情報に基づいて目標対象物が生体である確率を得ることと、目標対象物が生体である確率に基づいて目標対象物の生体検出結果を決定することに用いられる。
本開示の実施例では、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得し、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御し、第１画像に基づいて顔認識を行い、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することにより、ドアロック解除のセキュリティ性を確保した上で、ドアロック解除の利便性を高めることができる。本開示の実施例を採用すれば、車両所有者が車両に近づいている時に、意図的に動作（例えば、ボタンのタッチ、ジェスチャ）することなく、生体検出と顔認証フローを自動的にトリガし、車両所有者の生体検出と顔認証が成功すると、ドアを自動的に開けることができる。
可能な一実施形態では、装置は、顔認識の失敗に応じて、車両に設置されるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除フローを起動するためのアクティブ化起動モジュールを更に含む。
この実施形態では、パスワードによるロック解除は顔認識によるロック解除の代替手段となる。顔認識の失敗の原因は、目標対象物が補綴であることを示す生体検出結果であること、顔認証が失敗したこと、画像取得が失敗した（例えば、カメラが故障した）こと、および認識回数が所定の回数を超えたこと等のうちの少なくとも１つを含んでもよい。目標対象物の顔認識が失敗すると、パスワードによるロック解除フローを起動する。例えば、Ｂピラーのタッチスクリーンによってユーザから入力するパスワードを取得するようにしてもよい。
可能な一実施形態では、装置は、画像取得モジュールにより取得した車両所有者の顔画像に基づいて車両所有者の登録を行うことと、車両所有者の端末装置により取得した車両所有者の顔画像に基づいて遠隔登録を行い、車両所有者の顔画像を含む登録情報を車両に送信することとの１つ又は２つに用いられる登録モジュールを更に含む。
この実施形態によれば、後続の顔認証時にこの予め登録された顔特徴に基づいて顔照合を行うことができる。
いくつかの実施例では、本開示の実施例で提供された装置に備える機能又はモジュールは、上記の方法実施例に記載の方法を実行するために用いられるものであり、その具体的な実施については上記の方法実施例の記載を参照すればよく、説明を簡潔化するために、ここでは重複の説明は省略する。
図１４は本開示の実施例に係る車載顔認証ロック解除システムのブロック図を示す。図１４に示すように、この車載顔認証ロック解除システムは、メモリ３１、顔認識システム３２、画像取得モジュール３３及び人体近接監視システム３４を含み、顔認識システム３２は、メモリ３１、画像取得モジュール３３及び人体近接監視システム３４にそれぞれ接続され、人体近接監視システム３４は、距離が所定の条件を満たすと顔認識システムをウェイクアップするマイクロプロセッサ３４１、及びマイクロプロセッサ３４１に接続される少なくとも１つの距離センサ３４２を含み、顔認識システム３２は、ドア領域コントローラに接続される通信インタフェースが更に設置され、顔認識が成功すると、通信インタフェースによって、ドア領域コントローラへドアを解錠するための制御情報を送信する。
一例において、メモリ３１は、フラッシュメモリ（Ｆｌａｓｈ）及びＤＤＲ３（Ｄｏｕｂｌｅ Ｄａｔｅ Ｒａｔｅ ３、第３世代のダブルデータレート）メモリの少なくとも１つを含んでもよい。
一例において、顔認識システム３２は、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、システムオンチップ）を用いて実現されてもよい。
一例において、顔認識システム３２は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ、コントローラエリアネットワーク）バスを介してドア領域コントローラに接続される。
可能な一実施形態では、少なくとも１つの距離センサ３４２は、ブルートゥース距離センサおよび超音波距離センサの少なくとも１つを含む。
一例において、超音波距離センサは、シリアル（Ｓｅｒｉａｌ）バスを介してマイクロプロセッサ３４１に接続される。
可能な一実施形態では、画像取得モジュール３３は、画像センサ及び深度センサを含む。
一例において、画像センサは、ＲＧＢセンサ及び赤外線センサの少なくとも１つを含む。
一例において、深度センサは、両眼赤外線センサ及び飛行時間ＴＯＦセンサの少なくとも１つを含む。
可能な一実施形態では、深度センサは、２つの赤外線カメラが画像センサのカメラの両側に設置される両眼赤外線センサを含む。例えば、図５ａに示す例において、画像センサはＲＧＢセンサであり、画像センサのカメラはＲＧＢカメラであり、深度センサは、両眼赤外線センサであり、２つのＩＲ（赤外線）カメラを含み、両眼赤外線センサの２つの赤外線カメラが画像センサのＲＧＢカメラの両側に設置される。
一例において、画像取得モジュール３３は、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に設置されるものであって、画像センサ用の補光ライト及び深度センサ用の補光ライトの少なくとも一方を含む少なくとも１つの補光ライトを更に含む。例えば、画像センサがＲＧＢセンサである場合、画像センサ用の補光ライトはホワイトライトであり、画像センサが赤外線センサである場合、画像センサ用の補光ライトは赤外線ライトであり、深度センサが両眼赤外線センサである場合、深度センサ用の補光ライトは赤外線ライトであるようにしてもよい。図５ａに示す例において、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に赤外線ライトが設置される。例えば、赤外線ライトは、９４０ｎｍの赤外線を用いるようにしてもよい。
一例において、補光ライトはノーマルオープンモードとしてもよい。この例において、画像取得モジュールのカメラが動作状態にある時に、補光ライトはオン状態にある。
別の例において、光線が足りない場合に補光ライトをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値より低い場合に光線が足りないと判定し、補光ライトをオンにするようにしてもよい。
可能な一実施形態では、画像取得モジュール３３は、深度センサのカメラと画像センサのカメラとの間に設置されるレーザーを更に含む。例えば、図５ｂに示す例において、画像センサがＲＧＢセンサであり、画像センサのカメラがＲＧＢカメラであり、深度センサがＴＯＦセンサであり、レーザーがＴＯＦセンサのカメラとＲＧＢセンサのカメラとの間に設置されている。例えば、レーザーはＶＣＳＥＬであり、ＴＯＦセンサはＶＣＳＥＬから発生したレーザー光によって深度マップを取得する。
一例において、深度センサは、ＬＶＤＳ（Ｌｏｗ－Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ、低電圧差動信号）インタフェースを介して顔認識システム３２に接続される。
可能な一実施形態では、車載顔認証ロック解除システムは、顔認識システム３２に接続され、ドアを解錠するためのパスワードロック解除モジュール３５を更に含む。
可能な一実施形態では、パスワードロック解除モジュール３５は、タッチスクリーン及びキーボードの１つ又は２つを含む。
一例において、タッチスクリーンは、ＦＰＤ－Ｌｉｎｋ（Ｆｌａｔ Ｐａｎｅｌ Ｄｉｓｐｌａｙ Ｌｉｎｋ、フラットパネルディスプレイリンク）を介して顔認識システム３２に接続される。
可能な一実施形態では、車載顔認証ロック解除システムは、マイクロプロセッサ３４１及び顔認識システム３２にそれぞれ接続される電池モジュール３６を更に含む。
可能な一実施形態では、メモリ３１、顔認識システム３２、人体近接監視システム３４及び電池モジュール３６は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、電子制御ユニット）に搭載されてもよい。
図１５は本開示の実施例に係る車載顔認証ロック解除システムの模式図を示す。図１５に示す例において、メモリ３１、顔認識システム３２、人体近接監視システム３４及び電池モジュール（Ｐｏｗｅｒ Ｍａｎａｇｅｍｅｎｔ）３６は、ＥＣＵに搭載されており、顔認識システム３２は、ＳｏＣを用いて実現され、メモリ３１は、フラッシュメモリ（Ｆｌａｓｈ）及びＤＤＲ３メモリを含み、少なくとも１つの距離センサ３４２は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）距離センサ及び超音波（Ｕｌｔｒａｓｏｎｉｃ）距離センサを含み、画像取得モジュール３３は、深度センサ（３Ｄ Ｃａｍｅｒａ）を含み、深度センサは、ＬＶＤＳインタフェースを介して顔認識システム３２に接続され、パスワードロック解除モジュール３５は、タッチスクリーン（Ｔｏｕｃｈ Ｓｃｒｅｅｎ）を含み、タッチスクリーンは、ＦＰＤ－Ｌｉｎｋを介して顔認識システム３２に接続され、顔認識システム３２は、ＣＡＮバスを介してドア領域コントローラに接続される。
図１６は本開示の実施例に係る車両の模式図を示す。図１６に示すように、車両は、ドア領域コントローラ４２に接続される車載顔認証ロック解除システム４１を含む。
可能な一実施形態では、画像取得モジュールが車両の車室外部に設置される。
可能な一実施形態では、画像取得モジュールは、車両のＢピラー、少なくとも１つのドア、少なくとも１つのバックミラーのうちの少なくとも１つに設置される。
可能な一実施形態では、顔認識システムは、車両内に設置され、ＣＡＮバスを介してドア領域コントローラに接続される。
可能な一実施形態では、少なくとも１つの距離センサは、車両内に設置されるブルートゥース距離センサを含む。
可能な一実施形態では、少なくとも１つの距離センサは、車両の車室外部に設置される超音波距離センサを含む。
本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体を更に提供する。コンピュータ読み取り可能な記憶媒体は、不揮発性コンピュータ読み取り可能な記憶媒体であってもよく、又は揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
本開示の実施例は、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは、電子機器で動作すると、前記電子機器のプロセッサに上記車両のドアロック解除方法を実現するためのコマンドを実行させるコンピュータプログラムを更に提供する。
本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは上記方法を実行するように構成される電子機器を更に提供する。
電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。
図１７は例示的な一実施例に基づいて示された電子機器８００のブロック図である。例えば、電子機器８００は車両のドアロック解除装置等の端末であってもよい。
図１７を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つまたは複数を含むことができる。
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つまたは複数のプロセッサ８２０を含んでもよい。なお、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つまたは複数のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において運用するあらゆるアプリケーションプログラムまたは方法の命令、連絡者データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つまたは複数の電源、および電子機器８００のための電力の生成、管理および配分に関する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つまたは複数のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードである場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。前面カメラおよび／または後面カメラのそれぞれは固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードである場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０は、オーディオ信号を出力するためのスピーカーをさらに含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント８１４は電子機器８００各面の状態評価のための一つまたは複数のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４は、電子機器８００または電子機器８００のコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化をさらに検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含む。センサコンポーネント８１４は、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用する光センサをさらに含んでもよい。いくつかの実施例では、該センサコンポーネント８１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサをさらに含んでもよい。
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇ、３Ｇ、４Ｇ或いは５Ｇ、またはそれらの組み合わせにアクセスできる。例示的一実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例では、前記通信コンポーネント８１６は、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
例示的な実施例では、電子機器８００は一つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。
例示的な実施例では、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４がさらに提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体を含むことができる。
コンピュータ読み取り可能な記憶媒体は命令実行装置に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているパンチカードまたはスロット内の突起構造のような機械的符号化装置、、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルによるパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種別のネットワークを介してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを介して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能プログラム命令を実行することにより、本開示の各態様を実現するようにしてもよい。
ここで、本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明した。フローチャートおよび／またはブロック図の各ブロックと、フローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できると理解すべきである。
これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つまたは複数のブロックで指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器に特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図の一つまたは複数のブロックで指定された機能／動作の各態様を実現するための命令を有する製品を含む。
コンピュータ読み取り可能プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つまたは複数のブロックで指定された機能／動作を実現する。
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つまたは複数の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現されてもよい。例えば、連続的な二つのブロックは実質的に並行に実行されてもよく、係る機能によって、逆な順序で実行されてもよい場合がある。ブロック図および／またはフローチャートにおける各ブロックと、ブロック図および／またはフローチャートにおけるブロックとの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現されてもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよいことに注意すべきである。
以上、本開示の各実施例を説明したが、上記説明は網羅的なものではなく例示的なものであり、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に用いられた用語は、各実施例の原理、実際の適用または従来技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

Claims (19)

  1. 車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することと、
    前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することと、
    前記第１画像に基づいて顔認識を行うことと、
    前記第１画像に基づいて前記目標対象物の解錠権限情報を取得し、前記解錠権限情報に基づいて権限認証を行うことと、
    顔認識及び権限認証の成功に応じて、前記車両の少なくとも１つのドアロックのうち前記目標対象物に解錠権限が持たれるドアロックにドアロック解除コマンドを送信することと、を含むことを特徴とする車両のドアロック解除方法。
  2. 前記所定の条件は、
    前記距離が所定の距離閾値より小さいことと、
    前記距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することと、
    持続時間の期間に取得される前記距離が、前記目標対象物が前記車両に近づいていることを示すこととのうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
  3. 前記少なくとも１つの距離センサは、ブルートゥース距離センサを含み、
    前記車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することは、
    外部装置と前記ブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、
    前記ブルートゥースによるペアリング接続の成功に応じて、前記ブルートゥース距離センサによって前記外部装置を持っている目標対象物と前記車両との間の第１距離を取得することと、を含み、
    又は、
    前記少なくとも１つの距離センサは、超音波距離センサを含み、
    前記車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することは、
    前記車両の車室外部に設置される前記超音波距離センサによって前記目標対象物と前記車両との間の第２距離を取得することを含み、
    又は、
    前記少なくとも１つの距離センサは、ブルートゥース距離センサ及び超音波距離センサを含み、
    前記車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することは、外部装置と前記ブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、前記ブルートゥースによるペアリング接続の成功に応じて、前記ブルートゥース距離センサによって前記外部装置を持っている目標対象物と前記車両との間の第１距離を取得することと、前記超音波距離センサによって前記目標対象物と前記車両との間の第２距離を取得することと、を含み、
    前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することは、前記第１距離及び前記第２距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することを含むことを特徴とする請求項１又は２に記載の方法。
  4. 前記所定の条件は、第１所定の条件及び第２所定の条件を含み、
    前記第１所定の条件は、前記第１距離が所定の第１距離閾値より小さいことと、前記第１距離が所定の第１距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される前記第１距離が、前記目標対象物が前記車両に近づいていることを示すこととのうちの少なくとも１つを含み、
    前記第２所定の条件は、前記第２距離が前記第１距離閾値より小さい所定の第２距離閾値より小さいことと、前記第２距離が所定の第２距離閾値より小さくなる持続時間が所定の時間閾値に達することとを含み、
    及び／又は、
    前記第１距離及び前記第２距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することは、
    前記第１距離が第１所定の条件を満たすことに応じて、前記車両に設置される顔認識システムをウェイクアップすることと、
    前記第２距離が第２所定の条件を満たすことに応じて、ウェイクアップされた前記顔認識システムによって、前記目標対象物の第１画像を取得するように前記画像取得モジュールを制御することと、を含むことを特徴とする請求項３に記載の方法。
  5. 前記距離センサは超音波距離センサであり、前記所定の距離閾値は、算出されて得た、前記車両外の対象物と前記車両との間の距離の閾値の基準値を示す距離閾値基準値、及び前記車両外の対象物と前記車両との間の距離の閾値のオフセット値を示す所定の距離閾値オフセット値に基づいて決定されることを特徴とする請求項２～４のいずれか一項に記載の方法。
  6. 前記所定の距離閾値は前記距離閾値基準値と前記所定の距離閾値オフセット値との差に等しく、
    及び／又は、
    前記距離閾値基準値は、車両のイグニッションオフ後の特定期間の前記車両外の対象物と前記車両との間の距離の平均値を示す車両のイグニッションオフ後の距離平均値と、ドアロック解除可能な最大距離のうちの最小値を取り、
    及び／又は、
    前記距離閾値基準値は周期的に更新されることを特徴とする請求項５に記載の方法。
  7. 前記距離センサは超音波距離センサであり、前記所定の時間閾値は、算出されて得た、前記車両外の対象物と前記車両との間の距離が前記所定の距離閾値より小さくなる時間の閾値の基準値を示す時間閾値基準値、及び前記車両外の対象物と前記車両との間の距離が前記所定の距離閾値より小さくなる時間の閾値のオフセット値を示す時間閾値オフセット値に基づいて決定されることを特徴とする請求項２～６のいずれか一項に記載の方法。
  8. 前記所定の時間閾値は前記時間閾値基準値と前記時間閾値オフセット値との和に等しく、
    及び／又は、
    前記時間閾値基準値は、前記超音波距離センサの水平方向検知角度、前記超音波距離センサの検知半径、対象物サイズ及び対象物速度のうちの１つ又は複数に基づいて決定されることを特徴とする請求項７に記載の方法。
  9. 種別ごとの対象物サイズ、種別ごとの対象物速度、前記超音波距離センサの水平方向検知角度及び前記超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定することと、

    種別ごとの対象物に対応する候補基準値のうちの最大値を前記時間閾値基準値として決定することを含むことを特徴とする請求項８に記載の方法。
  10. 前記顔認識は、生体検出及び顔認証を含み、
    前記第１画像に基づいて顔認識を行うことは、
    前記画像取得モジュールの画像センサによって前記第１画像を取得し、前記第１画像及び予め登録された顔特徴に基づいて顔認証を行うことと、
    前記画像取得モジュールの深度センサによって前記第１画像に対応する第１深度マップを取得することと、
    前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、
    前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項１～９のいずれか一項に記載の方法。
  11. 前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
    前記第１画像に基づいて、前記第１深度マップにおける深度失効画素の深度値を更新して前記第２深度マップを得ることを含み、
    及び／又は、
    前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
    前記第１画像に基づいて、前記第１画像における複数の画素の、深度予測値及び前記複数の画素同士の関連度を示す関連情報を決定することと、
    前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、を含むことを特徴とする請求項１０に記載の方法。
  12. 前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
    前記第１深度マップにおける深度失効画素を決定することと、
    前記複数の画素の深度予測値から前記深度失効画素の深度予測値及び前記深度失効画素の複数の周辺画素の深度予測値を取得することと、
    前記複数の画素の関連情報から前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、
    前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含み、
    及び／又は、
    前記第１画像に基づいて、前記第１画像における複数の画素の深度予測値を決定することは、
    前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することを含み、
    及び／又は、
    前記第１画像に基づいて、前記第１画像における複数の画素同士の関連情報を決定することは、
    前記第１画像を関連度検出ニューラルネットワークに入力し処理して、前記第１画像における複数の画素の関連情報を得ることを含むことを特徴とする請求項１１に記載の方法。
  13. 前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、
    前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、
    前記深度失効画素の深度予測値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含むことを特徴とする請求項１２に記載の方法。
  14. 前記第１画像に基づいて前記第１深度マップを更新することは、
    前記第１画像に対して目標検出を行って、前記目標対象物の所在領域を得ることと、
    前記目標対象物の所在領域の画像に対してキーポイント検出を行って、前記第１画像における前記目標対象物のキーポイント情報を得ることと、
    前記目標対象物のキーポイント情報に基づいて、前記第１画像から前記目標対象物の画像を取得することと、
    前記目標対象物の画像に基づいて、前記第１深度マップを更新することと、を含むことを特徴とする請求項１０～１３のいずれか一項に記載の方法。
  15. 前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
    前記第１深度マップから前記目標対象物の深度マップを取得することと、
    前記第１画像に基づいて前記目標対象物の深度マップを更新して、前記第２深度マップを得ることと、を含み、
    及び／又は、
    前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力し処理して、前記目標対象物の生体検出結果を得ることを含み、
    及び／又は、
    前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第１画像に対して特徴抽出処理を行って、第１特徴情報を得ることと、
    前記第２深度マップに対して特徴抽出処理を行って、第２特徴情報を得ることと、
    前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って、第３特徴情報を得ることと、
    前記第３特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
    前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項１０～１４のいずれか一項に記載の方法。
  16. 前記解錠権限情報は、前記目標対象物に解錠権限が持たれるドアの情報、前記目標対象物の解錠権限の期間、前記目標対象物に対応する解錠権限の回数のうちの少なくとも１つを含む、ことを特徴とする請求項１～１５のいずれか一項に記載の方法。
  17. プロセッサと、
    プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
    前記プロセッサは請求項１～１６のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
  18. コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、請求項１～１６のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
  19. コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは、電子機器で動作すると、前記電子機器のプロセッサに請求項１～１６のいずれか一項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。
JP2022031362A 2019-02-28 2022-03-02 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体 Active JP7428993B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201910152568.8 2019-02-28
CN201910152568.8A CN110930547A (zh) 2019-02-28 2019-02-28 车门解锁方法及装置、系统、车、电子设备和存储介质
JP2021501075A JP7035270B2 (ja) 2019-02-28 2019-11-27 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体
PCT/CN2019/121251 WO2020173155A1 (zh) 2019-02-28 2019-11-27 车门解锁方法及装置、系统、车、电子设备和存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021501075A Division JP7035270B2 (ja) 2019-02-28 2019-11-27 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体

Publications (2)

Publication Number Publication Date
JP2022091755A true JP2022091755A (ja) 2022-06-21
JP7428993B2 JP7428993B2 (ja) 2024-02-07

Family

ID=69855718

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021501075A Active JP7035270B2 (ja) 2019-02-28 2019-11-27 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体
JP2022031362A Active JP7428993B2 (ja) 2019-02-28 2022-03-02 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021501075A Active JP7035270B2 (ja) 2019-02-28 2019-11-27 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体

Country Status (7)

Country Link
US (1) US20210009080A1 (ja)
JP (2) JP7035270B2 (ja)
KR (1) KR20210013129A (ja)
CN (1) CN110930547A (ja)
SG (1) SG11202009419RA (ja)
TW (1) TWI785312B (ja)
WO (1) WO2020173155A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111332252B (zh) * 2020-02-19 2022-11-29 上海商汤临港智能科技有限公司 车门解锁方法、装置、系统、电子设备和存储介质
CN212447430U (zh) * 2020-03-30 2021-02-02 上海商汤临港智能科技有限公司 车门解锁系统
CN111516640B (zh) * 2020-04-24 2022-01-04 上海商汤临港智能科技有限公司 车门控制方法、车辆、系统、电子设备和存储介质
CN111540090A (zh) * 2020-04-29 2020-08-14 北京市商汤科技开发有限公司 控制车门解锁的方法、装置、车辆、电子设备及存储介质
CN111862030B (zh) 2020-07-15 2024-02-09 北京百度网讯科技有限公司 一种人脸合成图检测方法、装置、电子设备及存储介质
CN111915641A (zh) * 2020-08-12 2020-11-10 四川长虹电器股份有限公司 一种基于tof技术的车辆测速方法及系统
CN114120484A (zh) * 2020-08-31 2022-03-01 比亚迪股份有限公司 一种面部识别系统及车辆
CN112135275B (zh) * 2020-09-24 2023-08-18 Oppo广东移动通信有限公司 蓝牙扫描方法、装置、电子设备和可读存储介质
CN112562154B (zh) * 2020-11-04 2022-08-26 重庆恢恢信息技术有限公司 一种实现智慧建筑工地区域建筑人员安全意识保障方法
CN112615983A (zh) * 2020-12-09 2021-04-06 广州橙行智动汽车科技有限公司 车辆闭锁方法、装置、车辆以及存储介质
EP4017057A1 (en) * 2020-12-18 2022-06-22 INTEL Corporation Resource allocation for cellular networks
WO2022217294A1 (en) * 2021-04-09 2022-10-13 Qualcomm Incorporated Personalized biometric anti-spoofing protection using machine learning and enrollment data
CN113177584B (zh) * 2021-04-19 2022-10-28 合肥工业大学 基于零样本学习的复合故障诊断方法
DE102021002165A1 (de) 2021-04-23 2022-10-27 Mercedes-Benz Group AG Verfahren und Kraftfahrzeug
CN113060094B (zh) * 2021-04-29 2022-07-26 北京车和家信息技术有限公司 一种车辆的控制方法、装置和车载设备
CN113327348A (zh) * 2021-05-08 2021-08-31 宁波盈芯信息科技有限公司 一种联网型3d人脸智能锁
CN112950819A (zh) * 2021-05-14 2021-06-11 北京旗偲智能科技有限公司 车辆解锁控制方法、装置、服务器及存储介质
CN112950820B (zh) * 2021-05-14 2021-07-16 北京旗偲智能科技有限公司 一种车辆的自动控制方法、装置、系统及存储介质
KR20230011551A (ko) * 2021-07-14 2023-01-25 현대자동차주식회사 인증 장치 및 그를 가지는 차량
EP4374335A1 (en) * 2021-07-19 2024-05-29 Sony Semiconductor Solutions Corporation Electronic device and method
TWI785761B (zh) * 2021-08-26 2022-12-01 崑山科技大學 車用智能之二階段安全控制系統
CN113815562A (zh) * 2021-09-24 2021-12-21 上汽通用五菱汽车股份有限公司 基于全景摄像头的车辆解锁方法、设备及存储介质
CN113838465A (zh) * 2021-09-30 2021-12-24 广东美的厨房电器制造有限公司 智能设备的控制方法及其装置、智能设备和可读存储介质
JP7395767B2 (ja) * 2021-09-30 2023-12-11 楽天グループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN114268380B (zh) * 2021-10-27 2024-03-08 浙江零跑科技股份有限公司 一种基于声波通信的汽车蓝牙无感进入改进方法
CN114954354A (zh) * 2022-04-02 2022-08-30 阿维塔科技(重庆)有限公司 车门解锁方法、装置、设备及计算机可读存储介质
US20230316552A1 (en) * 2022-04-04 2023-10-05 Microsoft Technology Licensing, Llc Repairing image depth values for an object with a light absorbing surface
CN114872659B (zh) * 2022-04-19 2023-03-10 支付宝(杭州)信息技术有限公司 车辆控制方法及装置
WO2023248807A1 (ja) * 2022-06-21 2023-12-28 ソニーグループ株式会社 画像処理装置および方法
CN115546939B (zh) * 2022-09-19 2024-09-17 国网青海省电力公司信息通信公司 解锁方式确定方法、装置及电子设备
TWI833429B (zh) * 2022-11-08 2024-02-21 國立勤益科技大學 智慧辨識門鎖系統
CN115527293B (zh) * 2022-11-25 2023-04-07 广州万协通信息技术有限公司 安全芯片基于人体特征开门的方法及安全芯片装置
CN116805430B (zh) * 2022-12-12 2024-01-02 安徽国防科技职业学院 一种基于大数据的数字图像安全处理系统
CN116605176B (zh) * 2023-07-20 2023-11-07 江西欧迈斯微电子有限公司 开闭锁控制方法、装置及车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006161545A (ja) * 2004-11-10 2006-06-22 Denso Corp スマートエントリシステム用車載装置
JP2006328932A (ja) * 2005-04-28 2006-12-07 Denso Corp 車両ドア制御システム
JP2017001615A (ja) * 2015-06-15 2017-01-05 トヨタ自動車株式会社 認証装置、認証システムおよび認証方法
JP2017149218A (ja) * 2016-02-23 2017-08-31 株式会社東海理化電機製作所 電子キーシステム
JP2017223068A (ja) * 2016-06-16 2017-12-21 日産自動車株式会社 認証方法及び認証装置
CN108846924A (zh) * 2018-05-31 2018-11-20 上海商汤智能科技有限公司 车辆及车门解锁控制方法、装置和车门解锁系统
JP2018185862A (ja) * 2014-06-19 2018-11-22 クアルコム，インコーポレイテッド コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US20070126561A1 (en) * 2000-09-08 2007-06-07 Automotive Technologies International, Inc. Integrated Keyless Entry System and Vehicle Component Monitoring
US8169311B1 (en) * 1999-12-15 2012-05-01 Automotive Technologies International, Inc. Wireless transmission system for vehicular component control and monitoring
US20090046538A1 (en) * 1995-06-07 2009-02-19 Automotive Technologies International, Inc. Apparatus and method for Determining Presence of Objects in a Vehicle
US8054203B2 (en) * 1995-06-07 2011-11-08 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
JP3216586B2 (ja) * 1997-09-17 2001-10-09 トヨタ自動車株式会社 車両用遠隔操作制御装置およびそのシステム
DE10105060B4 (de) * 2001-02-05 2004-04-08 Siemens Ag Zugangskontrollsystem
JP4509042B2 (ja) * 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
US7636033B2 (en) * 2006-04-05 2009-12-22 Larry Golden Multi sensor detection, stall to stop and lock disabling system
JP4572889B2 (ja) * 2006-11-20 2010-11-04 株式会社デンソー 自動車用ユーザーもてなしシステム
TW200831767A (en) * 2007-01-22 2008-08-01 shi-xiong Li Door lock control system with integrated sensing and video identification functions
US10289288B2 (en) * 2011-04-22 2019-05-14 Emerging Automotive, Llc Vehicle systems for providing access to vehicle controls, functions, environment and applications to guests/passengers via mobile devices
US10254764B2 (en) * 2016-05-31 2019-04-09 Peloton Technology, Inc. Platoon controller state machine
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
US9378601B2 (en) * 2012-03-14 2016-06-28 Autoconnect Holdings Llc Providing home automation information via communication with a vehicle
US9082239B2 (en) * 2012-03-14 2015-07-14 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
US20140309852A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic vehicle diagnostic detection and communication
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
TW201402378A (zh) * 2012-07-11 2014-01-16 Hon Hai Prec Ind Co Ltd 汽車啟動控制系統及方法
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
WO2014172320A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Vehicle location-based home automation triggers
US20150009010A1 (en) * 2013-07-03 2015-01-08 Magna Electronics Inc. Vehicle vision system with driver detection
US9761073B2 (en) * 2014-03-12 2017-09-12 August Home Inc. Intelligent door lock system with audio and RF communication
US20160078696A1 (en) 2014-09-15 2016-03-17 Skr Labs, Llc Access method and system with wearable controller
US20160300410A1 (en) * 2015-04-10 2016-10-13 Jaguar Land Rover Limited Door Access System for a Vehicle
KR102146398B1 (ko) 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
US20170263017A1 (en) * 2016-03-11 2017-09-14 Quan Wang System and method for tracking gaze position
CN109311650B (zh) * 2016-06-24 2020-08-04 克朗设备公司 用于认证和跟踪工业车辆操作员的电子徽章
US20180032042A1 (en) * 2016-08-01 2018-02-01 Qualcomm Incorporated System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
JP6399064B2 (ja) * 2016-09-07 2018-10-03 トヨタ自動車株式会社 ユーザ特定システム
US9963106B1 (en) * 2016-11-07 2018-05-08 Nio Usa, Inc. Method and system for authentication in autonomous vehicles
US10472091B2 (en) * 2016-12-02 2019-11-12 Adesa, Inc. Method and apparatus using a drone to input vehicle data
WO2018112224A1 (en) * 2016-12-14 2018-06-21 Denso International America, Inc. Method and system for establishing microlocation zones
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement
US10721859B2 (en) * 2017-01-08 2020-07-28 Dolly Y. Wu PLLC Monitoring and control implement for crop improvement
JP2018145589A (ja) * 2017-03-01 2018-09-20 オムロンオートモーティブエレクトロニクス株式会社 車両ドア開閉制御装置
CN106951842A (zh) * 2017-03-09 2017-07-14 重庆长安汽车股份有限公司 汽车后备箱智能开启系统及方法
JP6446086B2 (ja) * 2017-03-31 2018-12-26 本田技研工業株式会社 非接触電力伝送システム
JP2018174686A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 非接触電力伝送システム
JP6450414B2 (ja) * 2017-03-31 2019-01-09 本田技研工業株式会社 非接触電力伝送システム
WO2018191894A1 (zh) * 2017-04-19 2018-10-25 深圳市汇顶科技股份有限公司 一种车辆解锁方法及车辆解锁系统
CN206741431U (zh) * 2017-05-09 2017-12-12 深圳未来立体教育科技有限公司 桌面型空间立体交互系统
CN107578418B (zh) * 2017-09-08 2020-05-19 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
WO2019056310A1 (en) * 2017-09-22 2019-03-28 Qualcomm Incorporated SYSTEMS AND METHODS FOR DETECTING FACIAL ACTIVITY
CN108197537A (zh) * 2017-12-21 2018-06-22 广东汇泰龙科技有限公司 一种云锁上基于电容式指纹头采集指纹的方法、设备
CN207752544U (zh) 2018-01-26 2018-08-21 河南云拓智能科技有限公司 一种智能门禁设备
CN108109249A (zh) 2018-01-26 2018-06-01 河南云拓智能科技有限公司 智能云门禁管理系统及方法
CN108520582B (zh) * 2018-03-29 2020-08-18 荣成名骏户外休闲用品股份有限公司 汽车开关门自动感应系统
CN108549886A (zh) * 2018-06-29 2018-09-18 汉王科技股份有限公司 一种人脸活体检测方法及装置
CN109190539B (zh) * 2018-08-24 2020-07-07 阿里巴巴集团控股有限公司 人脸识别方法及装置
US11060864B1 (en) * 2019-01-22 2021-07-13 Tp Lab, Inc. Controller for measuring distance from reference location and real size of object using a plurality of cameras
US11091949B2 (en) * 2019-02-13 2021-08-17 Ford Global Technologies, Llc Liftgate opening height control

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006161545A (ja) * 2004-11-10 2006-06-22 Denso Corp スマートエントリシステム用車載装置
JP2006328932A (ja) * 2005-04-28 2006-12-07 Denso Corp 車両ドア制御システム
JP2018185862A (ja) * 2014-06-19 2018-11-22 クアルコム，インコーポレイテッド コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ
JP2017001615A (ja) * 2015-06-15 2017-01-05 トヨタ自動車株式会社 認証装置、認証システムおよび認証方法
JP2017149218A (ja) * 2016-02-23 2017-08-31 株式会社東海理化電機製作所 電子キーシステム
JP2017223068A (ja) * 2016-06-16 2017-12-21 日産自動車株式会社 認証方法及び認証装置
CN108846924A (zh) * 2018-05-31 2018-11-20 上海商汤智能科技有限公司 车辆及车门解锁控制方法、装置和车门解锁系统

Also Published As

Publication number Publication date
CN110930547A (zh) 2020-03-27
JP7035270B2 (ja) 2022-03-14
KR20210013129A (ko) 2021-02-03
TWI785312B (zh) 2022-12-01
WO2020173155A1 (zh) 2020-09-03
TW202034195A (zh) 2020-09-16
US20210009080A1 (en) 2021-01-14
SG11202009419RA (en) 2020-10-29
JP2021516646A (ja) 2021-07-08
JP7428993B2 (ja) 2024-02-07

Similar Documents

Publication Publication Date Title
JP7035270B2 (ja) 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体
CN110335389B (zh) 车门解锁方法及装置、系统、车、电子设备和存储介质
CN110765936B (zh) 车门控制方法及装置、系统、车、电子设备和存储介质
JP7106768B2 (ja) 車両のドアロック解除方法、装置、システム、電子機器及び記憶媒体
CN111516640B (zh) 车门控制方法、车辆、系统、电子设备和存储介质
US20210001810A1 (en) System, method, and computer program for enabling operation based on user authorization
KR101586228B1 (ko) 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
US12100215B1 (en) IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations
CN111626086A (zh) 活体检测方法、装置及系统、电子设备和存储介质
KR101947040B1 (ko) 테일 게이트 작동 시스템 및 그 방법
CN114627443B (zh) 目标检测方法、装置、存储介质、电子设备及车辆
JP7445207B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113911054A (zh) 车辆个性化配置方法及装置、电子设备和存储介质
KR20200127145A (ko) 차량의 객체 인식 장치 및 이를 포함하는 원격 주차 시스템
KR20230084805A (ko) 차량 및 차량의 제어방법
CN116796057A (zh) 用于车辆的车载玻璃的呈现控制方法、装置以及车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R150 Certificate of patent or registration of utility model

Ref document number: 7428993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150