JP2022549656A - 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体 - Google Patents

車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP2022549656A
JP2022549656A JP2022518839A JP2022518839A JP2022549656A JP 2022549656 A JP2022549656 A JP 2022549656A JP 2022518839 A JP2022518839 A JP 2022518839A JP 2022518839 A JP2022518839 A JP 2022518839A JP 2022549656 A JP2022549656 A JP 2022549656A
Authority
JP
Japan
Prior art keywords
door
vehicle
image
depth
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2022518839A
Other languages
English (en)
Inventor
ウー，ヤンピン
シャオ，キン
ルー，ソンギャ
リ，トン
キャン，チェン
Original Assignee
シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド filed Critical シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Publication of JP2022549656A publication Critical patent/JP2022549656A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F15/76—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects responsive to devices carried by persons or objects, e.g. magnets or reflectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/10—Electronic control
    • E05Y2400/45—Control modes
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/852—Sensors
    • E05Y2400/856—Actuation thereof
    • E05Y2400/858—Actuation thereof by body parts
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Application of doors, windows, wings or fittings thereof for vehicles characterised by the type of wing
    • E05Y2900/531—Doors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Application of doors, windows, wings or fittings thereof for vehicles characterised by the type of wing
    • E05Y2900/546—Tailgates

Abstract

本開示は、車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。前記方法は、車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することと、前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行い、顔識別結果を得ることと、前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することと、前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得することと、前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び／又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御することと、を含む。【選択図】 図１

Description

「関連出願の相互参照」
本開示は、２０１９年１０月２２日に中国特許局に出願された、出願番号が２０１９１１００６８５３．５であり、発明の名称が「車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その内容のすべてが参照によって本開示に組み込まれる。
本開示は、コンピュータ技術に関し、特に車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。
現在、利用者は、車のキー（例えば、機械式キー又はリモートコントロールキー）によってドア制御を行う必要がある。利用者、特にスポーツが好きな利用者にとって、車のキーを携帯するのは不便という問題がある。また、車のキーは、破損、失効または紛失するおそれがある。
本開示は、車両のドア制御に係る技術的解決手段を提供する。
本開示の一態様によれば、
車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することと、
前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行い、顔識別結果を得ることと、
前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することと、
前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得することと、
前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び／又は、前記ドアの状態情報がロック解除されたが開いていない場合、前記ドアを開けるように制御することと、
を含む車両のドア制御方法を提供する。
本開示の一態様によれば、
車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する第１制御モジュールと、
前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行い、顔識別結果を得る顔識別モジュールと、
前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する第１決定モジュールと、
前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得する第１取得モジュールと、
前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び／又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御する第２制御モジュールと、
を備える車両のドア制御装置を提供する。
本開示の一態様によれば、メモリと、物体検出モジュールと、顔識別モジュールと、画像収集モジュールとを備え、前記顔識別モジュールは、前記メモリ、前記物体検出モジュール及び前記画像収集モジュールにそれぞれ接続され、前記物体検出モジュールは、前記画像収集モジュールに接続され、前記顔識別モジュールには、ドアドメインコントローラに接続するための通信インタフェースがさらに設けられ、前記顔識別モジュールは、前記通信インタフェースを介して前記ドアドメインコントローラにドアのロック解除及びポップアップのための制御情報を送信する車両のドア制御システムを提供する。
本開示の一態様によれば、上記車両のドア制御システムを含み、前記車両のドア制御システムが前記車両のドアドメインコントローラに接続される車両を提供する。
本開示の一態様によれば、
プロセッサと、
プロセッサにより実行可能な命令を記憶するメモリと、を含む電子機器であって、
前記プロセッサは、上記車両のドア制御方法を実行するように構成される電子機器を提供する。
本開示の一態様によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記車両のドア制御方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。
本開示の一態様によれば、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記方法を実現するための命令を実行させるコンピュータプログラムを提供する。
本開示の実施例では、車両に設けられる画像収集モジュールによるビデオストリームの収集を制御し、前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行い、顔識別結果を得て、前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定し、前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得し、前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び／又は、前記ドアの状態情報がロック解除されたが開いていない場合、前記ドアを開けるように制御することにより、利用者が手動でドアを引いて開けることなく、顔識別に基づいて利用者のために自動的にドアを開けることができ、車両使用の利便性が向上する。
以上の一般的な説明及び以下の詳細な説明は、例示的や解釈的なものに過ぎず、本開示を制限するものではないことは、理解されるべきである。
本開示の他の特徴および態様は、以下の図面を参照しながら例示的な実施例を詳細に説明することによって明らかになる。
ここで、本明細書の一部として組み込まれる図面は、本開示に適する実施例を示すものであり、明細書と共に本開示の技術的手段を説明するために用いられる。
本開示の実施例に係る車両のドア制御方法のフローチャートを示す。 本開示の実施例に係る車両のドア制御方法における画像収集モジュールの取付高さと識別可能な身長範囲の模式図を示す。 本開示の実施例に係る車両のドア制御方法におけるイメージセンサ及び深度センサの模式図を示す。 本開示の実施例に係る車両のドア制御方法におけるイメージセンサ及び深度センサの別の模式図を示す。 本開示の実施例に係る車両のドア制御方法の模式図を示す。 本開示の実施例に係る車両のドア制御方法の別の模式図を示す。 本開示の実施例による生体検出方法の一例の模式図を示す。 本開示の実施例に係る車両のドア制御方法における深度マップ更新の例示的な模式図を示す。 本開示の実施例に係る車両のドア制御方法における周辺画素の模式図を示す。 本開示の実施例に係る車両のドア制御方法における周辺画素の別の模式図を示す。 本開示の実施例に係る車両のドア制御装置のブロック図を示す。 本開示の実施例に係る車両のドア制御システムのブロック図を示す。 本開示の実施例に係る車両のドア制御システムの模式図を示す。 本開示の実施例に係る車両の模式図を示す。
以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および態様を詳細に説明する。図面における同じ符号は、同じまたは類似する機能の要素を示す。図面において実施例の様々な態様を示したが、特に説明がない限り、比例に従って図面を描く必要がない。
ここでの「例示的」という用語とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は、他の実施例より好ましいまたは優れるものであると理解すべきではない。
本明細書における「及び／又は」という用語は、単に関連対象の関連関係を記述するものであり、３つの関係が存在可能であることを示す。例えば、Ａ及び／又はＢは、Ａのみが存在するケース、ＡとＢの両方が存在するケース、Ｂのみが存在するケースという３つのケースを示してもよい。また、本明細書における「少なくとも１つ」という用語は、複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むとは、Ａ、Ｂ及びＣからなる集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。
また、本開示をより良く説明するために、以下の具体的な実施形態において多くの具体的な細部を示した。当業者であれば、本開示は、何らかの具体的な細部がなくても同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、要素および回路について、詳細な説明を行わない。
図１は、本開示の実施例に係る車両のドア制御方法のフローチャートを示す。いくつかの可能な実施形態では、前記車両のドア制御方法の実行主体は、車両のドア制御装置であってもよい。又は、前記車両のドア制御方法は、車載装置又は他の処理装置により実行されてもよい。又は、前記車両のドア制御方法は、プロセッサがメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことによって実現されてもよい。図１に示すように、前記車両のドア制御方法は、ステップＳ１１～ステップＳ１５を含む。
ステップＳ１１において、車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する。
可能な一実施形態では、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、車両の室外部に設けられる画像収集モジュールによる車外のビデオストリームの収集を制御することを含む。この実施形態では、画像収集モジュールは、車両の室外部に設けられてもよく、車両の室外部に設けられる画像収集モジュールによる車外のビデオストリームの収集を制御することにより、車外のビデオストリームに基づいて車外の人の乗車意図を検知することができる。
可能な一実施形態では、画像収集モジュールは、前記車両のＢピラー、少なくとも１つのドア、および少なくとも１つのバックミラーのうちの少なくとも１つに取り付けられてもよい。本開示の実施例におけるドアは、人の出入りのためのドア（例えば、左フロントドア、右フロントドア、左リアドア、右リアドア）を含んでもよく、車両のバックドア等を含んでもよい。例えば、画像収集モジュールは、Ｂピラーにおいて地面から１３０ｃｍ～１６０ｃｍだけ離れた箇所に取り付けられ、その水平識別距離が３０ｃｍ～１００ｃｍであるようにしてもよいが、ここではこれを限定しない。図２は、本開示の実施例に係る車両のドア制御方法における画像収集モジュールの取付高さと識別可能な身長範囲の模式図を示す。図２に示す例では、画像収集モジュールの取付高さが１６０ｃｍであり、識別可能な身長範囲が１４０ｃｍ～１９０ｃｍである。
一例では、画像収集モジュールは、車両の２本のＢピラー及びトランクに取り付けられてもよい。例えば、少なくとも１本のＢピラーには、前席の搭乗者（運転者または運転助手）の乗車位置に面する画像収集モジュールおよび後席の搭乗者の乗車位置に面する画像収集モジュールが取り付けられてもよい。
可能な一実施形態では、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することを含む。この実施形態では、画像収集モジュールは、車両の室内部に設けられてもよく、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することにより、車内のビデオストリームに基づいて車内の人の降車意図を検知することができる。
この実施形態の一例として、前記車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することは、前記車両の走行速度が０であり、かつ前記車両内に人がいる場合、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することを含む。この例では、前記車両の走行速度が０であり、かつ前記車両内に人がいる場合、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することにより、安全を確保するとともに、消費電力を低減することができる。
ステップＳ１２において、前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行い、顔識別結果を得る。
例えば、前記ビデオストリーム中の第１画像に基づいて顔識別を行い、顔識別結果を得るようにしてもよい。前記第１画像は、人体又は顔の少なくとも一部を含んでもよい。第１画像は、ビデオストリームから選ばれる画像であってもよく、様々な方法でビデオストリームから画像を選ぶことができる。具体的な一例では、第１画像は、ビデオストリームから選ばれた所定の品質条件を満たす画像である。この所定の品質条件は、人体又は顔を含むか否か、人体又は顔が画像の中心領域にあるか否か、人体又は顔が完全に画像に含まれるか否か、人体又は顔が画像に占める割合、人体又は顔の状態（例えば人体の向き、顔の角度）、画像の鮮明さ、画像の露光度等のうちの１つ又は任意の組み合わせであってもよく、本開示の実施例ではこれを限定しない。
可能な一実施形態では、前記顔識別は、顔認証を含み、前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行うことは、前記ビデオストリーム中の第１画像及び予め登録された顔特徴に基づいて顔認証を行うことを含む。この実施形態では、顔認証は、収集された画像における顔特徴を抽出し、収集された画像における顔特徴を予め登録された顔特徴と照合し、同一の人の顔特徴であるか否かを判断するためのものである。例えば、収集された画像における顔特徴が車両所有者又は一時利用者（例えば車両所有者の友人又は配達員等）の顔特徴であるか否かを判断してもよい。
可能な一実施形態では、前記顔識別は、生体検出をさらに含み、前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行うことは、前記画像収集モジュールにおける深度センサによって前記ビデオストリーム中の第１画像に対応する第１深度マップを取得することと、前記第１画像及び前記第１深度マップに基づいて生体検出を行うこととを含む。この実施形態では、生体検出は、生体であるか否かを検証するためのものであり、例えば、人体であるか否かを検証してもよい。
一例では、まず生体検出を行い、そして顔認証を行うようにしてもよい。例えば、人の生体検出結果、人が生体である場合、顔認証プロセスがトリガされる。一方、人の生体検出結果、人がプロテーゼである場合、顔認証プロセスがトリガされない。
別の一例では、まず顔認証を行い、そして生体検出を行うようにしてもよい。例えば、顔認証をパスすると、生体検出プロセスがトリガされる。一方、顔認証をパスしないと、生体検出プロセスがトリガされない。
別の一例では、生体検出と顔認証を同時に行うようにしてもよい。
本開示の実施例では、深度センサとは、深度情報を収集するためのセンサを指す。本開示の実施例では、深度センサの動作原理及び動作波長域を限定しない。
本開示の実施例では、画像収集モジュールにおけるイメージセンサと深度センサは、別体にされてもよく、一体にされてもよい。例えば、画像収集モジュールにおけるイメージセンサと深度センサは、イメージセンサとしてＲＧＢ（Ｒｅｄ、赤、Ｇｒｅｅｎ、緑、Ｂｌｕｅ、青）センサ又は赤外線センサを用い、深度センサとして両眼赤外線センサ又はＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、飛行時間）センサを用いるように別体にされてもよく、画像収集モジュールにおけるＲＧＢＤ（Ｒｅｄ、赤、Ｇｒｅｅｎ、緑、Ｂｌｕｅ、青、Ｄｅｅｐ、深度）センサを用いてイメージセンサと深度センサの機能を実現するように一体にされてもよい。
一例として、イメージセンサは、ＲＧＢセンサである。イメージセンサがＲＧＢセンサである場合、イメージセンサにより収集された画像は、ＲＧＢ画像である。
別の一例として、イメージセンサは、赤外線センサである。イメージセンサが赤外線センサである場合、イメージセンサにより収集された画像は、赤外線画像である。赤外線画像は、スポットのあるものであってもよく、スポットのないものであってもよい。
他の例では、イメージセンサは、他の種類のセンサであってもよく、本開示の実施例ではこれを限定しない。
一例として、深度センサは、３次元センサである。例えば、深度センサは、２つの赤外線カメラを含む両眼赤外線センサ、飛行時間ＴＯＦセンサ又は構造化光センサである。構造化光センサは、コード構造化光センサ又はスペックル構造化光センサであってもよい。深度センサによって人の深度マップを取得することにより、高精度の深度マップを取得することができる。本開示の実施例は、顔を含む深度マップによって生体検出を行うことにより、顔の深度情報を十分に掘り起こすことができるので、生体検出の正確性を高めることができる。
一例では、ＴＯＦセンサは、赤外線波長域によるＴＯＦモジュールを用いる。この例では、赤外線波長域によるＴＯＦモジュールを用いることにより、外部の光線による深度マップの撮影への影響を低減することができる。
本開示の実施例では、第１深度マップと第１画像とは対応するものである。例えば、第１深度マップ及び第１画像は、それぞれ深度センサ及びイメージセンサにより同一のシーンに対して収集されたものであるか、又は、深度センサ及びイメージセンサにより同じ時刻に同じ対象領域に対して収集されたものであり、本開示の実施例ではこれを限定しない。
図３ａは、本開示の実施例に係る車両のドア制御方法におけるイメージセンサ及び深度センサの模式図を示す。図３ａに示す例では、イメージセンサは、ＲＧＢセンサであり、イメージセンサのカメラは、ＲＧＢカメラであり、深度センサは、イメージセンサのＲＧＢカメラの両側に設けられる２つの赤外線（ＩＲ）カメラを含む両眼赤外線センサである。２つの赤外線カメラは、両眼視差の原理に基づいて深度情報を収集する。
一例では、画像収集モジュールは、両眼赤外線センサの赤外線カメラとイメージセンサのカメラとの間に設けられ、イメージセンサ用の補助光ランプと深度センサ用の補助光ランプのうちの少なくとも一つを含む少なくとも１つの補助光ランプをさらに含む。例えば、イメージセンサがＲＧＢセンサである場合、イメージセンサ用の補助光ランプをホワイトランプとしてもよい。イメージセンサが赤外線センサである場合、イメージセンサ用の補助光ランプを赤外線ランプとしてもよい。深度センサが両眼赤外線センサである場合、深度センサ用の補助光ランプを赤外線ランプとしてもよい。図３ａに示す例では、赤外線ランプは、両眼赤外線センサの赤外線カメラとイメージセンサのカメラとの間に設けられている。例えば、赤外線ランプは、９４０ｎｍの赤外線を用いるようにしてもよい。
一例では、補助光ランプは、ノーマルオンモードにしてもよい。この例では、画像収集モジュールのカメラが動作状態にあるとき、補助光ランプはオン状態にある。
別の一例では、光線が足りない場合に補助光ランプをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値よりも低い場合に光線が足りないと判定し、補助光ランプをオンにしてもよい。
図３ｂは、本開示の実施例に係る車両のドア制御方法におけるイメージセンサ及び深度センサの別の模式図を示す。図３ｂに示す例では、イメージセンサは、ＲＧＢセンサであり、イメージセンサのカメラは、ＲＧＢカメラであり、深度センサは、ＴＯＦセンサである。
一例では、画像収集モジュールは、深度センサのカメラとイメージセンサのカメラとの間に設けられるレーザーをさらに含む。例えば、レーザーは、ＴＯＦセンサのカメラとＲＧＢセンサのカメラとの間に設けられる。例えば、レーザーは、ＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ、垂直共振器面発光レーザー）であり、ＴＯＦセンサは、ＶＣＳＥＬから発されたレーザー光によって深度マップを収集するようにしてもよい。
本開示の実施例では、深度センサは、深度マップを収集するためのものであり、イメージセンサは、２次元画像を収集するためのものである。なお、イメージセンサについてＲＧＢセンサ及び赤外線センサを例として説明し、深度センサについて両眼赤外線センサ、ＴＯＦセンサ及び構造化光センサを例として説明したが、当業者であれば、本開示の実施例はこれらに限らないことは理解できる。当業者であれば、実際の適用ニーズに応じてイメージセンサ及び深度センサの種類を選択することができ、それぞれ２次元画像及び深度マップの収集を実現できるものであればよい。
可能な一実施形態では、前記顔識別は、権限認証をさらに含み、前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行うことは、前記ビデオストリーム中の第１画像に基づいて前記人のドア開け権限情報を取得することと、前記人のドア開け権限情報に基づいて権限認証を行うことと、を含む。この実施形態によれば、人によって異なるドア開け権限情報を設定することができるので、車両のセキュリティを向上させることができる。
この実施形態の一例として、前記人のドア開け権限情報は、前記人がドア開け権限を持つドアの情報、前記人がドア開け権限を持つ時間、及び前記人に対応するドア開け権限の回数のうちの１つ又は複数を含む。
例えば、前記人がドア開け権限を持つドアの情報は、すべてのドア又はバックドアであってもよい。例えば、車両所有者や車両所有者の家族、友人がドア開け権限を持つドアは、すべてのドアであり、配達員や不動産管理会社のスタッフがドア開け権限を持つドアは、バックドアであってもよい。車両所有者は、他の人に対してドア開け権限を持つドアの情報を設定することができる。
例えば、人がドア開け権限を持つ時間は、すべての時間としてもよく、所定の時間帯としてもよい。例えば、車両所有者や車両所有者の家族がドア開け権限を持つ時間は、すべての時間としてもよい。車両所有者は、他の人に対してドア開け権限を持つ時間を設定することができる。例えば、車両を友人に貸す場面では、車両所有者は、友人に対してドア開け権限を持つ時間を２日間に設定してもよい。また例えば、配達員から連絡された後、車両所有者は、配達員に対してドア開け権限を持つ時間を２０１９年９月２９日１３：００～１４：００に設定してもよい。
例えば、人に対応するドア開け権限の回数は、無限回数又は有限回数にしてもよい。例えば、車両所有者や車両所有者の家族、友人に対応するドア開け権限の回数は、無限回数にしてもよい。また例えば、配達員に対応するドア開け権限の回数は、有限回数、例えば１回にしてもよい。
ステップＳ１３において、前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する。
可能な一実施形態では、前記方法は、前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する前に、前記ビデオストリームに基づいてドア開け意図情報を特定することをさらに含み、前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することを含む。
可能な一実施形態では、ドア開け意図情報は、意図的なドア開け又は非意図的なドア開けであってもよい。意図的なドア開けは、意図的な乗車、意図的な降車、トランクへの意図的な物の出し入れであってもよい。例えば、ビデオストリームがＢピラーの画像収集モジュールにより収集されたものである場合、ドア開け意図情報が意図的なドア開けであると、人が乗車する意図があるか、又は物を入れる意図があることを示すことができる。一方、ドア開け意図情報が非意図的なドア開けであると、人が乗車する意図がなく、かつ物を入れる意図がないことを示すことができる。ビデオストリームがバックドアの画像収集モジュールにより収集されたものである場合、ドア開け意図情報が意図的なドア開けであると、人がトランクに物（例えば荷物）を入れる意図があることを示すことができる。ドア開け意図情報が非意図的なドア開けであると、人がトランクに物を入れる意図がないことを示すことができる。
可能な一実施形態では、前記ビデオストリームの複数のフレーム画像に基づいてドア開け意図情報を特定してもよい。これにより、特定されたドア開け意図情報の正確性を高めることができる。
この実施形態の一例として、前記ビデオストリームに基づいてドア開け意図情報を特定することは、前記ビデオストリーム中の隣接フレームの画像の重なり度合い（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ、ＩｏＵ）を特定することと、前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することと、を含む。
一例では、前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定することは、前記ビデオストリーム中の隣接フレームの画像における人体のバウンディングボックスの重なり度合いを前記隣接フレームの画像の重なり度合いとして特定することを含んでもよい。
別の一例では、前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定することは、前記ビデオストリーム中の隣接フレームの画像における顔のバウンディングボックスの重なり度合いを前記隣接フレームの画像の重なり度合いとして特定することを含んでもよい。
一例では、前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することは、直近に収集されたＮ組（Ｎは、１よりも大きい整数である）の隣接フレームの画像の重なり度合いをキャッシュすることと、キャッシュされた重なり度合いの平均値を決定することと、前記平均値が第１所定値よりも大きい継続時間が第１所定期間に達すると、前記ドア開け意図情報が意図的なドア開けであると特定することとを含む。例えば、Ｎは１０であり、第１所定値は０．９３であり、第１所定期間は１．５秒である。当然、Ｎ、第１所定値及び第１所定期間の具体的な数値は、実際の適用場面のニーズに応じて柔軟に設定することができる。この例では、キャッシュされたＮ個の重なり度合いは、直近に収集されたＮ組の隣接フレームの画像の重なり度合いである。新たな画像が取得されたとき、キャッシュから最も古い重なり度合いを１つ削除し、直近に収集された画像と直前に取得された画像の重なり度合いをキャッシュに格納する。
例えば、Ｎが３であり、直近に収集された４枚の画像が画像１、画像２、画像３及び画像４であり、画像４が直近に収集された画像であるとする。このとき、キャッシュされた重なり度合いは、画像１と画像２の重なり度合いＩ１２、画像２と画像３の重なり度合いＩ２３、画像３と画像４の重なり度合いＩ３４を含む。このとき、キャッシュされた重なり度合いの平均値は、Ｉ１２とＩ２３とＩ３４の平均値である。Ｉ１２とＩ２３とＩ３４の平均値が第１所定値よりも大きければ、画像収集モジュールによって画像５を取得し続け、重なり度合いＩ１２を削除し、画像４と画像５の重なり度合いＩ４５をキャッシュする。このとき、キャッシュされた重なり度合いの平均値は、Ｉ２３とＩ３４とＩ４５の平均値となる。キャッシュされた重なり度合いの平均値が第１所定値よりも大きい継続時間が第１所定期間に達すると、前記ドア開け意図情報が意図的なドア開けであると特定する。そうでなければ、前記ドア開け意図情報が非意図的なドア開けであると特定する。
別の一例では、前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することは、重なり度合いが第１所定値よりも大きい隣接フレームの連続組数が第２所定値よりも大きい場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含んでもよい。
上述の例では、前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定し、前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することにより、人のドア開け意図を正確に特定することができる。
この実施形態の別の一例として、前記ビデオストリームに基づいてドア開け意図情報を特定することは、前記ビデオストリーム中の直近に収集された複数のフレーム画像における人体領域の面積を特定することと、前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することと、を含む。
一例では、前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することは、前記直近に収集された複数のフレーム画像における人体領域の面積がいずれも第１所定面積よりも大きい場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含んでもよい。
別の一例では、前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することは、前記直近に収集された複数のフレーム画像における人体領域の面積が次第に大きくなる場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含んでもよい。直近に収集された複数のフレーム画像における人体領域の面積が次第に大きくなるとは、収集時間が現在時間に近い画像における人体領域の面積が、収集時間が現在時間から離れた画像における人体領域の面積よりも大きいことを指してもよく、又は、収集時間が現在時間に近い画像における人体領域の面積が、収集時間が現在時間から離れた画像における人体領域の面積以上であることを指してもよい。
上述した例では、前記ビデオストリーム中の直近に収集された複数のフレーム画像における人体領域の面積を特定し、前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することにより、人のドア開け意図を正確に特定することができる。
この実施形態の別の一例として、前記ビデオストリームに基づいてドア開け意図情報を特定することは、前記ビデオストリーム中の直近に収集された複数のフレーム画像における顔領域の面積を特定することと、前記直近に収集された複数のフレーム画像における顔領域の面積に基づいて、前記ドア開け意図情報を特定することと、を含む。
一例では、前記直近に収集された複数のフレーム画像における顔領域の面積に基づいて、前記ドア開け意図情報を特定することは、前記直近に収集された複数のフレーム画像における顔領域の面積がいずれも第２所定面積よりも大きい場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含む。
別の一例では、前記直近に収集された複数のフレーム画像における顔領域の面積に基づいて、前記ドア開け意図情報を特定することは、前記直近に収集された複数のフレーム画像における顔領域の面積が次第に大きくなる場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含んでもよい。直近に収集された複数のフレーム画像における顔領域の面積が次第に大きくなるとは、収集時間が現在時間に近い画像における顔領域の面積が、収集時間が現在時間から離れた画像における顔領域の面積よりも大きいことを指してもよく、又は、収集時間が現在時間に近い画像における顔領域の面積が、収集時間が現在時間から離れた画像における顔領域の面積以上であることを指してもよい。
上述した例では、前記ビデオストリーム中の直近に収集された複数のフレーム画像における顔領域の面積を特定し、前記直近に収集された複数のフレーム画像における顔領域の面積に基づいて、前記ドア開け意図情報を特定することにより、人のドア開け意図を正確に特定することができる。
本開示の実施例では、前記ドア開け意図情報に基づいて前記車両の少なくとも１つのドアを制御することにより、人がドアを開ける意図がない場合にドアを開けてしまう可能性を低減することができるので、車両のセキュリティを向上させることができる。
可能な一実施形態では、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、かつ前記ドア開け意図情報が意図的なドア開けである場合、前記制御情報が前記車両の少なくとも１つのドアを開ける制御を含むと決定することを含む。
可能な一実施形態では、前記方法は、前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する前に、前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、人の物携帯情報を特定することをさらに含み、前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することを含む。この実施形態では、ドア開け意図情報を考慮することなく、前記顔識別結果及び前記人の物携帯情報に基づいてドア制御を行うことができる。
この実施形態の一例として、前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、前記制御情報が前記車両の少なくとも１つのドアを開ける制御を含むと決定することを含む。この例では、前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、利用者が手動でドアを開けることなく、自動的に利用者のためにドアを開けることができる。
この実施形態の一例として、前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することを含む。この例では、前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、自動的に利用者のためにバックドアを開けることができるので、前記人が所定種類の物を携帯しているとき、利用者が手動でバックドアを開ける必要はない。
可能な一実施形態では、前記方法は、前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する前に、前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、人の物携帯情報を特定することをさらに含み、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することを含む。
この実施形態では、人の物携帯情報は、人が携帯している物の情報を示すものであってもよい。例えば、人の物携帯情報は、人が物を携帯しているかを示してもよい。また例えば、人の物携帯情報は、人が携帯している物の種類を示してもよい。
この実施形態によれば、利用者がドアを開けるのに不便な場合（例えば利用者がハンドバッグやショッピングバッグ、トランクケース、傘等の物を携帯している場合）、自動的に利用者のためにドア（例えば車両の左フロントドア、右フロントドア、左リアドア、右リアドア、バックドア）をポップアップするので、利用者が物を携帯している場面、又は雨降り等の場面において、利用者の乗車及びトランクへの物入れを非常に便利にすることができる。この実施形態を採用すれば、人が車両に近づくと、意図的に動作（例えば、ボタンのタッチやジェスチャ）することなく、顔識別プロセスが自動的にトリガされるので、利用者が手を解放してドアをロック解除したりドアを開けたりすることなく、自動的に利用者のためにドアを開けることができ、これにより利用者の乗車体験及びトランクに物を入れる体験を向上させることができる。
この実施形態の一例として、前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、前記制御情報が前記車両の少なくとも１つのドアを開ける制御を含むと決定することを含む。
この例では、人の物携帯情報は前記人が物を携帯していることである場合、人が当時に重い物を手に持っているか、又は手で傘を持っている等、手動でドアを引いて開けるのに不便であると特定することができる。
この実施形態の一例として、前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、人の物携帯情報を特定することは、前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、物体検出結果を得ることと、前記物体検出結果に基づいて前記人の物携帯情報を特定することと、を含む。例えば、前記ビデオストリーム中の第１画像に対して物体検出を行い、物体検出結果を得るようにしてもよい。
この例では、前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、物体検出結果を得て、前記物体検出結果に基づいて前記人の物携帯情報を特定することにより、人の物携帯情報を正確に取得することができる。
この例では、物体検出結果は、人の物携帯情報としてもよい。例えば、物体検出結果が傘を含む場合、前記人の物携帯情報は、傘を含む。また例えば、物体検出結果が傘及びトランクケースを含む場合、前記人の物携帯情報は、傘及びトランクケースを含む。また例えば、物体検出結果が空である場合、前記人の物携帯情報は、空としてもよい。
この例では、物体検出ネットワークを利用して、ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行うようにしてもよい。物体検出ネットワークは、深層学習アーキテクチャによるものであってもよい。この例では、物体検出ネットワークが識別可能な物の種類を限定しなくてもよく、当業者は、実際の適用場面のニーズに応じて、物体検出ネットワークが識別可能な物の種類を柔軟に設定することができる。例えば、物体検出ネットワークが識別可能な物の種類は、傘、トランクケース、カート、ベビーカー、ハンドバッグ、ショッピングバッグなどを含む。物体検出ネットワークを利用してビデオストリーム中の少なくとも１枚の画像に対して物体検出を行うことにより、物体検出の正確性及びスピードを向上させることができる。
この例では、前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、物体検出結果を得ることは、前記ビデオストリーム中の少なくとも１枚の画像における人体のバウンディングボックスを検出することと、前記バウンディングボックスに対応する領域に対して物体検出を行い、物体検出結果を得ることと、を含んでもよい。例えば、前記ビデオストリーム中の第１画像における人体のバウンディングボックスを検出し、前記第１画像における前記バウンディングボックスに対応する領域に対して物体検出を行うようにしてもよい。前記バウンディングボックスに対応する領域は、前記バウンディングボックスにより区画される領域を指してもよい。この例では、ビデオストリーム中の少なくとも１枚の画像における人体のバウンディングボックスを検出し、前記バウンディングボックスに対応する領域に対して物体検出を行うことにより、ビデオストリーム中の画像の背景部分による物体検出への干渉の確率を低減することができるので、物体検出の正確性を高めることができる。
この例では、前記物体検出結果に基づいて前記人の物携帯情報を特定することは、前記物体検出結果は物が検出されたことである場合、前記物と前記人の手部との距離を取得することと、前記距離に基づいて前記人の物携帯情報を特定することと、を含んでもよい。
一例では、前記距離が所定距離よりも小さい場合、前記人の物携帯情報は前記人が物を携帯していることであると特定してもよい。この例では、人の物携帯情報を特定するとき、物のサイズを考慮することなく、物と人の手部との距離のみを考慮することができる。
別の一例では、前記物体検出結果に基づいて前記人の物携帯情報を特定することは、前記物体検出結果は物が検出されたことである場合、前記物のサイズを取得することをさらに含み、前記距離に基づいて前記人の物携帯情報を特定することは、前記距離及び前記サイズに基づいて前記人の物携帯情報を特定することを含む。この例では、人の物携帯情報を特定するとき、物と人の手部との距離及び物のサイズを同時に考慮することができる。
前記距離及び前記サイズに基づいて前記人の物携帯情報を特定することは、前記距離が所定距離以下であり、かつ前記サイズが所定サイズ以上である場合、前記人の物携帯情報は前記人が物を携帯していることであると特定することを含んでもよい。
この例では、所定距離は、０であってもよく、又は０よりも大きく設定されてもよい。
この例では、前記物体検出結果に基づいて前記人の物携帯情報を特定することは、前記物体検出結果は物が検出されたことである場合、前記物のサイズを取得することと、前記サイズに基づいて前記人の物携帯情報を特定することを含んでもよい。この例では、人の物携帯情報を特定するとき、物と人の手部との距離を考慮することなく、物のサイズのみを考慮することができる。例えば、前記サイズが所定サイズよりも大きい場合、前記人の物携帯情報は前記人が物を携帯していることであると特定する。
この実施形態の一例として、前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することを含む。所定種類とは、トランクに入れるのに適する物の種類を指してもよい。例えば、所定種類は、トランクケース等を含んでもよい。図４は、本開示の実施例に係る車両のドア制御方法の模式図を示す。図４に示す例では、前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が所定種類の物（例えばトランクケース）を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定する。この例では、前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することにより、人が所定種類の物を携帯しているとき、自動的に利用者のためにバックドアを開けることができ、人がトランクに物を入れるのに便利である。
この実施形態の一例として、前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果が顔識別に成功しかつ運転者ではないことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は物を携帯していることである場合、前記制御情報が前記車両の運転席ドアでない少なくとも１つのドアを開ける制御を含むと決定することを含む。この例では、前記顔識別結果が顔識別に成功しかつ運転者ではないことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は物を携帯していることである場合、前記制御情報が前記車両の運転席ドアでない少なくとも１つのドアを開ける制御を含むと決定することにより、運転者でない利用者のためにその着席に適した座席に対応するドアを自動的に開けることができる。
可能な一実施形態では、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記ビデオストリームを収集した画像収集モジュールに対応するドアに対応する制御情報を決定することを含んでもよい。前記ビデオストリームを収集した画像収集モジュールに対応するドアは、前記画像収集モジュールの位置に基づいて決定してもよい。例えば、ビデオストリームは、左側Ｂピラーに取り付けられ、かつ前席の搭乗者の乗車位置を向く画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、左フロントドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の左フロントドアに対応する制御情報を決定することができる。ビデオストリームは、左側Ｂピラーに取り付けられ、かつ後席の搭乗者の乗車位置を向く画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、左リアドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の左リアドアに対応する制御情報を決定することができる。ビデオストリームは、右側Ｂピラーに取り付けられ、かつ前席の搭乗者の乗車位置を向く画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、右フロントドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の右フロントドアに対応する制御情報を決定することができる。ビデオストリームは、右側Ｂピラーに取り付けられ、かつ後席の搭乗者の乗車位置を向く画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、右リアドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の右リアドアに対応する制御情報を決定することができる。ビデオストリームは、バックドアに取り付けられる画像収集モジュールにより収集されたものである場合、前記ビデオストリームを収集した画像収集モジュールに対応するドアは、バックドアであるとしてもよい。これにより、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両のバックドアに対応する制御情報を決定することができる。
ステップＳ１４において、前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得する。
本開示の実施例では、前記ドアの状態情報は、ロック解除されていないこと、ロック解除されたが開いていないこと、及び開いていることを含む。
ステップＳ１５において、前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び／又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御する。
本開示の実施例では、前記ドアを開けるように制御するとは、ドアがポップアップするように制御することにより、利用者が開いているドア（例えばフロントドア又はリアドア）から車に乗り込むか、又は開いているドア（例えばバックドア又はリアドア）から物を入れるようにすることを指してもよい。ドアを開けるように制御することにより、ドアがロック解除された後に、利用者が手動でドアを引いて開ける必要はない。
可能な一実施形態では、前記ドアに対応するロック解除指令と開指令をドアドメインコントローラに送信することにより、前記ドアをロック解除して開けるように制御してもよい。また、前記ドアに対応する開指令をドアドメインコントローラに送信することにより、前記ドアを開けるように制御してもよい。
一例では、車両のドア制御装置のＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、システムオンチップ）は、ドアのロック解除指令、開指令、閉指令をドアドメインコントローラに送信することにより、ドアを制御してもよい。
図５は、本開示の実施例に係る車両のドア制御方法の別の模式図を示す。図５に示す例では、Ｂピラーに取り付けられる画像収集モジュールによりビデオストリームを収集し、前記ビデオストリームに基づいて顔識別結果及びドア開け意図情報を取得し、前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することができる。
可能な一実施形態では、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、車両のバックドアに設けられる画像収集モジュールによるビデオストリームの収集を制御することを含む。この実施形態では、バックドアに画像収集モジュールを取り付けることにより、バックドアの画像収集モジュールが収集したビデオストリームに基づいてトランクへの物の出し入れの意図を検出することができる。
可能な一実施形態では、前記方法は、前記制御情報が前記車両のバックドアを開ける制御を含むと決定した後に、前記車両の室内部に設けられる画像収集モジュールが収集したビデオストリームに基づいて前記人が前記室内部を離れたと特定した場合、又は前記人のドア開け意図情報が意図的な降車であると検出した場合、前記バックドアを開けるように制御することをさらに含む。この実施形態によれば、搭乗者が乗車前にトランクに物を入れた場合、この搭乗者の降車時に、この搭乗者のためにバックドアを自動的に開けることができるので、搭乗者が手動でバックドアを引いて開ける必要はなく、トランクの中の物を取り出すよう搭乗者に注意を与えるという役割を果たすことができる。
可能な一実施形態では、前記方法は、前記ドアを開けるように制御した後に、ドア自動閉条件を満たす場合、前記ドアを閉めるように制御するか、又は、前記ドアを閉めてロックするように制御することをさらに含む。この実施形態では、ドア自動閉条件を満たす場合、前記ドアを閉めるように制御するか、又は、前記ドアを閉めてロックするように制御することにより、車両のセキュリティを向上させることができる。
この実施形態の一例として、前記ドア自動閉条件は、前記ドアを開けるように制御するドア開け意図情報が意図的な乗車であり、かつ前記車両の室内部の画像収集モジュールが収集したビデオストリームに基づいて乗車意図がある人が着席したと特定したこと、前記ドアを開けるように制御するドア開け意図情報が意図的な降車であり、かつ前記車両の室内部の画像収集モジュールが収集したビデオストリームに基づいて降車意図がある人が前記室内部を離れたと特定したこと、及び前記ドアの開いている期間が第２所定期間に達したことのうちの１つ又は複数を含む。
一例では、人がドア開け権限を持つドアがバックドアのみを含む場合、制御によりバックドアが開いている期間が第２所定期間に達したとき、バックドアを閉めるように制御してもよい。例えば、第２所定期間は、３分間とされてもよい。例えば、配達員がドア開け権限を持つドアがバックドアのみを含む場合、制御によりバックドアが開いている期間が第２所定期間に達したとき、バックドアを閉めるように制御することができる。これにより、トランクに配達物を入れる配達員のニーズを満たすとともに、車両のセキュリティを向上させることができる。
可能な一実施形態では、前記方法は、前記画像収集モジュールが収集した顔画像に基づいて利用者の登録を行うこと、車両所有者に対応する端末である第１端末が収集又はアップデートした顔画像に基づいて遠隔登録を行い、収集又はアップデートされた顔画像を含む登録情報を前記車両に送信することのうちの１つ又は２つをさらに含む。
一例では、画像収集モジュールが収集した顔画像に基づいて車両所有者の登録を行うことは、タッチスクリーンの登録ボタンがクリックされたことを検出すると、パスワードを入力するよう利用者に要求し、パスワードの検証に成功すると、画像収集モジュールのＲＧＢカメラをオンにして顔画像を取得し、取得された顔画像に基づいて登録を行い、後続の顔認証時に顔の照合を行うために、この顔画像における顔特徴を予め登録された顔特徴として抽出することを含む。
一例では、第１端末が収集又はアップデートした顔画像に基づいて遠隔登録を行い、収集又はアップデートされた顔画像を含む登録情報を車両に送信する。この例では、利用者（例えば車両所有者）は、携帯電話のＡｐｐ（Ａｐｐｌｉｃａｔｉｏｎ、アプリケーション）を介してＴＳＰ（Ｔｅｌｅｍａｔｉｃｓ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ、自動車テレマティクス・サービス・プロバイダー）クラウドに、第１端末が収集又はアップデートした顔画像を含みうる登録要求を送信してもよい。例えば、第１端末が収集した顔画像は、利用者自身（車両所有者）の顔画像であってもよく、第１端末がアップデートした顔画像は、利用者自身（車両所有者）、利用者の友人又は配達員等の顔画像であってもよい。ＴＳＰクラウドは、登録要求を車両のドア制御装置の車載Ｔ－Ｂｏｘ（Ｔｅｌｅｍａｔｉｃｓ Ｂｏｘ、テレマティクス・ボックス）に送信し、車載Ｔ－Ｂｏｘは、登録要求に応じて顔識別機能をアクティブ化し、後続の顔認証時に顔の照合を行うために、登録要求に含まれる顔画像における顔特徴を予め登録された顔特徴とする。
この実施形態の一例として、前記第１端末がアップデートした顔画像は、一時利用者に対応する端末である第２端末が前記第１端末に送信した顔画像を含み、前記登録情報は、前記アップデートされた顔画像に対応するドア開け権限情報をさらに含む。例えば、一時利用者は、配達員等であってもよい。この例では、車両所有者は、配達員等の一時利用者に対してドア開け権限情報を設定することができる。
可能な一実施形態では、前記方法は、前記車両の搭乗者による座席調節情報を取得することと、前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新することと、をさらに含む。前記搭乗者に対応する座席嗜好情報は、前記搭乗者が前記車両に搭乗した際の座席調節の嗜好情報を反映することができる。この実施形態では、前記搭乗者に対応する座席嗜好情報を生成又は更新することにより、前記搭乗者が次回に前記車両に搭乗するときに、前記搭乗者に対応する座席嗜好情報に基づいて座席を自動的に調節して前記搭乗者の乗車体験を向上させることができる。
可能な一実施形態では、前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新することは、前記搭乗者が着席した座席の位置情報、及び前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新することを含む。この実施形態では、前記搭乗者に対応する座席嗜好情報は、前記搭乗者による座席調節情報に関連付けられることができるだけでなく、前記搭乗者が着席した座席の位置情報にも関連付けられることができる。つまり、搭乗者のために異なる位置の座席に対応する座席嗜好情報を記録することができるので、利用者の乗車体験をさらに向上させることができる。
可能な一実施形態では、前記方法は、前記顔識別結果に基づいて、搭乗者に対応する座席嗜好情報を取得することと、前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節することと、をさらに含む。この実施形態では、前記搭乗者に対応する座席嗜好情報に基づいて搭乗者のために座席を自動的に調節し、搭乗者が手動で座席を調節する必要はないので、搭乗者の運転体験又は乗車体験を向上させることができる。
一例では、座席の高さ、前後位置、背凭れ及び温度等のうちの１つ又は複数を調節してもよい。
この実施形態の一例として、前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節することは、前記搭乗者が着席した座席の位置情報を決定することと、前記搭乗者が着席した座席の位置情報、及び前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節することとを含む。この実施形態では、前記搭乗者が着席した座席の位置情報、及び前記搭乗者に対応する座席嗜好情報に基づいて搭乗者のために座席を自動的に調節し、搭乗者が座席を手動で調節する必要はないので、搭乗者の運転体験又は乗車体験を向上させることができる。
他の可能な実施形態では、さらに前記顔識別結果に基づいて、搭乗者に対応する他のカスタマイズ情報、例えばランプ情報、温度情報、エアコン風力情報、音楽情報等を取得し、取得されたカスタマイズ情報に基づいて自動的に設定することができる。
可能な一実施形態では、前記方法は、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する前に、前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することと、前記プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、前記ブルートゥースモジュールと前記プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立することと、前記ブルートゥースペアリング接続の成功に応じて、前記車両に設けられる顔識別モジュールをウェイクアップさせることと、をさらに含み、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、ウェイクアップされた前記顔識別モジュールによって、前記画像収集モジュールによるビデオストリームの収集を制御することを含む。
この実施形態の一例として、前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することは、前記車両がイグニッションオフ状態にあるとき、又はイグニッションがオフでかつドアロックの状態にあるとき、前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することを含む。この例では、車両のイグニッションがオフにされる前には、ブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索する必要はなく、又は、車両のイグニッションがオフにされる前、及び車両がイグニッションオフ状態にあるがドアロックの状態ではないときには、ブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索する必要はない。これにより、消費電力をさらに低減することができる。
この実施形態の一例として、ブルートゥースモジュールは、低消費電力ブルートゥース（ＢＬＥ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）モジュールであってもよい。この例では、車両がイグニッションオフ状態にあるとき、又はイグニッションがオフでかつドアロックの状態にあるとき、ブルートゥースモジュールは、ブロードキャストモードで一定時間（例えば、１００ミリ秒）毎に周囲にブロードキャストパケットをブロードキャストしてもよい。周囲のブルートゥースデバイスは、スキャン動作を実行しているとき、ブルートゥースモジュールによってブロードキャストされたブロードキャストパケットを受信すると、このブルートゥースモジュールにスキャン要求を送信する。このブルートゥースモジュールは、スキャン要求に応じて、このスキャン要求を送信したブルートゥースデバイスにスキャン応答パケットを返送することができる。この実施形態では、プリセット識別子を有するブルートゥースデバイスから送信したスキャン要求を受信した場合、このプリセット識別子を有するブルートゥースデバイスが検索されたと特定する。
この実施形態の別の一例として、車両がイグニッションオフ状態にあるとき、又はイグニッションがオフでかつドアロックの状態にあるとき、ブルートゥースモジュールは、スキャン状態にあってもよい。スキャンによってプリセット識別子を有するブルートゥースデバイスを見つけた場合、プリセット識別子を有するブルートゥースデバイスが検索されたと特定する。
この実施形態の一例として、ブルートゥースモジュールと顔認識モジュールは顔識別システムに集積されてもよい。
この実施形態の別の一例として、ブルートゥースモジュールは、顔識別システムと別体にされてもよい。つまり、ブルートゥースモジュールは、顔識別システムの外部に設けられてもよい。
この実施形態では、ブルートゥースモジュールの最大検索距離を限定しない。一例では、最大通信距離は、３０ｍ程度とされてもよい。
この実施形態では、ブルートゥースデバイスの識別子は、ブルートゥースデバイスの一意識別子であってもよい。例えば、ブルートゥースデバイスの識別子は、ブルートゥースデバイスのＩＤ、名称又はアドレス等であってもよい。
この実施形態では、プリセット識別子は、ブルートゥースセキュリティ接続技術に基づいて、予め車両のブルートゥースモジュールとのペアリングに成功したデバイスの識別子であってもよい。
この実施形態では、プリセット識別子を有するブルートゥースデバイスの数は、１つ又は複数であってもよい。例えば、ブルートゥースデバイスの識別子がブルートゥースデバイスのＩＤである場合、ドアを開ける権限を持つブルートゥースＩＤを１つ又は複数予め設定してもよい。例えば、プリセット識別子を有するブルートゥースデバイスの数が１つである場合、このプリセット識別子を有するブルートゥースデバイスは、車両所有者のブルートゥースデバイスであってもよく、プリセット識別子を有するブルートゥースデバイスの数が複数である場合、この複数のプリセット識別子を有するブルートゥースデバイスは、車両所有者のブルートゥースデバイス、及び車両所有者の家族、友人、予め登録された連絡者のブルートゥースデバイスを含んでもよい。予め登録された連絡者は、予め登録された配達員や不動産管理会社のスタッフ等であってもよい。
この実施形態では、ブルートゥースデバイスは、ブルートゥース機能を有する任意のモバイルデバイスであってもよい。例えば、ブルートゥースデバイスは、携帯電話、ウェアラブルデバイス、又は電子キーなどであってもよい。ウェアラブルデバイスは、スマートブレスレット又はスマートグラスなどであってもよい。
この実施形態の一例として、プリセット識別子を有するブルートゥースデバイスの数が複数である場合、プリセット識別子を有するブルートゥースデバイスのいずれか１つが検索されたことに応じて、ブルートゥースモジュールとこのプリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立する。
この実施形態の一例として、プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、ブルートゥースモジュールは、このプリセット識別子を有するブルートゥースデバイスに対してアイデンティティ認証を行い、アイデンティティ認証をパスした後に、ブルートゥースモジュールとプリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立することにより、ブルートゥースペアリング接続のセキュリティを向上させることができる。
この実施形態では、プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続が確立されていないとき、顔識別モジュールは、低消費電力による動作を維持するためにスリープ状態になるようにしてもよい。これにより、顔識別によるドア開け方式の消費電力を低減することができるとともに、プリセット識別子を有するブルートゥースデバイスを携帯している人がドアに到着する前に、顔識別モジュールを動作可能状態にすることができる。プリセット識別子を有するブルートゥースデバイスを携帯している人がドアに到着すると、画像収集モジュールによる第１画像の収集後に、ウェイクアップされた顔識別モジュールによって顔画像の処理を速やかに行うことができるので、顔識別の効率を高め、利用者体験を改善することができる。したがって、本開示の実施例は、低消費電力による動作の要求を満たすとともに、速やかなドア開けの要求を満たすことができる。
この実施形態では、プリセット識別子を有するブルートゥースデバイスが検索された場合、プリセット識別子を有するブルートゥースデバイスを携帯している利用者（例えば車両所有者）がブルートゥースモジュールの検索範囲内に入った可能性は高いことが示される。このとき、プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、ブルートゥースモジュールとプリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立し、ブルートゥースペアリング接続の成功に応じて、顔識別モジュールをウェイクアップさせ、画像収集モジュールによるビデオストリームの収集を制御する。これにより、ブルートゥースペアリング接続に成功してから顔識別モジュールをウェイクアップさせるという方式によれば、顔識別モジュールが誤ってウェイクアップされる可能性を効果的に下げることができるので、利用者体験を向上させ、顔識別モジュールの消費電力を効果的に低減することができる。また、ブルートゥースによるペアリング接続方法は、超音波や赤外線などの短距離センサ技術に比べて、セキュリティが高く、長距離に対応可能であるという利点がある。実践によれば、プリセット識別子を有するブルートゥースデバイスを携帯している人がこの距離（ブルートゥースペアリング接続に成功したときの利用者と車両との距離）を通って車両に到着する時間と、車両がスリープ状態から動作状態に切り替えるように顔識別モジュールをウェイクアップさせる時間とは略一致している。このように、ドアに到着した人が顔識別モジュールのウェイクアップを待つことなく、利用者がドアに到着すると、ウェイクアップされた顔識別モジュールによって顔識別を直ちに行ってドアを開けることができるので、顔識別の効率を向上させ、利用者体験を改善することができる。さらに、人はブルートゥースのペアリング接続中であることを感じないので、利用者体験をさらに向上させることができる。したがって、この実施形態は、ブルートゥースペアリング接続に成功してから顔識別モジュールをウェイクアップさせるという方式によって、顔識別モジュールの省電力化、利用者体験、およびセキュリティなどの各面のバランスがよく取れる技術的解決手段を提供する。
別の可能な一実施形態では、利用者が顔識別モジュールにタッチしたことに応じて、前記顔識別モジュールをウェイクアップさせるようにしてもよい。この実施形態によれば、利用者が携帯電話や他のブルートゥースデバイスの持参を忘れた場合であっても、顔識別によってドアをロック解除して開ける機能を利用することができる。
可能な一実施形態では、この方法は、前記車両に設けられる顔識別モジュールをウェイクアップさせた後に、所定時間内に顔画像が取得されていない場合、前記顔識別モジュールがスリープ状態に入るように制御することをさらに含む。この実施形態は、顔識別モジュールをウェイクアップさせた後に、所定時間内に顔画像が取得されていないとき、顔識別モジュールがスリープ状態に入るように制御することにより、消費電力を低減することができる。
可能な一実施形態では、この方法は、前記車両に設けられる顔識別モジュールをウェイクアップさせた後に、所定時間内に顔識別をパスしていない場合、前記顔識別モジュールがスリープ状態に入るように制御することをさらに含む。この実施形態は、顔識別モジュールをウェイクアップさせた後に、所定時間内に顔識別をパスしていないとき、顔識別モジュールがスリープ状態に入るように制御することにより、消費電力を低減することができる。
可能な一実施形態では、この方法は、前記車両に設けられる顔識別モジュールをウェイクアップさせた後に、前記車両の走行速度が０でない場合、前記顔識別モジュールがスリープ状態に入るように制御することをさらに含む。この実施形態では、前記車両の走行速度が０でない場合、前記顔識別モジュールがスリープ状態に入るように制御することにより、顔識別によるドア開けのセキュリティを向上させることができるとともに、消費電力を低減することができる。
別の可能な一実施形態では、前記方法は、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する前に、車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することと、前記プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、前記車両に設けられる顔識別モジュールをウェイクアップさせることと、をさらに含み、前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、ウェイクアップされた前記顔識別モジュールによって、前記画像収集モジュールによるビデオストリームの収集を制御することを含む。
可能な一実施形態では、前記方法は、前記顔識別結果を得た後に、前記顔識別結果が顔識別の失敗であることに応じて、前記車両に設けられるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除プロセスを起動することをさらに含む。
この実施形態では、パスワードによるロック解除は、顔識別によるロック解除の代替手段である。顔識別の失敗原因として、生体検出結果は人がプロテーゼであること、顔認証に失敗したこと、画像収集に失敗した（例えば、カメラが故障した）こと、および識別回数が所定の回数を超えたこと等のうちの少なくとも１つを含んでもよい。人が顔識別をパスできない場合、パスワードによるロック解除プロセスを起動する。例えば、Ｂピラーのタッチスクリーンによって利用者から入力されるパスワードを取得するようにしてもよい。一例では、パスワードがＭ回、例えば５回連続して間違って入力された場合、パスワードによるロック解除を無効にするようにしてもよい。
可能な一実施形態では、前記第１画像及び前記第１深度マップに基づいて生体検出を行うことは、前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、前記第１画像及び前記第２深度マップに基づいて生体検出結果を特定することと、を含む。
この実施形態では、第１画像に基づいて第１深度マップにおける１つ又は複数の画素の深度値を更新して、第２深度マップを得る。
可能な一実施形態では、前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、前記第１画像に基づいて前記第１深度マップにおける深度失効画素の深度値を更新して、前記第２深度マップを得ることを含む。
深度マップにおける深度失効画素とは、深度マップに含まれ、無効な深度値を有する画素、すなわち正確でない又は実際の状況と明らかに一致しない深度値を有する画素を指してもよい。深度失効画素の数は、１つ又は複数であってもよい。深度マップにおける少なくとも１つの深度失効画素の深度値を更新することにより、深度失効画素の深度値がより正確になり、生体検出の正確率の向上に寄与する。
いくつかの実施例では、第１深度マップは、欠損値が存在する深度マップであり、第１画像に基づいて第１深度マップを修復することによって、第２深度マップを得る。選択的に、第１深度マップの修復は、欠損値である画素の深度値の決定又は補完を含むが、本開示の実施例はこれに限らない。
本開示の実施例では、様々な方法で第１深度マップを更新又は修復することができる。いくつかの実施例では、第１画像を直接用いて生体検出を行い、例えば、第１画像を直接用いて第１深度マップを更新する。別のいくつかの実施例では、第１画像を前処理し、前処理後の第１画像に基づいて生体検出を行う。例えば、前記第１画像に基づいて前記第１深度マップを更新することは、前記第１画像から前記顔の画像を取得することと、前記顔の画像に基づいて前記第１深度マップを更新することと、を含む。
様々な方法で第１画像から顔の画像を切り出すことができる。一例として、第１画像に対して顔検出を行って顔の位置情報、例えば顔のバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の位置情報を得て、顔の位置情報に基づいて第１画像から顔の画像を切り出す。例えば、第１画像から顔のバウンディングボックスが存在する領域の画像を顔の画像として切り出す。また例えば、顔のバウンディングボックスを所定倍数で拡大し、第１画像から拡大されたバウンディングボックスが存在する領域の画像を顔の画像として切り出す。別の一例として、前記第１画像から顔の画像を取得することは、前記第１画像における顔のキーポイント情報を取得することと、前記顔のキーポイント情報に基づいて前記第１画像から前記顔の画像を取得することと、を含む。
選択的に、前記第１画像における顔のキーポイント情報を取得することは、前記第１画像に対して顔検出を行って前記顔が存在する領域を得ることと、前記顔が存在する領域の画像に対してキーポイント検出を行って前記第１画像における前記顔のキーポイント情報を得ることと、を含む。
選択的に、顔のキーポイント情報は、顔の複数のキーポイントの位置情報を含んでもよい。例えば、顔のキーポイントは、目のキーポイント、眉のキーポイント、鼻のキーポイント、口のキーポイント及び顔輪郭のキーポイント等のうちの１つ又は複数を含んでもよい。目のキーポイントは、目輪郭のキーポイント、目尻のキーポイント及び瞳のキーポイント等のうちの１つ又は複数を含んでもよい。
一例では、顔のキーポイント情報に基づいて顔の輪郭を特定し、顔の輪郭に基づいて第１画像から顔の画像を切り出す。顔検出によって得られる顔の位置情報に比べて、キーポイント情報によって得られる顔の位置はより正確であるので、後続の生体検出の正確率の向上に寄与する。
選択的に、第１画像における顔のキーポイントに基づいて第１画像における顔の輪郭を特定し、第１画像における顔の輪郭が存在する領域の画像、又は顔の輪郭が存在する領域が所定倍数で拡大された領域の画像を、顔の画像として特定してもよい。例えば、第１画像において顔のキーポイントに基づいて特定される楕円形領域を顔の画像として特定してもよく、または第１画像において顔のキーポイントに基づいて特定される楕円形領域の最小外接矩形領域を顔の画像として特定してもよいが、本開示の実施例ではこれを限定しない。
このように、第１画像から顔の画像を取得し、顔の画像に基づいて生体検出を行うことにより、第１画像における背景情報による生体検出への干渉を低減することができる。
本開示の実施例では、取得された元の深度マップに対して更新処理を行うようにしてもよい。あるいは、いくつかの実施例では、前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、前記第１深度マップから顔の深度マップを取得することと、前記第１画像に基づいて前記顔の深度マップを更新して、前記第２深度マップを得ることと、を含む。
一例として、第１画像における顔の位置情報を取得し、顔の位置情報に基づいて第１深度マップから顔の深度マップを取得する。選択的に、第１深度マップ及び第１画像に対してアライメント又は位置合わせ処理を予め行ってもよいが、本開示の実施例ではこれを限定しない。
このように、第１深度マップから顔の深度マップを取得し、第１画像に基づいて顔の深度マップを更新して第２深度マップを得ることにより、第１深度マップにおける背景情報による生体検出への干渉を低減することができる。
いくつかの実施例では、第１画像及び第１画像に対応する第１深度マップを取得した後に、イメージセンサのパラメータ及び深度センサのパラメータに基づいて、第１画像と第１深度マップの位置合わせを行う。
一例として、第１深度マップに対して変換処理を行うことにより、変換処理後の第１深度マップと第１画像との位置を合わせてもよい。例えば、深度センサのパラメータ及びイメージセンサのパラメータに基づいて第１変換行列を決定し、第１変換行列に基づいて第１深度マップに対して変換処理を行うようにしてもよい。これに対応して、第１画像の少なくとも一部に基づいて、変換処理後の第１深度マップの少なくとも一部を更新して第２深度マップを得るようにしてもよい。例えば、第１画像に基づいて、変換処理後の第１深度マップを更新して第２深度マップを得る。また例えば、第１画像から切り出された顔の画像に基づいて、第１深度マップから切り出された顔の深度マップを更新して第２深度マップを得るようにする等である。
別の一例として、第１画像に対して変換処理を行うことにより、変換処理後の第１画像と第１深度マップとの位置を合わせてもよい。例えば、深度センサのパラメータ及びイメージセンサのパラメータに基づいて第２変換行列を決定し、第２変換行列に基づいて第１画像に対して変換処理を行うようにしてもよい。これに対応して、変換処理後の第１画像の少なくとも一部に基づいて、第１深度マップの少なくとも一部を更新して第２深度マップを得るようにしてもよい。
選択的に、深度センサのパラメータは、深度センサの内部パラメータ及び／又は外部パラメータを含んでもよく、イメージセンサのパラメータは、イメージセンサの内部パラメータ及び／又は外部パラメータを含んでもよい。第１深度マップと第１画像との位置合わせを行うことにより、第１深度マップと第１画像の対応する部分の、第１深度マップと第１画像における位置を同一にすることができる。
上述した例では、第１画像は、元の画像（例えば、ＲＧＢ又は赤外線画像）であるが、別のいくつかの実施例では、第１画像は、元の画像から切り出された顔の画像であってもよい。類似的に、第１深度マップは、元の深度マップから切り出された顔の深度マップであってもよいが、本開示の実施例はこれを限定しない。
図６は、本開示の実施例による生体検出方法の一例の模式図を示す。図６に示す例では、第１画像がＲＧＢ画像であり、ＲＧＢ画像と第１深度マップに対して位置合わせ補正処理を行い、処理後の画像を顔キーポイントモデルに入力して処理して、ＲＧＢ顔画像（顔の画像）及び深度顔画像（顔の深度マップ）を得て、ＲＧＢ顔画像に基づいて深度顔画像を更新又は修復する。これにより、後続のデータ処理量を低減し、生体検出の効率及び正確率を高めることができる。
本開示の実施例では、顔の生体検出結果は、顔が生体であること、又は顔がプロテーゼであることとしてもよい。
いくつかの実施例では、前記第１画像及び前記第２深度マップに基づいて生体検出結果を特定することは、前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力して処理して、生体検出結果を得ることを含む。又は、他の生体検出アルゴリズムによって第１画像及び第２深度マップを処理して、生体検出結果を得る。
いくつかの実施例では、前記第１画像及び前記第２深度マップに基づいて生体検出結果を特定することは、前記第１画像に対して特徴抽出処理を行って第１特徴情報を得ることと、前記第２深度マップに対して特徴抽出処理を行って第２特徴情報を得ることと、前記第１特徴情報及び前記第２特徴情報に基づいて生体検出結果を特定することとを含む。
選択的に、特徴抽出処理は、ニューラルネットワーク又は他の機械学習アルゴリズムによって実現することができ、抽出された特徴情報の種類は、選択的にサンプルによる学習によって得られてもよく、本開示の実施例ではこれを限定しない。
いくつかの特定の場面（例えば、室外の光が強い場面）では、取得される深度マップ（例えば、深度センサにより取得される深度マップ）は、一部の面積が失効となる場合がある。また、正常な光の照射でも、メガネによる反射、黒い髪又は黒いメガネフレーム等の要因によって深度マップの部分的失効をランダムに引き起こすことがある。いくつかの特別な紙によっても、同様に、印刷された顔写真の深度マップに広面積の失効又は部分的失効を引き起こす。また、深度センサのアクティブ光源が遮断される場合にも、深度マップの一部が失効になるが、イメージセンサでのプロテーゼの結像は正常である。そのため、深度マップの一部又は全部が失効となる場合に、深度マップによる生体とプロテーゼとの区別に誤差が発生することになる。したがって、本開示の実施例では、第１深度マップを修復又は更新し、修復又は更新後の深度マップを用いて生体検出を行うことにより、生体検出の正確率の向上に寄与する。
この例では、第１画像及び第２深度マップを生体検出ニューラルネットワークに入力して生体検出処理を行って、第１画像における顔の生体検出結果を得る。この生体検出ニューラルネットワークは、２つの分岐、すなわち第１画像に対して特徴抽出処理を行って第１特徴情報を得るための第１サブネットワークと、第２深度マップに対して特徴抽出処理を行って第２特徴情報を得るための第２サブネットワークとを含む。
選択可能な一例では、第１サブネットワークは、畳み込み層、ダウンサンプリング層及び全結合層を含んでもよい。又は、第１サブネットワークは、畳み込み層、ダウンサンプリング層、正規化層及び全結合層を含んでもよい。
一例では、生体検出ネットワークは、第１サブネットワークによって得られた第１特徴情報及び第２サブネットワークによって得られた第２特徴情報を処理して、第１画像における顔の生体検出結果を得るための第３サブネットワークをさらに含む。選択的に、第３サブネットワークは、全結合層及び出力層を含んでもよい。例えば、出力層は、ｓｏｆｔｍａｘ関数を採用し、出力層の出力が１の場合、顔が生体であることを示し、一方、出力層の出力が０の場合、顔がプロテーゼであることを示す。本開示の実施例では、第３サブネットワークの具体的な実現について限定しない。
一例として、前記第１特徴情報及び前記第２特徴情報に基づいて生体検出結果を特定することは、前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って第３特徴情報を得ることと、前記第３特徴情報に基づいて生体検出結果を特定することと、を含む。
例えば、全結合層によって第１特徴情報及び第２特徴情報に対して融合処理を行って第３特徴情報を得る。
いくつかの実施例では、前記第３特徴情報に基づいて生体検出結果を特定することは、前記第３特徴情報に基づいて前記顔が生体である確率を得ることと、前記顔が生体である確率に基づいて生体検出結果を特定することと、を含む。
例えば、顔が生体である確率が第２閾値よりも大きい場合、顔の生体検出結果は顔が生体であると特定する。また例えば、顔が生体である確率が第２閾値以下の場合、顔の生体検出結果はプロテーゼであると特定する。
別のいくつかの実施例では、第３特徴情報に基づいて顔がプロテーゼである確率を得て、顔がプロテーゼである確率に基づいて顔の生体検出結果を特定する。例えば、顔がプロテーゼである確率が第３閾値よりも大きい場合、顔の生体検出結果は顔がプロテーゼであると特定する。また例えば、顔がプロテーゼである確率が第３閾値以下の場合、顔の生体検出結果は生体であると特定する。
一例では、第３特徴情報をＳｏｆｔｍａｘ層に入力して、Ｓｏｆｔｍａｘ層によって顔が生体又はプロテーゼである確率を得るようにしてもよい。例えば、Ｓｏｆｔｍａｘ層の出力は、顔が生体である確率を示すニューロンと、顔がプロテーゼである確率を示すニューロンとの２つのニューロンを含むが、本開示の実施例ではこれを限定しない。
本開示の実施例では、第１画像及び第１画像に対応する第１深度マップを取得し、第１画像に基づいて第１深度マップを更新して第２深度マップを得て、第１画像及び第２深度マップに基づいて第１画像における顔の生体検出結果を特定することにより、深度マップを改善して、生体検出の正確性を高めることができる。
可能な一実施形態では、前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、前記第１画像に基づいて、前記第１画像における複数の画素の深度予測値及び前記複数の画素間の関連度を示す関連情報を決定することと、前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、を含む。
具体的には、第１画像に基づいて第１画像における複数の画素の深度予測値を決定し、複数の画素の深度予測値に基づいて第１深度マップを修復して改善する。
具体的には、第１画像を処理して第１画像における複数の画素の深度予測値を得る。例えば、第１画像を深度予測ニューラルネットワークに入力して処理して、複数の画素の深度予測結果、例えば第１画像に対応する深度予測マップを得るが、本開示の実施例ではこれを限定しない。
いくつかの実施例では、前記第１画像に基づいて前記第１画像における複数の画素の深度予測値を決定することは、前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することを含む。
一例として、前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することは、前記第１画像及び前記第１深度マップを深度予測ニューラルネットワークに入力して処理して、前記第１画像における複数の画素の深度予測値を得ることを含む。又は、他の方法によって第１画像及び第１深度マップを処理して、複数の画素の深度予測値を得る。本開示の実施例ではこれを限定しない。
一例では、第１画像及び第１深度マップを深度予測ニューラルネットワークに入力して処理して、初期深度推定マップを得るようにしてもよい。初期深度推定マップに基づいて、第１画像における複数の画素の深度予測値を決定してもよい。例えば、初期深度推定マップの画素値は、第１画像における対応画素の深度予測値である。
深度予測ニューラルネットワークは、様々なネットワーク構成によって実現することができる。一例では、深度予測ニューラルネットワークは、符号化部及び復号部を含む。選択的に、符号化部は、畳み込み層及びダウンサンプリング層を含み、復号部は、逆畳み込み層及び／又はアップサンプリング層を含むようにしてもよい。また、符号化部及び／又は復号部は、正規化層をさらに含んでもよい。本開示の実施例は、符号化部及び復号部の具体的な実現について限定しない。符号化部において、ネットワーク層数の増加に伴って、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより豊富なセマンティック特徴及び画像の空間的特徴を取得することができる。復号部において、特徴マップの解像度が次第に増大し、復号部から最終的に出力される特徴マップの解像度は、第１深度マップの解像度と同じである。
いくつかの実施例では、前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することは、前記第１画像及び前記第１深度マップに対して融合処理を行って融合結果を得ることと、前記融合結果に基づいて前記第１画像における複数の画素の深度予測値を決定することと、を含む。
一例では、第１画像及び第１深度マップを結合（ｃｏｎｃａｔ）して、融合結果を得るようにしてもよい。
一例では、融合結果に対して畳み込み処理を行って第２畳み込み結果を得て、第２畳み込み結果に基づいてダウンサンプリング処理を行って第１符号化結果を得て、第１符号化結果に基づいて第１画像における複数の画素の深度予測値を決定する。
例えば、畳み込み層によって融合結果に対して畳み込み処理を行って第２畳み込み結果を得るようにしてもよい。
例えば、第２畳み込み結果に対して正規化処理を行って第２正規化結果を得て、第２正規化結果に対してダウンサンプリング処理を行って第１符号化結果を得る。ここで、正規化層によって第２畳み込み結果に対して正規化処理を行って第２正規化結果を得て、ダウンサンプリング層によって第２正規化結果に対してダウンサンプリング処理を行って第１符号化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第２畳み込み結果に対してダウンサンプリング処理を行って第１符号化結果を得るようにしてもよい。
例えば、第１符号化結果に対して逆畳み込み処理を行って第１逆畳み込み結果を得て、第１逆畳み込み結果に対して正規化処理を行って深度予測値を得る。ここで、逆畳み込み層によって第１符号化結果に対して逆畳み込み処理を行って第１逆畳み込み結果を得て、正規化層によって第１逆畳み込み結果に対して正規化処理を行って深度予測値を得るようにしてもよい。又は、逆畳み込み層によって第１符号化結果に対して逆畳み込み処理を行って深度予測値を得るようにしてもよい。
例えば、第１符号化結果に対してアップサンプリング処理を行って第１アップサンプリング結果を得て、第１アップサンプリング結果に対して正規化処理を行って深度予測値を得る。ここで、アップサンプリング層によって第１符号化結果に対してアップサンプリング処理を行って第１アップサンプリング結果を得て、正規化層によって第１アップサンプリング結果に対して正規化処理を行って深度予測値を得るようにしてもよい。又は、アップサンプリング層によって第１符号化結果に対してアップサンプリング処理を行って深度予測値を得るようにしてもよい。
また、第１画像を処理して第１画像における複数の画素の関連情報を得る。第１画像における複数の画素の関連情報は、第１画像の複数の画素のそれぞれとその周辺画素との関連度を含むようにしてもよい。画素の周辺画素は、画素に隣接する少なくとも１つの隣接画素を含んでもよく、又は、この画素との間隔が一定の数値を超えない複数の画素を含んでもよい。例えば、図８に示すように、画素５の周辺画素は、それに隣接する画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９を含み、これに対応して、第１画像における複数の画素の関連情報は、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９と画素５との関連度を含む。一例として、第１画素と第２画素との関連度は、第１画素と第２画素の相関性を用いて尺度化してもよい。本開示の実施例は、関連技術を用いて画素間の相関性を決定することができ、ここでは詳細な説明を省略する。
本開示の実施例では、様々な方法で複数の画素の関連情報を決定することができる。いくつかの実施例では、前記第１画像に基づいて、前記第１画像における複数の画素の関連情報を決定することは、前記第１画像を関連度検出ニューラルネットワークに入力して処理して、前記第１画像における複数の画素の関連情報を得ることを含む。例えば、第１画像に対応する関連特徴マップを得る。又は、他のアルゴリズムによって複数の画素の関連情報を得るようしてもよく、本開示の実施例ではこれを限定しない。
一例では、第１画像を関連度検出ニューラルネットワークに入力して処理して、複数枚の関連特徴マップを得る。複数枚の関連特徴マップに基づいて、第１画像における複数の画素の関連情報を決定することができる。例えば、ある画素の周辺画素とは、この画素との距離が０の画素を指し、即ち、この画素の周辺画素とは、この画素に隣接する画素を指す。この場合、関連度検出ニューラルネットワークは、８枚の関連特徴マップを出力することができる。例えば、第１関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像における画素Ｐｉ－１，ｊ－１と画素Ｐｉ，ｊとの関連度であり、ただし、Ｐｉ，ｊは第ｉ行第ｊ列の画素を示し、第２関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像における画素Ｐｉ－１，ｊと画素Ｐｉ，ｊとの関連度であり、第３関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像における画素Ｐｉ－１，ｊ＋１と画素Ｐｉ，ｊとの関連度であり、第４関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像における画素Ｐｉ、ｊ－１と画素Ｐｉ，ｊとの関連度であり、第５関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像における画素Ｐｉ，ｊ＋１と画素Ｐｉ，ｊとの関連度であり、第６関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像における画素Ｐｉ＋１，ｊ－１と画素Ｐｉ，ｊとの関連度であり、第７関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像における画素Ｐｉ＋１，ｊと画素Ｐｉ，ｊとの関連度であり、第８関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像における画素Ｐｉ＋１，ｊ＋１と画素Ｐｉ，ｊとの関連度である。
関連度検出ニューラルネットワークは、様々なネットワーク構成によって実現することができる。一例として、関連度検出ニューラルネットワークは、符号化部及び復号部を含むようにしてもよい。符号化部は、畳み込み層及びダウンサンプリング層を含み、復号部は、逆畳み込み層及び／又はアップサンプリング層を含むようにしてもよい。符号化部は、正規化層をさらに含んでもよく、復号部も正規化層を含んでもよい。符号化部において、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより豊富なセマンティック特徴及び画像の空間的特徴が取得される。復号部において、特徴マップの解像度が次第に増大し、復号部から最終的に出力される特徴マップの解像度は、第１画像の解像度と同じである。本開示の実施例では、関連情報は、画像であってもよく、他のデータ形式、例えば行列等であってもよい。
一例として、第１画像を関連度検出ニューラルネットワークに入力して処理して、第１画像における複数の画素の関連情報を得ることは、第１画像に対して畳み込み処理を行って第３畳み込み結果を得ることと、第３畳み込み結果に基づいてダウンサンプリング処理を行って第２符号化結果を得ることと、第２符号化結果に基づいて、第１画像における複数の画素の関連情報を得ることと、を含むようにしてもよい。
一例では、畳み込み層によって第１画像に対して畳み込み処理を行って第３畳み込み結果を得るようにしてもよい。
一例では、第３畳み込み結果に基づいてダウンサンプリング処理を行って第２符号化結果を得ることは、第３畳み込み結果に対して正規化処理を行って第３正規化結果を得ることと、第３正規化結果に対してダウンサンプリング処理を行って第２符号化結果を得ることと、を含むようにしてもよい。この例では、正規化層によって第３畳み込み結果に対して正規化処理を行って第３正規化結果を得て、ダウンサンプリング層によって第３正規化結果に対してダウンサンプリング処理を行って第２符号化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第３畳み込み結果に対してダウンサンプリング処理を行って第２符号化結果を得るようにしてもよい。
一例では、第２符号化結果に基づいて関連情報を決定することは、第２符号化結果に対して逆畳み込み処理を行って第２逆畳み込み結果を得ることと、第２逆畳み込み結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。この例では、逆畳み込み層によって第２符号化結果に対して逆畳み込み処理を行って第２逆畳み込み結果を得て、正規化層によって第２逆畳み込み結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、逆畳み込み層によって第２符号化結果に対して逆畳み込み処理を行って関連情報を得るようにしてもよい。
一例では、第２符号化結果に基づいて関連情報を決定することは、第２符号化結果に対してアップサンプリング処理を行って第２アップサンプリング結果を得ることと、第２アップサンプリング結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。この例では、アップサンプリング層によって第２符号化結果に対してアップサンプリング処理を行って第２アップサンプリング結果を得て、正規化層によって第２アップサンプリング結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、アップサンプリング層によって第２符号化結果に対してアップサンプリング処理を行って関連情報を得るようにしてもよい。
現在のＴＯＦ、構造化光等の３Ｄセンサは、室外では太陽光の影響を受けやすいため、深度マップに広面積のホール欠損が発生して、３Ｄ生体検出アルゴリズムの性能に影響を及ぼしてしまう。本開示の実施例に係る深度マップの自己改善による３Ｄ生体検出アルゴリズムは、３Ｄセンサで検出された深度マップを修復して改善することにより、３Ｄ生体検出アルゴリズムの性能が高まる。
いくつかの実施例では、複数の画素の深度予測値及び関連情報が得られた後に、複数の画素の深度予測値及び関連情報に基づいて第１深度マップを更新処理して、第２深度マップを得る。図７は、本開示の実施例に係る車両のドア制御方法における深度マップ更新の例示的な模式図を示す。図７に示す例では、第１深度マップは、欠損値が存在する深度マップであり、得られた複数の画素の深度予測値及び関連情報は、それぞれ初期深度推定マップ及び関連特徴マップである。この場合、欠損値が存在する深度マップ、初期深度推定マップ及び関連特徴マップを深度マップ更新モジュール（例えば、深度更新ニューラルネットワーク）に入力して処理して、最終的な深度マップである第２深度マップを得る。
可能な一実施形態では、前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、前記第１深度マップにおける深度失効画素を決定することと、前記複数の画素の深度予測値から深度失効画素の深度予測値及び深度失効画素の複数の周辺画素の深度予測値を取得することと、前記複数の画素の関連情報から深度失効画素と深度失効画素の複数の周辺画素との関連度を取得することと、前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含む。
本開示の実施例では、様々な方法で深度マップにおける深度失効画素を決定することができる。一例として、第１深度マップにおける深度値が０の画素を深度失効画素とするか、または第１深度マップにおける深度値を有しない画素を深度失効画素とする。
この例では、欠損値が存在する第１深度マップにおける、値を有する（即ち、深度値が０でない）部分について、その深度値が正確で信頼可能なものとみなし、その部分は更新せず、元の深度値のままにする。第１深度マップにおける深度値が０の画素については、深度値を更新する。
別の一例として、深度センサは、深度失効画素の深度値について、１つ又は複数の所定の数値又は所定の範囲を設定してもよい。この例では、第１深度マップにおける、深度値が所定の数値と等しい画素又は深度値が所定の範囲にある画素を深度失効画素として決定するようにしてもよい。
本開示の実施例では、他の統計方法で第１深度マップにおける深度失効画素を決定してもよく、本開示の実施例ではこれを限定しない。
この実施形態では、第１画像における深度失効画素と同じ位置の画素の深度値を深度失効画素の深度予測値として決定してもよく、類似的に、第１画像における深度失効画素の周辺画素と同じ位置の画素の深度値を深度失効画素の周辺画素の深度予測値として決定してもよい。
一例として、深度失効画素の周辺画素と深度失効画素との距離は、第１閾値以下である。
図８は、本開示の実施例に係る車両のドア制御方法における周辺画素の模式図を示す。例えば、第１閾値が０の場合に、隣接画素のみを周辺画素とする。例えば、画素５の隣接画素が画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９を含む場合、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９のみを画素５の周辺画素とする。
図９は、本開示の実施例に係る車両のドア制御方法における周辺画素の別の模式図を示す。例えば、第１閾値が１の場合に、隣接画素を周辺画素とする他に、隣接画素の隣接画素も周辺画素とする。即ち、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９を画素５の周辺画素とする他に、画素１０～画素２５も画素５の周辺画素とする。
一例として、前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、前記深度失効画素の深度予測値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することとを含む。
別の一例として、深度失効画素の周辺画素の深度予測値、及び深度失効画素とこの周辺画素との関連度に基づいて、深度失効画素に対するこの周辺画素の有効深度値を決定し、深度失効画素に対するその各周辺画素の有効深度値及び深度失効画素の深度予測値に基づいて、深度失効画素の更新後の深度値を決定する。例えば、深度失効画素の１つの周辺画素の深度予測値とこの周辺画素に対応する関連度との積を、深度失効画素に対するこの周辺画素の有効深度値として決定してもよい。この周辺画素に対応する関連度とは、この周辺画素と深度失効画素との関連度を指す。例えば、深度失効画素に対するその各周辺画素の有効深度値の和と第１所定係数との積を決定して第１積を得て、深度失効画素の深度予測値と第２所定係数との積を決定して第２積を得て、第１積と第２積との和を深度失効画素の更新後の深度値として決定するようにしてもよい。いくつかの実施例では、第１所定係数と第２所定係数との和は１とする。
一例では、前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することは、前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度予測値に対して重み付け加算処理を行って、前記深度失効画素の深度関連値を得ることを含む。例えば、画素５が深度失効画素である場合、深度失効画素５の深度関連値は、
Figure 2022549656000002
 であり、深度失効画素５の更新後の深度値
Figure 2022549656000003
 は、式１によって決定することができる。
Figure 2022549656000004
 式１
ただし、
Figure 2022549656000005
 であり、
Figure 2022549656000006
 は、画素ｉと画素５との関連度を示し、
Figure 2022549656000007
 は、画素ｉの深度予測値を示す。
別の一例では、深度失効画素の複数の周辺画素のうちの各周辺画素と深度失効画素との関連度と各周辺画素の深度予測値との積を決定し、積の最大値を深度失効画素の深度関連値とする。
一例では、深度失効画素の深度予測値と深度関連値との和を深度失効画素の更新後の深度値とする。
別の一例では、深度失効画素の深度予測値と第３所定係数との積を決定して第３積を得て、深度関連値と第４所定係数との積を決定して第４積を得て、第３積と第４積との和を深度失効画素の更新後の深度値とする。いくつかの実施例では、第３所定係数と第４所定係数との和は１とする。
いくつかの実施例では、第２深度マップにおける非深度失効画素の深度値は、第１深度マップにおけるこの非深度失効画素の深度値と等しい。
別のいくつかの実施例では、より正確な第２深度マップを得るために、非深度失効画素の深度値を更新するようにしてもよい。これにより、生体検出の正確性をさらに高めることができる。
本開示で言及された上記各方法の実施例は、原理および論理に反しない限り、相互に組み合わせて実施例をなすことができることは理解できる。紙数に限りがあるので、本開示では詳細な説明を省略する。
当業者であれば、具体的な実施形態による上記方法において記載された各ステップの順序は、厳密な実行順序を意味するものではなく、プロセスの実施になんら限定を加えるものではなく、各ステップの具体的な実行順序は、その機能と可能な内在的論理により決められることは理解できる。
なお、本開示は、さらに、車両のドア制御装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムを提供する。これらは、いずれも本開示で提供される車両のドア制御方法のいずれかを実現するために利用可能であり、対応する技術的手段及び説明については、方法に対応する記載を参照すればよく、ここでは詳細な説明を省略する。
図１０は、本開示の実施例に係る車両のドア制御装置のブロック図を示す。図１０に示すように、前記車両のドア制御装置は、車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する第１制御モジュール２１と、前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行い、顔識別結果を得る顔識別モジュール２２と、前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する第１決定モジュール２３と、前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得する第１取得モジュール２４と、前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び／又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御する第２制御モジュール２５と、を備える。
図１１は、本開示の実施例に係る車両のドア制御システムのブロック図を示す。図１１に示すように、前記車両のドア制御システムは、メモリ４１と、物体検出モジュール４２と、顔識別モジュール４３と、画像収集モジュール４４とを備える。前記顔識別モジュール４３は、前記メモリ４１、前記物体検出モジュール４２及び前記画像収集モジュール４４にそれぞれ接続され、前記物体検出モジュール４２は、前記画像収集モジュール４４に接続され、前記顔識別モジュール４３には、ドアドメインコントローラに接続するための通信インタフェースがさらに設けられ、前記顔識別モジュールは、前記通信インタフェースを介して前記ドアドメインコントローラにドアのロック解除及びポップアップのための制御情報を送信する。
可能な一実施形態では、前記車両のドア制御システムは、前記顔識別モジュール４３に接続されるブルートゥースモジュール４５をさらに備え、前記ブルートゥースモジュール４５は、プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続に成功したとき、又は前記プリセット識別子を有するブルートゥースデバイスが検索されたとき、前記顔識別モジュール４３をウェイクアップさせるマイクロプロセッサ４５１と、前記マイクロプロセッサ４５１に接続されるブルートゥースセンサ４５２とを有する。
可能な一実施形態では、メモリ４１は、フラッシュメモリ（Ｆｌａｓｈ）及びＤＤＲ３（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ３、第３世代のダブルデータレート）メモリのうちの少なくとも１つを含んでもよい。
可能な一実施形態では、顔識別モジュール４３は、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、システムオンチップ）を用いて実現されてもよい。
可能な一実施形態では、顔識別モジュール４３は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ、コントローラエリアネットワーク）バスを介してドアドメインコントローラに接続される。
可能な一実施形態では、前記画像収集モジュール４４は、イメージセンサ及び深度センサを含む。
可能な一実施形態では、深度センサは、両眼赤外線センサ及び飛行時間ＴＯＦセンサのうちの少なくとも１つを含む。
可能な一実施形態では、深度センサは、２つの赤外線カメラがイメージセンサのカメラの両側に設けられる両眼赤外線センサを含む。例えば、図３ａに示す例では、イメージセンサは、ＲＧＢセンサであり、イメージセンサのカメラは、ＲＧＢカメラであり、深度センサは、２つのＩＲ（赤外線）カメラを有する両眼赤外線センサであり、両眼赤外線センサの２つの赤外線カメラは、イメージセンサのＲＧＢカメラの両側に設けられる。
可能な一実施形態では、画像収集モジュール４４は、両眼赤外線センサの赤外線カメラとイメージセンサのカメラとの間に設けられ、イメージセンサ用の補助光ランプと深度センサ用の補助光ランプのうちの少なくとも一つを含む少なくとも１つの補助光ランプをさらに含む。例えば、イメージセンサがＲＧＢセンサである場合、イメージセンサ用の補助光ランプは、ホワイトランプであり、イメージセンサが赤外線センサである場合、イメージセンサ用の補助光ランプは、赤外線ランプであり、深度センサが両眼赤外線センサである場合、深度センサ用の補助光ランプは、赤外線ランプであるとしてもよい。図３ａに示す例では、赤外線ランプは、両眼赤外線センサの赤外線カメラとイメージセンサのカメラとの間に設けられている。例えば、赤外線ランプは、９４０ｎｍの赤外線を用いるようにしてもよい。
一例では、補助光ランプは、ノーマルオンモードにしてもよい。この例では、画像収集モジュールのカメラが動作状態にあるとき、補助光ランプはオン状態にある。
別の一例では、光線が足りない場合に補助光ランプをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値よりも低い場合に光線が足りないと判定し、補助光ランプをオンにしてもよい。
可能な一実施形態では、画像収集モジュール４４は、前記深度センサのカメラと前記イメージセンサのカメラとの間に設けられるレーザーをさらに含む。例えば、図３ｂに示す例では、イメージセンサは、ＲＧＢセンサであり、イメージセンサのカメラは、ＲＧＢカメラであり、深度センサは、ＴＯＦセンサであり、レーザーは、ＴＯＦセンサのカメラとＲＧＢセンサのカメラとの間に設けられている。例えば、レーザーは、ＶＣＳＥＬであり、ＴＯＦセンサは、ＶＣＳＥＬから発されたレーザー光によって深度マップを収集するようにしてもよい。
一例では、深度センサは、ＬＶＤＳ（Ｌｏｗ－Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ、低電圧差動信号）インタフェースを介して顔識別モジュール４３に接続される。
可能な一実施形態では、前記車両のドア制御システムは、前記顔識別モジュール４３に接続され、ドアをロック解除するためのパスワードロック解除モジュール４６をさらに含む。
可能な一実施形態では、前記パスワードロック解除モジュール４６は、タッチスクリーン及びキーボードのうちの１つ又は２つを有する。
一例では、タッチスクリーンは、ＦＰＤ－Ｌｉｎｋ（Ｆｌａｔ Ｐａｎｅｌ Ｄｉｓｐｌａｙ Ｌｉｎｋ、フラットパネルディスプレイリンク）を介して顔識別モジュール４３に接続される。
可能な一実施形態では、前記車両のドア制御システムは、前記顔識別モジュール４３に接続される電池モジュール４７をさらに備える。一例では、前記電池モジュール４７は、さらに前記マイクロプロセッサ４５１に接続される。
可能な一実施形態では、メモリ４１、顔識別モジュール４３、ブルートゥースモジュール４５及び電池モジュール４７は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、電子制御ユニット）に搭載されてもよい。
図１２は、本開示の実施例に係る車両のドア制御システムの模式図を示す。図１２に示す例では、顔識別モジュールは、ＳｏＣ１０１を用いて実現され、メモリは、フラッシュメモリ（Ｆｌａｓｈ）１０２及びＤＤＲ３メモリ１０３を有し、ブルートゥースモジュールは、ブルートゥースセンサ１０４及びマイクロプロセッサ（ＭＣＵ、Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）１０５を有し、ＳｏＣ１０１、フラッシュメモリ１０２、ＤＤＲ３メモリ１０３、ブルートゥースセンサ１０４、マイクロプロセッサ１０５及び電池モジュール１０６は、ＥＣＵ１００に搭載され、画像収集モジュールは、ＬＶＤＳインタフェースを介してＳｏＣ１０１に接続される深度センサ２００を有し、パスワードロック解除モジュールは、ＦＰＤ－Ｌｉｎｋを介してＳｏＣ１０１に接続されるタッチスクリーン３００を有し、ＳｏＣ１０１は、ＣＡＮバスを介してドアドメインコントローラ４００に接続される。
図１３は、本開示の実施例に係る車両の模式図を示す。図１３に示すように、車両は、前記車両のドアドメインコントローラ５２に接続される車両のドア制御システム５１を備える。
前記画像収集モジュールは、前記車両の室外部に設けられる。又は、前記画像収集モジュールは、前記車両のＢピラー、少なくとも１つのドア、少なくとも１つのバックミラーのうちの少なくとも１つに設けられる。又は、前記画像収集モジュールは、前記車両の室内部に設けられる。
前記顔識別モジュールは、前記車両内に設けられ、ＣＡＮバスを介して前記ドアドメインコントローラに接続される。
本開示の実施例は、さらに、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体は、不揮発性コンピュータ読み取り可能な記憶媒体であってもよく、又は揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
本開示の実施例は、さらに、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記方法を実現するための命令を実行させるコンピュータプログラムを提供する。
本開示の実施例は、さらに、コンピュータ読み取り可能な命令を記憶するためのコンピュータプログラム製品であって、コードが実行されると、コンピュータに上記実施例のいずれかに係る車両のドア制御方法の動作を実行させる別のコンピュータプログラム製品を提供する。
本開示の実施例は、さらに、１つまたは複数のプロセッサと、実行可能な命令を記憶するメモリと、を含む電子機器であって、前記１つまたは複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出して上記方法を実行するように構成される電子機器をさらに提供する。
電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。端末は、車載機器、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等を含むが、これらに限らない。
本開示は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体を含みうる。
コンピュータ読み取り可能な記憶媒体は、命令実行装置に使用される命令を格納および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限らない。コンピュータ読み取り可能な記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているパンチカードまたはスロット内の突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルによるパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び／又は無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し転送して、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを介して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能プログラム命令を実行することにより、本開示の各態様を実現するようにしてもよい。
ここで、本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら本開示の各態様を説明した。フローチャート及び／又はブロック図の各ブロックと、フローチャート及び／又はブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることは理解すべきである。
これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャート及び／又はブロック図の１つまたは複数のブロックで定められた機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び／又は他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャート及び／又はブロック図の１つまたは複数のブロックで定められた機能／動作の各態様を実現するための命令を有する製品を含む。
コンピュータ読み取り可能プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成するようにしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャート及び／又はブロック図の１つまたは複数のブロックで定められた機能／動作が実現される。
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示している。この点では、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラムセグメントまたは命令の一部を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は、所定の論理機能を実現するための１つまたは複数の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付したものとは異なって順序で実現されてもよい。例えば、連続的な二つのブロックは、実質的には並行に実行されてもよく、かかる機能によって、逆な順序で実行されてもよい場合がある。ブロック図及び／又はフローチャートにおける各ブロックと、ブロック図及び／又はフローチャートにおけるブロックとの組み合わせは、所定の機能または動作を実行するハードウェアに基づく専用システムによって実現されてもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよいことに注意すべきである。
該コンピュータプログラム製品は、具体的にハードウェア、ソフトウェア、またはそれらの組み合わせによって実現されてもよい。選択可能な一実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具体化される。別の選択可能な一実施例では、コンピュータプログラム製品は、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのソフトウェア製品として具体化される。
以上、本開示の各実施例を説明したが、上記説明は網羅的なものではなく例示的なものであり、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が可能であることは自明である。本明細書に用いられた用語は、各実施例の原理、実際の適用または市場での技術的改良を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

Claims (68)

  1. 車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することと、
    前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行い、顔識別結果を得ることと、
    前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することと、
    前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得することと、
    前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び／又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御することと、
    を含むを特徴とする車両のドア制御方法。
  2. 前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する前に、
    前記ビデオストリームに基づいてドア開け意図情報を特定することをさらに含み、
    前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、
    前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することを含むことを特徴とする請求項１に記載の車両のドア制御方法。
  3. 前記ビデオストリームに基づいてドア開け意図情報を特定することは、
    前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定することと、
    前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することと、
    を含むことを特徴とする請求項２に記載の車両のドア制御方法。
  4. 前記ビデオストリーム中の隣接フレームの画像の重なり度合いを特定することは、
    前記ビデオストリーム中の隣接フレームの画像における人体のバウンディングボックスの重なり度合いを前記隣接フレームの画像の重なり度合いとして特定することを特徴とする請求項３に記載の車両のドア制御方法。
  5. 前記隣接フレームの画像の重なり度合いに基づいてドア開け意図情報を特定することは、
    直近に収集されたＮ組（Ｎは、１よりも大きい整数である）の隣接フレームの画像の重なり度合いをキャッシュすることと、
    キャッシュされた重なり度合いの平均値を決定することと、
    前記平均値が第１所定値よりも大きい継続時間が第１所定期間に達すると、前記ドア開け意図情報が意図的なドア開けであると特定することと、
    を含むことを特徴とする請求項３又は４に記載の車両のドア制御方法。
  6. 前記ビデオストリームに基づいてドア開け意図情報を特定することは、
    前記ビデオストリーム中の直近に収集された複数のフレーム画像における人体領域の面積を特定することと、
    前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することと、
    を含むことを特徴とする請求項２に記載の車両のドア制御方法。
  7. 前記直近に収集された複数のフレーム画像における人体領域の面積に基づいて、前記ドア開け意図情報を特定することは、
    前記直近に収集された複数のフレーム画像における人体領域の面積がいずれも第１所定面積よりも大きい場合、前記ドア開け意図情報が意図的なドア開けであると特定すること、又は、
    前記直近に収集された複数のフレーム画像における人体領域の面積が次第に大きくなる場合、前記ドア開け意図情報が意図的なドア開けであると特定することを含むことを特徴とする請求項６に記載の車両のドア制御方法。
  8. 前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、
    前記顔識別結果が顔識別に成功したことであり、かつ前記ドア開け意図情報が意図的なドア開けである場合、前記制御情報が前記車両の少なくとも１つのドアを開ける制御を含むと決定することを含むことを特徴とする請求項２～７のいずれか１項に記載の車両のドア制御方法。
  9. 前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する前に、
    前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、人の物携帯情報を特定することをさらに含み、
    前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、
    前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することを含むことを特徴とする請求項１～７のいずれか１項に記載の車両のドア制御方法。
  10. 前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、
    前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、前記制御情報が前記車両の少なくとも１つのドアを開ける制御を含むと決定することを含むことを特徴とする請求項９に記載の車両のドア制御方法。
  11. 前記顔識別結果及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、
    前記顔識別結果が顔識別に成功したことであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することを含むことを特徴とする請求項９に記載の車両のドア制御方法。
  12. 前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する前に、
    前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、人の物携帯情報を特定することをさらに含み、
    前記顔識別結果及び前記ドア開け意図情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、
    前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することを含むことを特徴とする請求項２～７のいずれか１項に記載の車両のドア制御方法。
  13. 前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、
    前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が物を携帯していることである場合、前記制御情報が前記車両の少なくとも１つのドアを開ける制御を含むと決定すること、又は、
    前記顔識別結果が顔識別に成功したことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は前記人が所定種類の物を携帯していることである場合、前記制御情報が前記車両のバックドアを開ける制御を含むと決定することを含むことを特徴とする請求項１２に記載の車両のドア制御方法。
  14. 前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、人の物携帯情報を特定することは、
    前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、物体検出結果を得ることと、
    前記物体検出結果に基づいて前記人の物携帯情報を特定することと、
    を含むことを特徴とする請求項９～１３のいずれか１項に記載の車両のドア制御方法。
  15. 前記ビデオストリーム中の少なくとも１枚の画像に対して物体検出を行い、物体検出結果を得ることは、
    前記ビデオストリーム中の少なくとも１枚の画像における人体のバウンディングボックスを検出することと、
    前記バウンディングボックスに対応する領域に対して物体検出を行い、物体検出結果を得ることと、
    を含むことを特徴とする請求項１４に記載の車両のドア制御方法。
  16. 前記物体検出結果に基づいて前記人の物携帯情報を特定することは、
    前記物体検出結果は物が検出されたことである場合、前記物と前記人の手部との距離を取得し、前記距離に基づいて前記人の物携帯情報を特定すること、又は、
    前記物体検出結果は物が検出されたことである場合、前記物と前記人の手部との距離及び前記物のサイズを取得し、前記距離及び前記サイズに基づいて前記人の物携帯情報を特定すること、又は、
    前記物体検出結果は物が検出されたことである場合、前記物のサイズを取得し、前記サイズに基づいて前記人の物携帯情報を特定することを含むことを特徴とする請求項１４又は１５に記載の車両のドア制御方法。
  17. 前記距離及び前記サイズに基づいて前記人の物携帯情報を特定することは、
    前記距離が所定距離以下であり、かつ前記サイズが所定サイズ以上である場合、前記人の物携帯情報は前記人が物を携帯していることであると特定することを含むことを特徴とする請求項１６に記載の車両のドア制御方法。
  18. 前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、
    車両のバックドアに設けられる画像収集モジュールによるビデオストリームの収集を制御することを含むことを特徴とする請求項１６又は１７に記載の車両のドア制御方法。
  19. 前記制御情報が前記車両のバックドアを開ける制御を含むと決定した後に、
    前記車両の室内部に設けられる画像収集モジュールが収集したビデオストリームに基づいて前記人が前記室内部を離れたと特定した場合、又は前記人のドア開け意図情報が意図的な降車であると検出した場合、前記バックドアを開けるように制御することをさらに含むことを特徴とする請求項１７又は１８に記載の車両のドア制御方法。
  20. 前記顔識別結果、前記ドア開け意図情報及び前記人の物携帯情報に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定することは、
    前記顔識別結果が顔識別に成功しかつ運転者ではないことであり、前記ドア開け意図情報が意図的なドア開けであり、かつ前記人の物携帯情報は物を携帯していることである場合、前記制御情報が前記車両の運転席ドアでない少なくとも１つのドアを開ける制御を含むと決定することを含むことを特徴とする請求項１２～１９のいずれか１項に記載の車両のドア制御方法。
  21. 前記ドアを開けるように制御した後に、
    ドア自動閉条件を満たす場合、前記ドアを閉めるように制御するか、又は、前記ドアを閉めてロックするように制御することをさらに含み、
    前記ドア自動閉条件は、
    前記ドアを開けるように制御するドア開け意図情報が意図的な乗車であり、かつ前記車両の室内部の画像収集モジュールが収集したビデオストリームに基づいて乗車意図がある人が着席したと特定したこと、
    前記ドアを開けるように制御するドア開け意図情報が意図的な降車であり、かつ前記車両の室内部の画像収集モジュールが収集したビデオストリームに基づいて降車意図がある人が前記室内部を離れたと特定したこと、及び
    前記ドアの開いている期間が第２所定期間に達したこと、
    のうちの１つ又は複数を含むことを特徴とする請求項１～２０のいずれか１項に記載の車両のドア制御方法。
  22. 前記顔識別は、顔認証、生体検出及び権限認証のうちの１つ又は複数を含み、
    前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行うことは、
    前記ビデオストリーム中の第１画像及び予め登録された顔特徴に基づいて顔認証を行うこと、
    前記画像収集モジュールにおける深度センサによって前記ビデオストリーム中の第１画像に対応する第１深度マップを取得し、前記第１画像及び前記第１深度マップに基づいて生体検出を行うこと、及び
    前記ビデオストリーム中の第１画像に基づいて前記人のドア開け権限情報を取得し、前記人のドア開け権限情報に基づいて権限認証を行うこと、
    のうちの１つ又は複数を含むことを特徴とする請求項１～２１のいずれか１項に記載の車両のドア制御方法。
  23. 前記人のドア開け権限情報は、前記人がドア開け権限を持つドアの情報、前記人がドア開け権限を持つ時間、及び前記人に対応するドア開け権限の回数のうちの１つ又は複数を含み、
    前記人がドア開け権限を持つドアの情報は、一部のドア、すべてのドア又はバックドアを含むことを特徴とする請求項２２に記載の車両のドア制御方法。
  24. 前記画像収集モジュールが収集した顔画像に基づいて利用者の登録を行うことと、
    車両所有者に対応する端末である第１端末が収集又はアップデートした顔画像に基づいて遠隔登録を行い、収集又はアップデートされた顔画像を含む登録情報を前記車両に送信することのうちの１つまたは２つをさらに含むことを特徴とする請求項１～２３のいずれか１項に記載の車両のドア制御方法。
  25. 前記第１端末がアップデートした顔画像は、一時利用者に対応する端末である第２端末が前記第１端末に送信した顔画像を含み、
    前記登録情報は、前記アップデートされた顔画像に対応するドア開け権限情報をさらに含むことを特徴とする請求項２４に記載の車両のドア制御方法。
  26. 前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、
    車両の室外部に設けられる画像収集モジュールによる車外のビデオストリームの収集を制御すること、及び
    車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御すること、
    のうちの少なくとも１つを含むことを特徴とする請求項１～２５のいずれか１項に記載の車両のドア制御方法。
  27. 前記車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することは、
    前記車両の走行速度が０であり、かつ前記車両内に人がいる場合、車両の室内部に設けられる画像収集モジュールによる車内のビデオストリームの収集を制御することを含むことを特徴とする請求項２６に記載の車両のドア制御方法。
  28. 前記車両の搭乗者による座席調節情報を取得することと、
    前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新すること、又は、前記搭乗者が着席した座席の位置情報、及び前記搭乗者による座席調節情報に基づいて、前記搭乗者に対応する座席嗜好情報を生成又は更新することと、
    をさらに含むことを特徴とする請求項１～２７のいずれか１項に記載の車両のドア制御方法。
  29. 前記顔識別結果に基づいて、搭乗者に対応する座席嗜好情報を取得することと、
    前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節すること、又は、前記搭乗者が着席した座席の位置情報、及び前記搭乗者に対応する座席嗜好情報に基づいて、前記搭乗者が着席した座席を調節することと、
    をさらに含むことを特徴とする請求項１～２８のいずれか１項に記載の車両のドア制御方法。
  30. 前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する前に、
    前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することと、
    前記プリセット識別子を有するブルートゥースデバイスが検索されたことに応じて、前記ブルートゥースモジュールと前記プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続を確立することと、
    前記ブルートゥースペアリング接続の成功に応じて、前記車両に設けられる顔識別モジュールをウェイクアップさせることと、
    をさらに含み、
    前記車両に設けられる画像収集モジュールによるビデオストリームの収集を制御することは、
    ウェイクアップされた前記顔識別モジュールによって、前記画像収集モジュールによるビデオストリームの収集を制御することを含むことを特徴とする請求項１～２９のいずれか１項に記載の車両のドア制御方法。
  31. 前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することは、
    前記車両がイグニッションオフ状態にあるとき、又はイグニッションがオフでかつドアロックの状態にあるとき、前記車両に設けられるブルートゥースモジュールによってプリセット識別子を有するブルートゥースデバイスを検索することを含むことを特徴とする請求項３０に記載の車両のドア制御方法。
  32. 前記車両に設けられる顔識別モジュールをウェイクアップさせた後に、
    所定時間内に顔画像が取得されていない場合、前記顔識別モジュールがスリープ状態に入るように制御すること、
    所定時間内に顔識別をパスしていない場合、前記顔識別モジュールがスリープ状態に入るように制御すること、及び
    前記車両の走行速度が０でない場合、前記顔識別モジュールがスリープ状態に入るように制御することのうちの少なくとも１つをさらに含むことを特徴とする請求項３０又は３１に記載の車両のドア制御方法。
  33. 前記第１画像及び前記第１深度マップに基づいて生体検出を行うことは、
    前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、
    前記第１画像及び前記第２深度マップに基づいて生体検出結果を特定することと、
    を含むことを特徴とする請求項２２に記載の車両のドア制御方法。
  34. 前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
    前記第１画像に基づいて前記第１深度マップにおける深度失効画素の深度値を更新して、前記第２深度マップを得ることを含むことを特徴とする請求項３３に記載の車両のドア制御方法。
  35. 前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
    前記第１画像に基づいて、前記第１画像における複数の画素の深度予測値及び前記複数の画素間の関連度を示す関連情報を決定することと、
    前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、を含むことを特徴とする請求項３３又は３４に記載の車両のドア制御方法。
  36. 前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
    前記第１深度マップにおける深度失効画素を決定することと、
    前記複数の画素の深度予測値から前記深度失効画素の深度予測値及び前記深度失効画素の複数の周辺画素の深度予測値を取得することと、
    前記複数の画素の関連情報から前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、
    前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、
    を含むことを特徴とする請求項３５に記載の車両のドア制御方法。
  37. 前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、
    前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、
    前記深度失効画素の深度予測値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することと、
    を含むことを特徴とする請求項３６に記載の車両のドア制御方法。
  38. 前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することは、
    前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度予測値に対して重み付け加算処理を行って、前記深度失効画素の深度関連値を得ることを含むことを特徴とする請求項３７に記載の車両のドア制御方法。
  39. 前記第１画像に基づいて前記第１画像における複数の画素の深度予測値を決定することは、
    前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することを含むことを特徴とする請求項３５～３８のいずれか１項に記載の車両のドア制御方法。
  40. 前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することは、
    前記第１画像及び前記第１深度マップを深度予測ニューラルネットワークに入力して処理して、前記第１画像における複数の画素の深度予測値を得ることを含むことを特徴とする請求項３９に記載の車両のドア制御方法。
  41. 前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することは、
    前記第１画像及び前記第１深度マップに対して融合処理を行って融合結果を得ることと、
    前記融合結果に基づいて前記第１画像における複数の画素の深度予測値を決定することと、
    を含むことを特徴とする請求項３９又は４０に記載の車両のドア制御方法。
  42. 前記第１画像に基づいて、前記第１画像における複数の画素の関連情報を決定することは、
    前記第１画像を関連度検出ニューラルネットワークに入力して処理して、前記第１画像における複数の画素の関連情報を得ることを含むことを特徴とする請求項３５～４１のいずれか１項に記載の車両のドア制御方法。
  43. 前記第１画像に基づいて前記第１深度マップを更新することは、
    前記第１画像から顔の画像を取得することと、
    前記顔の画像に基づいて前記第１深度マップを更新することを特徴とする請求項３３～４２のいずれか１項に記載の車両のドア制御方法。
  44. 前記第１画像から顔の画像を取得することは、
    前記第１画像における顔のキーポイント情報を取得することと、
    前記顔のキーポイント情報に基づいて前記第１画像から前記顔の画像を取得することと、
    を含むことを特徴とする請求項４３に記載の車両のドア制御方法。
  45. 前記第１画像における顔のキーポイント情報を取得することは、
    前記第１画像に対して顔検出を行って顔が存在する領域を得ることと、
    前記顔が存在する領域の画像に対してキーポイント検出を行って前記第１画像における前記顔のキーポイント情報を得ることと、
    を含むことを特徴とする請求項４４に記載の車両のドア制御方法。
  46. 前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
    前記第１深度マップから顔の深度マップを取得することと、
    前記第１画像に基づいて前記顔の深度マップを更新して、前記第２深度マップを得ることと、
    を含むことを特徴とする請求項３３～４５のいずれか１項に記載の車両のドア制御方法。
  47. 前記第１画像及び前記第２深度マップに基づいて生体検出結果を特定することは、
    前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力して処理して、生体検出結果を得ることを含むことを特徴とする請求項３３～４６のいずれか１項に記載の車両のドア制御方法。
  48. 前記第１画像及び前記第２深度マップに基づいて生体検出結果を特定することは、
    前記第１画像に対して特徴抽出処理を行って第１特徴情報を得ることと、
    前記第２深度マップに対して特徴抽出処理を行って第２特徴情報を得ることと、
    前記第１特徴情報及び前記第２特徴情報に基づいて生体検出結果を特定することと、
    を含むことを特徴とする請求項３３～４７のいずれか１項に記載の車両のドア制御方法。
  49. 前記第１特徴情報及び前記第２特徴情報に基づいて生体検出結果を特定することは、
    前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って第３特徴情報を得ることと、
    前記第３特徴情報に基づいて生体検出結果を特定することと、
    を含むことを特徴とする請求項４８に記載の車両のドア制御方法。
  50. 前記第３特徴情報に基づいて生体検出結果を特定することは、
    前記第３特徴情報に基づいて前記顔が生体である確率を得ることと、
    前記顔が生体である確率に基づいて顔の生体検出結果を特定することと、
    を含むことを特徴とする請求項４９に記載の車両のドア制御方法。
  51. 前記顔識別結果を得た後に、
    前記顔識別結果が顔識別の失敗であることに応じて、前記車両に設けられるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除プロセスを起動することをさらに含むことを特徴とする請求項１～５０のいずれか１項に記載の車両のドア制御方法。
  52. 車両に設けられる画像収集モジュールによるビデオストリームの収集を制御する第１制御モジュールと、
    前記ビデオストリーム中の少なくとも１枚の画像に基づいて顔識別を行い、顔識別結果を得る顔識別モジュールと、
    前記顔識別結果に基づいて、前記車両の少なくとも１つのドアに対応する制御情報を決定する第１決定モジュールと、
    前記制御情報が前記車両のいずれかのドアを開ける制御を含む場合、前記ドアの状態情報を取得する第１取得モジュールと、
    前記ドアの状態情報がロック解除されていないことである場合、前記ドアをロック解除して開けるように制御するか、及び／又は、前記ドアの状態情報がロック解除されたが開いていないことである場合、前記ドアを開けるように制御する第２制御モジュールと、
    を備えることを特徴とする車両のドア制御装置。
  53. メモリと、物体検出モジュールと、顔識別モジュールと、画像収集モジュールとを備え、前記顔識別モジュールは、前記メモリ、前記物体検出モジュール及び前記画像収集モジュールにそれぞれ接続され、前記物体検出モジュールは、前記画像収集モジュールに接続され、前記顔識別モジュールには、ドアドメインコントローラに接続するための通信インタフェースがさらに設けられ、前記顔識別モジュールは、前記通信インタフェースを介して前記ドアドメインコントローラにドアのロック解除及びポップアップのための制御情報を送信することを特徴とする車両のドア制御システム。
  54. 前記顔識別モジュールに接続されるブルートゥースモジュールをさらに備え、前記ブルートゥースモジュールは、プリセット識別子を有するブルートゥースデバイスとのブルートゥースペアリング接続に成功したとき、又は前記プリセット識別子を有するブルートゥースデバイスが検索されたとき、前記顔識別モジュールをウェイクアップさせるマイクロプロセッサと、前記マイクロプロセッサに接続されるブルートゥースセンサとを有することを特徴とする請求項５３に記載の車両のドア制御システム。
  55. 前記画像収集モジュールは、イメージセンサ及び深度センサを含むことを特徴とする請求項５３又は５４に記載の車両のドア制御システム。
  56. 前記深度センサは、２つの赤外線カメラがイメージセンサのカメラの両側に設けられる両眼赤外線センサを含むことを特徴とする請求項５５に記載の車両のドア制御システム。
  57. 前記画像収集モジュールは、前記両眼赤外線センサの赤外線カメラと前記イメージセンサのカメラとの間に設けられ、前記イメージセンサ用の補助光ランプと前記深度センサ用の補助光ランプのうちの少なくとも一つを含む少なくとも１つの補助光ランプをさらに含むことを特徴とする請求項５６に記載の車両のドア制御システム。
  58. 前記画像収集モジュールは、前記深度センサのカメラと前記イメージセンサのカメラとの間に設けられるレーザーをさらに含むことを特徴とする請求項５５～５７のいずれか１項に記載の車両のドア制御システム。
  59. 前記顔識別モジュールに接続され、ドアをロック解除するためのパスワードロック解除モジュールをさらに備えることを特徴とする請求項５３～５８のいずれか１項に記載の車両のドア制御システム。
  60. 前記パスワードロック解除モジュールは、タッチスクリーン及びキーボードのうちの１つ又は２つを有することを特徴とする請求項５９に記載の車両のドア制御システム。
  61. 前記顔識別モジュールに接続される電池モジュールをさらに備えることを特徴とする請求項５３～６０のいずれか１項に記載の車両のドア制御システム。
  62. 請求項５３～６１のいずれか１項に記載の車両のドア制御システムを含み、前記車両のドア制御システムが前記車両のドアドメインコントローラに接続されることを特徴とする車両。
  63. 前記画像収集モジュールは、前記車両の室外部に設けられるか、及び／又は、前記画像収集モジュールは、前記車両の室内部に設けられることを特徴とする請求項６２に記載の車両。
  64. 前記画像収集モジュールは、前記車両のＢピラー、少なくとも１つのドア、および少なくとも１つのバックミラーのうちの少なくとも１つに設けられることを特徴とする請求項６３に記載の車両。
  65. 前記顔識別モジュールは、前記車両内に設けられ、ＣＡＮバスを介して前記ドアドメインコントローラに接続されることを特徴とする請求項６２～６４のいずれか１項に記載の車両。
  66. プロセッサと、
    プロセッサにより実行可能な命令を記憶するメモリと、
    を含む電子機器であって、
    前記プロセッサは、請求項１～５１のいずれか１項に記載の車両のドア制御方法を実行するように構成されることを特徴とする電子機器。
  67. コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１～５１のいずれか１項に記載の車両のドア制御方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
  68. コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに請求項１～５１のいずれか１項に記載の車両のドア制御方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
JP2022518839A 2019-10-22 2020-05-27 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体 Abandoned JP2022549656A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911006853.5A CN110765936B (zh) 2019-10-22 2019-10-22 车门控制方法及装置、系统、车、电子设备和存储介质
CN201911006853.5 2019-10-22
PCT/CN2020/092601 WO2021077738A1 (zh) 2019-10-22 2020-05-27 车门控制方法及装置、系统、车、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2022549656A true JP2022549656A (ja) 2022-11-28

Family

ID=69332728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022518839A Abandoned JP2022549656A (ja) 2019-10-22 2020-05-27 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体

Country Status (6)

Country Link
US (1) US20220024415A1 (ja)
JP (1) JP2022549656A (ja)
KR (1) KR20220066155A (ja)
CN (2) CN110765936B (ja)
SG (1) SG11202110895QA (ja)
WO (1) WO2021077738A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765936B (zh) * 2019-10-22 2022-05-06 上海商汤智能科技有限公司 车门控制方法及装置、系统、车、电子设备和存储介质
CN111332252B (zh) * 2020-02-19 2022-11-29 上海商汤临港智能科技有限公司 车门解锁方法、装置、系统、电子设备和存储介质
CN111401153A (zh) * 2020-02-28 2020-07-10 中国建设银行股份有限公司 封闭式自助设备出入控制的方法和装置
CN113421358B (zh) * 2020-03-03 2023-05-09 比亚迪股份有限公司 车锁控制系统、车锁控制方法及车辆
CN212447430U (zh) * 2020-03-30 2021-02-02 上海商汤临港智能科技有限公司 车门解锁系统
CN113548010A (zh) * 2020-04-15 2021-10-26 长城汽车股份有限公司 基于人脸识别的无钥匙进入的控制系统和方法
CN111516640B (zh) * 2020-04-24 2022-01-04 上海商汤临港智能科技有限公司 车门控制方法、车辆、系统、电子设备和存储介质
WO2021212504A1 (zh) * 2020-04-24 2021-10-28 上海商汤临港智能科技有限公司 车辆和车舱域控制器
CN111739201A (zh) * 2020-06-24 2020-10-02 上海商汤临港智能科技有限公司 车辆的交互方法及装置、电子设备、存储介质和车辆
CN213056931U (zh) * 2020-08-11 2021-04-27 上海商汤临港智能科技有限公司 车辆
CN111915641A (zh) * 2020-08-12 2020-11-10 四川长虹电器股份有限公司 一种基于tof技术的车辆测速方法及系统
US20220063559A1 (en) * 2020-08-25 2022-03-03 Deere & Company Work vehicle, door state determination system, and method of determining state of work vehicle door
EP4009677A1 (en) * 2020-12-01 2022-06-08 Nordic Semiconductor ASA Synchronization of auxiliary activity
CN112590706A (zh) * 2020-12-18 2021-04-02 上海傲硕信息科技有限公司 无感人脸识别车门解锁系统
CN112684722A (zh) * 2020-12-18 2021-04-20 上海傲硕信息科技有限公司 低功耗电源控制电路
US20220316261A1 (en) * 2021-03-30 2022-10-06 Ford Global Technologies, Llc Vehicle closure assembly actuating method and system
CN113279652A (zh) * 2021-05-31 2021-08-20 的卢技术有限公司 一种车门防夹控制方法、装置、电子设备及可读存储介质
SE545778C2 (en) * 2021-09-24 2024-01-09 Assa Abloy Ab Electronic lock comprising a first credential interface and a second credential interface
CN114619993B (zh) * 2022-03-16 2023-06-16 上海齐感电子信息科技有限公司 基于人脸识别汽车控制方法及其系统、设备及存储介质
CN114906094B (zh) * 2022-04-21 2023-11-14 重庆金康赛力斯新能源汽车设计院有限公司 一种控制汽车后背门的方法、控制装置、设备及存储介质
DE102022204236B3 (de) 2022-04-29 2023-06-07 Volkswagen Aktiengesellschaft Notentriegelung eines Kraftfahrzeugs
FR3135482A1 (fr) * 2022-05-11 2023-11-17 Vitesco Technologies Système de gestion d’un capteur de détection d’une intention d’ouvrir et/ou déverrouiller un ouvrant du véhicule automobile

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090243791A1 (en) * 2008-03-28 2009-10-01 Partin Dale L Mini fob with improved human machine interface
US10052935B2 (en) * 2016-01-20 2018-08-21 Livio, Inc. Feature description data for vehicle zone configuration
CN107719303A (zh) * 2017-09-05 2018-02-23 观致汽车有限公司 一种车辆门窗开启控制系统、方法及车辆
CN108343342A (zh) * 2018-01-24 2018-07-31 金龙联合汽车工业（苏州）有限公司 客车安全行车门控系统及控制方法
CN108846924A (zh) * 2018-05-31 2018-11-20 上海商汤智能科技有限公司 车辆及车门解锁控制方法、装置和车门解锁系统
CN109522843B (zh) * 2018-11-16 2021-07-02 北京市商汤科技开发有限公司 一种多目标跟踪方法及装置、设备和存储介质
CN109882019B (zh) * 2019-01-17 2021-03-26 同济大学 一种基于目标检测和动作识别的汽车电动尾门开启方法
CN110259323A (zh) * 2019-06-18 2019-09-20 威马智慧出行科技（上海）有限公司 汽车车门控制方法、电子设备及汽车
CN110335389B (zh) * 2019-07-01 2021-10-12 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质
CN110765936B (zh) * 2019-10-22 2022-05-06 上海商汤智能科技有限公司 车门控制方法及装置、系统、车、电子设备和存储介质

Also Published As

Publication number Publication date
CN114937294A (zh) 2022-08-23
US20220024415A1 (en) 2022-01-27
SG11202110895QA (en) 2021-10-28
CN110765936A (zh) 2020-02-07
KR20220066155A (ko) 2022-05-23
CN110765936B (zh) 2022-05-06
WO2021077738A1 (zh) 2021-04-29

Similar Documents

Publication Publication Date Title
JP2022549656A (ja) 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体
JP7035270B2 (ja) 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体
WO2021000587A1 (zh) 车门解锁方法及装置、系统、车、电子设备和存储介质
US20210001810A1 (en) System, method, and computer program for enabling operation based on user authorization
JP7106768B2 (ja) 車両のドアロック解除方法、装置、システム、電子機器及び記憶媒体
US20180247504A1 (en) Identification of suspicious persons using audio/video recording and communication devices
US10839204B2 (en) Sharing identification data with audio/video recording and communication devices and local processing of the shared data
CN113752983B (zh) 一种基于人脸识别/人眼识别的车辆解锁控制系统和方法
CN111845631A (zh) 一种车辆启动方法、装置、设备及存储介质
CN112330846A (zh) 车辆控制的方法、装置、存储介质及电子设备和车辆
CN115776957A (zh) 基于驾驶员识别激活车辆的安全性模式
KR101337554B1 (ko) 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법
WO2022246612A1 (zh) 活体检测方法、活体检测模型的训练方法及其装置和系统
KR20140111138A (ko) 테일 게이트 작동 시스템 및 그 방법
JP7445207B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20240095317A1 (en) Method and System For Device Access Control

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20221228