CN110462629A - 用于识别眼睛和手的系统和方法 - Google Patents

用于识别眼睛和手的系统和方法 Download PDF

Info

Publication number
CN110462629A
CN110462629A CN201880022110.4A CN201880022110A CN110462629A CN 110462629 A CN110462629 A CN 110462629A CN 201880022110 A CN201880022110 A CN 201880022110A CN 110462629 A CN110462629 A CN 110462629A
Authority
CN
China
Prior art keywords
sequence
image
hand
computer
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880022110.4A
Other languages
English (en)
Other versions
CN110462629B (zh
Inventor
B.埃尔班纳
P.希伯
T.阿尔特米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN110462629A publication Critical patent/CN110462629A/zh
Application granted granted Critical
Publication of CN110462629B publication Critical patent/CN110462629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141—Activation of instrument input devices by approaching fingers or pens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及用于在图像的序列中识别眼睛和手的、尤其是用于机动车（10）的系统（100）和方法（500、600），所述图像的序列利用所述系统（100）的摄像机（110）来记录，其中所述系统（100）包括计算机（150），所述计算机被设立用于交替地输送第一部分序列给用于眼睛识别的、尤其是在所述计算机（150）中所设立的第一算法和输送第二部分序列给用于手识别的、尤其是在所述计算机（150）中所设立的第二算法，其中所述第一部分序列包括能预给定的第一数目的彼此相继的图像并且所述第二部分序列包括能预给定的第二数目的彼此相继的图像，其中所述第一算法根据所述第一部分序列来识别所述第一部分序列的图像是否包括眼睛的图像，并且其中所述第二算法根据所述第二部分序列来识别所述第二部分序列的图像是否包括手的图像。

Description

用于识别眼睛和手的系统和方法
背景技术
从现有技术中已知用于检测和探测使用者的眼睛和其他身体部分、尤其是手的系统，例如从等人的“Eye blinking detection to perform selection for aneye tracking System used in assistive technology”，（Design and Technology inElectronic Packaging (SIITME) 2016 IEEE 22nd International Symposium for, 第213-216页, 2016）中或者从F. Weichert等人的“Analysis of the accuracy androbustness of the leap motion Controller"（Sensors 2013, 13, 6380- 6393）中已知。在此，眼睛或手的检测也可以包括用于姿态识别的对眼睛或手的移动的检测。
眼睛和手的检测和探测通过传感器、尤其是摄像机来进行，所述传感器与计算机、也称为计算单元或处理器连接，用于处理来自传感器的数据。在此，通常使用具有用于眼睛探测的第一传感器的第一计算机和具有用于手探测的第二传感器的第二计算机，因为眼睛和手的检测和探测具有不同的技术前提条件，尤其是由于要检测的眼睛和手的时间上强烈不同的移动。
发明内容
本发明的优点
在该背景下，本发明涉及一种用于在图像的序列中识别眼睛和手的系统、尤其是用于机动车的系统以及所属的方法，所述图像的序列利用所述系统的摄像机来记录。该系统包括计算机，该计算机被设立用于交替地输送所述序列的第一部分序列给用于眼睛识别的第一算法和所述序列的第二部分序列给用于手识别的第二算法，其中该第一部分序列包括能预给定的第一数目的彼此相继的图像并且该第二部分序列包括能预给定的第二数目的彼此相继的图像。优选地，第一和/或第二算法在此在计算机中被设立。换言之，该计算机尤其是被设立、例如编程用于执行用于眼睛识别或手识别的第一和/或第二算法。第一算法在此被设立用于，根据第一部分序列来识别第一部分序列的图像是否包括眼睛的图像。第二算法被设立用于，根据第二部分序列来识别第二部分序列的图像是否包括手的图像。
尤其是通过第一或第二算法进行的眼睛或手的识别尤其是应理解为：在由系统的摄像机所记录的图像中标识一个或多个眼睛本身或一个或多个手本身。该识别在此可以优选地包括：将通过所识别的眼睛或所识别的手所执行的移动识别为姿态。例如，用于眼睛识别的第一算法可以是基于上面提及的等人的文献的或基于Smart Eye AB算法的图像识别算法，并且用于手识别的第二算法可以是基于上面提及的F. Weichert等人的文献的图像识别算法。例如，所述眼睛的识别可以被用于状态识别、例如确定该系统的使用者的疲劳度或视线方向，或者用于通过眼睛的位置和/或移动、也即通过眼睛的姿态来控制系统。例如，所述手的识别可以被用于控制系统、尤其是通过识别手的位置和/或移动、尤其是也即通过识别由手所实施的姿态来控制系统。尤其是，在此将所识别的眼睛姿态或手姿态与系统中所保存的预给定的姿态进行比较。
图像的序列可以被理解为图像的顺序、尤其是彼此相继的图像的顺序。在此，可以优选地涉及直接彼此相继的图像。部分序列尤其是应理解为来自该序列的片段，也即来自该图像的序列的彼此相继的图像的子集，优选来自该序列的直接彼此相继的图像的子集。能预给定数目的图像应理解为：所述计算机被设立用于改变部分序列的原则上固定数目的图像。该改变可以在此尤其是在计算机的相应编程中被预给定。
如上所述地，计算机被设立用于交替地将第一部分序列输送给第一算法并且将第二部分序列输送给第二算法。图像的序列因此包括多个第一和第二部分序列，其中第二部分序列分别跟随第一部分序列。根据通过摄像机所记录的图像的总数，在此，最后的第一部分序列或最后的第二部分序列可能是不完整的。优选地，所有第一和第二部分序列的总和得出所记录的图像的总序列，使得有利地每个所记录的图像被进一步处理。可替代地，该序列可以包括如下图像，这些图像并不是第一或第二部分序列的部分，例如在这些部分序列之间的一个或多个图像。通过计算机进行的交替的输送因此应理解为轮流地、单独地输送至第一和第二算法。此外，输送至第一和第二算法可以被理解为：计算机被构造、尤其是编程用于轮流地执行第一和第二算法。
根据按照本发明的方法所设立的按照本发明的系统具有如下优点：对于共同的眼睛和手识别需要仅一个摄像机和仅一个与其连接并且按照本发明所设立的计算机。通过本发明对唯一的图像流的可能划分有利地实现了，不仅关于硬件而且也关于计算性能需要更少的资源来用于同步的手和眼睛识别。这此外实现了，对于该系统来说除了运行成本也节省了制造或购置成本。此外，尽管节省了硬件，通过本发明有利地可能的是，无延迟地检测眼睛和手的在时间上强烈不同的移动。
优选地，该系统、尤其是计算机可以被设立用于，根据所识别的眼睛或所识别的手、尤其是根据眼睛或手的所识别的移动和姿态来实施该系统的预给定的控制，所述控制例如实现通过眼睛或手移动来操作该系统。这具有如下优点：利用仅一个摄像机和计算机就有可能不仅通过眼睛也通过手来对该系统进行姿态控制。
优选地，预给定、也即规定图像的第一数目大于图像的第二数目。这引起：在所记录的图像序列的总数目方面，与用于手识别的算法相比，将更大份额的图像输送给用于眼睛识别的算法。这实现了总体上更可靠的识别，因为对于眼睛识别而言由于与手相比眼睛更小的尺寸和大多更快速地移动，为了高品质识别需要每时间单位更多的图像。
按照本发明的一种有利的构型方案，第一数目是在9至29之间、优选16至22之间、完全优选为20的数字，并且第二数目是在1至5之间、优选1至3之间、完全优选为1的数字。因此第一数目与第二数目的比例被预给定在29比1和9比5之间、优选22比1和16比3之间、完全优选为20比1。如上所述地，对于所有这些数目和比例共同的是：为了有利的高可靠性而将更大数目或更大分额的输送给算法的图像输送给眼睛识别。
在本发明一种特别有利的扩展方案中，该系统被设立用于，如果在第二部分序列中识别出手，则改变第一数目与第二数目的比例。这可以通过改变第一数目和/或改变第二数目来进行。尤其是，可以减小所述比例，使得按份额将更多图像输送给用于手识别的算法。优选地，因此朝数字1的方向来改变所述比例。换言之，第一数目与第二数目的差可以通过对第一数目和/或对第二数目的改变而被改变，尤其是减小。这具有如下优点：在不存在手识别的情况下可以将所记录的图像主要用于眼睛识别，并且在手识别的情况下才进行对图像的更均匀的划分。因此有利地，为了可靠的并且在时间上高分辨率的手识别而将更大份额的手识别期间所记录的图像输送给第二算法。此外，有利地改善了系统的资源划分。尤其是可以将尤其是计算机的在不识别手的情况下所不被需要的资源用于眼睛识别。
在一种有利的构型方案中，该系统被设立用于，如果在第二部分序列中识别出手，则对于接下来的、尤其是对于下个和/或下下个第一部分序列将第一数目预给定为在2至10之间、优选在3至7之间、完全优选为5的数字。可替代地或附加地，可以将该系统设立用于，如果在第二部分序列中识别出手，则对于下个和/或下下个第二部分序列将第二数目预给定为在1至5之间、优选在3至5之间、完全优选为5的数字。如果期望通过该系统来快速切换图像的分派，则可以在直接在前的第二部分序列中识别出手之后就已经在下个第一或第二部分序列中进行上面列举的对第一或第二数目的改变。在没有对该系统的这样高的要求的情况下，也可以替代地在下下个部分序列中才进行改变。
优选地，该系统的摄像机是红外摄像机。这有利地实现了，使用并不干扰使用者的红外光来用于照亮使用者。尤其是，该系统也可以包括用于照亮使用者的红外光源，尤其是用于照亮使用者的眼睛和/或手，其中能由红外光源发射的光优选地包括大约920纳米的波长。摄像机可以例如是被构造用于记录每秒至少60个图像的摄像机。鉴于以上建议的针对两种算法对图像的划分，这样的记录速率支持可靠的眼睛或手识别。
按照本发明的另一构型方案，该系统包括用于检测使用者的眼睛的第二摄像机，其中该第二摄像机优选地被布置在该系统的布置在使用者之前的部分中。这具有如下优点：用于检测眼睛的区域可以被扩大并且每时间单位能够记录的图像的数目能够被提高，这导致还要更可靠的眼睛识别。第二摄像机可以在此与用于支持眼睛识别的系统的计算机连接或者与另一计算机连接，例如用于识别使用者的第二个眼睛。
本发明也涉及一种具有按照本发明的系统的用于机动车的控制台、尤其是中央控制台。该系统、尤其是计算机在此被设立用于，根据所识别的手的位置和/或移动来识别用于控制该系统的姿态并且实施控制。此外，该系统、尤其是计算机可以被设立用于，根据所识别眼睛的位置和/或移动来识别用于控制该系统的姿态并且实施控制。可替代地或附加地，该系统、尤其是计算机可以被设立用于，通过眼睛识别来执行使用者或驾驶员的状态识别、例如视线方向识别或疲劳度确定，并且优选地根据所识别的状态来操控该系统和/或对使用者或驾驶员给出反馈，例如通过系统的显示来给出反馈。
本发明还涉及一种具有按照本发明的控制台的机动车。本发明在机动车中的使用是特别有利的，因为使用仅一个摄像机与按照本发明的所属的计算机满足了在机动车中优先的结构空间的需求。此外，按照本发明的系统可以在机动车的安全运行时有利地对驾驶员进行支持，因为基于眼睛或手识别对系统的控制不需要使驾驶员从交通情况上分心。
如上所述地，本发明也涉及用于在通过摄像机所记录的图像的序列中识别眼睛和手的方法，其中在与摄像机连接的计算机中交替地输送第一部分序列给用于眼睛识别的尤其是在该计算机中所设立的第一算法和输送第二部分序列给用于手识别的尤其是在该计算机中所设立的第二算法，其中该第一部分序列包括能预给定的第一数目的彼此相继的图像并且该第二部分序列包括能预给定的第二数目的彼此相继的图像，其中第一算法根据第一部分序列识别第一部分序列的图像是否包括眼睛的图像，并且其中第二算法根据第二部分序列识别第二部分序列的图像是否包括手的图像。优选地，预给定第一数目大于第二数目。
关于按照本发明的方法和以下有利扩展方案和构型方案的优点参照按照本发明的系统的如上所述的对应的扩展方案和构型方案。
按照一种特别有利的扩展方案，所述方法是用于识别通过眼睛或手所实施的姿态的方法，其中根据所识别的姿态来操控按照本发明的系统。尤其是，可以根据所识别的姿态来操控该系统的功能性。例如，可以根据所识别的姿态来操控机动车的功能性。
在所述方法的有利的构型方案中，针对第一数目预给定在9至29之间、优选16至22之间、完全优选为20的数字，并且针对第二数目预给定在1至5之间、优选1至3之间、完全优选为1的数字。
按照本发明的特别有利的构型方案，如果在第二部分序列中识别出手，在第二部分序列中识别出手时，则改变第一数目与第二数目的比例。这可以通过改变第一数目和/或改变第二数目来进行。尤其是，可以减小所述比例。优选地，因此朝数字1的方向来改变所述比例。尤其是，对于接下来的、尤其是对于下个和/或下下个第一部分序列将第一数目预给定为在2至10之间、优选在3至7之间、完全优选为5的数字。优选地，可替代地或附加地，如果在第二部分序列中识别出手，则对于接下来的、尤其是对于下个和/或下下个第二部分序列将第二数目预给定为在1至5之间、优选在3至5之间、完全优选为5的数字。
本发明还包括计算机程序和计算机可读的存储介质，它们分别包括指令，所述指令在通过计算机实施时促使所述计算机执行或实施按照本发明的方法。
附图说明
本发明的实施例在附图中示意性地示出并且在接下来的描述中进一步阐述。
图1示出按照本发明的系统的实施例；以及
图2和图3示出关于按照本发明的方法的实施例的流程图。
具体实施方式
图1示出用于识别使用者的眼睛和手的按照本发明的系统100的实施例。该系统100在该示例中作为按照本发明的机动车1的中央控制台9的实施例的部分来实施，从而该系统在驾驶员1朝向挡风玻璃11的视线方向时处于驾驶员1的右方。
该系统100包括用于在摄像机110的检测范围111中记录图像的摄像机110。在该示例中，摄像机110是红外摄像机110，其这样构造和布置，使得其检测范围111包括在车辆10的驾驶员1和方向盘12之间的范围中驾驶员1的右手2的移动。例如，在此可以涉及SmartEyeMulti Blackbird ®摄像机。此外，该系统100可以包括用于照亮驾驶员的光源130，该光源能够由计算机150来操控。在该示例中，光源130是红外光源130，该红外光源这样构造和布置，使得其能够照亮该摄像机110的检测范围111的至少一部分。例如，红外光源130能够被构造用于发出具有大约920纳米的波长的红外光。例如红外光源130可以是920纳米照明灯或者是在Schimmel M.等人的“Distances between facial landmarks can be measuredaccurately with a new digital 3-dimensional video system”，（2016年2月, http://smarteye.se/wp-contenVuploads/2015/01/Schimmel-et-al..pdf）中所提到的光源。
系统100还包括计算机150，该计算机与摄像机110连接并且被设立用于处理由摄像机110所记录的图像的序列。该计算机150可以为此具有例如微处理器和与其连接的存储器，例如Pokini ®的车内PC或者具有多核处理器和2 Gigabyte（千兆字节）或者以上的工作存储器的Intel ®NUC。按照该实施例，在计算机150中、尤其是在计算机150的存储器中保存用于眼睛识别的第一算法和用于手识别的第二算法。例如，用于眼睛识别的第一算法可以是上面提及的图像识别算法（Smart Eye），并且用于手识别的第二算法可以是上面提及的图像识别算法（leap motion（体感控制））。该计算机150、尤其是该计算机150的微处理器被构造用于，将该序列的图像输送给这两种算法，用于利用这些算法来进行处理。在该示例中，该系统100被构造用于，根据所识别的眼睛或所识别的手、尤其是根据眼睛或手的所识别的位置、移动和姿态来实施该系统100的预给定的控制，例如机动车10的功能性的控制，诸如空调设施、导航系统、娱乐系统的控制和/或用于生成对于手的触觉反馈。
该计算机150被设立用于，交替地输送第一部分序列给用于眼睛识别的第一算法和输送第二部分序列给用于手识别的第二算法，其中该第一部分序列包括能预给定的第一数目的彼此相继的图像并且该第二部分序列包括能预给定的第二数目的彼此相继的图像，其中该第一算法根据第一部分序列来识别该第一部分序列的图像是否包括眼睛的图像，并且其中第二算法根据第二部分序列来识别该第二部分序列的图像是否包括手的图像。例如，作为第一数目预给定在9至29之间、在该示例中为20的数字，并且作为第二数目预给定在1至5之间、在该示例中为1的数字。此外，在该示例中所有由摄像机150所记录的图像被输送给这两种算法之一。因此，按照该示例将20个直接彼此相继的图像的第一部分序列输送给用于眼睛识别的第一算法，接下来是将具有仅一个图像的第二部分序列输送至用于手识别的第二算法，接下来又是将具有20个图像的另一第一部分序列输送至第一算法，并且如此继续。执行图像至这两种算法的交替输送，直至通过第二算法在第二部分序列的图像中识别出手2。该系统100、尤其是计算机150被设立用于改变第一数目与第二数目的比例，如果在第二部分序列中识别出手，则在该示例中减小所述第一数目与第二数目的比例。按照该实施例，在下个第一部分序列中的第一数目被预给定为5。这意味着：只要在第二部分序列中识别出手，就仅分别将5个图像输送给用于眼睛识别的第一算法、接着是分别将1个图像输送给用于手识别的第二算法，使得在手识别期间所记录的图像的更大份额被输送给第二算法以用于可靠的和时间上高分辨率的识别。如果在第二部分序列中不再探测到手，则该第一数目又被设置为20。如上所述地，也可以为第一和/或第二数目预给定其他数字。
该系统100可以包括用于检测驾驶员1的眼睛的第二摄像机140，其中该第二摄像机140优选地被布置在该系统100的在驾驶员1之前所布置的部分中。如在图1中所示，该第二摄像机140可以尤其是被布置在组合式仪表的范围中或车辆10的方向盘12处。如在第一摄像机110的情况下那样，第二摄像机140优选是红外摄像机。
图2示出关于按照本发明的方法500的实施例的流程图，该方法例如能够通过按照图1的实施例的系统100来运行。
在该方法500的第一步骤501中，该系统100的摄像机110记录图像的序列，所述图像的序列被转给该系统的计算机150。在第二步骤中，计算机150交替地输送第一部分序列给用于眼睛识别的尤其是在该计算机中所设立的第一算法和输送第二部分序列给用于手识别的尤其是在该计算机中所设立的第二算法，其中该第一部分序列包括来自该序列的能预给定的第一数目的彼此相继的图像并且该第二部分序列包括来自该序列的能预给定的第二数目的彼此相继的图像。在尤其是时间上与第二步骤502重叠的第三步骤503中，通过第一算法根据第一部分序列来识别第一部分序列的图像是否包括眼睛的图像，并且通过第二算法根据第二部分序列来识别第二部分序列的图像是否包括手的图像。在第四步骤504中，该系统100优选根据所识别的眼睛或所识别的手被操控、尤其是根据通过所述眼睛或通过所述手来实施的所识别的姿态被操控。
图3示出关于该方法的有利构型方案的实施例的流程图600，例如作为关于按照图1和2的实施例的方法500的构型方案。在该实施例中，首先将计数器610设置为针对第一部分序列的预给定的第一数目，例如设置为数字20。然后，来自通过摄像机110所记录的图像的序列的图像被输送给用于眼睛识别的第一算法601。换言之，将计算机150中的用于眼睛识别的第一算法601应用到该图像。接下来，在第一比较603中确定计数器610是否还大于0。如果是的话，则计数器610被减小1，也即在该示例中被设置为19（604），并且将来自该序列的下个图像输送给第一算法601（601）。接下来，计数器610重新就数字是否大于0被询问（603）并且如果情况如此就减小1（604），也即在该示例中现在设置为18，并且来自该序列的下个图像被输送给第一算法601（601）。该循环一直被执行，直至第一比较603得出否定的结果，该计数器610因此为0。如果情况如此，则来自该序列的下个图像被输送给用于手识别的第二算法602。换言之，将计算机150中的用于手识别的第二算法602应用到该图像上。该图像现在表示上面提及的第二部分序列。预给定的第二数目在该示例中因此为1。如果在该图像中并没有通过第二算法602识别出手，则计数器610再次被设置为预给定的第一数目（606），也即在该示例中设置为20，并且来自该序列的下个图像再次被输送给用于手识别的第一算法601。然而，如果在来自第二部分序列的该图像中已经通过第二算法602识别出手，则以预给定的方式来改变预给定的第一数目（607），例如改变为5，并且计数器610被设置为经改变的预给定的第一数目。因此在这种情况下，仅将来自该序列的经改变的第一数目的图像输送给第一算法601，之后将来自该序列的后续图像再次输送给第二算法602。如果在后面提及的图像中再次识别出手（602），则将计数器重新设置为经改变的预给定的第一数目，在此是5（605、607）。如果没有识别出手（602），则该计数器被设置为最初的预给定的第一数目，也即在此再次为20。

Claims (15)

1.用于在图像的序列中识别眼睛和手的系统（100）、尤其是用于机动车（10）的系统，所述图像的序列利用所述系统（100）的摄像机（110）来记录，其中所述系统（100）包括计算机（150），所述计算机被设立用于交替地输送第一部分序列给用于眼睛识别的、尤其是在所述计算机（150）中所设立的第一算法和输送第二部分序列给用于手识别的、尤其是在所述计算机（150）中所设立的第二算法，其中所述第一部分序列包括能预给定的第一数目的彼此相继的图像并且所述第二部分序列包括能预给定的第二数目的彼此相继的图像，其中所述第一算法根据所述第一部分序列来识别所述第一部分序列的图像是否包括眼睛的图像，并且其中所述第二算法根据所述第二部分序列来识别所述第二部分序列的图像是否包括手的图像。
2.根据权利要求1所述的系统（100），其中所述系统（100）、尤其是所述计算机（150）被设立用于，根据所识别的眼睛或所识别的手、尤其是根据所述眼睛或手的所识别的位置和/或移动、尤其是姿态来实施所述系统（100）的预给定的控制。
3.根据权利要求1或2所述的系统（100），其中预给定所述第一数目大于所述第二数目。
4.根据权利要求1至3中任意一项所述的系统（100），其中针对所述第一数目是在9至29之间、优选16至22之间、完全优选为20的数字，并且其中针对所述第二数目预给定在1至5之间、优选1至3之间、完全优选为1的数字。
5.根据权利要求1至4中任意一项所述的系统（100），其中所述系统（100）被设立用于，如果在所述第二部分序列中识别出手，则改变、尤其是减小所述第一数目与所述第二数目的比例。
6.根据权利要求1至5中任意一项所述的系统（100），其中所述系统（100）被设立用于，如果在第二部分序列中识别出手，则对于接下来的、尤其是对于下个和/或下下个第一部分序列将所述第一数目预给定为在2至10之间、优选在3至7之间、完全优选为5的数字。
7.根据权利要求1至6中任意一项所述的系统（100），其中所述系统（100）被设立用于，如果在第二部分序列中识别出手，则对于接下来的、尤其是对于下个和/或下下个第二部分序列将所述第二数目预给定为在1至5之间、优选在3至5之间、完全优选为5的数字。
8.用于机动车（10）的控制台（9）、尤其是中央控制台，所述控制台包括根据权利要求1至7中任意一项所述的系统（100），其中所述系统（100）、尤其是所述计算机（150）被设立用于，根据所识别的手的移动来识别用于控制所述系统（100）的姿态并且实施所述控制。
9.根据权利要求8所述的控制台（9），其中所述系统（100）的摄像机（110）被布置在所述控制台（9）的要布置在驾驶员（1）旁边的部分中。
10.用于在由摄像机（110）所记录的图像的序列中识别眼睛和手的方法（500、600），其中在与所述摄像机（110）连接的计算机（150）中交替地输送第一部分序列给用于眼睛识别的、尤其是在所述计算机（150）中所设立的第一算法和输送第二部分序列给用于手识别的、尤其是在所述计算机（150）中所设立的第二算法，其中所述第一部分序列包括能预给定的第一数目的彼此相继的图像并且所述第二部分序列包括能预给定的第二数目的彼此相继的图像，其中所述第一算法根据所述第一部分序列来识别所述第一部分序列的图像是否包括眼睛的图像，并且其中所述第二算法根据所述第二部分序列来识别所述第二部分序列的图像是否包括手的图像。
11.根据权利要求10所述的方法（500、600），其中所述手或所述眼睛的识别被用于识别通过所述手或所述眼睛所实施的姿态。
12.根据权利要求11所述的方法（500、600），所述方法用于机动车（10），其中根据所识别的姿态来操控所述机动车的功能性。
13.根据权利要求11所述的方法（500、600），其中根据所述眼睛的识别来执行使用者（1）的状态识别。
14.计算机程序，包括指令，所述指令在通过计算机来实施程序时促使所述计算机执行根据权利要求10至13中任意一项所述的方法（500、600）。
15.计算机可读的存储介质，包括指令，所述指令在通过计算机来实施时促使所述计算机实施根据权利要求10至13中任意一项所述的方法（500、600）。
CN201880022110.4A 2017-03-30 2018-03-28 用于识别眼睛和手的系统和方法 Active CN110462629B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017205458.1 2017-03-30
DE102017205458.1A DE102017205458A1 (de) 2017-03-30 2017-03-30 System und ein Verfahren zur Erkennung von Augen und Händen, insbesondere für ein Kraftfahrzeug
PCT/EP2018/057873 WO2018178132A1 (de) 2017-03-30 2018-03-28 System und verfahren zur erkennung von augen und händen

Publications (2)

Publication Number Publication Date
CN110462629A true CN110462629A (zh) 2019-11-15
CN110462629B CN110462629B (zh) 2024-04-02

Family

ID=61965930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022110.4A Active CN110462629B (zh) 2017-03-30 2018-03-28 用于识别眼睛和手的系统和方法

Country Status (4)

Country Link
EP (1) EP3602393B1 (zh)
CN (1) CN110462629B (zh)
DE (1) DE102017205458A1 (zh)
WO (1) WO2018178132A1 (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999023576A1 (de) * 1997-11-04 1999-05-14 Siemens Aktiengesellschaft Verfahren und vorrichtung zur klassifikation einer ersten zeitreihe und mindestens einer zweiten zeitreihe
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
US20040101170A1 (en) * 2002-11-20 2004-05-27 Christel-Loic Tisse Evaluation of the definition of an eye iris image
US20060013473A1 (en) * 1997-04-15 2006-01-19 Vulcan Patents Llc Data processing system and method
CN102087712A (zh) * 2010-02-22 2011-06-08 艾利维公司 个性化动作控制的系统和方法
CN102194391A (zh) * 2010-03-10 2011-09-21 索尼公司 两图像显示装置
US20130063596A1 (en) * 2011-09-08 2013-03-14 Honda Motor Co., Ltd Vehicle-mounted device identifying apparatus
WO2014117932A1 (de) * 2013-02-02 2014-08-07 Audi Ag Systeminitiierte hilfefunktion pro fahrt und/oder pro nutzer für die bedienung von einer, einem fahrzeug zugeordneten vorrichtung
WO2014198552A1 (de) * 2013-06-10 2014-12-18 Robert Bosch Gmbh System und verfahren zum überwachen und/oder bedienen einer technischen anlage, insbesondere eines fahrzeugs
EP2833349A1 (de) * 2013-07-31 2015-02-04 Deuta-Werke GmbH Verfahren und Vorrichtung zur Darstellung eines sicherheitsrelevanten Zustands
US20150062168A1 (en) * 2013-03-15 2015-03-05 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
CN104966053A (zh) * 2015-06-11 2015-10-07 腾讯科技（深圳）有限公司 人脸识别方法及识别系统
CN104978738A (zh) * 2014-04-09 2015-10-14 鹦鹉股份有限公司 检测数字图像中的兴趣点的方法
US20150293585A1 (en) * 2014-04-09 2015-10-15 Hyundai Motor Company System and method for controlling heads up display for vehicle
US20160134840A1 (en) * 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
DE102014224632A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
WO2013168171A1 (en) * 2012-05-10 2013-11-14 Umoove Services Ltd. Method for gesture-based operation control
EP3018629A4 (en) * 2013-07-01 2017-02-22 Pioneer Corporation Imaging system

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013473A1 (en) * 1997-04-15 2006-01-19 Vulcan Patents Llc Data processing system and method
WO1999023576A1 (de) * 1997-11-04 1999-05-14 Siemens Aktiengesellschaft Verfahren und vorrichtung zur klassifikation einer ersten zeitreihe und mindestens einer zweiten zeitreihe
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
US20040101170A1 (en) * 2002-11-20 2004-05-27 Christel-Loic Tisse Evaluation of the definition of an eye iris image
CN102087712A (zh) * 2010-02-22 2011-06-08 艾利维公司 个性化动作控制的系统和方法
CN102194391A (zh) * 2010-03-10 2011-09-21 索尼公司 两图像显示装置
US20130063596A1 (en) * 2011-09-08 2013-03-14 Honda Motor Co., Ltd Vehicle-mounted device identifying apparatus
WO2014117932A1 (de) * 2013-02-02 2014-08-07 Audi Ag Systeminitiierte hilfefunktion pro fahrt und/oder pro nutzer für die bedienung von einer, einem fahrzeug zugeordneten vorrichtung
US20150062168A1 (en) * 2013-03-15 2015-03-05 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
WO2014198552A1 (de) * 2013-06-10 2014-12-18 Robert Bosch Gmbh System und verfahren zum überwachen und/oder bedienen einer technischen anlage, insbesondere eines fahrzeugs
EP2833349A1 (de) * 2013-07-31 2015-02-04 Deuta-Werke GmbH Verfahren und Vorrichtung zur Darstellung eines sicherheitsrelevanten Zustands
CN104978738A (zh) * 2014-04-09 2015-10-14 鹦鹉股份有限公司 检测数字图像中的兴趣点的方法
US20150293585A1 (en) * 2014-04-09 2015-10-15 Hyundai Motor Company System and method for controlling heads up display for vehicle
US20160134840A1 (en) * 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
DE102014224632A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
CN104966053A (zh) * 2015-06-11 2015-10-07 腾讯科技（深圳）有限公司 人脸识别方法及识别系统
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LUIZ CYRILLO AQUINO CAMPOS等: "Design of a simulator for eye and hand tracking tasks under horizontal whole body vibration", 《 2013 ISSNIP BIOSIGNALS AND BIOROBOTICS CONFERENCE》 *
LUIZ CYRILLO AQUINO CAMPOS等: "Design of a simulator for eye and hand tracking tasks under horizontal whole body vibration", 《 2013 ISSNIP BIOSIGNALS AND BIOROBOTICS CONFERENCE》, 20 February 2013 (2013-02-20), pages 1 - 5, XP032351440, DOI: 10.1109/BRC.2013.6487467 *
MYO MYINT等: "Visual-servo-based Autonomous Docking System for Underwater Vehicle Using Dual-eyes Camera 3D-Pose Tracking", 《2015 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION (SII)》 *
MYO MYINT等: "Visual-servo-based Autonomous Docking System for Underwater Vehicle Using Dual-eyes Camera 3D-Pose Tracking", 《2015 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION (SII)》, 13 October 2015 (2015-10-13), pages 989 - 994 *

Also Published As

Publication number Publication date
DE102017205458A1 (de) 2018-10-04
EP3602393B1 (de) 2022-05-11
WO2018178132A1 (de) 2018-10-04
EP3602393A1 (de) 2020-02-05
CN110462629B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN109426803B (zh) 用于识别对象的方法和设备
US10417510B2 (en) System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
US20160132124A1 (en) Gesture determination apparatus and method, gesture operation apparatus, program, and recording medium
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
JP6413974B2 (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
US20160297362A1 (en) Vehicle exterior side-camera systems and methods
EP3400556A1 (en) Systems and methods for estimating future paths
US10499014B2 (en) Image generation apparatus
US9606623B2 (en) Gaze detecting apparatus and method
US20130024047A1 (en) Method to map gaze position to information display in vehicle
JP2012069114A (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
JP2004333422A (ja) 画像処理装置
CN105416282A (zh) 停车辅助装置
US11625842B2 (en) Image processing apparatus and image processing method
US10855934B2 (en) Generating bird's-eye view images
US20160094807A1 (en) Image processing apparatus
JP2017004117A (ja) 視線検出装置および視線検出方法
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP6730613B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2019064431A (ja) 駐車支援装置
JP2012136206A (ja) 駐車制御システム、及び、駐車制御方法
JP6778620B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
CN110992405A (zh) 用于输出姿态信息的方法和装置
JP6635621B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
CN110462629A (zh) 用于识别眼睛和手的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant