CN111435440A - 使用生物识别的机器控制 - Google Patents

使用生物识别的机器控制 Download PDF

Info

Publication number
CN111435440A
CN111435440A CN202010031997.2A CN202010031997A CN111435440A CN 111435440 A CN111435440 A CN 111435440A CN 202010031997 A CN202010031997 A CN 202010031997A CN 111435440 A CN111435440 A CN 111435440A
Authority
CN
China
Prior art keywords
operator
control
machine
mobile work
work machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010031997.2A
Other languages
English (en)
Inventor
约书亚·C·赫特斯曼
雷金纳德·M·宾德尔
凯斯·N·查斯顿
米歇尔·G·基恩
约翰·M·哈格曼
马克·J·切尼
肖恩·P·韦斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN111435440A publication Critical patent/CN111435440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809Driver authorisation; Driver identity check
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0088Adaptive recalibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00Indexing codes relating to the type of vehicle
    • B60W2300/17Construction vehicles, e.g. graders, excavators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/26Incapacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Lock And Its Accessories (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

图案识别系统接收操作者的、由图像捕获装置捕获的图像,并且识别该操作者。基于所识别的操作者访问操作者信息,并且基于操作者信息生成控制信号以控制移动式机器。

Description

使用生物识别的机器控制
技术领域
本公开涉及移动式建筑机器和其它移动式作业机器。更具体地说,本公开涉及捕获操作者的图像或感测操作者的另一生物特征,并基于所捕获的图像或其它感测到的生物特征来控制移动式作业机器。
背景技术
存在各种不同类型的移动式作业机器(或移动式机器)。一些这样的机器包括建筑机器、农业机器、林业机器、草坪管理机器等。
这种机器通常部署在工地(例如建筑工地、林业工地等)并由多个不同的操作者在同一工地操作。类似地,不同的操作者通常在操作机器时具有不同的技术水平。
以上讨论仅在于提供一般的背景信息,而不旨在用于帮助确定所要求保护的主题的范围。
发明内容
图案识别系统接收操作者的由图像捕获装置捕获的图像,并且识别该操作者。基于所识别的操作者访问操作者信息,并且基于操作者信息生成控制信号以控制移动式机器。
提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景技术中提到的任何或所有缺点的实现。
附图说明
图1是移动式机器架构的一个示例的框图。
图2A是更详细地示出认证系统的一个示例的框图。
图2B是更详细地示出机器/操作者监控系统的一个示例的框图。
图2C是更详细地示出控制系统的一个示例的框图。
图3A和3B(在此统称为图3)示出了基于所捕获的图像的移动式机器的操作的一个示例。
图4是示出控制系统和机器/操作者监控系统的操作的一个示例的流程图。
图5是示出了图1中所示的架构的不同示例的框图,其被部署在远程服务器架构中。
图6-8示出了可以在前述附图中所示的架构中使用的移动式装置的示例。
图9是示出了可以在前述的附图中所示的架构中使用的计算环境的一个示例的框图。
具体实施方式
图1是示出移动式机器架构100的一个示例的框图。架构100示例性地包括图像捕获装置102、图像处理系统104和移动式机器106。图1还示出了操作者108可以提供操作者输入以操作移动式机器106。这可以直接、通过网络或以其它方式完成。移动式机器106可以是例如建筑机器,例如平地机、铰接装载机、各种不同类型的自动倾卸卡车或其它装载机中的任何一种、挖掘机等。在其为农业机器的情况下,其可包括联合收割机、拖拉机或各种其它种植、耕作、施用或其它机器中的任何一种。在其为林业机器的情况下,其可以包括诸如集材机、转向节臂装载机、伐木归堆机或其它机器的装置。这些仅是示例。
简言之,通过概述,图像捕获装置102示例性地捕获操作者108的图像(例如面部图像、视网膜扫描或其他生物识别或图像信息)。图像处理系统104处理图像并且可以执行多个操作。它可以识别对应于操作者108的认证信息,并使用该信息来解锁移动式机器106上的各种不同类型的功能。它也可以使用该信息来设定移动式机器106上的设置以及以其他方式控制移动式机器106。
类似地,图像处理系统104可以持续接收操作者108的图像,并执行对机器106和操作者108中的任一个或两者的监控。作为示例,它可以在图像中识别出操作者108是心不在焉的(诸如由于操作者的移动式装置而分心、由于疲劳等)。基于该持续的监控,图像处理系统104可以向移动式机器106提供输入以基于该信息控制移动式机器106。
还将注意到,图1中的各种物项可以位于各种不同的地方。例如,操作者108可以位于移动式机器106的操作者室中,并在那里操作移动式机器106。在另一个例子中,操作者108可以位于远程控制站(其中一个在下面的图5中示出),在该远程控制站,操作者108向远程控制站提供输入。远程控制站然后可以通过网络(例如广域网)或其它方式将这些控制输入传送到移动式机器106。类似地,图像捕获装置102可以在由操作者108携带的移动式装置或其他装置上。在另一个示例中,图像捕获装置102可以在移动式机器106上或者在由操作者108用来控制移动式机器106的远程控制站处。在图像捕获装置102在移动式机器106上的情况下,图像捕获装置102可以是被布置成在操作者108接近操作者室时捕获操作者108的图像的相机。它可以是另一预先存在的相机(诸如备用相机、侧视相机等)。在这种情况下,可以指令操作者108站在相对于机器106的特定位置,以便可以捕获图像。
图像处理系统104也可以位于各种不同的位置。例如,它可以在由操作者108携带的移动式装置上。它可以在操作者108用来远程控制机器106的远程控制站处。图像处理系统104还可以位于移动式机器106本身上,或者它可以位于远程系统(诸如位于云架构或其他远程服务器架构或其他地方的系统)上。
在更详细地描述架构100的操作之前,首先提供架构100中的一些物项及其操作的简要描述。在图1所示的实例中,图像捕获装置102可为可用于捕获图像以供处理的各种各样不同的装置中的任一者。例如,它可以是相机、视网膜扫描仪、或可以捕获用于如本文所述的处理的信息的任何其他图像捕获装置。在图1所示的例子中,图像处理系统104包括处理器或服务器109、图案识别系统110、认证系统112、数据存储器114(其本身包括操作者信息116并且可以包括其它物项118)、机器/操作者监控系统120,并且其可以包括各种各样的其它物项122。移动式机器106可以包括一个或多个处理器124、数据存储器126、操作者界面系统128、控制系统130、一个或多个传感器132、可控子系统134,并且它可以包括各种各样的其它机器功能(功能装置、功能性装置)136。可控子系统134可以包括诸如推进子系统138、转向子系统140、通信子系统141、自动化子系统(例如,坡度控制等)142之类的东西,并且它可以包括各种各样的其它可控子系统144。
操作者界面系统128示例性地生成操作者界面,并包括操作者界面机构,以便由操作者108进行交互。在操作者108处于移动式机器106的操作者室中的情况下,操作者界面系统可以产生视觉、听觉、触觉等操作者界面。操作者输入机构可以包括诸如控制杆、按钮、连杆、方向盘、踏板、操纵杆等。另外,在用户界面系统128包括触敏显示屏(或另一显示屏)的情况下,操作者输入机构可以包括诸如图标、链接等的事物,所述事物可以利用触摸手势、利用点击装置或以其他方式来致动。此外,当操作者界面系统128包括语音识别组件时,则操作者输入机构可以包括麦克风和可以用于识别由操作者108提供的命令或其他语音输入的相应的语音识别逻辑系统。
另外,当操作者108通过远程控制站远程地控制移动式机器106时,则远程控制站示例性地与操作者界面系统124交互以便执行控制操作。在另一个示例中,远程控制站可以与控制系统130或与其它物项通信。
传感器132可以是各种不同类型的传感器中的任何一种。例如,它们可以包括位置传感器(诸如全球定位系统-GPS-接收器)、地面速度传感器、方位或其他姿态传感器、各种类型的发动机和致动器传感器、以及各种不同类型的机器传感器、性能传感器、环境传感器和其他传感器。
控制系统130示例性地接收来自操作者108的操作者输入和来自传感器132的输入,并且还可以接收来自图像处理系统104的输入。它又产生控制信号并将这些控制信号施加到可控子系统134,以便基于操作者或其它输入和/或来自传感器132的输入来控制这些可控子系统。可控子系统134可包括推进子系统138,推进子系统138本身可包括发动机或其它动力源,用于通过传动装置或直接驱动移动式机器106上的地面接合元件(例如履带、车轮等),以驱动移动式机器106的运动。可控子系统134还可以包括转向子系统140,转向子系统140包括用于使移动式机器106转向的转向致动器。它们可以包括自动化子系统142,自动化子系统142可以被激活以便在移动式机器106上执行不同类型的自动化。这些自动化子系统可以包括诸如巡航控制、自动转向控制、自动坡度控制之类的事项,以及各种各样的其他事项。
图像处理系统104中的图案识别系统110示例性地从图像捕获装置102接收图像。它识别该图像中的一个或多个不同图案,因此图案可以与操作者身份相关以基于识别的图案识别操作者108。例如,在图像是操作者108的面部图像的情况下,则图案识别系统110示例性地包括基于面部图像来识别操作者108的面部特征的面部识别逻辑系统。在图像是视网膜扫描图像的情况下,图案识别系统110基于视网膜扫描来识别操作者108的视网膜特征。图案识别系统110可以是识别所捕获的图像中的图案的任何其它期望的图案识别系统,其可以用于识别操作者108或操作者108的不同特征(例如他或她的注意力、疲劳程度等)。下面将更详细地描述这些中的一些。
一旦识别出操作者108,或者识别出操作者的特征,则将该信息提供给认证系统112和机器/操作者监控系统120。例如,认证系统112可以分析由图案识别系统110提供的特征,并且基于该分析来识别操作者108。认证系统112还可以基于该信息执行各种不同类型的处理。例如,它可以确定该特定操作者108是否被授权操作移动式机器106。如果不是,则它可以产生提供给移动式机器106的控制信号,该控制信号表示这一点。进而,移动式机器106上的控制系统130可以锁定操作者室、推进子系统138、转向子系统140或(一个或多个)其它子系统,使得移动式机器106不可操作。
在这样做时,认证系统112示例性地访问对应于所识别的操作者108的操作者信息116。例如,操作者信息116可以先前已经被生成并下载(或上传)到数据存储器114。该信息可以表示操作者108被授权操作的不同机器、操作者108被授权操作的那些机器上的特定功能装置、操作者108的技能水平、操作者108的历史生产率、操作者108的优选机器设置(诸如优选致动器灵敏度水平、优选座椅位置、控制设置、机器设置等)。
即使假设认证系统112认证操作者108具有对操作者移动式机器106的许可,认证系统112也可以识别操作者108可以操作机器106的其他条件。例如,如果操作者108是相对没有经验的操作者,则操作者108可以被授权仅操作机器106上的特定功能装置,或者以特定灵敏度级别或以预定最大速度操作机器106等。在这种情况下,系统112向移动式机器106提供输出,该输出由控制系统130使用以执行期望的控制操作。例如,控制系统130可以仅解锁授权的功能装置(操作者108被授权使用),它可以设定灵敏度水平或最大操作速度,因此,它可以接通某些自动化子系统142,或者它可以执行其他期望的操作。
机器/操作者监控系统120还可被配置为即使在操作者108被认证之后也对机器106和操作者108执行继续监控。例如,在操作期间,系统120可以控制图像捕获装置102以间歇地捕获操作者108的附加图像。然后,它可以对这些图像执行处理,以便识别操作者108的不同特征。这些特征可以包括诸如操作者108的凝视的位置、操作者108的注意力(例如,操作者108是否使用移动式装置分散注意力、不在适当的方向观看等)、操作者108的疲劳水平或其他事项的事务,其中一些将在下面更详细地描述。
图2A是更详细地示出认证系统112的一个示例的框图。在图2A所示的示例中,认证系统112示例性地包括图案分析逻辑系统150、操作者标识逻辑系统152、数据存储器访问逻辑系统154、认证输出生成器逻辑系统156,并且它可以包括各种各样的其他物项158。图案分析逻辑系统150示例性地接收由图案识别系统110识别的图案和特征,并可将其与其它图案或特征(其可存储在数据存储器114中或其它地方)进行比较。操作者识别逻辑系统152确定该图案是否匹配任何其它图案,以识别操作者108。例如,可以存在对应于不同的操作者的多个存储的图案或图案的特征。通过将识别的图案(或识别的图案的特征)与存储的图案进行匹配,来自被捕获的图像中的特定操作者108可以由操作者识别逻辑系统152来识别。
一旦知道了操作者108的身份,数据存储器访问逻辑系统154就示例性地访问该操作者的操作者信息116。该信息可以包括各种不同类型的信息,诸如操作者的许可或授权功能、操作者在各种设置方面的偏好、将基于操作者108的身份自动生成的控制设置或机器设置、或其他事项。
认证输出生成器逻辑系统156然后生成表示操作者信息116的输出。该输出可以是例如提供给移动式机器106中的控制系统130的控制输出,以便基于对应于操作者108的操作者信息116控制各种子系统134。输出可以是操作者信息本身,其可以由控制系统130进一步处理以生成控制信号,或者其可以采取其他形式。
图2B是更详细地示出机器/操作者监控系统120的一个示例的框图。在图2B所示的示例中,机器/操作者监控系统120示例性地包括操作者位置逻辑系统160、操作者疲劳逻辑系统162、操作者注意力逻辑系统164、视线跟踪逻辑系统166、重复操作逻辑系统168、机器操作逻辑系统170、机器位置/配置逻辑系统172、生产率感测逻辑系统174,并且它可以包括各种各样的其它物项176。操作者位置逻辑系统160基于所捕获的图像示例性地识别操作者108相对于机器106的操作者室的位置。例如,它可以验证操作者是否坐在座椅上、安全带是否锁定、操作者是否正在离开移动式机器、是否站在移动式机器外面等。这可以被用来确定移动式机器106的哪些功能要解锁或不可操作。
操作者疲劳逻辑系统162基于所捕获的图像示例性地识别操作者的疲劳水平。例如,它可以计算在某一时间段内操作者眨眼的次数。其可以基于操作者的头部位置的移动来确定操作者是否正在入睡或将要入睡。它也可以以其他方式来识别疲劳。
操作者注意力逻辑系统164示例性地识别操作者将他或她的注意力引导到何处。例如,逻辑系统164可以被配置为识别操作者何时在适当的方向看,假定正在执行特定机器操作。它可以识别操作者是否由于看移动式装置或由于一些其他原因而分心。
视线跟踪逻辑系统166示例性地跟踪操作者108的眼睛的运动以确定操作者108正看向哪里,并且它还可以识别操作者108的姿势。例如,当显示诊断故障代码(DTC)或其他警报消息时,这可能是有用的。如果跟踪逻辑系统166确定操作者的眼睛已经看到了所显示的消息或者操作者在看到DTC或警告消息之后已经提供了特定姿势(例如点头),则可以从显示器消除该消息或者可以以其他方式修改显示。这只是一个示例。
重复操作逻辑系统168确定操作者何时执行重复操作。例如,如果移动式机器106是农业机器,则操作者可能正在执行地头转弯。这种类型的操作可以包括操作者将地面接合工具提升离开地面,使车辆减速,使车辆转弯并沿一个方向或另一个方向移动八排,然后降低地面接合工具并增加机器速度。重复操作逻辑系统168示例性地识别何时发生这种情况,以便操作者的控制输入可以被记录,并且在下一次执行操作时自动重复(或向控制系统130重放)。
机器操作逻辑系统170使用该图像来识别机器正在执行的特定类型的工作。例如,操作者108可能正在使用机器106执行未授权的操作。例如,可以使用平地机来移除混凝土或人行道。例如,如果由该装置捕获的图像是机器附近的外部区域,则可以确定这一点。该信息可以用于控制通信子系统141以便以其它方式向管理者发送警报。
机器位置/配置逻辑系统172基于所捕获的图像示例性地识别机器位置或配置的特征。例如,可以分析操作者的图像或操作者室的图像以确定操作者室的门是打开的还是关闭的。它也可以识别机器上其它物项的位置或配置。该信息也可以用于控制机器106。
生产率感测逻辑系统174示例性地感测机器106正被该操作者操作时的生产率信息。例如,当机器106是装载机时,在机器上可以有重量和/或体积传感器132,以感测随每次装载被移动的材料的量(在重量和/或体积方面)。还可以有传感器132来计算装载运动的数量。在这种情况下,可以通过从传感器132接收传感器输入并且使用感测逻辑系统174来感测和汇总操作者108的生产率度量来确定所识别的操作者的生产率。然后,它们可以与操作者108的任何其他信息汇总,这是因为机器知道操作机器的操作者108是谁。
应当理解,机器/操作者监控系统120可以包括各种各样的其它物项176。这里描述的那些仅是为了示例性目的而描述的。
图2C是示出机器106上的控制系统130的一个示例的框图。在图2C所示的示例中,控制系统130示例性地包括机器自动化控制逻辑系统180、推进/转向控制逻辑系统182、灵敏度控制逻辑系统184、记录/重放控制逻辑系统186、警报控制逻辑系统188、警告/通信系统控制逻辑系统190、机器设置控制逻辑系统192,并且它可以包括各种各样的其它物项194。机器设置控制逻辑系统192本身可以包括座位位置逻辑系统196、温度逻辑系统198、按钮分配逻辑系统200、无线电逻辑系统202、阀逻辑系统204、控制逻辑系统206,并且它可以包括其它物项208。
机器自动化控制逻辑系统190示例性地从图像处理系统104接收信号,并且可以控制自动化子系统142。例如,如果操作者是相对无经验的操作者,则逻辑系统180可以接通速度控制、转向控制、坡度控制或其它自动化系统以辅助操作者。在操作者是相对有经验的情况下,这些自动化子系统可以不被自动接通,而是可以将使用哪些子系统的决定留给操作者。这只是一个示例。
推进/转向控制逻辑系统182基于来自图像处理系统104的信息示例性地分别控制推进和转向子系统138和140。例如,如果操作者疲劳逻辑系统162生成操作者正在睡觉或已经睡觉的输出表示,则推进/转向控制逻辑系统182可以生成控制信号以控制推进系统停止机器106的运动。在注意力逻辑系统164生成操作者疏忽(或分心)的输出表示的情况下,则逻辑系统182可生成控制转向子系统140以自动地转向期望的路线并控制推进子系统138以使车辆减速的控制信号,直到操作者不再疏忽或分心。
灵敏度控制逻辑系统184可以生成控制信号以控制机器106上的各种致动器的灵敏度设置。例如,在使用操纵杆输入控制机器的情况下,如果操作者是相对有经验的操作者,则操纵杆的灵敏度可以被设置得相对高(或在相对高的灵敏度水平)。然而,如果操作者是没有经验的或分心的或由于一些其它原因,那么灵敏度控制逻辑系统184可以生成控制信号以自动降低操纵杆的灵敏度。这些仅仅是示例,并且可以以各种不同的方式控制各种其它致动器和操作者输入机构的灵敏度。
机器设置控制逻辑系统192可以基于由图像处理系统104生成的信息生成控制信号以控制或设置各种各样的不同机器设置。例如,认证系统112可以提供用于所识别的操作者108的优选设置的表示或用于该操作者的允许设置的表示。在这种情况下,座位位置逻辑系统196可基于操作者偏好将机器106的操作室中的座位位置设定为预定位置。温度逻辑系统198可控制机器106中的加热和冷却子系统,以便设置期望的温度,该期望的温度是操作者108的偏好并且由操作者信息116表示。
机器106中的用户输入按钮也可被分配给不同的功能。在这种情况下,可能的是,操作者108已经提供了将各种按钮分配给各种不同功能的优选按钮分配,或者该分配可能已经由控制系统130在操作者108最后一次设置分配时记录和存储(作为操作者信息146)。按钮分配逻辑系统200因此可以基于对应于所识别的操作者108的操作者信息116将按钮预先分配给那些功能。
无线电逻辑系统202可将无线电按钮分配给某些电台并将无线电调谐到期望的电台,并且阀逻辑系统204可基于操作者的身份控制电液阀设置或其它阀设置。
控制逻辑系统206可以基于操作者108的身份和与该操作者对应的操作者信息116而在机器106上设置各种各样的不同控制设置。例如,在农业收割机上,它可以自动地设置风扇速度设置、筛网和谷糠筛(chaffer)设置、转子速度设置、机器速度设置和各种各样的其它设置。
记录/重放控制逻辑系统186可以从机器/操作者监控系统120接收表示机器将要执行重复操作的表示。在这种情况下,在要记录重复操作时,记录/重放控制逻辑系统186可记录操作者输入(使用各种操作者输入机构上的操作者输入传感器,或以其它方式)。所记录的信息可被标识并存储在数据存储器126或其它地方。
如果重复操作要被重放,则逻辑系统186检测到这一点,并且可以生成控制信号以从数据存储器126(或另一数据存储器)检索该信息,并且生成控制信号以控制各种可控子系统134重复该存储的重复操作。
警报控制逻辑系统188示例性地控制可显示或以其它方式为操作者108显露的各种警报和诊断故障代码消息。作为示例,假设显示的故障代码表示即将对机器进行维护。警报控制逻辑系统188可以从视线跟踪逻辑系统166接收表示操作者已经看到警报的输入,并且执行表示他或她已经看到警报的姿势(诸如点头等)。在这种情况下,可以从显示器(或其他操作者界面机构)移除警报,而操作者108不需要从其他控制器移除他或她的手。
警告/通信系统控制逻辑系统190可以生成警告并将其传送到管理员/或其他远程系统。例如,当机器操作逻辑系统170识别出机器正在执行未被授权的操作时,则逻辑系统190可以生成表示这一点的警告,并且还可以控制通信子系统141将该警告传送到远程系统。
这些仅仅是如何使用控制系统130的示例。其它物项194也可以生成各种各样的其它控制信号。
图3A和3B(在此统称为图3)示出了图1所示的架构100(以及图2A-2C所示的各种物项)在使用图像捕获装置102捕获一个或多个图像、用图像处理系统104处理这些图像以及基于所处理的图像控制移动式机器106时的操作的一个示例的流程图。图像处理系统104首先访问图像捕获装置102,以便控制它来捕获操作者108的图像。它可以自动地这样做,或者它可以表示操作者108操作图像捕获装置102以捕获图像并将该图像发送到图像处理系统104。图像捕获装置102可以以其他方式被控制,并且也可以由其他组件控制。在图3的流程图中的框220处表示访问图像捕获装置102。应当注意,图像捕获装置102可以如框222所表示的在移动式装置上、如框224所表示的在机器106上、如框226所表示的在远程控制站或远程控制系统上、或如框228所表示的在另一装置上。
图像捕获装置102然后执行与操作者相关的图像捕获以便捕获与操作者相关的图像。这由框230表示。例如,它可以执行捕获操作者108的面部图像的面部图像捕获。这由框232表示。它可以执行捕获视网膜图像的视网膜扫描,如框234所示。它可以在其他操作者相关图像中捕获其他生物数据,如框236所示。它也可以捕获各种各样的其他类型的图像,这由框238表示。
然后在图案识别系统110处接收图像。图像可以由图像捕获装置102发送,或者由图案识别系统102检索,或者可以以其它方式接收。在图案识别系统110处接收所捕获的图像由图3的流程图中的框240表示。如上所述,图案识别系统110(实际上是图像处理系统104)可以位于如框242所表示的移动式装置上。它可以位于云中或另一远程计算系统中,如框244所表示。它可以位于如框246所表示的移动式机器106上,或者位于如框248所表示的其它位置(例如远程控制站或其它位置)。
图案识别系统110接着执行图案识别以识别图像的特征。这由图3的流程图中的框250表示。例如,在图像是面部图像的情况下,它可以识别该图像中的图案或其它特征。如果是视网膜扫描,则它也可以识别该图像的特征。
然后,将识别出的特征提供给认证系统112,该认证系统访问操作者认证记录(其可以在数据存储器114中或其他地方)以便识别操作者。这由框252表示。图案分析逻辑系统150可以识别图案特征,并且操作者识别逻辑系统152可以将那些特征与操作者数据进行匹配,以识别特定的操作者。这由图3的流程图中的框254和256表示。可以基于图像中所识别的图案信息以其它方式识别操作者108,并且这由框258表示。
然后,(认证系统112中的)数据存储器访问逻辑系统154访问数据存储器114中的操作者信息116,并且认证输出生成器逻辑系统156基于该信息生成认证输出。这由图3的流程图中的框260表示。输出可以表示操作者信息116,或者它可以是从该信息导出的控制输出。例如,输出可以识别授予该操作者108的许可,其可以表示机器106上的应当解锁的特定功能装置。产生表示操作者许可的输出,由框262所表示。输出可以识别机器设置,或者包括用于设置那些机器设置的控制信号。这由框264表示。认证系统可以获得并输出该操作者的警报或更新信息,如框266所表示。例如,更新信息可以表示操作者迄今在该特定机器上的表现。它可以表示操作者相对于其他操作者执行如何(在生产率方面)的比较。它可以输出操作者在安全、速度、效率或各种各样的其它度量方面操作如何的表示。
基于操作者信息116(或认证记录或该信息中的其他数据)的认证输出也可以以各种各样的其他方式生成。这由框268表示。
控制系统130然后基于来自认证系统112的输出生成控制机器106的控制信号。这由图3的流程图中的框270表示。例如,以上关于图2C描述的任何逻辑系统可以以对应的方式生成控制信号以控制机器106。一些示例包括控制移动式机器106以解锁授权的功能装置或授权的子系统134。这由框272所表示。机器设置控制逻辑系统192可以生成控制信号以设定机器设置,如框274所表示。警报控制逻辑系统188可以生成控制信号以生成警报和更新,如框276所表示。控制系统130可以基于来自认证系统112的输出生成各种各样的其它控制信号以控制移动式机器106。这由图3的流程图中的框278表示。
控制系统130然后将那些控制信号施加到可控子系统134,以便使用那些控制信号来控制可控子系统134。这由框280表示。
机器/操作者监控系统120也可以被提供和配置成在机器操作期间执行对操作者108的持续监控。如果是这种情况,如框282所表示,则由系统120执行持续监控。这由框284所表示,并且下面参考图4更详细地描述这种情况的一个示例。操作以这种方式持续,直到操作完成。这由图3的流程图中的框286表示。
图4是示出基于操作者108对机器106的持续操作、机器/操作者监控系统120在生成用于控制移动式机器106的信息时的操作的一个示例的流程图。图像捕获装置102捕获操作者108的附加图像以便执行这种类型的监控。这由框288所表示。可以间歇地或周期性地或者基于一些其它基于时间的标准来捕获图像。在另一个示例中,它们可以基于其他标准来捕获,例如操作者的身体位置的变化、对机器106控制输入或性能上的变化,或以其他方式。
一旦捕获了附加图像,图案识别系统110再次执行图像处理以基于该图像识别操作者/机器特征。这由框290所表示。例如,系统110可以生成输出,该输出由操作者位置逻辑系统160使用以识别操作者108的位置(例如操作者是否坐在座位上等)。这由框292所表示。
来自图案识别系统110的输出可以允许操作者疲劳逻辑系统162确定操作者的疲劳水平。例如,如果操作者的头部弯曲,或者如果操作者频繁眨眼或闭上他或她的眼睛持续延长的时间段,或者已经停止运动(表示操作者可能正在睡觉),则这些可以提供关于操作者的疲劳水平的表示。基于图像识别操作者疲劳由框294表示。
系统110的输出可以允许操作者注意力逻辑系统164生成表示操作者注意力的输出。这可以基于对操作者正在看哪里(相对于他或她应该看哪里)的分析或以其他方式来生成。生成表示操作者注意力的输出由框296所表示。
来自系统110的输出可以允许视线跟踪逻辑系统166跟踪操作者108的视线。这可以表示操作者正在看哪里、他或她是否已经看到某些警报、诊断故障代码等。识别操作者视线由框298表示。输出可以允许重复操作逻辑系统168确定操作者108将要执行或正在执行重复操作。这在上面已经讨论过,并且检测这些特征由框300表示。输出可提供允许机器操作逻辑系统170识别正在执行的特定机器操作的信息。例如,可以拍摄围绕机器106附近区域的图像,以识别机器正在操作的表面的类型等。表示机器操作类型的识别特征由框302表示。该信息可以允许机器位置/配置逻辑系统172识别机器的位置(例如门是否打开,或其它事情)。这由框304所表示。该信息也可以由其他监控器逻辑系统使用,以便以各种各样的其他方式识别操作者或机器特征,这由框306所表示。
然后,机器/操作者监控系统120生成由机器/操作者监控系统120中的各种逻辑系统物项所识别的表示监控信息的输出信号。生成输出信号由图4的流程图中的框308表示。
可以以各种不同的方式将监控系统输出信号提供给移动式机器106。例如,它可以作为输入提供给控制系统130。无论机器106如何接收它,控制系统130示例性地使用它来生成控制系统,该控制系统可以用于基于监控系统输出信号来控制一个或多个可控子系统134。这由图4的流程图中的框310表示。
作为示例,机器自动化控制逻辑系统180可以控制自动化子系统142以控制在机器106上激活的不同级别的自动化。这种情况的一些示例在上面已经讨论过,并且由图4的流程图中的框312表示。
推进/转向控制逻辑系统182可控制推进和转向子系统以使机器减速或停止,或控制机器的转向,或以其它方式控制它们。这由框314表示。
灵敏度控制逻辑系统184可以生成控制信号以设定各种子系统的灵敏度。如上所述,这可以基于操作者的经验水平、基于当前所识别的操作者特征(例如疲劳、注意力分散等)来完成。控制灵敏度由图4的流程图中的框316表示。
机器设置控制逻辑系统192可以生成控制信号以控制机器106上的各种设置。例如,它可以自动控制座位位置、无线电台、阀设置、驾驶室温度、按钮分配或其它控制设置。控制机器设置由框318表示。
记录/重放控制逻辑系统186可以生成控制信号以记录或重放重复操作。例如,当操作者将要执行重复操作时,它可以记录操作者的输入,并且当时间到了时,它可以自动地回放那些输入以便自动地控制机器106执行重复操作。产生控制信号以记录和重放重复动作由框320表示。
警报控制逻辑系统188可以基于操作者确认或其它特征来生成控制信号以控制诊断故障代码警报。例如,当系统120发送表示操作者已经看到并消除警报消息(诸如使用头部姿势)的输出时,警报控制逻辑系统188可以控制用户界面显示以便消除该警报。这由框322所表示。
警告/通信系统控制逻辑系统190还可以生成控制信号以生成警告(例如,机器106被不正确地使用)并将该警告发送到远程系统(诸如管理员的系统或其他地方)。控制警告和通信子系统141由图4的流程图中的框324表示。控制信号可以基于来自机器/操作者监控系统120的输出以各种各样的其它方式生成,以控制各种各样的其它可控子系统。这由框326所表示。
此外,在一个示例中,生产率感测逻辑系统174检测用于该特定操作者/操作的生产率传感器数据。例如,一旦操作者108被认证系统112识别,则对于该操作者,可以以各种不同的方式感测和汇总生产率度量。它们可以以相对精细的粒度(例如每次挖掘操作移动的材料量)被感测,或者它们可以在较小的粒度水平(例如对于这个操作者,对于这个班次,使用每加仑燃料移动的材料量)被汇总和生成。检测用于该操作者和/或该操作的生产率传感器数据由框328表示。对该信息执行任何汇总或其它处理由框330表示。在某一点,机器/操作者监控系统120可以将生产率信息存储在数据存储器114或数据存储器126上,或者存储在远程数据存储器上。这由框332表示。
这种类型的监控可以由机器/操作者监控系统120执行,直到当前操作完成,或者直到系统关闭,或者直到满足其它标准。以这种方式继续操作由图4的流程图中的框334表示。
本讨论提到了处理器和服务器。在一个实施例中,处理器和服务器包括具有未单独示出的相关联的存储器和定时电路的计算机处理器。它们是它们所属的系统或装置的功能部分,并且由这些系统中的其它组件或物项的功能激活,并且促进这些系统中的其它组件或物项的功能。
此外,已经讨论了许多用户界面显示。它们可以采用各种各样不同的形式,并且可以具有设置在其上的各种各样不同的用户可致动输入机构。例如,用户可致动输入机构可以是文本框、复选框、图标、链接、下拉菜单、搜索框等。它们也可以以各种各样不同的方式被致动。例如,它们可以使用点击装置(诸如跟踪球或鼠标)被致动。它们可以使用硬件按钮、开关、操纵杆或键盘、拇指开关或拇指垫等来致动。它们也可以使用虚拟键盘或其他虚拟致动器被致动。另外,在显示它们的屏幕是触敏屏幕的情况下,它们可以使用触摸姿势被致动。而且,在显示它们的装置具有语音识别组件的情况下,它们可以使用语音指令被致动。
还讨论了多个数据存储器。应当注意,它们可以各自被分成多个数据存储器。所有这些对于访问它们的系统都可以是本地的,所有这些都可以是远程的,或者一些可以是本地的而其他的是远程的。所有这些配置在此都被考虑。
此外,附图示出了具有归于每个框的功能的多个框。将注意到,可以使用较少的框,因此由较少的组件来执行功能。而且,可以使用更多的框,其中功能分布在更多的组件中。
图5是图1所示的架构100的框图,除了它与远程服务器架构500中的元件通信之外。在一个示例中,远程服务器架构500可以提供计算、软件、数据访问和存储服务,这些服务不需要终端用户知道递送服务的系统的物理位置或配置。在各种示例中,远程服务器可以使用适当的协议在诸如因特网的广域网上递送服务。例如,远程服务器可以在广域网上递送应用,并且它们可以通过网页浏览器或任何其他计算组件来访问。图1中所示的软件或组件以及相应的数据可以存储在远程位置处的服务器上。远程服务器环境中的计算资源可以在远程数据中心位置合并,或者它们可以被分散。远程服务器基础设施可以通过共享的数据中心来递送服务,即使它们对于用户而言表现为单个访问点。因此,可以使用远程服务器架构从远程位置处的远程服务器提供本文描述的组件和功能。或者,它们可以从常规服务器提供,或者它们可以直接或以其它方式安装在客户端装置上。
在图5所示的示例中,一些物项与图1所示的物项类似,并且它们被类似地编号。图5具体示出了图像捕获装置102和图像处理子系统104可以位于各种不同的位置,诸如在移动式装置504上、在远程工作站506处、在机器106上、在云502中或在别处。因此,收割机100通过远程服务器站502访问那些系统。
图5还描绘了远程服务器架构的另一示例。图5示出了还预期图1的一些元件被设置在远程服务器站502处,而其他元件则不是。作为示例,数据存储器114或图案识别系统110可被设置在与位置502分开的位置处,并且通过位置502处的远程服务器来访问。不管它们位于何处,它们可以由物项106、504和/或506通过网络(广域网或局域网)直接访问,它们可以通过服务器托管在远程站点处,或者它们可以作为服务器被提供,或者通过位于远程位置中的连接服务器被访问。而且,数据可以存储在基本上任何位置,并且可以由感兴趣的各方间歇地访问或转发到感兴趣的各方。例如,可以使用物理载体来代替电磁波载体,或者除了电磁波载体之外,还可以使用物理载体。在这种示例中,在蜂窝覆盖较差或不存在的情况下,另一移动式机器(诸如燃料卡车)可以具有自动化信息收集系统。当机器106接近用于加油的燃料卡车时,系统使用任何类型的自组网无线连接自动地收集来自机器106的信息。然后,当燃料卡车到达存在蜂窝覆盖(或其它无线覆盖)的位置时,收集的信息可以被转发到主网络。例如,当为其它机器提供燃料或当在主燃料存储位置时,燃料卡车可进入被覆盖的位置。所有这些架构都在此被考虑。此外,信息可被存储在机器106上,直到机器106进入覆盖位置。然后,机器106本身可以将信息发送到主网络。
还应当注意,图1的元件或它们的部分可以设置在各种各样不同的装置上。这些装置中的一些包括服务器、台式计算机、膝上型计算机、平板计算机或其他移动式装置,诸如掌上计算机、蜂窝电话、智能电话、多媒体播放器、个人数字助理等。
图6是可用作用户或客户的手持装置16的手持式或移动式计算装置的一个示例性示例的简化框图,其中可部署本系统(或其部分)。例如,移动式装置可以部署在机器106的操作者室中,用于接收输入、生成、处理或显示信息。图7-8是手持或移动式装置的示例。
图6提供了客户端装置16的组件的总体框图,所述组件可以运行图1所示的一些组件、与其交互、或前述两者。在装置16中,提供了通信链路13,其允许手持装置与其他计算装置通信,并且在一些示例中提供了用于诸如通过扫描自动地接收信息的信道。通信链路13的示例包括允许通过一个或多个通信协议进行通信,所述通信协议例如是用于提供对网络的蜂窝访问的无线服务,以及通过提供到网络的本地无线连接的协议进行通信。
在其它示例中,可以在连接到界面15的可移动安全数字(SD)卡上接收应用程序。界面15和通信链路13沿着也连接到存储器21和输入/输出(I/O)组件23以及时钟25和定位系统27的总线19与处理器17(其也可以包括来自先前附图的处理器)进行通信。
在一个示例中,提供I/O组件23以便于输入和输出操作。用于装置16的各种示例的I/O组件23可以包括输入组件,诸如按钮、触摸传感器、光学传感器、麦克风、触摸屏、近场传感器、加速计、定向传感器,以及输出组件,诸如显示装置、扬声器和/或打印机端口。也可以使用其它I/O组件23。
时钟25示例性地包括输出时间和日期的实时时钟部件。它还可以示例性地为处理器17提供定时功能。
定位系统27示例性地包括输出装置16的当前地理位置的部件。这可以包括例如全球定位系统(GPS)接收器、LORAN系统、航位推算系统、蜂窝三角测量系统或其他定位系统。它还可以包括例如生成期望地图、导航路线和其它地理功能的地图绘制软件或导航软件。
存储器21存储操作系统29、网络设置31、应用33、应用配置设置35、数据存储器37、通信驱动器39和通信配置设置41。存储器21可以包括所有类型的有形易失性和非易失性计算机可读存储器装置。它也可以包括计算机存储介质(下面描述)。存储器21存储计算机可读指令,当由处理器17执行时,所述计算机可读指令使处理器根据指令执行计算机实现的步骤或功能。处理器17也可以由其他组件激活以促进其功能。
图7示出了一个示例,其中装置16是平板计算机600。在图7中,计算机600被示为具有用户界面显示屏幕602。屏幕602可以是触摸屏或从笔或表示笔接收输入的启用笔的界面。它也可以使用屏幕上的虚拟键盘。当然,它也可通过合适的连接机构,例如无线链路或USB端口,连接到键盘或其它用户输入装置。计算机600也可以示例性地接收语音输入。
图8示出了该装置可以是智能电话71。智能电话71具有显示图标或图块(tile)或其它用户输入机构75的触敏显示器73。用户可以使用机构75来运行应用、进行呼叫、执行数据传送操作等。通常,智能电话71建立在移动操作系统上,并且提供比功能电话更高级的计算能力和连接性。
注意,其它形式的装置16也是可能的。
图9是其中可以部署图1的元件或其部分(例如)的计算环境的一个示例。参考图9,用于实现一些实施例的示例系统包括计算机810形式的计算装置。计算机810的组件可包括但不限于处理单元820(可包括来自之前附图的处理器或服务器)、系统存储器830、以及将包括系统存储器在内的各种系统组件耦合到处理单元820的系统总线821。系统总线821可以是若干类型的总线结构中的任一种,包括存储器总线或存储器控制器、外围总线、以及使用各种总线架构中的任一种的局部总线。关于图1描述的存储器和程序可以部署在图9的对应部分中。
计算机810通常包括各种计算机可读介质。计算机可读介质可以是可由计算机810访问的任何可用介质,并包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制,计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质不同于并且不包括调制数据信号或载波。它包括硬件存储介质,该硬件存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储装置、或能用于存储所需信息且可以由计算机810访问的任何其它介质。通信介质可以包括计算机可读指令、数据结构、程序模块或传输机构中的其它数据,并且包括任何信息传递介质。术语“已调制数据信号”指以在信号中编码信息的方式设置或改变其一个或多个特征的信号。
系统存储器830包括易失性和/或非易失性存储器形式的计算机存储介质,诸如只读存储器(ROM)831和随机存取存储器(RAM)832。基本输入/输出系统833(BIOS)包括如在启动时帮助在计算机810内的元件之间传输信息的基本例程,它通常储存在ROM831中。RAM832通常包含处理单元820可立即访问和/或当前正在对其进行操作的数据和/或程序模块。作为示例而非限制,图9示出了操作系统834、应用程序835、其它程序模块836和程序数据837。
计算机810还可包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例,图9示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器841、光盘驱动器855、以及非易失性光盘856。硬盘驱动器841通常通过诸如接口840等不可移动存储器接口连接到系统总线821,而光盘驱动器855通常通过诸如接口850等的可移动存储器接口连接到系统总线821。
可替换地或另外地,本文描述的功能可以至少部分地由一个或多个硬件逻辑系统组件来执行。例如,但不限于,可以使用的硬件逻辑系统部件的示例性类型包括现场可编程门阵列(FPGA)、专用集成电路(例如,ASIC)、专用标准产品(例如,ASSP)、片上系统(SOC)、复杂可编程逻辑系统器件(CPLD)等。
以上讨论并在图9中示出的驱动器及其相关联的计算机存储介质为计算机810提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如,在图9中,硬盘驱动器841被示为存储操作系统844、应用程序845、其它程序模块846和程序数据847。注意,这些组件可以与操作系统834、应用程序835、其它程序模块836和程序数据837相同,也可以与它们不同。
用户可以通过输入装置,诸如键盘862、麦克风863和诸如鼠标、跟踪球或触摸垫等定位装置861向计算机810输入指令和信息。其它输入装置(未示出)可包括操纵杆、游戏垫、卫星天线、扫描仪等。这些和其它输入装置通常通过耦合至系统总线的用户输入接口860连接至处理单元820,但也可通过其它接口和总线结构来连接。视觉显示器891或其它类型的显示装置也通过诸如视频接口890等接口连接到系统总线821。除了监视器之外,计算机还可包括其它外围输出装置,诸如扬声器897和打印机896,它们可通过输出外围接口895连接。
计算机810在使用到诸如远程计算机880等的一个或多个远程计算机的逻辑系统连接(诸如局域网-LAN或广域网WAN)的网络化环境中操作。
当在LAN网络环境中使用时,计算机810通过网络接口或适配器870连接到LAN871。当在WAN网络环境中使用时,计算机810通常包括调制解调器872或用于通过WAN 873(诸如因特网)建立通信的其它装置。在网络化环境中,程序模块可被存储在远程存储器存储装置中。图9示出了例如远程应用程序885可以驻留在远程计算机880上。
还应当注意,这里描述的不同实施例可以以不同方式组合。也就是说,一个或多个实施例的部分可以与一个或多个其他实施例的部分组合。所有这些在此都被考虑。
示例1是一种移动式作业机器,包括:
可控子系统;
图案识别系统,其接收表示操作者的图像的图像数据,所述操作者的图像由图像捕获装置捕获;
认证系统,其基于图像数据识别操作者的特征;
认证输出生成器逻辑系统,其基于所识别的操作者的特征来生成表示控制数据的认证系统输出;以及
控制系统,其基于控制数据生成控制信号以控制可控子系统。
示例2是任一或所有前述示例的移动式作业机器,其中,可控子系统包括可锁定机器功能装置,并且其中,认证系统包括:
数据存储器访问逻辑系统,其被配置成基于所识别的操作者的特征来访问数据存储器,以获得与操作者相对应的一组许可。
示例3是任一或所有前述示例的移动式作业机器,其中,控制系统被配置成基于所述组的许可生成控制信号以解锁可控子系统上的机器功能装置。
示例4是任一或所有前述示例的移动式作业机器,其中,可控子系统包括被激活以执行自动化控制操作的自动化子系统,并且其中,控制系统被配置为基于操作者的特征生成控制信号以控制自动化子系统的激活。
示例5是任一或所有前述示例的移动式作业机器,其中,可控子系统包括可控机器设置,并且其中,控制系统包括:
机器设置控制逻辑系统,其被配置为基于操作者的特征来生成控制信号以设定可控机器设置。
示例6是任一或所有前述示例的移动式作业机器,其中,可控子系统包括可分配给不同功能的一组可分配按钮,其中,机器设置控制逻辑系统包括:
按钮分配逻辑系统,其被配置为基于操作者的特征生成控制信号以自动地控制对可分配按钮的功能分配。
示例7是任一或所有前述示例的移动式作业机器,其中,可控子系统包括具有灵敏度设置的操作者输入机构,其中,控制系统包括:
灵敏度控制逻辑系统,其被配置为基于操作者的特征生成灵敏度设置控制信号,以将操作者输入机构的灵敏度设置自动设定为一灵敏度。
示例8是任一或所有前述示例的移动式作业机器,其中,图案识别系统被配置为接收来自于操作者的多个图像的图像数据,所述多个图像在移动式作业机器的操作期间由图像捕获装置捕获,并且还包括:
机器/操作者监控系统,其被配置为基于来自于所述多个图像的图像数据来监控操作者的与表现相关的质量。
示例9是任一或所有前述示例的移动式作业机器,其中,机器/操作者监控系统包括:
操作者注意力逻辑系统,其被配置成生成表示操作者注意力的操作者注意力值,其中,所述控制系统基于操作者注意力值生成控制信号以控制可控子系统。
示例10是任一或所有前述示例的移动式作业机器,其中,机器/操作者监控系统包括:
操作者疲劳逻辑系统,其被配置成生成表示操作者疲劳的操作者疲劳值,其中,控制系统基于操作者疲劳值生成控制信号以控制可控子系统。
示例11是任一或所有前述示例的移动式作业机器,其中,机器/操作者监控系统包括:
操作者姿势逻辑系统,其被配置为生成表示操作者姿势的操作者姿势信号,其中,所述控制系统基于操作者姿势信号生成控制信号以控制可控子系统。
示例12是任一或所有前述示例的移动式作业机器,其中,机器/操作者监控系统包括:
生产率感测逻辑系统,其被配置为感测表示操作者生产率的操作者生产率变量,并生成表示操作者生产率的操作者生产率信号,其中,控制系统控制通信系统以将操作者生产率信号传送到远程系统。
示例13是一种控制移动式作业机器的计算机实现的方法,包括:
接收表示操作者的图像的图像数据,所述图像由图像捕获装置捕获;
基于图像数据识别操作者的特征;
基于所识别的操作者的特征来生成表示控制数据的认证系统输出;以及
基于控制数据生成控制信号以控制移动式作业机器上的可控子系统。
示例14是任一或所有前述示例的计算机实现的方法,其中,可控子系统包括可锁定机器功能装置,并且其中,生成认证系统输出包括:
基于所识别的操作者的特征,访问数据存储器以获得对应于所述操作者的一组许可。
示例15是任一或所有前述示例的计算机实现的方法,其中,生成控制信号包括:
基于所述组的许可生成控制信号以解锁可控子系统上的机器功能装置。
示例16是任一或所有前述示例的计算机实现的方法,其中,可控子系统包括被激活以执行自动化控制操作的自动化子系统,并且其中,生成控制信号包括基于操作者的特征生成控制信号以控制自动化子系统的激活。
示例17是任一或所有前述示例的计算机实现的方法,其中,可控子系统包括可控机器设置,并且其中,生成控制信号包括:
基于操作者的特征生成控制信号以设定可控机器设置。
示例18是任一或所有前述示例的计算机实现的方法,其中,接收图像数据包括接收来自于操作者的多个图像的图像数据,所述多个图像在移动式作业机器的操作期间由图像捕获装置捕获,并且还包括:
基于来自于所述多个图像的所述图像数据来监控操作者的与表现相关的质量,并且其中,生成控制信号包括基于与表现相关的质量来生成控制信号。
示例19是一种移动式作业机器控制系统,包括:
图案识别系统,其接收表示移动式作业机器的操作者的图像的图像数据,所述图像由图像捕获装置捕获;
认证系统,其基于图像数据识别操作者的特征;
认证输出生成器逻辑系统,其基于所识别的操作者的特征来生成表示控制数据的认证系统输出;以及
控制系统,其基于控制数据生成控制信号以控制移动式作业机器上的可控子系统。
示例20是任一或所有前述示例的移动式作业机器控制系统,其中,图案识别系统被配置为接收来自于从操作者的多个图像的图像数据,所述多个图像在移动式作业机器的操作期间由图像捕获装置捕获,并且还包括:
机器/操作者监控系统,其被配置为基于来自所述多个图像的图像数据来监控操作者的与表现相关的质量,其中,所述控制系统被配置为基于与表现相关的质量来生成控制信号以控制可控子系统。
尽管已经以特定于结构特征和/或方法动作的语言描述了主题,但是应当理解,所附权利要求中定义的主题不必限于上述特定特征或动作。相反,上述具体特征和动作是作为实现权利要求的示例形式来公开的。

Claims (20)

1.一种移动式作业机器,包括:
可控子系统;
图案识别系统,所述图案识别系统接收表示操作者的图像的图像数据,所述操作者的图像由图像捕获装置捕获;
认证系统,所述认证系统基于所述图像数据识别操作者的特征;
认证输出生成器逻辑系统,所述认证输出生成器逻辑系统基于所述操作者的被识别的特征来生成表示控制数据的认证系统输出;以及
控制系统,所述控制系统基于所述控制数据生成用于控制所述可控子系统的控制信号。
2.根据权利要求1所述的移动式作业机器,其中,所述可控子系统包括可锁定机器功能,并且其中,所述认证系统包括:
数据存储器访问逻辑系统,所述数据存储器访问逻辑系统被配置成,基于所述操作者的被识别的特征,访问数据存储器以获得与所述操作者相对应的一组许可。
3.根据权利要求2所述的移动式作业机器,其中,所述控制系统被配置成基于所述一组许可而生成所述控制信号,以解锁所述可控子系统上的机器功能。
4.根据权利要求1所述的移动式作业机器,其中,所述可控子系统包括自动化子系统,该自动化子系统被激活以执行自动化控制操作,并且其中,所述控制系统被配置为基于所述操作者的所述特征生成所述控制信号以控制自动化子系统的激活。
5.根据权利要求1所述的移动式作业机器,其中,所述可控子系统包括可控机器设置,并且其中,所述控制系统包括:
机器设置控制逻辑系统,所述机器设置控制逻辑系统被配置为基于所述操作者的所述特征来生成用于设定所述可控机器设置的控制信号。
6.根据权利要求5所述的移动式作业机器,其中,所述可控子系统包括能够被分配不同功能的一组可分配按钮,其中,所述机器设置控制逻辑系统包括:
按钮分配逻辑系统,所述按钮分配逻辑系统被配置为基于所述操作者的所述特征生成用于自动地控制对所述可分配按钮进行功能分配的控制信号。
7.根据权利要求1所述的移动式作业机器,其中,所述可控子系统包括具有灵敏度设置的操作者输入机构,其中,所述控制系统包括:
灵敏度控制逻辑系统,所述灵敏度控制逻辑系统被配置为基于所述操作者的所述特征生成用于将操作者输入机构的灵敏度设置自动地设定为一灵敏度的灵敏度设置控制信号。
8.根据权利要求1所述的移动式作业机器,其中,所述图案识别系统被配置为接收来自于所述操作者的多个图像的图像数据,所述多个图像由图像捕获装置在移动式作业机器的操作期间捕获,并且所述图案识别系统还包括:
机器/操作者监控系统,所述机器/操作者监控系统被配置为基于来自于所述多个图像的所述图像数据来监控所述操作者的与表现相关的质量。
9.根据权利要求8所述的移动式作业机器,其中,所述机器/操作者监控系统包括:
操作者注意力逻辑系统,所述操作者注意力逻辑系统被配置成生成表示操作者注意力的操作者注意力值,其中,所述控制系统基于操作者注意力值生成所述控制信号以控制可控子系统。
10.根据权利要求8所述的移动式作业机器,其中,所述机器/操作者监控系统包括:
操作者疲劳逻辑系统,所述操作者疲劳逻辑系统被配置成生成表示操作者疲劳的操作者疲劳值,其中,所述控制系统基于操作者疲劳值生成所述控制信号以控制可控子系统。
11.根据权利要求8所述的移动式作业机器,其中,所述机器/操作者监控系统包括:
操作者姿势逻辑系统,所述操作者姿势逻辑系统被配置为生成表示操作者姿势的操作者姿势信号,其中,所述控制系统基于操作者姿势信号生成所述控制信号以控制可控子系统。
12.根据权利要求8所述的移动式作业机器,其中,所述机器/操作者监控系统包括:
生产率感测逻辑系统,所述生产率感测逻辑系统被配置为感测表示操作者生产率的操作者生产率变量,并生成表示操作者生产率的操作者生产率信号,其中,所述控制系统控制通信系统以将操作者生产率信号传送到远程系统。
13.一种控制移动式作业机器的计算机实现的方法,包括:
接收表示操作者的图像的图像数据,所述操作者的图像由图像捕获装置捕获;
基于所述图像数据识别所述操作者的特征;
基于所述操作者的被识别的特征来生成表示控制数据的认证系统输出;以及
基于所述控制数据生成控制信号以控制移动式作业机器上的可控子系统。
14.根据权利要求13所述的计算机实现的方法,其中,所述可控子系统包括可锁定机器功能,并且其中,生成认证系统输出包括:
基于所述操作者的被识别的特征,访问数据存储器以获得对应于所述操作者的一组许可。
15.根据权利要求14所述的计算机实现的方法,其中,生成控制信号包括:
基于所述一组许可来生成所述控制信号以解锁可控子系统上的机器功能。
16.根据权利要求13所述的计算机实现的方法,其中,所述可控子系统包括被激活以执行自动化控制操作的自动化子系统,并且其中,生成控制信号包括基于所述操作者的所述特征生成控制信号以控制自动化子系统的激活。
17.根据权利要求13所述的计算机实现的方法,其中,所述可控子系统包括可控机器设置,并且其中,生成控制信号包括:
基于所述操作者的所述特征生成控制信号以设定所述可控机器设置。
18.根据权利要求13所述的计算机实现的方法,其中,接收图像数据包括接收来自于所述操作者的多个图像的图像数据,所述多个图像由图像捕获装置在移动式作业机器的操作期间捕获,并且该方法还包括:
基于来自于所述多个图像的所述图像数据来监控操作者的与表现相关的质量,并且其中,生成控制信号包括基于所述与表现相关的质量来生成所述控制信号。
19.一种移动式作业机器控制系统,包括:
图案识别系统,所述图案识别系统接收表示移动式作业机器的操作者的图像的图像数据,所述图像由图像捕获装置捕获;
认证系统,所述认证系统基于所述图像数据识别所述操作者的特征;
认证输出生成器逻辑系统,所述认证输出生成器逻辑系统基于所述操作者的被识别的特征来生成表示控制数据的认证系统输出;以及
控制系统,所述控制系统基于所述控制数据生成用于控制移动式作业机器上的可控子系统的控制信号。
20.根据权利要求19所述的移动式作业机器控制系统,其中,所述图案识别系统被配置为接收来自于所述操作者的多个图像的图像数据,所述多个图像由图像捕获装置在移动式作业机器的操作期间捕获,并且所述图案识别系统还包括:
机器/操作者监控系统,所述机器/操作者监控系统被配置为基于来自所述多个图像的图像数据来监控所述操作者的与表现相关的质量,其中,所述控制系统被配置为基于所述与表现相关的质量来生成所述控制信号以控制可控子系统。
CN202010031997.2A 2019-01-15 2020-01-13 使用生物识别的机器控制 Pending CN111435440A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/248,011 2019-01-15
US16/248,011 US10723226B1 (en) 2019-01-15 2019-01-15 Machine control using biometric recognition

Publications (1)

Publication Number Publication Date
CN111435440A true CN111435440A (zh) 2020-07-21

Family

ID=71131817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010031997.2A Pending CN111435440A (zh) 2019-01-15 2020-01-13 使用生物识别的机器控制

Country Status (4)

Country Link
US (2) US10723226B1 (zh)
CN (1) CN111435440A (zh)
BR (1) BR102020000713A2 (zh)
DE (1) DE102020200396A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3666981B1 (en) * 2017-08-08 2023-12-27 Sumitomo Heavy Industries, Ltd. Excavator, excavator assist device, and excavator management device
US10723226B1 (en) 2019-01-15 2020-07-28 Deere & Company Machine control using biometric recognition
JP7293822B2 (ja) * 2019-04-05 2023-06-20 コベルコ建機株式会社 技能評価システム及び技能評価方法
US11945515B2 (en) * 2020-08-31 2024-04-02 Deere & Company Utility vehicle

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100778060B1 (ko) * 2007-06-01 2007-11-21 (주)텔릭스타 얼굴인식기술을 이용한 위난방지장치 및 이를 이용한위난방지장치 시스템
US8855909B2 (en) * 2008-01-07 2014-10-07 Harman International Industries, Inc. Route determining system for a vehicle with navigation system
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
AU2013206671B2 (en) 2013-07-03 2015-05-14 Safemine Ag Operator drowsiness detection in surface mines
WO2015151862A1 (ja) * 2014-04-01 2015-10-08 みこらった株式会社 自動車及び自動車用プログラム
US20170088147A1 (en) 2015-09-30 2017-03-30 Agco Corporation User Interface for Mobile Machines
EP3355670B1 (en) 2015-09-30 2020-05-13 AGCO Corporation User interface for mobile machines
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
CN107554483A (zh) 2017-08-29 2018-01-09 湖北科技学院 一种基于人脸表情动作识别的车辆防盗系统
JP2019049875A (ja) * 2017-09-11 2019-03-28 トヨタ自動車株式会社 作動許可認証装置
DE102017131264A1 (de) * 2017-12-22 2019-06-27 Liebherr-Hydraulikbagger Gmbh Baumaschine, insbesondere Erdbewegungsmaschine mit einem Bedienpult
US10723226B1 (en) 2019-01-15 2020-07-28 Deere & Company Machine control using biometric recognition

Also Published As

Publication number Publication date
BR102020000713A2 (pt) 2020-08-04
US20200223312A1 (en) 2020-07-16
US11161410B2 (en) 2021-11-02
US10723226B1 (en) 2020-07-28
US20200223311A1 (en) 2020-07-16
DE102020200396A1 (de) 2020-07-16

Similar Documents

Publication Publication Date Title
CN111435440A (zh) 使用生物识别的机器控制
US10746560B2 (en) Interactive mapping
US11175651B2 (en) Method, device and system for presenting operation information of a mobile platform
US20210246626A1 (en) Shovel, information processing apparatus, and recording medium storing information processing program
US10223603B1 (en) Apparatuses, systems, and methods for determining when a vehicle occupant is using a mobile telephone
CN107276760B (zh) 移动式作业机器及设备以及管理计算系统
KR101329956B1 (ko) 인터페이스 적응 시스템
CN113631779B (zh) 挖土机及施工系统
CN110033763B (zh) 具有语音服务的建筑机械
US10282624B1 (en) Apparatuses, systems, and methods for determining when a vehicle operator is texting while driving
CN107818251B (zh) 一种人脸识别方法及移动终端
US20180150070A1 (en) Portable inspection and control device
CN109819007A (zh) 多个不同机器的远程控制
EP3527060B1 (en) Controlling an agricultural implement using a metric priority
CN114475579A (zh) 泊车方法、装置、设备及存储介质
CN114830853A (zh) 具有改进的平整控制系统的移动平整机器
US20230292663A1 (en) Settings propagation and synchronization across mobile work machines
EP3922775B1 (en) Remote operation system and remote operation server
WO2021192224A1 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
US10733991B2 (en) Construction machine mode switching with voice services
CN117873591A (zh) 一种跨平台的无人艇系统人机交互界面载入方法
CN113879162A (zh) 机器人的控制方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination