CN112829754A - 车载智能机器人和车载智能机器人的运行方法 - Google Patents

车载智能机器人和车载智能机器人的运行方法 Download PDF

Info

Publication number
CN112829754A
CN112829754A CN202110080545.8A CN202110080545A CN112829754A CN 112829754 A CN112829754 A CN 112829754A CN 202110080545 A CN202110080545 A CN 202110080545A CN 112829754 A CN112829754 A CN 112829754A
Authority
CN
China
Prior art keywords
vehicle
algorithm execution
driver
image information
signal processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110080545.8A
Other languages
English (en)
Other versions
CN112829754B (zh
Inventor
代圩金
陆天如
李俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hozon New Energy Automobile Co Ltd
Original Assignee
Zhejiang Hozon New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hozon New Energy Automobile Co Ltd filed Critical Zhejiang Hozon New Energy Automobile Co Ltd
Priority to CN202110080545.8A priority Critical patent/CN112829754B/zh
Publication of CN112829754A publication Critical patent/CN112829754A/zh
Application granted granted Critical
Publication of CN112829754B publication Critical patent/CN112829754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种车载智能机器人和车载智能机器人的运行方法,车载机器人包括:主体、通信接口、摄像头以及处理器模块,处理器模块设于主体内且与通信接口连接,处理器模块包括车辆信号处理器、摄像头信号处理器以及运算芯片,其中,车辆信号处理器用于通过通信接口接收和处理中控主机发出的指令并生成算法执行信息,摄像头信号处理器与摄像头连接,用于接收和处理照片并输出图像信息,运算芯片用于根据算法执行信息和图像信息独立地执行一个或多个影像处理算法。本发明的车载智能机器人和车载智能机器人的运行方法可以灵活地改变智能机器人的运算功能,减轻汽车中控主机的运行负担,提高车载智能机器人的功能开发能力,降低开发成本。

Description

车载智能机器人和车载智能机器人的运行方法
技术领域
本发明主要涉及车载智能机器人领域,尤其涉及一种车载智能机器人和车载智能机器人的运行方法。
背景技术
在市面上常见的机器人电子设计方案中,机器人实体多设置为仅执行显示/动作执行单元,而不具有可以灵活控制的运算功能,运算功能都是由汽车中控主机实现。
汽车中控主机作为整车电器的核心控制部分,实现各种音视频、娱乐、导航、网联应用以及显示屏驱动等等各种消耗资源的功能。因此,车载中控主机其实际的计算资源往往比较紧张。现有技术中将驱动智能机器人以及智能机器人的各种算法交由中控主机来实现,会产生较多弊端,例如:
1)无法灵活增加智能机器人的功能,因为一旦需要增加智能机器人功能,往往涉及到整个中控主机的软件的同步修改,进而引入软件重新释放的风险;以及
2)当机器人存在消耗资源较大的算法的时候,挤占中控主机资源,严重时将导致中控主机的整个软件因为资源不足而无法运行。
发明内容
本发明要解决的技术问题是提供一种车载智能机器人及其运行方法,可以灵活地改变智能机器人的运算功能,减轻汽车中控主机的运行负担,提高车载智能机器人的功能开发能力,降低开发成本。
为解决上述技术问题,本发明提供了一种车载智能机器人,包括:主体,适于可分离地置于汽车内;通信接口,设于所述主体内,用于与所述汽车的中控主机通信;摄像头,与所述主体连接,用于拍摄照片并将所述照片传输至所述主体;以及处理器模块,设于所述主体内且与所述通信接口连接,所述处理器模块包括车辆信号处理器、摄像头信号处理器以及运算芯片,其中,所述车辆信号处理器用于通过所述通信接口接收并处理所述中控主机发出的指令以及生成算法执行信息,所述摄像头信号处理器与所述摄像头连接,用于接收并处理所述照片并输出图像信息,所述运算芯片用于根据所述算法执行信息和图像信息独立地执行一个或多个影像处理算法。
在本发明的一实施例中,所述指令包括通过低压差分信号LVDS传送的指令。
在本发明的一实施例中,所述摄像头信号处理器输出的图像信息包括关于驾驶员的面部特征、面部表情和/或眼睛闭合程度的图像信息。
在本发明的一实施例中,所述影像处理算法包括疲劳监测算法,所述照片包括驾驶员的面部照片,所述指令和算法执行信息包括疲劳监测指令和疲劳监测算法执行信息,所述摄像头信号处理器输出的图像信息包括所述关于驾驶员面部特征和眼睛闭合程度的图像信息,以及所述运算芯片用于根据所述疲劳监测算法执行信息和关于驾驶员面部特征和眼睛闭合程度的图像信息执行疲劳监测算法,获得疲劳监测算法执行结果。
在本发明的一实施例中,所述影像处理算法包括身份验证算法,所述照片包括驾驶员的面部照片,所述指令和算法执行信息包括身份验证指令和身份验证算法执行信息,所述摄像头信号处理器输出的图像信息包括所述关于驾驶员面部特征的图像信息,以及所述运算芯片用于根据所述身份验证算法执行信息和关于驾驶员面部特征的图像信息执行身份验证算法,获得身份验证算法执行结果。
在本发明的一实施例中,所述影像处理算法包括情绪识别算法,所述照片包括驾驶员的面部照片,所述指令和算法执行信息包括情绪识别指令和情绪识别算法执行信息,所述摄像头信号处理器输出的图像信息包括所述关于驾驶员面部表情的图像信息,以及所述运算芯片用于根据所述情绪识别算法执行信息和关于驾驶员面部表情的图像信息执行情绪识别算法,获得情绪识别算法执行结果。
为了解决以上的技术问题,本发明还提出了一种车载智能机器人的运行方法,所述车载智能机器人具有适于可分离地置于汽车内的主体和与所述主体连接的摄像头,以及位于所述主体内的通信接口和处理器模块,所述处理器模块进一步包括车辆信号处理器、摄像头信号处理器以及运算芯片,其特征在于,所述方法包括如下步骤:S1:车辆中控主机通过所述通信接口传送指令至所述车辆信号处理器,所述车辆信号处理器处理所述指令并生成算法执行信息;S2:所述摄像头拍摄照片,所述摄像头信号处理器处理所述照片并输出图像信息;S3:所述运算芯片根据所述算法执行信息和图像信息执行影像处理算法,获得算法执行结果;以及S4:所述处理器模块将所述执行结果反馈至所述中控主机。
在本发明的一实施例中,在步骤S1中,所述指令包括疲劳监测指令,所述算法执行信息包括疲劳监测算法执行信息;步骤S2包括所述摄像头拍摄驾驶员的面部照片,所述摄像头信号处理器处理所述面部照片并输出关于驾驶员面部特征和眼睛闭合程度的图像信息;以及步骤S3包括,所述运算芯片根据所述疲劳监测算法执行信息和关于驾驶员面部特征和眼睛闭合程度的图像信息执行疲劳监测算法,获得疲劳监测算法执行结果。
在本发明的一实施例中,在步骤S1中,所述指令包括身份验证指令,所述算法执行信息包括身份验证算法执行信息;步骤S2包括所述摄像头拍摄驾驶员的面部照片,所述摄像头信号处理器处理所述面部照片并输出关于驾驶员面部特征的图像信息;以及步骤S3包括,所述运算芯片根据所述身份验证算法执行信息和关于驾驶员面部特征的图像信息执行身份验证算法,获得身份验证算法执行结果。
在本发明的一实施例中,在步骤S1中,所述指令包括情绪识别指令,所述算法执行信息包括情绪识别算法执行信息;步骤S2包括所述摄像头拍摄驾驶员的面部照片,所述摄像头信号处理器处理所述面部照片并输出关于驾驶员面部表情的图像信息;以及步骤S3包括,所述运算芯片根据所述情绪识别算法执行信息和关于驾驶员面部表情的图像信息执行情绪识别算法,获得情绪识别算法执行结果。
与现有技术相比,本发明的一种车载智能机器人和车载智能机器人的运行方法可以使车载智能机器人实现不同的应用功能,并且实现不同应用功能是通过车载机器人内部的运算芯片完成的,在提高车载智能机器人运算能力的同时,还可以降低汽车中央控制系统的运算负担。
附图说明
包括附图是为提供对本申请进一步的理解,它们被收录并构成本申请的一部分,附图示出了本申请的实施例,并与本说明书一起起到解释本发明原理的作用。附图中:
图1是本发明的一种车载智能机器人的系统框图;以及
图2是本发明的一种车载智能机器人的运行方法的流程示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
在本申请的描述中,需要理解的是,方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,在未作相反说明的情况下,这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作,因此不能理解为对本申请保护范围的限制;方位词“内、外”是指相对于各部件本身的轮廓的内外。
为了便于描述,在这里可以使用空间相对术语,如“在……之上”、“在……上方”、“在……上表面”、“上面的”等,用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是,空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如,如果附图中的器件被倒置,则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而,示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位),并且对这里所使用的空间相对描述作出相应解释。
此外,需要说明的是,使用“第一”、“第二”等词语来限定零部件,仅仅是为了便于对相应零部件进行区别,如没有另行声明,上述词语并没有特殊含义,因此不能理解为对本申请保护范围的限制。此外,尽管本申请中所使用的术语是从公知公用的术语中选择的,但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的,其详细含义在本文的描述的相关部分中说明。此外,要求不仅仅通过所使用的实际术语,而是还要通过每个术语所蕴含的意义来理解本申请。
应当理解,当一个部件被称为“在另一个部件上”、“连接到另一个部件”、“耦合于另一个部件”或“接触另一个部件”时,它可以直接在该另一个部件之上、连接于或耦合于、或接触该另一个部件,或者可以存在插入部件。相比之下,当一个部件被称为“直接在另一个部件上”、“直接连接于”、“直接耦合于”或“直接接触”另一个部件时,不存在插入部件。同样的,当第一个部件被称为“电接触”或“电耦合于”第二个部件,在该第一部件和该第二部件之间存在允许电流流动的电路径。该电路径可以包括电容器、耦合的电感器和/或允许电流流动的其它部件,甚至在导电部件之间没有直接接触。
本发明的一实施例提出一种车载智能机器人,可以灵活地增加智能机器人的运算功能,减轻汽车中控主机的运行负担,提高车载智能机器人的功能开发能力,降低开发成本。
如图1所示,为本发明的一种车载智能机器人100的系统框图。车载智能机器人100包括主体130、通信接口120、摄像头140以及处理器模块110。
具体的,主体130适于可分离地置于汽车内。如可以通过机械连接或者黏胶的形式固定安装于汽车内部的框架上,可以方便的与车体分离或者从车内移出,以便于后续对其内部芯片的数据进行写入或变更。
通信接口120设于主体130内,用于与汽车的中控主机通信。
摄像头140,与主体130连接,用于拍摄照片并将照片传输至主体130。
处理器模块110设于主体130内且与通信接口120连接。进一步的,如图1所示,处理器模块110包括车辆信号处理器111、摄像头信号处理器112以及运算芯片113。
在本发明的一实施例中,车辆信号处理器111用于通过通信接口120接收和处理中控主机发出的指令并生成算法执行信息,摄像头信号处理器112与摄像头140连接,用于接收和处理照片并输出图像信息,运算芯片用于根据算法执行信息和图像信息独立地执行一个或多个影像处理算法。
示例性的,在本发明的一实施例中,上述由中控主机发出指令的方式可以是通过低压差分信号LVDS传送指令,但是本发明不以此为限。
在本发明的一实施例中,摄像头信号处理器112输出的图像信息包括关于驾驶员的面部特征、面部表情和/或眼睛闭合程度的图像信息。由此,根据不同的图像信息,车载智能机器人100通过其生成的相应的算法执行信息,并由算法芯片执行算法的计算,从而获得执行不同算法的结果,并由此实现车载智能机器人的不同功能。
具体来说,在本发明的一实施例中,影像处理算法包括疲劳监测算法,为了执行疲劳监测算法,上述由摄像头140拍摄的照片包括驾驶员的面部照片;上述指令和算法执行信息包括疲劳监测指令和疲劳监测算法执行信息;摄像头信号处理器112输出的图像信息包括关于驾驶员面部特征和眼睛闭合程度的图像信息;以及运算芯片113配置为,根据该疲劳监测算法执行信息和关于驾驶员面部特征和眼睛闭合程度的图像信息执行疲劳监测算法,获得疲劳监测算法执行结果。
在本发明的另外一实施例中,影像处理算法包括身份验证算法,为了执行身份验证算法,上述由摄像头140拍摄的照片包括驾驶员的面部照片;上述指令和算法执行信息包括身份验证指令和身份验证算法执行信息;摄像头信号处理器112输出的图像信息包括关于驾驶员面部特征的图像信息;以及运算芯片113配置为,根据身份验证算法执行信息和关于驾驶员面部特征的图像信息执行身份验证算法,获得身份验证算法执行结果。
在本发明的另外一实施例中,影像处理算法包括情绪识别算法,为了执行情绪识别算法,上述由摄像头140拍摄的照片包括驾驶员的面部照片,上述指令和算法执行信息包括情绪识别指令和情绪识别算法执行信息;摄像头信号处理器112输出的图像信息包括关于驾驶员面部表情的图像信息;以及运算芯片113配置为,根据情绪识别算法执行信息和关于驾驶员面部表情的图像信息执行情绪识别算法,获得情绪识别算法执行结果。
可以理解的是,本发明的车载智能机器人100配置为可以同时保存有上述不同实施例的算法,并在中控主机发来相应的指令时获取和处理不同的图像信息并运行不同的算法,并在此基础上根据需要随时增加新的算法或删除现存的算法,从而实现灵活的改变车载智能机器人的运算功能,减轻中控主机的运行负担,在提升车载智能机器人的功能开发能力的同时,也降低了开发成本。
本发明的另一方面还提出了一种车载智能机器人的运行方法,可以灵活的运行车载智能机器人的运算功能,提高车载智能机器人的运算能力,从而减轻汽车中控主机的资源消耗,减轻其运行负担。
如图2所示,是本发明的一种车载智能机器人的运行方法20的流程示意图。图2使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,或将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
示例性的,车载智能机器人的运行方法20可以适用于如图1所示的车载智能机器人10,该车载智能机器人具有可分离地置于汽车内的主体130和与主体130连接的摄像头140,以及位于主体130内的通信接口120和处理器模块110,其中,处理器模块110进一步包括车辆信号处理器111、摄像头信号处理器112以及运算芯片113,但是本发明不以此为限。
如图2所示,车载智能机器人的运行方法20包括如下步骤:
S1:车辆中控主机通过通信接口传送指令至车辆信号处理器,车辆信号处理器处理指令并生成算法执行信息;
S2:摄像头拍摄照片,摄像头信号处理器处理照片并输出图像信息;
S3:运算芯片根据算法执行信息和图像信息执行影像处理算法,获得算法执行结果;以及
S4:处理器模块将执行结果反馈至中控主机。
示例性的,在本发明的一实施例中,在步骤S1中,车辆中控主机发出的指令的方式可以是通过低压差分信号LVDS传送指令,但是本发明不以此为限。
具体的,在本发明的一实施例中,在步骤S1中,指令包括疲劳监测指令,算法执行信息包括疲劳监测算法执行信息。进一步的,步骤S2包括摄像头拍摄驾驶员的面部照片,摄像头信号处理器处理面部照片并输出关于驾驶员面部特征和眼睛闭合程度的图像信息。以及在步骤S3中,运算芯片根据疲劳监测算法执行信息和关于驾驶员面部特征和眼睛闭合程度的图像信息执行疲劳监测算法,获得疲劳监测算法执行结果。并最终在步骤S4,处理器模块将该疲劳监测算法执行结果反馈至中控主机。
示例性的,中控主机接收到上述反馈之后,可以根据不同的结果采取不同的进一步操作,如发现面部处于长期静止状态和/或者眼睛闭合在一定时间内过小时,可以通过车内扬声器发出警示,以提醒驾驶员是否处于疲劳驾驶的状态,保障行车安全,但是本发明不以此为限。
在本发明的一实施例中,在步骤S1中,指令包括身份验证指令,算法执行信息包括身份验证算法执行信息。进一步的,步骤S2包括摄像头拍摄驾驶员的面部照片,摄像头信号处理器处理面部照片并输出关于驾驶员面部特征的图像信息。以及在步骤S3中,运算芯片根据身份验证算法执行信息和关于驾驶员面部特征的图像信息执行身份验证算法,获得身份验证算法执行结果。
示例性的,中控主机接收到上述反馈之后,可以根据不同的结果采取不同的进一步操作,如发现摄像头拍摄的面部特征与系统录入的驾驶员信息不符合时,关闭车辆的点火功能、座椅调节以及一些车载的支付系统(如ETC)等,以保证车主的财产安全,但是本发明不以此为限。
在本发明的另外一实施例中,在步骤S1中,指令包括情绪识别指令,算法执行信息包括情绪识别算法执行信息。进一步的,步骤S2包括摄像头拍摄驾驶员的面部照片,摄像头信号处理器处理面部照片并输出关于驾驶员面部表情的图像信息。以及在步骤S3中,运算芯片根据情绪识别算法执行信息和关于驾驶员面部表情的图像信息执行情绪识别算法,获得情绪识别算法执行结果。
示例性的,中控主机接收到上述反馈之后,可以根据不同的结果采取不同的进一步操作,如发现摄像头拍摄的驾驶员面部表情符合某一种极端的情绪,可以通过车内扬声器发出安抚的提示音,调节驾驶员情绪并提醒驾驶员安全行车,以保证驾驶安全,但是本发明不以此为限。
可以理解的是,以上仅指出了三种采用本发明的一种车载智能机器人运行方法可以实现的车载智能机器人自行处理器内部算法并与汽车中控主机相配合,以实现不同的应用功能。采用本发明的车载智能机器人的运行方法,可以灵活的运行车载智能机器人内部的运算功能,在提高机器人运算能力的基础上,也减轻了汽车中控主机的运行负担。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述发明披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。例如,计算机可读介质可包括,但不限于,磁性存储设备(例如,硬盘、软盘、磁带……)、光盘(例如,压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如,卡、棒、键驱动器……)。
计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
虽然本申请已参照当前的具体实施例来描述,但是本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本申请,在没有脱离本申请精神的情况下还可作出各种等效的变化或替换,因此,只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (10)

1.一种车载智能机器人,其特征在于,包括:
主体,适于可分离地置于汽车内;
通信接口,设于所述主体内,用于与所述汽车的中控主机通信;
摄像头,与所述主体连接,用于拍摄照片并将所述照片传输至所述主体;以及
处理器模块,设于所述主体内且与所述通信接口连接,所述处理器模块包括车辆信号处理器、摄像头信号处理器以及运算芯片,其中,所述车辆信号处理器用于通过所述通信接口接收并处理所述中控主机发出的指令以及生成算法执行信息,所述摄像头信号处理器与所述摄像头连接,用于接收并处理所述照片并输出图像信息,所述运算芯片用于根据所述算法执行信息和图像信息独立地执行一个或多个影像处理算法。
2.如权利要求1所述的车载智能机器人,其特征在于,所述指令包括通过低压差分信号LVDS传送的指令。
3.如权利要求1所述的车载智能机器人,其特征在于,所述摄像头信号处理器输出的图像信息包括关于驾驶员的面部特征、面部表情和/或眼睛闭合程度的图像信息。
4.如权利要求3所述的车载智能机器人,其特征在于,所述影像处理算法包括疲劳监测算法,所述照片包括驾驶员的面部照片,所述指令和算法执行信息包括疲劳监测指令和疲劳监测算法执行信息,所述摄像头信号处理器输出的图像信息包括所述关于驾驶员面部特征和眼睛闭合程度的图像信息,以及所述运算芯片用于根据所述疲劳监测算法执行信息和关于驾驶员面部特征和眼睛闭合程度的图像信息执行疲劳监测算法,获得疲劳监测算法执行结果。
5.如权利要求3所述的车载智能机器人,其特征在于,所述影像处理算法包括身份验证算法,所述照片包括驾驶员的面部照片,所述指令和算法执行信息包括身份验证指令和身份验证算法执行信息,所述摄像头信号处理器输出的图像信息包括所述关于驾驶员面部特征的图像信息,以及所述运算芯片用于根据所述身份验证算法执行信息和关于驾驶员面部特征的图像信息执行身份验证算法,获得身份验证算法执行结果。
6.如权利要求3所述的车载智能机器人,其特征在于,所述影像处理算法包括情绪识别算法,所述照片包括驾驶员的面部照片,所述指令和算法执行信息包括情绪识别指令和情绪识别算法执行信息,所述摄像头信号处理器输出的图像信息包括所述关于驾驶员面部表情的图像信息,以及所述运算芯片用于根据所述情绪识别算法执行信息和关于驾驶员面部表情的图像信息执行情绪识别算法,获得情绪识别算法执行结果。
7.一种车载智能机器人的运行方法,所述车载智能机器人具有适于可分离地置于汽车内的主体和与所述主体连接的摄像头,以及位于所述主体内的通信接口和处理器模块,所述处理器模块进一步包括车辆信号处理器、摄像头信号处理器以及运算芯片,其特征在于,所述方法包括如下步骤:
S1:车辆中控主机通过所述通信接口传送指令至所述车辆信号处理器,所述车辆信号处理器处理所述指令并生成算法执行信息;
S2:所述摄像头拍摄照片,所述摄像头信号处理器处理所述照片并输出图像信息;
S3:所述运算芯片根据所述算法执行信息和图像信息执行影像处理算法,获得算法执行结果;以及
S4:所述处理器模块将所述执行结果反馈至所述中控主机。
8.如权利要求7所述的运行方法,其特征在于,在步骤S1中,所述指令包括疲劳监测指令,所述算法执行信息包括疲劳监测算法执行信息;步骤S2包括所述摄像头拍摄驾驶员的面部照片,所述摄像头信号处理器处理所述面部照片并输出关于驾驶员面部特征和眼睛闭合程度的图像信息;以及步骤S3包括,所述运算芯片根据所述疲劳监测算法执行信息和关于驾驶员面部特征和眼睛闭合程度的图像信息执行疲劳监测算法,获得疲劳监测算法执行结果。
9.如权利要求7所述的运行方法,其特征在于,在步骤S1中,所述指令包括身份验证指令,所述算法执行信息包括身份验证算法执行信息;步骤S2包括所述摄像头拍摄驾驶员的面部照片,所述摄像头信号处理器处理所述面部照片并输出关于驾驶员面部特征的图像信息;以及步骤S3包括,所述运算芯片根据所述身份验证算法执行信息和关于驾驶员面部特征的图像信息执行身份验证算法,获得身份验证算法执行结果。
10.如权利要求7所述的运行方法,其特征在于,在步骤S1中,所述指令包括情绪识别指令,所述算法执行信息包括情绪识别算法执行信息;步骤S2包括所述摄像头拍摄驾驶员的面部照片,所述摄像头信号处理器处理所述面部照片并输出关于驾驶员面部表情的图像信息;以及步骤S3包括,所述运算芯片根据所述情绪识别算法执行信息和关于驾驶员面部表情的图像信息执行情绪识别算法,获得情绪识别算法执行结果。
CN202110080545.8A 2021-01-21 2021-01-21 车载智能机器人和车载智能机器人的运行方法 Active CN112829754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110080545.8A CN112829754B (zh) 2021-01-21 2021-01-21 车载智能机器人和车载智能机器人的运行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110080545.8A CN112829754B (zh) 2021-01-21 2021-01-21 车载智能机器人和车载智能机器人的运行方法

Publications (2)

Publication Number Publication Date
CN112829754A true CN112829754A (zh) 2021-05-25
CN112829754B CN112829754B (zh) 2023-07-25

Family

ID=75929261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110080545.8A Active CN112829754B (zh) 2021-01-21 2021-01-21 车载智能机器人和车载智能机器人的运行方法

Country Status (1)

Country Link
CN (1) CN112829754B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009297892A (ja) * 2000-09-19 2009-12-24 Toyota Motor Corp 移動体搭載用のロボット及びこれを搭載した移動体
CN105035074A (zh) * 2015-06-23 2015-11-11 南京理工大学 基于便携式智能设备的车辆主动安全控制方法
CN106506937A (zh) * 2016-10-11 2017-03-15 芜湖哈特机器人产业技术研究院有限公司 一种可供二次开发的智能相机
US20170108864A1 (en) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Vehicle system and method for enabling a device for autonomous driving
WO2017140122A1 (zh) * 2016-02-18 2017-08-24 广东百事泰电子商务股份有限公司 智能监控记录仪
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN107511832A (zh) * 2016-06-15 2017-12-26 深圳光启合众科技有限公司 云端互动系统及其多感知型智能机器人和感知互动方法
CN107521435A (zh) * 2017-08-04 2017-12-29 安徽创融增材制造技术有限公司 基于车联网的驾驶员个性化设置系统
CN206883648U (zh) * 2017-03-28 2018-01-16 深圳光启合众科技有限公司 机器人
CN206906843U (zh) * 2017-06-30 2018-01-19 深圳光启合众科技有限公司 机器人的控制装置及机器人
KR101821496B1 (ko) * 2016-08-19 2018-03-08 동서대학교산학협력단 안전운전 보조 시스템 동작방법
CN109050396A (zh) * 2018-07-16 2018-12-21 浙江合众新能源汽车有限公司 一种车载智能机器人
CN109376682A (zh) * 2018-11-06 2019-02-22 东莞市凯木金电子科技有限公司 一种智能摄像头及疲劳状态识别方法
CN110103865A (zh) * 2019-04-17 2019-08-09 浙江合众新能源汽车有限公司 基于人脸识别的驾驶员车载个性化配置应用系统
CN110413113A (zh) * 2019-07-18 2019-11-05 华勤通讯技术有限公司 一种车载机器人及交互方法
CN110606090A (zh) * 2019-09-05 2019-12-24 成都亿盟恒信科技有限公司 一种基于疲劳检测的驾驶员监控系统及方法
CN110789452A (zh) * 2019-09-29 2020-02-14 浙江合众新能源汽车有限公司 一种汽车透明a柱系统
US20200207358A1 (en) * 2018-06-26 2020-07-02 Eyesight Mobile Technologies Ltd. Contextual driver monitoring system
CN111409555A (zh) * 2020-04-10 2020-07-14 中国科学院重庆绿色智能技术研究院 一种多功能智能识别车载后视镜
CN111547063A (zh) * 2020-05-12 2020-08-18 武汉艾瓦客机器人有限公司 一种疲劳检测的智能车载情感交互装置
CN211493951U (zh) * 2019-11-04 2020-09-15 深圳市航盛电子股份有限公司 车载机器人监测系统
CN112172830A (zh) * 2019-06-17 2021-01-05 上海博泰悦臻网络技术服务有限公司 驾驶员状态的监控方法、系统、可读存储介质及车载终端

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009297892A (ja) * 2000-09-19 2009-12-24 Toyota Motor Corp 移動体搭載用のロボット及びこれを搭載した移動体
CN105035074A (zh) * 2015-06-23 2015-11-11 南京理工大学 基于便携式智能设备的车辆主动安全控制方法
US20170108864A1 (en) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Vehicle system and method for enabling a device for autonomous driving
WO2017140122A1 (zh) * 2016-02-18 2017-08-24 广东百事泰电子商务股份有限公司 智能监控记录仪
CN107511832A (zh) * 2016-06-15 2017-12-26 深圳光启合众科技有限公司 云端互动系统及其多感知型智能机器人和感知互动方法
KR101821496B1 (ko) * 2016-08-19 2018-03-08 동서대학교산학협력단 안전운전 보조 시스템 동작방법
CN106506937A (zh) * 2016-10-11 2017-03-15 芜湖哈特机器人产业技术研究院有限公司 一种可供二次开发的智能相机
CN206883648U (zh) * 2017-03-28 2018-01-16 深圳光启合众科技有限公司 机器人
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN206906843U (zh) * 2017-06-30 2018-01-19 深圳光启合众科技有限公司 机器人的控制装置及机器人
CN107521435A (zh) * 2017-08-04 2017-12-29 安徽创融增材制造技术有限公司 基于车联网的驾驶员个性化设置系统
US20200207358A1 (en) * 2018-06-26 2020-07-02 Eyesight Mobile Technologies Ltd. Contextual driver monitoring system
CN109050396A (zh) * 2018-07-16 2018-12-21 浙江合众新能源汽车有限公司 一种车载智能机器人
CN109376682A (zh) * 2018-11-06 2019-02-22 东莞市凯木金电子科技有限公司 一种智能摄像头及疲劳状态识别方法
CN110103865A (zh) * 2019-04-17 2019-08-09 浙江合众新能源汽车有限公司 基于人脸识别的驾驶员车载个性化配置应用系统
CN112172830A (zh) * 2019-06-17 2021-01-05 上海博泰悦臻网络技术服务有限公司 驾驶员状态的监控方法、系统、可读存储介质及车载终端
CN110413113A (zh) * 2019-07-18 2019-11-05 华勤通讯技术有限公司 一种车载机器人及交互方法
CN110606090A (zh) * 2019-09-05 2019-12-24 成都亿盟恒信科技有限公司 一种基于疲劳检测的驾驶员监控系统及方法
CN110789452A (zh) * 2019-09-29 2020-02-14 浙江合众新能源汽车有限公司 一种汽车透明a柱系统
CN211493951U (zh) * 2019-11-04 2020-09-15 深圳市航盛电子股份有限公司 车载机器人监测系统
CN111409555A (zh) * 2020-04-10 2020-07-14 中国科学院重庆绿色智能技术研究院 一种多功能智能识别车载后视镜
CN111547063A (zh) * 2020-05-12 2020-08-18 武汉艾瓦客机器人有限公司 一种疲劳检测的智能车载情感交互装置

Also Published As

Publication number Publication date
CN112829754B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN109426803B (zh) 用于识别对象的方法和设备
CN117480085A (zh) 驾驶员监测系统(dms)数据管理
US11775054B2 (en) Virtual models for communications between autonomous vehicles and external observers
CN111552368A (zh) 一种车载人机交互方法及车载设备
US11592677B2 (en) System and method for capturing a spatial orientation of a wearable device
CN113782020A (zh) 车内语音交互方法和系统
CN110263737A (zh) 图像处理方法、图像处理装置、终端设备及可读存储介质
CN114428577A (zh) 一种车载交互方法、车载交互终端及车载系统
CN112083795A (zh) 对象控制方法及装置、存储介质和电子设备
CN104346552A (zh) 一种信息处理的方法及一种电子设备
CN112046497A (zh) 驾驶辅助设备、驾驶辅助方法和驾驶辅助程序
CN113766127B (zh) 移动终端的控制方法及装置、存储介质及电子设备
CN112829754B (zh) 车载智能机器人和车载智能机器人的运行方法
CN114084121B (zh) 分体式能量管理的控制系统
CN115831077A (zh) 车载屏幕亮度控制方法、装置及相关设备
US11868446B2 (en) Method of operating neural network model using DRM package and method of processing data using the same
CN112233674A (zh) 一种多模交互方法及其系统
CN113918265A (zh) 动态调节车内显示信息的字体大小的方法和系统
CN114581627B (zh) 基于arhud的成像方法和系统
CN112950516B (zh) 图像局部对比度增强的方法及装置、存储介质及电子设备
CN113619607B (zh) 汽车行驶的控制方法和控制系统
CN114581291A (zh) 座舱内呈现人脸美妆图像的方法和系统
KR20190028888A (ko) 차량용 hmi 시스템 및 방법
CN115830580A (zh) 一种汽车座舱的场景识别和仲裁方法
CN113696908A (zh) 车辆自动跟随系统、方法、装置和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant after: United New Energy Automobile Co.,Ltd.

Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant before: Hozon New Energy Automobile Co., Ltd.

Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant after: Hozon New Energy Automobile Co., Ltd.

Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant before: Hozon New Energy Automobile Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Operation methods of vehicle mounted intelligent robots and vehicle mounted intelligent robots

Granted publication date: 20230725

Pledgee: Tongxiang Science and Technology Entrepreneurship Service Center Co.,Ltd.

Pledgor: United New Energy Automobile Co.,Ltd.

Registration number: Y2024330000709

PE01 Entry into force of the registration of the contract for pledge of patent right