CN108124090A - 移动机器人双摄像头人脸识别装置及方法 - Google Patents

Abstract

本发明公开了一种移动机器人双摄像头人脸识别装置及方法。本发明的移动机器人双摄像头人脸识别装置包括机器人本体，第一摄像头和第二摄像头；所述第一摄像头固定设置在机器人本体上，用于识别全局环境进行实时的图像采集与处理；所述机器人本体对所述第二摄像头进行方位调节和变焦调节；所述第二摄像在进行位置调节后进行图像的获取；所述机器人本体根据所述第二摄像头获取的图像进行人脸识别。本发明还公开了一种移动机器人双摄像头人脸识别方法。本发明提供的移动机器人双摄像头人脸识别装置和方法能提高对人脸对象识别的准确率。

Description

移动机器人双摄像头人脸识别装置及方法

技术领域

本发明涉及机器人人脸识别技术领域，特别涉及一种移动机器人双摄像头人脸识别装置和方法。

背景技术

随着自动化技术快速发展，机器人越来越多的出现在人们的视野中。机器人主要用于工业生产线上，用于代替人类完成一些简单、繁琐、重复的任务。但是越来越多的轻型，灵活的机器人走入到人群中，和人近距离的接触，与人直接通过肢体，语音，图像等交流。其中人脸识别是应用在人机交互中一个很重要的环节，通过面部特征来区分交互的对象，是体现机器人人性化的一个基础。

人脸识别一般都是通过摄像头来采集图像，在图像中找到人脸，在分析人脸的特性，从数据库中寻找匹配的数据，匹配率超过一定阈值便可认为匹配成功。现有的人脸识别技术一般都用在门禁的身份认证，电子设备的解锁或者安防网络中的人员筛查等。这些使用场景中，一般摄像头都是静止不动、定焦的，以“守株待兔”的模式等待人脸到达指定的区域，再进行识别。

而在智能移动机器人中，机器人是需要实时移动的，即使识别到人，也不一定会停止。同时也不能要求环境中的入主动走到机器人面前的固定位置，这样传统的人脸识别的方法应用到移动机器人中，就会引起成功率的大大降低，因为人脸不能完美的进入到摄像头的既定识别区域。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明的第一个目的在于提出一种移动机器人双摄像头人脸识别装置。

所述移动机器人双摄像头人脸识别装置包括：机器人本体，第一摄像头和第二摄像头；所述第一摄像头固定设置在机器人本体上，用于识别全局环境进行实时的图像采集与处理，并在识别到人脸之后，将人脸的局部在全局图像的位置与比例信息传送给第二摄像头和机器人本体；所述机器人本体在接收到第一摄像头传送的人脸的局部在全局图像的位置与比例信息后对所述第二摄像头进行方位调节和变焦调节；所述第二摄像头可调节地安装在所述机器人本体上，并在所述机器人本体的控制下进行位置调节后进行图像的获取；所述机器人本体根据所述第二摄像头获取的图像进行人脸识别。

在一些实施例中，所述对第二摄像头进行方位调节和变焦调节具体为调节所述第二摄像头的俯仰角与航向角使得第二摄像头正对人脸。

在一些实施例中，所述机器人本体上设置有可调底座，所述第二摄像头设置在所述可调底座上。

在一些实施例中，所述可调底座是由两个舵机构成的可以调节摄像头的俯仰角与航向角的二自由度云台。

在一些实施例中，所述第一摄像头使用定焦模式，所述第二摄像头采用高清照相模式。

在一些实施例中，所述第二摄像头具有变焦功能，所述第二摄像头的焦距根据第一摄像头图像中人脸的大小来估算人脸距离机器人的距离来调整。

为达到上述目的，本发明的另一个目的在于提出一种移动机器人双摄像头人脸识别方法。所述移动机器人双摄像头人脸识别方法包括以下步骤：第一摄像头识别全局环境进行实时的图像采集与处理；在识别到人脸之后，通过传输人脸的局部在全局图像的位置与比例信息来对第二摄像头进行方位调节和变焦调节并进行图像的获取；根据所述第二摄像头获取的图像进行人脸特征的提取，数据匹配，完成人脸的个体识别。

在一些实施例中，所述对第二摄像头进行方位调节和变焦调节具体为调节所述第二摄像头的俯仰角与航向角使得第二摄像头正对人脸。

在一些实施例中，其特征在于，所述第一摄像头使用定焦模式，所述第二摄像头采用高清照相模式。

在一些实施例中，所述第二摄像头具有变焦功能，所述第二摄像头的焦距根据第一摄像头图像中人脸的大小来估算人脸距离机器人的距离来调整。

本发明提供的移动机器人双摄像头人脸识别装置和方法能提高对人脸对象识别的准确率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的移动机器人双摄像头人脸识别装置的结构示意图；

图2为根据本发明一个实施例的移动机器人双摄像头人脸识别方法的流程图；

图3为根据本发明一个实施例的通过照相机基本成像原理估算人脸方位示意图；

图4为根据本发明一个实施例的人脸在第一摄像头图像比例计算示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外，以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。

在本发明的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参照图1-图3对本发明实施例提出的移动机器人双摄像头人脸识别装置和方法进行详细描述。

如图1所示，为本发明一个实施例的移动机器人双摄像头人脸识别装置100。

所述移动机器人双摄像头人脸识别装置100包括：机器人本体10，第一摄像头20和第二摄像头30；所述第一摄像头20固定设置在机器人本体10上，用于识别全局环境进行实时的图像采集与处理，并在识别到人脸之后，将人脸的局部在全局图像的位置与比例信息传送给第二摄像头30和机器人本体10；所述机器人本体10在接收到第一摄像头20传送的人脸的局部在全局图像的位置与比例信息后对所述第二摄像头30进行位置调节；所述第二摄像头30可调节地安装在所述机器人本体10上，并在所述机器人本体的控制下进行位置调节后进行图像的获取；所述机器人本体10根据所述第二摄像头30获取的图像进行人脸识别。

在一些实施例中，所述对第二摄像头30进行位置调节具体为调节所述第二摄像头30的俯仰角与航向角使得第二摄像头30正对人脸。

在一些实施例中，所述机器人本体10上设置有可调底座101，所述第二摄像头30设置在所述可调底座上101。

在一些实施例中，所述可调底座101是由两个舵机构成的可以调节摄像头的俯仰角与航向角的二自由度云台。

在一些实施例中，所述第一摄像头20使用定焦模式，所述第二摄像头30采用高清照相模式。

在一些实施例中，所述第二摄像头30具有变焦功能，所述第二摄像头30的焦距根据第一摄像头20图像中人脸的大小来估算人脸距离机器人的距离来调整。

为达到上述目的，本发明的另一个目的在于提出一种移动机器人双摄像头人脸识别方法。

如图2所示，所述移动机器人双摄像头人脸识别方法包括以下步骤：

S1，第一摄像头识别全局环境进行实时的图像采集与处理；

S2，在识别到人脸之后，通过传输人脸的局部在全局图像的位置与比例信息来对第二摄像头进行方位调节和变焦调节并进行图像的获取；

S3，根据所述第二摄像头获取的图像进行人脸特征的提取，数据匹配，完成人脸的个体识别。

在一些实施例中，所述对第二摄像头进行方位调节和变焦调节具体为调节所述第二摄像头的俯仰角与航向角使得第二摄像头正对人脸。

在一些实施例中，其特征在于，所述第一摄像头使用定焦模式，所述第二摄像头采用高清照相模式。

在一些实施例中，所述第二摄像头具有变焦功能，所述第二摄像头的焦距根据第一摄像头图像中人脸的大小来估算人脸距离机器人的距离来调整。

在具体的实施例中本发明使用一个广角摄像头作为第一摄像头，用于识别全局环境，包括人脸(仅仅定位为人脸即可，无需识别面部特征)，使用第二个高清摄像头，作为人脸高清图像采集，此摄像头不使用连续摄像功能，而是采用高分辨率照相模式。第一摄像头固定在机器人本体上，进行实时的图像采集与处理，此摄像头采集图像分辨率较低并使用定焦模式，数据流较小，处理器能够轻松的处理实时的图像数据，区分环境中的物体、人类，静止与运动的对象，实现自身导航和避障。在识别到人脸之后，将人脸的局部在全局图像的位置与比例信息传送给第二摄像头，并启动人脸识别的流程。第二摄像头采用高清照相模式，具有变焦功能。此摄像头安装在机器人本体上的一个可调底座上。底座是由两个舵机构成的二自由度云台，可以调节摄像头的俯仰角与航向角。当第一摄像头启动人脸识别的流程之后，机器人本体的处理器根据人脸的局部在全局图像的位置，即在第一摄像头连续图像中的上下左右位置，利用照相机基本成像原理和镜头与传感器阵列之间的距离估算人脸在机器人本体上的方位角，以此来调整第二摄像头的俯仰角和航向角，使得第二摄像头正对人脸。根据第一摄像头图像中人脸的大小来估算人脸距离机器人本体的大概距离，以此调整第二摄像头的焦距。完成之后启动第二摄像头照相，以此来获得人脸画面超过30％的高清图像，以此图像来进行人脸特征的提取，数据匹配等，完成对个体对象的识别。

结合图1和图3，图4所示，当人出现在第一摄像头20中，第一摄像头20识别到人脸，并计算出人脸中心在图像中的位置，然后利用照相机基本成像原理，估算出人脸在机器人本体大致方位。依据人脸在第一摄像头图像中的比例a/b，估算人脸距离机器人多远。通过调整第二摄像头30的航向角和俯仰角，使得第二摄像头30对准识别对象。如图4中，第一摄像头20的镜头与传感器阵列之间的距离为f，图像整体大小为b*c，图像中人脸中心距离上边为b1，下边为b2，距离左边为c1，距离右边c2。则俯仰角调整arctan((b/2-b1)/f)，航向角调整arctan((c/2-c1)/f)。此角度理论上以镜头为中心调整角度，实际使用时是以马达转动轴为中心，因为两者相距较近而人脸距离较远，转动中心的移位带来的影响可以暂时忽略。调整焦距，使得人脸在画幅中能够超过30％，即，使a/b大于1/3，启用照相，采集高清图像，用于人脸特征识别。第二摄像头30也可以启用高速连拍，以弥补人机相对运动造成的焦距调整误差。

本发明利用双摄像头进行人脸识别，第一摄像头采集全局图像，完成机器人视觉系统中的大多数工作，导航、避障、人/物识别，一旦识别到人脸则启动第二摄像头的精确人脸识别，第二摄像头通过调整角度正对被拍摄对象，并进行调焦后拍摄对象的清晰的脸部图像，进行特征提取，数据匹配之后完成个体对象的识别。

本发明具有如下有益效果：本发明提供的移动机器人双摄像头人脸识别装置和方法中，第一摄像头无需因人脸识别而停止运动以及转动机器人来面向识别对象，且第一摄像头无需实时采集高清图像，也就降低了对处理器的要求。第二摄像头的角度调整代替了整个机器人的转身，同时针对性的调焦又能够获得更大更清晰的脸部图像，有利于人脸对象识别准确率的提高。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种移动机器人双摄像头人脸识别装置，其特征在于，包括：

机器人本体，第一摄像头和第二摄像头；

所述第一摄像头固定设置在机器人本体上，用于识别全局环境进行实时的图像采集与处理，并在识别到人脸之后，将人脸的局部在全局图像的位置与比例信息传送给第二摄像头和机器人本体；

所述机器人本体在接收到第一摄像头传送的人脸的局部在全局图像的位置与比例信息后对所述第二摄像头进行方位调节和变焦调节；

所述第二摄像头可调节地安装在所述机器人本体上，并在所述机器人本体的控制下进行位置调节后进行图像的获取；

所述机器人本体根据所述第二摄像头获取的图像进行人脸识别。

2.如权利要求1所述的移动机器人双摄像头人脸识别装置，其特征在于，所述对第二摄像头进行方位调节和变焦调节具体为调节所述第二摄像头的俯仰角与航向角使得第二摄像头正对人脸。

3.如权利要求1所述的移动机器人双摄像头人脸识别装置，其特征在于，所述机器人本体上设置有可调底座，所述第二摄像头设置在所述可调底座上。

4.如权利要求3所述的移动机器人双摄像头人脸识别装置，其特征在于，所述可调底座是由两个舵机构成的可以调节摄像头的俯仰角与航向角的二自由度云台。

5.如权利要求1所述的移动机器人双摄像头人脸识别装置，其特征在于，所述第一摄像头使用定焦模式，所述第二摄像头采用高清照相模式。

6.如权利要求5所述的移动机器人双摄像头人脸识别装置，其特征在于，所述第二摄像头具有变焦功能，所述第二摄像头的焦距根据第一摄像头图像中人脸的大小来估算人脸距离机器人的距离来调整。

7.一种移动机器人双摄像头人脸识别方法，其特征在于，包括以下步骤：

第一摄像头识别全局环境进行实时的图像采集与处理；

在识别到人脸之后，通过传输人脸的局部在全局图像的位置与比例信息来对第二摄像头进行方位调节和变焦调节并进行图像的获取；

根据所述第二摄像头获取的图像进行人脸特征的提取，数据匹配，完成人脸的个体识别。

8.如权利要求7所述的移动机器人双摄像头人脸识别方法，其特征在于，所述对第二摄像头进行方位调节和变焦调节具体为调节所述第二摄像头的俯仰角与航向角使得第二摄像头正对人脸。

9.如权利要求7所述的移动机器人双摄像头人脸识别方法，其特征在于，所述第一摄像头使用定焦模式，所述第二摄像头采用高清照相模式。

10.如权利要求7所述的移动机器人双摄像头人脸识别方法，其特征在于，所述第二摄像头具有变焦功能，所述第二摄像头的焦距根据第一摄像头图像中人脸的大小来估算人脸距离机器人的距离来调整。