CN110163911A - 一种图像与惯性结合的头部姿态检测系统 - Google Patents

一种图像与惯性结合的头部姿态检测系统 Download PDF

Info

Publication number
CN110163911A
CN110163911A CN201910285711.0A CN201910285711A CN110163911A CN 110163911 A CN110163911 A CN 110163911A CN 201910285711 A CN201910285711 A CN 201910285711A CN 110163911 A CN110163911 A CN 110163911A
Authority
CN
China
Prior art keywords
image
data
attitude
attitude data
inertia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910285711.0A
Other languages
English (en)
Other versions
CN110163911B (zh
Inventor
陈东义
黄志奇
杨雁杰
陈俊辉
郭承刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910285711.0A priority Critical patent/CN110163911B/zh
Publication of CN110163911A publication Critical patent/CN110163911A/zh
Application granted granted Critical
Publication of CN110163911B publication Critical patent/CN110163911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像与惯性结合的头部姿态检测系统，矫正部用于检测当前时刻与上一次矫正时刻的时刻差值是否满足时刻阈值；矫正部用于在时刻差值满足阈值时、检测当前图像法姿态检测部的图像校准数据是否满足校准点；矫正部用于在图像校准数据满足校准点时，获得图像校准数据满足校准点时对应的图像姿态数据和惯性姿态数据，并通过图像姿态数据和惯性姿态数据得到偏差值，再通过偏差值对惯性姿态数据进行修正，输出修正后的惯性姿态数据作为当前头部姿态数据；矫正部用于在时刻差值不满足阈值时，输出当前惯性姿态数据作为当前头部姿态数据；矫正部用于在图像校准数据不满足校准阈值时、输出当前惯性姿态数据作为当前头部姿态数据。

Description

一种图像与惯性结合的头部姿态检测系统
技术领域
本发明涉及姿态检测领域，具体涉及一种图像与惯性结合的头部姿态检测系统。
背景技术
头部姿态检测技术:头部姿态检测在辅助驾驶、无人机、工程机械操作的姿态系统中的核心问题，目前主要采取的技术方案是利用数字磁罗盘进行姿态检测(惯性姿态检测)，不过数字磁罗盘易受外界磁干扰，长时间使用会产生较大误差，同时该方法检测精度有限，制约了其应用和发展。
发明内容
本发明的目的在于提供一种图像与惯性结合的头部姿态检测系统，头部姿态检测中误差大，精度小，长时间使用误差累计的问题。
本发明的具体技术方案为：
一种图像与惯性结合的头部姿态检测系统，包括图像法姿态检测部、惯性传感法姿态检测部、矫正部；
矫正部用于检测当前时刻与上一次矫正时刻的时刻差值是否满足时刻阈值；
矫正部用于在时刻差值满足阈值时、检测当前图像法姿态检测部的图像校准数据是否满足校准点；
矫正部用于在图像校准数据满足校准点时，获得图像校准数据满足校准点时对应的图像姿态数据和惯性姿态数据，并通过图像姿态数据和惯性姿态数据得到偏差值，再通过偏差值对惯性姿态数据进行修正，输出修正后的惯性姿态数据作为当前头部姿态数据；
矫正部用于在时刻差值不满足阈值时，输出当前惯性姿态数据作为当前头部姿态数据；
矫正部用于在图像校准数据不满足校准阈值时、输出当前惯性姿态数据作为当前头部姿态数据；
图像法姿态检测部输出用于计算图像校准数据和用于计算图像姿态数据的图像基础数据；
惯性传感法姿态检测部输出用于计算惯性姿态数据的惯性基础数据；
图像姿态数据、图像校准数据由图像法姿态检测部或矫正部采用图像处理算法对图像基础数据进行解算完成；
惯性姿态数据由惯性传感法姿态检测部或矫正部采用图像处理算法对惯性基础数据进行解算完成。
本发明的设计原理为：
在传统的惯性传感法姿态检测中，存在其易受外界磁干扰、长时间使用会产生较大误差，同时该方法检测精度有限、制约了其应用和发展的问题，为了稳定的解决该问题，本发明采用了将图像姿态和惯性姿态的结合方法，其中矫正部先通过时间计算，查看当前时刻是否需要矫正，若其不满足矫正时间要求，则保留惯性传感法姿态检测部获得的数据计算出惯性姿态数据输出作为当前头部姿态数据，若满足矫正时间要求，则需要查看图像校准数据是否满足校准点，若满足则进入利用图像姿态数据校准惯性姿态数据的过程，这样，惯性姿态数据则被矫正后输出，作为当前头部姿态数据；其中惯性姿态检测具有体积小，环境适应性强，检测范围大等特点，但存在误差大，精度小，长时间使用存在较大误差累计的问题；图像姿态检测具有精度高，不存在累计误差的特点，但存在抗抖动性差，设备安装有一定环境要求，检测角度较小的问题；本发明将两者结合使用，利用图像检测的高精度，不存在累计误差特性去矫正惯性姿态检测使用一段时间后出现的累计误差，从而解决了仅使用惯性传感模块的传统姿态检测系统中存在的误差大，精度小，长时间使用存在较大误差累计的问题。对于图像校准数据是否满足校准点，其目的是：标定在什么情况下、采用何时的图像姿态数据作为矫正用数据，以免出现不良矫正，在本发明中，由于矫正的目标数据是惯性姿态数据，而矫正的参考数据为图像姿态数据，而图姿态数据并不是任何情况下都是较为准确的，我们测定了后发现，在其头部处于正视位置时，其获得的图像姿态数据处于最佳状态，因此我们需要利用图像校准数据找到校准点，并在该时刻下，让该时刻下的图像姿态数据去矫正惯性姿态数据，从而达到最好的矫正效果。但由于图像采集的方案多种，因此，我们的图像校准数据的标准，以及其是否满足校准点的标准也是不同，但总的有个原则，就是通过图像分析找到其头部正视的时刻。因此，上述图像姿态数据可以视为找到头部正视时，利用图像分析获得特定数据，其校准点就是该特定数据满足头部正视时的图像本身的特殊状态。
根据不同的图像采集方案进行具体阐述：
同时，对于图像姿态检测部分，本发明优选采用三种方案，但不限于这几种：
方案一：采用两个或多个相机，具有较高的稳定性和较大的检测范围；
方案二：采用一个相机和多个标识，具有较大的检测范围同时能够有效降低系统成本；
方案三：采用一个相机和特征物姿态识别的方法，不需要在头部安装标识，对环境适应能力强，并且能够有效地降低成本。
方案一：图像法姿态检测部主要由至少两个呈任意角度摆放的摄像机及安装在头部的一个特定标识图组成，所有特定标识图为任何具有一定特征的图案；当图像姿态数据、图像校准数据由图像法姿态检测部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过摄像机或与摄像机相连的处理部对摄像机获得的图像基础数据进行图像处理算法处理得到后再传递给矫正部；当图像姿态数据、图像校准数据由矫正部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过矫正部对摄像机获得的图像基础数据进行图像处理算法处理得到。
对于方案一，图像校准数据为从各个摄像机的拍摄图像中利用特征提取和图像面积处理算法提取出的各个特定标识图的面积，各个摄像机的拍摄图像为摄像机的图像基础数据，图像校准数据满足校准点的标准为：检测到各个特定标识图的面积基本相同时，记为满足校准点，基本相同的标准为：||Smaker1-Smaker2......-SmakerN||<int1，其中Smaker1、Smaker2、......SmakerN表示各个摄像机所拍摄到的特定标识图的面积，int1＝Smaker*X，10％>X>0％，Smaker表示特定标识图的实际面积。
对于方案一：图像姿态数据的获取方式为：先从各个摄像机的摄像图像中找出特定标识图，比较各个特定标识图所占各自摄像图像的面积，选择面积最大的特定标识图作为待处理图像，之后通过图像处理算法解算出特定标识图的姿态，同时根据摄像机安装的位置，在特定标识图的姿态上加上摄像机初始位置带来的偏移量，从而得到特定标识图的准确姿态数据作为最终的图像姿态数据；最终的图像姿态数据分别是：图像头部偏航角yaw_PIC、图像头部俯仰角pitch_PIC、图像头部翻滚角roll_PIC。
方案二：所述图像法姿态检测部主要由一个正对人脸或正对人后脑的摄像机及安装在头部周围的至少3个特定标识图组成，有一块特定标识图位于人脸正前方或后脑正后方从而成为正位特定标识图，所有特定标识图为任何具有一定特征的图案；当图像姿态数据、图像校准数据由图像法姿态检测部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过摄像机或与摄像机相连的处理部对摄像机获得的图像基础数据进行图像处理算法处理得到后再传递给矫正部；当图像姿态数据、图像校准数据由矫正部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过矫正部对摄像机获得的图像基础数据进行图像处理算法处理得到。
对于方案二，图像校准数据包括摄像机的拍摄图像的面积、正位特定标识图所占面积，正位特定标识图所占面积为从摄像机的拍摄图像中利用特征提取和图像面积处理算法提取出位于人脸正前方或后脑正后方的正位特定标识图在拍摄图像的所占面积，摄像机的拍摄图像为摄像机的图像基础数据，图像校准数据满足校准点的标准为：检测到位于人脸正前方或后脑正后方的正位特定标识图在拍摄图像的所占的面积最大时，记为满足校准点，面积最大的标准为：MAXSmaker＝Smaker*S，100％>S>90％时，其中MAXSmaker为正位特定标识图所占面积，Smaker为摄像机的拍摄图像的面积。
对于方案二，图像姿态数据的获取方式为：获得同时包含所有特定标识图的拍摄图像，再比较在拍摄图像中特定标识图的面积大小，选出面积最大的特定标识图作为待处理特定标识图，通过图像处理算法解算出待处理特定标识图的姿态数据，再根据选取的特定标识图的不同，在待处理特定标识图的姿态数据上加上不同的基础偏移，该偏移量由所选取的特定标识图安装在头部的位置决定，最终得到的特定标识的姿态数据作为最终的图像姿态数据；最终的图像姿态数据分别是：图像头部偏航角yaw_PIC、图像头部俯仰角pitch_PIC、图像头部翻滚角roll_PIC。
方案三：所述图像法姿态检测部主要由一个正对人脸或正对人后脑的摄像机组成；当图像姿态数据、图像校准数据由图像法姿态检测部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过摄像机或与摄像机相连的处理部对摄像机获得的图像基础数据进行图像处理算法处理得到后再传递给矫正部；当图像姿态数据、图像校准数据由矫正部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过矫正部对摄像机获得的图像基础数据进行图像处理算法处理得到。
对于方案三，图像校准数据包括标准特征图像和当前特征图像，所述标准特征图像为正对人脸或正对人后脑时拍摄到并利用特征提取出的标准特征图像，所述当前特征图像为从当前摄像机的拍摄图像中利用特征提取出的特征图像，摄像机的拍摄图像为摄像机的图像基础数据，图像校准数据满足校准点的标准为：当检测到当前特征图像与标准特征图像相比达到相似标准时，记为满足校准点，所述相似标准为运算特征图像与标准图像的相似度达到90-100％。
对于方案三，图像姿态数据的获取方式为：从当前拍摄图像中选取利于分析的指定特征，再对指定特征进行姿态识别算法解算出特征的姿态数据，根据选取的特征的不同，需要在特征的姿态数据上加上不同的基础偏移，该偏移量由所选取的特征与人头部的相对姿态决定，得到的特征的姿态数据最终的图像姿态数据；最终的图像姿态数据分别是：图像头部偏航角yaw_PIC、图像头部俯仰角pitch_PIC、图像头部翻滚角roll_PIC。
同样的，根据上述图像校准数据的获取原则，我们只需要表示其在头部正视时的特性即可，上述头部正视是指一般人在抬头平视前方的状态，这里的一般人不包括头部异常或有缺陷的人，因此，图像校准数据为图像姿态数据中的图像头部偏航角yaw_PIC和图像头部俯仰角pitch_PIC，图像校准数据满足校准点的标准为：当图像头部偏航角：||yaw_PIC||<10°和图像头部俯仰角：||pitch_PIC||<10°时，记为满足校准点。其中，上述以及下述偏航角是指以人抬头平视前方为基准进行左右摇头摆动造成的角度偏离，俯仰角是指以人抬头平视前方为基准时上下点头摆动造成的角度偏离，后面所述的翻滚角是指以人抬头平视前方为基准时偏头摆动造成的角度偏离。在上述标准下，我们只需要测算出图像头部偏航角、图像头部俯仰角在一定小范围内变化(相比平视前方的标准下)，我们都视为其处于平视前方的状态，因此用上述条件，也可以触发矫正操作。
优选的，惯性传感法姿态检测部包括置于被测头部的9轴数据姿态传感器，惯性姿态数据是由矫正部或惯性传感法姿态检测部对9轴数据姿态传感器输出的惯性基础数据按照姿态解算算法计算出得到，惯性姿态数据包括惯性头部偏航角yaw_AHRS、惯性头部俯仰角pitch_AHRS、惯性头部翻滚角roll_AHRS。
优选的，通过偏差值对惯性姿态数据进行修正的方式为：先通过当前的图像姿态数据与当前的惯性姿态数据计算得到偏航角差值、俯仰角差值、翻滚角差值，偏航角差值：yaw_GAP＝yaw_PIC-yaw_AHRS,俯仰角差值：pitch_GAP＝pitch_PIC-pitch_AHRS，翻滚角差值：roll_GAP＝roll_PIC-roll_AHRS，再通过偏航角差值、俯仰角差值、翻滚角差值对惯性姿态数据进行修正得到偏航角修正值、俯仰角修正值、翻滚角修正值,偏航角修正值：yaw＝yaw_AHRS+yaw_GAP,俯仰角修正值：pitch＝pitch_AHRS+pitch_GAP，翻滚角修正值：roll＝roll_AHRS+roll_GAP，偏航角修正值、俯仰角修正值、翻滚角修正值作为当前头部姿态数据；其中，yaw_PIC为图像头部偏航角、pitch_PIC为图像头部俯仰角、roll_PIC为图像头部翻滚角，yaw_AHRS为惯性头部偏航角、pitch_AHRS为惯性头部俯仰角、roll_AHRS为惯性头部翻滚角。
本发明的重要发明点是：利用图像姿态的检测来矫正惯性姿态，因此其要点是在何时去用图像姿态的数据去矫正惯性姿态数据，其中提到的各种姿态的计算数据、以及图像处理算法、特征提取等都是较为常规技术即可实现，在此不在赘述。
本发明与现有技术相比，具有如下的优点和有益效果：本发明主要采用了两部分姿态检测方法，即惯性姿态检测和图像姿态检测，其中惯性姿态检测具有体积小，环境适应性强，检测范围大等特点，但存在误差大，精度小，长时间使用存在较大误差累计的问题；图像姿态检测具有精度高，不存在累计误差的特点，但存在抗抖动性差，设备安装有一定环境要求，检测角度较小的问题；本发明将两者结合使用，利用图像检测的高精度，不存在累计误差特性去矫正惯性姿态检测使用一段时间后出现的累计误差，从而解决了仅使用惯性传感模块的传统姿态检测系统中存在的误差大，精度小，长时间使用存在较大误差累计的问题；同时，图像姿态检测部分采用的三种方案又有着不同的优点：方案一采用两个或多个相机，具有较高的稳定性和较大的检测范围；方案二采用一个相机和多个标识，具有较大的检测范围同时能够有效降低系统成本；方案三采用一个相机和特征物姿态识别的方法，不需要在头部安装标识，对环境适应能力强，并且能够有效地降低成本。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1是本发明的流程图。
图2是采用棋盘格作为特定标识图。
图3是采用二维码作为特定标识图。
图4是本发明方案一时的结构图。
图5是本发明方案二时的结构图。
图6是本发明方案三时的结构图。
图7是本发明的原理框图。
图8是含有矫正计算的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
下述内容中，图像法姿态检测部等同图中的相机或相机加特定标识图或相机加处理部、特定标识图，该相机是指下述摄像机，惯性传感法姿态检测部等同图中的惯性姿态检测模块，矫正部等同于图中服务器。
实施例一
如图1、图7所示：
一种图像与惯性结合的头部姿态检测系统，包括图像法姿态检测部、惯性传感法姿态检测部、矫正部；
矫正部用于检测当前时刻与上一次矫正时刻的时刻差值是否满足时刻阈值；
矫正部用于在时刻差值满足阈值时、检测当前图像法姿态检测部的图像校准数据是否满足校准点；
矫正部用于在图像校准数据满足校准点时，获得图像校准数据满足校准点时对应的图像姿态数据和惯性姿态数据，并通过图像姿态数据和惯性姿态数据得到偏差值，再通过偏差值对惯性姿态数据进行修正，输出修正后的惯性姿态数据作为当前头部姿态数据；
矫正部用于在时刻差值不满足阈值时，输出当前惯性姿态数据作为当前头部姿态数据；
矫正部用于在图像校准数据不满足校准阈值时、输出当前惯性姿态数据作为当前头部姿态数据；
图像法姿态检测部输出用于计算图像校准数据和用于计算图像姿态数据的图像基础数据；
惯性传感法姿态检测部输出用于计算惯性姿态数据的惯性基础数据；
图像姿态数据、图像校准数据由图像法姿态检测部或矫正部采用图像处理算法对图像基础数据进行解算完成；
惯性姿态数据由惯性传感法姿态检测部或矫正部采用图像处理算法对惯性基础数据进行解算完成。
本发明的设计原理为：
在传统的惯性传感法姿态检测中，存在其易受外界磁干扰，长时间使用会产生较大误差，同时该方法检测精度有限，制约了其应用和发展的问题，为了稳定的解决该问题，本发明采用了将图像姿态和惯性姿态的结合方法，其中矫正部先通过时间计算，查看当前时刻是否需要矫正，若其不满足矫正时间要求，则保留惯性传感法姿态检测部获得的数据计算出惯性姿态数据输出作为当前头部姿态数据，若满足矫正时间要求，则需要查看图像校准数据是否满足校准点，若满足则进入利用图像姿态数据校准惯性姿态数据的过程，这样，惯性姿态数据则被矫正后输出，作为当前头部姿态数据；其中惯性姿态检测具有体积小，环境适应性强，检测范围大等特点，但存在误差大，精度小，长时间使用存在较大误差累计的问题；图像姿态检测具有精度高，不存在累计误差的特点，但存在抗抖动性差，设备安装有一定环境要求，检测角度较小的问题；本发明将两者结合使用，利用图像检测的高精度，不存在累计误差特性去矫正惯性姿态检测使用一段时间后出现的累计误差，从而解决了仅使用惯性传感模块的传统姿态检测系统中存在的误差大，精度小，长时间使用存在较大误差累计的问题。对于图像校准数据是否满足校准点，其目的是标定在什么情况下，采用何时的图像姿态数据作为矫正用数据，以免出现不良矫正，在本发明中，由于矫正的目标数据是惯性姿态数据，而矫正的参考数据为图像姿态数据，而图姿态数据并不是任何情况下都是较为准确的，我们测定了后发现，在其头部处于正视位置时，其获得的图像姿态数据处于最佳状态，因此我们需要利用图像校准数据找到校准点，并在该时刻下，让该时刻下的图像姿态数据去矫正惯性姿态数据，从而达到最好的矫正效果。但由于图像采集的方案多种，因此，我们的图像校准数据的标准，以及其是否满足校准点的标准也是不同，但总的有个原则，就是通过图像分析找到其头部正视的时刻。因此，上述图像姿态数据可以视为找到头部正视时，利用图像分析获得特定数据，其校准点就是该特定数据满足头部正视时的图像本身的特殊状态，后面会根据不同的图像采集方案进行具体阐述。
实施例二
在上述实施例的基础上，如图2、图3、图4、图5、图6所示：
同时，对于图像姿态检测部分，本发明采用的的三种方案：
方案一：采用两个或多个相机，具有较高的稳定性和较大的检测范围；
方案二：采用一个相机和多个标识，具有较大的检测范围同时能够有效降低系统成本；
方案三：采用一个相机和特征姿态识别的方法，不需要在头部安装标识，对环境适应能力强，并且能够有效地降低成本。
下述方案中的特定标识图为棋盘格图或二维码图。
如图4，方案一：图像法姿态检测部主要由至少两个呈任意角度摆放的摄像机及安装在头部的一个特定标识图组成，所有特定标识图为任何具有一定特征的图案；当图像姿态数据、图像校准数据由图像法姿态检测部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过摄像机或与摄像机相连的处理部对摄像机获得的图像基础数据进行图像处理算法处理得到后再传递给矫正部；当图像姿态数据、图像校准数据由矫正部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过矫正部对摄像机获得的图像基础数据进行图像处理算法处理得到。
对于方案一，图像校准数据为从各个摄像机的拍摄图像中利用特征提取和图像面积处理算法提取出的各个特定标识图的面积，各个摄像机的拍摄图像为摄像机的图像基础数据，图像校准数据满足校准点的标准为：检测到各个特定标识图的面积基本相同时，记为满足校准点，基本相同的标准为：||Smaker1-Smaker2......-SmakerN||<int1，其中Smaker1、Smaker2、......SmakerN表示各个摄像机所拍摄到的特定标识图的面积，int1＝Smaker*X，10％>X>0％，Smaker表示特定标识图的实际面积。
对于方案一：图像姿态数据的获取方式为：先从各个摄像机的摄像图像中找出特定标识图，比较各个特定标识图所占各自摄像图像的面积，选择面积最大的特定标识图作为待处理图像，之后通过图像处理算法解算出特定标识图的姿态，同时根据摄像机安装的位置，在特定标识图的姿态上加上摄像机初始位置带来的偏移量，从而得到特定标识图的准确姿态数据作为最终的图像姿态数据；最终的图像姿态数据分别是：图像头部偏航角yaw_PIC、图像头部俯仰角pitch_PIC、图像头部翻滚角roll_PIC。
如图5，方案二：所述图像法姿态检测部主要由一个正对人脸或正对人后脑的摄像机及安装在头部周围的至少3个特定标识图组成，有一块特定标识图位于人脸正前方或后脑正后方从而成为正位特定标识图，所有特定标识图为任何具有一定特征的图案；当图像姿态数据、图像校准数据由图像法姿态检测部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过摄像机或与摄像机相连的处理部对摄像机获得的图像基础数据进行图像处理算法处理得到后再传递给矫正部；当图像姿态数据、图像校准数据由矫正部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过矫正部对摄像机获得的图像基础数据进行图像处理算法处理得到。
对于方案二，图像校准数据包括摄像机的拍摄图像的面积、正位特定标识图所占面积，正位特定标识图所占面积为从摄像机的拍摄图像中利用特征提取和图像面积处理算法提取出位于人脸正前方或后脑正后方的正位特定标识图在拍摄图像的所占面积，摄像机的拍摄图像为摄像机的图像基础数据，图像校准数据满足校准点的标准为：检测到位于人脸正前方或后脑正后方的正位特定标识图在拍摄图像的所占的面积最大时，记为满足校准点，面积最大的标准为：MAXSmaker＝Smaker*S，100％>S>90％时，其中MAXSmaker为正位特定标识图所占面积，Smaker为摄像机的拍摄图像的面积。
对于方案二，图像姿态数据的获取方式为：获得同时包含所有特定标识图的拍摄图像，再比较在拍摄图像中特定标识图的面积大小，选出面积最大的特定标识图作为待处理特定标识图，通过图像处理算法解算出待处理特定标识图的姿态数据，再根据选取的特定标识图的不同，在待处理特定标识图的姿态数据上加上不同的基础偏移，该偏移量由所选取的特定标识图安装在头部的位置决定，最终得到的特定标识的姿态数据作为最终的图像姿态数据；最终的图像姿态数据分别是：图像头部偏航角yaw_PIC、图像头部俯仰角pitch_PIC、图像头部翻滚角roll_PIC。
如图6，方案三：所述图像法姿态检测部主要由一个正对人脸或正对人后脑的摄像机组成；当图像姿态数据、图像校准数据由图像法姿态检测部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过摄像机或与摄像机相连的处理部对摄像机获得的图像基础数据进行图像处理算法处理得到后再传递给矫正部；当图像姿态数据、图像校准数据由矫正部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过矫正部对摄像机获得的图像基础数据进行图像处理算法处理得到。
对于方案三，图像校准数据包括标准特征图像和当前特征图像，所述标准特征图像为正对人脸或正对人后脑时拍摄到并利用特征提取出的标准特征图像，所述当前特征图像为从当前摄像机的拍摄图像中利用特征提取出的特征图像，摄像机的拍摄图像为摄像机的图像基础数据，图像校准数据满足校准点的标准为：当检测到当前特征图像与标准特征图像相比达到相似标准时，记为满足校准点，所述相似标准为运算特征图像与标准图像的相似度达到90-100％。
对于方案三，图像姿态数据的获取方式为：从当前拍摄图像中选取利于分析的指定特征，再对指定特征进行姿态识别算法解算出特征的姿态数据，根据选取的特征的不同，需要在特征的姿态数据上加上不同的基础偏移，该偏移量由所选取的特征与人头部的相对姿态决定，得到的特征的姿态数据最终的图像姿态数据；最终的图像姿态数据分别是：图像头部偏航角yaw_PIC、图像头部俯仰角pitch_PIC、图像头部翻滚角roll_PIC。
在上述三个方案中，由于其先判断图像校准数据是否满足校准点，同时其判断方式较为简单，计算较为简单，因此其具有快速响应的优势，因此，仅在其图像校准数据满足校准点时再进行图像姿态数据的计算，可以有效的提高系统性能，其不必随时都去计算图像姿态数据。
实施例三
在上述实施例的基础上，同样的，根据上述图像校准数据的获取原则，我们只需要表示其在头部正视时的特性即可，上述头部正视是指一般人在抬头平视前方的状态，这里的一般人不包括头部异常或有缺陷的人，因此，图像校准数据为图像姿态数据中的图像头部偏航角yaw_PIC和图像头部俯仰角pitch_PIC，图像校准数据满足校准点的标准为：当图像头部偏航角：||yaw_PIC||<10°和图像头部俯仰角：||pitch_PIC||<10°时，记为满足校准点。其中，上述以及下述偏航角是指以人抬头平视前方为基准进行左右摇头摆动造成的角度偏离，俯仰角是指以人抬头平视前方为基准时上下点头摆动造成的角度偏离，后面所述的翻滚角是指以人抬头平视前方为基准时偏头摆动造成的角度偏离。在上述标准下，我们只需要测算出图像头部偏航角、图像头部俯仰角在一定小范围内变化(相比平视前方的标准下)，我们都视为其处于平视前方的状态，因此用上述条件，也可以触发矫正操作。虽然该方法也可以完成对矫正的触发，但其需要随时计算图像头部俯仰角、图像头部偏航角，因此，其需要占用大量运算资源，对系统计算，具有较高的要求，但其性能稳定，可以较好的触发矫正。
实施例四
图7中惯性传感法姿态检测部的方案一和方案二是指惯性姿态数据的解算执行主体的不同，一种是矫正部、一种是惯性传感法姿态检测部本身，即在上述实施例的基础上，优选的，惯性传感法姿态检测部包括置于被测头部的9轴数据姿态传感器，惯性姿态数据是由矫正部或惯性传感法姿态检测部对9轴数据姿态传感器输出的惯性基础数据按照姿态解算算法计算出得到，惯性姿态数据包括惯性头部偏航角yaw_AHRS、惯性头部俯仰角pitch_AHRS、惯性头部翻滚角roll_AHRS。
实施例五
在上述实施例的基础上：
如图7、图8所示，优选的，通过偏差值对惯性姿态数据进行修正的方式为：先通过当前的图像姿态数据与当前的惯性姿态数据计算得到偏航角差值、俯仰角差值、翻滚角差值，偏航角差值：yaw_GAP＝yaw_PIC-yaw_AHRS,俯仰角差值：pitch_GAP＝pitch_PIC-pitch_AHRS，翻滚角差值：roll_GAP＝roll_PIC-roll_AHRS，再通过偏航角差值、俯仰角差值、翻滚角差值对惯性姿态数据进行修正得到偏航角修正值、俯仰角修正值、翻滚角修正值,偏航角修正值：yaw＝yaw_AHRS+yaw_GAP,俯仰角修正值：pitch＝pitch_AHRS+pitch_GAP，翻滚角修正值：roll＝roll_AHRS+roll_GAP，偏航角修正值、俯仰角修正值、翻滚角修正值作为当前头部姿态数据；其中，yaw_PIC为图像头部偏航角、pitch_PIC为图像头部俯仰角、roll_PIC为图像头部翻滚角，yaw_AHRS为惯性头部偏航角、pitch_AHRS为惯性头部俯仰角、roll_AHRS为惯性头部翻滚角。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种图像与惯性结合的头部姿态检测系统，其特征在于：包括图像法姿态检测部、惯性传感法姿态检测部、矫正部；
矫正部用于检测当前时刻与上一次矫正时刻的时刻差值是否满足时刻阈值；
矫正部用于在时刻差值满足阈值时、检测当前图像法姿态检测部的图像校准数据是否满足校准点；
矫正部用于在图像校准数据满足校准点时，获得图像校准数据满足校准点时对应的图像姿态数据和惯性姿态数据，并通过图像姿态数据和惯性姿态数据得到偏差值，再通过偏差值对惯性姿态数据进行修正，输出修正后的惯性姿态数据作为当前头部姿态数据；
矫正部用于在时刻差值不满足阈值时，输出当前惯性姿态数据作为当前头部姿态数据；
矫正部用于在图像校准数据不满足校准阈值时、输出当前惯性姿态数据作为当前头部姿态数据；
图像法姿态检测部输出用于计算图像校准数据和用于计算图像姿态数据的图像基础数据；
惯性传感法姿态检测部输出用于计算惯性姿态数据的惯性基础数据；
图像姿态数据、图像校准数据由图像法姿态检测部或矫正部采用图像处理算法对图像基础数据进行解算完成；
惯性姿态数据由惯性传感法姿态检测部或矫正部采用图像处理算法对惯性基础数据进行解算完成。
2.根据权利要求1所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，所述图像法姿态检测部主要由至少两个呈任意角度摆放的摄像机及安装在头部的一个特定标识图组成，所有特定标识图为任何具有一定特征的图案；当图像姿态数据、图像校准数据由图像法姿态检测部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过摄像机或与摄像机相连的处理部对摄像机获得的图像基础数据进行图像处理算法处理得到后再传递给矫正部；当图像姿态数据、图像校准数据由矫正部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过矫正部对摄像机获得的图像基础数据进行图像处理算法处理得到。
3.根据权利要求2所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，图像校准数据为从各个摄像机的拍摄图像中利用特征提取和图像面积处理算法提取出的各个特定标识图的面积，各个摄像机的拍摄图像为摄像机的图像基础数据，图像校准数据满足校准点的标准为：检测到各个特定标识图的面积基本相同时，记为满足校准点，基本相同的标准为：||Smaker1-Smaker2......-SmakerN||<int1，其中Smaker1、Smaker2、......SmakerN表示各个摄像机所拍摄到的特定标识图的面积，int1＝Smaker*X，10％>X>0％，Smaker表示特定标识图的实际面积。
4.根据权利要求2所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，图像姿态数据的获取方式为：先从各个摄像机的摄像图像中找出特定标识图，比较各个特定标识图所占各自摄像图像的面积，选择面积最大的特定标识图作为待处理图像，之后通过图像处理算法解算出特定标识图的姿态，同时根据摄像机安装的位置，在特定标识图的姿态上加上摄像机初始位置带来的偏移量，从而得到特定标识图的准确姿态数据作为最终的图像姿态数据；最终的图像姿态数据分别是：图像头部偏航角yaw_PIC、图像头部俯仰角pitch_PIC、图像头部翻滚角roll_PIC。
5.根据权利要求1所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，所述图像法姿态检测部主要由一个正对人脸或正对人后脑的摄像机及安装在头部周围的至少3个特定标识图组成，有一块特定标识图位于人脸正前方或后脑正后方从而成为正位特定标识图，所有特定标识图为任何具有一定特征的图案；当图像姿态数据、图像校准数据由图像法姿态检测部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过摄像机或与摄像机相连的处理部对摄像机获得的图像基础数据进行图像处理算法处理得到后再传递给矫正部；当图像姿态数据、图像校准数据由矫正部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过矫正部对摄像机获得的图像基础数据进行图像处理算法处理得到。
6.根据权利要求5所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，图像校准数据包括摄像机的拍摄图像的面积、正位特定标识图所占面积，正位特定标识图所占面积为从摄像机的拍摄图像中利用特征提取和图像面积处理算法提取出位于人脸正前方或后脑正后方的正位特定标识图在拍摄图像的所占面积，摄像机的拍摄图像为摄像机的图像基础数据，图像校准数据满足校准点的标准为：检测到位于人脸正前方或后脑正后方的正位特定标识图在拍摄图像的所占的面积最大时，记为满足校准点，面积最大的标准为：MAXSmaker＝Smaker*S，100％>S>90％时，其中MAXSmaker为正位特定标识图所占面积，Smaker为摄像机的拍摄图像的面积。
7.根据权利要求5所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，图像姿态数据的获取方式为：获得同时包含所有特定标识图的拍摄图像，再比较在拍摄图像中特定标识图的面积大小，选出面积最大的特定标识图作为待处理特定标识图，通过图像处理算法解算出待处理特定标识图的姿态数据，再根据选取的特定标识图的不同，在待处理特定标识图的姿态数据上加上不同的基础偏移，该偏移量由所选取的特定标识图安装在头部的位置决定，最终得到的特定标识的姿态数据作为最终的图像姿态数据；最终的图像姿态数据分别是：图像头部偏航角yaw_PIC、图像头部俯仰角pitch_PIC、图像头部翻滚角roll_PIC。
8.根据权利要求1所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，所述图像法姿态检测部主要由一个正对人脸或正对人后脑的摄像机组成；当图像姿态数据、图像校准数据由图像法姿态检测部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过摄像机或与摄像机相连的处理部对摄像机获得的图像基础数据进行图像处理算法处理得到后再传递给矫正部；当图像姿态数据、图像校准数据由矫正部采用图像处理算法对图像基础数据进行解算完成时，图像姿态数据、图像校准数据通过矫正部对摄像机获得的图像基础数据进行图像处理算法处理得到。
9.根据权利要求8所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，图像校准数据包括标准特征图像和当前特征图像，所述标准特征图像为正对人脸或正对人后脑时拍摄到并利用特征提取出的标准特征图像，所述当前特征图像为从当前摄像机的拍摄图像中利用特征提取出的特征图像，摄像机的拍摄图像为摄像机的图像基础数据，图像校准数据满足校准点的标准为：当检测到当前特征图像与标准特征图像相比达到相似标准时，记为满足校准点，所述相似标准为运算特征图像与标准图像的相似度达到90-100％。
10.根据权利要求8所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，图像姿态数据的获取方式为：从当前拍摄图像中选取指定特征，再对指定特征进行姿态识别算法解算出特征的姿态数据，根据选取的特征的不同，需要在特征的姿态数据上加上不同的基础偏移，该偏移量由所选取的特征与人头部的相对姿态决定，得到的特征的姿态数据最终的图像姿态数据；最终的图像姿态数据分别是：图像头部偏航角yaw_PIC、图像头部俯仰角pitch_PIC、图像头部翻滚角roll_PIC。
11.根据权利要求1-10所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，图像校准数据为图像姿态数据中的图像头部偏航角yaw_PIC和图像头部俯仰角pitch_PIC，图像校准数据满足校准点的标准为：当图像头部偏航角：||yaw_PIC||<10°和图像头部俯仰角：||pitch_PIC||<10°时，记为满足校准点。
12.根据权利要求1-10所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，惯性传感法姿态检测部包括置于被测头部的9轴数据姿态传感器，惯性姿态数据是由矫正部或惯性传感法姿态检测部对9轴数据姿态传感器输出的惯性基础数据按照姿态解算算法计算出得到，惯性姿态数据包括惯性头部偏航角yaw_AHRS、惯性头部俯仰角pitch_AHRS、惯性头部翻滚角roll_AHRS。
13.根据权利要求1-10所述的一种图像与惯性结合的头部姿态检测系统，其特征在于，通过偏差值对惯性姿态数据进行修正的方式为：先通过当前的图像姿态数据与当前的惯性姿态数据计算得到偏航角差值、俯仰角差值、翻滚角差值，偏航角差值：yaw_GAP＝yaw_PIC-yaw_AHRS,俯仰角差值：pitch_GAP＝pitch_PIC-pitch_AHRS，翻滚角差值：roll_GAP＝roll_PIC-roll_AHRS，再通过偏航角差值、俯仰角差值、翻滚角差值对惯性姿态数据进行修正得到偏航角修正值、俯仰角修正值、翻滚角修正值,偏航角修正值：yaw＝yaw_AHRS+yaw_GAP,俯仰角修正值：pitch＝pitch_AHRS+pitch_GAP，翻滚角修正值：roll＝roll_AHRS+roll_GAP，偏航角修正值、俯仰角修正值、翻滚角修正值作为当前头部姿态数据；其中，yaw_PIC为图像头部偏航角、pitch_PIC为图像头部俯仰角、roll_PIC为图像头部翻滚角，yaw_AHRS为惯性头部偏航角、pitch_AHRS为惯性头部俯仰角、roll_AHRS为惯性头部翻滚角。
CN201910285711.0A 2019-04-10 2019-04-10 一种图像与惯性结合的头部姿态检测系统 Active CN110163911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910285711.0A CN110163911B (zh) 2019-04-10 2019-04-10 一种图像与惯性结合的头部姿态检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910285711.0A CN110163911B (zh) 2019-04-10 2019-04-10 一种图像与惯性结合的头部姿态检测系统

Publications (2)

Publication Number Publication Date
CN110163911A true CN110163911A (zh) 2019-08-23
CN110163911B CN110163911B (zh) 2022-07-19

Family

ID=67639351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910285711.0A Active CN110163911B (zh) 2019-04-10 2019-04-10 一种图像与惯性结合的头部姿态检测系统

Country Status (1)

Country Link
CN (1) CN110163911B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112033432A (zh) * 2020-07-31 2020-12-04 东莞市易联交互信息科技有限责任公司 动作捕捉方法、系统和存储介质
CN112783318A (zh) * 2019-11-05 2021-05-11 未来市股份有限公司 人机交互系统和人机交互方法
CN113503898A (zh) * 2021-07-09 2021-10-15 广州幻境科技有限公司 一种惯性动作数据的实时校准方法和装置
CN113591812A (zh) * 2021-09-29 2021-11-02 武汉未来幻影科技有限公司 一种驾驶员查看动作的识别方法、装置以及处理设备
CN113721450A (zh) * 2021-08-05 2021-11-30 杭州海康威视数字技术股份有限公司 一种终端设备及其控制方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232467A1 (en) * 2002-11-07 2005-10-20 Olympus Corporation Motion detection apparatus
CN104848861A (zh) * 2015-05-28 2015-08-19 西安交通大学 一种基于图像消失点识别技术的移动设备姿态测量方法
CN106774844A (zh) * 2016-11-23 2017-05-31 上海创米科技有限公司 一种用于虚拟定位的方法及设备
CN108225281A (zh) * 2017-12-25 2018-06-29 中国航空工业集团公司洛阳电光设备研究所 一种基于摄像机的飞行员头部姿态检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232467A1 (en) * 2002-11-07 2005-10-20 Olympus Corporation Motion detection apparatus
CN104848861A (zh) * 2015-05-28 2015-08-19 西安交通大学 一种基于图像消失点识别技术的移动设备姿态测量方法
CN106774844A (zh) * 2016-11-23 2017-05-31 上海创米科技有限公司 一种用于虚拟定位的方法及设备
CN108225281A (zh) * 2017-12-25 2018-06-29 中国航空工业集团公司洛阳电光设备研究所 一种基于摄像机的飞行员头部姿态检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HENG ZHANG 等: "The study of human wireless monitoring system in supervision place", 《THE 2ND INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND ENGINEERING》 *
SHUQIU TAN 等: "Regression-Based Sparse Coding for Facial Point Detection", 《2016 INTERNATIONAL CONFERENCE ON VIRTUAL REALITY AND VISUALIZATION (ICVRV)》 *
夏学海: "基于头部姿态补偿的注视点定位算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
陈俊辉: ""基于Real AdaBoost和WMIL的人脸检测与跟踪 "", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783318A (zh) * 2019-11-05 2021-05-11 未来市股份有限公司 人机交互系统和人机交互方法
CN112033432A (zh) * 2020-07-31 2020-12-04 东莞市易联交互信息科技有限责任公司 动作捕捉方法、系统和存储介质
CN113503898A (zh) * 2021-07-09 2021-10-15 广州幻境科技有限公司 一种惯性动作数据的实时校准方法和装置
CN113721450A (zh) * 2021-08-05 2021-11-30 杭州海康威视数字技术股份有限公司 一种终端设备及其控制方法和装置
CN113591812A (zh) * 2021-09-29 2021-11-02 武汉未来幻影科技有限公司 一种驾驶员查看动作的识别方法、装置以及处理设备

Also Published As

Publication number Publication date
CN110163911B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN110163911A (zh) 一种图像与惯性结合的头部姿态检测系统
CN111561923B (zh) 基于多传感器融合的slam制图方法、系统
CN108510530B (zh) 一种三维点云匹配方法及其系统
Zhang et al. Extrinsic calibration of a camera and laser range finder (improves camera calibration)
CN111932674A (zh) 一种线激光视觉惯性系统的优化方法
CN111210478B (zh) 一种无共同视野多相机系统外参标定方法、介质及系统
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
US11212511B1 (en) Residual error mitigation in multiview calibration
CN109785370B (zh) 一种基于空间时间序列模型的弱纹理图像配准方法
CN109656033A (zh) 一种区分液晶显示屏灰尘和缺陷的方法及装置
CN107687818A (zh) 三维量测方法及三维量测装置
WO2023201578A1 (zh) 单目激光散斑投影系统的外参数标定方法和装置
CN116007609A (zh) 一种多光谱图像和惯导融合的定位方法和计算系统
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
CN112862818B (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
CN112116665B (zh) 一种结构光传感器标定方法
JP7308227B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN104937608B (zh) 道路区域检测
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
JP2010145219A (ja) 運動推定装置及びプログラム
CN116188545A (zh) 基于imu和里程计的红外与可见光传感器在线配准方法
US20240085448A1 (en) Speed measurement method and apparatus based on multiple cameras
CN110069131B (zh) 一种基于近红外光圆斑检测的多指尖定位方法
Zhang et al. A Static Feature Point Extraction Algorithm for Visual-Inertial SLAM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant