CN109788194A - 一种自适应性可穿戴设备主观视角图像采集方法 - Google Patents
一种自适应性可穿戴设备主观视角图像采集方法 Download PDFInfo
- Publication number
- CN109788194A CN109788194A CN201811609807.XA CN201811609807A CN109788194A CN 109788194 A CN109788194 A CN 109788194A CN 201811609807 A CN201811609807 A CN 201811609807A CN 109788194 A CN109788194 A CN 109788194A
- Authority
- CN
- China
- Prior art keywords
- data
- adaptivity
- wearable device
- subjectivity
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000001133 acceleration Effects 0.000 claims abstract description 37
- 230000015654 memory Effects 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 230000006698 induction Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 239000013598 vector Substances 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种自适应性可穿戴设备主观视角图像采集方法，步骤如下:一、搭建自适应性可穿戴设备主观视角图像采集平台；二、配置图像传感器，获取图像数据；三、配置系统中惯性传感器，获取加速度、角速度及磁感应强度原始数据并进行数据预处理；四、通过方向余弦矩阵的计算，将载体坐标系下数据转为地面坐标系下数据；五、对惯性传感器获取的数据进行处理，通过人体的运动模式调整图像传感器采集频率；六、分析图像相似度，结果作为反馈值调整图像采集频率；通过以上步骤，实现自适应性图像采集的闭环过程，达到降低功耗和内存消耗的效果。
Description
技术领域
利用可穿戴设备进行主观视角图像采集可为行为识别等用途提供数据来源。本发明提供一种在保证识别准确度的前提下，通过自适应调节图像采集频率来降低设备的内存和功耗的方法。
背景技术
新时代背景下，可穿戴设备应运而生。自谷歌眼镜亮相开始，智能可穿戴设备作为智能终端产业下一个热点已被市场广泛认同。伴随着微型处理器、传感器、微机电系统及新材料等技术的飞速发展，可穿戴设备已渗透至各个领域。
现阶段，对可穿戴传感器的研究日趋活跃。由于嵌入式设备的飞速发展，主观视角图像的采集问题得以解决，但受限于可穿戴设备的尺寸，采集数据往往受存储空间和电量限制。应用场景复杂、场景类别间相似度高等因素也对主观视角图像做后续行为识别等处理造成了困扰。传统的可穿戴设备所搭载的传感器，例如摄像头和惯导，往往以固定时钟对数据进行采集，这种方式在长时间监测行为过程中会造成大量存储空间和能量的浪费。事实上，设备传感器的采集频率对系统有着至关重要的影响，过高的频率会导致存储和功率的浪费，而过低的频率会导致行为细节的遗失。
本发明提出的自适应性可穿戴设备主观视角图像采集系统结合图像和惯性两种传感器，分别从图像和动作两个维度对信息进行采集，通过惯性传感器进行图像采集频率的自适应控制。
发明内容
发明目的
本发明的目的是提供一种自适应性可穿戴设备主观视角图像采集方法。由惯性传感器获取动作信息，通过人体的运动模式控制图像采集的频率；同时对采集图像的相似度进行分析，实现基于频率的自适应调节图像采集闭环。
技术方案
本发明是一种自适应性可穿戴设备主观视角图像采集方法，其步骤如下:
步骤一、搭建自适应性可穿戴设备主观视角图像采集平台；
步骤二、配置图像传感器，获取图像数据；
步骤三、配置系统中惯性传感器，获取加速度、角速度及磁感应强度原始数据并进行数据预处理；
步骤四、通过方向余弦矩阵的计算，将载体坐标系下数据转为地面坐标系下数据；
步骤五、对惯性传感器获取的数据进行处理，通过人体的运动模式调整图像传感器采集频率；
步骤六、分析图像相似度，结果作为反馈值调整图像采集频率；
通过以上步骤，本发明结合惯性传感器和图像传感器两个维度，利用惯性传感器感知人的动作变化过程，判断相应状态后进行图像采集频率设置，同时依据已获取图像的相似度这一指标作为反馈机制，进行图像采集频率调节，从而实现图像的自适应采集过程；即实现自适应性图像采集的闭环过程，达到降低功耗和内存消耗的效果。
其中，在“步骤一”中所述的“搭建自适应性可穿戴设备主观视角图像采集平台”，该自适应性可穿戴设备包含主控制器模块、惯性传感器模块、图像传感器模块、安全数码卡(Secure Digital Card，SD卡)存储模块、静态随机存取存储器(static random accessmemory，SRAM)模块、蜂鸣器模块、电源模块、复位模块、调试模块及按键模块，其中调试模块采用基于联合测试行动小组提出的协议(Joint Test Action Group，JTAG)即JTAG协议的5引脚标准接口，其“搭建”的做法如下：完成各个模块的选型过程；设计并搭建硬件电路，包括供电区域、复位区域、调试区域、存储扩展区域、按键区域和信息采集区域等；完成软件设计，主要为初始化过程，包括系统初始化及外设初始化。
其中，在“步骤二”中所述的“配置图像传感器，获取图像数据”，其做法如下：选取合适的图像传感器，在对传感器进行初始化配置后，进行确定分辨率下的图像数据采集，并将图像存入SD卡中。
其中，在“步骤三”中所述的“配置系统中惯性传感器，获取加速度、角速度及磁感应强度原始数据并进行数据预处理”，其做法如下：所选惯性传感器集成了加速度计、陀螺仪及磁强计，对惯性传感器进行初始化配置后，可进入数据采集阶段，从而进行加速度、角速度和磁感应强度的测量，由于测量过程中存在噪声及干扰，因此需进行数据预处理；其中，获取的加速度原始数据包含重力加速度在各个坐标轴下的分量和身体运动产生的线性加速度，可通过低通滤波器采取迭代方式将两者进行分离。
其中，在“步骤四”中所述的“通过方向余弦矩阵的计算，将载体坐标系下数据转化为地理坐标系下数据”，其做法如下：通过惯性传感器中获取的三轴加速度数据是基于传感器自身坐标系下的数据，称为载体坐标系，该坐标系随传感器位置、方向等的变化而变化；方向余弦矩阵(Direction Cosine Matrix,DCM)主要用于坐标变换，通过两种坐标系之间方位关系获取地理坐标系下加速度数据。
其中，在“步骤五”中所述的“对惯性传感器获取的数据进行处理，通过人体的运动模式调整图像传感器采集频率”，其做法如下：由于单次拍照时间固定，因此调节图像传感器采集频率即为调节两次拍照的时间间隔；利用步骤四得到的地理坐标系下由于运动产生的加速度数据，采取三轴合一方式获得最终加速度，并通过积分方式得出速度值，消除过程中产生的积分误差；根据速度大小设置不同状态阈值，从而设置相应拍照间隔。
其中，在“步骤六”中所述的“分析图像相似度，结果作为反馈值调整图像采集频率”，其做法如下：考虑到方法复杂度与硬件处理器运算能力，在本发明中采取均值哈希方法对采集的图像数据进行相似度比较；通过缩放图像、将图像转化为灰度图、计算图像平均值、比较像素灰度值、生成信息指纹和对比指纹的过程实现相似度的对比，若相似度过高，则说明应降低当前采集频率，从而降低功率消耗和所占内存。
发明优点
本发明提供一种自适应性可穿戴设备主观视角图像采集方法。事实上，在采集过程中，设备传感器的采集频率应随环境信息和场景信息的复杂度改变。相对于传统的以固定时钟对图像数据进行采集的设备，本发明结合惯性传感器和图像传感器两个维度，通过惯性传感器感知人的动作信息，判断相应状态后进行拍照频率设置，同时依据已获取图像的相似度作为反馈机制，进行频率调节，从而实现图像的自适应采集过程。
附图说明
图1为本发明所述方法系统框架图。
图2为本发明自适应性可穿戴设备主观视角图像采集平台。
图3为本发明直接存储器访问(Direct Memory Access,DMA)双缓冲机制图像传输。
具体实施方式
本发明是一种自适应性可穿戴设备主观视角图像采集方法，如图1所示，其步骤如下:
步骤一、搭建自适应性可穿戴设备主观视角图像采集平台；
步骤二、配置图像传感器，获取图像数据；
步骤三、配置系统中惯性传感器，获取加速度、角速度及磁感应强度原始数据并进行数据预处理；
步骤四、通过方向余弦矩阵的计算，将载体坐标系下数据转为地面坐标系下数据；
步骤五、对惯性传感器获取的数据进行处理，通过人体的运动模式调整图像传感器采集频率；
步骤六、分析图像相似度，结果作为反馈值调整图像采集频率。
通过以上步骤，能够实现自适应性图像采集的闭环过程，达到降低功耗和内存消耗的效果。
其中，步骤一的做法如下：
首先考虑硬件部分设计，如图2所示。
为完成平台的搭建，对各个模块进行选型。在本发明中，主控制器模块采用STM32F407ZGT6芯片，惯性传感器模块采用MPU9250九轴惯性传感器，图像传感器模块采用OV2640摄像头模组、SRAM存储器模块采用IS62WV51216芯片。
·平台通过降压及稳压芯片将电源转化成+3.3V给微控制单元(Micro ControlUnit,MCU)和各个模块进行供电，采取MURB1620CT芯片实现电源防插反保护；同时采用纽扣电池进行后备区域供电，以保证实时时钟(Real-Time Clock,RTC)不间断，从而可以记录每组图像获取时间；
·采取低电平复位方式对主控MCU进行复位；
·JTAG接口用于下载调试代码；
·通过SRAM芯片扩大MCU内存，同时作为图像采集部分中数据的临时存储空间；
·通过MCU内部上拉电阻作为为按键提供上拉，为采集设备充电后，按下按键，采集开始；
·蜂鸣器模块采取有源蜂鸣器，当图像相似度不满足条件时，蜂鸣器报警；
然后考虑软件部分设计。
软件部分主要为初始化过程，主要包括通用I/O端口(General-Purpose Input/Output Ports,GPIO)、按键、蜂鸣器、惯性传感器、图像传感器、SRAM存储器等外设部分初始化。
其中，步骤二的做法如下：
在本发明中，使用主控MCU自带的数字摄像头接口(Digital Camera Interface,DCMI)接收外部图像采集模块发出的高速数据流。同时，MCU自带了标准SD卡接口，可使用相应的安全数字输入输出(Secure Digital Input and Output,SDIO)接口驱动。
利用DCMI驱动OV2640步骤如下：
·初始化时钟；
·初始化OV2640：初始化输入/输出(Input/Output，I/O)口；上电，复位；执行初始化序列；
·窗口设置：进行图像窗口设置，从而调整图像大小和缩放模式；
·初始化DCMI：配置相关引脚的复用功能，使能DCMI时钟；设置DCMI工作模式即像素时钟、帧同步信号及行同步信号等参数；使能DMA，进行相关设置；启动DMA传输；
图像传感器采集到的数据缓存在32位数据寄存器中，可通过DMA双缓冲机制读取数据寄存器，使用两个内存交替存储数据，如图3所示。当内存1空间被占满时，自动切换至内存2，同时读取内存1数据至外部SRAM；当内存2空间被沾满后，自动切换至内存1，同时读取内存2数据至外部SRAM；依次循环，直至帧中断，读取剩余数据至外部SRAM，完成一帧数据采集。
最后，将存储在外部SRAM的数据，保存为.jpg格式存放在SD卡。
其中，步骤三的做法如下：
要进行惯性传感器原始数据获取，需要正确对其进行配置，其初始化步骤如下：
·初始化集成电路总线(Inter-Integrated Circuit，IIC)接口：在本发明中，通过IIC通信方式进行主控MCU与惯性传感器之间的通信，可采用模拟IIC方式来读写MPU9250。选取IO口作为数据线和时钟线，将IO配置为推挽输出，设置为上拉状态；按照通信协议编写相关函数。
·复位MUP9250：使惯性传感器内部所有寄存器恢复默认值；
·唤醒MPU9250：使惯性传感器进入正常工作状态；
·设置满量程范围：通过相应寄存器设置陀螺仪满量程范围为±1000dps，加速度计满量程范围为±8g，磁力计的测量模式为单次测量。
·配置系统时钟源，使能传感器：通过相应寄存器进行系统时钟源配置，并进行加速度计、陀螺仪、磁力计的使能。
由于MPU9250自带模数转换器(Analog to Digital Converter,ADC)，因此三种数据都是数字输出，可从相应寄存器读取相关数据。
在测量过程中，由于噪声及干扰的存在，需要对原始数据进行去噪处理。在本发明中，采取中值滤波法，采用滑动窗口进行数据滤波。
穿戴者在运动过程中，加速度计采集到的各轴加速度由两部分构成，分别是重力在各轴的分量及由于运动产生的加速度，可采用低通滤波器对两种形式加速度进行分离。低通滤波通过迭代实现，其过程如下：
迭代初始：将各轴加速度初值赋给重力在各轴分量，初始化重力分量。
GX(0)＝AccX(0)
GY(0)＝AccY(0)
GZ(0)＝AccZ(0)
迭代过程：每一个采样点重力在各轴分量为当前采样点加速度分量的0.2倍与前一采样点重力在各轴分量的0.8倍之和。
GX(i)＝0.2×AccX(i)+0.8×GX(i-1)
GY(i)＝0.2×AccY(i)+0.8×GY(i-1)
GZ(i)＝0.2×AccZ(i)+0.8×GZ(i-1)
则由于运动产生的各轴加速度分量即为各轴总加速度与重力分量之差。
AX(i)＝AccX(i)-GX(i)
AY(i)＝AccY(i)-GY(i)
AZ(i)＝AccZ(i)-GZ(i)
其中，AccX(i)，AccY(i)，AccZ(i)为加速度计采集到的各轴加速度在第i个采样点处的值；GX(i)，GY(i)，GZ(i)为重力的各轴分量在第i个采样点处的值；AX(i)，AY(i)，AZ(i)为运动产生的加速度各轴分量在第i个采样点处的值。
由此，可实现利用低通滤波器将两种加速度分离的目的。
其中，步骤四的做法如下：
方向余弦矩阵即DCM矩阵，定义了一个坐标系相对于另一个坐标系的旋转。定义载体坐标系下的单位向量分别为i,j,k，地面坐标系下单位向量分别为I,J,K。
则在载体坐标系中变量
通过DCM矩阵可以确定其在地面坐标系下坐标
在地面坐标系中，向量I指向北，J指向东，K指向天。加速度计重力矢量指向地心，与K矢量反向。磁强计可以感应北向磁场指向，与I矢量同向。对两者进行误差纠正和初始校准后，采用步骤二中得到的预处理后载体坐标系下重力在三轴坐标系下的分量G＝{GX,GY,GZ}及三轴地磁分量Mag＝{MagX,MagY,MagZ}，可进行DCM矩阵的计算，过程如下所示：
·将G进行归一化，得到单位向量GA＝{GAX,GAY,GAZ}；
·将Mag进行归一化，得到单位向量M＝{MX,MY,MZ}；
·计算Mag与G的叉积，得到与J同向的向量；进行归一化处理，得到单位向量H＝{HX,HY,HZ}；
·获得DCM矩阵：
其中，步骤五的做法如下：
由于单次拍照时间固定，调节图像传感器采集频率即为调节两次拍照的时间间隔。在步骤三中获取了载体坐标系下运动产生的各轴加速度A＝{AX,AY,AZ}，步骤四中计算得到DCM矩阵DCMG。由此，可获取地面坐标系下运动产生的各轴加速度
AG＝{AX G,AY G,AZ G}＝DCMG×A
采用三轴合一方式，计算三轴加速度的信号矢量幅值作为最终加速度
对加速度数据做积分得到速度变化曲线，在积分过程中会产生误差。
数值积分的误差来源主要有两个方面：过程中受直流偏置(“平移项”)影响；线性项或缓变的非线性项成分(“趋势项”)。在本发明中，对于平移项的误差，采取减去积分结果的均值来消除影响；对于趋势项的误差，在去直流基础上，将曲线等分为适当几段，对各段样本分别求数学期望，将各个数学期望值用多项式拟合方式拟合出一条趋势项曲线，用积分结果减去趋势项曲线即为最终积分结果。
由上述过程可得到相对精确的速度数据，由于利用速度调整图像传感器拍照频率过程如下：
·根据速度大小设置不同状态阈值；
·设置不同拍照间隔；
·设置定时器中断，判断当前速度对应的状态阈值，寻找当次拍照与下次拍照间隔。
其中，步骤六的做法如下：
由于采集到的图像主要用于行为识别等后续处理，图像的关联程度足够满足这一需求即可，因此设备传感器的采集频率应随环境信息和场景信息的复杂度改变。当一簇图像的相似度过高时，应降低采集频率，从而减小内存及功率消耗；当相似度过低时，应提高采集频率，从而增强图像的可识别性。
在本发明中，采用均值哈希算法进行相似度的比较，过程如下：
·缩放图片：为去除图像大小、纵横比差异及保留结构，去除细节，将图片缩放为8*8状态，使得图像像素为64。
·转化为灰度图：将缩放后图片转换为256阶灰度图。采取均值法实现，公式如下：
Gray＝(R+G+B)/3
·计算平均值：计算灰度图所有像素点的平均值。
·比较像素灰度值：遍历灰度图片每一个像素，若像素值大于平均值记作1，相反记作0。
·生成信息指纹：将上述步骤生成的1和0按顺序组合起来即为图片的指纹(hash)。
·对比指纹：将两幅图的指纹对比，计算汉明距离。通过对两个指纹进行按位异或运算，运算结果之中的1的个数即为汉明距离。距离越小，图片越相似。计算公式如下：
其中，a和b表示两个n位的字符串或向量，ai和bi为字符串或向量的第i位，表示异或运算。在本发明中，由于将图片进行缩放，n为64。
事实上，若汉明距离为0，则表示两张照片非常相似；若汉明距离小于5，则表示两张照片有些不同；若汉明距离大于10，则表示两张照片完全不同。在本发明中，对采集到的相邻图像进行相似度对比，根据实际需求设置不同合适阈值，作为采集是否过疏或过密评判标准。若连续10张图像汉明距离均在过疏阈值上下或超过阈值，则应降低采集频率；若均在过密阈值上下或超过阈值，则应增加采集频率。在步骤五中，对应不同速度设置不同帧图像采集间隔时间，若检测到采集过密行为，可将初始设置间隔值或上一次间隔值变为原来2倍；若检测到过疏行为，可变为原来1/2。
Claims (7)
1.一种自适应性可穿戴设备主观视角图像采集方法，其特征在于：其步骤如下:
步骤一、搭建自适应性可穿戴设备主观视角图像采集平台；
步骤二、配置图像传感器，获取图像数据；
步骤三、配置系统中惯性传感器，获取加速度、角速度及磁感应强度原始数据并进行数据预处理；
步骤四、通过方向余弦矩阵的计算，将载体坐标系下数据转为地面坐标系下数据；
步骤五、对惯性传感器获取的数据进行处理，通过人体的运动模式调整图像传感器采集频率；
步骤六、分析图像相似度，结果作为反馈值调整图像采集频率。
2.根据权利要求1所述的一种自适应性可穿戴设备主观视角图像采集方法，其特征在于：
在“步骤一”中所述的“搭建自适应性可穿戴设备主观视角图像采集平台”，该自适应性可穿戴设备包含主控制器模块、惯性传感器模块、图像传感器模块、安全数码卡即SD卡存储模块、静态随机存取存储器即SRAM模块、蜂鸣器模块、电源模块、复位模块、调试模块及按键模块；其中调试模块采用基于联合测试行动小组提出的协议即JTAG协议的5引脚标准接口；其“搭建”的做法如下：完成复数个模块的选型过程；设计并搭建硬件电路，包括供电区域、复位区域、调试区域、存储扩展区域、按键区域和信息采集区域；完成软件设计，主要为初始化过程，包括系统初始化及外设初始化。
3.根据权利要求1所述的一种自适应性可穿戴设备主观视角图像采集方法，其特征在于：
在“步骤二”中所述的“配置图像传感器，获取图像数据”，其做法如下：选取预定的图像传感器，在对传感器进行初始化配置后，进行确定分辨率下的图像数据采集，并将图像存入SD卡中。
4.根据权利要求1所述的一种自适应性可穿戴设备主观视角图像采集方法，其特征在于：
在“步骤三”中所述的“配置系统中惯性传感器，获取加速度、角速度及磁感应强度原始数据并进行数据预处理”，其做法如下：所选惯性传感器集成了加速度计、陀螺仪及磁强计，对惯性传感器进行初始化配置后，能进入数据采集阶段，从而进行加速度、角速度及磁感应强度的测量，由于测量过程中存在噪声及干扰，因此需进行数据预处理；其中，获取的加速度原始数据包含重力加速度在各个坐标轴下的分量和身体运动产生的线性加速度，通过低通滤波器采取迭代方式将两者进行分离。
5.根据权利要求1所述的一种自适应性可穿戴设备主观视角图像采集方法，其特征在于：
在“步骤四”中所述的“通过方向余弦矩阵的计算，将载体坐标系下数据转化为地理坐标系下数据”，其做法如下：通过惯性传感器中获取的三轴加速度数据是基于传感器自身坐标系下的数据，称为载体坐标系，该坐标系随传感器位置、方向等的变化而变化；方向余弦矩阵即DCM主要用于坐标变换，通过两种坐标系之间方位关系获取地理坐标系下加速度数据。
6.根据权利要求1所述的一种自适应性可穿戴设备主观视角图像采集方法，其特征在于：
在“步骤五”中所述的“对惯性传感器获取的数据进行处理，通过人体的运动模式调整图像传感器采集频率”，其做法如下：由于单次拍照时间固定，因此调节图像传感器采集频率即为调节两次拍照的时间间隔；利用步骤四得到的地理坐标系下由于运动产生的加速度数据，采取三轴合一方式获得最终加速度，并通过积分方式得出速度值，消除过程中产生的积分误差；根据速度大小设置不同状态阈值，从而设置相应拍照间隔。
7.根据权利要求1所述的一种自适应性可穿戴设备主观视角图像采集方法，其特征在于：
在“步骤六”中所述的“分析图像相似度，结果作为反馈值调整图像采集频率”，其做法如下：考虑到方法复杂度与硬件处理器运算能力，在本发明中采取均值哈希方法对采集的图像数据进行相似度比较；通过缩放图像、将图像转化为灰度图、计算图像平均值、比较像素灰度值、生成信息指纹和对比指纹的过程实现相似度的对比，若相似度过高，则说明应降低当前采集频率，从而降低功率消耗和所占内存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811609807.XA CN109788194B (zh) | 2018-12-27 | 2018-12-27 | 一种自适应性可穿戴设备主观视角图像采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811609807.XA CN109788194B (zh) | 2018-12-27 | 2018-12-27 | 一种自适应性可穿戴设备主观视角图像采集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109788194A true CN109788194A (zh) | 2019-05-21 |
| CN109788194B CN109788194B (zh) | 2020-08-25 |
Family
ID=66498646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811609807.XA Expired - Fee Related CN109788194B (zh) | 2018-12-27 | 2018-12-27 | 一种自适应性可穿戴设备主观视角图像采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109788194B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110505383A (zh) * | 2019-08-29 | 2019-11-26 | 重庆金山医疗技术研究院有限公司 | 一种图像获取方法、图像获取装置及内窥镜系统 |
| CN111444983A (zh) * | 2020-04-22 | 2020-07-24 | 中国科学院上海微系统与信息技术研究所 | 一种基于传感数据信息指纹的风险事件识别方法与系统 |
| CN112929332A (zh) * | 2021-01-19 | 2021-06-08 | 北京睿芯高通量科技有限公司 | 一种多轴物体运动检测系统及检测方法 |
| CN116030053A (zh) * | 2023-03-27 | 2023-04-28 | 中江立江电子有限公司 | 一种连接器引脚缺陷检测方法、装置、设备及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103209292A (zh) * | 2012-09-26 | 2013-07-17 | 顾红波 | 一种获取稳定成像的智能拍照系统和方法 |
| JP2014131120A (ja) * | 2012-12-28 | 2014-07-10 | Casio Comput Co Ltd | 撮像装置、撮像制御方法、及びプログラム |
| US20150350536A1 (en) * | 2014-05-30 | 2015-12-03 | Sony Corporation | Wearable terminal device, photographing system, and photographing method |
| CN105763815A (zh) * | 2016-05-05 | 2016-07-13 | 胡央 | 一种自动调整拍摄间隔的摄像设备及其控制方法 |
| CN107256086A (zh) * | 2017-06-05 | 2017-10-17 | 努比亚技术有限公司 | 拍照控制方法、移动终端和计算机可读存储介质 |
| CN107478222A (zh) * | 2017-09-01 | 2017-12-15 | 南京理工大学 | 一种基于mems技术的无线穿戴式人体姿态监测系统 |
| CN107943278A (zh) * | 2017-10-26 | 2018-04-20 | 努比亚技术有限公司 | 一种图像显示调整方法及图像显示调整设备 |
| CN207264314U (zh) * | 2017-08-15 | 2018-04-20 | 惠州有空运动体育科技服务有限公司 | 一种基于可穿戴设备的运动比对系统 |
| CN107977082A (zh) * | 2017-12-19 | 2018-05-01 | 亮风台（上海）信息科技有限公司 | 一种用于呈现ar信息的方法及系统 |
| CN108377593A (zh) * | 2018-03-01 | 2018-08-07 | 广东欧珀移动通信有限公司 | 控制照明方法、装置、系统、耳机及计算机可读存储介质 |
| CN108427479A (zh) * | 2018-02-13 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 可穿戴设备、环境图像数据的处理系统、方法及可读介质 |
| CN108733213A (zh) * | 2018-05-15 | 2018-11-02 | 清华大学 | 一种基于热觉的柔性盲人图像交互系统及其识别方法 |
-
2018
- 2018-12-27 CN CN201811609807.XA patent/CN109788194B/zh not_active Expired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103209292A (zh) * | 2012-09-26 | 2013-07-17 | 顾红波 | 一种获取稳定成像的智能拍照系统和方法 |
| JP2014131120A (ja) * | 2012-12-28 | 2014-07-10 | Casio Comput Co Ltd | 撮像装置、撮像制御方法、及びプログラム |
| US20150350536A1 (en) * | 2014-05-30 | 2015-12-03 | Sony Corporation | Wearable terminal device, photographing system, and photographing method |
| CN105763815A (zh) * | 2016-05-05 | 2016-07-13 | 胡央 | 一种自动调整拍摄间隔的摄像设备及其控制方法 |
| CN107256086A (zh) * | 2017-06-05 | 2017-10-17 | 努比亚技术有限公司 | 拍照控制方法、移动终端和计算机可读存储介质 |
| CN207264314U (zh) * | 2017-08-15 | 2018-04-20 | 惠州有空运动体育科技服务有限公司 | 一种基于可穿戴设备的运动比对系统 |
| CN107478222A (zh) * | 2017-09-01 | 2017-12-15 | 南京理工大学 | 一种基于mems技术的无线穿戴式人体姿态监测系统 |
| CN107943278A (zh) * | 2017-10-26 | 2018-04-20 | 努比亚技术有限公司 | 一种图像显示调整方法及图像显示调整设备 |
| CN107977082A (zh) * | 2017-12-19 | 2018-05-01 | 亮风台（上海）信息科技有限公司 | 一种用于呈现ar信息的方法及系统 |
| CN108427479A (zh) * | 2018-02-13 | 2018-08-21 | 腾讯科技（深圳）有限公司 | 可穿戴设备、环境图像数据的处理系统、方法及可读介质 |
| CN108377593A (zh) * | 2018-03-01 | 2018-08-07 | 广东欧珀移动通信有限公司 | 控制照明方法、装置、系统、耳机及计算机可读存储介质 |
| CN108733213A (zh) * | 2018-05-15 | 2018-11-02 | 清华大学 | 一种基于热觉的柔性盲人图像交互系统及其识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 潘家瑶: "《基于惯性传感器的可穿戴设备智能控制技术的研究与实现》", 《信息技术与信息化》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110505383A (zh) * | 2019-08-29 | 2019-11-26 | 重庆金山医疗技术研究院有限公司 | 一种图像获取方法、图像获取装置及内窥镜系统 |
| CN111444983A (zh) * | 2020-04-22 | 2020-07-24 | 中国科学院上海微系统与信息技术研究所 | 一种基于传感数据信息指纹的风险事件识别方法与系统 |
| CN111444983B (zh) * | 2020-04-22 | 2023-10-24 | 中国科学院上海微系统与信息技术研究所 | 一种基于传感数据信息指纹的风险事件识别方法与系统 |
| CN112929332A (zh) * | 2021-01-19 | 2021-06-08 | 北京睿芯高通量科技有限公司 | 一种多轴物体运动检测系统及检测方法 |
| CN116030053A (zh) * | 2023-03-27 | 2023-04-28 | 中江立江电子有限公司 | 一种连接器引脚缺陷检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109788194B (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109788194A (zh) | 一种自适应性可穿戴设备主观视角图像采集方法 | |
| CN107018357B (zh) | 关于图像形成的动态视觉传感器的事件采样的方法和设备 | |
| EP3786892A1 (en) | Method, device and apparatus for repositioning in camera orientation tracking process, and storage medium | |
| WO2019205842A1 (zh) | 相机姿态追踪过程的重定位方法、装置及存储介质 | |
| KR101828201B1 (ko) | 3d 얼굴 모델 재구성 장치 및 방법 | |
| Yan et al. | Ronin: Robust neural inertial navigation in the wild: Benchmark, evaluations, and new methods | |
| CN110310362A (zh) | 基于深度图及imu的高动态场景三维重建方法、系统 | |
| CN109846487B (zh) | 基于MIMU/sEMG融合的大腿运动姿态测量方法和装置 | |
| CN111062981A (zh) | 图像处理方法、装置及存储介质 | |
| CN110097576A (zh) | 图像特征点的运动信息确定方法、任务执行方法和设备 | |
| JP2016535948A (ja) | マルチメディア・クリップに対するビデオ安定化の適用 | |
| WO2023221524A1 (zh) | 一种人体运动智能测量与数字训练系统 | |
| CN108827341A (zh) | 用于确定图像采集装置的惯性测量单元中的偏差的方法 | |
| WO2020171379A1 (en) | Capturing a photo using a mobile device | |
| Park et al. | 7.2 243.3 pJ/pixel bio-inspired time-stamp-based 2D optic flow sensor for artificial compound eyes | |
| WO2015039215A1 (en) | Method and apparatus for determination of misalignment between device and pedestrian using vision | |
| CN107942090B (zh) | 一种基于模糊星图提取光流信息的航天器角速度估计方法 | |
| KR101685388B1 (ko) | 복수의 센서를 이용한 동작 인식 방법 및 장치 | |
| CN112087728B (zh) | 获取Wi-Fi指纹空间分布的方法、装置和电子设备 | |
| Zhao et al. | A wearable body motion capture system and its application in assistive exoskeleton control | |
| CN108088441B (zh) | 一种星敏感器星点图像在轨实时下传系统及方法 | |
| Lobo et al. | Bioinspired visuo-vestibular artificial perception system for independent motion segmentation | |
| WO2023248732A1 (ja) | 信号処理装置、信号処理方法 | |
| Zhang et al. | A Low-Cost Skiing Motion Capture System Based on Monocular RGB Camera and MINS Fusion | |
| KR102669839B1 (ko) | 3차원 가상모델 생성을 위한 전처리 방법 및 그를 위한 컴퓨팅 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210918 Address after: D2201, 22 / F, block D, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100088 Patentee after: BEIJING HANGTIANHUA TECHNOLOGY Co.,Ltd. Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road Patentee before: BEIHANG University |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200825 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |