一种AR设备的拍照方法、装置及AR设备
技术领域
本发明涉及增强现实领域,尤其是一种AR设备的拍照方法、装置及AR设备。
背景技术
继智能手机、平板电脑之后,虚拟现实(VR)与增强现实(AR)有潜力成为下一个重大通用计算平台。随着智能手机销量的持续下滑,VR和AR成为消费电子的另一个重要方向。
第一视角的摄影和录像是AR眼镜的重要功能之一,但美景往往是在高速运动的过程中稍纵即逝的,用户很多时候来不及输入控制拍照的指令(例如:语音,手势,触摸),就错过了最佳的拍摄地点和拍摄角度,因此自动识别最佳拍摄角度和时机,完成自动拍照,对于AR眼镜尤为重要。
现有的增强现实(AR)显示系统,还没有能够自动识别最佳拍摄角度和时机,完成自动拍照的功能,大多数的技术都是需要人机交互操作,去实现拍摄。
现有的自动拍照相机进行自动拍照的步骤包括:监测被拍人的双眼位置,将该双眼位置信息与预置的双眼标准区域信息进行匹配,若能匹配,则拍摄该人员的当前图像;监测区域内的人脸,在识别到区域内的人脸数量超过2个后,开启合影功能。
苹果公司的专利是,数码摄像头系统能够持续拍摄并把图片存储到缓冲区中,直到用户释放快门。系统随后将根据预先设定的变量自动选择拍摄质量最佳的照片
但上述这些策略都不适用于增强现实AR眼镜,这些自动拍摄方法都是以识别人脸为主,但你能增强现实AR眼镜具有多场景工作的特点,很多应用场景是对风景的拍摄,例如滑雪,骑行,这些第一视角拍照是没有人脸的,更多的需要是如何识别风景的最佳构图,最佳采光,在高速的运动中,对曝光延时也和静止的方法不同。
现在手机上的自动拍照,全都是在用户已经执行拍照操作后,系统自动选择最佳的照片,而AR眼镜的第一视角拍照在很多场景下是来不及用户操作的,因此不适合AR眼镜,
发明内容
本发明实施例要解决的技术问题是提供一种AR设备的拍照方法、装置及AR设备,用以实现通过AR设备自动对待拍摄图像进行拍摄。
为解决上述技术问题,本发明实施例提供的AR设备的拍照方法,包括:
获取处于运动状态的AR设备的摄像模块采集的视频流中的采样图像;
对所述采样图像进行分类处理,得到所述采样图像的分类结果;
根据所述采样图像的分类结果,对所述视频流中的目标图像进行拍照,获得目标图像。
优选地,获取处于运动状态AR设备的摄像模块采集的视频流中的采样图像的步骤包括:
获取处于运动状态的AR设备的加速度;
在所述加速度大于一预设加速度值时,控制所述AR设备的摄像模块采集视频流;
从所述视频流中,获取多个采样图像。
优选地,获取处于运动状态的AR设备的加速度的步骤包括:
获取处于运动状态的AR设备分别沿三维坐标轴的三个方向上的加速度;
根据所述AR设备分别沿三维坐标轴的三个方向上的加速度,获得处于运动状态的AR设备的加速度。
优选地,根据所述AR设备分别沿三维坐标轴方向上的加速度,获得处于运动状态的AR设备的加速度的步骤包括:
通过公式:
A=Ax 2+Ay 2+Az 2
获得处于运动状态的AR设备的加速度A,其中,Ax为所述AR设备沿三维坐标轴的第一方向上的加速度,Ay为所述AR设备沿三维坐标轴的第二方向上的加速度,Az为所述AR设备沿三维坐标轴的第三方向上的加速度。
优选地,对所述采样图像进行分类处理,得到所述采样图像的分类结果的步骤包括:
获取所述采样图像的至少一个图像特征值;
根据所述至少一个图像特征值以及预定算法,获得所述采样图像的分类结果。
优选地,根据所述至少一个图像特征值以及预定算法,获得所述采样图像的分类结果的步骤包括:
将所述至少一个图像特征值分别输入至三层神经网络的输入神经元层中;
根据所述至少一个图像特征值以及第一类型权重值,获得三层神经网络的第一层隐藏神经元层的各神经元的数值;
根据三层神经网络的第一层隐藏神经元层的各神经元的数值以及第二类型权重值,获得三层神经网络的第二层隐藏神经元层的各神经元的数值;
根据三层神经网络的第二层隐藏神经元层的各神经元的数值以及第三类型权重值,获得三层神经网络的输出神经元层的各神经元的数值;
根据三层神经网络的输出神经元层的各神经元的数值,获得所述采样图像的分类结果;
其中,第一类型权重值的数量与第一层隐藏神经元层的神经元数目相等,且一个第一类型权重值对应于第一层隐藏神经元层中的其中一个神经元;第二类型权重值的数量与第二层隐藏神经元层的神经元数目相等,且一个第二类型权重值对应于第二层隐藏神经元层中的其中一个神经元;第三类型权重值的数量与输出神经元层的神经元数目相等,且一个第三类型权重值对应于输出神经元层中的其中一个神经元。
优选地,根据所述至少一个图像特征值以及第一类型权重值,获得三层神经网络的第一层隐藏神经元层的各神经元的数值的步骤包括:
通过公式:
g(w(1q)*a(1))=θ(q),q=1,2,3…n
获得三层神经网络的第一层隐藏神经元层的各神经元的数值θ(q),其中,q为三层神经网络的第一层隐藏神经元层的神经元的排序值,w(1q)为三层神经网络的第一层隐藏神经元层的神经元q对应的第一类型权重值;a(1)为至少一个图像特征值组成的特征向量。
优选地,根据三层神经网络的第一层隐藏神经元层的各神经元的数值以及第二类型权重值,获得三层神经网络的第二层隐藏神经元层的各神经元的数值的步骤包括:
通过公式:
g(w(2L)*a(2))=α(L),L=1,2,….m
获得三层神经网络的第二层隐藏神经元层的各神经元的数值α(L),其中,L为三层神经网络的第二层隐藏神经元层的神经元的排序值,w(2L)为三层神经网络的第二层隐藏神经元层的神经元L对应的第二类型权重值;a(2)为θ(1)至θ(q)组成的特征向量。
优选地,根据三层神经网络的第二层隐藏神经元层的各神经元的数值以及第三类型权重值,获得三层神经网络的输出神经元层的各神经元的数值的步骤包括:
通过公式:
g(w(3p)*a(3))=z(p),p=1,2
获得三层神经网络的输出神经元层的各神经元的数值z(p),其中,p为三层神经网络的三层神经网络的输出神经元层的神经元的排序值,w(3p)为三层神经网络的输出神经元层的神经元p对应的第三类型权重值;a(3)为α(1)至α(L)组成的特征向量。
优选地,根据所述采样图像的分类结果,对所述视频流中的目标图像进行拍照的步骤包括:
在所述采样图像的分类结果为所述采样图像为至少一种预定构图中的其中一种时,则根据所述采样图像的拍照参数,对所述视频流中的目标图像进行拍照。
优选地,根据所述采样图像的拍照参数,对所述视频流的目标图像进行拍照的步骤包括:
获取所述采样图像的拍照参数值,所述拍照参数值为:所述采样图像的所属分类、拍摄角度值和/或光线强度值;
按照所述采样图像的拍照参数值,对所述AR设备的摄像模块的拍照参数进行调节,并对所述视频流的目标图像进行拍照。
根据本发明的另一方面,本发明实施例还提供了一种AR设备的拍照装置,包括:
运动分析模块,用于获取处于运动状态的AR设备的摄像模块采集的视频流中的采样图像;
图像分析模块,用于对所述采样图像进行处理,得到所述采样图像的分类结果;
拍照模块,用于根据所述采样图像的分类结果,对所述视频流中的目标图像进行拍照,获得目标图像。
优选地,运动分析模块包括:
第一获取单元,用于获取处于运动状态的AR设备的加速度;
采集单元,用于在所述加速度大于一预设加速度值时,控制所述AR设备的摄像模块采集视频流;
第二获取单元,用于从所述视频流中,获取多个采样图像。
优选地,第一获取单元包括:
第一获取子单元,用于获取处于运动状态的AR设备分别沿三维坐标轴的三个方向上的加速度;
第二获取子单元,用于根据所述AR设备分别沿三维坐标轴的三个方向上的加速度,获得处于运动状态的AR设备的加速度。
优选地,第二获取子单元包括:
通过公式:
A=Ax 2+Ay 2+Az 2
获得处于运动状态的AR设备的加速度A,其中,Ax为所述AR设备沿三维坐标轴的第一方向上的加速度,Ay为所述AR设备沿三维坐标轴的第二方向上的加速度,Az为所述AR设备沿三维坐标轴的第三方向上的加速度。
优选地,图像分析模块包括:
第三获取单元,用于获取所述采样图像的至少一个图像特征值;
第四获取单元,用于将所述至少一个图像特征值输入至预定公式中进行计算,根据计算结果得到所述采样图像的分类结果。
优选地,第四获取单元包括:
输入子单元,用于将所述至少一个图像特征值分别输入至三层神经网络的输入神经元层中;
第三获取子单元,用于根据所述至少一个图像特征值以及第一类型权重值,获得三层神经网络的第一层隐藏神经元层的各神经元的数值;
第四获取子单元,用于根据三层神经网络的第一层隐藏神经元层的各神经元的数值以及第二类型权重值,获得三层神经网络的第二层隐藏神经元层的各神经元的数值;
第五获取子单元,用于根据三层神经网络的第二层隐藏神经元层的各神经元的数值以及第三类型权重值,获得三层神经网络的输出神经元层的各神经元的数值;
第六获取子单元,用于根据三层神经网络的输出神经元层的各神经元的数值,获得所述采样图像的分类结果;
其中,第一类型权重值的数量与第一层隐藏神经元层的神经元数目相等,且一个第一类型权重值对应于第一层隐藏神经元层中的其中一个神经元;第二类型权重值的数量与第二层隐藏神经元层的神经元数目相等,且一个第二类型权重值对应于第二层隐藏神经元层中的其中一个神经元;第三类型权重值的数量与输出神经元层的神经元数目相等,且一个第三类型权重值对应于输出神经元层中的其中一个神经元。
优选地,第四获取子单元包括:
通过公式:
g(w(1q)*a(1))=θ(q),q=1,2,3…n
获得三层神经网络的第一层隐藏神经元层的各神经元的数值θ(q),其中,q为三层神经网络的第一层隐藏神经元层的神经元的排序值,w(1q)为三层神经网络的第一层隐藏神经元层的神经元q对应的第一类型权重值;a(1)为至少一个图像特征值组成的特征向量。
优选地,第五获取子单元包括:
通过公式:
g(w(2L)*a(2))=α(L),L=1,2,….m
获得三层神经网络的第二层隐藏神经元层的各神经元的数值α(L),其中,L为三层神经网络的第二层隐藏神经元层的神经元的排序值,w(2L)为三层神经网络的第二层隐藏神经元层的神经元L对应的第二类型权重值;a(2)为θ(1)至θ(q)组成的特征向量。
优选地,第六获取子单元包括:
通过公式:
g(w(3p)*a(3))=z(p),p=1,2
获得三层神经网络的输出神经元层的各神经元的数值z(p),其中,p为三层神经网络的三层神经网络的输出神经元层的神经元的排序值,w(3p)为三层神经网络的输出神经元层的神经元p对应的第三类型权重值;a(3)为α(1)至α(L)组成的特征向量。
优选地,拍照模块包括:
拍照单元,用于在所述采样图像的分类结果为所述采样图像为至少一种预定构图中的其中一种时,则根据所述采样图像的拍照参数,对所述视频流中的目标图像进行拍照。
优选地,拍照单元包括:
第七获取子单元,用于获取所述采样图像的拍照参数值,所述拍照参数值为:所述采样图像的所属分类、拍摄角度值和/或光线强度值;
拍照子单元,用于按照所述采样图像的拍照参数值,对所述AR设备的摄像模块的拍照参数进行调节,并对所述视频流的目标图像进行拍照。
根据本发明的另一方面,本发明实施例还提供了一种AR设备,包括上述的AR设备的拍照装置。
与现有技术相比,本发明实施例提供的AR设备的拍照方法、装置及AR设备,至少具有以下有益效果:
实现了在用户移动过程中,通过AR设备对目标图像进行自动采集的效果,且保证自动采集的目标图像的构图效果好。
附图说明
图1为本发明实施例所述的AR设备的拍照方法的流程示意图;
图2为本发明实施例中步骤1的流程示意图;
图3为本发明实施例中步骤11的流程示意图;
图4为本发明实施例中步骤2的流程示意图;
图5为本发明实施例中步骤22的流程示意图;
图6为本发明实施例中三层神经网络的结构示意图;
图7为本发明实施例中步骤31的流程示意图;
图8为本发明实施例所述的AR设备的拍照装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
参照图1,本发明实施例提供了一种AR设备的拍照方法,包括:
步骤1,获取处于运动状态的AR设备的摄像模块采集的视频流中的采样图像。
在本发明实施例中,AR设备为AR眼镜;该摄像模块为摄像头,摄像头固定于AR眼镜的镜框上。
对于AR设备是否处于运动状态是通过AR设备的9轴传感器对设备的移动过程中采集到的加速度信息进行判断的,由于AR设备是佩戴在用户身上的,在用户发生移动时,AR设备也会跟随用户一体移动。因此,对AR设备在运动状态的加速度的获取,实际上是对用户移动过程中的加速度进行获取的。
具体地的,参照图2,步骤1包括:步骤11,获取处于运动状态的AR设备的加速度;
步骤12,在所述加速度大于一预设加速度值时,控制所述AR设备的摄像模块采集视频流;
步骤13,从所述视频流中,获取多个采样图像。
在步骤12中,当AR设备的加速度大于预设加速度值时,表明AR设备满足图像采集条件,此时,控制摄像模块自动对目标图像进行摄录,目标图像为摄像头正前方的图像,通常情况下,该图像也应当为用户视线正前方的图像。并且,摄像模块每次采集的视频流的时间均应相同,例如,采集到的视频流的时间为5S。
步骤13具体为:按照预设时间间隔从所述视频流中依次获取多个采样图像,该预设时间间隔为0.1s。
具体地,参照图3,步骤11包括:
步骤111,获取处于运动状态的AR设备分别沿三维坐标轴的三个方向上的加速度;
步骤112,根据所述AR设备分别沿三维坐标轴的三个方向上的加速度,获得处于运动状态的AR设备的加速度。
在步骤111中,9轴传感器以50Hz的频率采集AR设备分别沿三维坐标轴的三个方向上的加速度。
具体地,步骤112包括:
通过公式:
A=Ax 2+Ay 2+Az 2
获得处于运动状态的AR设备的加速度A,其中,Ax为所述AR设备沿三维坐标轴的第一方向上的加速度,Ay为所述AR设备沿三维坐标轴的第二方向上的加速度,Az为所述AR设备沿三维坐标轴的第三方向上的加速度。通过该公式计算出的加速度A,与预设加速度值进行比较,若加速度A超过该预设加速度值,则控制摄像模块采集视频流。
步骤2,对所述采样图像进行分类处理,得到所述采样图像的分类结果。
在AR设备中存储有12个分类器,每一分类器代表着一种预定构图类型,将该采样图像的图像特征按照分类器排序依次输入至12个分类器中,且在获得前一分类器的分类结果后再将采样图像的图像特征输入至下一分类器中。分类器通过三层神经网络算法确定采样图像的分类结果,对于分类器根据采样图像的图像特征进行分类处理的步骤在后面具体进行阐述。
具体地,参照图4,步骤2包括:
步骤21,获取所述采样图像的至少一个图像特征值;
步骤22,根据所述至少一个图像特征值以及预定算法,获得所述采样图像的分类结果。
该图像特征值包括图像的灰度特征、HOG特征、LBP特征、Haar特征。
优选地,参照图5,在步骤22中,分类器根据采样图像的图像特征进行分类处理的具体包括:
步骤221,将所述至少一个图像特征值分别输入至三层神经网络的输入神经元层中;
步骤222,根据所述至少一个图像特征值以及第一类型权重值,获得三层神经网络的第一层隐藏神经元层的各神经元的数值;
步骤223,根据三层神经网络的第一层隐藏神经元层的各神经元的数值以及第二类型权重值,获得三层神经网络的第二层隐藏神经元层的各神经元的数值;
步骤224,根据三层神经网络的第二层隐藏神经元层的各神经元的数值以及第三类型权重值,获得三层神经网络的输出神经元层的各神经元的数值;
步骤225,根据三层神经网络的输出神经元层的各神经元的数值,获得所述采样图像的分类结果;
其中,第一类型权重值的数量与第一层隐藏神经元层的神经元数目相等,且一个第一类型权重值对应于第一层隐藏神经元层中的其中一个神经元;第二类型权重值的数量与第二层隐藏神经元层的神经元数目相等,且一个第二类型权重值对应于第二层隐藏神经元层中的其中一个神经元;第三类型权重值的数量与输出神经元层的神经元数目相等,且一个第三类型权重值对应于输出神经元层中的其中一个神经元。
在将至少一个图像特征值输入至三层神经网络的输入神经元层后,可以获得图像的边缘特征,每一输入神经元层的一个神经元代表着图像的一个边缘特征;第一隐藏神经元层获得的每一神经元的数值代表着所有边缘特征组成的特征向与对应的一个第一类型权重值之间形成的形状特征;第二隐藏层神经元层获得的每一神经元的数值代表着所有形状特征组成的特征向量与对应的一个第二类型权重值之间形成的图案特征;输出神经元层为两个,根据所有的图案特征组成的特征向量与两个第三类型权重值获得的两个结果,获得采样图像的分类结果。
如图6所示,X1、X2、X3、……、XN为采样图像的图像特征,且X1至XN代表采样图像的N个不同的图像特征;a1为X1至XN这N个图像特征组成的特征向量;W1为第一类型权重值,其包括:W11、W12、……、W1q共n个第一类型权重值,θ(1)至θ(q)表示第一隐藏神经元层的各个神经元的数值,第一隐藏神经元层的神经元总数为n个,a2为θ(1)至θ(q)这n个图像特征组成的特征向量;其中,W11与θ(1)对应,W12与θ(2)对应,后续地依次对应,直至W1q与θ(q)对应;W2为第二类型权重值,其包括:W21、W22、……、W2L共m个第二类型权重值,α(1)至α(L)表示第二隐藏神经元层的各个神经元的数值,第二隐藏神经元层的神经元总数为m个,a3为α(1)至α(L)这m个图像特征组成的特征向量;其中,W21与α(1)对应,W22与α(2)对应,后续地依次对应,直至W2L与α(L)对应;W3为第三类型权重值,其包括:W31、W32共2个第三类型权重值;z1和z2分别为输出神经元层的2个神经元,其中,W31与z1对应,W32与z2对应。并且,从图6中可确定,N>n,n>m,m>2。
具体地,步骤222包括:
通过公式:
g(w(1q)*a(1))=θ(q),q=1,2,3…n
获得三层神经网络的第一层隐藏神经元层的各神经元的数值θ(q),其中,q为三层神经网络的第一层隐藏神经元层的神经元的排序值,w(1q)为三层神经网络的第一层隐藏神经元层的神经元q对应的第一类型权重值;a(1)为至少一个图像特征值组成的特征向量。
步骤223包括:
通过公式:
g(w(2L)*a(2))=α(L),L=1,2,….m
获得三层神经网络的第二层隐藏神经元层的各神经元的数值α(L),其中,L为三层神经网络的第二层隐藏神经元层的神经元的排序值,w(2L)为三层神经网络的第二层隐藏神经元层的神经元L对应的第二类型权重值;a(2)为θ(1)至θ(q)组成的特征向量。
步骤224包括:
通过公式:
g(w(3p)*a(3))=z(p),p=1,2
获得三层神经网络的输出神经元层的各神经元的数值z(p),其中,p为三层神经网络的三层神经网络的输出神经元层的神经元的排序值,w(3p)为三层神经网络的输出神经元层的神经元p对应的第三类型权重值;a(3)为α(1)至α(L)组成的特征向量。
上述的第一类型权重值w1、第二类型权重值w2和第三类型权重值w3的具体数值,是通过预先经过试验确定出的。
根据上述步骤221至步骤224最终可以获得z1和z2的数值。在步骤225中,根据z1和z2的结果,确定该采样图像的分类结果。例如,z1为0,z2为1,确定该采样图像的分类结果为符合该种预定构图。
步骤3,根据所述采样图像的分类结果,对所述视频流中的目标图像进行拍照,获得目标图像。
具体地,步骤3包括:
步骤31,在所述采样图像的分类结果为所述采样图像为至少一种预定构图中的其中一种时,则根据所述采样图像的拍照参数,对所述视频流中的目标图像进行拍照。
在本发明实施例中,若确定出采样图像为某一分类器中的预定构图类型后,则停止将采样图像输入至剩余的分类器中,以减少处理量。
若采样图像的分类结果为所述采样图像不为至少一种预定构图中的其中一种时,则将从视频流充截取的下一采样图像执行上述步骤1至3,直至确定出某一采样图像为至少一种预定构图中的其中一种。
优选地,至少一种预定构图为12种,其中,
第一种预定构图为平衡式构图,在第一种预定构图中,不同拍照主体之间的中心线与图像的黄金分割点之间的最短距离位于第一预设距离范围内;
第二种预定构图为变化式构图,在第二种预定构图中,拍照主体位于图像中任意一侧,且图像中剩余区域面积与图像总面积之间的比值位于一第一预定比值范围内;
第三种预定构图为对角线构图,在第三种预定构图中,拍照主体位于图像的对角线上;
第四种预定构图为紧凑式构图,在第四种预定构图中,拍照主体面积与图像总面积之间的比值位于一第二预定比值范围内;
第五种预定构图为对称式构图,在第五种预定构图中,拍照主体在图像中对称设置;
第六种预定构图为X型构图,在第六种预定构图中,拍照主体在图像中呈X形;
第七种预定构图为九宫格构图,在第七种预定构图中,图像由面积相等的九个方格组成,且拍照主体位于相邻四个方格的交叉点位置处;
第八种预定构图为S型构图,在第八种预定构图中,拍照主体在图像中呈S形;
第九种预定构图为三角形构图,在第九种预定构图中,拍照主体在图像中围设形成一三角形;
第十种预定构图为放射式构图,在第十种预定构图中,拍摄主体位于图像的中心点位置处;
第十一种预定构图为平行线构图,在第十一种预定构图中,拍照主体为至少三个同一类型的主体,至少三个拍照主体在图像中相平行设置;
第十二种预定构图为对分式构图,在第十二种预定构图中,拍照主体为两个不同类型的主体,两个拍照主体中的其中一个拍照主体在图像中的占比面积与另一拍照主体在图像中的占比面积的比值位于一第三预设比值范围内。
在本发明实施例中,在第一种构图中,图像中不同拍照主体的数量相同或者数量差低于第一数量,不同拍照主体之间该种构图能给人视觉上的稳定。
在第二种预定构图中,图像中的剩余区域为除拍照主体之外的其他区域。在上述十二种构图中,相同类型是指拍照主体的种类相同,例如,拍照主体均为树,则认为其类型相同。
优选地,参照图7,步骤31包括:
步骤311,获取所述采样图像的拍照参数值,所述拍照参数值为:所述采样图像的所属分类、拍摄角度值和/或光线强度值;
步骤312,按照所述采样图像的拍照参数值,对所述AR设备的摄像模块的拍照参数进行调节,并对所述视频流的目标图像进行拍照。
对AR设备的摄像模块的拍照参数进行调节的步骤具体为,将AR设备的拍照参数调至与采样图像的拍照参数值相同。
通过本发明实施例提供的AR设备的拍照方法,实现了在用户移动过程中,通过AR设备对目标图像进行自动采集的效果,且保证自动采集的目标图像的构图效果好。
参照图8,根据本发明的另一方面,本发明实施例还提供了一种AR设备的拍照装置,包括:
运动分析模块1,用于获取处于运动状态的AR设备的摄像模块采集的视频流中的采样图像;
图像分析模块2,用于对所述采样图像进行处理,得到所述采样图像的分类结果;
拍照模块3,用于根据所述采样图像的分类结果,对所述视频流中的目标图像进行拍照,获得目标图像。
优选地,运动分析模块包括:
第一获取单元,用于获取处于运动状态的AR设备的加速度;
采集单元,用于在所述加速度大于一预设加速度值时,控制所述AR设备的摄像模块采集视频流;
第二获取单元,用于从所述视频流中,获取多个采样图像。
优选地,第一获取单元包括:
第一获取子单元,用于获取处于运动状态的AR设备分别沿三维坐标轴的三个方向上的加速度;
第二获取子单元,用于根据所述AR设备分别沿三维坐标轴的三个方向上的加速度,获得处于运动状态的AR设备的加速度。
优选地,第二获取子单元包括:
通过公式:
A=Ax 2+Ay 2+Az 2
获得处于运动状态的AR设备的加速度A,其中,Ax为所述AR设备沿三维坐标轴的第一方向上的加速度,Ay为所述AR设备沿三维坐标轴的第二方向上的加速度,Az为所述AR设备沿三维坐标轴的第三方向上的加速度。
优选地,图像分析模块包括:
第三获取单元,用于获取所述采样图像的至少一个图像特征值;
第四获取单元,用于将所述至少一个图像特征值输入至预定公式中进行计算,根据计算结果得到所述采样图像的分类结果。
优选地,第四获取单元包括:
输入子单元,用于将所述至少一个图像特征值分别输入至三层神经网络的输入神经元层中;
第三获取子单元,用于根据所述至少一个图像特征值以及第一类型权重值,获得三层神经网络的第一层隐藏神经元层的各神经元的数值;
第四获取子单元,用于根据三层神经网络的第一层隐藏神经元层的各神经元的数值以及第二类型权重值,获得三层神经网络的第二层隐藏神经元层的各神经元的数值;
第五获取子单元,用于根据三层神经网络的第二层隐藏神经元层的各神经元的数值以及第三类型权重值,获得三层神经网络的输出神经元层的各神经元的数值;
第六获取子单元,用于根据三层神经网络的输出神经元层的各神经元的数值,获得所述采样图像的分类结果;
其中,第一类型权重值的数量与第一层隐藏神经元层的神经元数目相等,且一个第一类型权重值对应于第一层隐藏神经元层中的其中一个神经元;第二类型权重值的数量与第二层隐藏神经元层的神经元数目相等,且一个第二类型权重值对应于第二层隐藏神经元层中的其中一个神经元;第三类型权重值的数量与输出神经元层的神经元数目相等,且一个第三类型权重值对应于输出神经元层中的其中一个神经元。
优选地,第四获取子单元包括:
通过公式:
g(w(1q)*a(1))=θ(q),q=1,2,3…n
获得三层神经网络的第一层隐藏神经元层的各神经元的数值θ(q),其中,q为三层神经网络的第一层隐藏神经元层的神经元的排序值,w(1q)为三层神经网络的第一层隐藏神经元层的神经元q对应的第一类型权重值;a(1)为至少一个图像特征值组成的特征向量。
优选地,第五获取子单元包括:
通过公式:
g(w(2L)*a(2))=α(L),L=1,2,….m
获得三层神经网络的第二层隐藏神经元层的各神经元的数值α(L),其中,L为三层神经网络的第二层隐藏神经元层的神经元的排序值,w(2L)为三层神经网络的第二层隐藏神经元层的神经元L对应的第二类型权重值;a(2)为θ(1)至θ(q)组成的特征向量。
优选地,第六获取子单元包括:
通过公式:
g(w(3p)*a(3))=z(p),p=1,2
获得三层神经网络的输出神经元层的各神经元的数值z(p),其中,p为三层神经网络的三层神经网络的输出神经元层的神经元的排序值,w(3p)为三层神经网络的输出神经元层的神经元p对应的第三类型权重值;a(3)为α(1)至α(L)组成的特征向量。
优选地,拍照模块包括:
拍照单元,用于在所述采样图像的分类结果为所述采样图像为至少一种预定构图中的其中一种时,则根据所述采样图像的拍照参数,对所述视频流中的目标图像进行拍照。
优选地,拍照单元包括:
第七获取子单元,用于获取所述采样图像的拍照参数值,所述拍照参数值为:所述采样图像的所属分类、拍摄角度值和/或光线强度值;
拍照子单元,用于按照所述采样图像的拍照参数值,对所述AR设备的摄像模块的拍照参数进行调节,并对所述视频流的目标图像进行拍照。
本发明实施例提供的AR设备的拍照装置,是与上述方法对应的装置,上述方法中的所有实现方式均适用于该装置的实施例中,也能达到相同的技术效果。能够实现在用户运动过程中,通过AR设备对目标图像进行自动采集,且保证自动采集的目标图像的构图效果较好。
根据本发明的另一方面,本发明实施例还提供了一种AR设备,包括上述的AR设备的拍照装置。
本发明实施例中的AR设备,还包括用于采集AR设备处于运动状态的加速度的9轴传感器,用于根据采集到的目标图像实现增强现实图像输出的处理器,用于对系统的程序进行存储的Flash存储器;用于对系统内存进行存储的RAM存储器,其中,Flash存储器和RAM存储器均与处理器连接,处理器与AR设备的拍照装置连接,AR设备的拍照装置与9轴传感器连接。
通过本发明的AR设备,能够实现在用户运动过程中对目标图像进行自动采集的效果,并且,保证采集到的目标图像的构图效果较好。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。