CN110412765A - 增强现实图像拍摄方法、装置、存储介质及增强现实设备 - Google Patents
增强现实图像拍摄方法、装置、存储介质及增强现实设备 Download PDFInfo
- Publication number
- CN110412765A CN110412765A CN201910625846.7A CN201910625846A CN110412765A CN 110412765 A CN110412765 A CN 110412765A CN 201910625846 A CN201910625846 A CN 201910625846A CN 110412765 A CN110412765 A CN 110412765A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- image
- real world
- world images
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 217
- 238000000034 method Methods 0.000 title claims abstract description 46
- 210000001747 pupil Anatomy 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 5
- 239000011800 void material Substances 0.000 claims description 4
- 239000011521 glass Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000001105 regulatory effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
本申请实施例公开了一种增强现实图像拍摄方法、装置、存储介质及增强现实设备。其中方法包括：接收增强现实图像拍摄指令；基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像；基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像；将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。通过将增强现实图像和虚拟图像进行融合，得到增强现实图像，实现了增强现实图像的拍摄，在用户观看增强现实信息的同时，对观看的增强现实图像进行拍摄和存储，解决了现有的拍摄设备只能记录现实图像信息，以及用户只能在特定环境下以及特定增强现实设备时才能观看增强现实图像的问题，实现对增强现实图像的记录。
Description
技术领域
本申请实施例涉及增强现实设备技术领域，尤其涉及一种增强现实图像拍摄方法、装置、存储介质及增强现实设备。
背景技术
随着增强现实技术的不断发展，诸如增强现实设备等的头戴增强现实设备被用户广泛接受和应用。
增强现实设备包括虚拟图像显示器和透光的镜片，虚拟图像显示器生成虚拟图像，虚拟图像的光线和透过镜片的环境光线同时进入人眼，使得佩戴增强现实设备的用户不仅能够看到现实的事物，还能够看到虚拟的图像。
但是当用户想要观看增强现实图像时，必须佩戴增强现实设备才可实现，尤其是在特定环境下，例如景区、观光区等环境下，用户无法实时还原现实场景，智能在景区、观光区等环境下才能观看增强现实图像。
发明内容
本申请实施例提供了一种增强现实图像的拍摄方法、装置、存储介质及增强现实设备，实现对增强现实图像的拍摄和记录。
第一方面，本申请实施例提供了一种增强现实图像的拍摄方法，应用于增强现实设备，其特征在于，包括：
接收增强现实图像拍摄指令；
基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像；
基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像；
将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。
第二方面，本申请实施例提供了一种增强现实图像的拍摄装置，包括：
指令接收模块，用于接收增强现实图像拍摄指令；
现实图像采集模块，用于基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像；
虚拟图像获取模块，用于基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像；
增强现实图像生成模块，用于将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的增强现实图像的拍摄方法。
第四方面，本申请实施例提供了一种增强现实设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的增强现实图像的拍摄方法。
本申请实施例中提供的技术方案，通过将增强现实图像和虚拟图像进行融合，得到增强现实图像，实现了增强现实图像的拍摄，在用户观看增强现实信息的同时，对观看的增强现实图像进行拍摄和存储，解决了现有的拍摄设备只能记录现实图像信息，以及用户只能在特定环境下以及特定增强现实设备时才能观看增强现实图像的问题，实现了对增强现实图像的记录。
附图说明
图1为本申请实施例提供的一种增强现实眼镜的结构示意图；
图2为本申请实施例提供的一种增强现实图像的拍摄方法的流程示意图；
图3为本申请实施例提供的另一种增强现实图像的拍摄方法的流程示意图；
图4为本申请实施例提供的另一种增强现实图像的拍摄方法的流程示意图；
图5为本申请实施例提供的一种增强现实图像的拍摄装置的结构示意图；
图6为本申请实施例提供的一种增强现实设备的结构示意图；
图7为本申请实施例提供的另一种增强现实设备的结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的增强现实设备包括但不限于增强现实眼镜、具有增强现实功能的手机、平板电脑等电子设备。以增强现实眼镜为例，示例性的，参见图1，图1是本申请实施例提供的一种增强现实眼镜101的结构示意图，其中，增强现实眼镜101包括镜架104、左眼镜片、右眼镜片，分别设置在左眼镜片、右眼镜片上的左眼衍射整合器102、右眼衍射整合器103、处理单元105、摄像头107、操作部件106，其中，左眼衍射整合器102和右眼衍射整合器103均为具有表面浮雕衍射光栅的紫外光固话/热固化树脂层构成，用于将虚拟图像反射入人眼。增强现实眼镜101还包括微显示器，微显示器可以是设置在镜腿上，用于输出虚拟图像，可以是与处理单元105电连接。摄像头107、操作部件106分别与处理单元105电连接连接，其中，操作部件106可用于接收用户对增强现实眼镜101的输入操作，并将输入操作发送至处理单元105，操作部件106可以是由一个或多个按键组成。处理单元105用于接受操作部件106传输的操作指令，还用于控制摄像头107获取现实信息，处理单元105还可以是通过无线传输等方式与其他设备108无线连接，其他设备108可以是但不限于手机、平板电脑等的移动设备，还可以是计算机、服务器等设备。摄像头107可以是一个或两个，当摄像头107为一个时，可以是如图1的设置方式；当摄像头107为两个时，可以是分别设置在左眼镜片和右眼镜片上边缘的中间位置，便于分别采集用于左眼和右眼看到的准确信息。
图2为本申请实施例提供的一种增强现实图像的拍摄方法的流程示意图，该方法可以由增强现实图像的拍摄装置执行，其中该装置可由软件和/或硬件实现，一般可集成在增强现实设备中。如图1所示，该方法包括：
步骤201、接收增强现实图像拍摄指令。
步骤202、基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像。
步骤203、基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像。
步骤204、将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。
其中，图像拍摄指令可以是当用户通过操作部件106输入，例如，当操作部件106中包括拍摄控制按键，当检测到用户按压拍摄控制按键时，生成图像拍摄指令。图像拍摄指令还可以是通过无线传输方式获取，例如可以是与该增强现实设备关联的电子设备基于无线传输向增强现实设备发送图像拍摄指令。
将拍摄控制指令发送至摄像头，控制摄像头拍摄当前用户观看的现实图像，同时将拍摄控制指令发送至微显示器，确定当前显示的虚拟图像，将现实图像和虚拟图像融合得到用户当前看到的增强现实图像。可选的，将增强现实图像进行存储，其中，可以是将得到的增强现实图像存储在增强现实设备本地，还可以是通过无线传输将增强现实图像发送至关联的其他设备中存储，避免占用增强现实设备本地的内存。在一些实施例中，上述步骤201-步骤204可以是均在增强现实设备的处理单元105上执行；在其他实施例中，步骤201-步骤203在增强现实设备的处理单元105上执行，处理单元105通过无线传输方式将得到的现实图像和虚拟图像发送至与增强现实设备相关联的电子设备108，有电子设备108执行步骤204，得到增强现实图像。
本实施例中，通过获取当前用户看到的现实图像和虚拟图像，得到增强现实图像进行拍摄和存储，便于用户的查看和记录，解决了现有技术中，用户只有在特定环境下才能观看到增强现实图像的问题。需要说明的是，基于连续的图像拍摄指令获取的增强现实图像，根据获取时间进行排序和组合，得到增强现实视频。示例性的，当用户按压增强现实设备的拍摄控制按键超过预设时间时，可确定存在视频拍摄指令(即连续的图像拍摄指令)，将在该预设时间内获取的增强现实图像组合得到增强现实视频。
在上述实施例的基础上，为了对现实图像和虚拟图像进行区别，在获取现实图像和虚拟图像后，对采集的现实图像和虚拟图像设置图像类型标识，其中，图像类型包括现实图像和虚拟图像，图像类型标识可以是数字、字符等，示例性的，现实图像的类型标识可以是1，虚拟图像可以是0。为了确定相匹配的现实图像和虚拟图像，在获取现实图像和虚拟图像后，对采集的现实图像和虚拟图像添加时间戳。
在一些实施例中，将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像，包括：根据所述图像类型标识和时间戳确定相匹配的现实图像和虚拟图像；将所述相匹配的现实图像和虚拟图像进行融合，生成增强现实图像。示例性的，根据图像类型标识区分现实图像和虚拟图像，将具有相同时间戳的现实图像和虚拟图像确定为相匹配的现实图像和虚拟图像，对所述相匹配的现实图像和虚拟图像进行对齐，以保证进行融合的现实图像和虚拟图像符合用户观看角度，避免融合导致的误差。将对齐后的现实图像和虚拟图像进行融合，得到增强现实图像。示例性的，现实图像可以是用户A，虚拟图像为一顶帽子，经融合得到的增强现图像为待着帽子的用户A。可选的，当增强现实设备设置有两个摄像头时，获得两个现实图像，基于两个现实图像得到具有深度信息的现实图像，并将具有深度信息的现实图像和对应的虚拟图像进行融合，得到具有深度信息的增强现实图像，提高了增强现实图像的立体感。
可选的，在生成增强现图像后，对增强现图像进行校验，判断增强现图像的融合状况，若存储融合误差，则调节现实图像和虚拟图像的相对位置，重新对调节后的现实图像和虚拟图像进行融合。示例性的，若融合后的增强现实图像中，帽子远离用户A的头部或者帽子对用户A的部分遮挡(例如遮盖了用户A的脸部)，则确定该增加现实图像存在融合误差。根据该增强现实图像的误差确定现实图像和虚拟图像的调节值，该调节值包括水平移动距离和垂直移动距离，根据调节值调节现实图像或虚拟图像，生成新的增强现实图像。
需要说明的是，本实施例中不限定步骤202和步骤203的执行顺序，可以是顺序执行，可以是同步执行，还可以是先执行步骤203再执行步骤202.
本申请实施例中提供的增强现实图像的拍摄方法，通过将增强现实图像和虚拟图像进行融合，得到增强现实图像，实现了增强现实图像的拍摄，在用户观看增强现实信息的同时，对观看的增强现实图像进行拍摄和存储，解决了现有的拍摄设备只能记录现实图像信息，以及用户只能在特定环境下以及特定增强现实设备时才能观看增强现实图像的问题，实现了对增强现实图像的记录。
图3为本申请实施例提供的另一种增强现实图像的拍摄方法的流程示意图，参见图3，本实施例的方法包括如下步骤：
步骤301、接收增强现实图像拍摄指令。
步骤302、对追踪对象的进行瞳孔追踪，确定追踪对象的瞳孔方向。
步骤303、根据所述追踪对象的瞳孔方向调节所述摄像头的拍摄角度。
步骤304、基于所述拍摄指令，控制所述摄像头在调节后的拍摄角度进行拍摄，生成现实图像。
步骤305、基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像。
步骤306、将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。
在本实施例中，对追踪对象进行瞳孔跟踪，其中，追踪对象可以是佩戴或者使用增强现实设备的对象，即观看增强现实图像的用户，根据追踪对象的瞳孔方向确定摄像头的拍摄角度，以保证拍摄的现实图像与追踪对象观看的现实图像一致。其中，可以在接收增强现实图像拍摄指令时，启动瞳孔跟踪。可选的，对瞳孔进行跟踪，确定瞳孔方向，包括：获取追踪对象的眼部图像；对所述眼部图像进行边缘检测，确定眼部位置和瞳孔位置；根据所述瞳孔位置与所述眼部位置的相对关系确定追踪对象的瞳孔方向。可选的，在增强现实眼镜的镜腿上设置跟踪摄像头，用于采集佩戴增强现实眼镜的追踪对象的眼部图像。对采集的眼部图像进行边缘检测，将边缘检测结果与预设标准眼部图像和标准瞳孔图像进行匹配，确定眼部轮廓和瞳孔轮廓，将眼部轮廓坐在位置确定为眼部位置，瞳孔轮廓位置确定为瞳孔位置。可选的，对确定的眼部位置和瞳孔位置校验，其中，校验条件可以包括眼部和瞳孔的相对位置，瞳孔位于人眼内部；校验条件还可以包括眼部和瞳孔的尺寸和数量。根据瞳孔位置与眼部位置的相对关系确定瞳孔方向，进一步的，可以根据瞳孔中心位置与眼部中心位置的相对关系确定瞳孔方向，当瞳孔中心位置与眼部中心位置重合时，确定瞳孔方向为水平向前；当瞳孔中心位置与眼部中心位置存在间距时，确定瞳孔方向存在偏向角，例如，瞳孔中心位置在眼部中心位置的左方时，确定瞳孔方向向左，当瞳孔中心位置在眼部中心位置的下方时，确定瞳孔方向向下。确定瞳孔中心位置相对于眼部中心位置的方向和间距，确定瞳孔方向。
根据瞳孔方向中瞳孔中心位置相对于眼部中心位置的方向和间距确定摄像头的拍摄角度，其中，根据瞳孔中心位置相对于眼部中心位置的方向确定摄像头的调节方向，该调节方向与瞳孔中心位置相对于眼部中心位置的方向一致，根据瞳孔中心位置相对于眼部中心位置的间距确定摄像头的调节值，其中，可以是根据摄像头的调节值与间距的预设映射关系确定摄像头的调节值。
可选的，当增强现实眼镜上用于采集现实图像的摄像头为一个时，根据左眼瞳孔方向和右眼瞳孔方向确定该摄像头的拍摄角度，示例性的，可以基于左眼瞳孔方向和右眼瞳孔方向的均值确定摄像头的拍摄角度；当增强现实眼镜上用于采集现实图像的摄像头为两个时，基于左眼瞳孔方向确定左摄像头的拍摄角度，基于右眼瞳孔方向确定右摄像头的拍摄方向。示例性的，摄像头的拍摄角度可以是与对应瞳孔方向一致。
本申请实施例中提供的增强现实图像的拍摄方法，通过对追踪对象的瞳孔进行跟踪，确定瞳孔方向，调节摄像头的拍摄方向，实现现实图像的拍摄角度与追踪对象的观看角度一致，以保证拍摄的现实图像与追踪对象正在观看的现实图像一致，提高了现实图像拍摄的准确性，进一步的，提高了增强现实图像的准确性，避免了拍摄的现实图像与当前虚拟图像不匹配导致的拍摄错误问题。
图4为本申请实施例提供的另一种增强现实图像的拍摄方法的流程示意图，本实施例是上述实施例的一个可选方案，相应的，如图4所示，本实施例的方法包括如下步骤：
步骤401、接收增强现实图像拍摄指令。
步骤402、基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像。
步骤403、基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像。
步骤404、识别所述虚拟图像中的目标对象。
步骤405、根据所述目标对象的位置确定所述现实图像中的待处理区域。
步骤406、基于所述虚拟图像中的目标对象替换所述现实图像中的待处理区域，生成增强现实图像。
本实施例中，对虚拟图像进行边缘识别，确定目标对象的轮廓和相对虚拟图像的位置，将现实图像和虚拟图像进行对齐，对齐处理后，根据虚拟图像中目标对象的轮廓和位置，确定现实图像中的待处理区域，该待处理区域的相对于现实图像的位置与目标对象相对虚拟图像的位置相同，该待处理区域的轮廓与目标对象的轮廓一致。将目标对象替换所述现实图像中的待处理区域，生成增强现实图像。
本实施例中，将虚拟图像中的目标对象替换现实图像中的对于区域，实现了将虚拟图像中的物体添加到现实图像中，以生成增强现实图像，达到了对用户观看的增强现实图像进行记录和存储的效果。
在上述实施例的基础上，步骤404至步骤406还可以通过其他方式实现，可选的，将所述相匹配的现实图像和虚拟图像进行融合，生成增强现实图像，包括：将所述相匹配的现实图像和虚拟图像中对应像素点的像素值加权处理，生成增强现实图像。将进行对齐操作的现实图像和虚拟图像中的对应的像素点进行融合处理，其中，现实图像和虚拟图像的权重比可以是1:1、2:1或者1:2等，可根据用户需求设置。
在对现实图像和虚拟图像进行融合之前，还包括确定现实图像和虚拟图像的尺寸是否一致，若不一致，则对现实图像或虚拟图像进行尺寸调节，使得调节后的现实图像和虚拟图像尺寸一致。
图5为本申请实施例提供的一种增强现实图像的拍摄装置的结构框图，该装置可由软件和/或硬件实现，一般集成在增强现实设备中，可通过执行增强现实设备的增强现实图像的拍摄方法来对桌面布局进行编辑。如图5所示，该装置包括：指令接收模块510、现实图像采集模块520、虚拟图像获取模块530和增强现实图像生成模块540，其中，
指令接收模块510，用于接收增强现实图像拍摄指令；
现实图像采集模块520，用于基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像；
虚拟图像获取模块530，用于基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像；
增强现实图像生成模块540，用于将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。
本申请实施例中提供的增强现实图像的拍摄装置，通过将增强现实图像和虚拟图像进行融合，得到增强现实图像，实现了增强现实图像的拍摄，在用户观看增强现实信息的同时，对观看的增强现实图像进行拍摄和存储，解决了现有的拍摄设备只能记录现实图像信息，以及用户只能在特定环境下以及特定增强现实设备时才能观看增强现实图像的问题，实现了对增强现实图像的记录。
在上述实施例的基础上，现实图像采集模块520包括：
瞳孔方向确定单元，用于对追踪对象进行瞳孔追踪，确定所述追踪对象的瞳孔方向；
拍摄角度调节单元，用于根据所述追踪对象的瞳孔方向调节所述摄像头的拍摄角度；
现实图像生成单元，用于基于所述拍摄指令，控制所述摄像头在调节后的拍摄角度进行拍摄，生成现实图像。
在上述实施例的基础上，瞳孔方向确定单元用于：
获取追踪对象的眼部图像；
对所述眼部图像进行边缘检测，确定眼部位置和瞳孔位置；
根据所述瞳孔位置与所述眼部位置的相对关系确定追踪对象的瞳孔方向。
在上述实施例的基础上，还包括：
图像设置单元，用于对采集的所述现实图像和所述当前显示的虚拟图像分别设置图像类型标识和时间戳。
在上述实施例的基础上，增强现实图像生成模块540包括：
图像确定单元，用于根据所述图像类型标识和时间戳确定相匹配的现实图像和虚拟图像；
图像融合单元，用于将所述相匹配的现实图像和虚拟图像进行融合，生成增强现实图像。
在上述实施例的基础上，增强现实图像生成模块540还包括：
图像对齐单元，用于在将所述相匹配的现实图像和虚拟图像进行融合之前，对所述相匹配的现实图像和虚拟图像进行对齐。
在上述实施例的基础上，图像融合单元用于：
将所述相匹配的现实图像和虚拟图像中对应像素点的像素值加权处理，生成增强现实图像。
在上述实施例的基础上，图像融合单元用于：
识别所述虚拟图像中的目标对象；
根据所述目标对象的位置确定所述现实图像中的待处理区域；
基于所述虚拟图像中的目标对象替换所述现实图像中的待处理区域，生成增强现实图像。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行增强现实图像的拍摄方法，该方法包括：
接收增强现实图像拍摄指令；
基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像；
基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像；
将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的增强现实图像的拍摄操作，还可以执行本申请任意实施例所提供的增强现实图像的拍摄方法中的相关操作。
本申请实施例提供了一种增强现实设备，该增强现实设备中可集成本申请实施例提供的增强现实图像的拍摄装置。图6为本申请实施例提供的一种增强现实设备的结构示意图。增强现实设备600可以包括：存储器601，处理器602及存储在存储器601上并可在处理器602运行的计算机程序，所述处理器602执行所述计算机程序时实现如本申请实施例所述的增强现实图像的拍摄方法。
本申请实施例提供的增强现实设备，通过将增强现实图像和虚拟图像进行融合，得到增强现实图像，实现了增强现实图像的拍摄，在用户观看增强现实信息的同时，对观看的增强现实图像进行拍摄和存储，解决了现有的拍摄设备只能记录现实图像信息，以及用户只能在特定环境下以及特定增强现实设备时才能观看增强现实图像的问题，实现了对增强现实图像的记录。
图7为本申请实施例提供的另一种增强现实设备的结构示意图。该增强现实设备可以包括：壳体(图中未示出)、存储器701、中央处理器(central processing unit，CPU)702(又称处理器，以下简称CPU)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部；所述CPU702和所述存储器701设置在所述电路板上；所述电源电路，用于为所述增强现实设备的各个电路或器件供电；所述存储器701，用于存储可执行程序代码；所述CPU702通过读取所述存储器701中存储的可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以实现以下步骤：
接收增强现实图像拍摄指令；
基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像；
基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像；
将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。
所述增强现实设备还包括：外设接口703、RF(Radio Frequency，射频)电路705、音频电路706、扬声器711、电源管理芯片708、输入/输出(I/O)子系统709、其他输入/控制设备710、触摸屏712、其他输入/控制设备710以及外部端口704，这些部件通过一个或多个通信总线或信号线707来通信。
应该理解的是，图示增强现实设备700仅仅是增强现实设备的一个范例，并且增强现实设备700可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的用于对增强现实图像的拍摄操作的增强现实设备进行详细的描述，该增强现实设备以增强现实眼镜为例。
存储器701，所述存储器701可以被CPU702、外设接口703等访问，所述存储器701可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口703，所述外设接口703可以将设备的输入和输出外设连接到CPU702和存储器701。
I/O子系统709，所述I/O子系统709可以将设备上的输入输出外设，例如触摸屏712和其他输入/控制设备710，连接到外设接口703。I/O子系统709可以包括显示控制器7071和用于控制其他输入/控制设备710的一个或多个输入控制器7072。其中，一个或多个输入控制器7072从其他输入/控制设备710接收电信号或者向其他输入/控制设备710发送电信号，其他输入/控制设备710可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器7072可以与以下任一个连接：键盘、红外端口、USB接口以及诸如鼠标的指示设备。
触摸屏712，所述触摸屏712是用户增强现实设备与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。
I/O子系统709中的显示控制器7071从触摸屏712接收电信号或者向触摸屏712发送电信号。触摸屏712检测触摸屏上的接触，显示控制器7071将检测到的接触转换为与显示在触摸屏712上的用户界面对象的交互，即实现人机交互，显示在触摸屏712上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路705，主要用于建立增强现实眼镜与无线网络(即网络侧)的通信，实现增强现实眼镜与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地，RF电路705接收并发送RF信号，RF信号也称为电磁信号，RF电路705将电信号转换为电磁信号或将电磁信号转换为电信号，并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路705可以包括用于执行这些功能的已知电路，其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder，编译码器)芯片组、用户标识模块(Subscriber Identity Module，SIM)等等。
音频电路706，主要用于从外设接口703接收音频数据，将该音频数据转换为电信号，并且将该电信号发送给扬声器711。
扬声器711，用于将增强现实眼镜通过RF电路705从无线网络接收的语音信号，还原为声音并向用户播放该声音。
电源管理芯片708，用于为CPU702、I/O子系统及外设接口所连接的硬件进行供电及电源管理。
上述实施例中提供的增强现实图像的拍摄装置、存储介质及增强现实设备可执行本申请任意实施例所提供的增强现实图像的拍摄方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的增强现实图像的拍摄方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (11)
1.一种增强现实图像的拍摄方法，应用于增强现实设备，其特征在于，包括：
接收增强现实图像拍摄指令；
基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像；
基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像；
将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。
2.根据权利要求1所述的方法，其特征在于，基于所述拍摄指令控制所述增强现实设备的摄像头采集现实图像，包括：
对追踪对象进行瞳孔追踪，确定所述追踪对象的瞳孔方向；
根据所述追踪对象的瞳孔方向调节所述摄像头的拍摄角度；
基于所述拍摄指令，控制所述摄像头在调节后的拍摄角度进行拍摄，生成现实图像。
3.根据权利要求2所述的方法，其特征在于，对追踪对象进行瞳孔追踪，确定所述追踪对象的瞳孔方向，包括：
获取所述追踪对象的眼部图像；
对所述眼部图像进行边缘检测，确定眼部位置和瞳孔位置；
根据所述瞳孔位置与所述眼部位置的相对关系确定所述追踪对象的瞳孔方向。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对采集的所述现实图像和所述当前显示的虚拟图像分别设置图像类型标识和时间戳。
5.根据权利要求4所述的方法，其特征在于，将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像，包括：
根据所述图像类型标识和时间戳确定相匹配的现实图像和虚拟图像；
将所述相匹配的现实图像和虚拟图像进行融合，生成增强现实图像。
6.根据权利要求5所述的方法，其特征在于，在将所述相匹配的现实图像和虚拟图像进行融合之前，还包括：
对所述相匹配的现实图像和虚拟图像进行对齐。
7.根据权利要求5所述的方法，其特征在于，将所述相匹配的现实图像和虚拟图像进行融合，生成增强现实图像，包括：
将所述相匹配的现实图像和虚拟图像中对应像素点的像素值加权处理，生成增强现实图像。
8.根据权利要求5所述的方法，其特征在于，将所述相匹配的现实图像和虚拟图像进行融合，生成增强现实图像，包括：
识别所述虚拟图像中的目标对象；
根据所述目标对象的位置确定所述现实图像中的待处理区域；
基于所述虚拟图像中的目标对象替换所述现实图像中的待处理区域，生成增强现实图像。
9.一种增强现实图像的拍摄装置，其特征在于，包括：
指令接收模块，用于接收增强现实图像拍摄指令；
现实图像采集模块，用于基于所述拍摄指令控制增强现实设备的摄像头采集现实图像；
虚拟图像获取模块，用于基于所述拍摄指令控制所述增强现实设备确定当前显示的虚拟图像；
增强现实图像生成模块，用于将所述现实图像和所述当前显示的虚拟图像进行融合，生成增强现实图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的增强现实图像的拍摄方法。
11.一种增强现实设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8任一所述的增强现实图像的拍摄方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625846.7A CN110412765B (zh) | 2019-07-11 | 2019-07-11 | 增强现实图像拍摄方法、装置、存储介质及增强现实设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625846.7A CN110412765B (zh) | 2019-07-11 | 2019-07-11 | 增强现实图像拍摄方法、装置、存储介质及增强现实设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110412765A true CN110412765A (zh) | 2019-11-05 |
| CN110412765B CN110412765B (zh) | 2021-11-16 |
Family
ID=68361107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910625846.7A Active CN110412765B (zh) | 2019-07-11 | 2019-07-11 | 增强现实图像拍摄方法、装置、存储介质及增强现实设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110412765B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941416A (zh) * | 2019-11-15 | 2020-03-31 | 北京奇境天成网络技术有限公司 | 一种增强现实中人与虚拟物的交互方法及装置 |
| CN111540060A (zh) * | 2020-03-25 | 2020-08-14 | 深圳奇迹智慧网络有限公司 | 增强现实设备的显示校准方法、装置、电子设备 |
| CN112738498A (zh) * | 2020-12-24 | 2021-04-30 | 京东方科技集团股份有限公司 | 一种虚拟游览系统及方法 |
| CN114078102A (zh) * | 2020-08-11 | 2022-02-22 | 北京芯海视界三维科技有限公司 | 图像处理装置和虚拟现实设备 |
| WO2022055421A1 (zh) * | 2020-09-09 | 2022-03-17 | 脸萌有限公司 | 基于增强现实的显示方法、设备及存储介质 |
| CN114442814A (zh) * | 2022-03-31 | 2022-05-06 | 灯影科技有限公司 | 一种云桌面的展示方法、装置、设备及存储介质 |
| WO2022132033A1 (zh) * | 2020-12-18 | 2022-06-23 | 脸萌有限公司 | 基于增强现实的显示方法、装置、设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101311893A (zh) * | 2007-05-23 | 2008-11-26 | 佳能株式会社 | 混合真实呈现设备及其控制方法 |
| CN103605208A (zh) * | 2013-08-30 | 2014-02-26 | 北京智谷睿拓技术服务有限公司 | 内容投射系统及方法 |
| CN105657294A (zh) * | 2016-03-09 | 2016-06-08 | 北京奇虎科技有限公司 | 在移动终端上呈现虚拟特效的方法及装置 |
| CN105681684A (zh) * | 2016-03-09 | 2016-06-15 | 北京奇虎科技有限公司 | 基于移动终端的图像实时处理方法及装置 |
| CN105866949A (zh) * | 2015-01-21 | 2016-08-17 | 成都理想境界科技有限公司 | 能自动调节景深的双目ar头戴设备及景深调节方法 |
| CN105955456A (zh) * | 2016-04-15 | 2016-09-21 | 深圳超多维光电子有限公司 | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 |
| CN106055113A (zh) * | 2016-07-06 | 2016-10-26 | 北京华如科技股份有限公司 | 一种混合现实的头盔显示系统及控制方法 |
| CN106383587A (zh) * | 2016-10-26 | 2017-02-08 | 腾讯科技（深圳）有限公司 | 一种增强现实场景生成方法、装置及设备 |
| CN106981100A (zh) * | 2017-04-14 | 2017-07-25 | 陈柳华 | 一种虚拟现实与真实场景融合的装置 |
| US20180101984A1 (en) * | 2016-10-06 | 2018-04-12 | Google Inc. | Headset removal in virtual, augmented, and mixed reality using an eye gaze database |
| CN107993292A (zh) * | 2017-12-19 | 2018-05-04 | 北京疯狂互动网络科技有限公司 | 增强现实场景复原方法、装置及计算机可读存储介质 |
| US20180196509A1 (en) * | 2017-01-06 | 2018-07-12 | Oculus Vr, Llc | Eye tracking architecture for common structured light and time-of-flight framework |
| US20180205932A1 (en) * | 2017-01-16 | 2018-07-19 | National Taiwan University | Stereoscopic video see-through augmented reality device with vergence control and gaze stabilization, head-mounted display and method for near-field augmented reality application |
| CN109104632A (zh) * | 2018-09-27 | 2018-12-28 | 聚好看科技股份有限公司 | 一种电视终端ar场景的实现方法及系统 |
| CN109213885A (zh) * | 2017-06-29 | 2019-01-15 | 深圳市掌网科技股份有限公司 | 基于增强现实的汽车展示方法及系统 |
-
2019
- 2019-07-11 CN CN201910625846.7A patent/CN110412765B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101311893A (zh) * | 2007-05-23 | 2008-11-26 | 佳能株式会社 | 混合真实呈现设备及其控制方法 |
| CN103605208A (zh) * | 2013-08-30 | 2014-02-26 | 北京智谷睿拓技术服务有限公司 | 内容投射系统及方法 |
| CN105866949A (zh) * | 2015-01-21 | 2016-08-17 | 成都理想境界科技有限公司 | 能自动调节景深的双目ar头戴设备及景深调节方法 |
| CN105657294A (zh) * | 2016-03-09 | 2016-06-08 | 北京奇虎科技有限公司 | 在移动终端上呈现虚拟特效的方法及装置 |
| CN105681684A (zh) * | 2016-03-09 | 2016-06-15 | 北京奇虎科技有限公司 | 基于移动终端的图像实时处理方法及装置 |
| CN105955456A (zh) * | 2016-04-15 | 2016-09-21 | 深圳超多维光电子有限公司 | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 |
| CN106055113A (zh) * | 2016-07-06 | 2016-10-26 | 北京华如科技股份有限公司 | 一种混合现实的头盔显示系统及控制方法 |
| US20180101984A1 (en) * | 2016-10-06 | 2018-04-12 | Google Inc. | Headset removal in virtual, augmented, and mixed reality using an eye gaze database |
| CN106383587A (zh) * | 2016-10-26 | 2017-02-08 | 腾讯科技（深圳）有限公司 | 一种增强现实场景生成方法、装置及设备 |
| US20180196509A1 (en) * | 2017-01-06 | 2018-07-12 | Oculus Vr, Llc | Eye tracking architecture for common structured light and time-of-flight framework |
| US20180205932A1 (en) * | 2017-01-16 | 2018-07-19 | National Taiwan University | Stereoscopic video see-through augmented reality device with vergence control and gaze stabilization, head-mounted display and method for near-field augmented reality application |
| CN106981100A (zh) * | 2017-04-14 | 2017-07-25 | 陈柳华 | 一种虚拟现实与真实场景融合的装置 |
| CN109213885A (zh) * | 2017-06-29 | 2019-01-15 | 深圳市掌网科技股份有限公司 | 基于增强现实的汽车展示方法及系统 |
| CN107993292A (zh) * | 2017-12-19 | 2018-05-04 | 北京疯狂互动网络科技有限公司 | 增强现实场景复原方法、装置及计算机可读存储介质 |
| CN109104632A (zh) * | 2018-09-27 | 2018-12-28 | 聚好看科技股份有限公司 | 一种电视终端ar场景的实现方法及系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941416A (zh) * | 2019-11-15 | 2020-03-31 | 北京奇境天成网络技术有限公司 | 一种增强现实中人与虚拟物的交互方法及装置 |
| CN111540060A (zh) * | 2020-03-25 | 2020-08-14 | 深圳奇迹智慧网络有限公司 | 增强现实设备的显示校准方法、装置、电子设备 |
| CN111540060B (zh) * | 2020-03-25 | 2024-03-08 | 深圳奇迹智慧网络有限公司 | 增强现实设备的显示校准方法、装置、电子设备 |
| CN114078102A (zh) * | 2020-08-11 | 2022-02-22 | 北京芯海视界三维科技有限公司 | 图像处理装置和虚拟现实设备 |
| WO2022055421A1 (zh) * | 2020-09-09 | 2022-03-17 | 脸萌有限公司 | 基于增强现实的显示方法、设备及存储介质 |
| US11587280B2 (en) | 2020-09-09 | 2023-02-21 | Beijing Zitiao Network Technology Co., Ltd. | Augmented reality-based display method and device, and storage medium |
| WO2022132033A1 (zh) * | 2020-12-18 | 2022-06-23 | 脸萌有限公司 | 基于增强现实的显示方法、装置、设备及存储介质 |
| CN112738498A (zh) * | 2020-12-24 | 2021-04-30 | 京东方科技集团股份有限公司 | 一种虚拟游览系统及方法 |
| CN112738498B (zh) * | 2020-12-24 | 2023-12-08 | 京东方科技集团股份有限公司 | 一种虚拟游览系统及方法 |
| CN114442814A (zh) * | 2022-03-31 | 2022-05-06 | 灯影科技有限公司 | 一种云桌面的展示方法、装置、设备及存储介质 |
| WO2023184816A1 (zh) * | 2022-03-31 | 2023-10-05 | 中数元宇数字科技(上海)有限公司 | 一种云桌面的展示方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110412765B (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110412765A (zh) | 增强现实图像拍摄方法、装置、存储介质及增强现实设备 | |
| CN109600678B (zh) | 信息展示方法、装置及系统、服务器、终端、存储介质 | |
| CN110830811B (zh) | 直播互动方法及装置、系统、终端、存储介质 | |
| CN106303406B (zh) | 移动终端 | |
| KR102021857B1 (ko) | 이동 단말기 및 그의 파노라마 촬영방법 | |
| US20210153629A1 (en) | Method for processing images, electronic device, and storage medium | |
| CN106850395B (zh) | 移动终端及其控制方法 | |
| KR101961666B1 (ko) | 이동 단말기 및 그 제어방법 | |
| US20070052672A1 (en) | Communication device, system and method | |
| KR20180002387A (ko) | 헤드 마운티드 디스플레이 장치 및 이의 제어방법 | |
| US11962897B2 (en) | Camera movement control method and apparatus, device, and storage medium | |
| CN110533585B (zh) | 一种图像换脸的方法、装置、系统、设备和存储介质 | |
| CN107092359A (zh) | 虚拟现实视角重定位方法、装置及终端 | |
| KR20150070874A (ko) | 안경형 단말기 및 이의 제어방법 | |
| KR20170134212A (ko) | 이동 단말기 | |
| CN111787407B (zh) | 互动视频播放方法、装置、计算机设备及存储介质 | |
| CN112907725A (zh) | 图像生成、图像处理模型的训练、图像处理方法和装置 | |
| CN110349271B (zh) | 透镜颜色调节方法、装置、存储介质及增强现实设备 | |
| KR20170016753A (ko) | 헤드 마운티드 디스플레이 및 그 제어방법 | |
| CN106067833B (zh) | 移动终端及其控制方法 | |
| CN112581358A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN111083513B (zh) | 直播画面处理方法、装置、终端及计算机可读存储介质 | |
| US20160335615A1 (en) | Wearable display device for displaying progress of payment process associated with billing information on display unit and controlling method thereof | |
| CN113191976A (zh) | 图像拍摄方法、装置、终端及存储介质 | |
| US20220103741A1 (en) | Mobile terminal and method for controlling same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |