CN107592520A - Ar设备的成像装置及成像方法 - Google Patents

Ar设备的成像装置及成像方法 Download PDF

Info

Publication number
CN107592520A
CN107592520A CN201710907251.1A CN201710907251A CN107592520A CN 107592520 A CN107592520 A CN 107592520A CN 201710907251 A CN201710907251 A CN 201710907251A CN 107592520 A CN107592520 A CN 107592520A
Authority
CN
China
Prior art keywords
equipment
terminal device
image
image data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710907251.1A
Other languages
English (en)
Other versions
CN107592520B (zh
Inventor
马希通
武乃福
李佃蒙
孙锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710907251.1A priority Critical patent/CN107592520B/zh
Publication of CN107592520A publication Critical patent/CN107592520A/zh
Priority to US15/934,215 priority patent/US10580214B2/en
Application granted granted Critical
Publication of CN107592520B publication Critical patent/CN107592520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供AR设备的成像装置及成像方法，涉及智能设备技术领域，可解决终端设备上显示的内容被他人窥探的问题。所述AR设备的成像方法，包括：与终端设备建立通信连接；接收所述终端设备发送的影像数据；显示所述影像数据。

Description

AR设备的成像装置及成像方法
技术领域
本发明涉及智能设备技术领域，尤其涉及AR设备的成像装置及成像方法。
背景技术
如今，具有电子显示屏的终端设备种类越来越多，比如台式电脑、笔记本电脑、手机、电子书阅读器等。用户经常会在某些公共场合使用到上述终端设备，比如网吧、地铁、公交等。而用户在公共场合使用上述终端设备，涉及到需要保密的内容时，则不希望他人从侧面看到显示屏中的内容。
发明内容
本发明的实施例提供AR设备的成像装置及成像方法，可解决终端设备上显示的内容被他人窥探的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供一种AR设备的成像方法，包括：与终端设备建立通信连接；接收所述终端设备发送的影像数据；显示所述影像数据。
可选的，在显示所述影像数据前，所述方法还包括：判断所述终端设备是否解锁；所述显示所述影像数据包括：在确定所述终端设备已解锁的情况下，显示所述影像数据。
可选的，所述判断所述终端设备是否解锁包括：捕捉包含所述终端设备的当前显示画面的第一图像，将所述第一图像与预存的目标图像进行匹配，若所述第一图像与所述目标图像相匹配则所述终端设备已解锁；其中，所述目标图像为包含所述终端设备解锁过程或解锁后的显示画面。
基于上述，可选的，显示所述影像数据步骤，包括：根据所述AR设备到所述终端设备的距离、所述终端设备的成像区域的大小，显示所述影像数据，以使所述AR设备显示所述影像数据时所成的像可位于所述终端设备的成像区域，其中所述终端设备的成像区域在所述终端设备的轮廓内。
可选的，所述根据所述AR设备到所述终端设备的距离、所述终端设备的成像区域的大小，显示所述影像数据包括：按照所述AR设备当前配置的成像大小与所述终端设备的成像区域的大小之间的比例，对所述影像数据进行缩放；根据所述AR设备到所述终端设备的距离，调整所述AR设备的成像距离；显示处理后的影像数据。
可选的，对所述影像数据进行缩放之前，所述方法还包括：从不同角度获得所述终端设备的两幅第二图像；在两幅所述第二图像上分别找到所述成像区域的顶点坐标；基于视差原理，对所述顶点坐标进行处理，得到所述成像区域的轮廓坐标；根据所述轮廓坐标，得到所述成像区域的长和宽。
可选的，根据所述AR设备到所述终端设备的距离，调整所述AR设备的成像距离的步骤，包括：将获取到的所述影像数据进行处理得到左眼图像和右眼图像，根据所述AR设备到所述终端设备的距离调整在所述AR设备的左眼镜片上显示所述左眼图像的像素偏移量和/或在所述AR设备的右眼镜片上显示所述右眼图像的像素偏移量；或者，调整所述AR设备中镜片与透镜之间的距离。
第二方面，提供一种AR设备的成像方法，包括：与所述AR设备建立通信连接；向所述AR设备发送包含终端设备运行过程中产生的待显示画面的影像数据，并关闭所述终端设备的显示功能。
第三方面，提供一种AR设备，包括：通信模块，用于与终端设备建立通信连接，还用于接收所述终端设备发送的影像数据；显示模块，用于显示所述影像数据。
可选的，所述的AR设备还包括：图像捕捉模块，用于捕捉包含所述终端设备的当前显示画面的第一图像；存储模块，用于存储包含所述终端设备在解锁过程或解锁后的显示画面的目标图像；处理模块，用于判断所述第一图像与所述目标图像是否匹配；或者，所述存储模块，用于存储包含所述终端设备在解锁过程或解锁后的显示画面的目标图像，还用于存储与所述目标图像相匹配的所述第一图像。
可选的，所述处理模块具体用于：按照所述AR设备当前配置的成像大小与所述终端设备的成像区域的大小之间的比例，对所述影像数据进行缩放；根据所述AR设备到所述终端设备的距离，调整所述AR设备的成像距离。
可选的，所述图像捕捉模块包括两个摄像头。
第四方面，提供一种终端设备，包括：处理模块，用于生成包含终端设备运行过程中产生的待显示画面的影像数据；通信模块，用于与AR设备建立通信连接，还用于向所述AR设备发送所述影像数据。
第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在AR设备上运行时，使得所述AR设备执行第一方面所述的AR设备的成像方法；或者，当所述指令在终端设备上运行时，使得所述终端设备执行第二方面所述的AR设备的成像方法。
第六方面，提供一种包含指令的计算机程序产品，当所述计算机程序产品在AR设备上运行时，使得所述AR设备执行如第一方面所述的AR设备的成像方法；或者，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如第二方面所述的AR设备的成像方法。
本发明实施例提供的AR设备的成像装置及成像方法，通过采用AR设备将终端设备待显示的画面投射到终端设备的显示面上，使得只有佩戴AR设备的人才能看到终端设备显示面上的画面，其他人则无法看到的终端设备显示面上的画面，从而达到保密显示的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种AR设备的成像方法一；
图2为本发明实施例提供的一种AR设备的成像方法二；
图3为本发明实施例提供的一种AR设备的成像方法三；
图4(a)为本发明实施例提供的一种包含终端设备当前显示画面的图像一；
图4(b)为本发明实施例提供的一种包含终端设备当前显示画面的图像二；
图4(c)为本发明实施例提供的一种包含终端设备当前显示画面的图像三；
图5为一种平面显示原理图；
图6为一种3D显示原理图；
图7为本发明实施例提供的一种双目视觉原理图；
图8为本发明实施例提供的一种AR设备与终端设备相对位置示意图；
图9为本发明实施例提供的一种AR设备的成像方法四。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
第一方面，本发明实施例提供一种AR设备的成像方法，该方法的执行主体可以是AR设备，可以是AR设备中的某个或某些硬件和/或可在AR设备运行的软件。如图1所示，所述方法包括：
S10、与终端设备建立通信连接。
此处，可以通过有线通讯的方式建立通信连接，也可以通过无线通讯的方式建立通信连接。
其中，有线通信方式例如可以是在AR设备和终端设备上均设置数据传输接口，数据传输接口可以为USB(Universal Serial BUS，通用串行总线)接口、mini-USB(迷你USB)接口、lightning接口(闪电接口)等中的至少一种；例如，USB接口、mini-USB接口等可适应于安装有安卓操作系统的终端设备，lightning接口等可适应于安装有苹果操作系统的移动终端，AR设备可以设置有上述任一种或多种数据传输接口。无线通信方式例如可以是在AR设备和终端设备上均设置蓝牙模块、WiFi(Wireless-Fidelity，无线保真)模块等。在一示例中，AR设备主要进行数据的接收，因此无论以哪种方式建立通信连接AR设备可以具备接收数据的功能，而不具备发送数据的功能，例如此时AR设备上可以设置WiFi接收模块；当然也可以具备收发数据功能。
该终端设备可以包括：手机、可穿戴设备、平板电脑、笔记本电脑、UMPC(超级移动个人计算机)、上网本、PDA(个人数字助理)等任意终端，本申请实施例对此不作任何限制。
该AR设备可以是单目眼镜，也可以是双目眼镜。
S20、接收终端设备发送的影像数据。
即，终端设备将待显示的画面(原本要在终端设备的显示屏上显示的画面)生成影像数据发送到AR设备。
S30、显示所述影像数据。
示例的，可以将AR眼镜的成像距离调整为AR眼镜与终端设备(终端设备的厚度可忽略不计)的距离，此时终端设备所在平面作为AR眼镜的像平面，当佩戴AR眼镜的用户看向终端设备时，所述影像数据正好呈现在终端设备上。
本发明实施例提供的AR设备的成像方法，通过采用AR设备将终端设备待显示的画面投射到终端设备的显示面上，使得只有佩戴AR设备的人才能看到终端设备显示面上的画面，其他人则无法看到的终端设备显示面上的画面，从而达到保密显示的效果。
优选的，如图2和图3所示，所述方法还包括：
步骤S01、判断终端设备是否解锁。
其中，根据判断终端设备是否解锁的方法不同，可以将步骤S01放在步骤S20之前完成，也可以将步骤S01放在步骤S10之前完成，但必须在步骤S30之前。
也就是说，只有在确定终端设备已经解锁的情况下，AR设备才会显示影像数据。
示例的，通过捕捉并分析终端设备当前显示图像的方式判断终端设备是否解锁，可以将步骤S01放在步骤S10之前完成，此时，只有在确定终端设备已经解锁的情况下，AR设备才会与终端设备建立通信连接；通过判断终端设备是否向AR设备发送解锁信号的方式判断终端设备是否解锁，可以将步骤S01放在步骤S20之前完成，此时，只有在确定终端设备已经解锁的情况下，AR设备才会接收终端设备发送的影像数据。而以上无论是哪种情况，都是在确定终端设备已经解锁的情况下，AR设备才会显示影像数据。
此处，判断终端设备解锁后再将影像数据投射出去，可以避免AR设备投射用户不需要观看的画面，可降低AR设备的工作负担。
优选的，步骤S01具体包括：
捕捉包含终端设备的当前显示画面的第一图像，将第一图像与预存的目标图像进行匹配，若第一图像与目标图像相匹配则终端设备已解锁。
其中，所述目标图像包含终端设备解锁过程或解锁后的显示画面。
此处，在使用过程中，可能捕捉一次第一图像，就可与目标图像相匹配；也可能需要捕捉多次第一图像，才能捕捉到与目标图像相匹配的第一图像。根据用户需求，可以实时捕捉第一图像。
示例的，终端设备是通过手势解锁，如图4(a)所示，为终端设备未解锁时的显示画面；如图4(b)所示，为终端设备解锁过程的显示画面；如图4(c)所示，为终端设备解锁后的显示画面。目标图像可以为图4(b)或者图4(c)。
需要说明的是，无论是第一图像还是目标图像，都是包含当前显示画面的图像，也就是说包含显示屏所显示的画面的图像，对于非显示区(图4(a)、4(b)、4(c)中灰色区域)具体的图案不做限定，以此来满足用户装饰终端设备非显示区的喜好。
优选的，步骤S30包括：
根据AR设备到终端设备的距离、终端设备的成像区域的大小，显示影像数据，以使AR设备显示影像数据时所成的像可位于终端设备的成像区域，其中终端设备的成像区域在终端设备的轮廓内。
此处，使AR设备显示影像数据时所成的像可位于终端设备的成像区域是指，当佩戴AR设备的用户视线方向是朝向终端设备时，AR设备显示影像数据时所成的像则位于终端设备的成像区域。而如果佩戴AR设备的用户视线方向是朝向其他方向时，AR设备显示影像数据时所成的像则与用户的视线方向相关。
AR设备到终端设备的距离例如可以是AR设备中心点到终端设备中心点的位置。
其中，终端设备的成像区域在终端设备的轮廓区域内，例如成像区域可以是终端设备的轮廓区域，也可以是终端设备的显示区域，显示区域即为终端设备显示屏所在区域。
进一步的，根据AR设备到终端设备的距离、终端设备的成像区域的大小，显示所述影像数据包括：
按照AR设备当前配置的成像大小与终端设备的成像区域的大小之间的比例，对所述影像数据进行缩放。
示例性的，AR设备的成像大小为M*N(长*宽)，终端设备的成像区域的大小为A*B(长*宽)；AR设备的成像系统会根据终端设备的成像区域的轮廓将影像数据进行downscalar(缩放)运算，横向缩放比例为M/A，纵向缩放比例为N/B。
此处，终端设备的成像区域在终端设备的轮廓内，即成像区域可以是整个终端设备的轮廓，也可以只是终端设备轮廓中的显示区(图4(a)、4(b)、4(c)中不包含灰色区域的部分)。根据AR设备到终端设备的距离，调整AR设备的成像距离。
即，调整AR设备的成像距离后，影像数据正好可以投射到终端设备上，并且影像数据正好呈现在成像区域内。
示例的，对于平面显示，如图5所示，AR设备的成像距离b＝-1/(1/f-1/a)，可以通过调整AR设备屏幕到透镜的距离a来调整AR设备的成像距离，此处的屏幕为AR设备的镜片。
示例的，对于3D显示，如图6所示，通过分别调整左相机影像和右相机影像的左镜片和右镜片中的像素位置，来调整AR设备的成像距离。
显示处理后的影像数据。
其中，对所述影像数据进行缩放的步骤和调整AR设备的成像距离的步骤不分先后。
进一步的，对所述影像数据进行缩放之前，所述方法还包括：
从不同角度获得所述终端设备的两幅第二图像。
在两幅所述第二图像上分别找到所述成像区域的顶点坐标。
基于视差原理，对所述顶点坐标进行处理，得到所述成像区域的轮廓坐标。
根据所述轮廓坐标，得到所述成像区域的长和宽。
以成像区域为整个终端设备的显示面为例进行示意，具体的：
从不同角度获得终端设备的两幅第二图像。
此处的两幅第二图像可以是在需要计算成像区域的长和宽时才获取的；也可以是在第一图像与目标图像匹配后，将用于合成第一图像的两幅子图像保存下来，作为此处的第二图像使用。
在两幅第二图像上分别找到成像区域的顶点坐标。
例如，成像区域为矩形，顶点坐标则为四组。
基于视差原理，对顶点坐标进行处理，得到成像区域的轮廓坐标。
以一个顶点为例进行说明，可以采用一个摄像机从两个不同的角度拍摄两幅第二图像，也可以如图7所示，采用两个摄像机拍摄两幅第二图像，对于成像区域的顶点P(xc，yc，zc)，在左图像上的坐标为pleft＝(Xleft，Yleft)，在右图像上的坐标为pright＝(Xright，Yright)。
两个摄像机是在同一平面上拍摄两幅第二图像的，则P点的图像坐标Y坐标相同，即Yleft＝Yright＝Y，则由三角几何关系得到：
其中，B为两摄像机的投影中心连线的距离；f为摄像机的焦距。
则视差为：Disparity＝Xleft-Xright。由此可计算出P在相机坐标系下的三维坐标为：
通过上述方法可得到成像区域四个顶角的坐标。
根据所述轮廓坐标，得到成像区域的长和宽。
其中，获取成像区域的长和宽，即计算成像区域的两两顶点之间的距离。
对于终端设备到AR设备的距离，当终端设备与AR设备平行时，终端设备的中心点到AR设备的中心的距离，即为终端设备的显示面轮廓坐标在Z轴方向的数值|zc|。当终端设备与AR设备不平行时，如图8所示，AR设备中心点的坐标为(0、0、0)，终端设备的显示面的中心点G的坐标为终端设备的显示面的中心点G到AR设备的距离为其中，终端设备的显示面轮廓中E点坐标为(x1、y1、z1)，F点坐标为(x2、y2、z2)，E点和F点为终端设备轮廓坐标中位于斜对角的两个顶点。
进一步的，根据AR设备到终端设备的距离，调整AR设备的成像距离包括：
对于3D显示，将获取到的所述影像数据进行处理得到左眼图像和右眼图像，根据所述AR设备到终端设备的距离调整在AR设备的左眼镜片上显示所述左眼图像的像素偏移量和/或在AR设备的右眼镜片上显示右眼图像的像素偏移量。
即，3D影像调整景深是通过调整像素的偏移量来实现的。3D影像左右眼数据，左眼像素向右偏移，同时右眼像素向左偏移，空余像素补黑，3D影像的景深在减小；3D影像左右眼数据，左眼像素向左偏移，同时右眼像素向右偏移，空余像素补黑，3D影像的景深在变大；景深和像素偏移量存在一一对应的关系。可将像素偏移量与终端设备到AR设备的距离(实际成像距离)提前测量得到一个表格，最终根据终端设备到AR设备的距离从表格中得到像素的偏移量。
对于2D显示，如图5所示，调整AR设备中镜片与透镜之间的距离。
第二方面，本发明实施例还提供一种AR设备的成像方法，如图9所示，所述方法包括：
S100、与AR设备建立通信连接。
S200、向AR设备发送包含终端设备运行过程中产生的待显示画面的影像数据，并关闭终端设备的显示功能。
其中，关闭终端设备显示功能的方式，例如可以是关闭终端设备的背光源，此时终端设备正常运行，只是不显示运行结果。
当然，此处传送的影像数据是实时更新的。
示例性的，例举一个AR设备与终端设备的交互过程：
AR设备判断终端设备是否解锁；
若是，AR设备与终端设备建立通信连接；
终端设备生成包含终端设备运行过程中产生的待显示画面的影像数据，并向终端设备发送所述影像数据；
AR设备接收终端设备发送的所述影像数据；
终端设备按照AR设备当前配置的成像大小与终端设备的成像区域的大小之间的比例，对影像数据进行缩放；并根据AR设备到终端设备的距离，调整AR设备的成像距离。
AR设备显示处理后的影像数据。
此时，终端设备上并未显示任何影像数据，只有佩戴AR设备的用户才能看到此时终端设备上正在显示的画面。
本发明实施例还提供一种AR设备，包括：
通信模块，用于与终端设备建立通信连接，还用于接收终端设备发送的影像数据。
显示模块，用于显示所述影像数据。
当AR设备为AR眼镜时，AR设备还包括眼镜主体。
AR设备需要判断终端设备是否解锁时，优选的，所述AR设备还包括：
图像捕捉模块，用于捕捉包含终端设备的当前显示画面的第一图像。
存储模块，用于存储包含终端设备在解锁过程或解锁后的显示画面的目标图像。
处理模块，用于判断第一图像与目标图像是否匹配。
进一步优选的，所述存储模块还用于存储与目标图像相匹配的第一图像。
即，在判断第一图像与目标图像相匹配后，将第一图像存储。
进一步优选的，所述处理模块还用于：
按照AR设备当前配置的成像大小与终端设备的成像区域的大小之间的比例，对影像数据进行缩放。
根据AR设备到终端设备的距离，调整AR设备的成像距离。
为了使终端设备的显示面轮廓坐标的测量结果更准确，本发明实施例优选的，图像捕捉模块包括两个摄像头。
本发明实施例还提供一种终端设备，包括：
处理模块，用于生成包含终端设备运行过程中产生的待显示画面的影像数据。
根据需要，可以将影像数据转换为能够通过通信模块传输的数据格式。
通信模块，用于与AR设备建立通信连接，还用于向AR设备发送影像数据。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在AR设备上运行时，使得所述AR设备执行如上述第一方面所述的AR设备的成像方法；或者，当所述指令在终端设备上运行时，使得终端设备执行如上述第二方面所述的AR设备的成像方法。
此处，计算机可读存储介质，例如可以是存储有指令的光盘。
本发明实施例还提供一种包含指令的计算机程序产品，当所述计算机程序产品在AR设备上运行时，使得所述AR设备执行如上述第一方面所述的AR设备的成像方法；或者，当所述计算机程序产品在终端设备上运行时，使得终端设备执行如上述第二方面所述的AR设备的成像方法。
此处，包含指令的计算机程序产品，例如可以是一款可以安装在终端设备上的软件。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种AR设备的成像方法，其特征在于，包括：
与终端设备建立通信连接；
接收所述终端设备发送的影像数据；
显示所述影像数据。
2.根据权利要求1所述的成像方法，其特征在于，在显示所述影像数据前，所述方法还包括：判断所述终端设备是否解锁；
所述显示所述影像数据包括：在确定所述终端设备已解锁的情况下，显示所述影像数据。
3.根据权利要求2所述的成像方法，其特征在于，所述判断所述终端设备是否解锁包括：
捕捉包含所述终端设备的当前显示画面的第一图像，将所述第一图像与预存的目标图像进行匹配，若所述第一图像与所述目标图像相匹配则所述终端设备已解锁；
其中，所述目标图像为包含所述终端设备解锁过程或解锁后的显示画面。
4.根据权利要求1-3任一项所述的成像方法，其特征在于，显示所述影像数据步骤，包括：
根据所述AR设备到所述终端设备的距离、所述终端设备的成像区域的大小，显示所述影像数据，以使所述AR设备显示所述影像数据时所成的像可位于所述终端设备的成像区域，其中所述终端设备的成像区域在所述终端设备的轮廓内。
5.根据权利要求4所述的成像方法，其特征在于，所述根据所述AR设备到所述终端设备的距离、所述终端设备的成像区域的大小，显示所述影像数据包括：
按照所述AR设备当前配置的成像大小与所述终端设备的成像区域的大小之间的比例，对所述影像数据进行缩放；根据所述AR设备到所述终端设备的距离，调整所述AR设备的成像距离；
显示处理后的影像数据。
6.根据权利要求5所述的成像方法，其特征在于，对所述影像数据进行缩放之前，所述方法还包括：
从不同角度获得所述终端设备的两幅第二图像；
在两幅所述第二图像上分别找到所述成像区域的顶点坐标；
基于视差原理，对所述顶点坐标进行处理，得到所述成像区域的轮廓坐标；
根据所述轮廓坐标，得到所述成像区域的长和宽。
7.根据权利要求5所述的成像方法，其特征在于，根据所述AR设备到所述终端设备的距离，调整所述AR设备的成像距离的步骤，包括：
将获取到的所述影像数据进行处理得到左眼图像和右眼图像，根据所述AR设备到所述终端设备的距离调整在所述AR设备的左眼镜片上显示所述左眼图像的像素偏移量和/或在所述AR设备的右眼镜片上显示所述右眼图像的像素偏移量；
或者，调整所述AR设备中镜片与透镜之间的距离。
8.一种AR设备的成像方法，其特征在于，包括：
与所述AR设备建立通信连接；
向所述AR设备发送包含终端设备运行过程中产生的待显示画面的影像数据，并关闭所述终端设备的显示功能。
9.一种AR设备，其特征在于，包括：
通信模块，用于与终端设备建立通信连接，还用于接收所述终端设备发送的影像数据；
显示模块，用于显示所述影像数据。
10.根据权利要求9所述的AR设备，其特征在于，还包括：
图像捕捉模块，用于捕捉包含所述终端设备的当前显示画面的第一图像；
存储模块，用于存储包含所述终端设备在解锁过程或解锁后的显示画面的目标图像；
处理模块，用于判断所述第一图像与所述目标图像是否匹配；
或者，所述存储模块，用于存储包含所述终端设备在解锁过程或解锁后的显示画面的目标图像，还用于存储与所述目标图像相匹配的所述第一图像。
11.根据权利要求9或10所述的AR设备，其特征在于，所述处理模块具体用于：
按照所述AR设备当前配置的成像大小与所述终端设备的成像区域的大小之间的比例，对所述影像数据进行缩放；
根据所述AR设备到所述终端设备的距离，调整所述AR设备的成像距离。
12.根据权利要求9所述的AR设备，其特征在于，所述图像捕捉模块包括两个摄像头。
13.一种终端设备，其特征在于，包括：
处理模块，用于生成包含终端设备运行过程中产生的待显示画面的影像数据；
通信模块，用于与AR设备建立通信连接，还用于向所述AR设备发送所述影像数据。
14.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在AR设备上运行时，使得所述AR设备执行如权利要求1至7中任一项所述的AR设备的成像方法；或者，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求8所述的AR设备的成像方法。
15.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在AR设备上运行时，使得所述AR设备执行如权利要求1至7中任一项所述的AR设备的成像方法；或者，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如权利要求8所述的AR设备的成像方法。
CN201710907251.1A 2017-09-29 2017-09-29 Ar设备的成像装置及成像方法 Active CN107592520B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710907251.1A CN107592520B (zh) 2017-09-29 2017-09-29 Ar设备的成像装置及成像方法
US15/934,215 US10580214B2 (en) 2017-09-29 2018-03-23 Imaging device and imaging method for augmented reality apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710907251.1A CN107592520B (zh) 2017-09-29 2017-09-29 Ar设备的成像装置及成像方法

Publications (2)

Publication Number Publication Date
CN107592520A true CN107592520A (zh) 2018-01-16
CN107592520B CN107592520B (zh) 2020-07-10

Family

ID=61047972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710907251.1A Active CN107592520B (zh) 2017-09-29 2017-09-29 Ar设备的成像装置及成像方法

Country Status (2)

Country Link
US (1) US10580214B2 (zh)
CN (1) CN107592520B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184359A1 (zh) * 2018-03-29 2019-10-03 京东方科技集团股份有限公司 服务器、增强现实装置、系统、共享方法及存储介质
WO2020125006A1 (zh) * 2018-12-22 2020-06-25 杭州融梦智能科技有限公司 增强现实显示设备及应用增强现实显示设备的交互方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11385856B2 (en) * 2020-10-23 2022-07-12 Streem, Llc Synchronizing positioning systems and content sharing between multiple devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881128A (zh) * 2015-06-18 2015-09-02 北京国承万通信息科技有限公司 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN104951080A (zh) * 2015-07-06 2015-09-30 联想(北京)有限公司 一种控制方法以及装置
CN107209565A (zh) * 2015-01-20 2017-09-26 微软技术许可有限责任公司 固定大小的增强现实对象
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090197649A1 (en) * 2008-02-05 2009-08-06 Rebelvox, Llc Mobile phone with headset docking station
US8260348B2 (en) * 2008-03-19 2012-09-04 Google Inc. Wireless communicator for laptop computers
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
JP6121647B2 (ja) * 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9749846B2 (en) * 2012-02-03 2017-08-29 Sony Corporation Image recognition for pairing of devices
CN104205012A (zh) * 2012-03-26 2014-12-10 索尼公司 信息处理设备、信息处理方法和程序
CN104364754A (zh) * 2012-06-12 2015-02-18 索尼公司 信息处理设备、信息处理方法及程序
US9747723B2 (en) * 2012-09-04 2017-08-29 Cisco Technology, Inc. Augmented reality for video system
US20140317659A1 (en) * 2013-04-19 2014-10-23 Datangle, Inc. Method and apparatus for providing interactive augmented reality information corresponding to television programs
KR102063076B1 (ko) * 2013-07-10 2020-01-07 엘지전자 주식회사 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
KR20160022147A (ko) * 2014-08-19 2016-02-29 엘지전자 주식회사 이동 단말기, 글래스형 단말기 및 그들의 화면 공유를 통한 상호 연동방법
US9804813B2 (en) * 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
US20160314620A1 (en) * 2015-04-23 2016-10-27 Eon Reality Sports, Llc Virtual reality sports training systems and methods
US9736171B2 (en) * 2015-10-12 2017-08-15 Airwatch Llc Analog security for digital data
US20170201808A1 (en) * 2016-01-09 2017-07-13 Globalive Xmg Jv Inc. System and method of broadcast ar layer
EP3206163B1 (en) * 2016-02-11 2018-12-26 AR4 GmbH Image processing method, mobile device and method for generating a video image database
CN105607263A (zh) 2016-03-22 2016-05-25 深圳市世尊科技有限公司 头戴式电子设备
US9998790B1 (en) * 2017-03-30 2018-06-12 Rovi Guides, Inc. Augmented reality content recommendation
US10706459B2 (en) * 2017-06-20 2020-07-07 Nike, Inc. Augmented reality experience unlock via target image detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209565A (zh) * 2015-01-20 2017-09-26 微软技术许可有限责任公司 固定大小的增强现实对象
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信
CN104881128A (zh) * 2015-06-18 2015-09-02 北京国承万通信息科技有限公司 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN104951080A (zh) * 2015-07-06 2015-09-30 联想(北京)有限公司 一种控制方法以及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184359A1 (zh) * 2018-03-29 2019-10-03 京东方科技集团股份有限公司 服务器、增强现实装置、系统、共享方法及存储介质
US10823959B2 (en) 2018-03-29 2020-11-03 Boe Technology Group Co., Ltd. Method for sharing augmented reality apparatus
WO2020125006A1 (zh) * 2018-12-22 2020-06-25 杭州融梦智能科技有限公司 增强现实显示设备及应用增强现实显示设备的交互方法

Also Published As

Publication number Publication date
US20190102945A1 (en) 2019-04-04
CN107592520B (zh) 2020-07-10
US10580214B2 (en) 2020-03-03

Similar Documents

Publication Publication Date Title
US20210075963A1 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US10019831B2 (en) Integrating real world conditions into virtual imagery
US9595127B2 (en) Three-dimensional collaboration
EP3591607A1 (en) Image stitching method and system based on camera earphone
USRE47925E1 (en) Method and multi-camera portable device for producing stereo images
US8571304B2 (en) Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
US20120162384A1 (en) Three-Dimensional Collaboration
KR102461232B1 (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
CN107810633A (zh) 立体渲染系统
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
US20100253768A1 (en) Apparatus and method for generating and displaying a stereoscopic image on a mobile computing device
CN103517060B (zh) 一种终端设备的显示控制方法及装置
CN105376484A (zh) 一种图像处理方法及终端
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
US11240481B2 (en) Creation and user interactions with three-dimensional wallpaper on computing devices
US11699259B2 (en) Stylized image painting
WO2021110038A1 (zh) 3d显示设备、3d图像显示方法
CN107592520A (zh) Ar设备的成像装置及成像方法
TW202117384A (zh) 提供滑動變焦效果的方法以及電子裝置
CN112771856A (zh) 可分离失真视差确定
CN103488039A (zh) 一种3d摄像模组及具有该摄像模组的电子设备
CN107545537A (zh) 一种从稠密点云生成3d全景图片的方法
US10296098B2 (en) Input/output device, input/output program, and input/output method
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN105913379A (zh) 虚拟现实终端及其图片的显示方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant