CN106991699B - 控制方法及电子设备 - Google Patents

控制方法及电子设备 Download PDF

Info

Publication number
CN106991699B
CN106991699B CN201710208284.7A CN201710208284A CN106991699B CN 106991699 B CN106991699 B CN 106991699B CN 201710208284 A CN201710208284 A CN 201710208284A CN 106991699 B CN106991699 B CN 106991699B
Authority
CN
China
Prior art keywords
light
parameter
adjusting
target object
projection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710208284.7A
Other languages
English (en)
Other versions
CN106991699A (zh
Inventor
陈潜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710208284.7A priority Critical patent/CN106991699B/zh
Publication of CN106991699A publication Critical patent/CN106991699A/zh
Application granted granted Critical
Publication of CN106991699B publication Critical patent/CN106991699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种控制方法及电子设备,利用第二电子设备确定目标投射区域的光环境参数,第一电子设备根据该光环境参数调整补光模组的照射参数,在目标对象处模拟目标投射区域的光环境,从而生成与目标投射区域的光环境相匹配的目标对象的三维模型,使得投射至目标投射区域的三维模型更好地与环境融合,从而为用户提供更强的真实感。

Description

控制方法及电子设备
技术领域
本发明属于全息投影技术领域,尤其涉及控制方法及电子设备。
背景技术
全息投影技术(Front-Projected Holographic Display)也称为虚拟成像技术,能够记录并再现物体真实的三维图像。全息投影技术不仅可以产生立体的虚拟图像,用户还可以与虚拟图像进行交互,进而获得较强的使用体验。
目前全息投影技术已经应用在多种场景。例如:在A地点,由第一电子设备采集对象的三维模型,第一电子设备将该三维模型传输至B地点的第二电子设备,由第二电子设备将该三维模型投射至目标区域,使得B地点的用户能够面对面地直接观看位于A地点的对象。但是,该技术方案存在一些不足:三维模型与B地点环境的融合度较差,导致用户的真实感较差。
发明内容
有鉴于此,本发明的目的在于解决三维模型与投射区域所在的环境的统合度较差,导致用户的真实感较差的问题。
为实现上述目的,本发明提供如下技术方案:
一种控制方法,应用于第一电子设备,所述第一电子设备布置于第一地点,所述第一电子设备包括由多个补光模块构成的补光模组,所述控制方法包括:
获取第二地点中目标投射区域的光环境参数,所述第二地点布置有第二电子设备;
根据所述光环境参数调整所述补光模组的照射参数,以便在目标对象处模拟位于所述第二地点的目标投射区域的光环境;
生成所述目标对象的三维模型,向所述第二电子设备发送所述三维模型,以便所述第二电子设备将所述三维模型投射至所述目标投射区域。
其中,
所述获取第二地点中目标投射区域的光环境参数,包括:获取所述第二地点的光源参数;
所述根据所述光环境参数调整所述补光模组的照射参数,包括:根据所述光源参数调整所述补光模组中多个补光模块的照射参数,由所述补光模块模拟位于所述第二地点的光源。
其中,
所述获取第二地点中目标投射区域的光环境参数,包括:获取位于所述第二地点的目标投射区域的亮度参数和颜色参数;
所述根据所述光环境参数调整所述补光模组的照射参数,包括:根据所述目标投射区域的亮度参数和颜色参数,调整所述补光模组中多个补光模块的光照强度和光照颜色。
其中,
所述第一电子设备包括多个深度摄像头,所述多个深度摄像头布置于所述目标对象周围的不同位置;所述生成所述目标对象的三维模型,包括:
分别获取所述多个深度摄像头采集的所述目标对象的颜色图像和深度图像;
将所述多个深度摄像头采集的颜色图像和深度图像转换到同一三维坐标系下,获得所述目标对象的三维模型。
一种控制方法,应用于第二电子设备,所述第二电子设备布置于第二地点,所述控制方法包括:
确定所述第二地点中的目标投射区域;
确定所述目标投射区域的光环境参数;
向布置于第一地点的第一电子设备发送所述光环境参数,以便所述第一电子设备依据所述光环境参数调整补光模组的照射参数,且在位于所述第一地点的目标对象处模拟所述目标投射区域的光环境;
接收所述第一电子设备发送的所述目标对象的三维模型;
将所述三维模型投射至所述目标投射区域。
一种电子设备,包括:采集模组、补光模组、通信模块、处理器和存储器;
所述采集模组用于采集位于所述电子设备处于的第一地点的目标对象的图像和所述目标对象的深度信息;
所述补光模组包括多个补光模块;
所述存储器用于存放代码和数据;
所述处理器运行所述存储器存放的代码,执行:
通过所述通信模块获取第二地点中目标投射区域的光环境参数,所述第二地点布置有第二电子设备;
根据所述光环境参数调整所述补光模组的照射参数,以便在所述目标对象处模拟位于所述第二地点的目标投射区域的光环境;
根据所述目标对象的图像以及深度信息生成所述目标对象的三维模型;
通过所述通信模块向所述第二电子设备发送所述三维模型,以便所述第二电子设备将所述三维模型投射至所述目标投射区域。
其中,
所述第二地点的光环境参数包括所述第二地点的光源参数;
所述处理器在根据所述光环境参数调整所述补光模组的照射参数方面,具体用于:根据所述光源参数调整所述补光模组中多个补光模块的照射参数,由所述补光模块模拟位于所述第二地点的光源。
其中,
所述第二地点的光环境参数包括位于所述第二地点的目标投射区域的亮度参数和颜色参数;
所述处理器在根据所述光环境参数调整所述补光模组的照射参数方面,具体用于:根据所述目标投射区域的亮度参数和颜色参数,调整所述补光模组中多个补光模块的光照强度和光照颜色。
其中,
所述采集模组包括多个深度摄像头,所述多个深度摄像头布置于所述目标对象周围的不同位置,所述处理器在根据所述目标对象的图像以及深度信息生成所述目标对象的三维模型方面,具体用于:
分别获取所述多个深度摄像头采集的所述目标对象的颜色图像和深度图像;
将所述多个深度摄像头采集的颜色图像和深度图像转换到同一三维坐标系下,获得所述目标对象的三维模型。
一种电子设备,包括:投射模组、图像采集模组、通信模块、处理器和存储器;
所述图像采集模组用于采集所述电子设备处于的第二地点中目标投射区域的图像;
所述存储器用于存放代码和数据;
所述处理器运行所述存储器存放的代码,执行:
确定所述第二地点中的目标投射区域;
控制所述图像采集模组采集所述目标投射区域的图像;
分析所述目标投射区域的图像,确定所述目标投射区域的光环境参数;
通过所述通信模块向布置于第一地点的第一电子设备发送所述光环境参数,以便所述第一电子设备依据所述光环境参数调整补光模组的照射参数,且在位于所述第一地点的目标对象处模拟所述目标投射区域的光环境;
通过所述通信模块接收所述第一电子设备发送的所述目标对象的三维模型;
控制所述投射模组将所述三维模型投射至所述目标投射区域。
由此可见,本发明的有益效果为:
利用第二电子设备确定目标投射区域的光环境参数,第一电子设备根据该光环境参数调整补光模组的照射参数,在目标对象处模拟目标投射区域的光环境,从而生成与目标投射区域的光环境相匹配的目标对象的三维模型,使得投射至目标投射区域的三维模型更好地与环境融合,从而为用户提供更强的真实感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的第一电子设备和第二电子设备的一种应用场景示意图;
图2为本发明实施例提供的控制方法的信令图;
图3为本发明实施例提供的第二地点中各光源与目标投射区域的位置关系示意图;
图4为本发明实施例提供的多个补光模块与目标对象的位置关系示意图;
图5为本发明实施例提供的一种子设备的结构图;
图6为本发明实施例提供的第一电子设备中各子设备基于标定板进行位置标定的过程示意图;
图7为本发明实施例提供的一种电子设备的结构图;
图8为本发明实施例提供的另一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种控制方法,该控制方法应用于利用全息影像技术进行通信交互的多个两个电子设备。由于每两个电子设备之间进行通信交互的过程均相同,因此本发明实施例以两个电子设备为例对控制方法进行说明。假设多个两个电子设备中包括第一电子设备和第二电子设备,如图1所示,为本发明实施例提供的第一电子设备和第二电子设备的一种应用场景示意图。
第一电子设备11位于第一地点,第二电子设备12位于第二地点,第二电子设备12可以为AR(Augmented Reality,增强现实)眼镜、VR(VirtualReality,虚拟现实)眼镜、PAD、智能手机等等。图1中示出的第二电子设备12为AR眼镜或VR眼镜,本发明实施例并不对第二电子设备的具体类型进行限制。
优选的,第一电子设备11可以包括深度摄像头111。
假设第二电子设备12需要在第二地点投射出处于第一地点的目标对象,例如第一电子设备11的第一用户正在与第二电子设备12的第二用户(第二用户即为目标对象)进行通信,第一电子设备11可以将第一用户的三维模型发送至第二电子设备12,第二电子设备将第一用户的三维模型投射至目标投射区域(图1中点划线框出的区域可以为目标投射区域),给第二用户带来与第一用户进行面对面沟通的感觉。将图1中在第二地点中用虚线构成的三维模型,作为第二电子设备12投射出的第一用户的三维模型。
目标投射区域为第二电子设备在第二地点中投射目标对象的三维模型的区域。
结合上述内容,对本发明实施例提供的一种控制方法进行说明,如图2所示,为本发明实施例提供的控制方法的信令图,该方法包括:
步骤S201:第二电子设备12确定第二地点中的目标投射区域,并确定目标投射区域的光环境参数。
可以理解的是,第二地点中可能包括一个或多个光源,假设目标投射区域具有真实的人或物(称为目标对象)。当照射目标投射区域的光源个数不同,和/或,光源的光照颜色不同,和/或,光源的光照强度不同,和/或,光源与目标投射区域的相对位置不同时,光源在目标投射区域形成的光环境不同,在不同的光环境下,真实目标对象在人眼中呈现的景象不同。
例如在黄色的光源下,人眼观测到的真实目标对象的表面也会呈现黄色;在绿色的光源下,人眼观测到的真实目标对象的表面会呈现绿色;在强光下,人眼观测到的真实目标对象比较亮;在弱光下,人眼观测到的真实目标对象比较暗。
由于本发明实施例中第二电子设备12需要在目标投射区域中投射目标对象,结合上述情况,在目标投射区域中投射的目标对象的三维模型应该是模拟真实的目标对象在该光环境下的景象;例如,若照射目标投射区域的光源为黄色,则在目标投射区域中投射的目标对象的三维模型的表面也应呈现黄色。
这样才能使得目标对象的三维模型更加符合第二地点所在的环境,使得位于第二地点的第二用户的真实感更加强烈。
可以理解的是,位于第一地点中的目标对象的光环境一般均与目标投射区域的光环境不同,因此需要第二电子设备12获取目标投射区域的光环境参数。
步骤S202:第二电子设备12将光环境参数发送至布置于第一地点的第一电子设备11。
步骤S203:第一电子设备11获取光环境参数,并依据光环境参数调整补光模组的照射参数,以便在目标对象处模拟位于所述第二地点的目标投射区域的光环境。
优选的,第二电子设备可以实时的获取目标投射区域的光环境参数并发送至第一电子设备;或者第二电子设备检测到自身发生移动时,获取目标投射区域的光环境参数并发送至第一电子设备。
第二电子设备移动后目标投射区域也可能发生变化。
第一电子设备11包括由多个补光模块构成的补光模组。
补光模块可以用于对目标对象进行灯光补偿,例如补光灯。每一补光模块发出的光的光照颜色,和/或,补光模块的照射角度,和/或,补光模块发出的光的光照强度,和/或,补光模块与目标对象的相对位置可以发生变化,从而可以模拟出位于所述第二地点的目标投射区域的光环境。
步骤S204:第一电子设备11生成所述目标对象的三维模型,向所述第二电子设备12发送所述三维模型。
可选的,第一电子设备11中的多个深度摄像头111可以获得目标对象各方位的图像,使得电子为设备通过目标对象各方位的图像生成三维模型。
可以理解的是,由于第一电子设备11已经模拟出位于第二地点的目标投射区域的光环境,并将目标对象放置在该光环境中,即相当于将目标对象放置在第二地点的目标投射区域中,第一电子设备11基于在与目标投射区域相同光环境下的目标对象的图像,获得目标对象的三维模型更加符合第二地点的光环境,使得第二地点的第二用户感觉目标对象就在言情,感受更加真实。
步骤S205:接收所述第一电子设备发送的所述目标对象的三维模型,并将所述三维模型投射至所述目标投射区域。
本发明实施例提供的控制方法中,第一电子设备获取第二地点中目标投射区域的光环境参数;根据所述光环境参数调整所述补光模组的照射参数,以便在目标对象处模拟位于第二地点的目标投射区域的光环境;生成目标对象的三维模型,向第二电子设备发送三维模型,以便第二电子设备将三维模型投射至目标投射区域,由于第一电子设备是基于处于与目标投射区域相同光环境下的目标对象生成的三维模型;该三维模型与目标对象在目标投射区域在人眼中呈现的景象相同,因此,三维模型能够更加融入目标投射区域的光环境,使得第二地点的第二用户的感受更加真实。
本发明实施例提供的控制方法中步骤“获取第二地点中目标投射区域的光环境参数”可以包括:获取所述第二地点的光源参数。相应的,步骤“根据所述光环境参数调整所述补光模组的照射参数”包括:根据所述光源参数调整所述补光模组中多个补光模块的照射参数,由所述补光模块模拟位于所述第二地点的光源。
本发明实施例提供的根据所述光环境参数调整所述补光模组的照射参数的方式有多种,本发明实施例提供但不限于以下几种。
第一种,根据所述光环境参数调整所述补光模组的照射参数的方法。
光环境参数包括:位于目标投射区域的亮度参数和颜色参数。
根据所述光环境参数调整所述补光模组的照射参数,包括:根据所述目标投射区域的亮度参数和颜色参数,调整所述补光模组中多个补光模块的光照强度和光照颜色。
亮度参数可以包括:光照强度;颜色参数可以包括:光照颜色。
第二电子设备中可以包括光照强度传感器,可以获得位于目标投射区域的光照强度;第二电子设备中可以包括RGB摄像头,可以获得照射目标投射区域的光源的光照颜色。
第二种,根据所述光环境参数调整所述补光模组的照射参数的方法。
光环境参数包括:位于所述第二地点的每一光源的位置参数、每一光源的照射角度参数、每一光源的光照强度参数以及每一光源的光照颜色参数;
根据所述光环境参数调整所述补光模组的照射参数,包括:
根据位于所述第二地点的每一光源的位置参数调整所述补光模组中各补光模块的位置;根据位于所述第二地点的每一光源的照射角度参数、光照强度参数和光照颜色参数,分别调整所述补光模组中处于对应位置的补光模块的照射角度、光照强度和光照颜色。
如图3所示,为本发明实施例提供的第二地点中各光源与目标投射区域的位置关系示意图。
假设在第二地点中包括2个光源,分别为光源31和光源32。假设光源31照射目标投射区域33的照射角度参数为第一照射角度;光源32照射目标投射区域33的照射角度参数为第二照射角度。
照射角度参数可以包括:相应光源发出光线的正方向的延长线在预设空间坐标系中与各坐标轴的夹角。如图3所示的双点划线为光源31或光源32发出的光线的正方向。正方向即光源31发出光线正对的方向,即图3所示光源31的中轴线的延长线方向。
依据目标投射区域在预设空间坐标系的位置,各光源在预设空间坐标系中与各坐标轴的夹角,可以计算出各光源相对于目标投射区域的夹角即照射角度。
第二电子设备12可以检测到各光源的位置信息,位置信息可以包括:相应光源与目标投射区域33的相对距离。
第二电子设备12可以包括至少一个距离传感器,通过距离传感器获得自身与每一光源的相对距离。
距离传感器是利用“飞行时间法”(flyingtime)的原理来实现测距离,以检测物体的距离的一种传感器。
第二电子设备12可以包括光照强度传感器,用于获得每一光源的光照强度参数。
第二电子设备12可以包括RGB摄像头,用于获取照射目标投射区域的每一光源的光照颜色等等。
假设光源1的光照颜色为黄色、光源2的光照颜色为绿色;光源1的光照强度为光照强度1、光源2的光照强度为光照强度2;光源1与目标投射区域33的距离为距离1,光源2与目标投射区域33的距离为距离2。
综上,第二电子设备在确定第二地点的光环境参数时,具体用于:确定所述第二地点的光源参数。
光源参数可以包括:每一光源的位置参数、每一光源的照射角度参数、每一光源的光照强度参数以及每一光源的光照颜色参数。
如图4所示,为本发明实施例提供的多个补光模块与目标对象的位置关系示意图。
假设第一电子设备11包括至少2个补光模块,具体至少包括:补光模块41、补光模块42。
控制补光模块41与光源1相对应,补光模块42与光源2相对应,使得补光模块41和补光模块42满足以下条件:
补光模块41与目标对象43的相对距离为距离1;补光模块42与目标对象43的相对距离为距离2。补光模块41照射目标对象43的照射角度为第一照射角度;补光模块42照射目标对象43的照射角度为第二照射角度。且补光模块41与光源1发出的光的光照颜色和光照强度相同;补光模块42与光源2发出的光的光照强度和光照颜色相同。
这样就使得目标对象当前的光环境与目标投射区域的光环境相同。
从图4可以看出,本发明实施例提供的第一电子设备可以包括多个子设备,例如,补光模块41可以属于一子设备,补光模块42可以属于另一子设备。
每一子设备可以包括三轴自动云台,上述“根据所述光环境参数调整所述补光模组的照射参数”可以是依据光环境参数调整各子设备的三轴自动云台。例如通过补光模块41所在子设备1的三轴自动云台,调整子设备1与目标对象43的相对距离为距离1;通过子设备1的三轴自动云台,调整补光模块41照射目标对象43的照射角度为第一照射角度。
如图5所示,为本发明实施例提供的一种子设备的结构图。
子设备包括:补光模块51和三轴自动云台52。从图5可以看出三轴自动云台52可以包括第一旋转轴521、第二旋转轴522和第三旋转轴523。
其中,第一旋转轴521可以控制子设备中的补光模块在水平方向,和/或,垂直方向进行预设角度的旋转,例如,预设角度可以为0度至90度、0度至180度、0度至360度等等。第二旋转轴522和第三旋转轴523可以控制子设备整体在垂直方向进行移动,和/或,在相对于地磁东南西北方向进行移动。
第一电子设备11中可以包括多个深度摄像头,多个深度摄像头布置于目标对象周围的不同位置,如图1中第一电子设备11包括多个深度摄像头111。
第一电子设备11中每一子设备可以包括至少一个深度摄像头。可以通过控制第一电子设备中包括的多个子设备的三轴自动云台,来控制多个子设备进行移动,使得目标对象位于多个子设备的中间,这样第一电子设备11可以通过多个子设备获得目标对象各个方位的深度图像。
可以人为手动调整第一电子设备11中各子设备的三轴自动云台,使得目标对象位于各子设备的中央。
第一电子设备中每一子设备可以包括人脸或人体自动检测程序,或,人脸或人体自动追踪程序,或,物体检测传感器(例如障碍物检测传感器)或物体检测程序,子设备可以驱动自身的三轴自动云台随着人脸、或、人体、或物体的移动进行旋转和移动,使得目标对象位于各子设备的中央。
若子设备中包括人脸或人体自动检测程序,或,人脸或人体自动追踪程序,则对于第一电子设备而言,目标对象是人;若子设备中包括物体检测传感器(例如障碍物检测传感器)或物体检测程序,则目标对象是物。
当然,子设备中可以包括移动目标检测程序,此时对于第一电子设备而言,目标对象是移动的人、动物或物。
每一子设备驱动自身的三轴自动云台随着人脸、或、人体、或物体的移动进行旋转和移动的过程中,为了避免两个或多个子设备位于目标对象的同一侧,而目标对象的另一侧没有子设备采集其颜色图像和深度图像。可以基于预先设置的标定板确定与其他子设备之间的相对位置。
标定板(Calibration Target)在机器视觉、图像测量、摄影测量、三维重建等应用中,可以在需要确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,需要建立相机成像的几何模型的应用场景中使用。
如图6所示,为本发明实施例提供的第一电子设备中各子设备基于标定板进行位置标定的过程示意图。
第一电子设备包括子设备的个数可以为2、3、4、5、6、7,...,等等,本发明实施例对此不作限制。
假设第一电子设备包括4个子设备,分别为子设备61、子设备62、子设备63和子设备64。
子设备61、子设备62、子设备63和子设备64可以分别驱动自身的三轴自动云台随着人脸、或、人体、或物体的移动进行旋转和移动。为了避免两个或多个子设备位于目标对象的同一侧,而目标对象的另一侧没有子设备采集其颜色图像和深度图像。每一子设备可以通过标定板65获知自身与其他各子设备之间的相对位置,例如,子设备61可以通过标定板65获知自身与子设备62、子设备63和子设备64之间的相对位置。
第一电子设备在搭建完成后,需要对各子设备的相对位置进行标定之后,才能正常使用,例如才能获得目标对向各方位的颜色图像和深度图像。
深度摄像头可以集成有深度传感器和彩色图像传感器,可以通过深度传感器采集目标对象的深度图像;彩色图像传感器可以采集目标对应的颜色图像。
当然深度摄像头可以集成有深度传感器,但未集成有彩色图像传感器,此时,第一电子设备11还可以包括多个RGB摄像头,每一RGB摄像头中集成有彩色图像传感器。此时,每一子设备包括至少一个深度摄像头和至少一个RGB摄像头。
每一子设备包括的至少一个深度摄像头53和至少一个RGB摄像头54的相对位置如图5所示,由于每一子设备中所述至少一个深度摄像头53和所述至少一个RGB摄像头54相互配合获得该子设备对应的目标对象的部分三维图像,因此,优选的,每一子设备中所述至少一个深度摄像头53和所述至少一个RGB摄像头54之间的相对位置不变,即即使控制三轴自动云台使得子设备进行旋转或移动后,该子设备中的所述至少一个深度摄像头53和所述至少一个RGB摄像头54之间的相对位置仍不变。
其中,深度摄像头可以测量自身与目标对象的距离。例如ToF(Time ofFlight)这种深度摄像头可以记录下来光线从深度摄像头中光源(例如红外线光源)到目标对象中像素点的时间,从而获得自身与目标对象的距离。
对于目标对象的同一部位而言,与其距离不同的深度摄像头获得该部位的深度图像不同,因为深度图像与目标对象与深度摄像头之间的距离有关,可以理解的是,深度摄像头与目标对象的距离越远,深度图像中相应内容就越小。
颜色图像可以为RGB颜色图像等等。
综上,针对深度摄像头集成有深度传感器和彩色图像传感器,本发明实施例提供的生成所述目标对象的三维模型,包括:
分别获取所述多个深度摄像头采集的所述目标对象的颜色图像和深度图像;
将所述多个深度摄像头采集的颜色图像和深度图像转换到同一三维坐标系下,获得所述目标对象的三维模型。
针对深度摄像头集成有深度传感器,但未集成有彩色图像传感器,本发明实施例提供的生成所述目标对象的三维模型,包括:
分别获取所述多个深度摄像头采集的所述目标对象的深度图像;
分别获得与所述多个深度摄像头相应的RGB摄像头采集的颜色图像;
将所述多个深度摄像头采集的深度图像,和,与所述多个深度摄像头相应的RGB摄像头采集的颜色图像转换到同一三维坐标系下,获得所述目标对象的三维模型。
本发明实施例还提供了与应用于第一电子设备的控制方法对应的电子设备,如图7所示,为本发明实施例提供的一种电子设备的结构图,该电子设备包括:采集模组71、补光模组72、通信模块73、处理器74和存储器75;
其中:所述采集模组71用于采集位于所述电子设备处于的第一地点的目标对象的图像和所述目标对象的深度信息;
所述补光模组72包括多个补光模块;
所述存储器75用于存放代码和数据;
所述处理器74运行所述存储器存放的代码,执行:
通过所述通信模块73获取第二地点中目标投射区域的光环境参数,所述第二地点布置有第二电子设备;
根据所述光环境参数调整所述补光模组的照射参数,以便在所述目标对象处模拟位于所述第二地点的目标投射区域的光环境;
根据所述目标对象的图像以及深度信息生成所述目标对象的三维模型;
通过所述通信模块73向所述第二电子设备发送所述三维模型,以便所述第二电子设备将所述三维模型投射至所述目标投射区域。
电子设备还可以包括通信总线76,其中,采集模组71、补光模组72、通信模块73、处理器74和存储器75均通过通信总线76完成相互通信。
可选的,所述第二地点的光环境参数包括所述第二地点的光源参数;
所述处理器在根据所述光环境参数调整所述补光模组的照射参数方面,具体用于:根据所述光源参数调整所述补光模组中多个补光模块的照射参数,由所述补光模块模拟位于所述第二地点的光源。
可选的,所述第二地点的光环境参数包括位于所述第二地点的目标投射区域的亮度参数和颜色参数;
所述处理器在根据所述光环境参数调整所述补光模组的照射参数方面,具体用于:根据所述目标投射区域的亮度参数和颜色参数,调整所述补光模组中多个补光模块的光照强度和光照颜色。
可选的,所述采集模组包括多个深度摄像头,所述多个深度摄像头布置于所述目标对象周围的不同位置,所述处理器在根据所述目标对象的图像以及深度信息生成所述目标对象的三维模型方面,具体用于:
分别获取所述多个深度摄像头采集的所述目标对象的颜色图像和深度图像;
将所述多个深度摄像头采集的颜色图像和深度图像转换到同一三维坐标系下,获得所述目标对象的三维模型。
本发明实施例还提供了应用于第二电子设备的控制方法对应的电子设备,如图8所示,为本发明实施例提供的另一种电子设备的结构图,该电子设备包括:投射模组81、图像采集模组82、通信模块83、处理器84和存储器85;其中:
所述图像采集模组82用于采集所述电子设备处于的第二地点中目标投射区域的图像;
所述存储器85用于存放代码和数据;
所述处理器84运行所述存储器存放的代码,执行:
确定所述第二地点中的目标投射区域;
控制所述图像采集模组82采集所述目标投射区域的图像;
分析所述目标投射区域的图像,确定所述目标投射区域的光环境参数;
通过所述通信模块83向布置于第一地点的第一电子设备发送所述光环境参数,以便所述第一电子设备依据所述光环境参数调整补光模组的照射参数,且在位于所述第一地点的目标对象处模拟所述目标投射区域的光环境;
通过所述通信模块83接收所述第一电子设备发送的所述目标对象的三维模型;
控制所述投射模组81将所述三维模型投射至所述目标投射区域。
可选的,电子设备还可以包括通信总线86,其中,投射模组81、图像采集模组82、通信模块83、处理器84和存储器85均通过通信总线86完成相互间的通信。
可选的,处理器在确定所述目标投射区域的光环境参数时,具体用于:
确定所述目标投射区域的光源参数。
可选的,处理器在确定所述目标投射区域的光源参数时,具体用于:
确定位于所述目标投射区域的每一光源的位置参数、每一光源的照射角度参数、每一光源的光照强度参数以及每一光源的光照颜色参数。
可选的,处理器在确定所述目标投射区域的光环境参数时,具体用于:
确定位于所述目标投射区域的亮度参数和颜色参数。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种控制方法,应用于第一电子设备,其特征在于,所述第一电子设备布置于第一地点,所述第一电子设备包括由多个补光模块构成的补光模组,所述第一电子设备包括多个子设备,一个所述补光模块属于一个所述子设备,所述子设备包括三轴自动云台;所述控制方法包括:
获取第二地点中目标投射区域的光环境参数,所述第二地点布置有第二电子设备;所述目标投射区域为所述第二电子设备在所述第二地点中投射目标对象的三维模型的区域;
根据所述光环境参数调整所述补光模组的照射参数,以便在所述目标对象处模拟位于所述第二地点的目标投射区域的光环境;
生成所述目标对象的三维模型,向所述第二电子设备发送所述三维模型,以便所述第二电子设备将所述三维模型投射至所述目标投射区域;
其中,所述光环境参数包括:位于所述第二地点的每一光源的位置参数、每一光源的照射角度参数、每一光源的光照强度参数以及每一光源的光照颜色参数;
所述根据所述光环境参数调整所述补光模组的照射参数,以便在目标对象处模拟位于所述第二地点的目标投射区域的光环境,包括:根据位于所述第二地点的每一光源的位置参数调整所述补光模组中各补光模块的位置;根据位于所述第二地点的每一光源的照射角度参数、光照强度参数和光照颜色参数,分别调整所述补光模组中处于对应位置的补光模块的照射角度、光照强度和光照颜色;
其中,调整所述补光模块的位置包括:通过调整所述补光模块的子设备的三轴自动云台,调整所述补光模块 与所述目标对象的相对距离;
调整所述补光模块的照射角度包括:通过调整所述补光模块的子设备的三轴自动云台,调整所述补光模块照射所述目标对象的照射角度。
2.根据权利要求1所述的控制方法,其特征在于,
所述获取第二地点中目标投射区域的光环境参数,包括:获取所述第二地点的光源参数;
所述根据所述光环境参数调整所述补光模组的照射参数,包括:根据所述光源参数调整所述补光模组中多个补光模块的照射参数,由所述补光模块模拟位于所述第二地点的光源。
3.根据权利要求1所述的控制方法,其特征在于,
所述获取第二地点中目标投射区域的光环境参数,包括:获取位于所述第二地点的目标投射区域的亮度参数和颜色参数;
所述根据所述光环境参数调整所述补光模组的照射参数,包括:根据所述目标投射区域的亮度参数和颜色参数,调整所述补光模组中多个补光模块的光照强度和光照颜色。
4.根据权利要求1至3中任一项所述的控制方法,其特征在于,所述第一电子设备包括多个深度摄像头,所述多个深度摄像头布置于所述目标对象周围的不同位置;所述生成所述目标对象的三维模型,包括:
分别获取所述多个深度摄像头采集的所述目标对象的颜色图像和深度图像;
将所述多个深度摄像头采集的颜色图像和深度图像转换到同一三维坐标系下,获得所述目标对象的三维模型。
5.一种控制方法,应用于第二电子设备,其特征在于,所述第二电子设备布置于第二地点,所述控制方法包括:
确定所述第二地点中的目标投射区域;
确定所述目标投射区域的光环境参数;
向布置于第一地点的第一电子设备发送所述光环境参数,以便所述第一电子设备依据所述光环境参数调整补光模组的照射参数,且在位于所述第一地点的目标对象处模拟所述目标投射区域的光环境;其中,所述光环境参数包括:位于所述第二地点的每一光源的位置参数、每一光源的照射角度参数、每一光源的光照强度参数以及每一光源的光照颜色参数;所述第一电子设备具体根据位于所述第二地点的每一光源的位置参数调整所述补光模组中各补光模块的位置;根据位于所述第二地点的每一光源的照射角度参数、光照强度参数和光照颜色参数,分别调整所述补光模组中处于对应位置的补光模块的照射角度、光照强度和光照颜色;其中,所述第一电子设备调整所述补光模块的位置包括:过调整所述补光模块的子设备的三轴自动云台,调整所述补光模块 与所述目标对象的相对距离;所述第一电子设备调整所述补光模块的照射角度包括:通过调整所述补光模块的子设备的三轴自动云台,调整所述补光模块照射所述目标对象的照射角度;
接收所述第一电子设备发送的所述目标对象的三维模型;
将所述三维模型投射至所述目标投射区域。
6.一种电子设备,其特征在于,包括:采集模组、补光模组、通信模块、处理器和存储器;还包括多个子设备;
所述采集模组用于采集位于所述电子设备处于的第一地点的目标对象的图像和所述目标对象的深度信息;
所述补光模组包括多个补光模块;一个所述补光模块属于一个所述子设备,所述子设备包括三轴自动云台;
所述存储器用于存放代码和数据;
所述处理器运行所述存储器存放的代码,执行:
通过所述通信模块获取第二地点中目标投射区域的光环境参数,所述第二地点布置有第二电子设备;所述目标投射区域为所述第二电子设备在所述第二地点中投射所述目标对象的三维模型的区域;
根据所述光环境参数调整所述补光模组的照射参数,以便在所述目标对象处模拟位于所述第二地点的目标投射区域的光环境;
根据所述目标对象的图像以及深度信息生成所述目标对象的三维模型;
通过所述通信模块向所述第二电子设备发送所述三维模型,以便所述第二电子设备将所述三维模型投射至所述目标投射区域;
其中,所述光环境参数包括:位于所述第二地点的每一光源的位置参数、每一光源的照射角度参数、每一光源的光照强度参数以及每一光源的光照颜色参数;
所述根据所述光环境参数调整所述补光模组的照射参数,以便在目标对象处模拟位于所述第二地点的目标投射区域的光环境,包括:根据位于所述第二地点的每一光源的位置参数调整所述补光模组中各补光模块的位置;根据位于所述第二地点的每一光源的照射角度参数、光照强度参数和光照颜色参数,分别调整所述补光模组中处于对应位置的补光模块的照射角度、光照强度和光照颜色;
其中,调整所述补光模块的位置包括:通过调整所述补光模块的子设备的三轴自动云台,调整所述补光模块 与所述目标对象的相对距离;
调整所述补光模块的照射角度包括:通过调整所述补光模块的子设备的三轴自动云台,调整所述补光模块照射所述目标对象的照射角度。
7.根据权利要求6所述的电子设备,其特征在于,所述第二地点的光环境参数包括所述第二地点的光源参数;
所述处理器在根据所述光环境参数调整所述补光模组的照射参数方面,具体用于:根据所述光源参数调整所述补光模组中多个补光模块的照射参数,由所述补光模块模拟位于所述第二地点的光源。
8.根据权利要求6所述的电子设备,其特征在于,所述第二地点的光环境参数包括位于所述第二地点的目标投射区域的亮度参数和颜色参数;
所述处理器在根据所述光环境参数调整所述补光模组的照射参数方面,具体用于:根据所述目标投射区域的亮度参数和颜色参数,调整所述补光模组中多个补光模块的光照强度和光照颜色。
9.根据权利要求6至8任一所述的电子设备,其特征在于,所述采集模组包括多个深度摄像头,所述多个深度摄像头布置于所述目标对象周围的不同位置,所述处理器在根据所述目标对象的图像以及深度信息生成所述目标对象的三维模型方面,具体用于:
分别获取所述多个深度摄像头采集的所述目标对象的颜色图像和深度图像;
将所述多个深度摄像头采集的颜色图像和深度图像转换到同一三维坐标系下,获得所述目标对象的三维模型。
10.一种电子设备,其特征在于,包括:投射模组、图像采集模组、通信模块、处理器和存储器;
所述图像采集模组用于采集所述电子设备处于的第二地点中目标投射区域的图像;所述目标投射区域为所述电子设备在所述第二地点中投射目标对象的三维模型的区域;
所述存储器用于存放代码和数据;
所述处理器运行所述存储器存放的代码,执行:
确定所述第二地点中的目标投射区域;
控制所述图像采集模组采集所述目标投射区域的图像;
分析所述目标投射区域的图像,确定所述目标投射区域的光环境参数;
通过所述通信模块向布置于第一地点的第一电子设备发送所述光环境参数,以便所述第一电子设备依据所述光环境参数调整补光模组的照射参数,且在位于所述第一地点的目标对象处模拟所述目标投射区域的光环境;其中,所述光环境参数包括:位于所述第二地点的每一光源的位置参数、每一光源的照射角度参数、每一光源的光照强度参数以及每一光源的光照颜色参数;所述第一电子设备具体根据位于所述第二地点的每一光源的位置参数调整所述补光模组中各补光模块的位置;根据位于所述第二地点的每一光源的照射角度参数、光照强度参数和光照颜色参数,分别调整所述补光模组中处于对应位置的补光模块的照射角度、光照强度和光照颜色;其中,所述第一电子设备调整所述补光模块的位置包括:过调整所述补光模块的子设备的三轴自动云台,调整所述补光模块 与所述目标对象的相对距离;所述第一电子设备调整所述补光模块的照射角度包括:通过调整所述补光模块的子设备的三轴自动云台,调整所述补光模块照射所述目标对象的照射角度;
通过所述通信模块接收所述第一电子设备发送的所述目标对象的三维模型;
控制所述投射模组将所述三维模型投射至所述目标投射区域。
CN201710208284.7A 2017-03-31 2017-03-31 控制方法及电子设备 Active CN106991699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710208284.7A CN106991699B (zh) 2017-03-31 2017-03-31 控制方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710208284.7A CN106991699B (zh) 2017-03-31 2017-03-31 控制方法及电子设备

Publications (2)

Publication Number Publication Date
CN106991699A CN106991699A (zh) 2017-07-28
CN106991699B true CN106991699B (zh) 2020-11-20

Family

ID=59414574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710208284.7A Active CN106991699B (zh) 2017-03-31 2017-03-31 控制方法及电子设备

Country Status (1)

Country Link
CN (1) CN106991699B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120990B (zh) * 2018-08-06 2021-10-15 百度在线网络技术(北京)有限公司 直播方法、装置和存储介质
CN110826376B (zh) * 2018-08-10 2022-08-12 广东虚拟现实科技有限公司 标记物识别方法、装置、终端设备及存储介质
CN109040612B (zh) * 2018-08-29 2020-07-28 百度在线网络技术(北京)有限公司 目标对象的图像处理方法、装置、设备及存储介质
CN112243582A (zh) * 2019-08-30 2021-01-19 深圳市大疆创新科技有限公司 补光控制方法、装置、系统和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104243843A (zh) * 2014-09-30 2014-12-24 北京智谷睿拓技术服务有限公司 拍摄光照补偿方法、补偿装置及用户设备
CN104735597A (zh) * 2015-03-20 2015-06-24 深圳市环球数码创意科技有限公司 一种沉浸式全息音与3d图像融合实现系统
CN105741343A (zh) * 2016-01-28 2016-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
CN205430455U (zh) * 2016-03-18 2016-08-03 严俊涛 视频通话装置
CN106162117A (zh) * 2015-04-10 2016-11-23 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106296799A (zh) * 2015-06-10 2017-01-04 西安蒜泥电子科技有限责任公司 用于物体扫描的特征点补充和提取方法
CN106469531A (zh) * 2015-08-20 2017-03-01 嘉兴市全程信息科技有限公司 一种橱窗展示系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160109953A1 (en) * 2014-10-17 2016-04-21 Chetan Desh Holographic Wristband

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104243843A (zh) * 2014-09-30 2014-12-24 北京智谷睿拓技术服务有限公司 拍摄光照补偿方法、补偿装置及用户设备
CN104735597A (zh) * 2015-03-20 2015-06-24 深圳市环球数码创意科技有限公司 一种沉浸式全息音与3d图像融合实现系统
CN106162117A (zh) * 2015-04-10 2016-11-23 北京智谷睿拓技术服务有限公司 显示控制方法和装置
CN106296799A (zh) * 2015-06-10 2017-01-04 西安蒜泥电子科技有限责任公司 用于物体扫描的特征点补充和提取方法
CN106469531A (zh) * 2015-08-20 2017-03-01 嘉兴市全程信息科技有限公司 一种橱窗展示系统
CN105741343A (zh) * 2016-01-28 2016-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
CN205430455U (zh) * 2016-03-18 2016-08-03 严俊涛 视频通话装置

Also Published As

Publication number Publication date
CN106991699A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106991699B (zh) 控制方法及电子设备
US20210011289A1 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
CN1238691C (zh) 组合立体视像、彩色3d数字化和运动捕捉的系统
CN101310289B (zh) 捕捉和处理面部运动数据
US20180046874A1 (en) System and method for marker based tracking
CN103099602B (zh) 基于光学识别的体质检测方法与系统
CN102959616B (zh) 自然交互的交互真实性增强
CN110230983B (zh) 抗振式光学三维定位方法及装置
US20200082160A1 (en) Face recognition module with artificial intelligence models
CN106326930A (zh) 一种确定虚拟现实中被跟踪物体位置的方法、装置及系统
IL308285A (en) System and method for augmentation and virtual reality
US20230269364A1 (en) Rolling shutter camera pipeline exposure timestamp error determination
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
CN110377148A (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
US20170374333A1 (en) Real-time motion capture and projection system
CN108132490A (zh) 基于定位系统和ar/mr的探测系统及探测方法
CN108351199A (zh) 信息处理装置、信息处理方法及程序
CN113115008A (zh) 一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统及方法
KR20170028371A (ko) 적외선 이미징을 사용한 색상 식별
CN108257177A (zh) 基于空间标识的定位系统与方法
CN114858086A (zh) 一种三维扫描系统、方法和装置
CN111095357A (zh) 定位系统
CN206400472U (zh) 一种虚拟现实设备及其定位系统
CN207650834U (zh) 人脸信息测量组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant