CN111654688B - 一种获取目标控制参数的方法与设备 - Google Patents

一种获取目标控制参数的方法与设备 Download PDF

Info

Publication number
CN111654688B
CN111654688B CN202010478800.XA CN202010478800A CN111654688B CN 111654688 B CN111654688 B CN 111654688B CN 202010478800 A CN202010478800 A CN 202010478800A CN 111654688 B CN111654688 B CN 111654688B
Authority
CN
China
Prior art keywords
parameters
parameter
augmented reality
control parameter
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010478800.XA
Other languages
English (en)
Other versions
CN111654688A (zh
Inventor
廖春元
梁健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiscene Information Technology Co Ltd
Original Assignee
Hiscene Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiscene Information Technology Co Ltd filed Critical Hiscene Information Technology Co Ltd
Priority to CN202010478800.XA priority Critical patent/CN111654688B/zh
Publication of CN111654688A publication Critical patent/CN111654688A/zh
Application granted granted Critical
Publication of CN111654688B publication Critical patent/CN111654688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请的目的是提供一种获取目标控制参数的方法和设备,包括:获取所述增强现实设备正被使用的硬件参数,其中,所述硬件参数包括对应的摄像装置的摄像参数和显示装置的光学显示模块参数;获取所述增强现实设备与测试位置的参考距离,其中,所述测试位置设置有对应的标识物;通过所述摄像装置拍摄关于所述标识物的标识图像信息,并在所述显示装置对应位置呈现所述标识图像信息;获取所述用户的调节操作,并基于所述调节操作调节对应控制参数直至获取到对应用户的确定操作,将所述确定操作对应的所述控制参数作为初始控制参数;根据所述初始控制参数确定对应的目标控制参数。本申请能够获取目标控制参数,以实现低复杂度的虚实融合效果。

Description

一种获取目标控制参数的方法与设备
技术领域
本申请涉及通信领域,尤其涉及一种获取目标控制参数的技术。
背景技术
“智能眼镜”是指头戴式具有近眼显示功能和智能计算处理能力的一种设备,通常外观和佩戴方法类似眼镜、护目镜或头盔。常见的VR眼镜、AR眼镜、MR眼镜、XR眼镜都属于此类。“光学透视方式”(Optical See-Through,或OST)是指佩戴者感知外部世界的一种方式。这种方式下,佩戴者主要用眼睛直接观看外部世界,而不是主要观看近眼显示模块所显示的由相机(通常是智能眼镜所带有的但不限于此)拍摄的外部世界画面。常见的封闭式VR眼镜就不具备光学透视条件。具有光学透视条件的智能眼镜,一般在人眼与外部世界之间设置有透明的光学近眼显示模块。该模块尽可能减少对外部世界的向人眼方向的光线穿透的干扰。这样,人眼能直接看到外部世界。光学透视式头盔显示器的基本原理则是通过安装在眼前的一对半反半透镜融合呈现出真实场景和虚拟场景。与视频透射式不同的是,光学透视式的“实”来自于真实的光源,经过透视光学系统直接进入眼睛,计算机生成的“虚”则经过光学系统放大后反射进入眼睛,最后两部分信息汇聚到视网膜上从而形成虚实融合的成像效果。光学透视式设备相对来说结构简单,分辨率更高,因其能够直接看到外部,真实感和安全性也更强。
发明内容
本申请的一个目的是提供一种获取目标控制参数的方法与设备。
根据本申请的一个方面,提供了一种获取目标控制参数的方法,该方法包括:获取所述增强现实设备正被使用的硬件参数,其中,所述硬件参数包括对应的摄像装置的摄像参数和显示装置的光学显示模块参数;获取所述增强现实设备与测试位置的参考距离,其中,所述测试位置设置有对应的标识物;通过所述摄像装置拍摄关于所述标识物的标识图像信息,并在所述显示装置对应位置呈现所述标识图像信息;获取所述用户的调节操作,并基于所述调节操作调节对应控制参数直至获取到对应用户的确定操作,将所述确定操作对应的所述控制参数作为初始控制参数;根据所述初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。
根据本申请的另一个方面,提供了一种获取目标控制参数的设备,该设备包括:
一一模块,用于获取所述增强现实设备正被使用的硬件参数,其中,所述硬件参数包括对应的摄像装置的摄像参数和显示装置的光学显示模块参数;
一二模块,用于获取所述增强现实设备与测试位置的参考距离,其中,所述测试位置设置有对应的标识物;
一三模块,用于通过所述摄像装置拍摄关于所述标识物的标识图像信息,并在所述显示装置对应位置呈现所述标识图像信息;
一四模块,用于获取所述用户的调节操作,并基于所述调节操作调节对应控制参数直至获取到对应用户的确定操作,将所述确定操作对应的所述控制参数作为初始控制参数;
一五模块,用于根据所述初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。
根据本申请的一个方面,提供了一种获取目标控制参数的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上所述方法的操作。
根据本申请的一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如上所述方法的操作。
与现有技术相比,本申请能够通过初始控制参数确定所述硬件参数、所述参考距离对应的目标控制参数。进一步地,基于对应目标控制参数的控制参数数据库,可以直接确定当前硬件参数对应的第一控制参数。本申请通过获取目标控制参数,能够实现低复杂度的光学透视方式下的虚实融合效果,能够适用于中低端智能眼镜,能够减少对高复杂度方法的依赖,达到降低功耗和计算量的效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的一种获取目标控制参数的场景示例;
图2示出根据本申请一个实施例的一种获取目标控制参数的方法流程图;
图3示出根据本申请一个实施例的一种增强现实设备的设备结构图;
图4示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互的移动电子产品,例如智能眼镜、智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如Android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable GateArray,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
图1示出了应用于增强现实设备中的两种呈现方式,其中图1上方示出的呈现方式为光学透视方式,图1下方示出的呈现方式为视频透视方式。光学透视式增强现实设备的基本原理则是通过安装在眼前的一对半反半透镜融合呈现出真实场景和虚拟场景。与视频透射式不同的是,光学透视式的“实”来自于真实的光源,经过透视光学系统直接进入眼睛,计算机生成的“虚”则经过光学系统放大后反射进入眼睛,最后两部分信息汇聚到视网膜上从而形成虚实融合的成像效果。光学透视式设备相对来说结构简单,分辨率更高,因其能够直接看到外部,真实感和安全性也更强。其缺点是,在室外强光条件下显示效果会受影响。与之相对应的,“视频透视方式”(Video See-Through,或VST)是指佩戴者感知外部世界的另一种方式。这种方式下,佩戴者主要观看近眼显示模块所显示的由相机拍摄的外部世界画面,而不是主要用眼睛直接观看外部世界。视频透视式设备通过安装在设备上的摄像头获取外部真实环境的图像,也就是通过摄像头来采集真实场景的图像进行传递。计算机通过场景理解和分析将所要添加的信息和图像信号叠加在摄像机的视频信号上,将计算机生成的虚拟场景与真实场景进行融合,最后通过类似于浸没式头盔显示器的显示系统呈现给用户。虽然视频透射式设备在显示上不受强光的干扰,具有比较大的视场,但由于真实环境的数据来自于摄像头,因此会造成显示分辨率较低的不利因素。另一方面,一旦摄像机与用户视点不能保持完全重合,用户看到的视频景象与真实景象将会存在偏差,因此会造成在某些领域(特别是工业、军事等领域)出现一些安全隐患。“虚实融合”是指人眼同时感知物理世界和虚拟内容时产生的融合一致合二为一的感觉。通过控制虚拟内容,将虚拟内容与物理世界适当地进行对应,当二者投射到人眼视觉系统成像后,从人的感知角度,二者融合一致,几乎不能感知二者在空间上的分离和差别,就能产生二者同处一个空间的感觉。反过来,当条件不合适的时候,人眼能感知到虚拟内容与物理世界是分离的。在光学透视方式下,如果没有合适/准确的虚实融合效果,将减弱虚拟内容的空间感,佩戴者的视觉系统要付出额外努力试图理解和定位虚拟内容,带来更大的疲劳和不适感。因此,实现光学透视方式下的虚实融合效果,对于使用智能眼镜并且需要在运动中观看空间中定位的虚拟内容的使用者来说,是十分重要的。本申请能够实现低复杂度的光学透视方式下的虚实融合效果,在中低端增强现实设备中,例如单目增强现实设备或者双目增强现实设备等采用本方案,能够实现原本不能实现的光学透视方式下的虚实融合效果。例如,我们以W表示物理世界,以w表示增强现实设备的摄像系统C对物理世界的成像结果,以v表示需要展示的虚拟内容,以U表示物理世界W中需要与虚拟内容v融合的实体空间部分,以u表示U在w中的对应部分(如图像位置等),在此,还可以设置T为摄像装置到实体空间的常用视觉距离等,如3-5米或者以4米作为中心距离等;在光学透视方式下,v将以u所在位置作为初始位置,然后经过下面步骤的调整,再送往光学显示系统D,具体步骤包括:以t=(x,y,r)表示一组控制参数,其中x和y代表平移,r代表缩放。该参数组作用于v,使得v经过平移及缩放,生成v'。之后,将v'送往光学显示系统D,生成v"。在此,本申请方法就是为了寻找目标控制参数t0,使得人眼感觉v"就在U所在的物理世界空间位置,达到虚实融合的效果。下面结合图2对能够实现本申请方法的各实施例进行介绍。
图2示出根据本申请一个方面的一种获取目标控制参数的方法,该方法应用于增强现实设备,所述方法具体包括步骤S101、步骤S102、步骤S103、步骤S104以及步骤S105。在步骤S101中,增强现实设备获取所述增强现实设备正被使用的硬件参数,其中,所述硬件参数包括对应的摄像装置的摄像参数和显示装置的光学显示模块参数;在步骤S102中,增强现实设备获取所述增强现实设备与测试位置的参考距离,其中,所述测试位置设置有对应的标识物;在步骤S103中,增强现实设备通过所述摄像装置拍摄关于所述标识物的标识图像信息,并在所述显示装置对应位置呈现所述标识图像信息;在步骤S104中,增强现实设备获取所述用户的调节操作,并基于所述调节操作调节对应控制参数直至获取到对应用户的确定操作,将所述确定操作对应的所述控制参数作为初始控制参数;在步骤S105中,增强现实设备根据所述初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。例如,所述增强现实设备包括但不限于任何一种可与用户进行人机交互的增强现实产品,例如智能眼镜、智能头盔等。所述增强现实设备可以是一个独立的增强现实设备,还可以是基于包括增强现实模块与其它设备模块的多个设备的集成设备,如在一些实施方式中,所述增强现实设备还包括距离获取模块,用于测量当前用户距离测试位置的参考距离,随后,该距离获取模块对应的其它设备可以将该参考距离发送至增强现实模块;又如,增强现实模块获取当前正在使用的硬件参数、参考距离发送给其它设备;在一些实施方式中,所述增强现实设备还包括数据处理模块,用于根据初始控制参数确定并存储所述目标控制参数,当然,该数据处理模块的对应设备可以将该目标控制参数发送至增强现实设备模块,供所述增强现实模块执行对应虚拟融合操作等。即上述步骤S101-S105可以在一个独立的增强现实设备上执行,也可以部分在集成设备的增强现实模块上执行,部分在集成设备的其它设备上执行。在此,本领域技术人员应能理解上述增强现实设备仅为举例,其他现有的或今后可能出现的增强现实设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。具体而言,在步骤S101中,增强现实设备获取所述增强现实设备正被使用的硬件参数,其中,所述硬件参数包括对应的摄像装置的摄像参数和显示装置的光学显示模块参数。例如,所述增强现实设备组成部件中包含一个或多个摄像装置及一个或多个光学显示模块等,其中,不同的摄像装置包含不同的摄像参数,不同的光学显示模块包含不同的光学显示模块参数,基于摄像装置和光学显示模块的不同组合为增强现实设备提供了不同的硬件参数,不同硬件参数需要对应的目标控制参数进行调控,以为用户提供对应的良好的虚实融合效果。如增强现实设备识别当前处于使用中的硬件设备的设备标识信息(如对应设备序列号等),根据该设备标识信息查询确定硬件设备对应的正在使用的硬件参数,又如通过读取系统设置获取当前增强现实设备正在使用的硬件参数等,本领域技术人员应能理解,此处获取所述增强现实设备正被使用的硬件参数方法仅为举例,其它现有的或可能出现的获取正在使用的硬件参数方法,也同样适用,在此不进行限定。
在步骤S102中,增强现实设备获取所述增强现实设备与测试位置的参考距离,其中,所述测试位置设置有对应的标识物。例如,增强现实设备在使用过程中基于各对象与增强现实设备的距离不同,对应的控制参数存在差异,因而增强现实设备会测量一个固定硬件参数下的一个或多个距离(当仅为一个距离时,通常设置最常用的视距等)对应的目标控制参数,从而能够根据距离变化灵活调节对应的控制参数从而达到更好的虚实融合效果。如测试位置设置有对应标识物,例如在测试位置处设立一个白板,在白板上画出一个正直的黑色矩形框。增强现实设备能够获取到与测试位置的参考距离,如根据关于标识物的图像信息通过计算获取对应参考距离,又如,通过距离测量仪器获得对应参考距离,又如基于用户的输入操作输入该标识物与增强现实设备的距离等。其中,标识物的设置方式、标识物的形状和颜色不进行限定,例如,标识物可以是圆形等。所述增强现实设备可以是一个独立的增强现实设备,还可以是基于包括增强现实模块与其它设备模块的多个设备的集成设备,如集成设备中的其它设备获取所述增强现实设备与测试位置的参考距离。在一些实施方式中,所述标识物的透射占比满足预设条件。所述透射占比包括所述标识物的透射位置信息的透射范围与所述显示装置的透射位置信息的透射范围比例。例如,所述标识物的透射位置信息包括所述标识物透过所述显示装置直接在人眼中成像时的在人眼视网膜中位置,所述显示装置的透射位置信息包括所述显示装置直接在人眼中成像时的在人眼视网膜中位置,所述透射范围包括所述透射位置信息组成的范围。在此,通过增强现实设备计算所述标识物的光线透过所述显示装置直接在人眼成像时的透射范围,并根据该透射范围与显示装置直接在人眼成像时的透射范围的比值表示对应的透射占比。在一些实施例中,所述预设条件包括标识物的透射占比不超过100%,即所述标识物的透射位置信息的透射范围包含于所述显示装置的透射位置信息的透射范围,以矩形框作为标识物为例,显示装置在人眼中的成像完全包含实物矩形框在人眼中的成像。在另一些实施例中,所述预设条件包括标识物的透射占比大于或等于透射占比阈值,以矩形框作为标识物为例,实物矩形框边长在人眼中的成像占显示区域边长在人眼中的成像的比例大于或等于透射占比阈值。还如,所述透射位置信息与对应标识物的呈现位置信息基本一致,增强现实设备可以根据呈现的所述标识图像信息识别跟踪所述标识物,计算所述标识物的呈现位置信息,通过该呈现位置信息的呈现范围与屏幕显示范围的占比来等同于透射占比,换言之,所述呈现位置信息的呈现范围与屏幕显示范围的占比也大于或等于呈现占比阈值,在此,该呈现占比阈值与透射占比阈值的数值相同。在一些实施例中,增强现实设备根据参考距离、人眼距离显示装置的距离以及所述标识物的大小等得到对应透射位置信息,进一步根据该透射位置信息计算标识物的透射范围与显示装置的透射范围的比值从而得到对应的透射占比,为了保证获取的目标控制参数的准确性,该透射占比需要大于或等于透射占比阈值(如80%等)。在另一些实施方式中,测量人员根据当前看到的标识物和显示装置的透射范围确定透射占比,若透射占比小于所述透射占比阈值,则所述用户移动所述增强现实设备从而改变对应参考距离使得对应标识物的透射占比大于或等于所述透射占比阈值。在另一些实施方式中,所述透射占比基于测量人员的操作确定,如测量人员根据当前看到的标识物和显示装置的透射范围,在增强现实设备上操作输入对应的透射占比等。若当前参考距离对应标识物的透射占比小于所述透射占比阈值,则生成对应的距离变更提示信息,提示所述用户移动所述增强现实设备从而改变对应参考距离使得对应标识物的透射占比大于或等于所述透射占比阈值。在步骤S103中,增强现实设备通过所述摄像装置拍摄关于所述标识物的标识图像信息,并在所述显示装置对应位置呈现所述标识图像信息。增强现实设备的显示装置能显示摄像装置拍摄的画面(视频透视方式),显示装置上的显示位置可以通过转换参数进行设定。例如,增强现实设备中各不同硬件参数的不同组合均存在一个默认的转换参数,基于该转换参数增强现实设备能够对应硬件参数下拍摄的关于标识物的标识图像信息呈现于显示装置,可选地,同一个硬件参数的组合每次基于该转换参数呈现标识图像信息的位置相同。还如,增强现实设备还可以在标识物对应呈现位置渲染对应标识位置信息,如在显示屏幕中跟踪识别对应标识物并进行渲染标记等,其中,标识位置信息包括基于所述转换参数确定的所述标识物在显示装置上的呈现位置信息,基于该呈现位置信息增强现实设备的显示装置可以呈现所述标识物或者渲染对应标识物等,如呈现该呈现位置信息对应范围的虚线轮廓或摄像装置拍摄的标识物的标识图像信息等。例如,以标识物为矩形框为例,增强现实设备显示装置中显示的摄像装置拍摄的矩形框画面称为画面矩形框。所述增强现实设备呈现对应标识图像信息或者渲染标识物的标识位置信息供用户通过视线校准对应标识物的透射位置信息与该标识物成像的标识位置信息。
在步骤S104中,增强现实设备获取所述用户的调节操作,并基于所述调节操作调节对应控制参数直至获取到对应用户的确定操作,将所述确定操作对应的所述控制参数作为初始控制参数。例如,测量人员持有所述增强现实设备,物理世界中距离所述增强设备参考距离处设立对应标识物,可选地,该标识物的长宽比与增强现实设备的显示装置的显示界面长宽比的相似度满足相似度阈值(如大于或等于90%等),如在一些实施方式中,所述标识物的长宽比与所述显示装置的显示范围的长宽比的差值满足预设长宽比差值阈值信息(如0-10%等),以获取更加准确的目标控制参数。在一些实施方式中,所述标识物为矩形标识物;在另一些实施方式中,所述标识物的长宽比与增强现实设备的显示装置的显示范围的长宽比基本相同。进一步地,基于测量人员对控制参数的调节操作,使得标识物透过所述显示装置的透射位置信息与初始控制参数对应的初始标识位置信息的透射位置信息的差值小于或等于位置差值阈值信息(如1%等),从而保证显示装置上初始标识位置信息的透射位置信息与现实世界标识物的透射位置信息基本一致,达到良好的显示装置的效果。例如,增强现实设备基于预设或者默认的转换参数确定对应的初始标识位置信息,并调节对应控制参数从而调节对应初始标识位置信息,若对应初始标识位置信息的透射位置与现实世界中标识物的透射位置信息的差值小于或等于位置差值阈值信息,则增强现实设备将该调节后的控制参数作为初始控制参数,如当初始标识位置信息的透射位置与现实世界中标识物的透射位置信息的差值小于或等于位置差值阈值信息时,用户触控增强现实设备的确定按钮,将该调节后的控制参数作为初始控制参数。例如,以标识物为矩形框为例,测量人员佩戴增强现实设备,测量人员透过显示装置可以看到实物矩形框,同时,增强现实设备显示装置中显示摄像装置拍摄的矩形框画面(称为画面矩形框),测量人员调整控制参数以调整画面矩形框在显示装置中的位置,使得在测量人员视野中,画面矩形框与实物矩形框的位置差值小于或等于位置差值阈值,例如在测量人员视野中,画面矩形框与实物矩形框基本重合。还如,所述增强现实设备基于参考距离、用户眼球与显示装置(如显示屏等)的常用距离或者用户设置的观看距离(如用户眼球到显示屏的距离等),及对应显示装置的显示参数、标识物的大小等,计算对应参考距离上的标识物的透射位置信息以及画面矩形框的透射位置信息等。如在一些实施方式中,在步骤S104中,增强现实设备基于对应用户的调节操作,生成对应的调节指令;根据所述调节指令调节对应控制参数直至获取到所述用户的确定操作,将所述调节后的控制参数作为初始控制参数,其中,所述初始控制参数对应的初始标识位置信息的透射位置信息与所述标识物透过所述显示装置的透射位置信息的差值小于或等于位置差值阈值信息。例如,所述增强现实设备基于对应控制参数在显示装置的初始标识位置上呈现摄像装置拍摄的标识物的标识物图像信息,测量用户通过调节该控制参数可以调节对应初始标识位置信息,使得对应初始标识位置信息的透射位置信息与物理世界中标识物的透射位置信息的差值小于或等于位置差值阈值信息等,当满足前述条件,增强现实设备基于用户的确定操作将调节后的控制参数作为初始控制参数。例如以标识物为矩形框为例,通过调整控制参数,使得在测量人员视野中,画面矩形框与实物矩形框基本重合。在一些实施方式中,测量人员调整显示装置的显示亮度,使得物理世界中的标识物与显示装置(如屏幕等)的显示画面(画面中包含摄像装置拍摄的标识物的标识物图像)能够同时被测量人员清晰看到,即测量人员可以同时看到实物矩形框和画面矩形框,如果屏幕显示亮度大于标识物所处的实际环境亮度,此时人眼看到的基本全是屏幕显示的影像。而如果标识物所处的实际场景亮度大于屏幕显示亮度,人眼就基本看不清屏幕显示内容,便可以看到实际真实场景,因此可以通过调整屏幕显示的亮度,来选择查看的内容。也可以通过调整亮度,使人眼可以同时看到外部真实场景和屏幕显示内容。
在步骤S105中,增强现实设备根据所述初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。例如,增强现实设备可以将获取的初始控制参数作为对应的目标控制参数,建立该目标控制参数与硬件参数、参考距离的对应关系并存储等。在一些情形下,通过多次测量获取多个初始控制参数,再根据多个初始控制参数确定对应的目标控制参数。在另一些实施例中,通过调整每次增强现实设备的转换参数,以调整每次所述摄像装置拍摄的标识物画面在显示装置中的呈现位置信息,然后多次测量获取多个初始控制参数,再根据多个初始控制参数确定对应的目标控制参数;如在一些实施方式中,在步骤S103中,增强现实设备获取随机变量信息,根据所述信息在所述显示装置对应位置呈现所述标识物的标识图像信息;其中,在步骤S105中,增强现实设备重复步骤c至步骤d,获取多组初始控制参数,并根据所述多组初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。例如,增强现实设备在使用时会赋予一个随机变量信息,该随机变量信息可以视为一个初始控制参数信息,该随机初始控制参数信息用于调节所述增强现实设备在默认或者预设转换参数状态下所述摄像装置拍摄的标识物画面在显示装置中的标识位置信息,使得确定的目标控制参数更加稳定,其中,该随机初始控制参数包括随机偏移参数和随机缩放参数。可选地,对应随机控制参数数值满足预设条件,例如介于预设范围内等,此处不作限定。基于各随机初始控制参数信息,可以得到多个存在一定差异的初始控制参数,从而根据该多个初始控制参数得到对应的目标控制参数。在此,该随机初始控制参数信息是模拟对应硬件参数默认状态或预设状态下的一定随机误差,使得最终确定的目标控制参数稳定性更强,适用性更广。例如,所述增强显示设备重复初始控制参数的获取步骤,获取多组初始控制参数,根据该多组初始控制参数确定所述硬件参数、所述参考距离对应的目标控制参数,如根据多组控制参数中包含的参数数值,分别取每个参数对应的平均值,从而组成平均控制参数作为对应目标控制参数;还如,根据统计学规律从多组初始控制参数中确定一组优选控制参数作为对应目标控制参数等。在一些实施方式中,所述初始控制参数包括对应的偏移参数及缩放参数;所述根据所述多组初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应,包括:分别对多组初始控制参数中每组初始控制参数的缩放参数进行对数化;对于每组初始控制参数的所述偏移参数及对数化后的所述缩放参数进行归一化,并根据每组初始控制参数的各归一化参数组成的向量比较向量模大小,取向量模最小的一组初始控制参数作为对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。例如,所述初始控制参数包括偏移参数和缩放参数,如所述偏移参数包括对应x偏移量和y偏移量,所述缩放参数以r表示,对每组初始控制参数中缩放参数r进行对数化,如将r变化为r1=log2(r),即以2为底的对数;对x,y,r1,分别以其均值(如多组初始控制参数的x偏移量、y偏移量和缩放参数r的对数的平均值,分别以X、Y和R1表示等)归一化,如x1=(x-X)/X,y1=(y-Y)/Y,r2=(r1-R1)/R1等。随后,以各组初始控制参数的x偏移量、y偏移量和缩放参数r等组成各初始控制参数的向量,如(x1,y1,r2)的向量,比较各初始控制参数的向量的向量模大小,以向量模最小对应的初始控制参数(如原始控制参数(x,y,r)等)作为对应的目标控制参数。所述增强现实设备可以是一个独立的增强现实设备,还可以是基于包括增强现实模块与其它设备模块的多个设备的集成设备,如集成设备中的其它设备包括数据处理模块,用于根据初始控制参数确定并存储所述目标控制参数,并建立目标控制参数与硬件参数和参考距离的映射关系。本方法具有低复杂度,低成本,简便易行的特点。本方法不依赖对三维世界的精准建模,或对智能眼镜位置的精准计算,计算量极小,对功耗和运算速度非常友好。进一步地,本方法只需单目光学显示模块即可工作,双目光学显示仍然适用本方法因此,本文方法是单目/双目以及多目系统通用的。
在一些实施方式中,所述方法还包括步骤S106(未示出),在步骤S106中,增强现实设备基于所述硬件参数、所述参考距离及对应的所述目标控制参数建立或更新对应控制参数数据库。例如,所述增强现实设备的控制参数数据库中包含一个或多个目标控制参数,每个目标控制参数根据该目标控制参数对应的硬件参数和参考距离确定,如通过将对应硬件参数应用于增强现实设备并在参考距离上进行观测(如观测标记物或者标定点等),基于对应观测结果计算该硬件参数在对应参考距离上的目标控制参数,或者,基于使用用户的历史输入记录(如用户手动调节并使用的控制参数)存储使用中的硬件参数和参考距离对应目标控制参数等。随后,所述增强现实设备根据硬件参数、参考距离以及对应目标控制参数建立或者更新对应控制参数数据库,如所述增强现实设备本地未存储有控制参数数据库,则基于当前硬件参数、参考距离以及对应目标控制参数建立一组控制参数对应数据,并根据该组数据建立控制参数数据库;又如,所述增强现实设备本地存储有其他控制参数,则基于当前硬件参数、参考距离以及对应目标控制参数建立一组控制参数对应数据,并根据该组数据更新控制参数数据库;还如,所述增强现实设备本地存储有当前硬件参数、参考距离以及对应目标控制参数对应的控制参数数据组,则基于新获取的目标控制参数更新控制参数数据库中的对应控制参数数据组。在一些实施方式中,所述增强现实设备建立硬件参数、参考距离及对应控制参数间的映射关系,并基于该映射关系建立或更新所述控制参数数据库,如建立硬件参数、参考距离及目标控制参数之间的映射关系,在一些实施例中,可以基于使用用户的选择操作直接选中该组参数对应映射关系,并基于该映射关系中各个参数适配当前增强现实设备,如根据使用用户选中的映射关系中硬件参数调整所述增强现实设备的摄像装置和光学显示模块,并基于目标控制参数实现虚拟融合等。在另一些实施例中,可以根据数据库中的映射关系以及增强现实设备当前使用的硬件参数和参考距离,自动匹配对应的目标控制参数,以实现虚实融合的效果,如在一些实施方式中,所述方法还包括步骤S107(未示出)和步骤S108(未示出),在步骤S107中,增强现实设备获取所述增强现实设备当前正被使用的当前硬件参数,其中,所述硬件参数包括对应当前摄像参数和当前光学显示模块参数;在步骤S108中,增强现实设备根据所述当前硬件参数在所述控制参数数据库中进行匹配,确定对应的第一控制参数,其中,所述第一控制参数对应的第一摄像参数与所述当前摄像参数相同,所述第一控制参数对应的第一光学显示模块参数与所述当前光学显示模块参数相同。例如,所述增强现实设备组成部件中包含一个或多个摄像装置及一个或多个光学显示模块等,其中,不同的摄像装置包含不同的摄像参数,不同的光学显示模块包含不同的光学显示模块参数,基于摄像装置和光学显示模块的不同组合为增强现实设备提供了不同的硬件参数,不同硬件参数需要对应的控制参数进行调控,以为用户提供对应的良好的虚实融合效果。增强现实设备端存在对应的控制参数数据库,所述数据库中包含一个或多个目标控制参数及每个目标控制参数对应的硬件参数,如对应摄像参数和光学显示模块参数。每个目标控制参数由该参数对应摄像参数和光学显示模块参数应用于所述增强现实设备时获得等。所述增强现实设备获取当前正在使用的摄像装置的摄像参数及光学显示模块的光学显示模块参数,并基于该摄像参数与光学显示模块参数在所述控制参数数据库中进行匹配,确定与当前硬件参数相匹配的第一控制参数,将该第一控制参数应用于所述增强现实设备。所述增强现实设备可以是一个独立的增强现实设备,还可以是基于包括增强现实模块与其它设备模块的多个设备的集成设备,若在集成设备中的其它设备模块建立控制参数数据库,则匹配过程可以在其它设备中进行,然后将匹配结果对应的目标控制参数返回给增强现实模块,也可以将控制参数数据库下载到增强现实模块并在增强现实模块进行匹配,以确定对应的目标控制参数。可选地,仅基于所述当前硬件参数的匹配确定目标控制参数时,该当前硬件参数对应控制参数数据库中仅有一组目标控制参数,或者该增强现实设备的观看距离对应所述第一控制参数中的参考距离,例如参考距离对应增强现实设备常用应用距离或者默认使用距离等,如距离摄像装置1-5米的常用距离。在此,所述测量用户与所述使用用户可以是同一用户也可以是不同用户,该名称仅用于区分增强现实设备在测量状态和使用状态时对应的用户。
在一些实施方式中,所述方法还包括步骤S109(未示出),步骤S109中,所述增强现实设备获取所述增强现实设备关于对象位置的第一距离;其中,在步骤S108中,所述增强现实设备根据所述当前硬件参数和所述第一距离在所述控制参数数据库中进行匹配,确定对应的第一控制参数,其中,所述第一控制参数对应的第一摄像参数与所述当前摄像参数相同,所述第一控制参数对应的第一光学显示模块参数与所述当前光学显示模块参数相同,所述第一控制参数对应的第一参考距离与所述第一距离满足预设条件。例如,通常为了使得虚实融合效果更佳,我们以第一距离表示增强现实设备到实体空间中对象位置的距离,同样地,控制参数数据库中每组目标控制参数存在对应的参考距离,在匹配对应硬件参数的同时,还通过将第一距离与参考距离进行匹配,确定对应的第一控制参数,从而使得用户当前使用的增强现实设备在第一距离上获取到最佳控制参数,从而提高虚拟融合的效果。在一些实施方式中,同一组摄像参数、光学显示模块参数的组合存在多个不同的参考距离对应的目标控制参数,从而确保在该硬件参数下能够适用不同距离下的目标物体及对应虚拟内容的叠加效果。相应地,所述增强现实设备可以获取关于目标对象的第一距离,如通过距离测量仪器、用户输入、通过图像获取深度信息或者通过先验知识获取该第一距离等,其中根据先验知识获取目标距离包括根据具体应用确定对应的第一距离,如增强现实设备运行人脸检测应用,该应用对应的第一距离默认是3米,则通过该应用标识即可获得第一距离。
在一些实施方式中,在步骤S109中,所述增强现实设备获取使用用户的输入操作,基于所述使用用户的输入操作确定所述增强现实设备关于目标对象的第一距离。例如,所述增强现设备在确定控制参数时,通过对应第一距离能够获得更好的虚实融合效果等,该第一距离可以是由用户输入等,如用户持有该增强现实设备,通过输入装置(如触摸板或者键盘鼠标等)输入操作(如输入或者选中数值等)确定对应第一距离信息等。还如,所述增强现实设备通过摄像装置采集当前场景的当前图像信息,并基于该图像信息确定第一距离,如通过SLAM计算目标对象与增强现实设备的距离,还如所述摄像装置包括深度摄像机,所述当前图像信息包括深度图像信息,所述增强现实设备根据该深度图像信息确定目标对象的深度信息,从而将该深度信息作为第一距离。在一些实施方式中,在步骤S109中,所述增强现实设备通过所述增强现实设备的摄像装置拍摄当前场景的当前图像信息,根据所述当前图像信息确定关于目标对象的第一距离。例如,所述增强现实设备获取当前图像信息后,还可以根据先验知识确定第一距离,根据先验图像信息中目标对象的比例进行判断,如根据当前图像信息中目标对象的大小相对于先验图像信息中目标对象减小为50%,则确定第一距离为先验图像信息对应目标距离的两倍等。在一些实施方式中,所述根据所述当前图像信息确定关于目标对象的第一距离,包括:根据所述当前图像信息与先验图像信息确定关于目标对象的第一距离。
在一些实施方式中,所述方法还包括步骤S110(未示出),在步骤S110中,若所述增强现实设备在使用过程中将所述第一距离调整为第二距离,则根据所述当前硬件参数和所述第二距离在所述控制参数数据库中进行匹配,确定对应的第二控制参数,其中,所述第二控制参数对应的第二摄像参数与所述当前摄像参数相同,所述第二控制参数对应的第二光学显示模块参数与所述当前光学显示模块参数相同,所述第二控制参数对应的第二参考距离与所述第二距离满足预设条件。例如,所述增强现实设备在使用过程中,可以基于使用用户需求切换对应硬件参数或者改变当前第一距离等,基于硬件参数的切换可以是切换对应摄像装置或者光学显示模块或者前面两者均切换等,改变当前目标距离可以是基于使用用户距离目标对象的距离发生改变进行切换等,例如使用用户在物理场景中走动,然后基于使用用户输入操作(如使用用户输入改变后的目标距离,或者使用用户直接选择第二控制参数等),或者通过距离测量仪器确定的距离改变,还或者通过当前图像信息确定距离改变等。根据所述目标距离的变更,所述增强现设备根据调整后目标距离等重新确定对应第二控制参数。在一些实施例中,第二控制参数的匹配可以每隔预定的时间进行,也可以实时进行,还可以根据用户的执令进行,例如增强现实设备实时获得目标距离,当目标距离改变后或者改变超过一定阈值后,则开始匹配第二控制参数,又如,增强现实设备每隔预设时间获得目标距离,当目标距离改变后或者改变超过一定阈值后,则开始匹配第二控制参数,再如,使用用户判断虚实融合结果不理想,发出匹配指令,则开始匹配第二控制参数。在一些实施方式中,所述方法还包括步骤S111(未示出),在步骤S111中,若所述增强现实设备在使用过程中获取到关于所述当前硬件参数的调节操作,基于所述调节操作对应的调节指令调节所述当前硬件参数,并根据该调节后的所述当前硬件参数在所述控制参数数据库中进行匹配,确定对应的第三控制参数,其中,所述第三控制参数对应的第三摄像参数与调节后的所述当前摄像参数相同,所述第三控制参数对应的第三光学显示模块参数与调节后的所述当前光学显示模块参数相同。例如,使用用户调节对应当前硬件参数,如调节当前硬件参数中的当前摄像参数和/或当前光学显示模块参数,基于调节后的当前硬件参数确定对应的第三控制参数。
在一些实施方式中,所述方法还包括步骤S112(未示出),在步骤S112中,所述增强现实设备通过所述增强现实设备当前使用的当前摄像装置拍摄所述目标距离所处的图像信息,根据所述目标控制参数、所述图像信息确定对应虚拟内容的叠加位置信息,根据所述叠加位置信息在所述增强现实设备的显示装置的对应位置叠加呈现所述虚拟内容。例如,所述增强现实设备将对应目标控制参数导入系统,并基于摄像装置拍摄的目标图像,确定目标图像中目标对象所处的初始图像位置信息,根据所述初始图像位置信息及对应目标控制参数,确定该目标对象对应虚拟内容的叠加位置信息(如在显示屏中位置等),并在显示装置中对应位置叠加该虚拟内容。其中,所述确定目标图像中目标对象所处的初始图像位置信息,可以通过计算机视觉算法(包括深度学习等算法)确定,也可以通过使用用户在摄像装置拍摄的目标图像上的框选操作确定,此处不作限定。在另一些实施方式中,所述根据所述目标控制参数、所述图像信息确定对应虚拟内容的叠加位置信息,包括:根据所述图像信息通过计算机视觉算法确定所述对象的初始图像位置,并基于所述目标控制参数确定所述对象所处的图像位置信息,基于所述图像位置信息确定对应虚拟内容的叠加位置信息。例如,增强现实设备利用摄像装置拍摄关于目标对象的图像信息,然后利用计算机视觉算法确定目标对象在图像中的初始图像位置,可以每帧图像或者隔若干帧图像执行视觉算法,又或者满足触发条件后执行(如用户输入指令)视觉算法来获得目标对象在图像中的初始图像位置。例如,当前增强现实设备运行人脸检测应用,通过摄像装置拍摄场景中的人脸,增强现实应用检测摄像装置拍摄到的图像中的人脸,并确定人脸在图像中的初始图像位置,随后,根据该初始位置和对应目标控制参数确定所述人脸所处的图像位置信息,最后将该人脸对应的虚拟内容(例如,姓名等)叠加显示在显示装置的对应位置处,以达到虚实融合的效果。其中,所述目标控制参数包括将目标对象从初始位置调节至对应图像位置信息的偏移参数和缩放参数等。
图3示出根据本申请一个方面的一种获取目标控制参数的增强现实设备100,所述设备具体包括一一模块101、一二模块102、一三模块103、一四模块104以及一五模块105。一一模块101,用于获取所述增强现实设备正被使用的硬件参数,其中,所述硬件参数包括对应的摄像装置的摄像参数和显示装置的光学显示模块参数;一二模块102,用于获取所述增强现实设备与测试位置的参考距离,其中,所述测试位置设置有对应的标识物;一三模块103,用于通过所述摄像装置拍摄关于所述标识物的标识图像信息,并在所述显示装置对应位置呈现所述标识图像信息;一四模块104,用于获取所述用户的调节操作,并基于所述调节操作调节对应控制参数直至获取到对应用户的确定操作,将所述确定操作对应的所述控制参数作为初始控制参数;一五模块105,用于根据所述初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。在此,所述图3示出的一一模块101、一二模块102、一三模块103、一四模块104以及一五模块105对应具体实施方式与前述图2示出的步骤S101、步骤S102、步骤S103、步骤S104以及步骤S105对应实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施方式中,所述方法还包括一六模块(未示出)、一七模块(未示出)、一八模块(未示出)、一九模块(未示出)、一十模块(未示出)、一十一模块(未示出)以及一十二模块(未示出);其中,一六模块,用于基于所述硬件参数、所述参考距离及对应的所述目标控制参数建立或更新对应控制参数数据库。一七模块,用于获取所述增强现实设备当前正被使用的当前硬件参数,其中,所述硬件参数包括对应当前摄像参数和当前光学显示模块参数;一八模块,用于根据所述当前硬件参数在所述控制参数数据库中进行匹配,确定对应的第一控制参数,其中,所述第一控制参数对应的第一摄像参数与所述当前摄像参数相同,所述第一控制参数对应的第一光学显示模块参数与所述当前光学显示模块参数相同。一九模块,用于获取所述增强现实设备关于对象位置的第一距离;其中,一八模块,用于根据所述当前硬件参数和所述第一距离在所述控制参数数据库中进行匹配,确定对应的第一控制参数,其中,所述第一控制参数对应的第一摄像参数与所述当前摄像参数相同,所述第一控制参数对应的第一光学显示模块参数与所述当前光学显示模块参数相同,所述第一控制参数对应的第一参考距离与所述第一距离满足预设条件。一十模块,用于若所述增强现实设备在使用过程中将所述第一距离调整为第二距离,则根据所述当前硬件参数和所述第二距离在所述控制参数数据库中进行匹配,确定对应的第二控制参数,其中,所述第二控制参数对应的第二摄像参数与所述当前摄像参数相同,所述第二控制参数对应的第二光学显示模块参数与所述当前光学显示模块参数相同,所述第二控制参数对应的第二参考距离满足预设条件。一十一模块,用于若所述增强现实设备在使用过程中获取到关于所述当前硬件参数的调节操作,基于所述调节操作对应的调节指令调节所述当前硬件参数,并根据该调节后的所述当前硬件参数在所述控制参数数据库中进行匹配,确定对应的第三控制参数,其中,所述第三控制参数对应的第三摄像参数与调节后的所述当前摄像参数相同,所述第三控制参数对应的第三光学显示模块参数与调节后的所述当前光学显示模块参数相同。一事而模块,用于通过所述增强现实设备当前使用的当前摄像装置拍摄所述目标距离所处的图像信息,根据所述目标控制参数、所述图像信息确定对应虚拟内容的叠加位置信息,根据所述叠加位置信息在所述增强现实设备的显示装置的对应位置叠加呈现所述虚拟内容。在此,所述一六模块至一十二模块对应具体实施方式与前述步骤S106至步骤S112对应实施例相同或相似,因而不再赘述,以引用的方式包含于此。
除上述各实施例介绍的方法和设备外,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
图4示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图4所示在一些实施例中,系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (17)

1.一种获取目标控制参数的方法,应用于增强现实设备,其中,该方法包括:
获取所述增强现实设备正被使用的硬件参数,其中,所述硬件参数包括对应的摄像装置的摄像参数和显示装置的光学显示模块参数;
获取所述增强现实设备与测试位置的参考距离,其中,所述测试位置设置有对应的标识物;
c通过所述摄像装置拍摄关于所述标识物的标识图像信息,并在所述显示装置对应位置呈现所述标识图像信息;
d获取用户的调节操作,并基于所述调节操作调节对应控制参数直至获取到对应用户的确定操作,将所述确定操作对应的所述控制参数作为初始控制参数,其中,所述标识物透过所述显示装置的透射位置信息与所述初始控制参数对应的初始标识位置信息的透射位置信息的差值小于或等于位置差值阈值信息,所述初始标识位置信息包括所述标识物在所述显示装置上的呈现位置信息;
根据所述初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。
2.根据权利要求1所述的方法,其中,所述标识物的长宽比与所述显示装置的显示范围的长宽比的差值满足预设长宽比差值阈值信息。
3.根据权利要求1所述的方法,其中,所述通过所述摄像装置拍摄关于所述标识物的标识图像信息,并在所述显示装置对应位置呈现所述标识图像信息,包括:
获取随机变量信息,根据所述标识图像信息及所述随机变量信息在所述显示装置对应位置呈现所述标识图像信息;
其中,所述根据所述初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应,包括:
重复步骤c至步骤d,获取多组初始控制参数,并根据所述多组初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。
4.根据权利要求3所述的方法,其中,所述初始控制参数包括对应的偏移参数及缩放参数;所述根据所述多组初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应,包括:
分别对多组初始控制参数中每组初始控制参数的缩放参数进行对数化;
对于每组初始控制参数的所述偏移参数及对数化后的所述缩放参数进行归一化,并根据每组初始控制参数的各归一化参数组成的向量比较向量模大小,取向量模最小的一组初始控制参数作为对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。
5.根据权利要求1所述的方法,其中,所述方法还包括:
基于所述硬件参数、所述参考距离及对应的所述目标控制参数建立或更新对应控制参数数据库。
6.根据权利要求5所述的方法,其中,所述方法还包括:
获取所述增强现实设备当前正被使用的当前硬件参数,其中,所述硬件参数包括对应当前摄像参数和当前光学显示模块参数;
根据所述当前硬件参数在所述控制参数数据库中进行匹配,确定对应的第一控制参数,其中,所述第一控制参数对应的第一摄像参数与所述当前摄像参数相同,所述第一控制参数对应的第一光学显示模块参数与所述当前光学显示模块参数相同。
7.根据权利要求6所述的方法,其中,所述方法还包括:
获取所述增强现实设备关于对象位置的第一距离;
其中,所述根据所述当前硬件参数在所述控制参数数据库中进行匹配,确定对应的第一控制参数,其中,所述第一控制参数对应的第一摄像参数与所述当前摄像参数相同,所述第一控制参数对应的第一光学显示模块参数与所述当前光学显示模块参数相同,包括:
根据所述当前硬件参数和所述第一距离在所述控制参数数据库中进行匹配,确定对应的第一控制参数,其中,所述第一控制参数对应的第一摄像参数与所述当前摄像参数相同,所述第一控制参数对应的第一光学显示模块参数与所述当前光学显示模块参数相同,所述第一控制参数对应的第一参考距离与所述第一距离满足预设条件。
8.根据权利要求7所述的方法,其中,所述获取所述增强现实设备关于对象位置的第一距离,包括:
获取使用用户的输入操作,基于所述使用用户的输入操作确定所述增强现实设备关于对象位置的第一距离。
9.根据权利要求7所述的方法,其中,所述获取所述增强现实设备关于对象位置的第一距离,包括:
通过所述增强现实设备的当前摄像装置拍摄当前场景的当前图像信息,根据所述当前图像信息确定关于对象位置的第一距离。
10.根据权利要求9所述的方法,其中,所述根据所述当前图像信息确定关于目标对象的第一距离,包括:
根据所述当前图像信息与先验图像信息确定关于对象位置的第一距离。
11.根据权利要求7所述的方法,其中,所述方法还包括:
若所述增强现实设备在使用过程中将所述第一距离调整为第二距离,则根据所述当前硬件参数和所述第二距离在所述控制参数数据库中进行匹配,确定对应的第二控制参数,其中,所述第二控制参数对应的第二摄像参数与所述当前摄像参数相同,所述第二控制参数对应的第二光学显示模块参数与所述当前光学显示模块参数相同,所述第二控制参数对应的第二参考距离与所述第二距离满足预设条件。
12.根据权利要求6或7所述的方法,其中,所述方法还包括:
若所述增强现实设备在使用过程中获取到关于所述当前硬件参数的调节操作,基于所述调节操作对应的调节指令调节所述当前硬件参数,并根据该调节后的所述当前硬件参数在所述控制参数数据库中进行匹配,确定对应的第三控制参数,其中,所述第三控制参数对应的第三摄像参数与调节后的所述当前摄像参数相同,所述第三控制参数对应的第三光学显示模块参数与调节后的所述当前光学显示模块参数相同。
13.根据权利要求6或7所述的方法,其中,所述方法还包括:
通过所述增强现实设备当前使用的当前摄像装置拍摄所述目标距离所处的图像信息,根据所述目标控制参数、所述图像信息确定对应虚拟内容的叠加位置信息,根据所述叠加位置信息在所述增强现实设备的显示装置的对应位置叠加呈现所述虚拟内容。
14.根据权利要求13所述的方法,其中,所述根据所述目标控制参数、所述图像信息确定对应虚拟内容的叠加位置信息,包括:
根据所述图像信息通过计算机视觉算法确定所述对象的初始位置,并基于所述目标控制参数确定所述对象所处的图像位置信息,基于所述图像位置信息确定对应虚拟内容的叠加位置信息。
15.一种获取目标控制参数的增强现实设备,其中,该设备包括:
一一模块,用于获取所述增强现实设备正被使用的硬件参数,其中,所述硬件参数包括对应的摄像装置的摄像参数和显示装置的光学显示模块参数;
一二模块,用于获取所述增强现实设备与测试位置的参考距离,其中,所述测试位置设置有对应的标识物;
一三模块,用于通过所述摄像装置拍摄关于所述标识物的标识图像信息,并在所述显示装置对应位置呈现所述标识图像信息;
一四模块,用于获取用户的调节操作,并基于所述调节操作调节对应控制参数直至获取到对应用户的确定操作,将所述确定操作对应的所述控制参数作为初始控制参数,其中,所述标识物透过所述显示装置的透射位置信息与所述初始控制参数对应的初始标识位置信息的透射位置信息的差值小于或等于位置差值阈值信息,所述初始标识位置信息包括所述标识物在所述显示装置上的呈现位置信息;
一五模块,用于根据所述初始控制参数确定对应的目标控制参数,其中,所述目标控制参数与所述硬件参数、所述参考距离相对应。
16.一种获取目标控制参数的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至14中任一项所述方法的操作。
17.一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如权利要求1至14中任一项所述方法的操作。
CN202010478800.XA 2020-05-29 2020-05-29 一种获取目标控制参数的方法与设备 Active CN111654688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010478800.XA CN111654688B (zh) 2020-05-29 2020-05-29 一种获取目标控制参数的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010478800.XA CN111654688B (zh) 2020-05-29 2020-05-29 一种获取目标控制参数的方法与设备

Publications (2)

Publication Number Publication Date
CN111654688A CN111654688A (zh) 2020-09-11
CN111654688B true CN111654688B (zh) 2022-03-29

Family

ID=72348077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010478800.XA Active CN111654688B (zh) 2020-05-29 2020-05-29 一种获取目标控制参数的方法与设备

Country Status (1)

Country Link
CN (1) CN111654688B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE2051559A1 (en) * 2020-12-23 2022-06-24 Tobii Ab Head-mounted display and method of optimisation
CN116483025B (zh) * 2023-04-23 2024-03-22 赛诺威盛科技(北京)股份有限公司 飞焦点模式下的数据采集系统、方法、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015141185A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 撮像制御装置、撮像制御方法および記録媒体
CN107767466A (zh) * 2017-11-08 2018-03-06 霖晏全挚(上海)医疗科技有限公司 Ar成像调节方法
CN108957742A (zh) * 2017-05-19 2018-12-07 深圳市易瞳科技有限公司 一种实现画面虚拟透明动态调节的增强现实头盔及方法
CN109840949A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 基于光学定位的增强现实图像处理方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5507797B2 (ja) * 2007-03-12 2014-05-28 キヤノン株式会社 頭部装着型撮像表示装置及び画像生成装置
JP6323040B2 (ja) * 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CN106774937B (zh) * 2017-01-13 2020-01-10 宇龙计算机通信科技(深圳)有限公司 一种增强现实技术中的图像交互方法及其装置
CN108234902A (zh) * 2017-05-08 2018-06-29 浙江广播电视集团 一种基于目标位置感知的演播室智能控制系统和方法
CN109427096A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 一种基于增强现实的自动导览方法和系统
CN108022306B (zh) * 2017-12-30 2021-09-21 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
CN110232743A (zh) * 2019-06-11 2019-09-13 珠海格力电器股份有限公司 一种通过增强现实技术展示物品的方法和装置
CN111147834A (zh) * 2019-12-31 2020-05-12 深圳疆程技术有限公司 一种基于增强现实抬头显示的虚拟图像标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015141185A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 撮像制御装置、撮像制御方法および記録媒体
CN108957742A (zh) * 2017-05-19 2018-12-07 深圳市易瞳科技有限公司 一种实现画面虚拟透明动态调节的增强现实头盔及方法
CN107767466A (zh) * 2017-11-08 2018-03-06 霖晏全挚(上海)医疗科技有限公司 Ar成像调节方法
CN109840949A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 基于光学定位的增强现实图像处理方法和装置

Also Published As

Publication number Publication date
CN111654688A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
CN110018736B (zh) 人工现实中的经由近眼显示器界面的对象增强
US9035970B2 (en) Constraint based information inference
Livingston et al. Pursuit of “X-ray vision” for augmented reality
CN106204431B (zh) 智能眼镜的显示方法及装置
EP3172650A2 (en) Smart transparency for holographic objects
Bruder et al. Cave size matters: Effects of screen distance and parallax on distance estimation in large immersive display setups
GB2539009A (en) Gaze detection method and apparatus
KR20160123346A (ko) 초점 이동에 반응하는 입체적 디스플레이
US10595001B2 (en) Apparatus for replaying content using gaze recognition and method thereof
KR20150090183A (ko) 3-d 플레놉틱 비디오 이미지들을 생성하는 시스템 및 방법
CN109979016B (zh) 一种ar设备显示光场影像的方法、ar设备和存储介质
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
CN109615664A (zh) 一种用于光学透视增强现实显示器的标定方法与设备
CN111654688B (zh) 一种获取目标控制参数的方法与设备
CN109840946B (zh) 虚拟对象显示方法及装置
CN109901290B (zh) 注视区域的确定方法、装置及可穿戴设备
WO2021169853A1 (zh) 一种显示方法、装置、终端设备及存储介质
CN111857461B (zh) 图像显示方法、装置、电子设备及可读存储介质
CN111308707A (zh) 画面显示调节方法、装置、存储介质及增强现实显示设备
CN112470167A (zh) 用于转角检测的方法和装置
WO2023154586A1 (en) Determining display gazability and placement of virtual try-on glasses using optometric measurements
Hartle et al. Cue vetoing in depth estimation: Physical and virtual stimuli
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
KR20240040727A (ko) 광학 제품 시뮬레이션 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.