CN114666493B - 一种ar观览服务系统和终端 - Google Patents

一种ar观览服务系统和终端 Download PDF

Info

Publication number
CN114666493B
CN114666493B CN202111582580.6A CN202111582580A CN114666493B CN 114666493 B CN114666493 B CN 114666493B CN 202111582580 A CN202111582580 A CN 202111582580A CN 114666493 B CN114666493 B CN 114666493B
Authority
CN
China
Prior art keywords
information
action
industrial camera
camera
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111582580.6A
Other languages
English (en)
Other versions
CN114666493A (zh
Inventor
樊斌
吴文斌
虞崇军
邹礼见
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202111582580.6A priority Critical patent/CN114666493B/zh
Publication of CN114666493A publication Critical patent/CN114666493A/zh
Application granted granted Critical
Publication of CN114666493B publication Critical patent/CN114666493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种AR观览服务系统,其中,该系统包括:服务器和终端设备;服务器用于存储及分发AR信息、语音信息和动作信息;终端设备与服务器通信连接,用于接收AR信息、语音信息和动作信息,根据动作信息集指示工业相机按照预设路径动作,以及,分别在AR信息和语音信息中,确定与相机实景画面匹配的目标AR内容和目标语音内容,并将目标AR内容叠加在相机实景画面上,同时播报目标语音内容,其中,相机实景画面是工业相机动作过程中视场范围内的实景画面。通过本申请,解决了相关技术中AR观览设备用户体验较差的问题,优化了用户体验,提升了用户使用意愿。

Description

一种AR观览服务系统和终端
技术领域
本申请涉及增强现实领域,特别是涉及一种AR观览服务系统和终端。
背景技术
景区一般会架设望远镜供游客观览,但游客通过该类设备只能漫无目的观察视野范围内的景象,游客往往不知道该看哪些内容。同时,该类设备通常只能供一个人使用,无法进行多人同时进行观览。
随着AR(Augmented Reality,增强现实)技术的快速发展,当前也出现了一些基于AR技术的景区观览设备,其通过在实景画面上叠加一些AR信息,丰富了实景画面内容,提升了用户可交互性。但是,对于比较宏大的场景,由于该类设备的视野范围有限,用户需要进行定位操作,来搜索需要观察的区域,其仍然难以针对性的进行观察,观览过程费时耗力。
目前针对现有AR观览服务设备用户使用体验较差的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种AR观览服务系统和终端,以至少解决相关技术中现有AR观览设备用户体验较差的问题。
第一方面,本申请实施例提供了一种AR观览服务系统,所述系统包括:服务器和终端设备;
所述服务器用于存储及分发AR信息、语音信息和动作信息;
所述终端设备与所述服务器通信连接,用于接收所述AR信息、所述语音信息和所述动作信息,根据所述动作信息集指示工业相机按照预设路径动作,以及,
分别在所述AR信息和所述语音信息中,确定与相机实景画面匹配的目标 AR内容和目标语音内容,并将所述目标AR内容叠加在所述相机实景画面上,同时播报所述目标语音内容,其中,所述相机实景画面是所述工业相机动作过程中视场范围内的实景画面。
在其中一些实施例中,所述终端设备包括:嵌入式平台和硬件执行装置,所述嵌入式平台与所述硬件执行装置信号连接,其中;
所述嵌入式平台包括通信模块、主控模块、语音播报装置和所述工业相机;
所述通信模块用于与所述服务器建立连接,接收所述服务器发送的AR信息、语音信息和动作信息并转存至所述主控模块,以及,与所述硬件执行装置进行信号交互;
所述主控模块用于解析所述动作信息以生成控制指令,通过所述通信模块发送所述控制指令,以指示所述工业相机按照所述预设路径动作。
在其中一些实施例中,所述硬件执行装置包括驱动装置和电源装置,其中,
所述驱动装置与所述通信模块信号连接,并与所述工业相机滑动连接,用于接收所述主控模块发送的控制指令,根据所述控制指令拖动所述工业相机按照所述预设路径动作;
所述电源装置与所述驱动装置和所述嵌入式平台电性连接,用于对所述所述驱动装置和所述嵌入式平台供电。
在其中一些实施例中,所述驱动装置包括第一驱动装置和第二驱动装置,其中,
所述第一驱动装置包括第一编码器、第一电机、第一传动装置和第一光电开关,用于拖动所述工业相机在Z轴方向动作;
所述第二驱动装置包括第二编码器、第二电机、第二传动装置和第二光电开关,用于拖动所述工业相机在Y轴方向动作。
在其中一些实施例中,所述主控模块还用于:
在第一时刻,根据所述第一编码器和所述第二编码器的反馈信号,确定所述工业相机的角度偏移值,并基于所述角度偏移值,分别在所述AR信息和所述语音信息中,获取目标AR内容和目标语音内容,以及,
在所述第一时刻,获取所述工业相机视场范围内的相机实景画面,将所述目标AR内容渲染在所述相机实景画面上,并指示语音播报装置播放所述目标语音内容,其中,所述第一时刻是所述工业相机动作过程中的任一时刻。
在其中一些实施例中,所述嵌入式平台还包括智能交互模块,其中,
所述智能交互模块与所述驱动装置和所述工业相机信号连接,用于接收用户的第一交互信号,并将其转换为控制所述工业相机移动的用户控制指令,以及,
发送所述用户控制指令信号至所述驱动装置,指示所述驱动装置动作将所述工业相机的视场移动到用户感兴趣的的目标区域。
在其中一些实施例中,所述工业相机内部设置有可变焦摄像模组,所述可变焦摄像模组与所述智能交互模块信号连接;
所述智能交互模块还用于接收用户的第二交互信号,并将其转换为变焦控制信号和拍照触发信号,以及,
通过所述变焦控制信号指示所述可变焦摄像模组执行变焦动作,以及通过所述拍照触发信号指示所述工业相机拍摄用户图像。
在其中一些实施例中,所述服务器还用于根据运营人员的操作信号更新所述AR信息、所述语音信息和所述动作信息,
以及将所述更新之后的AR信息、语音信息和动作信息,分发至所述终端设备。
在其中一些实施例中,所述硬件执行装置还包括镜头防护装置,所述镜头防护装置用于根据太阳光照情况调整自身角度,以保护所述工业相机的镜头模组。
第二方面,本申请实施例提供了一种AR观览服务终端,所述终端与所述服务器通信连接,用于接收AR信息、语音信息和动作信息,根据所述动作信息集指示工业相机按照预设路径动作,以及,
分别在所述AR信息和所述语音信息中,确定与相机实景画面匹配的目标 AR内容和目标语音内容,并将所述目标AR内容叠加在所述相机实景画面上,同时播报所述目标语音内容,其中,所述相机实景画面是所述工业相机动作过程中视场范围内的实景画面。
相比于相关技术,本申请实施例提供的一种AR观览服务系统,服务器用于存储及分发AR信息、语音信息和动作信息;终端设备与服务器通信连接,用于接收AR信息、语音信息和动作信息,根据动作信息集指示工业相机按照预设路径动作,以及分别在AR信息和语音信息中,确定与相机实景画面匹配的目标AR内容和目标语音内容,并将目标AR内容叠加在相机实景画面上,同时播报目标语音内容,其中,相机实景画面是工业相机动作过程中视场范围内的实景画面。本申请中,终端设备可以按照设定好的线路,将视场移动至场景下的所有目标区域,并且,将在这些目标区域实景画面上渲染与其匹配的 AR内容,同时播放与其匹配的语音讲解信息。通过本申请,解决了相关技术中AR观览服务设备用户不易寻找目标,可交互性较差的问题,提升了用户的观览体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的AR观览服务系统的应用环境示意图;
图2是根据本申请实施例的一种AR观览服务系统的结构框图;
图3是根据本申请实施例的第一驱动装置的示意图;
图4是根据本申请实施例的一种AR观览服务终端的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。
本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请实施例提供的一种AR观览服务系统,可以应用在如图1所示的应用环境中,图1是根据本申请实施例的AR观览服务系统的应用环境示意图,如图1所示,本系统可以但不限于应用在大型景区、公园、体育场馆等线下场景中,其中,终端10可以是电机驱动且能够显示AR内容的智能观览设备,服务器20可以是单个服务器或多个服务器组成的集群,其可以部署在公网机房,也可以是云服务器。
当前现状下,针对于一些大型公园场景,用户使用AR观览设备时,往往不知道该看些什么,也不知道哪里可以产生AR交互内容,只能漫无目的的观览。本申请中,终端10内的相机将按照预设路径运动,以使其视场逐个遍历线下场景中的一些较为关键的指定区域,并同步在上述指定区域的实景画面上添加一些特定的AR内容,以及播放对应的语音讲解,从而提升用户使用体验。
图2是根据本申请实施例的一种AR观览服务系统的结构框图,如图2所示,该系统包括:终端设备10和服务器20;
服务器20用于存储及分发AR信息、语音信息和动作信息;
应当理解的是,上述AR信息、语音信息和动作信息并不是单独的某一项数据,而是由多项数据组成的数据集合。其中,AR信息中包括可以与线下场景的某些指定区域产生交互效果的AR体验内容;语音信息包括多项与上述指定区域对应的语音介绍内容,其可以但不限于是,景点现状介绍或与景点历史典故介绍等;进一步的,动作信息用于指示终端设备10中工业相机的运动路径,其可以是采用机器语言或者其他高级语言编写的计算机程序。
需要说明的是,在季节场景变换、节假日等特殊活动、场景需求变动等情况下,运营人员可以更新服务器20中存储的上述信息,并通过其中的内容分发子服务器将更新之后的信息发送至终端设备10,以实现线下场景终端设备 10的数据更新。
另外,本实施例中,服务器20除可以对终端设备10分发上述更新信息之外,还可以采集终端设备10的运行信息。在终端设备10数量较大且部署在多个不同的线下场景时,通过服务器20可实现部分运维功能,对于一些基础业务(如付费管理、状态监控等),无需人员到现场处理,从而节约了人力资源成本,降低了维护成本。
终端设备10与服务器20通信连接,用于接收AR信息、语音信息和动作信息,根据动作信息集指示工业相机按照预设路径动作,以及,分别在AR信息和语音信息中,确定与相机实景画面匹配的目标AR内容和目标语音内容,并将目标AR内容叠加在相机实景画面上,同时播报目标语音内容,其中,相机实景画面是工业相机动作过程中视场范围内的实景画面。
可选的,终端设备10与服务器20之间通过4G网络通信,其可以通过4G 网络从服务器20获取上述AR信息、语音信息和动作信息。进一步的,本实施例中,终端设备10的AR望远镜功能通过工业相机实现,终端设备10通过电机驱动等方式指示该工业相机按照上述预设路径动作,从而遍历线下场景中的各指定区域。
对应的,在工业相机动作过程中,可以跟随其视场内的实景变化,从AR 信息中获取与其匹配的AR内容并叠加显示在该实景画面之上,同时播放与该区域匹配的语音介绍内容,从而使用户产生一定的交互性,也使得观览的过程更加生动形象。用户观览过程中,无需自行去搜索寻找,系统将引导用户去体验景区内各个关键指定区域,对于用户来说,在观看实景的同时,还可以体验 AR内容,以及获得该区域的语音介绍,省去了盲目搜索过程,从而较大程度了提升用户的观览体验。
另外,当景区的某个位置部署有多个终端设备10时,多个用户可以同时观览景区某个指定区域,同时体验AR内容以及获得语音讲解,另外,用户之间还可以产生一定的互动,从而消除了多个用户之间的使用割裂感,进一步的提升了用户体验。
一个举例如下:终端设备10部署在公园场景下,同行游客A、B和C同时使用该终端设备10观览公园。在某一时刻,工业相机的视场范围内移动至湖心亭,并在该湖心亭的实景画面上叠加渲染多个虚拟孔明灯,同时也播放该湖心亭的历史典故介绍,多个用户之间将同时获得以上信息,用户之间也可在线下进行交流,从而达到提升用户体验的效果。
本实施例提供的AR观览服务系统,基于工业相机实现AR望远镜功能,AR望远镜可以按照预设路径动作,以使其视场遍历线下场景中各指定区域,在指定区域的实景画面中叠加对应的AR内容,并同时播报语音内容。从而可以生动形象的对用户进行讲解介绍。通过本系统,解决了相关技术中AR观览服务设备用户体验较差的问题,优化了用户感受,提升了用户使用意愿。
在其中一些实施例中,终端设备10包括:嵌入式平台和硬件执行装置,嵌入式平台与硬件执行装置信号连接,其中;
嵌入式平台包括通信模块、主控模块、语音播报装置和工业相机;通信模块用于与服务器20建立连接,接收服务器20发送的AR信息、语音信息和动作信息并转存至主控模块,以及,与硬件执行装置进行信号交互;
需要说明的是,通信模块包括包括4G通信功能和以太网通信功能,其通过4G网络与服务器20通信,通过以太网处理终端设备10内部各组成模块之间的通信。
主控模块用于解析动作信息生成控制指令,通过通信模块发送控制指令,以指示工业相机按照预设路径动作。其中,主控模块可以基于常见计算机硬件装置实现,包括基于Android、Windows和HarmonyOS等,其可以解析动作信息对应的计算机程序,并生成用于控制驱动装置的指令。
进一步的,硬件执行装置包括驱动装置和电源装置,其中,驱动装置与主控模块信号连接,并与工业相机滑动连接,用于接收主控模块发送的控制指令,根据控制指令拖动工业相机按照预设路径动作,可选的,该驱动装置可以由步进电机提供动力源。
再进一步的,该驱动装置包括第一驱动装置和第二驱动装置,分别用于驱动工业相机在Z轴方向和Y轴方向移动,其中,第一驱动装置包括第一编码器、第一电机、第一传动装置和第一光电开关;第二驱动装置包括第二编码器、第二电机、第二传动装置和第二光电开关。
图3是根据本申请实施例的第一驱动装置的示意图,如图3所示,第一电机和第一编码器集成在一起,图3中齿轮部分为第一传动装置。进一步的,第一电机转动产生的动力经由第一传动装置,传递至工业相机,从而拖动工业相机在竖直方向移动一定的距离;另外,该第一光电开关用于工业相机的Z轴归零标定。
具体的一个控制工业相机在z轴移动的举例如下,主控模块开启,在开始时刻,发送脉冲信号至第一编码器,指示电机首先转动N1圈使工业相机的视场移动至第一指定区域;之后,停留60秒待语音播报结束后,再转动N2圈以使视场移动至第二指定区域,此后依次循环,直至遍历完整个场景下的所有指定区域。
另外,硬件执行装置还应包括电源装置,该电源装置与驱动装置和嵌入式平台电性连接,用于对驱动装置和嵌入式平台供电,其可以是常见的移动电源,本申请中对此不作具体限定。
在其中一些实施例中,主控模块还用于:在第一时刻,根据第一编码器和第二编码器的反馈信号,确定工业相机的角度偏移值,并基于角度偏移值,分别在AR信息和语音信息中,确定目标AR内容和目标语音内容。
需要说明的是,终端设备10中预设有角度偏移值与AR内容/语音内容的匹配关系,在实际应用环节,根据一些特定的相机角度偏移值,即可获取到对应的AR内容和语音内容。
在获取到与当前相机角度偏移值匹配的目标AR内容及目标语音之后,在第一时刻,获取工业相机视场范围内的目标实景画面,再将上述目标AR内容渲染在目标实景画面上,并同时指示语音播报装置播放目标语音内容,其中,第一时刻是工业相机动作过程中的任一时刻。
通过上述实施例,不同于传统的观览设备,用户无需自行寻找观览目标,工业相机将按照指定路线运动,在运动过程中将移动至一些比较关键的指定目标区域。后台根据此时相机的角度偏移值确定其目标区域对应的AR内容和语音内容。在用户层,用户可以跟随观览区域的变化,观览区域实景和实景上添加的AR体验内容,同时根据语音内容,获得区域内的实景的介绍,从而生动形象对景区进行观览,提升自身的体验。
在其中一些实施例中,嵌入式平台还包括智能交互模块,智能交互模块与工业相机信号连接,用于接收用户的第一交互信号。并将其转换为控制工业相机移动的用户控制指令;以及发送用户动作信号至驱动装置,指示驱动装置将工业相机的视场移动到用户感兴趣的的目标区域。
其中,该智能交互模块可以是基于Android系统的触控屏,用户可以通过在触摸屏的交互界面滑动操作,将工业相机的视场移动至自己感兴趣的区域进行观察。可选的,该交互界面中可以显示一些关键景点/设施的缩略图,该缩略图对应于一个相机偏移值,用户点击缩略图之后,终端设备10即可根据该相机偏移值,快速移动相机视场至上述关键景点/设施对应的实景区域。
通过上述实施例,在自动观览完成后,用户可以通过智能交互模块将相机时长移动至自己感兴趣的区域,从而避免了用户搜索查找步骤,提升了观览效率,进一步的提升了用使用体验。
在其中一些实施例中,该工业相机内部设置有可变焦摄像模组,该可变焦摄像模组与智能交互模块信号连接;智能交互模块还用于接收用户的第二交互信号,并将其转换为变焦控制信号和拍照触发信号,以及,通过变焦控制信号指示可变焦摄像模组执行变焦动作,通过拍照触发信号指示工业相机拍摄用户图像。
通过上述实施例,为了进一步提升用户的使用意愿,本申请提供有拍照及分享功能,不同于传统的AR望远镜,本系统中由于屏幕和摄像头分离设计,同时工业相机采用可变焦摄像头,因此,用户可以将终端设备10切换为拍照模式,该种模式下,用户可以自由的转动相机的镜头方向,并进行景色拍摄、人员合影等活动。
可选的,用户还可以通过上述触摸屏查看拍摄的照片,以及通过扫描二维码获取及分享照片。
在其中一些实施例中,考虑到太阳光照对镜头的损伤以及对观测图像的干扰,本实施例中,硬件执行装置还包括镜头防护装置,该镜头防护装置用于根据太阳光照情况调整自身角度,以保护工业相机的镜头模组,以及避免光照对观测效果的影响。
此外,本申请实施例还提供了一种AR观览服务终端,终端与服务器20通信连接,用于接收AR信息、语音信息和动作信息,根据动作信息集指示工业相机按照预设路径动作,以及,
分别在AR信息和语音信息中,确定与相机实景画面匹配的目标AR内容和目标语音内容,并将目标AR内容叠加在相机实景画面上,同时播报目标语音内容,其中,相机实景画面是工业相机动作过程中视场范围内的实景画面。
图4是根据本申请实施例的一种AR观览服务终端的硬件结构示意图,如图4所示,工业相机设置在两轴云台之上,两轴云台可以拖动工业相机在Z轴方向和Y轴按照预设路径移动,以逐个遍历线下场景中可以产生AR交互内容的指定区域。进一步的,镜头保护装置可以防止太阳光直射对镜头造成的损伤以及对图像的干扰。另外,用户可以通过Android主板在其触摸屏上操作以将工业相机的视场调整至自己感兴趣的区域,进一步的观察。
本领域的技术人员应该明白,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种AR观览服务系统,其特征在于,所述系统包括:服务器和终端设备;
所述服务器用于存储及分发AR信息、语音信息和动作信息集;
所述终端设备与所述服务器通信连接,用于接收所述AR信息、所述语音信息和所述动作信息集,根据所述动作信息集指示工业相机按照预设路径动作以遍历线下场景中的各指定区域,其中,所述终端设备包括嵌入式平台,所述嵌入式平台包括主控模块和通信模块,所述主控模块用于解析所述动作信息集以生成控制指令,通过所述通信模块发送所述控制指令,以指示所述工业相机按照所述预设路径动作,以及,
分别在所述AR信息和所述语音信息中,确定与相机实景画面匹配的目标AR内容和目标语音内容,并将所述目标AR内容叠加在所述相机实景画面上,同时播报所述目标语音内容,其中,所述相机实景画面是所述工业相机动作过程中视场范围内的实景画面。
2.根据权利要求1所述的系统,其特征在于,所述终端设备还包括硬件执行装置,所述嵌入式平台与所述硬件执行装置信号连接,其中;
所述嵌入式平台还包括语音播报装置和所述工业相机;
所述通信模块用于与所述服务器建立连接,接收所述服务器发送的AR信息、语音信息和动作信息集并转存至所述主控模块,以及,与所述硬件执行装置进行信号交互。
3.根据权利要求2所述的系统,其特征在于,所述硬件执行装置包括驱动装置和电源装置,其中,
所述驱动装置与所述通信模块信号连接,并与所述工业相机滑动连接,用于接收所述主控模块发送的控制指令,根据所述控制指令拖动所述工业相机按照所述预设路径动作;
所述电源装置与所述驱动装置和所述嵌入式平台电性连接,用于对所述所述驱动装置和所述嵌入式平台供电。
4.根据权利要求3所述的系统,其特征在于,所述驱动装置包括第一驱动装置和第二驱动装置,其中,
所述第一驱动装置包括第一编码器、第一电机、第一传动装置和第一光电开关,用于拖动所述工业相机在Z轴方向动作;
所述第二驱动装置包括第二编码器、第二电机、第二传动装置和第二光电开关,用于拖动所述工业相机在Y轴方向动作。
5.根据权利要求4所述的系统,其特征在于,所述主控模块还用于:
在第一时刻,根据所述第一编码器和所述第二编码器的反馈信号,确定所述工业相机的角度偏移值,并基于所述角度偏移值,分别在所述AR信息和所述语音信息中,获取目标AR内容和目标语音内容,以及,
在所述第一时刻,获取所述工业相机视场范围内的相机实景画面,将所述目标AR内容渲染在所述相机实景画面上,并指示语音播报装置播放所述目标语音内容,其中,所述第一时刻是所述工业相机动作过程中的任一时刻。
6.根据权利要求3所述的系统,其特征在于,所述嵌入式平台还包括智能交互模块,其中,
所述智能交互模块与所述驱动装置和所述工业相机信号连接,用于接收用户的第一交互信号,并将其转换为控制所述工业相机移动的用户控制指令,以及,
发送所述用户控制指令信号至所述驱动装置,指示所述驱动装置动作将所述工业相机的视场移动到用户感兴趣的的目标区域。
7.根据权利要求6所述的系统,其特征在于,所述工业相机内部设置有可变焦摄像模组,所述可变焦摄像模组与所述智能交互模块信号连接;
所述智能交互模块还用于接收用户的第二交互信号,并将其转换为变焦控制信号和拍照触发信号,以及,
通过所述变焦控制信号指示所述可变焦摄像模组执行变焦动作,以及通过所述拍照触发信号指示所述工业相机拍摄用户图像。
8.根据权利要求1所述的系统,其特征在于,所述服务器还用于根据运营人员的操作信号更新所述AR信息、所述语音信息和所述动作信息集,
以及将所述更新之后的AR信息、语音信息和动作信息集,分发至所述终端设备。
9.根据权利要求3所述的系统,其特征在于,所述硬件执行装置还包括镜头防护装置,所述镜头防护装置用于根据太阳光照情况调整自身角度,以保护所述工业相机的镜头模组。
10.一种AR观览服务终端,其特征在于,所述终端与服务器通信连接,用于接收AR信息、语音信息和动作信息集,根据所述动作信息集指示工业相机按照预设路径动作以遍历线下场景中的各指定区域,其中,所述终端设备包括嵌入式平台,所述嵌入式平台包括主控模块和通信模块,所述主控模块用于解析所述动作信息集以生成控制指令,通过所述通信模块发送所述控制指令,以指示所述工业相机按照所述预设路径动作,以及,
分别在所述AR信息和所述语音信息中,确定与相机实景画面匹配的目标AR内容和目标语音内容,并将所述目标AR内容叠加在所述相机实景画面上,同时播报所述目标语音内容,其中,所述相机实景画面是所述工业相机动作过程中视场范围内的实景画面。
CN202111582580.6A 2021-12-22 2021-12-22 一种ar观览服务系统和终端 Active CN114666493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111582580.6A CN114666493B (zh) 2021-12-22 2021-12-22 一种ar观览服务系统和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111582580.6A CN114666493B (zh) 2021-12-22 2021-12-22 一种ar观览服务系统和终端

Publications (2)

Publication Number Publication Date
CN114666493A CN114666493A (zh) 2022-06-24
CN114666493B true CN114666493B (zh) 2024-01-26

Family

ID=82025919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111582580.6A Active CN114666493B (zh) 2021-12-22 2021-12-22 一种ar观览服务系统和终端

Country Status (1)

Country Link
CN (1) CN114666493B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107238920A (zh) * 2017-05-04 2017-10-10 深圳市元征科技股份有限公司 一种基于望远镜设备的控制方法及装置
CN107547359A (zh) * 2017-08-16 2018-01-05 华南理工大学 基于lbs与ar技术的旅游景点信息服务系统
CN108802995A (zh) * 2018-08-09 2018-11-13 深圳市前海打望技术有限公司 一种自动语音播报景点信息的观光望远镜
CN208969333U (zh) * 2018-12-06 2019-06-11 深圳市前海打望技术有限公司 一种增强现实显示的观光望远镜
CN110058398A (zh) * 2019-04-25 2019-07-26 深圳市声光行科技发展有限公司 一种vr望远镜
CN110764247A (zh) * 2019-11-19 2020-02-07 曹阳 一种ar望远镜
WO2020215590A1 (zh) * 2019-04-24 2020-10-29 深圳传音控股股份有限公司 智能拍摄设备及其基于生物特征识别的场景生成方法
CN111986294A (zh) * 2020-08-21 2020-11-24 北京浦泰锐迅技术有限公司 在电子观景望远镜屏幕上叠加内容的方法和系统
CN112198653A (zh) * 2020-10-13 2021-01-08 上海海事大学 一种船舶望远镜
CN112511758A (zh) * 2021-02-05 2021-03-16 四川睿谷联创网络科技有限公司 一种远程控制多摄像头载具实现旅游观光的方法及系统
CN112954207A (zh) * 2021-02-05 2021-06-11 北京瞰瞰科技有限公司 驾驶沿途景观抓拍方法、装置以及汽车中控台
CN113212304A (zh) * 2020-01-21 2021-08-06 上海赫千电子科技有限公司 一种应用于自驾旅游的车顶摄像头系统
CN214201916U (zh) * 2021-02-03 2021-09-14 武汉乐兔文旅智能科技有限公司 一种基于电路控制的观光望远镜系统
CN113391639A (zh) * 2021-06-28 2021-09-14 苏州追风者航空科技有限公司 一种户外空间观光方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843349B (zh) * 2011-06-24 2018-03-27 中兴通讯股份有限公司 实现移动增强现实业务的方法及系统、终端及服务器
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US10082664B2 (en) * 2013-09-23 2018-09-25 Samsung Electronics Co., Ltd. Tracking optics for a mobile device

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107238920A (zh) * 2017-05-04 2017-10-10 深圳市元征科技股份有限公司 一种基于望远镜设备的控制方法及装置
CN107547359A (zh) * 2017-08-16 2018-01-05 华南理工大学 基于lbs与ar技术的旅游景点信息服务系统
CN108802995A (zh) * 2018-08-09 2018-11-13 深圳市前海打望技术有限公司 一种自动语音播报景点信息的观光望远镜
CN208969333U (zh) * 2018-12-06 2019-06-11 深圳市前海打望技术有限公司 一种增强现实显示的观光望远镜
WO2020215590A1 (zh) * 2019-04-24 2020-10-29 深圳传音控股股份有限公司 智能拍摄设备及其基于生物特征识别的场景生成方法
CN110058398A (zh) * 2019-04-25 2019-07-26 深圳市声光行科技发展有限公司 一种vr望远镜
CN110764247A (zh) * 2019-11-19 2020-02-07 曹阳 一种ar望远镜
CN113212304A (zh) * 2020-01-21 2021-08-06 上海赫千电子科技有限公司 一种应用于自驾旅游的车顶摄像头系统
CN111986294A (zh) * 2020-08-21 2020-11-24 北京浦泰锐迅技术有限公司 在电子观景望远镜屏幕上叠加内容的方法和系统
CN112198653A (zh) * 2020-10-13 2021-01-08 上海海事大学 一种船舶望远镜
CN214201916U (zh) * 2021-02-03 2021-09-14 武汉乐兔文旅智能科技有限公司 一种基于电路控制的观光望远镜系统
CN112511758A (zh) * 2021-02-05 2021-03-16 四川睿谷联创网络科技有限公司 一种远程控制多摄像头载具实现旅游观光的方法及系统
CN112954207A (zh) * 2021-02-05 2021-06-11 北京瞰瞰科技有限公司 驾驶沿途景观抓拍方法、装置以及汽车中控台
CN113391639A (zh) * 2021-06-28 2021-09-14 苏州追风者航空科技有限公司 一种户外空间观光方法及系统

Also Published As

Publication number Publication date
CN114666493A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
EP3238445B1 (en) Interactive binocular video display
WO2021098582A1 (en) System and method for displaying virtual reality model
CN105684415A (zh) 球面全景视频拍摄系统
CN107925753A (zh) 利用动态相机进行3d图像捕捉的方法和系统
US10924691B2 (en) Control device of movable type imaging device and control method of movable type imaging device
CN106550239A (zh) 360度全景视频直播系统及其实现方法
CN104602129A (zh) 互动式多视角视频的播放方法及系统
CN205693769U (zh) 一种运动摄像机对全景目标快速定位捕捉系统
CN104822045A (zh) 采用预置位实现观察画面分布式联动显示的方法及装置
US11703942B2 (en) System and method for interactive 360 video playback based on user location
CN108259762A (zh) 一种漫游式全景图自动拍摄系统及方法
CN108650494A (zh) 基于语音控制的可即时获取高清照片的直播系统
CN109525816A (zh) 一种基于三维地理信息的多枪多球融合联动系统及方法
CN107197209A (zh) 基于全景相机的视频动态监控管理方法
CN108696724B (zh) 可即时获取高清照片的直播系统
US11657574B2 (en) Systems and methods for providing an audio-guided virtual reality tour
CN110764247A (zh) 一种ar望远镜
CN114666493B (zh) 一种ar观览服务系统和终端
CN107835384B (zh) 导览系统和方法
CN113810609B (zh) 视频传输方法、服务器、用户终端及视频传输系统
US20220122280A1 (en) Display apparatus for a video monitoring system, video monitoring system and method
US20230362485A1 (en) Camera service system and method
CN111654676B (zh) 一种协作拍摄系统及其拍摄方法
JP2022138018A (ja) 無人航空機制御システム
CN108366197A (zh) 图像建模方法及全景拍摄系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant