CN109491518A - 一种定位交互方法、交互装置及交互系统 - Google Patents

一种定位交互方法、交互装置及交互系统 Download PDF

Info

Publication number
CN109491518A
CN109491518A CN201811348845.4A CN201811348845A CN109491518A CN 109491518 A CN109491518 A CN 109491518A CN 201811348845 A CN201811348845 A CN 201811348845A CN 109491518 A CN109491518 A CN 109491518A
Authority
CN
China
Prior art keywords
positioning device
information
positioning
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811348845.4A
Other languages
English (en)
Inventor
宋康康
陆小松
张涛
蒲天发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Vision Optoelectronics Co Ltd
Original Assignee
Ningbo Vision Optoelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Vision Optoelectronics Co Ltd filed Critical Ningbo Vision Optoelectronics Co Ltd
Priority to CN201811348845.4A priority Critical patent/CN109491518A/zh
Publication of CN109491518A publication Critical patent/CN109491518A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

本发明提供了一种定位交互方法、交互装置及交互系统,用于实现定位设备与显示装置的互动,定位设备由用户操作,定位设备包括至少一个发光部,方法包括:实时获取图像采集装置采集的定位设备的图像;根据图像中的所述发光部的位置信息,计算得到定位设备的空间位置信息;发送空间位置信息至显示装置,以改变显示装置的显示内容或发送反馈信息给定位设备;采用图像采集装置捕捉主动发光装置,降低了现在空间定位技术的复杂度,并且提高了计算效率。

Description

一种定位交互方法、交互装置及交互系统
技术领域
本发明涉及图像显示和图像定位领域,具体而言,涉及一种定位交互方法、交互装置及交互系统。
背景技术
目前,为了实现在二维或者三维显示内容中,实时监测用户操作的装置的位置变化,实现在显示内容中根据用户的运动等动作,改变显示的内容或者根据显示内容中的情景,反馈情景中触发的信息给用户,从而完成用户与显示内容的交互,而目前实现对装置空间定位的技术主要有红外光学、激光塔定位等,这些定位设备目前成本很高。
发明内容
为了克服上述现有技术中的不足,本发明提供一种定位交互方法、交互装置及交互系统以改善上述问题。
为了实现上述目的,本发明实施例所提供的技术方案如下所示:
第一方面,本发明实施例提供一种定位交互方法,用于实现定位设备与显示装置的互动,定位设备由用户操作,定位设备包括至少一个发光部,方法包括:
实时获取图像采集装置采集的定位设备的图像;
根据图像中的发光部的位置信息,计算得到定位设备的空间位置信息;
发送空间位置信息至显示装置,以改变显示装置的显示内容或发送反馈信息给定位设备。
结合第一方面,在一些可能的实现方式中,所述根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息包括:
根据所述发光部的位置信息及预先得到的定位设备的轮廓,计算得到所述图像中所述定位设备的轮廓信息;
根据所述定位设备的轮廓信息及所述定位设备与所述发光部的位置关系,计算得到所述定位设备及其质心点的空间位置信息。
结合第一方面,在一些可能的实现方式中,所述图像采集装置包括至少两组处于不同位置的图像采集设备及标定板,所述标定板放置于图像采集装置前,每个所述图像采集设备获取的图像均包括完整的标定板;
所述根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息,包括:
生成每个所述图像采集设备获取的图像中标定板区域部分的图像的网格图像,每个网格表征的所述标定板上的面积均相同;
根据预设的定位设备与显示装置的距离生成每个网格的三维定位信息;
根据至少两组所述发光部的位置信息及预先得到的定位设备的轮廓,计算得到至少两组所述图像中所述定位设备的轮廓信息;
根据所述定位设备的轮廓信息及所述定位设备与所述发光部的位置关系,得到至少两组所述定位设备对应的网格;
将所述对应的网格的三维定位信息进行坐标变换融合,得到所述定位设备的三维的空间位置信息。
结合第一方面,在一些可能的实现方式中,所述定位设备包括至少两个发光部;所述方法还包括:
根据所述至少两个发光部的位置信息以及所述定位设备的轮廓信息,计算得到所述定位设备的角度信息;
发送所述角度信息至所述显示装置,以改变所述显示装置的显示内容或发送反馈信息给所述定位设备。
结合第一方面,在一些可能的实现方式中,所述定位设备设置有陀螺仪,在所述根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息后,所述方法还包括:
根据所述陀螺仪获得所述定位设备的角度信息,并判断所述空间位置信息是否定位到所述定位设备;
在为是时,根据所述定位设备的角度信息修正所述陀螺仪获得的角度信息;
在为否时,根据所述陀螺仪的角度信息修正所述定位设备的角度信息。
结合第一方面,在一些可能的实现方式中,所述实时获取图像采集装置采集的所述定位设备的图像包括:
根据预设的畸变系数矫正图像采集装置采集的原始图像,以获取所述图像。
第二方面,本发明实施例还提供一种交互装置,用于实现定位设备与显示装置的互动,所述定位设备由用户操作,所述定位设备包括至少一个发光部,交互装置包括:
获取单元,所述获取单元用于实时获取所述定位设备的图像;
处理单元,所述处理单元用于根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息;
发送单元,所述发送单元用于发送所述空间位置信息至所述显示装置,以改变所述显示装置的显示内容或发送反馈信息给所述定位设备。
第三方面,本发明实施例还提供一种交互系统,交互系统包括:定位设备和显示设备,定位设备由用户操作;
所述定位设备包括至少一个发光部;
所述显示设备包括图像采集装置、处理器及显示器,所述摄像组件用于获取所述定位设备的图像;
所述处理器用于根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息;
所述显示器根据所述空间位置信息,改变显示内容或反馈给所述定位设备。
结合第三方面,在一些可能的实现方式中,所述图像采集装置包括可见光过滤装置,所述可见光过滤装置用于过滤所述图像中与所述发光部发出的光属于不同波段的图像。
结合第三方面,在一些可能的实现方式中,所述定位设备包括反馈装置和至少一个按键;
所述反馈装置包括至少一个震子,所述震子用于根据所述显示器的反馈震动所述定位设备;
所述按键用于向显示装置发送动作信息,对应地,所述显示器根据所述动作信息改变显示内容或发送反馈信息给所述定位设备。
本发明的有益效果包括:
定位设备由用户手持或其他方式控制,在定位设备上安装发光部,设置图像采集装置用于采集包含有定位设备的图像,进而根据发光部的位置信息计算得到定位设备的空间位置信息,在显示装置得到定位设备的空间位置信息后,相应地改变显示内容或者给予定位设备反馈,从而利用定位设备反馈给用户,实现用户与显示内容的互动,相比于现有方式,设备的成本不高,降低了系统的复杂度。
为使本发明的上述目的、特征和有点能更明显易懂,下文举出本发明实施例,并配合所附附图,作详细说明。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例1提供的一种交互系统的系统结构示意图;
图2为本发明实施例2提供的定位交互方法的流程示意图;
图3为本发明实施例2提供的定位设备的轮廓及发光部模型示意图;
图4为本发明实施例3提供的一种交互装置的功能框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中,需要说明的是,指示方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,或者是本领域技术人员惯常理解的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明实施例的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接连接,也可以通过中间媒介间接连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
为便于本领域技术人员更好的理解本方案,先介绍交互系统的系统结构示意图。
实施例1
请参考图1,图1为本发明实施例1提供的一种交互系统10的系统结构示意图。
交互系统10包括:定位设备101与显示设备。
定位设备101由用户操作,所述定位设备101设置有发光部1011。
显示设备包括图像采集装置103、处理器104及显示器102,图像采集装置103用于获取所述定位设备101的图像。
处理器104用于根据所述图像中的发光部1011的位置信息,计算得到所述定位设备101的空间位置信息。
显示器102根据所述空间位置信息,改变显示内容或反馈给所述定位设备。
可选地,处理器104根据预设的畸变系数矫正图像采集装置103采集的原始图像,以获取所述图像。
可选地,处理器104还用于根据所述发光部1011的位置信息及预先得到的定位设备101的轮廓,计算得到所述图像中所述定位设备101的轮廓信息;
再根据所述定位设备101的轮廓信息及所述定位设备101与所述发光部1011的位置关系,计算得到所述定位设备101的空间位置信息。
可选地,图像采集装置103包括至少两组处于不同位置的图像采集镜头及标定板,所述标定板放置于图像采集镜头前,每个所述图像采集镜头获取的图像均包括完整的标定板;
图像采集装置103生成每个所述图像采集设备获取的图像中标定板区域部分的图像的网格图像,每个网格表征的所述标定板上的面积均相同;
处理器104根据预设的定位设备101与显示器102的距离生成每个网格的三维定位信息;
处理器104再根据至少两组所述发光部1011的位置信息及预先得到的定位设备101的轮廓,计算得到至少两组所述图像中所述定位设备101的轮廓信息,进一步地根据所述定位设备101的轮廓信息及所述定位设备101与所述发光部1011的位置关系,得到至少两组所述定位设备101对应的网格;之后将所述对应的网格的三维定位信息进行坐标变换融合,得到所述定位设备101的三维的空间位置信息。
可选地,处理器104还可以根据所述至少两个发光部1011的位置信息以及所述定位设备101的轮廓信息,计算得到所述定位设备101的角度信息;处理器104进而发送所述角度信息至所述显示器102,以改变所述显示器102的显示内容或发送反馈信息给所述定位设备101。
需要说明的是,在本实施例中定位设备101、显示器102、处理器104及图像采集装置103之间通过USB串线连接,在其他实施例中,也可以采用WiFi、蓝牙及Zigbee等传输方式,本实施例对此不做具体限制。
可选地,所述图像采集装置103包括可见光过滤装置,所述图像采集装置103包括可见光过滤装置,所述可见光过滤装置用于过滤所述图像中与所述发光部1011发出的光属于不同波段的图像。
利用可见光过滤系统,有效降低了环境光对定位算法的干扰,方便对发光部1011的定位,以及其他光线对定位设备101轮廓的影响,提升了定位算法的空间定位效率和稳定性。
可选地,所述定位设备101设置有陀螺仪,所述处理器根据所述陀螺仪获得所述定位设备101的角度信息,并判断所述空间位置信息是否定位到所述定位设备101;
在为是时,根据所述定位设备101的角度信息修正所述陀螺仪获得的角度信息;
在为否时,根据所述陀螺仪的角度信息修正所述定位设备101的角度信息。
可选地,定位设备101包括反馈装置和至少一个按键1012;
所述反馈装置包括至少一个震子,所述震子用于根据所述显示器102的反馈震动所述定位设备101;
所述按键用于向显示器102发送动作信息,对应地,所述显示器102根据所述动作信息改变显示内容或发送反馈信息给所述定位设备101。
在定位设备101上设置的反馈装置包括震子、加热件等,当显示内容中出现如:网球拍排击到网球时,处理器104反馈震动信息至反馈装置,震子工作使得定位设备101震动,进而可以将排击感反馈至用户;再比如,当用户的手在显示内容中的位置靠近一些很热的物体时,处理器104根据二者间的距离,给加热件反馈加热及加热的温度,进而也可以将显示内容中的一些热度反馈给用户,提高了虚拟环境的沉浸感。在其他实施例中也可以加入其他的反馈装置,本实施例对此不做限制。
进一步地,在定位设备101上设置一些功能性按键1012,用户按压如放大键,可以将显示内容放大处理,方便用户轻松观看到显示内容的部分位置的细节。在其他实施例中,功能性按键1012还包括旋转键等,本实施例对此不做限制。
实施例2
请参考图2及图3,图2为本发明实施例2提供的定位交互方法的流程示意图,图3为本实施例1提供的一种定位设备101的轮廓及发光部1011模型示意图。
定位交互方法的步骤包括:
S201:实时获取图像采集装置103采集的所述定位设备101的图像;
S202:根据所述图像中的所述发光部1011的位置信息,计算得到所述定位设备101的空间位置信息;
S203:发送所述空间位置信息至所述显示装置,以改变所述显示装置的显示内容或发送反馈信息给所述定位设备101。
需要说明的是,发光部1011可以为一个发光二极管或者小灯等,在本实施例中,定位设备101上设置为两个发光部1011方便对本发明的工作原理进行解释,在其他实施例中,发光部1011也可以设置为一个或三个等,同样可以起到本发明的效果,本实施例均不作限制。
进一步地,在本实施例中,发光部1011发出的光为不可见的紫外光,可选地,在步骤S201前,本实施例采用可见光过滤方法,在将可见光过滤后,有效降低了环境光对步骤S202中计算的影响,提高了空间定位的效率和稳定性。所述发光部1011也可以采用灯炮等其他发光光源设备,本实施例对此不做限制。
采集包含有定位设备101的图像,进而根据发光部1011的位置信息计算得到定位设备101的空间位置信息,在显示装置得到定位设备101的空间位置信息后,相应地改变显示内容或者给予定位设备101反馈,从而利用定位设备101反馈给用户,实现用户与显示内容的互动,相比于现有方式,设备的成本不高,降低了系统的复杂度。
可选地,步骤S201包括:
根据预设的畸变系数矫正图像采集装置103采集的原始图像,以获取所述图像。
需要说明的是,本实施例采用的图像采集装置103的镜头为短焦广角镜头,采用鱼眼标定算法可以获得镜头的畸变系数,在其他实施例中,畸变系数也可以通过相机标定算法中的Tsai标定法等得到,而且畸变系数即可以预先取得而作为预设值,也可以在本实施例提供的步骤S202之前通过计算取得,本实施例均不作限制。
根据计算得到的畸变系数矫正原始定位信息,避免了本实施例采用的广角镜头产生的图像存在的畸变问题,提高空间定位的准确性。
可选地,步骤S202包括:
根据所述发光部1011的位置信息及预先得到的定位设备101的轮廓,计算得到所述图像中所述定位设备101的轮廓信息。
根据所述定位设备101的轮廓信息及所述定位设备101与所述发光部1011的位置关系,计算得到所述定位设备101的空间位置信息。
根据图2所示的定位设备101的位置、所述两个发光部1011间及发光部1011与定位设备101之间的位置关系,即两个发光部1011位于所示定位设备101的前后两面,按照定位设备101的轮廓,即可从获得的图像中根据两个发光部1011与定位设备101间的位置关系,分割得到图像中定位设备101的位置。
需要说明的是,该方法得到的是二维显示内容中的定位信息,能够解决在二维显示内容的世界中对定位设备101的定位,实现用户与二维显示内容的交互。
可选地,图像采集装置103包括至少两组处于不同位置的图像采集设备及标定板,所述标定板放置于图像采集装置103前,每个所述图像采集装置103获取的图像均包括完整的标定板;对应的步骤S202还包括:
生成每个所述图像采集设备103获取的图像中标定板区域部分的图像的网格图像,每个网格表征的所述标定板上的面积均相同;
根据预设的定位设备101与显示器102的距离生成每个网格的三维定位信息;
根据至少两组所述发光部1011的位置信息及预先得到的定位设备101的轮廓,计算得到至少两组所述图像中所述定位设备101的轮廓信息;
根据所述定位设备101的轮廓信息及所述定位设备101与所述发光部1011的位置关系,得到至少两组所述定位设备101对应的网格;
将所述对应的网格的三维定位信息进行坐标变换融合,得到所述定位设备101的三维的空间位置信息。
需要说明的是,本实施例中网格大小设置为20cm×20cm,在其他实施例中,还可以将网格大小设置地更小,从而进一步降低图像采集装置的畸变误差引入的噪声。
在本实施例中,通过采用最近点迭代算法ICP的点云匹配方法将两组图像采集装置103得到的定位设备101对应的网格的空间位置信息进行坐标变换,得到最终交互融合的三维坐标信息,进而得到定位设备101的三维坐标信息实现三维定位。在其他实施例中,也可以采用正态分布变换方法NDT等点云匹配方法,本实施例对此不做具体限定。
通过两组图像采集装置103,即可得到定位设备101在三维显示内容的世界中的定位信息,实现用户与三维显示内容的交互,在其他实施例中,也可以采用三组或三组以上的图像采集设备,本实施例对此不做限制。
可选地,定位交互方法还包括:
根据所述至少两个发光部1011的位置信息以及所述定位设备101的轮廓信息,计算得到所述定位设备101的角度信息;
发送所述角度信息至所述显示器102,以改变所述显示器102的显示内容或发送反馈信息给所述定位设备101。
请再次参考图2,在定位设备101不属于球体或其他表面功能或意义完全相同时,得到定位设备101的角度信息,可以更细致地检测到用户对定位设备101的操作,例如,定位设备101代表显示装置中的网球拍时,用不同的角度击打网球,效果明显不同,因而通过得到定位设备101的角度信息,进一步提高了虚拟环境的真实感。
将两个发光部1011设置于定位设备101除了其长度中点外的其他位置,还可以进一步地分析出所示定位设备101的前后两端,得到进一步的角度信息,本实施例对此不做具体限制。
可选地,所述定位设备101设置有陀螺仪,在步骤S202后,定位交互方法还包括:
根据所述陀螺仪获得所述定位设备101的角度信息,并判断所述空间位置信息是否定位到所述定位设备101;
在为是时,根据所述定位设备101的角度信息修正所述陀螺仪获得的角度信息;
在为否时,根据所述陀螺仪的角度信息修正所述定位设备101的角度信息。
陀螺仪能够提供高精度的瞬时空间位置,在定位成功时,可以根据定位设备101的角度信息修正陀螺仪得到角度信息中的参数,从而保证两种方式得到的角度对齐;在定位失败时,可以根据陀螺仪得到的角度信息对根据图像采集装置得到的角度信息进行修正弥补,提高定位的稳定性与准确性。
举例说明定位显示交互方法的工作过程:假设采用两组图像采集设备,且定位设备101中设置两个发光部1011,设置好两组图像采集设备及两个发光部1011,即可得到图像采集装置103间、两个发光部1011间及发光部1011与定位设备101间的结构关系,图像采集装置的镜头采用短焦广角镜头,并获取得到其短焦广角镜头的畸变系数。
单个图像采集装置103采集到过滤后的图像后的处理过程:利用畸变系数对获取到的图像先进行矫正,在矫正后的图像中得到发光部1011的发光点,进而得到发光部1011在两组图像中的位置信息。
两组图像均包含标定板,将标定板按照相同大小的网格划分,网格大小为20cm×20cm,按照预设的用户与显示装置之间的距离设定每个网格的三维点位信息,进一步根据两个发光部1011的位置信息,得到在两个图像中,两个发光部1011分别位于哪一个网格,从而得两个发光部1011位于两个图像中的坐标位置信息;进一步,利用点云匹配算法,分别计算两组图像中的网格空间信息,得到两个发光部1011位于三维坐标中的空间位置信息,从而根据两个发光部1011间、发光部1011与定位设备101间的结构关系以及定位设备101的轮廓,根据图像分割法得到图像中所述定位设备101的三维位置信息及三维角度信息。
在定位后,可以根据用户反馈判断定位是否成功,如果成功,则根据定位的三维角度信息修正陀螺仪的角度信息,如果用户反馈不成功,则可以按照陀螺仪角度信息弥补根据图像采集装置采集图像计算出的三维位置信息。
完成所有定位操作后,显示装置根据定位信息修改显示内容,或者按照预设的显示内容中的触发条件,反馈信息至定位设备101,定位设备101完成一些如震动定位设备101,反馈震动感给用户的操作,实现定位设备101与显示装置的信息互动,进而完成用户与显示内容间的交互,实现人机双向交互。
实施例3
基于同一发明构思,本发明实施例还提供一种交互装置40,用于执行如图2所示的定位交互方法。请参考图4,图4为本发明实施例3提供的交互装置40的功能框图。
交互装置40用于实现定位设备与显示装置的互动,所述定位设备由用户操作,所述定位设备包括至少一个发光部,交互装置40包括:
获取单元401用于实时获取所述定位设备的图像。
处理单元402用于根据所述图像中的所述发光部1011的位置信息,计算得到所述定位设备101的空间位置信息。
发送单元403用于发送所述空间位置信息至所述显示器102,以改变所述显示器102的显示内容或发送反馈信息给所述定位设备101。
可选地,获取单元401根据预设的畸变系数矫正图像采集装置103采集的原始图像,以获取所述图像。
可选地,处理单元402还用于根据所述发光部的位置信息及预先得到的定位设备101的轮廓,计算得到所述图像中所述定位设备101的轮廓信息。
处理单元402再根据所述定位设备101的轮廓信息及所述定位设备101与所述发光部1011的位置关系,计算得到所述定位设备101的空间位置信息。
可选地,图像采集模块103包括至少两组处于不同位置的图像采集镜头及标定板,所述标定板放置于图像采集镜头前,每个所述图像采集镜头获取的图像均包括完整的标定板。
获取单元401生成每个所述图像采集装置103获取的图像中标定板区域部分的图像的网格图像,每个网格表征的所述标定板上的面积均相同。
处理单元402根据预设的定位设备101与显示器102的距离生成每个网格的三维定位信息,再根据至少两组所述发光部1011的位置关系及预先得到的定位设备101的轮廓,计算得到至少两组所述图像中所述定位设备101的轮廓信息;进一步根据定位设备101的轮廓信息及所述定位设备101与所述发光部1011的位置关系,得到至少两组所述定位设备101对应的网格;将对应的网格的三维定位信息进行坐标变换融合,得到所述定位设备101的三维的空间位置信息。
可选地,处理单元402还可以根据所述至少两个发光部1011的位置信息以及所述定位设备101的轮廓信息,计算得到所述定位设备101的角度信息。
发送单元403发送所述角度信息至所述显示器102,以改变所述显示器102的显示内容或发送反馈信息给所述定位设备101。
本实施例中的交互装置40与前述图2所示的定位交互方法是基于同一构思下的发明,通过前述对定位交互方法及其各种变化形式的详细描述,本领域技术人员可以清楚的了解本实施例3中交互装置40的实施过程,所以为了说明书的简洁,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种定位交互方法,其特征在于,用于实现定位设备与显示装置的互动,所述定位设备由用户操作,所述定位设备包括至少一个发光部,所述方法包括:
实时获取图像采集装置采集的所述定位设备的图像;
根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息;
发送所述空间位置信息至所述显示装置,以改变所述显示装置的显示内容或发送反馈信息给所述定位设备。
2.根据权利要求1所述的定位交互方法,其特征在于,所述根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息包括:
根据所述发光部的位置信息及预先得到的定位设备的轮廓,计算得到所述图像中所述定位设备的轮廓信息;
根据所述定位设备的轮廓信息及所述定位设备与所述发光部的位置关系,计算得到所述定位设备的空间位置信息。
3.根据权利要求1所述的定位交互方法,其特征在于,所述图像采集装置包括至少两组处于不同位置的图像采集设备及标定板,所述标定板放置于图像采集装置前,每个所述图像采集设备获取的图像均包括完整的标定板;
所述根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息,包括:
生成每个所述图像采集设备获取的图像中标定板区域部分的图像的网格图像,每个网格表征的所述标定板上的面积均相同;
根据预设的定位设备与显示装置的距离生成每个网格的三维定位信息;
根据至少两组所述发光部的位置信息及预先得到的定位设备的轮廓,计算得到至少两组所述图像中所述定位设备的轮廓信息;
根据所述定位设备的轮廓信息及所述定位设备与所述发光部的位置关系,得到至少两组所述定位设备对应的网格;
将所述对应的网格的三维定位信息进行坐标变换融合,得到所述定位设备的三维的空间位置信息。
4.根据权利要求1所述的定位交互方法,其特征在于,所述定位设备包括至少两个发光部;所述方法还包括:
根据所述至少两个发光部的位置信息以及所述定位设备的轮廓信息,计算得到所述定位设备的角度信息;
发送所述角度信息至所述显示装置,以改变所述显示装置的显示内容或发送反馈信息给所述定位设备。
5.根据权利要求4所述的定位交互方法,其特征在于,所述定位设备设置有陀螺仪,在所述根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息后,所述方法还包括:
根据所述陀螺仪获得所述定位设备的角度信息,并判断所述空间位置信息是否定位到所述定位设备;
在为是时,根据所述定位设备的角度信息修正所述陀螺仪获得的角度信息;
在为否时,根据所述陀螺仪的角度信息修正所述定位设备的角度信息。
6.根据权利要求1所述的定位交互方法,其特征在于,所述实时获取图像采集装置采集的所述定位设备的图像包括:
根据预设的畸变系数矫正图像采集装置采集的原始图像,以获取所述图像。
7.一种交互装置,其特征在于,用于实现定位设备与显示装置的互动,所述定位设备由用户操作,所述定位设备包括至少一个发光部,所述交互装置包括:
获取单元,所述获取单元用于实时获取所述定位设备的图像;
处理单元,所述处理单元用于根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息;
发送单元,所述发送单元用于发送所述空间位置信息至所述显示装置,以改变所述显示装置的显示内容或发送反馈信息给所述定位设备。
8.一种交互系统,其特征在于,所述交互系统包括:定位设备和显示设备,所述定位设备由用户操作;
所述定位设备包括至少一个发光部;
所述显示设备包括图像采集装置、处理器及显示器,所述摄像组件用于获取所述定位设备的图像;
所述处理器用于根据所述图像中的所述发光部的位置信息,计算得到所述定位设备的空间位置信息;
所述显示器根据所述空间位置信息,改变显示内容或反馈给所述定位设备。
9.根据权利要求8所述的交互系统,其特征在于,所述图像采集装置包括可见光过滤装置,所述可见光过滤装置用于过滤所述图像中与所述发光部发出的光属于不同波段的图像。
10.根据权利要求8所述的交互系统,其特征在于,所述定位设备包括反馈装置和至少一个按键;
所述反馈装置包括至少一个震子,所述震子用于根据所述显示器的反馈震动所述定位设备;
所述按键用于向显示器发送动作信息,对应地,所述显示器根据所述动作信息改变显示内容或发送反馈信息给所述定位设备。
CN201811348845.4A 2018-11-13 2018-11-13 一种定位交互方法、交互装置及交互系统 Pending CN109491518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811348845.4A CN109491518A (zh) 2018-11-13 2018-11-13 一种定位交互方法、交互装置及交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811348845.4A CN109491518A (zh) 2018-11-13 2018-11-13 一种定位交互方法、交互装置及交互系统

Publications (1)

Publication Number Publication Date
CN109491518A true CN109491518A (zh) 2019-03-19

Family

ID=65695755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811348845.4A Pending CN109491518A (zh) 2018-11-13 2018-11-13 一种定位交互方法、交互装置及交互系统

Country Status (1)

Country Link
CN (1) CN109491518A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674344A (zh) * 2021-10-22 2021-11-19 深圳市莱法照明通信科技有限公司 基于工业摄像机的照明光定位方法、装置及相关设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697233A (zh) * 2009-10-16 2010-04-21 长春理工大学 一种基于结构光的三维物体表面重建方法
CN102520805A (zh) * 2011-12-24 2012-06-27 华南理工大学 基于非光投影的输入方法和键盘
US20120182276A1 (en) * 2011-01-19 2012-07-19 Broadcom Corporation Automatic adjustment of display systems based on light at viewer position
CN102609150A (zh) * 2011-01-21 2012-07-25 东莞万士达液晶显示器有限公司 交互式投影装置以及交互式投影装置的操作方法
CN102662501A (zh) * 2012-03-19 2012-09-12 Tcl集团股份有限公司 光标定位系统、方法、被遥控装置及遥控器
CN103176668A (zh) * 2013-03-07 2013-06-26 广东威创视讯科技股份有限公司 一种用于摄像头定位触摸系统的拍摄图像校正方法
CN104820567A (zh) * 2015-04-30 2015-08-05 三星电子(中国)研发中心 一种使用手写笔控制拍照的方法、设备与系统
CN105373266A (zh) * 2015-11-05 2016-03-02 上海影火智能科技有限公司 一种新型的基于双目视觉的交互方法和电子白板系统
CN108700957A (zh) * 2017-06-30 2018-10-23 广东虚拟现实科技有限公司 用于虚拟环境中文本输入的电子系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697233A (zh) * 2009-10-16 2010-04-21 长春理工大学 一种基于结构光的三维物体表面重建方法
US20120182276A1 (en) * 2011-01-19 2012-07-19 Broadcom Corporation Automatic adjustment of display systems based on light at viewer position
CN102609150A (zh) * 2011-01-21 2012-07-25 东莞万士达液晶显示器有限公司 交互式投影装置以及交互式投影装置的操作方法
CN102520805A (zh) * 2011-12-24 2012-06-27 华南理工大学 基于非光投影的输入方法和键盘
CN102662501A (zh) * 2012-03-19 2012-09-12 Tcl集团股份有限公司 光标定位系统、方法、被遥控装置及遥控器
CN103176668A (zh) * 2013-03-07 2013-06-26 广东威创视讯科技股份有限公司 一种用于摄像头定位触摸系统的拍摄图像校正方法
CN104820567A (zh) * 2015-04-30 2015-08-05 三星电子(中国)研发中心 一种使用手写笔控制拍照的方法、设备与系统
CN105373266A (zh) * 2015-11-05 2016-03-02 上海影火智能科技有限公司 一种新型的基于双目视觉的交互方法和电子白板系统
CN108700957A (zh) * 2017-06-30 2018-10-23 广东虚拟现实科技有限公司 用于虚拟环境中文本输入的电子系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674344A (zh) * 2021-10-22 2021-11-19 深圳市莱法照明通信科技有限公司 基于工业摄像机的照明光定位方法、装置及相关设备

Similar Documents

Publication Publication Date Title
US10674142B2 (en) Optimized object scanning using sensor fusion
CN105760106B (zh) 一种智能家居设备交互方法和装置
CN107564012B (zh) 面向未知环境的增强现实方法及装置
CN111880657B (zh) 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN107924590B (zh) 增强现实系统中的基于图像的跟踪
WO2019233445A1 (zh) 对房屋进行数据采集和模型生成的方法
CN105094335B (zh) 场景提取方法、物体定位方法及其系统
CN108846867A (zh) 一种基于多目全景惯导的slam系统
CN109804411A (zh) 用于同时定位和映射的系统和方法
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CN103824282B (zh) 使用表面映射图、物体阴影和一个相机的触摸及运动检测
CN110825234A (zh) 一种面向工业场景的投影式增强现实跟踪显示方法和系统
CN101539804A (zh) 基于增强虚拟现实与异型屏的实时人机互动方法及系统
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
CN107004275A (zh) 用于确定实物的至少一部分的处于绝对空间比例的3d重构件的空间坐标的方法和系统
KR20230028532A (ko) 가상 현실 경험들을 위한 지상 실측값 데이터세트들의 생성
CN109032348A (zh) 基于增强现实的智能制造方法与设备
CN103425409B (zh) 投影显示的控制方法和装置
CN104272726A (zh) 显示影像形成装置及显示影像形成方法
CN109828681A (zh) 激光笔光流轨迹跟踪方法、投影设备及计算机可读存储介质
CN108510520B (zh) 一种图像处理方法、装置及ar设备
CN108830943A (zh) 一种图像处理方法及虚拟现实设备
CN103019375B (zh) 一种基于图像识别的光标控制方法及其系统
WO2017122270A1 (ja) 画像表示装置
CN109491518A (zh) 一种定位交互方法、交互装置及交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination