CN104932698A - 一种手持交互设备装置及其投影交互方法 - Google Patents
一种手持交互设备装置及其投影交互方法 Download PDFInfo
- Publication number
- CN104932698A CN104932698A CN201510390094.2A CN201510390094A CN104932698A CN 104932698 A CN104932698 A CN 104932698A CN 201510390094 A CN201510390094 A CN 201510390094A CN 104932698 A CN104932698 A CN 104932698A
- Authority
- CN
- China
- Prior art keywords
- module
- projection
- interactive device
- hand
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000004891 communication Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000004040 coloring Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 208000035126 Facies Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000030214 innervation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明一种手持交互设备装置及其投影交互方法，手持交互设备装置包括投影模块，用于将初始化虚拟投影信息投影到现实投影空间；摄像模块，用于采集虚拟现实投影空间图像数据信息，建立坐标转换模型及获得坐标转换参数信息；传感控制模块，用于获取手持交互设备与初始现实投影空间的相对位置信息；中央处理单元，用于接收并根据图像视觉算法处理分析来自摄像模块，投影模块和传感控制模块的数据信息，并根据分析结果，控制投影模块投影相应的虚拟投影信息；无线通信模块；以及存储模块所述投影模块、摄像模块、传感控制模块、无线通信模块以及存储模块均与由中央处理单元电相连，由中央处理单元控制。
Description
技术领域
本发明属于虚拟现实领域，尤其涉及一种集成投影装置的手持交互设备投影交互方法及其装置。
背景技术
随着电子集成技术和计算机技术的发展，各种集多功能于一体的手持交互设备和多媒体应用层出不穷，用户对大屏幕和虚拟现实人机交互的要求也越来越强烈。互动投影是一种近年来比较流行的多媒体展示平台，采用计算机视觉技术和投影显示技术，用户可以将自身或者周围的三维空间与投影区域上的虚拟场景进行交互，来营造一种动感的交互体验。互动投影具有自然、简洁、直接的特点，在虚拟现实、人机交互、视觉监控等领域均有着广泛的应用前景。将投影机、计算机、摄像机等结合在一起形成的手持交互设备，除了拥有一般的投影功能，还具有特效投影功能，丰富了用户体验，使用更随时随地化。
但是现有的手持交互设备在虚拟现实交互中，实时互动效果会受到手持交互设备角度、位置以及投影环境的变化等因素的影响，难以随时随地、准确顺畅地进行虚拟现实人机交互，体验效果较差。
发明内容
针对上述技术问题，本发明的目的是克服上述的现有技术的不足，提供一种手持交互设备装置及其投影交互方法，将投影模块、摄像模块、传感控制模块、无线通信模块、存储模块以及中央处理单元相结合形成一种手持交互设备。该手持交互设备，体积较小，重量较轻，主要由用户放置在手上用手去控制其位置和角度变化进行交互工作，可随时随地准确流畅地进行虚拟现实交互，不会受到手持交互设备角度、位置以及投影环境的变化等因素的影响，具有强大的功能性、娱乐性，同时提高了用户的身临其境感以及视觉享受。
为实现上述目的，本发明采用了如下技术方案：
一种手持交互设备交互装置，包括：投影模块，用于将初始化虚拟投影信息投影到现实投影空间；摄像模块，用于采集虚拟现实投影空间图像数据信息，建立坐标转换模型及获得坐标转换参数信息；传感控制模块，用于获取手持交互设备与初始现实投影空间的相对位置信息；中央处理单元，用于接收并根据图像视觉算法处理分析来自摄像模块，投影模块和传感控制模块的数据信息，并根据分析结果，控制投影模块投影相应的虚拟投影信息；无线通信模块；以及存储模块；所述投影模块、摄像模块、传感控制模块、无线通信模块以及存储模块均与由中央处理单元电相连，由中央处理单元控制。
根据优选实施例，所述中央处理单元为安卓系统或者Linux系统或IOS系统。
根据优选实施例，所述手持交互设备还包括：充电电池和无线充电模块；音频电路和扬声器。充电电池使手持交互设备不受有线电源的牵绊，可随时随地灵活地工作；手持交互设备功能性和娱乐性较丰富，因此耗电量比较大，无线充电模块可及时有效地补充充电电池的电量，大大增强了手持交互设备的续航能力。
根据优选实施例，所述传感控制模块包括：所述传感控制模块包括：方向传感器和加速度传感器和角速度传感器和/或重力传感器和/或红外传感器。
根据优选实施例，所述摄像模块可以采集投影模块完整的投影画面。
根据优选实施例，所述手持交互设备还包括触控传感器，可以为触摸屏。
根据优选实施例，所述无线通信模块包括：蓝牙通信器和/或WIFI通信器，可方便快捷地接收其他电子设备向其发送的数据信息。
根据优选实施例，所述投影模块光源为LED光源，体积较小，可满足嵌入手持交互设备的要求。
本发明还提供了一种手持交互设备投影交互方法，包括以下步骤：
(S1)投影模块将初始化虚拟投影信息投影到现实投影空间；
(S2)摄像模块采集虚拟现实投影空间图像数据信息；
(S3)用户根据虚拟现实空间图像实时控制手持交互设备运动；
(S4)传感控制模块实时获取手持交互设备的相对位置信息以及虚拟投影空间上的图像信息；
(S5)中央处理单元用于接收并根据图像视觉算法处理分析来自摄像模块和传感控制模块的数据信息；
(S6)中央处理单元根据分析结果，控制投影模块投影相应的虚拟投影信息，实现虚拟现实交互。
根据优选实施例，所述步骤(S1)进一步包括：
(S11)启动手持交互设备的所有工作模块；
(S12)摄像模块采集初始现实投影空间图像数据信息；
(S13)传感控制模块获取手持交互设备与初始现实投影空间的相对位置信息；
(S14)中央处理单元接收并分析来自摄像模块，投影模块和传感控制模块的信息，建立手持交互设备与投影空间的模型关系，初始化投影模块参数，使其正常投影；
(S15)投影模块将初始化虚拟投影信息投影到现实投影空间。
根据优选实施例，所述现实投影空间图像数据信息为现实投影空间的三维信息，其信息包括现实投影空间的位置信息，颜色信息，以及其他可以确定现实投影空间位置、凹凸和纹理状况，颜色亮度状况的信息。
根据优选实施例，所述手持交互设备的位置信息包括：手持交互设备的角度姿势以及手持交互设备与现实投影空间的相对位置距离。
与现有技术相比，本发明具有如下有益效果：本发明提供了一种手持交互设备装置及其投影交互方法，所述手持交互设备包括：投影模块，对虚拟图像进行投影；摄像模块，采集虚拟现实空间图像数据信息；传感控制模块，实时获取手持交互设备的位置信息；中央处理单元，用于接收并根据图像视觉算法处理分析来自摄像模块和传感控制模块的数据信息；投影模块、摄像模块和传感控制模块均与由中央处理单元电相连，由中央处理单元控制。手持交互设备投影交互方法将投影模块、摄像模块、传感控制模块以及中央处理单元相结合，可以根据虚拟现实投影空间图像实时地运动，改变其角度姿势以及与投影空间的相对位置关系，进而可随时随地进行虚拟现实交互，具有强大的功能性、娱乐性，同时提高了用户的趣味性以及视觉享受。
附图说明
图1为根据本发明的实施例的一种手持交互设备交互装置的示意图；
图2为根据本发明的实施例的一种手持交互设备投影交互方法流程图；
图3为根据本发明的实施例的一种手持交互设备投影交互方法的具体流程图；
图4为根据本发明的实施例的一种手持交互设备投影交互方法的具体流程图；
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
图1为根据本发明的实施例的一种手持交互设备交互装置的示意图。如图1所示，所述手持交互设备交互装置100包括：投影模块102、摄像模块103、传感控制模块104、无线通信模块105、存储模块106以及中央处理单元101；投影模块102、摄像模块103、传感控制模块104、无线通信模块105以及存储模块106均与由中央处理单元101电相连，由中央处理单元101控制。
所述摄像模块103用于采集虚拟现实空间图像数据信息；所述传感控制模块104用于实时获取手持交互设备的位置信息以及虚拟投影空间上的图像信息；所述中央处理单元101用于接收并根据图像视觉算法处理分析来自摄像模块103和传感控制模块104的数据信息，并根据分析结果，控制投影模块102投影相应的虚拟投影信息；使用存储模块106便于将使用过程中产生的数据信息进行存储，以便于中央处理单元101进行数据对比分析，或者便于进行数据的查找等分析。
其中，所述摄像模块103包括采集装置，采集装置可以是我们平时使用的摄像头灯装置；投影模块102包括投影装置，投影装置可以是LED光源的LCOS微型投影机或者DLP微型投影机，体积较小，可满足手持的要求。
其中，所述中央处理单元101可以为安卓系统或者Linux系统或IOS系统，所述系统可以使用现有的便携式设备的系统，也可以单独设置专用的处理系统。
所述手持交互设备100还可包括：充电电池和无线充电模块；音频电路和扬声器。充电电池使手持交互设备不受有线电源的牵绊，可随时随地灵活地工作；手持交互设备功能性和娱乐性较丰富，因此耗电量比较大，无线充电模块可及时有效地补充充电电池的电量，大大增强了手持交互设备100的续航能力；使用充电电池使用更加便捷。音频电路和扬声器的设置可以在在用户手持交互式设备的同时进行音频的播放，提高用户的体验乐趣。另外，手持交互设备100在具有无线通信模块105的基础上，结合音频电路，用户可以利用手机或平板电脑等移动终端在一定距离内得到音频和视频信息，监控不在视线范围内的婴儿情况。
所述传感控制模块104包括：方向传感器和加速度传感器和角速度传感器和/或重力传感器和/或红外传感器。其中，当用户手持交互设备100并控制其运动时，角度传感器可感知围绕手持交互设备的三轴的角速度，结合转动时间，计算出手持设备实时转动过的角度，并传送给中央处理单元101；方向传感器，可对手持交互设备所对准的方向进行绝对对位，进一步减小角度传感器的计算误差；加速度传感器，结合多组数据计算得到手持交互设备的摆放状态，如平放还是倾斜，倾斜的角度，运动状态等。另外，手持交互设备100结合红外传感器，具有自动对焦的功能，可应用于安防领域。通过方向传感器，可以对手持交互设备100所对准的方向进行绝对对位，然后再通过重力传感器返回的数据，可以计算出手持交互设备100的状态是平放还是倾斜，倾斜的角度或者其他参数，得到这些参数后，中央处理单元101可以计算出目前手持交互设备100的对准的方位，然后把存储在存储模块106中预先储存的与该方位所对应的图像投影出来。可以先通过角度传感器对手持交互设备100进行初步定位，然后中央处理单元101通过方向传感器，重力传感器返回的数据，进行一些计算，对角度传感器所产生的一些误差进行纠正。
所述摄像模块103可以采集投影模块102完整的投影画面。
所述手持交互设备100还包括触控传感器，可以为触摸屏。
所述无线通信模块105还包括蓝牙通信设备和/或WIFI通信设备，可方便快捷地接收其他电子设备向其发送的数据信息。
图2为根据本发明的实施例的一种手持交互设备投影交互方法的流程图；包括以下步骤：
(S1)投影模块将初始化虚拟投影信息投影到现实投影空间；
(S2)摄像模块采集虚拟现实投影空间图像数据信息，建立坐标转换模型及获得坐标转换参数信息；
(S3)用户根据虚拟现实空间图像实时控制手持交互设备运动；
(S4)传感控制模块实时获取手持交互设备的相对位置信息以及虚拟投影空间上的图像信息；
(S5)中央处理单元用于接收并根据图像视觉算法处理分析来自摄像模块，投影模块和传感控制模块的数据信息；
(S6)中央处理单元根据分析结果，控制投影模块投影相应的虚拟投影信息，实现虚拟现实交互。
在本发明的一种优选实施例中，在步骤(S1)，摄像模块获得初始化的虚拟投影信息，投影模块将初始化的虚拟投影图像投影到现实投影空间；在步骤(S2)，摄像模块从虚拟现实投影空间图像数据信息中选取特征点，摄像模块实时采集包括虚拟现实投影空间特征点的相对位置信息，对所采集的图像进行处理提取其中已选定的特征点，获得选定特征点在投影空间上的位置信息，并将信息传送给中央处理单元，利用特征点在摄像模块成像面上的图像位置信息，以及投影空间上的位置信息，建立坐标转换模型及获得坐标转换参数信息；在步骤(S3)，用户根据虚拟现实空间图像实时控制手持交互设备运动；在步骤(S4)，利用传感控制模块获取手持交互设备与虚拟现实投影空间的相对位置信息，利用采集装置实时采集包括手持交互设备作用点的虚拟现实空间投影图像位置信息；步骤(S5)中，中央处理单元接收并分析来自摄像模块和传感控制模块的信息，通过选定特征点在虚拟现实空间上的位置信息以及手持交互设备与虚拟现实空间的初始相对位置信息，并根据图像视觉算法处理分析来自摄像模块和传感控制模块的数据信息，得到手持交互设备在虚拟图像上的虚拟位置信息，将采集的位置信息通过坐标系的对应转换关系算法进行数据处理，并得到对应的执行位置信息；在步骤(S6)，中央处理单元根据分析结果，控制投影模块根据手持交互设备在虚拟图像上的虚拟位置信息投影相应的虚拟投影信息，并在原始数据输入界面上的相应位置点执行相应的控制，实现虚拟现实交互。
如图3所示，在本发明的一种优选实施例中，步骤(S1)进一步包括：
(S11)启动手持交互设备的所有工作模块；
(S12)摄像模块中的采集装置采集初始现实投影空间图像数据信息；
(S13)传感控制模块获取手持交互设备与初始现实投影空间的相对位置信息；
(S14)中央处理单元接收并分析来自摄像模块和传感控制模块的信息，建立手持交互设备与投影空间的模型关系，初始化投影模块参数，使其正常投影；
(S15)投影模块将初始化虚拟投影信息投影到现实投影空间。
在本发明的一种优选实施例中，在步骤(S12)，采集装置采集初始现实投影空间图像数据信息，并从初始现实投影空间图像数据信息中选取特征点，对所采集的图像进行处理提取其中已选定的特征点，获得选定特征点在初始现实投影空间上的位置信息，并将信息传送给中央处理器；在步骤(S13)利用传感控制模块获取手持交互设备与初始现实投影空间的初始相对位置信息，并将信息传送给中央处理单元；步骤(S14)中，中央处理单元接收并分析来自摄像模块和传感控制模块的信息，通过选定特征点在初始现实投影空间上的位置信息以及手持交互设备与初始现实投影空间的初始相对位置信息，建立手持交互设备与投影空间的初始模型关系及获得初始化投影模块参数信息；在步骤(S15)，投影模块将初始化的虚拟投影信息投影到现实投影空间。
如图4所示，在本发明的一种优选实施例中，步骤(S2)进一步包括：
(S21)使用摄像模块中的采集装置采集投影的图像，并从已知的虚拟现实投影空间投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，获得选定特征点的位置信息；
(S22)建立虚拟现实投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系模型，结合选定特征点在虚拟现实投影图像空间上的位置信息，获得采集装置内外部参数信息，完成采集装置的标定；
(S23)建立虚拟现实投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型，结合选定特征点在虚拟现实投影图像空间上的位置信息，获得投影装置内外部参数信息，完成投影装置的标定。
在本发明的一种优选实施例中，所述步骤(S22)所述建立的虚拟现实投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系模型关系为：虚拟现实投影图像空间的物理坐标系中的坐标与采集装置成像面上的初始外部参数旋转矩阵和平移矩阵进行运算，可将虚拟现实投影图像空间的物理坐标系转换为采集装置成像面坐标系；结合理想小孔成像模型，将采集装置成像面坐标系与采集装置的内部参数进行运算，将采集装置镜头坐标系转换为采集装置成像面的像素坐标系。公知的是，理想小孔成像模型是用来描述空间中的任意点和其在图像上的成像点之间的对应关系的几何模型。这些几何模型参数就是采集装置的标定参数。
优选地，所述步骤(S22)所述虚拟现实投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系模型为：
其中，(X,Y,Z)表示虚拟现实投影图像空间点的物理坐标，X、Y和Z分别为所述虚拟现实投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值；为采集装置成像面上点的像素坐标，和分别为采集装置成像面上点的列像素坐标值和行像素坐标值；w表示采集装置成像的景深参数，且w＝Z；cx和cy分别表示采集装置成像面上点的横向偏移量和纵向偏移量；fx和fy分别表示采集装置成像面上点的横向焦距参数和纵向焦距参数；为采集装置成像面上点的旋转矩阵；P＝[px,py,pz]T为采集装置成像的平移矩阵；所述的采集装置内部参数为：采集装置成像面上点的横向偏移量cx和纵向偏移量cy，以及采集装置成像面上点的横向焦距参数fx和纵向焦距参数fy；所述的采集装置外部参数为：旋转矩阵和平移矩阵P＝[px,py,pz]T。
在本发明的一种优选实施例中，所述步骤(S23)所述建立的虚拟现实投影图像空间物理坐标系与投影装置物平面像素坐标系的模型转换关系为：虚拟现实投影图像空间点的物理坐标系中的坐标与投影装置的外部参数旋转矩阵和平移矩阵进行运算，可将虚拟现实投影图像空间点的物理坐标系转换为投影装置投影镜头坐标系；结合理想小孔成像模型，将投影装置投影镜头坐标系与投影装置的内部参数进行运算，将投影装置投影镜头坐标系转换为投影装置物平面上点的像素坐标系。公知的是，理想小孔成像模型是用来描述空间中的任意点和其在图像上的成像点之间的对应关系的几何模型。这些几何模型参数就是采集装置的标定参数。
优选地，所述步骤(S23)所述建立的虚拟现实投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型为:
其中，(X,Y,Z)表示虚拟现实投影图像空间点的物理坐标，X、Y和Z分别为所述虚拟现实投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值；(u,v)表示投影装置物平面上点的像素坐标；s表示尺度比例系数；cx'和cy'分别表示投影装置物平面上点的像素坐标系上点的横向偏移量和纵向偏移量；fx'和fy'分别表示投影装置物平面上点的横向焦距参数和纵向焦距参数；为投影装置物平面上点的旋转矩阵；P'＝[px',py',pz']T为投影装置物平面上点的平移矩阵；所述的投影装置内部参数为：投影装置物平面上点的像素坐标系上点的横向偏移量cx'和纵向偏移量cy'，以及投影装置物平面上点的横向焦距参数fx'和纵向焦距参数fy'；所述的投影装置外部参数为：旋转矩阵和平移矩阵P'＝[px',py',pz']T。
在本发明的一种优选实施例中，所述步骤(S5)进一步包括：(S51)根据采集装置实时采集的包括手持交互设备作用点的虚拟现实投影图像位置信息，确定采集装置和投影装置的实时外部参数信息，获得手持交互设备作用点在采集装置成像面的像素坐标系中的坐标，通过步骤(S22)中得到的虚拟现实投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系模型关系计算出手持交互设备作用点在虚拟现实投影图像空间的物理坐标系中的坐标；(S52)根据步骤(S23)中得到的虚拟现实投影图像空间物理坐标系与投影装置物平面像素坐标系的模型转换关系，由步骤(S51)中得到的手持交互设备作用点在虚拟现实投影图像空间的物理坐标系中的坐标以及采集装置和投影装置的实时外部参数信息，计算出手持交互设备作用点在投影装置物平面上的像素坐标；(S53)根据手持交互设备作用点在投影装置物平面上的像素坐标，标定手持交互设备作用点在投影装置物平面上对投影画面的实时作用点。
在本发明的一种优选实施例中，所述步骤(S6)进一步包括：(S61)系统模拟触控屏幕的操作控制，根据(S53)步骤中确定的手持交互设备作用点在投影装置物平面上对投影画面的实时作用点，确定实时作用点在系统输入装置中的位置信息，系统中的应用程序在接收到与相应位置信息相对应的控制信息后完成相应位置的输入控制；(S62)中央处理单元根据对传感控制模块的数据信息的分析结果，得到手持交互设备在虚拟图像上的虚拟位置运动信息，控制投影装置根据手持交互设备在虚拟图像上的虚拟位置信息投影相应的虚拟图像。
其中，所述现实投影空间图像数据信息为现实投影空间的三维数据信息，包括现实投影空间的位置、颜色以及其他可以确定现实投影空间相对位置、凹凸和纹理状况，颜色亮度状况的信息。手持交互设备的位置信息包括：手持交互设备相对于现实投影空间的角度姿势以及手持交互设备与现实投影空间的相对位置距离等。
本发明提供了一种手持交互设备装置及其投影交互方法，将投影模块、摄像模块、传感控制模块以及中央处理单元相结合，可以根据虚拟现实投影空间图像实时地运动，改变其角度姿势以及与投影空间的相对位置关系，进而可随时随地进行虚拟现实交互，具有强大的功能性、娱乐性，同时提高了用户的趣味性以及视觉享受。例如：基于本发明手持交互设备投影交互方法及其装置，用户可在某一三维空间中进行射击游戏、智能家居开发等等；手持交互设备可根据摄像模块所采集的投影空间变化，控制手持交互设备运动，中央处理单元由传感控制模块获取运动数据信息，进而控制投影模块作出相应的投影画面，达到虚拟与现实结合，身临其境的效果。
本发明所述的手持交互设备投影交互方法及其装置可以应用于各种便携式设备上，如手机、iPAD、手提电脑、上网本等，但不限于此，也可以单独设置在一个专用的终端设备上。所述投影模块内置在所述的便携式设备上，可以使用投影镜头等用于投影的设备，可以使用现有的便携式设备的投影设备，也可以单独设置专用投影设备。所述摄像模块为设置在便携式设备内部，用于实现对图像的采集，可以使用现有的便携式设备的摄像头、照相机等用于数据图像采集的设备，也可以单独设置专用的摄像设备。
本发明所述的手持交互设备投影交互方法及其装置可以用于我们的实际生活中，比如在手机等移动终端中设置该交互投影装置，首先对周边的环境进行预采集，对实际空间中的每一个方位所对应的的所见物记录下来，或者对初始实际空间中的每一个方位的物体图像进行初始设定，并将采集或设定的图像存入装置中，存入交互投影装置中。在使用的过程中，使用者可以手持交互投影装置，进行方位的移动，同时可以通过设置在交互投影装置中的方向传感器或陀螺仪等感应器感知交互投影装置的移动方位，并可以实时根据移动的方位，将预存储在交互投影装置中与任意方位对应的图像投影出来，便于使用者进行寻找或进行其他的目的。
在手机等移动终端中设置该交互投影装置，首先对投影的虚拟图像进行初始设定，存入交互投影装置中。在使用的过程中，使用者可以手持交互投影装置，将预先存储在交互投影装置中的虚拟图像进行投影，拍照者可以置身于投影出来的虚拟图像中，可以实现人跟虚拟的风景图像结合。
在手机等移动终端中设置该交互投影装置，先在中央处理单元中预先设定一些特定的投影图像以及音频数据，通过手机的摄像头捕捉拍摄周围的环境图像，根据手机麦克风感知外界的声调，将这些数据传输给中央处理单元，然后中央处理单元根据这些信息数据，进行计算，得出与当前环境相适应的结果反馈，比如说中央处理单元控制手机自动根据数据结果调节音乐的节拍，音调或者播放相对应的音频数据，或者控制手机的投影机自动投影与当前环境相适应的影像，色彩等，从而达到调节氛围的作用。
以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出简单的推演及替换，都应该视为本发明的保护范围。
Claims (11)
1.一种手持交互设备交互装置，其特征在于，包括：投影模块，用于将初始化虚拟投影信息投影到现实投影空间；摄像模块，用于采集虚拟现实投影空间图像数据信息，建立坐标转换模型及获得坐标转换参数信息；传感控制模块，用于获取手持交互设备与初始现实投影空间的相对位置信息；中央处理单元，用于接收并根据图像视觉算法处理分析来自摄像模块，投影模块和传感控制模块的数据信息，并根据分析结果，控制投影模块投影相应的虚拟投影信息；无线通信模块；以及存储模块；所述投影模块、摄像模块、传感控制模块、无线通信模块以及存储模块均与由中央处理单元电相连，由中央处理单元控制。
2.根据权利要求1所述的手持交互设备交互装置，其特征在于，所述手持交互设备还包括：充电电池和无线充电模块；音频电路和扬声器。
3.根据权利要求1所述的手持交互设备交互装置，其特征在于，所述传感控制模块包括：所述传感控制模块包括：方向传感器和加速度传感器和角速度传感器和/或重力传感器和/或红外传感器。
4.根据权利要求1所述的手持交互设备交互装置，其特征在于，所述摄像模块可以采集投影模块完整的投影画面。
5.根据权利要求1所述的手持交互设备交互装置，其特征在于，所述手持交互设备还包括触控传感器。
6.根据权利要求1所述的手持交互设备交互装置，其特征在于，所述无线通信模块还包括：蓝牙通信器和/或WIFI通信器。
7.根据权利要求1所述的手持交互设备交互装置，其特征在于，所述投影模块光源为LED光源。
8.一种手持交互设备投影交互方法，其特征在于，包括以下步骤：(S1)投影模块将初始化虚拟投影信息投影到现实投影空间；(S2)摄像模块采集虚拟现实投影空间图像数据信息，建立坐标转换模型及获得坐标转换参数信息；(S3)用户根据虚拟现实空间图像实时控制手持交互设备运动；(S4)传感控制模块实时获取手持交互设备的相对位置信息以及虚拟投影空间上的图像信息；(S5)中央处理单元用于接收并根据图像视觉算法处理分析来自摄像模块，投影模块和传感控制模块的数据信息；(S6)中央处理单元根据分析结果，控制投影模块投影相应的虚拟投影信息，实现虚拟现实交互。
9.根据权利要求8所述的手持交互设备投影交互方法，其特征在于，所述步骤(S1)进一步包括：(S11)启动手持交互设备的所有工作模块；(S12)摄像模块采集初始现实投影空间图像数据信息；(S13)传感控制模块获取手持交互设备与初始现实投影空间的相对位置信息；(S14)中央处理单元接收并分析来自摄像模块，投影模块和传感控制模块的信息，建立手持交互设备与投影空间的模型关系，初始化投影模块参数，使其正常投影；(S15)投影模块将初始化虚拟投影信息投影到现实投影空间。
10.根据权利要求8或9所述的手持交互设备投影交互方法，其特征在于，所述现实投影空间图像数据信息为现实投影空间的三维信息，其信息包括现实投影空间的位置信息，颜色信息，以及其他可以确定现实投影空间位置、凹凸和纹理状况，颜色亮度状况的信息。
11.根据权利要求10所述的手持交互设备投影交互方法，其特征在于，所述手持交互设备的位置信息包括：手持交互设备的角度姿势以及手持交互设备与现实投影空间的相对位置距离。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510390094.2A CN104932698B (zh) | 2015-06-30 | 2015-06-30 | 一种手持交互设备装置及其投影交互方法 |
| US15/572,378 US20180150148A1 (en) | 2015-06-30 | 2015-11-05 | Handheld interactive device and projection interaction method therefor |
| PCT/CN2015/093891 WO2017000457A1 (zh) | 2015-06-30 | 2015-11-05 | 一种手持交互设备装置及其投影交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510390094.2A CN104932698B (zh) | 2015-06-30 | 2015-06-30 | 一种手持交互设备装置及其投影交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104932698A true CN104932698A (zh) | 2015-09-23 |
| CN104932698B CN104932698B (zh) | 2018-03-27 |
Family
ID=54119888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510390094.2A Active CN104932698B (zh) | 2015-06-30 | 2015-06-30 | 一种手持交互设备装置及其投影交互方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180150148A1 (zh) |
| CN (1) | CN104932698B (zh) |
| WO (1) | WO2017000457A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106095103A (zh) * | 2016-06-16 | 2016-11-09 | 世源科技工程有限公司 | 虚拟现实的显示控制方法、装置及相关设备 |
| WO2017000457A1 (zh) * | 2015-06-30 | 2017-01-05 | 广景视睿科技 （深圳）有限公司 | 一种手持交互设备装置及其投影交互方法 |
| CN106445157A (zh) * | 2016-09-30 | 2017-02-22 | 珠海市魅族科技有限公司 | 一种画面显示方向调整的方法以及装置 |
| CN107340862A (zh) * | 2017-06-29 | 2017-11-10 | 三峡大学 | 一种基于虚拟现实的犯罪过程分析系统与方法 |
| CN107528873A (zh) * | 2016-06-22 | 2017-12-29 | 佛山市顺德区美的电热电器制造有限公司 | 智能家电的控制系统及虚拟现实投影装置 |
| CN109782901A (zh) * | 2018-12-06 | 2019-05-21 | 网易（杭州）网络有限公司 | 增强现实交互方法、装置、计算机设备及存储介质 |
| CN110574369A (zh) * | 2017-04-28 | 2019-12-13 | 三星电子株式会社 | 提供内容的方法及其装置 |
| CN112348753A (zh) * | 2020-10-28 | 2021-02-09 | 杭州如雷科技有限公司 | 一种用于沉浸式内容的投影方法和系统 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10339718B1 (en) | 2017-12-29 | 2019-07-02 | Verizon Patent And Licensing Inc. | Methods and systems for projecting augmented reality content |
| CN109068120A (zh) * | 2018-06-27 | 2018-12-21 | 北京中科知识工程技术研究院 | 一种手机拍照光场矩阵三维建模方法 |
| CN108961423B (zh) * | 2018-07-03 | 2023-04-18 | 百度在线网络技术（北京）有限公司 | 虚拟信息处理方法、装置、设备及存储介质 |
| CN109242958A (zh) * | 2018-08-29 | 2019-01-18 | 广景视睿科技（深圳）有限公司 | 一种三维建模的方法及其装置 |
| CN110096144B (zh) * | 2019-04-08 | 2022-11-15 | 汕头大学 | 一种基于三维重建的交互全息投影方法及系统 |
| CN111427331B (zh) * | 2020-03-24 | 2022-03-04 | 新石器慧通（北京）科技有限公司 | 无人驾驶车辆的感知信息展示方法、装置和电子设备 |
| CN112286355B (zh) * | 2020-10-28 | 2022-07-26 | 杭州天雷动漫有限公司 | 一种用于沉浸式内容的交互方法和系统 |
| CN113327329B (zh) * | 2020-12-15 | 2024-06-14 | 广州富港生活智能科技有限公司 | 基于三维模型的室内投影方法、装置及系统 |
| US11368653B1 (en) * | 2021-03-17 | 2022-06-21 | Ampula Inc. | Projection-type video conference device |
| CN113687715A (zh) * | 2021-07-20 | 2021-11-23 | 温州大学 | 基于计算机视觉的人机交互系统及交互方法 |
| CN114739341B (zh) * | 2022-02-24 | 2024-02-27 | 中建一局集团第二建筑有限公司 | 基于bim的屋顶钢网架顶升工艺安全管理监测系统及方法 |
| CN114885140B (zh) * | 2022-05-25 | 2023-05-26 | 华中科技大学 | 一种多屏拼接沉浸式投影画面处理方法及系统 |
| CN114945086B (zh) * | 2022-06-07 | 2023-06-30 | 华中科技大学 | 一种基于曲面反射镜的单人正投球幕视域扩大方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542165A (zh) * | 2011-12-23 | 2012-07-04 | 三星半导体(中国)研究开发有限公司 | 用于三维虚拟棋盘的操作方法和装置 |
| CN102668390A (zh) * | 2009-12-17 | 2012-09-12 | 三星电子株式会社 | 用于控制移动装置的输出的方法和系统 |
| CN103209244A (zh) * | 2012-01-13 | 2013-07-17 | 鸿富锦精密工业（深圳）有限公司 | 用于手持式电子装置上的即时通讯方法及系统 |
| CN104423420A (zh) * | 2013-08-19 | 2015-03-18 | 联想(北京)有限公司 | 一种电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140168261A1 (en) * | 2012-12-13 | 2014-06-19 | Jeffrey N. Margolis | Direct interaction system mixed reality environments |
| CN104090664B (zh) * | 2014-07-29 | 2017-03-29 | 广景科技有限公司 | 一种交互式投影方法、装置及系统 |
| CN104932698B (zh) * | 2015-06-30 | 2018-03-27 | 广景视睿科技（深圳）有限公司 | 一种手持交互设备装置及其投影交互方法 |
-
2015
- 2015-06-30 CN CN201510390094.2A patent/CN104932698B/zh active Active
- 2015-11-05 US US15/572,378 patent/US20180150148A1/en not_active Abandoned
- 2015-11-05 WO PCT/CN2015/093891 patent/WO2017000457A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102668390A (zh) * | 2009-12-17 | 2012-09-12 | 三星电子株式会社 | 用于控制移动装置的输出的方法和系统 |
| CN102542165A (zh) * | 2011-12-23 | 2012-07-04 | 三星半导体(中国)研究开发有限公司 | 用于三维虚拟棋盘的操作方法和装置 |
| CN103209244A (zh) * | 2012-01-13 | 2013-07-17 | 鸿富锦精密工业（深圳）有限公司 | 用于手持式电子装置上的即时通讯方法及系统 |
| CN104423420A (zh) * | 2013-08-19 | 2015-03-18 | 联想(北京)有限公司 | 一种电子设备 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017000457A1 (zh) * | 2015-06-30 | 2017-01-05 | 广景视睿科技 （深圳）有限公司 | 一种手持交互设备装置及其投影交互方法 |
| CN106095103A (zh) * | 2016-06-16 | 2016-11-09 | 世源科技工程有限公司 | 虚拟现实的显示控制方法、装置及相关设备 |
| CN107528873A (zh) * | 2016-06-22 | 2017-12-29 | 佛山市顺德区美的电热电器制造有限公司 | 智能家电的控制系统及虚拟现实投影装置 |
| CN106445157A (zh) * | 2016-09-30 | 2017-02-22 | 珠海市魅族科技有限公司 | 一种画面显示方向调整的方法以及装置 |
| CN110574369A (zh) * | 2017-04-28 | 2019-12-13 | 三星电子株式会社 | 提供内容的方法及其装置 |
| CN110574369B (zh) * | 2017-04-28 | 2021-08-03 | 三星电子株式会社 | 提供内容的方法及其装置 |
| CN107340862A (zh) * | 2017-06-29 | 2017-11-10 | 三峡大学 | 一种基于虚拟现实的犯罪过程分析系统与方法 |
| CN109782901A (zh) * | 2018-12-06 | 2019-05-21 | 网易（杭州）网络有限公司 | 增强现实交互方法、装置、计算机设备及存储介质 |
| CN112348753A (zh) * | 2020-10-28 | 2021-02-09 | 杭州如雷科技有限公司 | 一种用于沉浸式内容的投影方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017000457A1 (zh) | 2017-01-05 |
| US20180150148A1 (en) | 2018-05-31 |
| CN104932698B (zh) | 2018-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104932698A (zh) | 一种手持交互设备装置及其投影交互方法 | |
| CN103759739B (zh) | 一种多节点运动测量与分析系统 | |
| JP2021520978A (ja) | 仮想対象と投擲物とのインタラクションを制御する方法及びその装置、並びにコンピュータプログラム | |
| CN104090664B (zh) | 一种交互式投影方法、装置及系统 | |
| CN105264436B (zh) | 用于控制与图像捕捉有关的设备的系统和方法 | |
| CN107566529A (zh) | 一种拍照方法、移动终端及云端服务器 | |
| CN108885459A (zh) | 导航方法、导航系统、移动控制系统及移动机器人 | |
| CN110969905A (zh) | 混合现实的远程教学互动、教具互动系统及其互动方法 | |
| US20180306898A1 (en) | Methods and systems for an immersive virtual reality system using multiple active markers | |
| CN110495819A (zh) | 机器人的控制方法、机器人、终端、服务器及控制系统 | |
| CN107835364A (zh) | 一种拍照辅助方法及移动终端 | |
| WO2015180497A1 (zh) | 一种基于立体视觉的动作采集和反馈方法及系统 | |
| CN106683197A (zh) | 一种融合vr和ar技术的楼盘展示系统及其方法 | |
| CN110254734A (zh) | 使用稳定用常平架的常平架系统 | |
| CN105898346A (zh) | 控制方法、电子设备及控制系统 | |
| CN107835367A (zh) | 一种图像处理方法、装置及移动终端 | |
| CN107027014A (zh) | 一种动向智能投影系统及其方法 | |
| CN104183004A (zh) | 天气显示方法及装置 | |
| CN107580209A (zh) | 一种移动终端的拍照成像方法及装置 | |
| CN107770454A (zh) | 一种图像处理方法、终端及计算机可读存储介质 | |
| CN109660723A (zh) | 一种全景拍摄方法及装置 | |
| CN205585386U (zh) | 基于增强现实、空间扫描与手势识别技术的智能安全帽 | |
| CN113365085B (zh) | 一种直播视频生成方法及装置 | |
| CN206294286U (zh) | 一种远程虚拟现实的实现系统 | |
| CN106998374A (zh) | 一种可触控的投影手机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20231226 Granted publication date: 20180327 |
|
| PP01 | Preservation of patent right |