CN106293442B - 一种信息处理方法及电子设备 - Google Patents
一种信息处理方法及电子设备 Download PDFInfo
- Publication number
- CN106293442B CN106293442B CN201510320353.4A CN201510320353A CN106293442B CN 106293442 B CN106293442 B CN 106293442B CN 201510320353 A CN201510320353 A CN 201510320353A CN 106293442 B CN106293442 B CN 106293442B
- Authority
- CN
- China
- Prior art keywords
- calibration
- information
- parameter
- point
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种信息处理方法及电子设备，所述信息处理方法包括：控制所述投影单元投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像；获取操作体作用于所述至少一个标定点的第一操作，所述第一操作对应于检测到的采集点；响应所述第一操作，检测出对应所述采集点的第一参数，所述第一参数用于表征所述采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；获取对应所述至少一个标定点的第二参数，所述第二参数用于表征所述标定点在所述投影单元对应的第二图像坐标系中的第二坐标；根据所述第一参数和所述第二参数得到第一信息，所述第一信息表征所述第一图像坐标系和所述第二图像坐标系的转换关系。
Description
技术领域
本发明涉及通讯技术，尤其涉及一种信息处理方法及电子设备。
背景技术
本申请发明人在实现本申请实施例技术方案的过程中，至少发现相关技术中存在如下技术问题：
目前的电子设备，诸如家用台式机，笔记本，智能手机等等可以支持投影功能，一种智能手机通过两种投影模式来实现投影功能，包括直投模式和斜投模式两种投影模式。为了投影时的精度需要，需要标定IR相机和PICO的二维几何映射关系。目前的标定方式是在每一台电子设备出厂之前的离线方式的单独标定，为了提高标定的效率和准确性，存在在线自动标定的需求。然而，相关技术中，对于该问题，尚无有效解决方案。
发明内容
有鉴于此，本发明实施例希望提供一种信息处理方法及电子设备，至少解决了现有技术存在的问题。
本发明实施例的技术方案是这样实现的：
本发明实施例的一种信息处理方法，所述方法应用于电子设备中，所述电子设备包括：投影单元、第一采集单元和发射光源，将所述电子设备设置于第一承载平面上以使用第一投影模式，所述方法包括：
控制所述发射光源发射出平行于所述第一承载平面的光线；
控制所述投影单元投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像；
获取操作体作用于所述至少一个标定点的第一操作，所述第一操作对应于检测到的采集点；
响应所述第一操作，检测出对应所述采集点的第一参数，所述第一参数用于表征所述采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；
获取对应所述至少一个标定点的第二参数，所述第二参数用于表征所述标定点在所述投影单元对应的第二图像坐标系中的第二坐标；
根据所述第一参数和所述第二参数得到第一信息，所述第一信息表征所述第一图像坐标系和所述第二图像坐标系的转换关系。
上述方案中，所述采集点具体为所述第一操作阻挡所述光线在所述操作体上形成的光斑，所述获取依次操作体作用于所述至少一个标定点的第一操作，包括：
控制所述第一采集单元采集投射于所述采集点的光线情况来获得作用于所述至少一个标定点的第一操作；
控制所述第一采集单元和所述发射光源配合工作，采集或发射相同类型的光线。
上述方案中，所述至少一个标定点不在同一直线上。
上述方案中，所述控制所述投影单元投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像，还包括：
运行第一应用，根据所述第一应用生成包含至少一个标定点的标定图像；
获取包含至少一个标定点的标定图像；
开启所述投影单元，将包含至少一个标定点的标定图像投影在所述第一显示区域中。
上述方案中，所述方法还包括：
所述至少一个标定点为M个，M为大于1的自然数；
接收通过所述第一应用发出的第一指令；
响应所述第一指令，检测所述操作体按照预设规则在所述M个标定点中选取的一个或N个标定点，直至完成对所述M个标定点的选取则结束检测，所述N为大于1且小于M的自然数。
上述方案中，所述方法还包括：
获取第二信息，所述第二信息为预置的所述第一图像坐标系和所述第二图像坐标系的预置转换关系；
获取依次作用于所述至少一个标定点的第二操作；
响应所述第二操作，提取对应所述至少一个标定点的第三参数，所述第三参数用于表征所述标定点在所述投影单元对应的第二坐标系中预置的第二坐标；
根据所述第二信息和所述第三参数得到第四参数；所述第四参数用于表征采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；所述第四参数包括误差补偿值；
根据所述第四参数和所述第二信息得到第三信息，所述第三信息为对所述第二信息修正后的信息；
用所述第三信息替换所述第二信息，所述第三信息表征经修正后得到的所述第一图像坐标系和所述第二图像坐标系的转换关系。
上述方案中，所述第二信息包括：所述第一信息、电子设备出厂前预装的第一初始信息、电子设备出厂时的设置的第二初始信息中的至少一种。
本发明实施例的一种电子设备，所述电子设备设置于第一承载平面上以使用第一投影模式，所述电子设备包括：
发射光源，用于发射出平行于所述第一承载平面的光线；
投影单元，用于投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像；
第一采集单元，用于获取操作体作用于所述至少一个标定点的第一操作，所述第一操作对应于检测到的采集点；
检测单元，用于响应所述第一操作，检测出对应所述采集点的第一参数，所述第一参数用于表征所述采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；
第一获取单元，用于获取对应所述至少一个标定点的第二参数，所述第二参数用于表征所述标定点在所述投影单元对应的第二图像坐标系中的第二坐标；
第一处理单元，用于根据所述第一参数和所述第二参数得到第一信息，所述第一信息表征所述第一图像坐标系和所述第二图像坐标系的转换关系。
上述方案中，所述采集点具体为所述第一操作阻挡所述光线在所述操作体上形成的光斑；
所述第一采集单元，进一步用于采集投射于所述采集点的光线情况来获得作用于所述至少一个标定点的第一操作；控制所述第一采集单元和所述发射光源配合工作，采集或发射相同类型的光线。
上述方案中，所述至少一个标定点不在同一直线上。
上述方案中，所述电子设备还包括：
标定图像生成单元，用于运行第一应用，根据所述第一应用生成包含至少一个标定点的标定图像；
标定图像获取单元，用于获取包含至少一个标定点的标定图像；
所述投影单元，进一步用于将包含至少一个标定点的标定图像投影在所述第一显示区域中。
上述方案中，所述第一采集单元，进一步用于在所述至少一个标定点为M个，M为大于1的自然数的情况下，接收通过所述第一应用发出的第一指令；响应所述第一指令，检测所述操作体按照预设规则在所述M个标定点中选取的一个或N个标定点，直至完成对所述M个标定点的选取则结束检测，所述N为大于1且小于M的自然数。
上述方案中，所述电子设备还包括：
第二获取单元，用于获取第二信息，所述第二信息为预置的所述第一图像坐标系和所述第二图像坐标系的预置转换关系；
第三获取单元，用于获取依次作用于所述至少一个标定点的第二操作；
响应单元，用于响应所述第二操作，提取对应所述至少一个标定点的第三参数，所述第三参数用于表征所述标定点在所述投影单元对应的第二坐标系中预置的第二坐标；
第二处理单元，用于根据所述第二信息和所述第三参数得到第四参数；所述第四参数用于表征采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；所述第四参数包括误差补偿值；
修正单元，用于根据所述第四参数和所述第二信息得到第三信息，所述第三信息为对所述第二信息修正后的信息；
替换单元，用于用所述第三信息替换所述第二信息，所述第三信息表征经修正后得到的所述第一图像坐标系和所述第二图像坐标系的转换关系。
上述方案中，所述第二信息包括：所述第一信息、电子设备出厂前预装的第一初始信息、电子设备出厂时的设置的第二初始信息中的至少一种。
本发明实施例的信息处理方法，包括：控制所述发射光源发射出平行于所述第一承载平面的光线；控制所述投影单元投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像；获取依次操作体作用于所述至少一个标定点的第一操作；响应所述第一操作，检测出对应所述采集点的第一参数，所述第一参数用于表征所述采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；获取对应所述至少一个标定点的第二参数，所述第二参数用于表征所述标定点在所述投影单元对应的第二图像坐标系中的第二坐标；根据所述第一参数和所述第二参数得到第一信息，所述第一信息表征所述第一图像坐标系和所述第二图像坐标系的转换关系。
采用本发明实施例，在将所述电子设备倒立于第一承载平面上以使用第一投影模式的情况下，在第一显示区域中显示包含具有至少一个标定点的标定图像，根据至少一个标定点的指示，获取操作体作用于所述至少一个标定点的第一操作，所述第一操作对应于检测到的采集点，检测出对应所述采集点的第一参数及获取对应所述至少一个标定点的第二参数，根据所述第一参数和所述第二参数得到第一信息，是一种在线实时标定的方案，提高了标定的效率和准确性，满足在线自动标定的需求。
附图说明
图1为本发明电子设备斜投模式的示意图；
图2为本发明方法实施例一的一个实现流程示意图；
图3为本发明方法实施例二的一个实现流程示意图；
图4为本发明实施例三的一个实现流程示意图；
图5为本发明电子设备实施例的一个组成结构示意图；
图6为现有手机直投的投影示意图；
图7为现有虚拟键盘的投影示意图；
图8为本发明具备不同工作模式的投影手机的投影示意图；
图9为本发明投影手机斜投模式的投影示意图；
图10为本发明投影手机斜投模式的交互原理示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
方法实施例一：
本发明实施例的信息处理方法，所述方法应用于电子设备中，如图1所示，所述电子设备包括：位于电子设备底部的投影单元和采集单元，位于电子设备顶部的发射光源，将所述电子设备倒立于第一承载平面上以使用第一投影模式，第一投影模式具体为斜投模式。
如图2所示，在电子设备斜投模式下，本实施例的流程包括：
步骤101、控制所述发射光源发射出平行于所述第一承载平面的光线；
步骤102、控制所述投影单元投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像；
步骤103、获取操作体作用于所述至少一个标定点的第一操作，所述第一操作对应于检测到的采集点；
这里，所述采集点具体为所述第一操作阻挡所述光线在所述操作体上形成的光斑；
步骤104、响应所述第一操作，检测出对应所述采集点的第一参数，所述第一参数用于表征所述采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；
步骤105、获取对应所述至少一个标定点的第二参数，所述第二参数用于表征所述标定点在所述投影单元对应的第二图像坐标系中的第二坐标；
步骤106、根据所述第一参数和所述第二参数得到第一信息，所述第一信息表征所述第一图像坐标系和所述第二图像坐标系的转换关系。
采用本发明实施例，通过投射单元投射出第一显示区域，在该区域中显示包含具有至少一个标定点的标定图像，根据该标定图像的指示用户进行点击或划线等手势操作，即依次作用于所述至少一个标定点的第一操作，所述第一操作阻挡所述发射光源所投射出的光线形成对应所述至少一个标定点的至少一个采集点，也就是说通过针对标定点的用户操作，在用户的手指上形成光斑，这个光斑作为采集点被IR相机所捕获到，可以是被IR相机中集成的手指尖检测模块检测得到，从而得到第一参数，而第二参数是与该标定点有关的，事先就已经知道，则根据所述第一参数和所述第二参数得到第一信息，所述第一信息表征所述第一图像坐标系和所述第二图像坐标系的转换关系，可见：本发明实施例是一种在线实时标定的方案，提高了标定的效率和准确性，满足在线自动标定的需求。
比如，投影单元为PICO，采集单元为IR相机，发射光源或者称为由光衍射单元投射出的光源可以为与该IR相机配合采集使用的红外光源，用于发射出红外线，手指阻挡红外线来知道当前用户在第一显示区域中执行各种手势或点击操作等等时所处的位置。第一显示区域即为由PICO投射形成的一个投影平面。当然，采集单元的具体实例也可以是其他摄像头，比如双目摄像头。以IR相机为例，IR相机在由PICO投射出的投影平面中进行用户操作检测时，能采集得到用户的基本手势和基本位置信息，对于用户实际上的用户手势的具体真实形态和位置，是需要通过在IR Transmitter的辅助下才可以准确知道用户操作如用户空间手势的位置和具体形态，包括一维、二维及三维的用户手势等深度信息。IR相机和PICO间存在映射关系，这个映射关系就是为了满足投影精度需要，所需要标定的IR相机和PICO的二维几何映射关系。
本发明实施例是一种在线实时标定的方案，其中，第一参数为IR相机中的坐标，第二参数为PICO中的坐标，从而，根据所述第一参数和所述第二参数计算得到的第一信息就是转置矩阵H，该转置矩阵H用于标定IR相机中的坐标与PICO中的坐标这二者间的映射关系。
在本发明实施例的一实施方式中，所述获取依次操作体作用于所述至少一个标定点的第一操作，包括：使用所述第一操作阻挡所述光线在所述操作体上形成的光斑来构成所述采集点；控制所述第一采集单元采集投射于所述采集点的光线情况来获得作用于所述至少一个标定点的第一操作；控制所述第一采集单元和所述发射光源配合工作，采集或发射相同类型的光线。
在本发明实施例的一实施方式中，所述至少一个标定点不在同一直线上。
在本发明实施例的一实施方式中，所述控制所述投影单元投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像，还包括：
运行第一应用，根据所述第一应用生成包含至少一个标定点的标定图像；
获取包含至少一个标定点的标定图像；
开启所述投影单元，将包含至少一个标定点的标定图像投影在所述第一显示区域中。
方法实施例二：
基于上述方法实施例一，本发明实施例的信息处理方法，如图3所示，所述获取依次作用于所述至少一个标定点的第一操作，包括：
步骤301、所述至少一个标定点为M个，M为大于1的自然数；
步骤302、接收通过所述第一应用发出的第一指令；
步骤303、响应所述第一指令，检测所述操作体按照预设规则在所述M个标定点中依次选取指定的一个或N个标定点，直至完成对所述M个标定点的选取则结束检测，所述N为大于1且小于M的自然数。
方法实施例三：
基于上述方法实施例一，本发明实施例的信息处理方法，如图4所示，所述方法还包括：
步骤401、获取第二信息，所述第二信息为预置的所述第一图像坐标系和所述第二图像坐标系的预置转换关系；
步骤402、获取依次作用于所述至少一个标定点的第二操作；
步骤403、响应所述第二操作，提取对应所述至少一个标定点的第三参数，所述第三参数用于表征所述标定点在所述投影单元对应的第二坐标系中预置的第二坐标；
步骤404、根据所述第二信息和所述第三参数得到第四参数；所述第四参数用于表征采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；所述第四参数包括误差补偿值；
步骤405、根据所述第四参数和所述第二信息得到第三信息，所述第三信息为对所述第二信息修正后的信息；
步骤406、用所述第三信息替换所述第二信息，所述第三信息表征经修正后得到的所述第一图像坐标系和所述第二图像坐标系的转换关系。
本实施例区别于上述方法实施例一，方法实施例一中，第二参数是已知的，第一参数是通过IR相机或IR相机中的手指检测模块直接检测得到的；本发明实施例中第二参数也是已知的，但是第一参数是通过一个初始转置矩阵推导得到的，该初始转置矩阵可以是基于方法实施例一计算得到的矩阵，也可以是出厂预设的矩阵等等。
但是，两个实施例最终通过第一参数和已知的第二参数来计算转置矩阵，都是采取一样的原理。
在本发明实施例的一实施方式中，所述第二信息包括：所述第一信息、电子设备出厂前预装的第一初始信息、电子设备出厂时的设置的第二初始信息中的至少一种。
比如，对于产线工人来说，第二信息是交互模块预装的转置矩阵的初始值；对用户来说，第二信息可能是设备出厂时设置的转置矩阵，也可能是自己上一次调用标定程序生成的第一信息，即通过方法实施例一得到的转置矩阵。
方法实施例四：
本发明实施例还有一种替代方案，与上述实施例的区别在于，不是由IR相机作为第一采集单元进行采集，而是在上述实施例的基础上通过增加一个外部辅助RGB相机来取代上述实施例中的IR相机进行采集，并在辅助RGB相机和IR相机所形成参数间建立一个关联来使用，具体内容如下所述：
本发明实施例的一种信息处理方法，所述方法应用于电子设备中，所述电子设备包括：投影单元(可以为PICO)、第一采集单元(可以为IR相机)、第二采集单元(可以为辅助RGB相机)和发射光源，所述第二采集单元与所述电子设备以分体形式分别设置、或将所述第二采集单元集成在所述电子设备上进行设置，将所述电子设备设置于第一承载平面上以使用第一投影模式，所述方法包括：
获取第一信息，所述第一信息为所述第一采集单元对应的第一图像坐标系与所述第二采集单元对应的第二图像坐标系之间预置的转换关系；
控制所述发射光源发射出平行于所述第一承载平面的光线；
控制所述投影单元投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像；
获取依次操作体作用于所述至少一个标定点的第一操作；
响应所述第一操作，检测出对应所述采集点的第一参数，所述第一参数用于表征所述采集点在所述第二采集单元对应的第二图像坐标系中的第一坐标；
根据所述第一信息和所述第一参数得到第二参数，所述第二参数用于表征所述采集点在所述第一采集单元对应的第一图像坐标系中的第二坐标；
获取对应所述至少一个标定点的第三参数，所述第三参数用于表征所述标定点在所述投影单元对应的第三图像坐标系中的第三坐标；
根据所述第二参数和所述第三参数得到第二信息，所述第二信息表征所述第一图像坐标系和所述第三图像坐标系的转换关系。
电子设备实施例一：
本发明实施例的一种电子设备，所述电子设备倒立于第一承载平面上以使用第一投影模式，如图5所示，所述电子设备包括：
发射光源11，用于发射出平行于所述第一承载平面的光线，所述发射光源位于电子设备的顶部；
投影单元12，用于投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像，所述投影单元位于电子设备的底部；
第一采集单元13，用于获取操作体作用于所述至少一个标定点的第一操作，所述第一操作对应于检测到的采集点，所述采集单元位于电子设备的底部；
检测单元14，用于响应所述第一操作，检测出对应所述采集点的第一参数，所述第一参数用于表征所述采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；
第一获取单元15，用于获取对应所述至少一个标定点的第二参数，所述第二参数用于表征所述标定点在所述投影单元对应的第二图像坐标系中的第二坐标；
第一处理单元16，用于根据所述第一参数和所述第二参数得到第一信息，所述第一信息表征所述第一图像坐标系和所述第二图像坐标系的转换关系。
在本发明实施例的一实施方式中，述采集点具体为所述第一操作阻挡所述光线在所述操作体上形成的光斑；所述第一采集单元，进一步用于采集投射于所述采集点的光线情况来获得作用于所述至少一个标定点的第一操作；控制所述第一采集单元和所述发射光源配合工作，采集或发射相同类型的光线。
在本发明实施例的一实施方式中，所述至少一个标定点不在同一直线上。
在本发明实施例的一实施方式中，所述电子设备还包括：
标定图像生成单元，用于运行第一应用，根据所述第一应用生成包含至少一个标定点的标定图像；
标定图像获取单元，用于获取包含至少一个标定点的标定图像；
所述投影单元，进一步用于将包含至少一个标定点的标定图像投影在所述第一显示区域中。
在本发明实施例的一实施方式中，所述第一采集单元，进一步用于在所述至少一个标定点为M个，M为大于1的自然数的情况下，接收通过所述第一应用发出的第一指令；响应所述第一指令，检测所述操作体按照预设规则在所述M个标定点中依次选取指定的一个或N个标定点，直至完成对所述M个标定点的选取则结束检测，所述N为大于1且小于M的自然数。
在本发明实施例的一实施方式中，所述电子设备还包括：
第二获取单元，用于获取第二信息，所述第二信息为预置的所述第一图像坐标系和所述第二图像坐标系的预置转换关系；
第三获取单元，用于获取依次作用于所述至少一个标定点的第二操作；
响应单元，用于响应所述第二操作，提取对应所述至少一个标定点的第三参数，所述第三参数用于表征所述标定点在所述投影单元对应的第二坐标系中预置的第二坐标；
第二处理单元，用于根据所述第二信息和所述第三参数得到第四参数；所述第四参数用于表征采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；所述第四参数包括误差补偿值；
修正单元，用于根据所述第四参数和所述第二信息得到第三信息，所述第三信息为对所述第二信息修正后的信息；
替换单元，用于用所述第三信息替换所述第二信息，所述第三信息表征经修正后得到的所述第一图像坐标系和所述第二图像坐标系的转换关系。
在本发明实施例的一实施方式中，所述第二信息包括：所述第一信息、电子设备出厂前预装的第一初始信息、电子设备出厂时的设置的第二初始信息中的至少一种。
以一个现实应用场景为例对本发明实施例阐述如下：
本应用场景是基于能投影的智能手机或智能平板所提出的，以采用智能手机为例，对智能手机具备投影功能的不同工作模式和标定方法进行介绍如下：
带投影的智能手机有直投模式和斜投模式两种工作模式，如图6所示为直投模式的场景图，集成了投影仪的手机，采用手执模式，将投影仪对准投影屏幕，投影仪所投射出的光线与投影屏幕的夹角为90度，其投影的内容为手机界面或播放的视频等。
为了更好的理解斜投模式，先介绍一个如图7所示的虚拟键盘投影的实例，激光投影的内容为一个简单的计算机标准键盘的图形，设备通过底部红外光源和红外照相机配合作用检测手指在虚拟键盘上的点击动作，从而实现人机交互。本发明的斜投模式就类似于这种场景的展示，是将手机放置在桌面上，投影仪所投射出的光线与投影屏幕的夹角可以小于90度的情况。具体的，如图8所示，图8左侧的场景为斜投模式，图8右侧的场景为直投模式，由于同时具备斜投模式和直投模式这两种不同的工作模式，通过旋转部件的转动来进行两种不同的工作模式的切换，因此，本发明的智能手机实际上集成了激光投影仪(PICO)和虚拟键盘的两项功能，它除了象一般移动设备一样使用触摸屏进行交互操作外，也可以在打开投影仪时利用手势输入进行人机交互。其中，在直投模式下，与图6中的投影手机类似，但增加了基于近场感应器(P-sensor)的简单手势交互方式；在斜投模式下，可以简单地看作是将图7中的虚拟键盘和移动设备集成在了一起，此时，本发明的智能手机为了实现斜投模式需要倒立在桌面上使用，通过安装在电子设备顶部的红外光源和电子设备底部的红外摄像头相互配合检测手指的点击实现人机交互，使安装在底部的PICO投在桌面上的工作界面象手机或平板电脑的触摸屏一样可以进行点击、拖动等交互操作。
上面两种模式共用一个安装在底部的激光投影仪，通过一个机械旋转装置(或称旋转部件)切换两种不同的工作模式。
所谓标定，是指离线计算并存储设备中IR相机画面和PICO内容间的二维几何映射参数。在IR相机中检测到的手指点击动作的坐标值可以通过这组参数映射到PICO画面，从而完成人机交互。
在带手势交互和PICO投影仪的智能手机中，由于产品硬件结构的微小差异，在斜投模式下，每台产品的IR相机和PICO的几何映射关系都需要单独标定。而现有的标定方法是，点击已知PICO投影画面上的标定点，并拍摄图像，利用标定辅助程序离线计算标定参数。离线获取图像对硬件固定要求高，且离线方法需要多人配合操作，辅助计算程序也需要人工参与，这大大降低了工作效率。
而且，设备在量产过程中，每一台产品都需要标定，另外在用户使用过程中，当硬件间相对位置发生变化时，亦需要重新标定。离线标定大大降低了生产率，对工厂的工人的要求也大大提高，故需要采用一个减少人为参与的自动标定方法。
有鉴于此，为了提高标定的效率和准确性，本应用场景采用本发明实施例，是一种基于手势交互的移动设备中的斜投模式的自动标定几何关系方法，系统自动检测标定点及采集点，计算得到用于自动标定使用的上述第一信息并保存到相关文件中，以备实时使用时的程序调用能实现自动标定和后续的标定调整。
对于斜投模式情况下的交互方式而言，如图9所示为斜投模式交互的工作原理图，红外光源发出一束平行桌面的平面光，当手指接触桌面时会遮挡光路，红外光在手指尖形成一个光斑，这个光斑是人眼无法看到的，但是能被安装在设备上的IR相机检测得到。如图10所示，IR机检测到桌面上的一个光斑点，图像坐标系中它的位置是P，可以通过事先标定的几何换算关系求出在投影仪画面里的位置坐标P’，这就是斜投模式交互的基本原理。标定的目的是快速计算IR相机中的坐标P＝(x,y)和PICO的内部坐标P’＝(x’,y’)之间的映射关系H，该映射关系H又称为转置矩阵H，例如，H可以为一个3×3矩阵，映射关系为：[x’,y’,1]T＝H*[x,y,1]T。
本场景应用本发明实施例，实现自动标定斜投模式几何关系的H的方案一如下所述：
初始化：通过检测IR相机中的N(N>＝4，点不在同一直线上，实际中取N＝5～9)个手指尖点击坐标，计算和PICO中已知对应坐标的关系H。利用现有设备的IR相机、PICO投影、激光DOE，设计一个基于安卓的应用程序(App)，按照以下步骤进行标定：
步骤601、打开投影仪，运行交互App，在桌面投出标定画面；
步骤602、按照App的指示依次点击画面中的标定点，在点击标定点的同时，App调用手指尖检测模块自动检测IR相机图像中的手指尖位置坐标；
步骤603、重复步骤602，依次点击N个(N>＝4)标定点完成，程序记录N个IR相机图像坐标值；
这里，步骤602中手指尖位置坐标和步骤603的N个IR相机图像坐标值是同一个概念，都是P参数，也就是说，步骤601-603要表达的内容是：投影画面中显示的预设的M个标定点，以便用户点击该标定点，来开启IR相机中的“手指尖检测模块”，通过“手指尖检测模块”得到M个标定点对应的P参数；
步骤604、根据N组标定点手机坐标(在App中为已知)和对应N组IR相机图像坐标计算斜投模式几何关系H。
这里，由于标定点手机坐标(在App中为已知)，标定点手机坐标即为P’参数，从而，在P’参数已知，P参数可以通过IR相机检测得到的情况下，根据P参数和P’参数计算得到H。
本场景应用本发明实施例，实现自动标定斜投模式几何关系的H的方案二如下所述：
初始化：如果设备内部已经有一个H0值(对产线工人来说这是交互模块预装的H的初始值；对用户来说可能是设备出厂时设置的H，也可能是自己上一次调用标定程序生成的结果)，此时设备可以正常使用，可以利用现有的程序框架，利用PICO的系统坐标和H0反推相机的坐标。
设计一个基于安卓的应用程序(App)，按照以下步骤进行自动标定：
步骤701、打开PICO投影仪，运行交互App，在桌面投出标定画面；
步骤702、按照App的指示依次点击画面中的标定点，得到N组标定点PICO画面坐标(即P’参数，在App中为已知)
该标定点在PICO画面中的坐标已知，如方案一中的概念一样，都是指P’参数，在点击标定点的同时，获取手势检测得到的系统坐标值；
这里的系统坐标值是根据预先存储的标定参数H0计算得到的PICO中的坐标值P”＝P’+ΔP，标定的目的就是使误差ΔP趋于0。
步骤703、重复步骤702，按照提示依次点击N个(N>＝4)标定点，同时获取N组系统坐标值P”＝(x”,y”)；
步骤704、用N组系统坐标值P”和初始参数H0反推出N组相对应的IR相机的图像坐标P；
这里，IR相机中的坐标P＝(x,y)利用PICO的内部坐标P”＝(x”,y”)和H0的逆映射得到，映射关系为：[x,y,1]T＝H0 -1*[x”,y”,1]T。
步骤705、根据N组标定点PICO画面坐标(即P’参数，在App中为已知)和对应N组相机图像坐标计算斜投模式几何关系H，并替换掉原标定参数H0。
与方案一的区别在于，初始H已经存在，初始H可以定义为H0，点击画面中显示的预设M个标定点，预设M个标定点对应的P’参数，系统坐标值不同于P’参数，是根据H0参数计算得到的，是存在误差的，这里称之为P”参数，此时P”参数就是根据H0计算得到的，反推出的P或称P1就是IR图像中的点击坐标(或称系统坐标)。采用反推步骤的目的是：由于在实际APP应用中由于程序架构的原因此时不方便直接获取IR图像中的底层坐标，所以区别于方案一，不能直接检测，而是通过反推步骤得到。之后，由于P’参数已知(见步骤702中的描述，通过P’参数和P1计算得到新的H1，用新的H1来替换H0。
本场景应用本发明实施例，实现自动标定斜投模式几何关系的H的方案三如下所述：
初始化：利用外部可见光的RGB相机检测PICO投影上标定点的位置，然后利用它们的映射关系H1映射到IR相机的坐标系中。这样利用现有设备的IR相机、PICO投影机、DOE激光模组，和一个外部辅助RGB相机，按照以下步骤进行自动标定：
步骤801、标定现有IR相机和外部辅助RGB相机的画面映射关系H1(通过拍摄已知的桌面上的平面三维点，可以计算出二者之间映射关系)；
步骤802、打开PICO，在桌面上投出一个标定图，图中包含N个已知坐标标定点；
步骤803、利用RGB相机获取PICO标定图图像，并自动检测N个标定点的图像坐标；
步骤804、根据a中的几何关系H1和c中的标定点图像坐标，推出IR相机图像坐标值；
步骤805、根据N组标定点手机坐标(在App中为已知)和对应N组Camera图像坐标计算斜投模式几何关系。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种信息处理方法，所述方法应用于电子设备中，所述电子设备包括：投影单元、第一采集单元和发射光源，将所述电子设备设置于第一承载平面上以使用第一投影模式，所述方法包括：
控制所述发射光源发射出平行于所述第一承载平面的光线；
控制所述投影单元投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像；
根据至少一个标定点的指示，获取操作体作用于所述至少一个标定点的第一操作，所述第一操作对应于检测到的采集点；
响应所述第一操作，检测出对应所述采集点的第一参数，所述第一参数用于表征所述采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；
获取对应所述至少一个标定点的第二参数，所述第二参数用于表征所述标定点在所述投影单元对应的第二图像坐标系中的第二坐标；
根据所述第一参数和所述第二参数得到第一信息，所述第一信息表征所述第一图像坐标系和所述第二图像坐标系的转换关系。
2.根据权利要求1所述的方法，所述采集点具体为所述第一操作阻挡所述光线在所述操作体上形成的光斑，所述获取依次操作体作用于所述至少一个标定点的第一操作，包括：
控制所述第一采集单元采集投射于所述采集点的光线情况来获得作用于所述至少一个标定点的第一操作；
控制所述第一采集单元和所述发射光源配合工作，采集或发射相同类型的光线。
3.根据权利要求1或2所述的方法，所述至少一个标定点不在同一直线上。
4.根据权利要求1或2所述的方法，所述控制所述投影单元投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像，还包括：
运行第一应用，根据所述第一应用生成包含至少一个标定点的标定图像；
获取包含至少一个标定点的标定图像；
开启所述投影单元，将包含至少一个标定点的标定图像投影在所述第一显示区域中。
5.根据权利要求4所述的方法，所述方法还包括：
所述至少一个标定点为M个，M为大于1的自然数；
接收通过所述第一应用发出的第一指令；
响应所述第一指令，检测所述操作体按照预设规则在所述M个标定点中选取的一个或N个标定点，直至完成对所述M个标定点的选取则结束检测，所述N为大于1且小于M的自然数。
6.根据权利要求1或2所述的方法，所述方法还包括：
获取第二信息，所述第二信息为预置的所述第一图像坐标系和所述第二图像坐标系的预置转换关系；
获取依次作用于所述至少一个标定点的第二操作；
响应所述第二操作，提取对应所述至少一个标定点的第三参数，所述第三参数用于表征所述标定点在所述投影单元对应的第二坐标系中预置的第二坐标；
根据所述第二信息和所述第三参数得到第四参数；所述第四参数用于表征采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；所述第四参数包括误差补偿值；
根据所述第四参数和所述第二信息得到第三信息，所述第三信息为对所述第二信息修正后的信息；
用所述第三信息替换所述第二信息，所述第三信息表征经修正后得到的所述第一图像坐标系和所述第二图像坐标系的转换关系。
7.根据权利要求6所述的方法，所述第二信息包括：所述第一信息、电子设备出厂前预装的第一初始信息、电子设备出厂时的设置的第二初始信息中的至少一种。
8.一种电子设备，所述电子设备设置于第一承载平面上以使用第一投影模式，所述电子设备包括：
发射光源，用于发射出平行于所述第一承载平面的光线；
投影单元，用于投射形成第一显示区域，所述第一显示区域位于所述第一承载平面内，所述第一显示区域中包含具有至少一个标定点的标定图像；
第一采集单元，用于根据至少一个标定点的指示，获取操作体作用于所述至少一个标定点的第一操作，所述第一操作对应于检测到的采集点；
检测单元，用于响应所述第一操作，检测出对应所述采集点的第一参数，所述第一参数用于表征所述采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；
第一获取单元，用于获取对应所述至少一个标定点的第二参数，所述第二参数用于表征所述标定点在所述投影单元对应的第二图像坐标系中的第二坐标；
第一处理单元，用于根据所述第一参数和所述第二参数得到第一信息，所述第一信息表征所述第一图像坐标系和所述第二图像坐标系的转换关系。
9.根据权利要求8所述的电子设备，所述采集点具体为所述第一操作阻挡所述光线在所述操作体上形成的光斑；
所述第一采集单元，进一步用于采集投射于所述采集点的光线情况来获得作用于所述至少一个标定点的第一操作；控制所述第一采集单元和所述发射光源配合工作，采集或发射相同类型的光线。
10.根据权利要求8或9所述的电子设备，所述至少一个标定点不在同一直线上。
11.根据权利要求8或9所述的电子设备，所述电子设备还包括：
标定图像生成单元，用于运行第一应用，根据所述第一应用生成包含至少一个标定点的标定图像；
标定图像获取单元，用于获取包含至少一个标定点的标定图像；
所述投影单元，进一步用于将包含至少一个标定点的标定图像投影在所述第一显示区域中。
12.根据权利要求11所述的电子设备，所述第一采集单元，进一步用于在所述至少一个标定点为M个，M为大于1的自然数的情况下，接收通过所述第一应用发出的第一指令；响应所述第一指令，检测所述操作体按照预设规则在所述M个标定点中选取的一个或N个标定点，直至完成对所述M个标定点的选取则结束检测，所述N为大于1且小于M的自然数。
13.根据权利要求8或9所述的电子设备，所述电子设备还包括：
第二获取单元，用于获取第二信息，所述第二信息为预置的所述第一图像坐标系和所述第二图像坐标系的预置转换关系；
第三获取单元，用于获取依次作用于所述至少一个标定点的第二操作；
响应单元，用于响应所述第二操作，提取对应所述至少一个标定点的第三参数，所述第三参数用于表征所述标定点在所述投影单元对应的第二坐标系中预置的第二坐标；
第二处理单元，用于根据所述第二信息和所述第三参数得到第四参数；所述第四参数用于表征采集点在所述第一采集单元对应的第一图像坐标系中的第一坐标；所述第四参数包括误差补偿值；
修正单元，用于根据所述第四参数和所述第二信息得到第三信息，所述第三信息为对所述第二信息修正后的信息；
替换单元，用于用所述第三信息替换所述第二信息，所述第三信息表征经修正后得到的所述第一图像坐标系和所述第二图像坐标系的转换关系。
14.根据权利要求13所述的电子设备，所述第二信息包括：所述第一信息、电子设备出厂前预装的第一初始信息、电子设备出厂时的设置的第二初始信息中的至少一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510320353.4A CN106293442B (zh) | 2015-06-11 | 2015-06-11 | 一种信息处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510320353.4A CN106293442B (zh) | 2015-06-11 | 2015-06-11 | 一种信息处理方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106293442A CN106293442A (zh) | 2017-01-04 |
| CN106293442B true CN106293442B (zh) | 2019-12-24 |
Family
ID=57659268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510320353.4A Active CN106293442B (zh) | 2015-06-11 | 2015-06-11 | 一种信息处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106293442B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345418B (zh) * | 2017-01-22 | 2021-06-04 | 北京新唐思创教育科技有限公司 | 一种在线教学中互动对象的显示方法及其装置 |
| CN106897688B (zh) * | 2017-02-21 | 2020-12-08 | 杭州易现先进科技有限公司 | 交互式投影装置、控制交互式投影的方法和可读存储介质 |
| CN108495104A (zh) * | 2018-03-21 | 2018-09-04 | 联想(北京)有限公司 | 一种信息处理方法及装置 |
| CN108683896A (zh) * | 2018-05-04 | 2018-10-19 | 歌尔科技有限公司 | 一种投影设备的校准方法、装置、投影设备及终端设备 |
| CN108629813B (zh) * | 2018-05-04 | 2022-03-01 | 歌尔科技有限公司 | 一种投影设备高度信息的获取方法、装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101256457A (zh) * | 2008-03-10 | 2008-09-03 | 清华大学 | 带用户身份标识的无线控制激光笔及多用户光点识别系统 |
| CN101907954A (zh) * | 2010-07-02 | 2010-12-08 | 中国科学院深圳先进技术研究院 | 交互式投影系统及交互投影方法 |
| CN103809880A (zh) * | 2014-02-24 | 2014-05-21 | 清华大学 | 人机交互系统及方法 |
| CN104461286A (zh) * | 2014-11-26 | 2015-03-25 | 昆山国显光电有限公司 | 一种显示屏悬浮触控方法 |
-
2015
- 2015-06-11 CN CN201510320353.4A patent/CN106293442B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101256457A (zh) * | 2008-03-10 | 2008-09-03 | 清华大学 | 带用户身份标识的无线控制激光笔及多用户光点识别系统 |
| CN101907954A (zh) * | 2010-07-02 | 2010-12-08 | 中国科学院深圳先进技术研究院 | 交互式投影系统及交互投影方法 |
| CN103809880A (zh) * | 2014-02-24 | 2014-05-21 | 清华大学 | 人机交互系统及方法 |
| CN104461286A (zh) * | 2014-11-26 | 2015-03-25 | 昆山国显光电有限公司 | 一种显示屏悬浮触控方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106293442A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107678647B (zh) | 虚拟射击主体控制方法、装置、电子设备及存储介质 | |
| US10943402B2 (en) | Method and system for mixed reality interaction with peripheral device | |
| CN106293442B (zh) | 一种信息处理方法及电子设备 | |
| EP3769509B1 (en) | Multi-endpoint mixed-reality meetings | |
| US8648808B2 (en) | Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof | |
| JP2017531227A (ja) | ユーザーの視点を考慮して動作認識するインタフェース提供方法及び提供装置 | |
| JP6165485B2 (ja) | 携帯端末向けａｒジェスチャユーザインタフェースシステム | |
| EP2677399A2 (en) | Virtual touch device without pointer | |
| CN110035218B (zh) | 一种图像处理方法、图像处理装置及拍照设备 | |
| EP2677398A2 (en) | Virtual touch device without pointer on display surface | |
| US20130208005A1 (en) | Image processing device, image processing method, and program | |
| EP2590060A1 (en) | 3D user interaction system and method | |
| CN105912101B (zh) | 一种投影控制方法和电子设备 | |
| CN106909871A (zh) | 手势指令识别方法 | |
| JP6360509B2 (ja) | 情報処理プログラム、情報処理システム、情報処理方法、および情報処理装置 | |
| CN115278084A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR101321274B1 (ko) | 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치 | |
| JP2016167250A (ja) | 操作イベントを検出する方法、システム及びプログラム | |
| KR20190035373A (ko) | 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 | |
| US9946333B2 (en) | Interactive image projection | |
| JP2011203816A (ja) | 座標入力装置及びプログラム | |
| JP6452658B2 (ja) | 情報処理装置、およびその制御方法ならびにプログラム | |
| US10185407B2 (en) | Display control apparatus, display control method and recording medium | |
| CN105528060A (zh) | 终端设备和控制方法 | |
| JP7480408B1 (ja) | 情報処理システム、情報処理装置、プログラム及び情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |