CN104185000A - 一种跨屏互动的自动校准方法 - Google Patents

Abstract

本发明提供一种跨屏互动的自动校准方法，用于投射端与被投射端的跨屏互动，在跨屏互动过程中，投射端的屏幕上的内容传屏至被投射端的屏幕，被投射端通过回控数据通道回控投射端；包括：屏幕截取步骤、截屏读取步骤、图片解析步骤、记录状态与坐标转化步骤。本发明提供的跨屏互动的自动校准方法无需用户的额外手动校准操作，也无需确保投射端在被投端满屏显示，能够实现被投端对投射端的更精确地实时触摸回控，优化了用户体验，节约了硬件上显示模块的成本。

Description

一种跨屏互动的自动校准方法

技术领域

本发明涉及跨屏互动与屏幕自动校准技术领域，尤其涉及一种跨屏互动的自动校准方法。

背景技术

现有的跨屏互动技术中，对于触摸事件的校准方式多采用用户手动校准和满屏自动校准的方式。

用户手动校准方式即通过用户手动点击屏幕上的特定位置，然后通过相关算法计算后，得到屏幕触摸事件与屏幕显示内容的对应关系，再对屏幕进行实时回控。用户手动校准方式存在的缺陷是：需要增加用户的额外操作，且存在因操作失误导致无法回控的情况。

满屏自动校准方式要求投射端与被投射端的显示屏都显示满屏，然后进行比例换算实现校准。满屏自动校准方式存在的缺陷是：需要投射端与被投端都显示满屏，需要额外的驱动，而且由于比例不同还会导致图像拉伸失真的问题。

发明内容

本发明提供一种跨屏互动的自动校准方法，无需用户额外手动校准操作，且无需确保投射端在被投射端满屏显示，能够实现被投射端对投射端的准确的实时触摸回控。

为达到上述目的，本发明所采取的技术方案为：

本发明提供一种跨屏互动的自动校准方法，用于投射端与被投射端的跨屏互动，在跨屏互动过程中，投射端的屏幕上的内容传屏至被投射端的屏幕，被投射端通过回控数据通道回控投射端；包括：

屏幕截取步骤：当在被投射端检测到已建立传屏状态，并且已连接回控数据通道，根据投射端横竖屏状态通知，检测当前横竖屏状态是否已经校准，若未校准，在被投射端截取当前整个屏幕，将截取的图片保存到指定文件路径；

截屏读取步骤：从所述指定文件路径读取对应横竖屏状态的被投射端截取的图片，将图片存储到用于获取对应像素点的灰度值的对象中；

图片解析步骤，包括：

投影边界值获取步骤：遍历整张图片或根据默认投影区域阈值遍历图片，通过灰度值比较得到投射端在被投射端的投影显示区域的投影边界值；

投影区域阈值设定步骤：在投影边界值获取步骤中遍历整张图片获取投影边界值时，设定投影区域阈值；

比较步骤：将投影边界值与设定的投影区域阈值或默认的投影区域阈值进行比较，若根据比较结果，投影显示区域大于投影阈值区域，则此次校准有效，进行记录状态与坐标转化步骤，否则跳转回屏幕截取步骤；

记录状态与坐标转化步骤：缓存有效的校准数据和对应的横竖屏状态；通过投影边界值转化坐标数据，将转化后的坐标数据发送到投射端以控制投射端。

进一步地，投影边界值获取步骤具体为：进行栅格式遍历图片，设置遍历步长，通过灰度值比较得到投射端在被投射端的的投影显示区域的投影边界值minX、maxX、minY、maxY。

进一步地，所述默认投影区域阈值的设定步骤为：将默认投影区域阈值设定为图片中心的点，即：

tmp_minX＝image_width/2，tmp_maxX＝image_width/2，

tmp_minY＝image_height/2，tmp_maxY＝image_height/2

其中，tmp_minX、tmp_maxX、tmp_minY、tmp_maxY是投影区域阈值，image_width为图像宽度，image_height为图像高度。

进一步地，在投影边界值获取步骤中遍历整张图片获取投影边界值时，所述投影区域阈值设定步骤具体为：对各种不同投射端在被投射端的投影显示区域的投影边界值做大数据统计，获得投影区域阈值，投影区域阈值为图片遍历空间。

更进一步地，投影区域阈值设定步骤具体为：统计各种不同投射端在被投射端的投影显示区域的投影边界值，存入一个数组Array中，然后遍历整个数组：

tmp_minX＝Max(Array->minX)+N,

tmp_maxX＝Min(Array->maxX)-N,

tmp_minY＝Max(Array->minY)+N,

tmp_maxY＝Min(Array->maxY)-N,

其中：

tmp_minX,tmp_maxX,tmp_minY,tmp_maxY是投影区域阈值；

Array->a表示获取数组中某项属性a值的全体成员组成新的数组，

a为投影边界值minX、maxX、minY或maxY；

N为任意大于0的自然数，表示精度。

更进一步地，所述记录状态与坐标转化步骤中的通过投影边界值转化坐标数据，具体为：投影显示区域内任意点的坐标Pos.x1、Pos.y1与投射端坐标Pos.x2、Pos.y2的转化公式为：

Pos.x2＝(Pos.x1-minX)*P_width/(maxX-minX)；

Pos.y2＝(Pos.y1-minY)*P_height/(maxY-minY)；

其中，minX，maxX，minY，maxY为投射端在被投射端的投影边界值；

P_width为投射端屏幕的宽度，P_height为投射端屏幕的高度。

本发明的有益效果在于：通过在判断横竖屏状态未校准时进行屏幕截取，再读取截屏图片，通过图像识别算法，获得投射端在被投射端的投影边界值，再将投影边界值进行映射换算，将被投射端的屏幕坐标和投射端的显示内容建立对应关系，实现自动校准，无需用户的额外手动校准操作，也无需确保投射端在被投射端满屏显示，便能够实现被投射端对投射端的精确地实时触摸回控，优化了用户体验，节约了硬件上的显示模块的成本。

附图说明

图1是本发明中的跨屏互动的工作流程框图；

图2是本发明的跨屏互动的自动校准流程图；

图3是本发明的投影边界值获取步骤中的图像识别算法原理图；

图4是本发明的记录状态与坐标转化步骤中的通过投影边界值转化坐标数据的算法原理图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，附图仅供参考和说明使用，不构成对本发明专利保护范围的限制。

如图1所示，本实施例提供的跨屏互动的自动校准方法，用于投射端与被投射端的跨屏互动，在跨屏互动过程中，投射端的屏幕上的内容通过有线或无线的方式传屏投射至被投射端的屏幕，被投射端通过回控数据通道回控投射端；

本实施例以手机为投射端，车载主机为被投射端，在跨屏互动过程中，手机的投射屏A上的内容传屏投射至车载主机的被投射屏B，被投射屏B通过回控数据通道回控投射屏A。

如图2所示，本实施例提供的跨屏互动的自动校准方法的具体流程包括：

屏幕截取步骤1：当在被投射端检测到已建立传屏状态，并且已连接回控数据通道，根据投射端横竖屏状态通知，检测当前横竖屏状态是否已经校准，若未校准，在被投射端截取当前整个屏幕，将截取的图片保存到指定文件路径，然后关闭写文件的句柄；

截屏读取步骤2：从所述指定文件路径读取对应横竖屏状态的被投射端截取的图片，将图片存储到可操作对象中，可操作对象用于获取对应像素点的灰度值，RGB值转化灰度值公式为：gray(灰色亮度值)＝0.299*Red+0.587*Green+0.114*Blue；

图片解析步骤345：包括：

投影边界值获取步骤3：通过图像识别算法遍历整张图片或根据默认投影区域阈值遍历图片，通过灰度值比较得到投射端在被投射端的投影显示区域的投影边界值minX、maxX、minY、maxY；

投影区域阈值设定步骤4：在投影边界值获取步骤中遍历整张图片获取投影边界值时，设定投影区域阈值；

比较步骤5：将投影边界值与设定的投影区域阈值或默认的投影区域阈值进行比较，若根据比较结果，投影显示区域大于投影阈值区域，则此次校准有效，进行记录状态与坐标转化步骤6，否则跳转回屏幕截取步骤1；

记录状态与坐标转化步骤6：缓存有效的校准数据和对应的横竖屏状态，若连接状态未发生变化，将不再进行重复校准，如连接状态(因更换手机等)发生变化，则将缓存清空，重新进行校准；通过投影边界值转化坐标数据，将转化后的坐标数据发送到投射端以控制投射端。

在记录状态与坐标转化步骤6中，通过HID控制协议或其他自定义控制协议将转化后的坐标数据发送到投射端，以回控投射端。

如图2所示，在自动校准过程中，可设置校准失败的次数阈值，或者延长失败校准时间。

图3示出了所述投影边界值获取步骤3中的图像识别算法的原理图。由于图像有效显示区域和其背景色区域像素的灰度值存在很大差异，因此通过设定一个灰度值的阈值，然后遍历整个图像的像素的灰度值，即可区分图像的有效显示区域和背景区域。但是遍历较大的图像，对设备的性能有一定要求，尤其是嵌入式设备性能不是很高的时候会更加明显。因此在设计算法时做了优化，具体如下：

进行栅格式遍历：遍历图片时候并不是一个个像素的遍历，而是通过设置步长来遍历图片。

设置遍历图片的阈值：绝大部分情况下，在跨屏互动的截屏中，图像的有效显示区域都会有投影区域的阈值，通过大数据统计，可以获得这个阈值。而且可以更精细的获得横向投屏阈值和纵向投屏阈值，如果未进行阈值设定，则默认将投影区域的阈值设为图像中心点。

在本实施例中，图像识别算法不限于在车载主机端实现，也可以在手机端或者服务器实现。图像识别算法也不限于校准图片，可用于对任何图像获取边界值。

如图3所示，手机屏幕在车载主机屏幕的投影有一个矩形投影显示区域，即投影图像有效显示区域，为保证能识别到这个矩形投影显示区域的边界，须保证遍历的范围要包括这个矩形的边界，因此投影区域阈值的设定即是保证所有投影的显示边界值满足：

tmp_minX>minX，tmp_maxX<maxX，

tmp_minY>minY，tmp_maxY<maxY。

在本实施例中，所述默认投影区域阈值的设定步骤为：将默认投影区域阈值设定为图片中心的点，即：

tmp_minX＝image_width/2，tmp_maxX＝image_width/2，

tmp_minY＝image_height/2，tmp_maxY＝image_height/2

其中，tmp_minX、tmp_maxX、tmp_minY、tmp_maxY是投影区域阈值，image_width为图像宽度，image_height为图像高度。

在投影边界值获取步骤中遍历整张图片获取投影边界值时，所述投影区域阈值设定步骤具体为：对各种不同手机端在车机端的投影显示区域的投影边界值做大数据统计，获得投影区域阈值，投影区域阈值为图片遍历空间；具体为：统计各种不同手机在车机端的投影显示区域的投影边界值，存入一个数组Array中，然后遍历整个数组：

tmp_minX＝Max(Array->minX)+N,

tmp_maxX＝Min(Array->maxX)-N,

tmp_minY＝Max(Array->minY)+N,

tmp_maxY＝Min(Array->maxY)-N,

其中：tmp_minX,tmp_maxX,tmp_minY,tmp_maxY是投影区域阈值；

Array->a表示获取数组中某项属性a值的全体成员组成新的数组，

a为投影边界值minX、maxX、minY或maxY；

Max(q)取得数组q中值最大的元素；

Min(p)取得数组p中值最小的元素；

N为任意大于0的自然数，表示精度。

图4示出了所述记录状态与坐标转化步骤中的通过投影边界值转化坐标数据的算法原理图，Image_width、Image_height分别是截图的宽和高，即车机屏幕的宽和高，手机端的真实屏幕的宽和高分为Phone_width、Phone_height。为了将车载主机屏幕上的手机投影显示区域内任意点Vehicle_Pos(包含坐标值x.y的点)转化为手机端Phone_Pos(包含坐标值x.y的点)，判断条件：如果Vehicle_Pos.x<maxX、Vehicle_Pos.x>minX、Vehicle_Pos.y<maxY和Vehicle_Pos.y>minY四个条件同时满足，才能进行坐标转换。Phone_Pos的坐标值转化公式为：

Phone_Pos.x＝(Vehicle_Pos.x-minX)*Phone_width/(maxX-minX)；

Phone_Pos.y＝(Vehicle_Pos.y-minY)*Phone_height/(maxY-minY)。

其中，minX，maxX，minY，maxY为手机在被车载主机的投影边界值。

以上所揭露的仅为本发明的较佳实施例，不能以此来限定本发明的权利保护范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种跨屏互动的自动校准方法，用于投射端与被投射端的跨屏互动，在跨屏互动过程中，投射端的屏幕上的内容传屏至被投射端的屏幕，被投射端通过回控数据通道回控投射端；其特征在于，包括：

屏幕截取步骤：当在被投射端检测到已建立传屏状态，并且已连接回控数据通道，根据投射端横竖屏状态通知，检测当前横竖屏状态是否已经校准，若未校准，在被投射端截取当前整个屏幕，将截取的图片保存到指定文件路径；

截屏读取步骤：从所述指定文件路径读取对应横竖屏状态的被投射端截取的图片，将图片存储到用于获取对应像素点的灰度值的对象中；

图片解析步骤，包括：

投影边界值获取步骤：遍历整张图片或根据默认投影区域阈值遍历图片，通过灰度值比较得到投射端在被投射端的投影显示区域的投影边界值；

投影区域阈值设定步骤：在投影边界值获取步骤中遍历整张图片获取投影边界值时，设定投影区域阈值；

比较步骤：将投影边界值与设定的投影区域阈值或默认的投影区域阈值进行比较，若根据比较结果，投影显示区域大于投影阈值区域，则此次校准有效，进行记录状态与坐标转化步骤，否则跳转回屏幕截取步骤；

记录状态与坐标转化步骤：缓存有效的校准数据和对应的横竖屏状态；通过投影边界值转化坐标数据，将转化后的坐标数据发送到投射端以控制投射端。

2.根据权利要求1所述的跨屏互动的自动校准方法，其特征在于：

投影边界值获取步骤具体为：进行栅格式遍历图片，设置遍历步长，通过灰度值比较得到投射端在被投射端的的投影显示区域的投影边界值minX、maxX、minY、maxY。

3.根据权利要求1或2所述的跨屏互动的自动校准方法，其特征在于：

所述默认投影区域阈值的设定步骤为：将默认投影区域阈值设定为图片中心的点，即：

tmp_minX＝image_width/2，tmp_maxX＝image_width/2，

tmp_minY＝image_height/2，tmp_maxY＝image_height/2

其中，tmp_minX、tmp_maxX、tmp_minY、tmp_maxY是投影区域阈值，image_width为图像宽度，image_height为图像高度。

4.根据权利要求1或2所述的跨屏互动的自动校准方法，其特征在于：

在投影边界值获取步骤中遍历整张图片获取投影边界值时，所述投影区域阈值设定步骤具体为：对各种不同投射端在被投射端的投影显示区域的投影边界值做大数据统计，获得投影区域阈值，投影区域阈值为图片遍历空间。

5.根据权利要求4所述的跨屏互动的自动校准方法，其特征在于：

所述投影区域阈值设定步骤具体为：统计各种不同投射端在被投射端的投影显示区域的投影边界值，存入一个数组Array中，然后遍历整个数组：

tmp_minX＝Max(Array->minX)+N,

tmp_maxX＝Min(Array->maxX)-N,

tmp_minY＝Max(Array->minY)+N,

tmp_maxY＝Min(Array->maxY)-N,

其中：

tmp_minX,tmp_maxX,tmp_minY,tmp_maxY是投影区域阈值；

Array->a表示获取数组中某项属性a值的全体成员组成新的数组，

a为投影边界值minX、maxX、minY或maxY；

N为任意大于0的自然数，表示精度。

6.根据权利要求1或2所述的跨屏互动的自动校准方法，其特征在于：

所述记录状态与坐标转化步骤中的通过投影边界值转化坐标数据，具体为：

投影显示区域内任意点的坐标Pos.x1、Pos.y1与投射端坐标Pos.x2、Pos.y2的转化公式为：

Pos.x2＝(Pos.x1-minX)*P_width/(maxX-minX)；

Pos.y2＝(Pos.y1-minY)*P_height/(maxY-minY)；

其中，minX，maxX，minY，maxY为投射端在被投射端的投影边界值；

P_width为投射端屏幕的宽度，P_height为投射端屏幕的高度。