CN116069433A

CN116069433A - 基于虚拟桌面基础架构和动作识别的图像漂移方法及系统

Info

Publication number: CN116069433A
Application number: CN202310212797.0A
Authority: CN
Inventors: 孟现庆; 庞保传; 张在兴; 张学峰
Original assignee: Shandong Qianyun Qichuang Information Technology Co ltd
Current assignee: Shandong Qianyun Qichuang Information Technology Co ltd
Priority date: 2023-03-08
Filing date: 2023-03-08
Publication date: 2023-05-05
Anticipated expiration: 2043-03-08
Also published as: CN116069433B

Abstract

本发明公开了一种基于虚拟桌面基础架构和动作识别的图像漂移方法及系统，属于图像漂移技术领域；该图像漂移方法为基于服务器实现交互终端A与交互终端B之间的图像漂移，包括：服务器运行虚拟机，并将虚拟机的虚拟桌面图像显示在交互终端A上；交互终端A获取动作信息；服务器解析动作信息，得到动作信息所对应的位置信息；服务器将虚拟桌面图像推送并显示在位置信息所对应的交互终端B。本发明可实现不同交互终端之间的图像漂移，使人机交互更加便捷。

Description

基于虚拟桌面基础架构和动作识别的图像漂移方法及系统

技术领域

本发明涉及图像漂移技术领域，具体涉及一种基于虚拟桌面基础架构和动作识别的图像漂移方法及系统。

背景技术

现有技术中相关的是软件投屏方案和投影仪方案，其中软件投屏主要是将手机上的图像推送到智能电视、智能投影等设备上进行显示，覆盖范围有限，且不具备直接操控原图像的能力。而传统投影仪在使用时通常需要在不同的输入设备之间进行视频线路的切换，即使能够通过无线也需要外置发射器，发射器通常存在系统兼容性问题。

发明内容

针对现有技术中存在的不足之处，本发明提供一种基于虚拟桌面基础架构和动作识别的图像漂移方法及系统，可实现不同交互终端之间的图像漂移，使人机交互更加便捷。

本发明公开了一种基于虚拟桌面基础架构和动作识别的图像漂移方法，该图像漂移方法为基于服务器实现交互终端A与交互终端B之间的图像漂移，包括：

服务器运行虚拟机，并将虚拟机的虚拟桌面图像显示在交互终端A上；

交互终端A获取动作信息；

服务器解析所述动作信息，得到所述动作信息所对应的位置信息；

服务器将所述虚拟桌面图像推送并显示在所述位置信息所对应的交互终端B。

作为本发明的进一步改进，所述服务器运动虚拟机，并将虚拟机的虚拟桌面显示在交互终端A上；包括：

服务器的虚拟机服务运行虚拟机，虚拟机运行应用；

服务器的虚拟机服务将虚拟机的虚拟桌面图像推送并显示在交互终端A上。

作为本发明的进一步改进，所述动作信息包括手势动作。

作为本发明的进一步改进，所述服务器将所述虚拟桌面图像推送并显示在所述位置信息所对应的交互终端B；包括：

服务器的位置服务将解析得到的位置信息提供给虚拟机服务；

服务器的虚拟机服务将所述虚拟桌面图像推送并显示在所述位置信息所对应的交互终端B。

作为本发明的进一步改进，所述交互终端B为距所述位置信息距离最近的交互终端。

本发明还公开了一种基于虚拟桌面基础架构和动作识别的图像漂移系统，包括：

服务器，用于：

运行虚拟机，并将虚拟机的虚拟桌面图像推送至交互终端A；

解析动作信息，得到所述动作信息所对应的位置信息；

将交互终端A所显示的虚拟桌面图像推送并显示在所述位置信息所对应的交互终端B；

交互终端A，用于：

显示虚拟桌面图像以及获取动作信息；

交互终端B，用于：

显示服务器基于位置信息推送的虚拟桌面图像。

作为本发明的进一步改进，所述服务器，包括：

虚拟机服务，用于：

运行虚拟机，并将虚拟机的虚拟桌面图像推送至交互终端A；

将交互终端A的虚拟桌面图像推送并显示在所述位置信息所对应的交互终端B；

位置服务，用于：

解析所述动作信息，得到所述动作信息所对应的位置信息；

将解析得到的位置信息提供给虚拟机服务。

作为本发明的进一步改进，所述交互终端A或交互终端B，包括：

显示模块，用于：

显示虚拟桌面图像；

交互模块，用于：

获取动作信息，所述动作信息包括手势动作；

定位模块，用于：

与位置服务共同实现交互终端的定位。

作为本发明的进一步改进，

所述显示模块包括但不限于显示器；

所述交互模块包括但不限于触摸屏或摄像头；

所述定位模块包括但不限于蓝牙、Zigbee、WIFI和RFID中的一种。

作为本发明的进一步改进，交互终端包括但不限于瘦终端、胖终端、平板电脑和移动设备中的一种。

与现有技术相比，本发明的有益效果为：

本发明能够应用于虚拟办公空间，实现在虚拟办公空间中便捷的人机交互，使不同虚拟桌面图像在多种形式的终端之间互相漂移，带来更灵活的人机交互体验。

附图说明

图1为本发明公开的基于虚拟桌面基础架构和动作识别的图像漂移系统的框架图；

图2为本发明公开的基于虚拟桌面基础架构和动作识别的图像漂移方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

如图1所示，本发明提供一种基于虚拟桌面基础架构和动作识别的图像漂移系统，其利用了虚拟桌面本身即是一种数据存放在中心，交互在终端的架构优势，实现在办公、生活等空间中的信息交互的即时性和灵活性，可提高交互的体验和效率；例如在会议室场景中，能够快捷的将任何与会者电脑上的图像转移到其它与会者终端上或者大屏上或者任何其它形式的交互设备上，并能够进行操作和控制。其中，

虚拟桌面基础架构（VDI）是一种基于服务器提供桌面的计算模式，其将所有的桌面虚拟机运行于数据中心中的服务器上，用户使用瘦终端通过桌面传输协议访问各自桌面虚拟机的画面（虚拟桌面），所有的计算和数据存储都位于服务器端，用户端只负责显示和进行输入输出操作。在这种模式下，用户可以通过各种终端形式访问虚拟桌面，具有极大的灵活性和便捷性。

手势等动作识别是利用摄像头或触摸屏，通过数学算法来识别人类手势或其它动作，从而控制设备或与设备进行交互。

该图像漂移系统，包括：服务器、交互终端A和交互终端B，服务器包括虚拟机服务和位置服务，交互终端A和交互终端B上均至少包括显示模块、定位模块和交互模块；其中，

在服务器中：

虚拟机服务，用于：

运行虚拟机，并将虚拟机的虚拟桌面图像推送至交互终端A；以及

根据解析得到的位置信息，将交互终端A的虚拟桌面图像推送至交互终端B；

位置服务，用于：

解析动作信息，得到动作信息所对应的位置信息；

将解析得到的位置信息提供给虚拟机服务。

在交互终端中，交互终端A，用于显示虚拟桌面图像以及获取动作信息；交互终端B，用于显示服务器基于位置信息推送的虚拟桌面图像；具体的：

显示模块，用于显示虚拟桌面图像；

交互模块，用于获取动作信息，动作信息包括手势动作；

定位模块，用于与位置服务共同实现交互终端的定位。

进一步，

交互终端包括但不限于瘦终端、胖终端、平板电脑和移动设备中的一种，只要其具备模块和能力就可以作为交互终端。

交互终端的显示模块可以是显示器或其它具有显示功能的装置，例如带有显示屏的桌子、墙体等，显示模块的作用是实时展现从服务器虚拟机服务所接收到的虚拟桌面图像，虚拟桌面图像是从服务器虚拟机服务推送而来。

交互终端的交互模块可以是触摸屏或摄像头等具备识别手势动作的装置，交互模块的作用是获取手势动作等动作信号，然后与服务器上的位置服务进行计算获得当前手势动作所对应的位置信息，将位置信息提供给服务器上的虚拟机服务，由虚拟机服务推送到相应位置信息的交互终端上。

交互终端的定位模块与服务器上的位置服务共同实现交互终端的定位，定位模块可以为不同形式的有源或无源的无线接收或发送装置，例如蓝牙、Zigbee、WIFI和RFID等，定位模块所实现的定位方案应支持室内空间定位。

如图2所示，本发明提供一种基于虚拟桌面基础架构和动作识别的图像漂移方法，该图像漂移方法为基于服务器实现交互终端A与交互终端B之间的图像漂移，包括：

步骤1、服务器的虚拟机服务运行虚拟机；

其中，虚拟机采用qemu的进程程序，其运行通过libvirt启动，具体由虚拟机管理程序进行管理。具体实现程序如下：

try:

hooks.before_vm_start(

self._buildDomainXML(),

self._custom,

final_callback=self._updateDomainDescriptor)

flags = hooks.load_vm_launch_flags_from_file(self.id)

# TODO: this is debug information. For 3.6.x we still need to

# see the XML even with 'info' as default level.

self.log.info("%s", self._domain.xml)

dom = self._connection.defineXML(self._domain.xml)

self._dom = virdomain.Defined(self.id, dom)

self._update_metadata()

dom.createWithFlags(flags)

self._dom = virdomain.Notifying(dom, self._timeoutExperienced)

hooks.after_vm_start(self._dom.XMLDesc(), self._custom)

for dev in self._customDevices():

hooks.after_device_create(dev._deviceXML, self._custom,

dev.custom)

finally:

hooks.remove_vm_launch_flags_file(self.id)

步骤2、虚拟机运行应用；

在步骤1启动运行虚拟机后，利用虚拟机运行应用是指在虚拟机内部运行应用程序，应用程序的运行由使用虚拟机的用户发起，虚拟机在接收到用户的发起指令后运行相应的应用程序。

步骤3、服务器的虚拟机服务将虚拟机的虚拟桌面图像推送至交互终端A，由交互终端A的显示模块展示；其中，该虚拟桌面图像为虚拟桌面中所运行应用的画面；

具体地，图像推送的具体实现程序如下：

static void marshall_qxl_drawable(RedChannelClient *rcc,

SpiceMarshaller *m,

RedDrawablePipeItem *dpi)

{

spice_return_if_fail(rcc);

Drawable *item = dpi->drawable;

DisplayChannel *display =

DISPLAY_CHANNEL(red_channel_client_get_channel(rcc));

spice_return_if_fail(display);

/*允许流式传输大小的帧，即使它们被另一个帧替换，因为如果新的帧更大，则可能无法完全覆盖大小的帧*/

if (item->stream && red_marshall_stream_data(rcc, m, item)) {

return;

}

if (display->priv->enable_jpeg)

marshall_lossy_qxl_drawable(rcc, m, dpi);

else

marshall_lossless_qxl_drawable(rcc, m, dpi);

}

步骤4、交互终端A的交互模块获取手势动作，将手势动作信息发送至服务器位置服务，解析手势动作所代表的位置信息；

具体地，获取手势动作的程序如下：

# Loop to continuously read motion data

while True:

#从传感器读取运动数据

accel, gyro = ms.read()

#计算当前加速度和先前加速度之间的差值

accel_diff = accel - prev_accel

#计算当前和先前陀螺仪读数之间的差值

gyro_diff = gyro - prev_gyro

#基于运动数据确定手势的方向

if np.linalg.norm(accel_diff) > np.linalg.norm(gyro_diff):

if accel_diff[1] > 0:

gesture_direction = 'up'

elif accel_diff[1] < 0:

gesture_direction = 'down'

else:

if gyro_diff[2] > 0:

gesture_direction = 'left'

elif gyro_diff[2] < 0:

gesture_direction = 'right'

#输出当前手势方向

print('Gesture direction:', gesture_direction)

#更新先前的加速度和陀螺仪读数

prev_accel = accel

prev_gyro = gyro

步骤5、服务器的位置服务将解析的位置信息提供给虚拟机服务，由虚拟机服务将虚拟桌面图像推送到位置信息所对应的交互终端B；

其中，解析位置信息的实现如下（以通过wifi定位为例）：

# 加载WiFi接入点的位置和信号强度数据

access_points = pd.read_csv('access_points.csv')

# 定义一个函数来计算两点之间的欧几里德距离

def distance(x1, y1, x2, y2):

return math.sqrt((x1 - x2) ** 2 + (y1 - y2) ** 2)

# 定义一个函数，根据WiFi信号强度确定用户位置

def determine_location(signal_strengths):

# 使用对数距离路径损耗模型将信号强度转换为距离

distances = 10 ** ((access_points['RSSI_0m'] - signal_strengths) /(10 * access_points['n']))

# 通过计算三个最近接入点的平均位置来确定用户的位置

closest_indices = np.argpartition(distances, 3)[:3]

closest_points = access_points.iloc[closest_indices]

x = closest_points['x'].mean()

y = closest_points['y'].mean()

return (x, y)

#举例

signal_strengths = np.array([-65, -75, -80, -85])

user_location = determine_location(signal_strengths)

print('User location:', user_location)

其中，位置信息提供给虚拟机服务的实现如下：

/*位置服务向虚拟机服务发送信息*/

CPosition pos;

pos.lng = posX; // 经向坐标

pos.lat = pos.Y; // 纬向坐标

int connToVMServer = connect(vmsIp, vmsPort);

if (int connToVMServer>0) {

int nRet = send(pos);

if (nRet>0) {

/*发送数据成功*/

close(connToVMServer);

}

nRet = recv(buf, 200, 0);

} else {

/*连接虚拟机服务失败*/

}

其中，推送图像的具体实现程序如下：

static void marshall_qxl_drawable(RedChannelClient *rcc,

SpiceMarshaller *m,

RedDrawablePipeItem *dpi)

{

spice_return_if_fail(rcc);

Drawable *item = dpi->drawable;

DisplayChannel *display =

DISPLAY_CHANNEL(red_channel_client_get_channel(rcc));

spice_return_if_fail(display);

if (item->stream && red_marshall_stream_data(rcc, m, item)) {

return;

}

if (display->priv->enable_jpeg)

marshall_lossy_qxl_drawable(rcc, m, dpi);

else

marshall_lossless_qxl_drawable(rcc, m, dpi);

}

步骤6、交互终端B的显示模块显示由服务器虚拟机服务推送来的虚拟桌面图像。

实施例：

例如在会议室场景中，有公共大屏(交互终端B)和与会者自己的笔记本电脑（交互终端A），与会者根据公共大屏与自己所坐的位置确定手势动作，手势动作为从与会者自己的笔记本屏幕前滑动到公共大屏方向，则交互终端A根据接收到的与会者所执行的手势动作，将该手势动作发送至服务器，服务器根据手势动作进行分析后将与会者的笔记本电脑位置信息提供给虚拟机，虚拟机服务将笔记本电脑的虚拟桌面图像推送至公共大屏，使得公共大屏显示为与会者的笔记本电脑画面，且能够通过与会者笔记本电脑的键盘鼠标设备直接操作公共大屏的画面。

本发明的优点为：

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于虚拟桌面基础架构和动作识别的图像漂移方法，其特征在于，该图像漂移方法为基于服务器实现交互终端A与交互终端B之间的图像漂移，包括：

交互终端A获取动作信息；

2.如权利要求1所述的基于虚拟桌面基础架构和动作识别的图像漂移方法，其特征在于，所述服务器运动虚拟机，并将虚拟机的虚拟桌面显示在交互终端A上；包括：

服务器的虚拟机服务运行虚拟机，虚拟机运行应用；

3.如权利要求1所述的基于虚拟桌面基础架构和动作识别的图像漂移方法，其特征在于，所述动作信息包括手势动作。

4.如权利要求1所述的基于虚拟桌面基础架构和动作识别的图像漂移方法，其特征在于，所述服务器将所述虚拟桌面图像推送并显示在所述位置信息所对应的交互终端B；包括：

5.如权利要求1所述的基于虚拟桌面基础架构和动作识别的图像漂移方法，其特征在于，所述交互终端B为距所述位置信息距离最近的交互终端。

6.一种基于虚拟桌面基础架构和动作识别的图像漂移系统，其特征在于，包括：

服务器，用于：

运行虚拟机，并将虚拟机的虚拟桌面图像推送至交互终端A；

解析动作信息，得到所述动作信息所对应的位置信息；

交互终端A，用于：

显示虚拟桌面图像以及获取动作信息；

交互终端B，用于：

显示服务器基于位置信息推送的虚拟桌面图像。

7.如权利要求6所述的基于虚拟桌面基础架构和动作识别的图像漂移系统，其特征在于，所述服务器，包括：

虚拟机服务，用于：

运行虚拟机，并将虚拟机的虚拟桌面图像推送至交互终端A；

位置服务，用于：

解析所述动作信息，得到所述动作信息所对应的位置信息；

将解析得到的位置信息提供给虚拟机服务。

8.如权利要求7所述的基于虚拟桌面基础架构和动作识别的图像漂移系统，其特征在于，所述交互终端A或交互终端B，包括：

显示模块，用于：

显示虚拟桌面图像；

交互模块，用于：

获取动作信息，所述动作信息包括手势动作；

定位模块，用于：

与位置服务共同实现交互终端的定位。

9.如权利要求8所述的基于虚拟桌面基础架构和动作识别的图像漂移系统，其特征在于，

所述显示模块包括但不限于显示器；

所述交互模块包括但不限于触摸屏或摄像头；

10.如权利要求6~9中任一项所述的基于虚拟桌面基础架构和动作识别的图像漂移系统，其特征在于，交互终端包括但不限于瘦终端、胖终端、平板电脑和移动设备中的一种。