CN115278110A

CN115278110A - 基于数字孪生舱的信息处理方法、装置、系统以及可读存储介质

Info

Publication number: CN115278110A
Application number: CN202210822682.9A
Authority: CN
Inventors: 刘俊峰; 丁涵
Original assignee: Time Travel Shenzhen Technology Co ltd
Current assignee: Time Travel Shenzhen Technology Co ltd
Priority date: 2022-07-12
Filing date: 2022-07-12
Publication date: 2022-11-01
Anticipated expiration: 2042-07-12
Also published as: CN115278110B

Abstract

本申请提供了一种基于数字孪生舱的信息处理方法、装置、系统以及可读存储介质。所述方法通过采集获取所述用户的视频和/或语音数据；并且当识别到所述终端满足第一条件时，向所述终端发送所述终端屏幕录制指令并获取所述终端录屏数据；将所述用户的视频和/或语音数据以及所述录屏数据进行融合处理，并将所述融合处理数据在所述数字孪生舱的数据显示模块中进行展示，使得信息采集方式以及重现流程更加简化，降低用户的学习成本，使得信息采集更加智能，展示更加直观。

Description

基于数字孪生舱的信息处理方法、装置、系统以及可读存储介质

技术领域

本申请涉及数字孪生领域，特别涉及一种基于数字孪生舱的信息处理方法、装置、系统以及可读存储介质。

背景技术

随着互联网技术的快速发展，元宇宙概念横空出世，成为当下的一大热点，在此背景下，催生出数字孪生技术。数字孪生简而言之就是现实物理世界与虚拟世界的双胞胎，其可被应用于各个领域，例如：智慧城市、智慧建筑、智慧医疗、工业制造、智慧服务等等。其中，智慧服务包括了智慧政务、智慧金融、智慧购票等众多需要对被服务人员进行指引的行业，而在智慧服务领域，数字孪生技术的普及程度还很低，目前主要停留在采集真实人物并且进行虚拟人物的重现，也就是说目前数字孪生技术的应用仅仅停留在表面。

而对于真实人物的采集与重现，目前大部分的技术主要集中在如何更准确的采集以及如何使得重现更加逼真，而在智慧服务领域，人们需要的不仅仅是将真实人物进行重现，更重要的是，对需要服务的人进行操作上的指引，以减轻服务人员的工作压力。现有的技术仅仅关注如何使得虚拟人物更加逼真，而往往忽略了这个领域下更重要的环节——指引。一般情况下，来到智慧服务场景下的人都是需要办理相关业务的，而现在随着各种服务电子化，使得办理业务对于第一次操作的人员来说并不友好，繁琐的操作，复杂的菜单，人们无从下手，这个时候，最重要的就是智慧指引。而现有技术中，通常采用单独制作动画的方式，来指引用户进行操作，即便是应用了数字孪生技术的智慧服务，也没有通过直接录制的方式，通常需要录制一次真实人物的指引视频，并单独制作一个指引的流程动画，然后将两段视频进行合成并播放，使人们能够清晰的看懂该指引，进而根据该指引的流程动画进行操作。然而，该方式在信息采集环节就较为复杂，不仅需要对真是人物进行录制，还需要有专门的人员制作指引的流程动画，后期还需要将其和真实人物的指引视频进行同步，并且，当某个操作菜单选项有变化时，则需要重新录制指引视频和制作流程动画，重新录制指引视频和制作流程动画，导致流程动画需要重新进行制作并进行同步，效率低下。

发明内容

为了解决上述技术问题，本申请提出了一种基于数字孪生舱的信息处理方法、装置、系统以及可读存储介质，实现了高效的信息处理，使得信息数据的重现变得简单。

为实现上述目的，一种基于数字孪生舱的信息处理方法，数字孪生舱包括数据采集装置和数据显示模块，所述方法包括：

所述采集装置接收终端的连接请求并与所述终端建立连接；

采集获取所述用户的视频和/或语音数据；

当识别到所述终端满足第一条件时，向所述终端发送所述终端屏幕录制指令并获取所述终端录屏数据；

将所述用户的视频和/或语音数据以及所述录屏数据进行融合处理，并将所述融合处理数据在所述数字孪生舱的数据显示模块中进行展示。

进一步地，所述接收终端的连接请求并与所述终端建立连接，包括：

所述终端通过预设程序发送请求建立连接；

或者所述终端通过扫描预设的二维码建立连接。

进一步地，所述采集获取所述用户的视频和/或语音数据前，还包括：

通过用户的预设动作和/或预设语音指令以发送开始数据采集请求。

进一步地，所述当识别到所述终端满足第一条件时，包括：

当所述终端开启且面向所述信息采集装置被举起时。

进一步地，所述当所述终端满足第一条件时，向所述终端发送开始录屏指令并获取屏幕录制数据之后，还包括：

当所述终端满足第二条件时，向所述终端发送停止录屏指令；

所述当所述终端满足第二条件时具体为：

当所述终端被从面向所述信息采集设备到放下时，判定为满足第二条件。

进一步地，所述将所述用户的视频和/或语音数据以及所述录屏数据进行融合处理包括，通过预设的模板处理所述屏幕录制数据。

进一步地，所述将所述用户的影像和所述屏幕录制数据进行融合处理并展示，包括：

将所述用户的影像和所述屏幕录制数据在预设的虚拟场景中按照预设比例进行融合，得到数字孪生影像，将所述数字孪生影像在所述数字孪生舱中进行展示。

为实现上述目的，本申请还提供一种基于数字孪生舱的信息采集装置，所述信息采集装置包括：连接建立模块、信息采集模块、录屏模块以及图像处理模块；

所述连接建立模块用于接收终端的连接请求并与所述终端建立连接；

所述信息采集模块用于响应用户的开始信息采集请求，获取所述用户的影像；

所述录屏模块用于当所述终端满足第一条件时，向所述终端发送开始录屏指令并获取屏幕录制数据；

所述图像处理模块用于将所述用户的影像和所述屏幕录制数据进行融合处理，以便其在数字孪生舱中进行展示。

为实现上述目的，本申请还提供一种计算机系统，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。

为实现上述目的，本申请还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。

本申请提供一种基于数字孪生舱的信息处理方法、装置、系统以及可读存储介质，通过采集获取所述用户的视频和/或语音数据；并且当识别到所述终端满足第一条件时，向所述终端发送所述终端屏幕录制指令并获取所述终端录屏数据；将所述用户的视频和/或语音数据以及所述录屏数据进行融合处理，并将所述融合处理数据在所述数字孪生舱的数据显示模块中进行展示。通过进行用户的视频和/或语音数据的采集的同时，对终端的录屏数据进行采集，并且对所述用户的视频和/或语音数据以及所述录屏数据进行融合处理，避免了现有技术中需要对屏幕上的内容做一个指引的流程动画，还需要将该指引的流程动画与录制的用户的视频和/或语音数据进行同步的操作上的繁琐，通过该方法，能够提高应用数字孪生技术的智慧指引的信息采集效率，简化信息采集方式以及重现流程；并且，本申请的方案在采集的过程中极其便利，不需要进行复杂的操作，只需要在终端满足第一条件时，手机屏幕自动开始录制，终端满足第二条件时，手机终端结束录制，这样的自动化的信息采集和处理过程，使得用户的学习成本降低，能够轻松上手，使得智慧服务更加智慧。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中一种基于数字孪生舱的信息处理方法的流程图；

图2为一个实施例中一种基于数字孪生舱的信息采集装置示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

下面将结合本申请的实施例中的附图，对本申请的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附图中的术语，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。

如图1所示，一种基于数字孪生舱的信息处理方法，数字孪生舱包括数据采集装置和数据显示模块，所述方法包括如下步骤：

S101、所述采集装置接收终端的连接请求并与所述终端建立连接。

具体的，该数字孪生舱为数字孪生技术领域的设备，用于对现实物理世界中的信息进行采集和数据处理，以获得虚拟世界的对应信息，并进行重现。数字孪生舱包括数据采集装置和数据显示模块，该数据采集装置用于对现实物理世界中的信息进行采集，数据显示模块用于对虚拟世界的对应信息进行重现，二者相互配合。需要说明的是，该数据采集装置和该数据显示模块可以为分开的两个部分，也可以是集成式的、一体化的。该采集装置可以为设置有摄像头和/或麦克风的信息采集设备，其还可以包括有显示屏，用于实时显示用户的画面，以便用户调整自己的动作；该信息采集设备的摄像头和麦克风可以是一体的、或者是分开设置的，可用于采集用户的视频和/或语音数据；摄像头和麦克风的具体配置参数可以根据需要进行选择，例如：摄像头采用高清摄像头、鱼眼摄像头、红外摄像头等等；麦克风采用降噪麦克风、定向麦克风、人声麦克风等等；优选的，该摄像头为高清摄像头、麦克风选用定向麦克风、显示屏选用高清显示屏，以提高采集质量，提高用户体验。需要注意的是，以上仅仅是列举了常用的摄像头和麦克风类型，并非穷举。

在一个实施例中，该终端通过在预设程序内输入配对码，以向对应的采集装置发送连接请求，采集装置接收到连接请求后，建立与该终端的连接；

在另一实施例中，该终端通过使用预设的程序扫描采集装置上显示的二维码，以向对应的采集装置发送连接请求，采集装置接收到连接请求后，建立与该终端的连接；

在另一实施例中，该终端通过使用常规的识别二维码的程序扫描采集装置上显示的二维码，其可跳转到下载预设的程序连接，使得终端下载预设的程序后再发起连接请求并进行连接。

需要说明的是，该采集装置与该终端的连接方式可以是多样的，可以采用有线或者无线的方式。

在一个实施例中，该连接方式可以采用手机直接经过蜂窝流量进行数据传输，将连接请求信息通过蜂窝流量传输至该采集装置，采集装置响应其请求并建立连接；

在其他实施例中，该连接方式可以采用连接到预设的无线网络中，该无线网络可以为广域网或者是局域网；该连接方式还可以采用无线热点的形式进行连接，例如采用该终端或该采集装置预先建立好的热点进行通信；该连接方式还可以采用其他的无线或者有线的通信方式进行传输，例如：蓝牙，NFC，HDMI 等等，本实施例不进行具体的限制。

进一步的，该预设的程序为预先开发好的程序，其可用于向采集装置发送连接请求以使得该终端和该采集装置建立连接；并且该预设的程序已经获得该终端的各项权限，例如：自启动、存储权限、访问设备状态信息权限、摄像头权限、麦克风权限、传感器权限、锁屏权限、解锁权限、后台权限、定位权限、联网管理权限、开启WLAN权限、本地网络权限、画中画权限、修改系统设置权限、录屏权限等等。

通过多样化的建立连接的方式，使得该终端和该采集装置的连接变得简单，智能，满足大部分用户的需求。

S103、采集获取所述用户的视频和/或语音数据。

使用采集装置上设置的摄像头和/或麦克风对用户的视频和/或语音信号进行采集，摄像头和麦克风可以根据需要进行选取，在此不进行限定，优选的为高清摄像头和定向麦克风。

在一个实施例中，该采集装置上的显示屏为高清显示屏，其可以实时的显示采集装置上摄像头采集到的画面，使得用户可以观看到其当前的状态以及该终端的画面，以便用户对其动作进行调整以及对该终端进行操作。

S105、当识别到所述终端满足第一条件时，向所述终端发送所述终端屏幕录制指令并获取所述终端录屏数据。

当用户在采集装置前进行信息采集时，该采集装置或者该终端会对终端的状态进行判定，当该终端满足第一条件时，该终端收到屏幕录制指令，响应该指令并且将该终端录屏数据上传。具体的，该录屏数据可以为包含用户的操作轨迹，以使得其指示效果更佳。

进一步地，当该终端满足第一条件时的判定可以由该终端来完成，也可以由该采集装置、或者二者结合来完成。其中，第一条件，可以为当所述终端开启并且面向所述信息采集装置并且由用户自然握持状态下被举起。

具体的，在一个实施例中，当该终端自身通过传感器判定其自身状态由用户站立时自然握持状态被举起，并且该终端屏幕面向该采集装置时，判断为该终端满足第一条件，此时该终端启动录屏操作。上述传感器可以为以下一种或者多种结合：加速度传感器、重力传感器、陀螺仪传感器、方向传感器、光线传感器、接近传感器、线性加速度传感器、旋转矢量传感器、磁力传感器、电子罗盘传感器等。上述判断终端屏幕面向该采集装置的方式，可以为开启终端摄像头进行画面采集，当识别到采集装置位于终端画面的中间位置时，则判断为该终端屏幕面向该采集装置。

在另一个实施例中，当该采集装置通过摄像头实时采集画面并识别，当识别到该终端由用户站立时自然握持状态被举起，并且该终端的屏幕面向该采集装置时，判断为该终端满足第一条件，此时向该终端发送终端屏幕录制指令并获取该终端录屏数据。该识别方式可以采用预设在采集装置内的预设识别模型进行识别，也可以采用对画面进行只能AI判断进行识别，在此不做进一步限定。当采用预设识别模型进行识别时，采集装置的显示屏上会显示虚线提示框，提示用户站立的位置以及终端需要放置的位置。当用户和终端到达预设位置时，采集装置对采集到的画面进行分析，尤其对终端所在区域的画面进行分析，若终端所在区域的画面整体亮度较高，则判定为终端的屏幕面向该采集装置，进一步可以判断为该终端满足第一条件。

在另一个实施例中，当该终端自身通过传感器判定其自身状态由用户站立时自然握持状态被举起，向该采集装置发送一指令，该指令用于指示该终端已做好开始录屏的准备，该采集装置接收到该指令后，实时对其摄像头采集到的画面进行识别，当识别到该终端的屏幕面向该采集装置时，判断为该终端满足第一条件，此时向该终端发送终端屏幕录制指令并获取该终端录屏数据。具体地，该识别终端的屏幕面向该采集装置，可以采用上述预设识别模型或者结合 AI进行判定，在此不做赘述。

通过本申请的判断该终端是否满足第一条件的方法，可以提高信息采集的便利性、稳定性以及准确性，通过采用终端、采集装置或者二者结合的方式来判断该终端是否满足第一条件，并且可以设置为上述实施例同时符合时，才满足第一条件，使得该判断更加可靠，减少误判的几率。

S107、将所述用户的视频和/或语音数据以及所述录屏数据进行融合处理，并将所述融合处理数据在所述数字孪生舱的数据显示模块中进行展示。

具体的，当实施了上述步骤，该数字孪生舱收到该用户的视频和/或语音数据以及该录屏数据，将两份数据进行融合处理，并且最终在数字孪生舱的数据显示模块中进行展示。

通过上述信息处理方法，可以在采集用户的视频和/或语音数据的同时，在需要的时刻开始采集该终端的录屏数据，使得信息采集流程变得更加简单、智能，由于同时采集了上述两份完整的数据，因此，数字孪生舱可以直接将两份数据进行融合处理，并在数据显示模块中进行展示，相比于现有技术中需要单独制作指引的流程动画并且进行同步，简化了现实物理世界的信息采集和虚拟世界的重现流程，使得数字孪生技术更好的应用于智能服务领域。

进一步的，通过预设的模板展示所述屏幕录制数据。

具体的，可以将该录屏数据通过预设的模板进行处理，例如：将录屏数据放置在一个虚拟的手机边框内并放大，使得用户能够直观的看到录屏数据。通过预设的模板对该屏幕录制数据进行处理，以使得最终融合展示的画面更加直观，有代入感，增加用户的沉浸式体验。

进一步的，所述将所述用户的影像和所述屏幕录制数据进行融合处理并展示，包括：将所述用户的影像和所述屏幕录制数据在预设的虚拟场景中按照预设比例进行融合，得到数字孪生影像，将所述数字孪生影像在所述数字孪生舱中进行展示。具体的，该预设的虚拟场景可以根据信息采集的主题进行选择，例如：本次信息采集的主题为报税系统，那么预设的虚拟场景可以卡通的报税画面；再如，本次信息采集的主题为网银登陆，那么预设的虚拟场景可以为金融主题的场景，以金币、卡通人民币等元素为主题。

在一个实施例中，该融合处理具体包括，对视频和/或语音数据以及该录屏数据进行预处理，对两份数据的画面进行优化、渲染，使得画面看起来更加真实，自然，该预处理可以由系统自动完成，也可以展示预设的模板由用户进行选择。进一步的，可以将该录屏数据通过预设的模板进行处理，例如：将录屏数据放置在一个虚拟的手机边框内并放大，使得用户能够直观的看到录屏数据，并且能够根据录屏数据进行操作。

在另一个实施例中，该融合处理具体为，直接将两份数据按照一定比例进行拼接，例如：该视频和/或语音数据设置在右半部分、该录屏数据设置在左半部分，二者比例为1:2，该数字孪生舱的数据显示模块直接对拼接后的画面进行展示。需要强调的是，上述位置和比例仅为示例性的，并不做强制要求，该设置可以预设在数字孪生舱中；或者在用户信息采集前或信息采集后展示出预设的模板，让用户可以根据需要进行选择；亦或者在用户信息采集前或信息采集后显示出设置选项，让用户根据需要自己输入或者拼接。

通过对所采集到的数据进行上述融合处理，可以更加直观的对采集的数据进行展示，并且在融合处理过程中可以由用户进行模板的选择或者参数的设置，增加了用户的互动性，并且，在最后的展示过程中，由于通过预设的模板对该屏幕录制数据进行了处理，可以对该部分数据进行突出展示，增加沉浸感。

此外，本申请的方法还包括：

S102、通过用户的预设动作和/或预设语音指令以发送开始数据采集请求。

具体的，该预设动作和/或预设语音指令可以为：预设的动作、预设的语音指令、或其组合。其中，预设的动作包括：1)预设的行为动作，例如：站立在该采集装置前面向该采集装置，并且梳理一下衣服、领带或领结；或者面向该采集装置站立后，比划预设的手势或者动作，该手势和动作可以根据需要预先进行设置，例如比划“耶”或“OK”的手势，或者是招招手的动作；2)预设的操作动作，例如：按压一下该采集装置上面的预设按键，或者按压一下该终端上面的预设按键，该按键可以是物理按键或者显示屏上显示的虚拟按键；3) 预设的语音指令，例如：“开始录制”或者“开始采集”等等。

本申请对于开始数据采集请求预设了多种方式，可采用其中的一种或者多种进行结合以触发开始数据采集请求，增加了便利性，可以满足不同用户的不同需求。

此外，本申请的方法还包括：

S106、当所述终端满足第二条件时，向所述终端发送停止录屏指令；所述当所述终端满足第二条件时具体为：当所述终端被从面向所述信息采集设备到放下时，判定为满足第二条件。

具体的，该第二条件与上述第一条件为反向的动作，其判定方式可以与第一条件相同，都是采用终端、采集装置或者二者结合的方式来判断，并且也可以设置为多个判断方式同时符合时，才满足第二条件，使得该判断更加可靠，减少误判的几率。

通过上述方法，可以使得在对现实物理世界的信息采集时更加智能化，用户只需要按照日常的指引进行操作，即可对真实人物的指引视频进行录制，并且同时，采用智能化手段，可以自动的在需要展示指引流程动画时进行终端屏幕录制，在不需要展示指引流程动画或者指引流程动画展示结束时停止对该终端进行屏幕录制，使得整个信息采集过程简单方便、智能化，用户无需单独制作指引的流程动画，即可完成整个指引信息的录制。

如图2所示，在一个实施例中，提出了本申请还提供一种基于数字孪生舱的信息采集装置，所述信息采集装置包括：连接建立模块、信息采集模块、录屏模块以及图像处理模块；

在一个实施例中，提供了一种计算机系统，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。

在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。

可以理解的是，上述基于数字孪生舱的信息处理方法、装置、系统以及可读存储介质属于一个总的发明构思，实施例可相互适用。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种基于数字孪生舱的信息处理方法，数字孪生舱包括数据采集装置和数据显示模块，其特征在于，所述方法包括：

所述采集装置接收终端的连接请求并与所述终端建立连接；

采集获取所述用户的视频和/或语音数据；

2.根据权利要求1所述的方法，其特征在于，所述接收终端的连接请求并与所述终端建立连接，包括：

所述终端通过预设程序发送请求建立连接；

或者所述终端通过扫描预设的二维码建立连接。

3.根据权利要求1所述的方法，其特征在于，所述采集获取所述用户的视频和/或语音数据前，还包括：

4.根据权利要求3所述的方法，其特征在于，所述当识别到所述终端满足第一条件时，包括：

当所述终端开启且面向所述信息采集装置被举起时。

5.根据权利要求3所述的方法，其特征在于，所述当所述终端满足第一条件时，向所述终端发送开始录屏指令并获取屏幕录制数据之后，还包括：

所述当所述终端满足第二条件时具体为：

6.根据权利要求5所述的方法，其特征在于，所述将所述用户的视频和/或语音数据以及所述录屏数据进行融合处理包括，通过预设的模板处理所述屏幕录制数据。

7.根据权利要求1-6所述的方法，其特征在于，所述将所述用户的影像和所述屏幕录制数据进行融合处理并展示，包括：

8.一种基于数字孪生舱的信息采集装置，其特征在于，所述信息采集装置包括：连接建立模块、信息采集模块、录屏模块以及图像处理模块；

9.一种计算机系统，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。