CN113206868A - 一种多媒体信息处理方法及系统 - Google Patents

Abstract

一种多媒体信息处理方法及系统，其中包括：采集多媒体信息，根据多媒体信息的特征信息匹配获得AI模型，接收用户指令信息，根据用户指令信息获得扩展现实信息，基于AI模型、特征信息与扩展现实信息中的祭拜元素，进行替换与融合操作，得到融合多媒体信息。针对不同用户的各类需求，提供个性化与定制化的远程祭拜多媒体信息；同时将AI模型与用户的特征与扩展现实信息融合，实现了用户的沉浸式体验及最优化用户体验效果。

Description

一种多媒体信息处理方法及系统

技术领域

本发明涉及多媒体信息处理的技术领域，尤其是涉及一种多媒体信息的处理方法、远程祭拜方法、远程祭拜客户端、服务器及系统等。

背景技术

祭拜和祈福是社会生活中的重要组成部分，这跟我们人类文明与信仰息息相关，传统的祭拜或祈福都需要人们亲自到场，以亲身感受庄重严肃的氛围，从而满足自身的信仰需求。

随着科技的发展进步，人们的生活趋向智能化，祭祀网站、寺庙祈福直播等远程祭拜技术进入大众视野，使得人们远在他乡也能聊以慰藉。但是，现有的远程祭拜产品存在诸多问题，例如大部分祭祀网站仅有虚拟的祭祀“文件”，真实性不足，所以现在人们很少选择这类祭祀网站；通过直播或者监控等技术，人们只能隔着屏幕看到特定的场景，用户体验感很低，或者看到的都是其他人在祭祀的场景，无法获得身临其境的感受；而且，不同的用户可能期望对同一场所的祭拜需求是不同的，现有的远程祭拜产品只能提供相同的场景画面，人们无法获得个性化、定制化的服务，进而不能满足自身需求。

发明内容

有鉴于此，本发明提供如下技术方案，以解决前述问题中的至少之一。

第一方面，提供一种多媒体信息的处理方法，包括步骤101：采集第一多媒体信息，基于所述第一多媒体信息获取用户的特征信息；步骤102：接收用户第一指令信息；步骤103：基于所述用户第一指令信息获取第一扩展现实信息，所述第一扩展现实信息包括一个或多个祭拜元素；步骤104：根据所述特征信息匹配一个或多个第一AI模型；步骤105：基于一个或多个所述的第一AI模型与所述特征信息，在所述第一扩展现实信息中对一个或多个祭拜元素进行第一操作，得到第一融合多媒体信息；其中，所述第一操作中的一个或多个祭拜元素分别与一个或多个第一AI模型对应，所述第一操作为替换操作和/或融合操作；步骤106：向用户展示所述第一融合多媒体信息。

优选地，所述特征信息包括以下一种或多种：用户祭拜的动作数据、用户的面部数据、用户的体型数据、用户的发型数据、用户的着装数据。

优选地，所述方法还包括：获取用户个人信息，所述用户个人信息包括人物数量；所述步骤104具体包括：根据所述特征信息与所述用户个人信息匹配一个或多个第一AI模型；且，所述步骤105中进行第一操作的一个或多个祭拜元素的数量与所述人物数量对应。

优选地，所述步骤102具体包括：获取个性化信息，根据所述个性化信息生成所述用户第一指令信息；且，所述步骤104具体包括：根据所述特征信息与所述个性化信息匹配一个或多个第一AI模型；且，所述步骤105中进行第一操作的一个或多个祭拜元素还与所述个性化信息对应；

所述个性化信息包括以下一种或多种：礼佛形象、功德意愿、祈愿场景、祭拜目标、背景音、祈愿布设、行进方式、时钟、季节、天气。

优选地，所述步骤105还包括：对所述第一融合多媒体信息进行第二操作，得到第二融合多媒体信息；且所述步骤106具体包括：向用户展示所述第二融合多媒体信息；所述第二操作为叠加操作，以将不同视角的所述第一融合多媒体信息同步地叠加于同一界面内。

根据本发明的第一方面，首先，利用包含祭拜元素的扩展现实信息制作的多媒体信息，用户感受到的真实性远远超出祭祀网站的文件化、文字化祭祀所能提供的范围；其次，第一多媒体信息和用户指令信息提供了用户表达祭拜需求的通道，根据其中的特征信息、个人信息、个性化信息等包含的用户的需求，为用户提供定制化的远程祭拜多媒体信息，提高用户的体验；此外，根据用户的特征信息及其他信息，匹配出相应的AI模型，对远程祭拜多媒体信息进行替换及融合操作，使用户能够获得身临其境的体验，真切地感受到自己参与祭拜或祈福活动当中，从而实现用户的沉浸式体验。

第二方面，提供一种远程祭拜客户端，所述客户端包括采集模块、用户输入模块、第一预处理模块、通讯模块和展示模块；其中，所述采集模块，用于采集第一多媒体信息，并将所述第一多媒体信息传输至第一预处理模块；所述第一预处理模块，对所述第一多媒体信息进行预处理，获取得到特征信息；所述用户输入模块，用于接收用户第一指令信息；所述通讯模块，根据所述用户第一指令信息，将所述特征信息与所述用户第一指令信息发送至服务器，并接收所述服务器发送的第一融合多媒体信息；所述展示模块，向用户展示所述第一融合多媒体信息；所述第一融合多媒体信息由所述服务器对第一扩展现实信息中一个或多个祭拜元素进行第一操作后得到，所述第一操作由所述服务器基于一个或多个第一AI模型与所述特征信息执行，一个或多个所述的第一AI模型由所述服务器根据所述特征信息匹配得到；所述第一操作为替换操作和/或融合操作。

优选地，所述客户端还包括存储模块，所述存储模块存储用户祭拜模式，所述采集模块基于所述用户祭拜模式确定所述第一多媒体信息，和/或所述用户输入模块基于所述用户祭拜模式确定所述用户第一指令信息。

优选地，所述客户端获取用户个人信息，所述用户个人信息包括人物数量；且在所述通讯模块接收的所述第一融合多媒体信息中，进行所述第一操作的一个或多个祭拜元素的数量与所述人物数量对应；同时，用于执行所述第一操作的一个或多个第一AI模型与所述人物数量对应。

优选地，所述用户输入模块获取个性化信息，根据所述个性化信息生成所述用户第一指令信息；且在所述通讯模块接收的所述第一融合多媒体信息中，进行所述第一操作的一个或多个祭拜元素与所述个性化信息对应；同时，用于执行所述第一操作的一个或多个第一AI模型与所述个性化信息对应。

优选地，所述服务器对第一扩展现实信息中一个或多个祭拜元素进行第一操作后，还进行第二操作，所述第二操作为叠加操作，以将不同视角的所述第一融合多媒体信息同步地叠加于同一界面内。

第三方面，提供一种远程祭拜服务器，所述远程祭拜服务器包括接收组件、扩展现实库、AI模型库、匹配引擎和多媒体融合组件；其中，所述接收组件，接收客户端发送的第一多媒体信息的特征信息和用户第一指令信息；所述扩展现实库，存储有多个扩展现实信息，每个所述扩展现实信息包括一个或多个祭拜元素；所述AI模型库，存储有多个AI模型；所述匹配引擎，根据所述接收组件接收的所述第一多媒体信息的特征信息，从所述AI模型库中匹配一个或多个第一AI模型；并根据所述接收组件接收的所述用户第一指令信息，从所述扩展现实库中获取第一扩展现实信息；所述多媒体融合组件，基于一个或多个所述的第一AI模型与所述第一多媒体信息的特征信息，在所述第一扩展现实信息中对一个或多个祭拜元素进行第一操作，得到第一融合多媒体信息；其中，进行所述第一操作的一个或多个祭拜元素分别与一个或多个所述的第一AI模型对应；所述第一操作为替换操作和/或融合操作；还包括发送组件，用于向用户发送所述第一融合多媒体信息。

优选地，所述服务器获取用户个人信息，所述用户个人信息包括人物数量；所述匹配引擎根据所述用户个人信息与所述第一多媒体信息的特征信息，匹配一个或多个第一AI模型，一个或多个所述的第一AI模型与所述人物数量对应；进行所述第一操作的一个或多个祭拜元素的数量与所述人物数量对应；

所述服务器获取用户个人信息，所述用户个人信息包括人物数量，具体包括：

所述服务器的接收组件接收客户端发送的包括人物数量的用户个人信息；或者，

所述服务器还包括AI组件，所述AI组件基于所述第一多媒体信息的特征信息识别所述人物数量。

优选地，所述用户第一指令信息由所述客户端根据个性化信息生成；所述匹配引擎根据所述个性化信息与所述第一多媒体信息的特征信息，匹配一个或多个第一AI模型，一个或多个所述的第一AI模型与所述个性化信息对应；进行所述第一操作的一个或多个祭拜元素与所述个性化信息对应；

所述个性化信息包括以下一种或多种：礼佛形象、功德意愿、祈愿场景、祭拜目标、背景音、祈愿布设、行进方式、时刻、季节及天气。

优选地，所述多媒体融合组件对所述第一融合多媒体信息进行第二操作，得到第二融合多媒体信息；所述发送组件向用户发送所述第二融合多媒体信息；所述第二操作为叠加操作，以将不同视角的所述第一融合多媒体信息同步地叠加于同一界面内。

优选地，所述匹配引擎通过第三方接口调用。

优选地，所述服务器还包括数字钱包组件，用于记录和/或管理用户的数字货币或虚拟产品。

优选地，所述服务器还包括通告组件，所述通告组件向所述第一扩展现实信息对应的地理祭拜场所发送通告信息，所述通告信息包括所述用户的祭拜信息。

根据本发明的第二方面和第三方面，首先，利用客户端承载用户的祭拜需求传递到服务器，以便于服务器获取用户的祭拜需求，并提供真实的、定制的远程祭拜多媒体信息；其次，利用服务器的强大运算能力，根据用户特征及其他信息，与扩展现实信息中的祭拜元素实施替换及融合操作，使用户获得自身参与祭拜或祈福活动的真切感受，实现用户的沉浸式体验；此外，服务器与客户端利用用户的运动信息分别控制替换融合操作及多媒体信息的展示操作，可以提高用户参与祭拜或祈福活动的感受，还利用多角度的展示形式等技术手段，最优化用户的体验效果。

本发明的其他特征及优点，将在随后的说明书具体实施方式部分阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

图1是本发明第一实施例的多媒体信息的处理方法示意图。

图2是本发明第二实施例的远程祭拜方法示意图。

图3是本发明第三实施例的远程祭拜方法示意图。

图4是本发明第四实施例的远程祭拜客户端结构示意性框图。

图5是本发明第五实施例的远程祭拜服务器结构示意性框图。

图6是本发明第六实施例的远程祭拜系统结构示意性框图。

图7是本发明第七实施例的计算机设备结构示意性框图。

图8是本发明远程祭拜多媒体内容的示意性截图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的第一实施例，如附图1示出的一种多媒体信息的处理方法100，其包括以下步骤：

步骤101：采集第一多媒体信息,基于所述第一多媒体信息，获取所述第一多媒体信息的特征信息。

具体地，可以通过智能终端或智能可穿戴设备采集用户的实时视频数据、用户的静态图像数据、用户的非实时视频数据等，其中可以包括用户祭拜的动作数据、面部数据、体型数据、发型数据和着装数据等；此外，可以在用户注册或登录的时候采集，也可以在用户进行现场祭拜的时候采集，还可以在用户进行远程祭拜的时候采集。通过多种渠道采集用户的各类信息，能够全面、有效地承载用户在祭拜和祈福过程中的需求。

在采集到第一多媒体信息之后，即可提取第一多媒体信息的特征信息，例如可以通过深度神经网络的迭代模型来训练得出特征信息。第一多媒体信息的特征信息可以包括用户的特征信息，例如，通过对第一多媒体信息进行处理，提取其中用户的身高特征、体型特征、发型特征、面部特征、衣着特征等等；第一多媒体信息的特征信息可以包括用户的个人信息，例如，利用现有的多媒体处理手段，诸如多用户目标跟踪算法、模糊匹配算法等，通过对第一多媒体信息进行处理，提取其中的人物性别、人物数量、人物年龄等等；第一多媒体信息的特征信息还可以包括用户的运动信息，例如，通过对第一多媒体信息进行处理，提取其中用户的运动速度、加速度、运动方向、重心、上肢动作、下肢动作、头部动作、腕部翻转等等。特征信息体现的是用户的个性化、定制化的需求，还是用户实时状态的直接表达，作为服务器为用户提供远程祭拜多媒体服务的依据。

步骤102：接收用户第一指令信息。

具体地，用户可以通过客户端选择或输入指令，客户端即可接收到用户的第一指令信息，用户第一指令中可以是不同类型，例如常见的电子指令，用户点击开始，则相应的部件接收到开始指令后就启动某一进程；还可以是语音指令，通常利用自然语言解析技术将语音指令转换成常规的电子指令。

用户第一指令通常体现用户需求，例如，用户可根据实际情况在客户端中输入或选择祭拜的人物数量、性别、年龄等个人信息；亦可根据个人意愿在客户端中输入或选择祭拜的人物身高、体型、发型等特征信息。

用户第一指令可进一步包括个性化信息。即根据用户需要祭拜的个性化信息生成相应的用户指令，例如礼佛形象、功德意愿、祈愿场景、祭拜目标、背景音、祈愿布设、行进方式、时刻、季节及天气等；当然，在没有个性化信息时，可按照系统默认的、用户上次使用的、用户使用频率最高的或者用户习惯使用的个性化信息来生成相应的指令。用户的第一指令还可以包括加密传输第一多媒体信息的特征信息，保存、分享融合多媒体信息，支付等等。

当获取了用户第一指令之后，即可依据指令将第一多媒体信息的特征信息和用户第一指令信息发送到服务器。当然，由于信仰的特殊性或对个人隐私的保护需要，如果用户不希望自己的面部数据、形象数据等直接上传到服务器中，可以将这些信息处理成特征信息可以有效防止服务器直接获取用户的人脸图像、视频等；或者进一步，将特征信息加密后再上传到服务器中，可以在一定程度上免除远程祭拜用户的后顾之忧。

采集第一多媒体信息、获取用户指令，均是为了更好地体现用户的主观意愿，以便于服务器为用户提供真正的沉浸式远程祭拜服务，使用户获得最佳的使用体验。

步骤103：基于所述用户第一指令信息获取第一扩展现实信息，所述第一扩展现实信息包括一个或多个祭拜元素。

服务器中存储有海量的数据，其中包括扩展现实信息。扩展现实是虚拟现实、增强现实以及混合现实的统称，是经过实际拍摄与人工加工之后得到的。为了向用户提供沉浸式远程祭拜服务，需建立庞大的扩展现实资源库。例如，工作人员通过拍摄获取了一段原始视频，视频以第一视角详细记录了工作人员从山脚沿某一条路线爬山，途径多个标志位置最后到达寺庙山门，然后依照特定的礼佛流程，依序依规进行祭拜。基于这段实际拍摄的视频进行加工，得到了扩展现实信息，其中包括多个祭拜元素，例如山脚到寺庙山门的行进路线、路线沿途的景观和香客、各标志位置与寺庙山门的观摩特写、寺庙内各个殿堂、各个祭拜对象、背景音乐、祈愿场景的人物与设施、外界天气风雨晴雪、室内光线明暗、各种祭拜方式、祭拜香烛蜡台贡物等等。不同的拍摄视频加工后得到的扩展现实信息中的祭拜元素可以不同，例如按照正常成年人的第一视角拍摄的视频与按照普通儿童的第一视角拍摄的视频，其加工后获得的沿途景观或祭拜对象等祭拜元素，在视觉上应当不同；又例如，阴雨天和晴天拍摄的视频，其加工后获得的天气、景观等祭拜元素，在视觉上应当不同；又例如，按照藏传佛教的礼仪祭拜和按照汉传佛教的礼仪祭拜的视频，其加工后获得的祭拜对象、祭拜香烛蜡台贡物、祭拜方式等祭拜元素均应不同；又例如，相同时间、相同地点但以不同视角拍摄的视频，其加工后获得的祭拜元素在种类、数量、外观等方面也均有不同。

用户的指令中体现了用户意愿以及个性化需求，根据用户第一指令信息获取第一扩展现实信息，能够使用户获得更好的体验。例如，当用户指令中包含有用户甲为成年人的个人信息、祭拜对象为中国A城市的寺庙中大雄宝殿的佛像时，则服务器根据上述指令中包含的信息，获取以成年人第一视角拍摄的、从A城市寺庙的山脚直到大雄宝殿中礼佛的扩展现实信息；又例如，当用户指令中包含有用户乙为成年人的个人信息、祭拜对象为中国B城市的宗族祠堂时，则服务器根据上述指令中包含的信息，获取以成年人第一视角拍摄的、在B城市从宗族祠堂的大门至祠堂灵位祭拜先祖的扩展现实信息。

步骤104：根据所述特征信息匹配一个或多个第一AI模型。

服务器中存储的数据，还包括AI模型。为了向用户提供沉浸式远程祭拜服务，在建立扩展现实资源库的基础上，还要以扩展现实信息所涉及的所有祭拜元素为依据，建立AI模型库。例如，可以根据香客的体型，建立不同体型的人物虚拟体模型；可以依据不同的天气，建立下雨、下雪或大风等实际天气模型或虚拟的天气模型；可以依据不同的季节，建立春夏秋冬景观的实际模型或虚拟模型；还可以依据用户的背景音，建立不同的背景音模型；还可按照功德意愿建立不同等级的香烛、贡桌、贡品模型等。AI模型的建立，可由工作人员实际拍摄、拍摄后加工处理、虚拟制作或通过用户上传并加工处理后获得。

第一多媒体信息的特征信息包含了更加贴近用户实际的信息，根据第一多媒体信息的特征信息，匹配一个或多个第一AI模型，有利于实现用户的沉浸式远程祭拜。上述匹配是匹配引擎从服务器的AI模型库中寻找最佳匹配结果。作为一种实施方式，例如当第一多媒体信息的特征信息包括用户祭拜弥勒佛的祭拜动作信息，一方面，服务器将用户拍摄的祭拜弥勒佛时的祭拜动作信息自动加工并处理为该用户祭拜弥勒佛的祭拜动作模型，存储至并更新AI模型库，另一方面，服务器将该用户祭拜弥勒佛的祭拜动作模型，作为上述最佳匹配结果。可替换地，作为另一种实施方式，当第一多媒体信息的特征信息包括用户的特征信息，则服务器可以根据用户的特征信息，匹配一个或多个第一AI模型，一个或多个第一AI模型与所述用户的特征信息对应，例如，用户在登录的时候拍摄了当前照片，其体型特征是微胖的男性成年人，则服务器为其匹配体型最接近的、男性的人物虚拟体模型，以及成年人视角的祭拜目标模型、香客模型等。可替换地，作为另一种实施方式，在匹配AI模型时，还可以根据用户个人信息，如——人物数量，匹配得到的一个或多个第一AI模型与所述人物数量对应，用户个人信息可从第一多媒体信息的特征信息获取，也可从用户第一指令信息获取，例如，用户通过客户端选择人物数量有两个成年人，或者，根据第一多媒体信息识别出进行祭拜的是两个成年人这一特征信息，则服务器匹配得到两个成年人的人物虚拟体模型、两人同时祭拜的祈愿布设模型等。可替换地，作为另一种实施方式，在匹配AI模型时，还可以根据个性化信息，匹配得到的一个或多个第一AI模型与所述个性化信息对应，例如，通过用户第一指令信息获知用户的个性化信息中包含以虚拟莲池为祈愿场景、以三层贡桌为祭拜布设、季节为盛夏、天气为阴雨，则服务器分别匹配出最适合当前场景的虚拟莲池场景模型、匹配出符合用户功德意愿的三层贡桌模型、匹配出盛夏阴雨的天气场景模型、景观模型以及对应场所的香客着装模型等。

步骤105：基于一个或多个第一AI模型与所述第一多媒体信息的特征信息，在所述第一扩展现实信息中对一个或多个祭拜元素进行第一操作，得到第一融合多媒体信息。

为实现用户的沉浸式体验，以及最优化用户体验效果，将第一多媒体信息的特征信息以及匹配获得的第一AI模型，与第一扩展信息中对应的一个或多个祭拜元素进行替换与融合操作，得到第一融合多媒体信息。对应前述的实施方式，例如当服务器将该用户祭拜弥勒佛的祭拜动作模型，作为匹配第一AI模型时，将第一扩展现实中的人物祭拜弥勒佛的祭拜动作元素，替换为匹配得到的祭拜弥勒佛的祭拜动作模型。类似地，当服务器匹配体型最接近的微胖成年男性的人物虚拟体模型时，将第一扩展现实中的人物祭拜元素替换为匹配得到的微胖成年男性的人物虚拟体模型，同时，该人物虚拟体模型中通过替换和/或融合操作，使该人物虚拟体模型具备与第一多媒体的特征信息相同的面部数据、头型数据、衣着数据等，使融合多媒体信息更加逼真。类似地，当服务器匹配得到两个成年人的人物虚拟体模型以及两人同时祭拜的祈愿布设模型时，同时替换第一扩展现实中同时祭拜的两个人物祭拜元素。类似地，当服务器匹配出虚拟莲池场景模型、三层贡桌模型、盛夏阴雨的天气场景模型、景观模型以及对应场所的香客着装模型时，将第一扩展现实中的祈愿场景祭拜元素替换为虚拟莲池场景模型、将其中的祈愿布设祭拜元素替换为三层贡桌模型、将天气祭拜元素替换为盛夏阴雨的天际场景模型、将建筑、树木、山石、水塘等场景祭拜元素也替换为相应的盛夏阴雨的景观模型、将香客祭拜元素替换为撑伞、短袖等着装模型。

本实施例还包括步骤106：在得到所述第一融合多媒体信息后，向用户展示所述第一融合多媒体信息。用户可通过客户端接收并展示第一融合多媒体信息，并根据用户需要以及客户端的支持功能，进行多媒体数据的各种展示、保存和分享等。展示不限于在智能设备中以多媒体的形式播放，还可以通过外部接口投影到外部设备中播放，在具备条件的情况下，可依据用户需要以3D投影、全息投影等方式播放多媒体数据，身临其境的用户可以真正地“沉浸”其中。

更优地，在向用户发送第一融合多媒体信息之前，还进行叠加操作，通过将不同视角的第一融合多媒体信息同步地叠加于同一界面中，提高用户亲身参与祭拜活动的感受，如附图8所示。

根据采集获取用户的实时视频数据，则可依据传感器、视频解析、动作识别等技术获取用户的运动信息，例如，用户的运动速度、加速度、运动方向、重心、上肢动作、下肢动作、头部动作、腕部翻转等。上述用户的运动信息，可以用以控制所述第一融合多媒体信息的展示。优选地，还可以获取用户的运动信息，识别用户的运动动作，生成相应的控制指令；以及包括步骤：根据控制指令控制所述第一融合多媒体信息的展示时间和展示进度。例如，通过智能可穿戴设备采集到用户在t1时刻由静止向前移动，移动速度为步行平均速度1.4m/s，且通过拍摄设备采集到用户的身体的运动方向是向前，则可以生成行进的控制指令，而第一融合多媒体数据可以在t1时刻开始展示从山脚到山门的这一段进度的多媒体数据，展示时间可与用户的移动速度相当，例如按照第一视角的人物行进速度为1.4m/s的快慢调整该段进度的多媒体数据的展示时间；又例如，当用户在t2停下脚步时，则可以生成暂停指令，多媒体数据对应地暂停，而如果多媒体数据在t2时刻展示至刚到达山门的进度，还可以自动或手动地生成切换指令，开始展示山门的细节这一段进度；又例如，当用户在t3时刻抬起手准备上香，则可以生成上香指令，多媒体数据在t3时刻对应地展示上香这一段进度；再例如，当用户从跪姿起身时，可以生成祭拜完成指令，对应展示多媒体数据中祭拜完成起身这一段进度，同时还可播放佛号、功德宣报或其他声音，或者展示各种祭拜元素的变化，如虚拟莲池的花盛开、天气由雨转晴等等。

此外，由于具有特定信仰的用户可能需要经常性地进行祭拜活动，因此，为了便于用户使用，将用户的指令信息和特征信息存储为进行特定祭拜活动的祭拜模式，那么在用户频繁使用的情形下，只需要选择所需的祭拜模式，即可调用相应的指令信息和特征信息来获得实时的远程祭拜融合多媒体内容。

根据本发明的第二实施例，如附图2示出的一种远程祭拜的方法200，其应用于客户端，包括以下步骤：

步骤201：采集第一多媒体信息。

步骤202：基于所述第一多媒体信息获取特征信息。

步骤203：获取用户第一指令信息。

步骤204：根据所述用户第一指令信息，将所述特征信息与所述用户第一指令信息发送至服务器。

步骤205：接收所述服务器发送的第一融合多媒体信息。

步骤206：展示所述第一融合多媒体信息。

其中，所述第一融合多媒体信息由所述服务器对第一扩展现实信息中一个或多个祭拜元素进行第一操作后得到，所述第一操作由所述服务器基于一个或多个第一AI模型与所述第一多媒体信息的特征信息执行，一个或多个第一AI模型由所述服务器根据所述第一多媒体信息的特征信息匹配得到；所述第一操作为替换操作和/或融合操作。

具体地，客户端侧可以参照如本发明第一实施例中的实施方式，来实施上述方案。作为补充，在本实施例中还包括，用户注册远程祭拜服务的步骤以及使用前登录的步骤。

根据本发明的第三实施例，如附图3示出的一种远程祭拜的方法300，其应用于服务器，包括以下步骤：

步骤301：接收客户端发送的第一多媒体信息的特征信息和用户第一指令信息。

步骤302：根据所述用户第一指令信息，获取第一扩展现实信息，所述扩展现实信息包括一个或多个祭拜元素。

步骤303：根据所述第一多媒体信息的特征信息，匹配一个或多个第一AI模型。

步骤304：基于一个或多个第一AI模型与所述第一多媒体信息的特征信息，在所述第一扩展现实信息中对一个或多个祭拜元素进行第一操作，得到第一融合多媒体信息；其中，进行所述第一操作的一个或多个祭拜元素分别与一个或多个第一AI模型对应；所述第一操作为替换操作和/或融合操作。

具体地，服务器侧可以参照如本发明第一实施例中的实施方式，来实施上述方案。作为补充，由于服务器相对客户端而言具有较高算力，因此可以将运算量较大的工作移植到服务器侧进行。例如，服务器设置相应的AI组件来提取第一多媒体信息中的特征信息，或者实施特定的算法识别特征信息中的人物数量、用户动作等；服务器还可以在进行替换融合操作时，按照用户动作控制替换和融合的过程，从而让用户能够获得与自身动作一致的远程祭拜多媒体内容，提高用户沉浸式体验。

根据本发明的第四实施例，如附图4示出的一种远程祭拜客户端400，包括采集模块401、用户输入模块402、第一预处理模块403、通讯模块404和展示模块405；其中，所述采集模块401，用于采集第一多媒体信息，并将所述第一多媒体信息传输至第一预处理模块403；所述第一预处理模块403，对所述第一多媒体信息进行预处理，获取得到特征信息；所述用户输入模块402，用于接收用户第一指令信息；所述通讯模块404，根据所述用户第一指令信息，将所述特征信息与所述用户第一指令信息发送至服务器，并接收所述服务器发送的第一融合多媒体信息；所述展示模块405，向用户展示所述第一融合多媒体信息；其中，所述第一融合多媒体信息由所述服务器对第一扩展现实信息中一个或多个祭拜元素进行第一操作后得到，所述第一操作由所述服务器基于一个或多个第一AI模型与所述特征信息执行，一个或多个第一AI模型由所述服务器根据所述特征信息匹配得到；所述第一操作为替换操作和/或融合操作。

具体地，客户端侧可以参照如本发明第一实施例与第二实施例中的实施方式，来实施上述方案。作为补充，客户端还可以包括接口，用户可以通过所述接口存储和/或分享所述第一融合多媒体信息，例如用户可以将经过替换融合操作的远程祭拜多媒体信息保存到本地或网络，或发送给亲人、朋友等，提高用户的使用体验。此外，客户端还可设置加密模块，按照用户需要提供加密服务，防止个人隐私无保护地上传到网络，免除用户远程祭拜的后顾之忧。

根据本发明的第五实施例，如附图5示出的一种远程祭拜服务器500，包括接收组件501、扩展现实库502、AI模型库503、匹配引擎504和多媒体融合组件505；其中，所述接收组件501，接收客户端发送的第一多媒体信息的特征信息和用户第一指令信息；所述扩展现实库502，存储有多个扩展现实信息，每个所述扩展现实信息包括一个或多个祭拜元素；所述AI模型库503，存储有多个AI模型；所述匹配引擎504，根据所述接收组件接收的所述第一多媒体信息的特征信息，从所述AI模型库503中匹配一个或多个第一AI模型；并根据所述接收组件501接收的所述用户第一指令信息，从所述扩展现实库502中获取第一扩展现实信息；所述多媒体融合组件505，基于一个或多个第一AI模型与所述第一多媒体信息的特征信息，在所述第一扩展现实信息中对一个或多个祭拜元素进行第一操作，得到第一融合多媒体信息；其中，进行所述第一操作的一个或多个祭拜元素分别与一个或多个第一AI模型对应；所述第一操作为替换操作和/或融合操作。

具体地，服务器侧可以参照如本发明第一实施例和第三实施例中的实施方式，来实施上述方案。作为补充，服务器还可包括用户帐号管理模块，用于用户的注册、登录及多媒体信息数据的管理等。服务器还可包括发送组件，用于将远程祭拜多媒体内容发送到客户端，供用户使用。服务器还可包括数字钱包组件，用于记录或管理用户的数字货币或虚拟产品。在远程祭拜过程中，用户的功德意愿通常需要通过特定的祭拜物品实现，而利用去中心化分布式账本用于安全管理用户的数字货币或虚拟产品，为用户提供了有力保障，同时保护了用户的功德意愿，使用户放心的使用远程祭拜服务。

根据本发明的第六实施例，如附图6示出的一种远程祭拜系统600，其包括本发明第四实施例中的远程祭拜客户端400以及本发明第五实施例中的远程祭拜服务器500。

根据本发明的第七实施例，如附图7示出的一种计算机设备700，包括存储器和处理器；所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时使得所述计算机设备实现本发明各实施例中的方法。此外，还可以通过将计算机程序存储在计算机可读存储介质中，当所述计算机程序被处理器执行时使得所述处理器实现本发明各实施例中的方法。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种多媒体信息的处理方法，其特征在于，包括：

步骤101：采集第一多媒体信息，基于所述第一多媒体信息获取用户的特征信息；

步骤102：接收用户第一指令信息；

步骤103：基于所述用户第一指令信息获取第一扩展现实信息，所述第一扩展现实信息包括一个或多个祭拜元素；

步骤104：根据所述特征信息匹配一个或多个第一AI模型；

步骤105：基于一个或多个所述的第一AI模型与所述特征信息，在所述第一扩展现实信息中对一个或多个祭拜元素进行第一操作，得到第一融合多媒体信息；其中，所述第一操作中的一个或多个祭拜元素分别与一个或多个第一AI模型对应，所述第一操作为替换操作和/或融合操作；

步骤106：向用户展示所述第一融合多媒体信息。

2.根据权利要求1所述的一种多媒体信息的处理方法，其特征在于，所述特征信息包括以下一种或多种：

用户祭拜的动作数据、用户的面部数据、用户的体型数据、用户的发型数据、用户的着装数据。

3.根据权利要求1所述的多媒体信息的处理方法，其特征在于，所述方法还包括：获取用户个人信息，所述用户个人信息包括人物数量；所述步骤104具体包括：根据所述特征信息与所述用户个人信息匹配一个或多个第一AI模型；且，所述步骤105中进行第一操作的一个或多个祭拜元素的数量与所述人物数量对应。

4.根据权利要求1所述的多媒体信息的处理方法，其特征在于，所述步骤102具体包括：获取个性化信息，根据所述个性化信息生成所述用户第一指令信息；且，所述步骤104具体包括：根据所述特征信息与所述个性化信息匹配一个或多个第一AI模型；且，所述步骤105中进行第一操作的一个或多个祭拜元素还与所述个性化信息对应；

所述个性化信息包括以下一种或多种：

礼佛形象、功德意愿、祈愿场景、祭拜目标、背景音、祈愿布设、行进方式、时钟、季节、天气。

5.根据权利要求1所述的一种多媒体信息的处理方法，其特征在于，所述步骤105还包括：对所述第一融合多媒体信息进行第二操作，得到第二融合多媒体信息；且所述步骤106具体包括：向用户展示所述第二融合多媒体信息；所述第二操作为叠加操作，以将不同视角的所述第一融合多媒体信息同步地叠加于同一界面内。

6.一种远程祭拜客户端，其特征在于，所述客户端包括采集模块、用户输入模块、第一预处理模块、通讯模块和展示模块；其中，

所述采集模块，用于采集第一多媒体信息，并将所述第一多媒体信息传输至第一预处理模块；

所述第一预处理模块，对所述第一多媒体信息进行预处理，获取得到特征信息；

所述用户输入模块，用于接收用户第一指令信息；

所述通讯模块，根据所述用户第一指令信息，将所述特征信息与所述用户第一指令信息发送至服务器，并接收所述服务器发送的第一融合多媒体信息；

所述展示模块，向用户展示所述第一融合多媒体信息；

所述第一融合多媒体信息由所述服务器对第一扩展现实信息中一个或多个祭拜元素进行第一操作后得到，所述第一操作由所述服务器基于一个或多个第一AI模型与所述特征信息执行，一个或多个所述的第一AI模型由所述服务器根据所述特征信息匹配得到；所述第一操作为替换操作和/或融合操作。

7.根据权利要求6所述的远程祭拜客户端，其特征在于，所述客户端还包括存储模块，所述存储模块存储用户祭拜模式，所述采集模块基于所述用户祭拜模式确定所述第一多媒体信息，和/或所述用户输入模块基于所述用户祭拜模式确定所述用户第一指令信息。

8.根据权利要求6所述的远程祭拜客户端，其特征在于，所述客户端获取用户个人信息，所述用户个人信息包括人物数量；且在所述通讯模块接收的所述第一融合多媒体信息中，进行所述第一操作的一个或多个祭拜元素的数量与所述人物数量对应；同时，用于执行所述第一操作的一个或多个第一AI模型与所述人物数量对应。

9.根据权利要求6所述的远程祭拜客户端，其特征在于，所述用户输入模块获取个性化信息，根据所述个性化信息生成所述用户第一指令信息；且在所述通讯模块接收的所述第一融合多媒体信息中，进行所述第一操作的一个或多个祭拜元素与所述个性化信息对应；同时，用于执行所述第一操作的一个或多个第一AI模型与所述个性化信息对应。

10.根据权利要求6所述的远程祭拜客户端，其特征在于，所述服务器对第一扩展现实信息中一个或多个祭拜元素进行第一操作后，还进行第二操作，所述第二操作为叠加操作，以将不同视角的所述第一融合多媒体信息同步地叠加于同一界面内。

11.一种远程祭拜服务器，其特征在于，所述远程祭拜服务器包括接收组件、发送组件、扩展现实库、AI模型库、匹配引擎和多媒体融合组件；其中，

所述接收组件，接收客户端发送的第一多媒体信息的特征信息和用户第一指令信息；

所述扩展现实库，存储有多个扩展现实信息，每个所述扩展现实信息包括一个或多个祭拜元素；

所述AI模型库，存储有多个AI模型；

所述匹配引擎，根据所述接收组件接收的所述第一多媒体信息的特征信息，从所述AI模型库中匹配一个或多个第一AI模型；并根据所述接收组件接收的所述用户第一指令信息，从所述扩展现实库中获取第一扩展现实信息；

所述多媒体融合组件，基于一个或多个所述的第一AI模型与所述第一多媒体信息的特征信息，在所述第一扩展现实信息中对一个或多个祭拜元素进行第一操作，得到第一融合多媒体信息；其中，进行所述第一操作的一个或多个祭拜元素分别与一个或多个所述的第一AI模型对应；所述第一操作为替换操作和/或融合操作；

所述发送组件，用于向用户发送所述第一融合多媒体信息。

12.根据权利要求11所述的远程祭拜服务器，其特征在于，所述服务器获取用户个人信息，所述用户个人信息包括人物数量；所述匹配引擎根据所述用户个人信息与所述第一多媒体信息的特征信息，匹配一个或多个第一AI模型，一个或多个所述的第一AI模型与所述人物数量对应；进行所述第一操作的一个或多个祭拜元素的数量与所述人物数量对应；

其中，所述服务器获取用户个人信息，所述用户个人信息包括人物数量，具体包括：

所述服务器的接收组件接收客户端发送的包括人物数量的用户个人信息；或者，

所述服务器还包括AI组件，所述AI组件基于所述第一多媒体信息的特征信息识别所述人物数量。

13.根据权利要求11所述的远程祭拜服务器，其特征在于，所述用户第一指令信息由所述客户端根据个性化信息生成；所述匹配引擎根据所述个性化信息与所述第一多媒体信息的特征信息，匹配一个或多个第一AI模型，一个或多个所述的第一AI模型与所述个性化信息对应；进行所述第一操作的一个或多个祭拜元素与所述个性化信息对应；

所述个性化信息包括以下一种或多种：礼佛形象、功德意愿、祈愿场景、祭拜目标、背景音、祈愿布设、行进方式、时刻、季节及天气。

14.根据权利要求11所述的远程祭拜服务器，其特征在于，所述多媒体融合组件对所述第一融合多媒体信息进行第二操作，得到第二融合多媒体信息；所述发送组件向用户发送所述第二融合多媒体信息；所述第二操作为叠加操作，以将不同视角的所述第一融合多媒体信息同步地叠加于同一界面内。

15.根据权利要求11-14中任意一项所述的远程祭拜服务器，其特征在于，所述匹配引擎通过第三方接口调用。

16.根据权利要求11-14中任意一项所述的远程祭拜服务器，其特征在于，所述服务器还包括数字钱包组件，用于记录和/或管理用户的数字货币或虚拟产品。

17.根据权利要求11-14中任意一项所述的远程祭拜服务器，其特征在于，所述服务器还包括通告组件，所述通告组件向所述第一扩展现实信息对应的地理祭拜场所发送通告信息，所述通告信息包括所述用户的祭拜信息。

18.一种远程祭拜系统，其特征在于，所述远程祭拜系统包括权利要求6-10中任意一项所述的远程祭拜客户端，以及权利要求11-17中任意一项所述的远程祭拜服务器。

19.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被处理器执行时使得所述处理器实现权利要求1-5中任意一项所述的多媒体信息的处理方法。

20.一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时使得所述计算机设备实现权利要求1-5中任意一项所述的多媒体信息的处理方法。

Images