CN117135417A - 一种基于多模态大模型的景区智能营销及虚拟直播系统 - Google Patents

一种基于多模态大模型的景区智能营销及虚拟直播系统 Download PDF

Info

Publication number
CN117135417A
CN117135417A CN202311393935.6A CN202311393935A CN117135417A CN 117135417 A CN117135417 A CN 117135417A CN 202311393935 A CN202311393935 A CN 202311393935A CN 117135417 A CN117135417 A CN 117135417A
Authority
CN
China
Prior art keywords
live
product
marketing
module
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311393935.6A
Other languages
English (en)
Other versions
CN117135417B (zh
Inventor
张卫平
王晶
邵胜博
李显阔
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Global Digital Group Co Ltd
Original Assignee
Global Digital Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Global Digital Group Co Ltd filed Critical Global Digital Group Co Ltd
Priority to CN202311393935.6A priority Critical patent/CN117135417B/zh
Publication of CN117135417A publication Critical patent/CN117135417A/zh
Application granted granted Critical
Publication of CN117135417B publication Critical patent/CN117135417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及直播领域，具体提供了一种基于多模态大模型的景区智能营销及虚拟直播系统，包括拍摄模块、分析模块、直播内容生成模块、直播内容显示模块、数据库；所述拍摄模块用于拍摄景区内各个园区的人流状况；分析模块用于分析适合在当前环境下进行直播营销的产品；直播内容生成模块用于生成直播视频；直播内容显示模块用于显示所述直播内容生成模块生成的直播视频；数据库用于保存各种数据。本方案通过利用多模态大模型自动生成标签的权重以及利用多模态大模型生成直播视频，大大减少了景区营销所需要的人力资源，降低了成本；且通过计算产品的喜爱度，生成最佳直播营销产品序列，让受欢迎的产品视频先播出，有利于提高产品的销量。

Description

一种基于多模态大模型的景区智能营销及虚拟直播系统
技术领域
本发明涉及直播领域，尤其涉及一种基于多模态大模型的景区智能营销及虚拟直播系统。
背景技术
多模态大模型是指，在一个系统或者数据中，包含多种不同形式的数据，并且使用大规模的模型进行分析和处理。这种模型通常需要使用深度神经网络等大规模模型进行训练和推理，从而实现更加准确和全面的分析结果。
如CN116484217A的现有技术公开了的一种基于多模态预训练大模型的智能决策方法及系统，该方法步骤包括：获取决策问题，通过预设的多模态预训练模型进行智能决策，生成决策结果，并保存决策案例；获取所述多模态预训练模型的决策案例，并构建决策标签数据；用于通过所述决策标签数据进行有监督训练，调整所述多模态预训练模型的模型参数。
另一种典型的如CN116340778A的现有技术公开的一种基于多模态的医疗大模型构建方法及其相关设备，通过包含多模态转换器T、提示管理器M、对话引擎L、任务控制器H和多模态基座模块MMF，多模态基座模块MMF至少包括一个医疗基础模块态基座MFMs的医疗大模型，采用模态分析、模型分配、下游任务结果返回、模态转换归一和响应生成五个阶段，同时处理融合多种模态数据。
再来看如WO2021098323A1的现有技术公开的一种基于多模态融合深度学习的布匹缺陷检测方法，首先利用触觉感知传感器与不同缺陷情况的布匹表面接触，采集各种缺陷情况的布匹纹理图像，利用摄像机采集相应的布匹外部图像，将相应的一张布匹外部图像与一张布匹纹理图像作为一组布匹检测数据;然后将特征提取网络和多模态融合网络连接构建基于多模态融合深度学习的分类模型，以采集的各组布匹检测数据中的布匹纹理图像和布匹外部图像作为输入，以布匹缺陷情况作为输出；利用采集的布匹检测数据对建立的分类模型进行训练；最后利用训练完毕的分类模型对布匹缺陷情况进行检测。
目前对于多模态大模型技术的应用还比较少，在直播营销方面基本由真人进行直播带货，耗费人力资源较多。为了减少直播带货所耗费的人力资源，并将直播营销与多模态大模型技术相结合，作出了本发明。
发明内容
本发明的目的在于，针对目前所存在的不足，提出了一种基于多模态大模型的景区智能营销及虚拟直播系统。
为了克服现有技术的不足，本发明采用如下技术方案：
一种基于多模态大模型的景区智能营销及虚拟直播系统，包括拍摄模块、分析模块、直播内容生成模块、直播内容显示模块、数据库；所述拍摄模块用于拍摄景区内各个园区的人流状况；所述分析模块用于分析适合在当前环境下进行直播营销的产品；所述直播内容生成模块用于生成直播视频，包括直播文案生成单元、直播视频生成单元、直播语音生成单元，所述直播文案生成单元用于生成本次直播需要进行营销的产品的营销文案，所述直播视频生成单元用于根据营销文案生成本次直播的营销视频、所述直播语音生成单元用于根据营销方案将营销视频生成含AI配音的直播视频；所述直播内容显示模块用于显示所述直播内容生成模块生成的直播视频；所述数据库用于保存各种数据；
所述分析模块根据产品的喜爱度分析适合在当前环境下进行直播营销的产品，产品的喜爱度由下式进行计算：
=/>；
其中，为产品A的喜爱值，m为根据目标游客的属性进行划分的标签的个数，S为产品A近7日的日平均销量；/>为根据目标游客的属性进行划分的标签中的第i个标签契合的游客的数量，/>为该标签的权重；H为该园区的总人数，n为根据产品的适用场景进行划分的标签的个数，/>为根据产品的适用场景进行划分的标签中第j个标签的权重，k为指标参数，由目前园区的环境与该产品的适用场景是否相同确定，相同为1反之为0。
更进一步的，所述分析模块包括信息接收单元、分析单元、检索单元、信息发送单元，所述信息接收单元用于接收所述拍摄模块的拍摄内容，所述分析单元用于分析不同园区的最佳直播营销产品，所述检索单元用于在数据库内检索过往直播的信息，所述信息发送单元用于将分析单元的分析结果发送到直播内容生成模块。
更进一步的，所述直播内容显示模块包括显示屏和景区网站，所述显示屏用于在景区的各个园区内显示生成的直播视频，所述景区网站用于在网络上显示生成的直播视频，所述景区网站包括视频显示单元、商品信息显示单元和地图单元，所述视频显示单元用于显示直播视频，所述商品信息显示单元用于显示直播视频所对应的营销产品的产品信息，所述地图单元用于显示游客附近的营销点的位置，以及每个营销点所包括的营销产品。
更进一步的，所述景区智能营销及虚拟直播系统的工作流程包括以下步骤：
S1,拍摄模块拍摄各个园区的照片并标记；
S2,分析模块接收所述拍摄模块和数据库的数据，分析每个园区的最佳直播营销产品序列；
S3,分析模块将分析结果发送到直播内容生成模块；
S4,直播内容生成模块根据分析结果生成每个园区的最佳直播营销产品序列的直播视频；
S5,直播内容显示模块显示每个园区的最佳直播营销产品序列的直播视频；
S6,数据库对生成的直播视频进行保存。
更进一步的，所述拍摄模块拍摄各个园区的照片并标记包括以下步骤：
S11,根据照片所属园区将照片划分为多个照片组；
S12,通过图像识别去识别每张照片上的游客以及每个游客的属性；
S13,根据图像识别结果，判断每个园区的人数；
S14,根据每个园区的人数以及每个游客的属性对照片组进行标记，并将照片组发送到分析模块。
更进一步的，所述分析模块分析每个园区的最佳直播营销产品序列包括以下步骤：
S21,随机选择一个园区，从拍摄模块获取该园区的照片组以及从数据库获取园区内的购物点信息；
S22,根据园区内的购物点内所包含的产品种类获取可营销产品的序列；
S23,将可营销产品的图片依次输入到多模态大模型中，并命令多模态大模型对每个产品贴标签；
S24,生成每个产品的喜爱值；
S25,将按每个产品的喜爱值从大到小的顺序对可营销产品的序列进行重组，得到最佳直播营销产品序列。
S26,更换园区，返回S21，直到所有园区都获得了最佳直播营销产品序列。
更进一步的，多模态大模型对每个产品贴标签包括以下步骤：
S231,根据目标游客的属性对产品贴标签；
S232,根据产品的适用场景对产品贴标签；
S233,令多模态大模型生成各个标签的权重。
更进一步的，生成每个产品的喜爱值包括以下步骤：
根据下式计算产品的喜爱度：
=/>；
其中，为产品A的喜爱值，m为根据目标游客的属性进行划分的标签的个数，S为产品A近7日的日平均销量；/>为根据目标游客的属性进行划分的标签中的第i个标签契合的游客的数量，/>为该标签的权重；H为该园区的总人数，n为根据产品的适用场景进行划分的标签的个数，/>为根据产品的适用场景进行划分的标签中第j个标签的权重，k为指标参数，由目前园区的环境与该产品的适用场景是否相同确定，相同为1反之为0。
本发明所取得的有益效果是：通过利用多模态大模型自动生成标签的权重以及利用多模态大模型生成直播视频，大大减少了景区营销所需要的人力资源，降低了成本；且通过计算产品的喜爱度，生成最佳直播营销产品序列，让受欢迎的产品视频先播出，有利于提高产品的销量。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定相同的部分。
图1为本发明的结构示意图。
图2为本发明的工作流程图。
图3为本发明拍摄模块拍摄各个园区的照片并标记的流程图。
图4为本发明分析模块分析每个园区的最佳直播营销产品序列的流程图。
图5为本发明实施例二的工作流程图。
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不悖离本发明的精神下进行各种修饰与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。
实施例一：根据图1、图2、图3和图4，本实施例提供一种基于多模态大模型的景区智能营销及虚拟直播系统，包括拍摄模块、分析模块、直播内容生成模块、直播内容显示模块、数据库；所述拍摄模块用于拍摄景区内各个园区的人流状况；所述分析模块用于分析适合在当前环境下进行直播营销的产品；所述直播内容生成模块用于生成直播视频，包括直播文案生成单元、直播视频生成单元、直播语音生成单元，所述直播文案生成单元用于生成本次直播需要进行营销的产品的营销文案，所述直播视频生成单元用于根据营销文案生成本次直播的营销视频、所述直播语音生成单元用于根据营销方案将营销视频生成含AI配音的直播视频；所述直播内容显示模块用于显示所述直播内容生成模块生成的直播视频；所述数据库用于保存各种数据；
所述分析模块根据产品的喜爱度分析适合在当前环境下进行直播营销的产品，产品的喜爱度由下式进行计算：
=/>；
其中，为产品A的喜爱值，m为根据目标游客的属性进行划分的标签的个数，S为产品A近7日的日平均销量；/>为根据目标游客的属性进行划分的标签中的第i个标签契合的游客的数量，/>为该第i个标签的权重；H为该园区的总人数，n为根据产品的适用场景进行划分的标签的个数，/>为根据产品的适用场景进行划分的标签中第j个标签的权重，k为指标参数，由目前园区的环境与该产品的适用场景是否相同确定，相同为1反之为0。所述目标游客为对该产品A可能感兴趣的游客，优选的，以确保游客有充足的游玩和购物的时间为准，例如选择园区闭门时间前1小时前入园的游客。
具体的，若目前园区的环境与该产品的适用场景相同则k=1，反之k=0；和/>由多模态大模型根据标签与产品本身的相关度自动随机生成，该相关度由多模态大模型自行判断，/>和/>的取值范围均在0到1之间。通过设置产品的喜爱度，能够反映当前环境下游客购买产品的倾向，有利于根据喜爱度生成对应的营销视频，通过播放营销视频有利于吸引游客，从而提高产品的销量。
更进一步的，所述分析模块包括信息接收单元、分析单元、检索单元、信息发送单元，所述信息接收单元用于接收所述拍摄模块的拍摄内容，所述分析单元用于分析不同园区的最佳直播营销产品，所述检索单元用于在数据库内检索过往直播的信息，所述信息发送单元用于将分析单元的分析结果发送到直播内容生成模块。
更进一步的，所述直播内容显示模块包括显示屏和景区网站，所述显示屏用于在景区的各个园区内显示生成的直播视频，所述景区网站用于在网络上显示生成的直播视频，所述景区网站包括视频显示单元、商品信息显示单元和地图单元，所述视频显示单元用于显示直播视频，所述商品信息显示单元用于显示直播视频所对应的营销产品的产品信息，所述地图单元用于显示游客附近的营销点的位置，以及每个营销点所包括的营销产品。
具体的，通过设置显示屏有利于将营销视频在大屏幕上进行播放，从而吸引大屏幕附近的游客观看，起到了吸引人流的作用，通过设置景区网站，能够让看不到大屏幕的游客以及还未到达景区的游客了解景区的地形以及各种产品的信息，可方便游客规划移动路线以及定制购买计划。
更进一步的，所述景区智能营销及虚拟直播系统的工作流程包括以下步骤：
S1,拍摄模块拍摄各个园区的照片并标记；
S2,分析模块接收所述拍摄模块和数据库的数据，分析每个园区的最佳直播营销产品序列；
S3,分析模块将分析结果发送到直播内容生成模块；
S4,直播内容生成模块根据分析结果生成每个园区的最佳直播营销产品序列的直播视频；
具体的，直播内容生成模块利用多模态大模型根据产品图片自动生成直播视频。
S5,直播内容显示模块显示每个园区的最佳直播营销产品序列的直播视频；
S6,数据库对生成的直播视频进行保存。
更进一步的，所述拍摄模块拍摄各个园区的照片并标记包括以下步骤：
S11,根据照片所属园区将照片划分为多个照片组；
S12,通过图像识别去识别每张照片上的游客以及每个游客的属性；
具体的，游客的属性可以是游客的性别，游客的年龄段，游客的国籍。
S13,根据图像识别结果，判断每个园区的人数；
S14,根据每个园区的人数以及每个游客的属性对照片组进行标记，并将照片组发送到分析模块。
具体的，通过使用图像识别去识别每张照片上的游客以及每个游客的属性，相较于其他方式能够更加准确的得到每个游客的属性，同时，在拍摄照片之后便可马上进行识别，即使在游客移动速度较快的地方也可以保证识别的时效性，有利于提高分析模块得到的最佳直播营销产品的时效性。
更进一步的，所述分析模块分析每个园区的最佳直播营销产品序列包括以下步骤：
S21,随机选择一个园区，从拍摄模块获取该园区的照片组以及从数据库获取园区内的购物点信息；
S22,根据园区内的购物点内所包含的产品种类获取可营销产品的序列；
S23,将可营销产品的图片依次输入到多模态大模型中，并命令多模态大模型对每个产品贴标签；
S24,生成每个产品的喜爱值；
S25,将按每个产品的喜爱值从大到小的顺序对可营销产品的序列进行重组，得到最佳直播营销产品序列。
S26,更换园区，返回S21，直到所有园区都获得了最佳直播营销产品序列。
更进一步的，多模态大模型对每个产品贴标签包括以下步骤：
S231,根据目标游客的属性对产品贴标签；
具体的，游客的属性可以是游客的性别，游客的年龄段，游客的国籍，如产品玩具枪的标签可以是“男性”和“小朋友”；
S232,根据产品的适用场景对产品贴标签；
具体的，适用场景进行划分的标签的划分标准包括根据季节划分、根据天气划分和根据时间划分，如“夏天”、“下雨”和“晚上”，如产品雨伞的标签可以是“下雨”。
S233,令多模态大模型生成各个标签的权重。
具体的，通过使用两种不同的方式对产品贴标签，能够从两个方面体现产品的属性，有利于多模态大模型从两个不同的角度去综合分析产品的喜爱度，从而提高喜爱度的准确程度。
具体的，可命令多模态大模型根据产品的标签与产品本身的相关度生成产品各个标签的权重，并令各个权重之和为1，所述相关度由多模态大模型自行判断并生成。
更进一步的，生成每个产品的喜爱值包括以下步骤：
根据下式计算产品的喜爱度：
=/>；
其中，为产品A的喜爱值，m为根据目标游客的属性进行划分的标签的个数，S为产品A近7日的日平均销量；/>为根据目标游客的属性进行划分的标签中的第i个标签契合的游客的数量，/>为该标签的权重；H为该园区的总人数，n为根据产品的适用场景进行划分的标签的个数，/>为根据产品的适用场景进行划分的标签中第j个标签的权重，k为指标参数，由目前园区的环境与该产品的适用场景是否相同确定，相同为1反之为0。
本方案的有益效果：通过利用多模态大模型自动生成标签的权重以及利用多模态大模型生成直播视频，大大减少了景区营销所需要的人力资源，降低了成本；且通过计算产品的喜爱度，生成最佳直播营销产品序列，让受欢迎的产品视频先播出，有利于提高产品的销量。
实施例
本实施例应当理解为包含前述任一一个实施例的全部特征，并在其基础上进一步改进，如图5所示，还在于包括一种景区营销的产品的分类方法，包括以下步骤：
第一步，获取各个产品的照片；
第二步，选择最佳直播营销产品序列中未被归类的产品中排名第一的产品；
第三步，根据下式计算被选择产品与其他产品的相似度：
SimX=*ssimx；
其中SimX为被选择产品与产品X相似度，a为被选择产品的标签个数，c为被选择产品和产品X所包含的相同的标签的个数，为被选择产品和产品X所包含的相同的第b个标签对于被选择产品的权重，ssimx为被选择产品与产品X的照片的相似度；
具体的，当c为0时，令SimX=0；
具体的，被选择产品与产品X的照片的相似度可利用图像识别和对比技术，通过获取二者的SSIM（结构相似性）得到。
第四步，将被选择产品以及与被选择产品相似度达到50%以上的产品归类为同一类产品；
第五步，判断是否已将所有产品进行归类，若否返回第二步，若是，结束分类。
本实施例的有益效果：通过对景区营销的产品进行分类有利于对产品进行分类管理；同时，可以通过在直播中对喜爱度较高的产品的同类产品进行直播营销，从而提高产品的销量。
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的保护范围内，此外，随着技术发展其中的元素可以更新的。

Claims (8)

1.一种基于多模态大模型的景区智能营销及虚拟直播系统，其特征在于：包括拍摄模块、分析模块、直播内容生成模块、直播内容显示模块、数据库；所述拍摄模块用于拍摄景区内各个园区的人流状况；所述分析模块用于分析适合在当前环境下进行直播营销的产品；所述直播内容生成模块用于生成直播视频，包括直播文案生成单元、直播视频生成单元、直播语音生成单元，所述直播文案生成单元用于生成本次直播需要进行营销的产品的营销文案，所述直播视频生成单元用于根据营销文案生成本次直播的营销视频、所述直播语音生成单元用于根据营销方案将营销视频生成含AI配音的直播视频；所述直播内容显示模块用于显示所述直播内容生成模块生成的直播视频；所述数据库用于保存各种数据；
所述分析模块根据产品的喜爱度分析适合在当前环境下进行直播营销的产品，产品的喜爱度由下式进行计算：
=/>；
其中，为产品A的喜爱值，m为根据目标游客的属性进行划分的标签的个数，S为产品A近7日的日平均销量；/>为根据目标游客的属性进行划分的标签中的第i个标签契合的游客的数量，/>为该第i个标签的权重；H为该园区的总人数，n为根据产品的适用场景进行划分的标签的个数，/>为根据产品的适用场景进行划分的标签中第j个标签的权重，k为指标参数，由目前园区的环境与该产品的适用场景是否相同确定，相同为1反之为0。
2.根据权利要求1所述的一种基于多模态大模型的景区智能营销及虚拟直播系统，其特征在于：所述分析模块包括信息接收单元、分析单元、检索单元、信息发送单元，所述信息接收单元用于接收所述拍摄模块的拍摄内容，所述分析单元用于分析不同园区的最佳直播营销产品，所述检索单元用于在数据库内检索过往直播的信息，所述信息发送单元用于将分析单元的分析结果发送到直播内容生成模块。
3.根据权利要求2所述的一种基于多模态大模型的景区智能营销及虚拟直播系统，其特征在于，所述直播内容显示模块包括显示屏和景区网站，所述显示屏用于在景区的各个园区内显示生成的直播视频，所述景区网站用于在网络上显示生成的直播视频，所述景区网站包括视频显示单元、商品信息显示单元和地图单元，所述视频显示单元用于显示直播视频，所述商品信息显示单元用于显示直播视频所对应的营销产品的产品信息，所述地图单元用于显示游客附近的营销点的位置，以及每个营销点所包括的营销产品。
4.根据权利要求3所述的一种基于多模态大模型的景区智能营销及虚拟直播系统，其特征在于，所述景区智能营销及虚拟直播系统的工作流程包括以下步骤：
S1,拍摄模块拍摄各个园区的照片并标记；
S2,分析模块接收所述拍摄模块和数据库的数据，分析每个园区的最佳直播营销产品序列；
S3,分析模块将分析结果发送到直播内容生成模块；
S4,直播内容生成模块根据分析结果生成每个园区的最佳直播营销产品序列的直播视频；
S5,直播内容显示模块显示每个园区的最佳直播营销产品序列的直播视频；
S6,数据库对生成的直播视频进行保存。
5.根据权利要求4所述的一种基于多模态大模型的景区智能营销及虚拟直播系统，其特征在于：所述拍摄模块拍摄各个园区的照片并标记包括以下步骤：
S11,根据照片所属园区将照片划分为多个照片组；
S12,通过图像识别去识别每张照片上的游客以及每个游客的属性；
S13,根据图像识别结果，判断每个园区的人数；
S14,根据每个园区的人数以及每个游客的属性对照片组进行标记，并将照片组发送到分析模块。
6.根据权利要求5所述的一种基于多模态大模型的景区智能营销及虚拟直播系统，其特征在于，所述分析模块分析每个园区的最佳直播营销产品序列包括以下步骤：
S21,随机选择一个园区，从拍摄模块获取该园区的照片组以及从数据库获取园区内的购物点信息；
S22,根据园区内的购物点内所包含的产品种类获取可营销产品的序列；
S23,将可营销产品的图片依次输入到多模态大模型中，并命令多模态大模型对每个产品贴标签；
S24,生成每个产品的喜爱值；
S25,将按每个产品的喜爱值从大到小的顺序对可营销产品的序列进行重组，得到最佳直播营销产品序列；
S26,更换园区，返回S21，直到所有园区都获得了最佳直播营销产品序列。
7.根据权利要求6所述的一种基于多模态大模型的景区智能营销及虚拟直播系统，其特征在于，多模态大模型对每个产品贴标签包括以下步骤：
S231,根据目标游客的属性对产品贴标签；
S232,根据产品的适用场景对产品贴标签；
S233,令多模态大模型生成各个标签的权重。
8.根据权利要求7所述的一种基于多模态大模型的景区智能营销及虚拟直播系统，其特征在于，生成每个产品的喜爱值包括以下步骤：
根据下式计算产品的喜爱度：
=/>；
其中，为产品A的喜爱值，m为根据目标游客的属性进行划分的标签的个数，S为产品A近7日的日平均销量；/>为根据目标游客的属性进行划分的标签中的第i个标签契合的游客的数量，/>为该标签的权重；H为该园区的总人数，n为根据产品的适用场景进行划分的标签的个数，/>为根据产品的适用场景进行划分的标签中第j个标签的权重，k为指标参数，由目前园区的环境与该产品的适用场景是否相同确定，相同为1反之为0。
CN202311393935.6A 2023-10-26 2023-10-26 一种基于多模态大模型的景区智能营销及虚拟直播系统 Active CN117135417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311393935.6A CN117135417B (zh) 2023-10-26 2023-10-26 一种基于多模态大模型的景区智能营销及虚拟直播系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311393935.6A CN117135417B (zh) 2023-10-26 2023-10-26 一种基于多模态大模型的景区智能营销及虚拟直播系统

Publications (2)

Publication Number Publication Date
CN117135417A true CN117135417A (zh) 2023-11-28
CN117135417B CN117135417B (zh) 2023-12-22

Family

ID=88856748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311393935.6A Active CN117135417B (zh) 2023-10-26 2023-10-26 一种基于多模态大模型的景区智能营销及虚拟直播系统

Country Status (1)

Country Link
CN (1) CN117135417B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197384A (zh) * 2017-05-27 2017-09-22 北京光年无限科技有限公司 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN107590679A (zh) * 2017-08-10 2018-01-16 清远网软网络科技有限公司 一种o2o线上线下旅游电商服务系统
US20180260843A1 (en) * 2017-03-09 2018-09-13 Adobe Systems Incorporated Creating targeted content based on detected characteristics of an augmented reality scene
US10575045B1 (en) * 2019-09-17 2020-02-25 CommentSold, Inc. Online live video sales management system
CN110874780A (zh) * 2018-09-01 2020-03-10 昆山炫生活信息技术股份有限公司 基于大数据统计的景区游玩系统及推荐方法
CN111223237A (zh) * 2020-03-05 2020-06-02 鑫美集团有限公司 沉浸式互动娱乐自动售货系统及使用方法
CN112261425A (zh) * 2020-10-20 2021-01-22 成都中科大旗软件股份有限公司 一种视频直播和录像播放方法及系统
US20210158422A1 (en) * 2019-11-21 2021-05-27 Shopify Inc. Systems and methods for recommending a product based on an image of a scene
CN113325949A (zh) * 2021-05-12 2021-08-31 车捷 一种xr产品构成系统
CN113780770A (zh) * 2021-08-28 2021-12-10 杭州玉赋祥文化旅游产业发展有限公司 一种基于目的地文旅定制的景区数智化管理方法、装置、设备及介质
CN113902989A (zh) * 2021-09-30 2022-01-07 腾讯音乐娱乐科技（深圳）有限公司 直播场景检测方法、存储介质及电子设备
CN113971599A (zh) * 2021-10-26 2022-01-25 广州华多网络科技有限公司 广告投放选品方法及其装置、设备、介质、产品
CN114257572A (zh) * 2020-09-11 2022-03-29 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读介质及电子设备
CN114445136A (zh) * 2022-01-27 2022-05-06 智岛阳光信息科技(海南)有限公司 一种基于大数据采集的旅游营销系统
CN114466211A (zh) * 2022-01-30 2022-05-10 乐美客信息技术(深圳)有限公司 一种基于虚拟现实技术的直播交互方法及系统
CN114881741A (zh) * 2022-05-31 2022-08-09 江苏仙宝科技有限公司 一种基于虚拟现实直播场景的商品推荐系统
US20220377414A1 (en) * 2021-05-20 2022-11-24 Alibaba (China) Co., Ltd. Behavior control method and apparatus for virtual live streaming character
CN116132749A (zh) * 2023-02-06 2023-05-16 深圳市快美妆科技有限公司 一种和直播带货结合的广告营销方法
CN116227834A (zh) * 2022-12-28 2023-06-06 四川农业大学 一种基于三维点云模型的智能景区数字化平台
CN116542740A (zh) * 2023-05-08 2023-08-04 广州博冠信息科技有限公司 直播间商品推荐方法、装置、电子设备和可读存储介质
CN116668733A (zh) * 2023-05-16 2023-08-29 魔珐(上海)信息科技有限公司 虚拟主播直播系统及方法、相关装置
CN116823534A (zh) * 2023-08-30 2023-09-29 环球数科集团有限公司 一种基于多模态大模型的文旅行业智能服务虚拟人系统

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260843A1 (en) * 2017-03-09 2018-09-13 Adobe Systems Incorporated Creating targeted content based on detected characteristics of an augmented reality scene
CN107197384A (zh) * 2017-05-27 2017-09-22 北京光年无限科技有限公司 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN107590679A (zh) * 2017-08-10 2018-01-16 清远网软网络科技有限公司 一种o2o线上线下旅游电商服务系统
CN110874780A (zh) * 2018-09-01 2020-03-10 昆山炫生活信息技术股份有限公司 基于大数据统计的景区游玩系统及推荐方法
US10575045B1 (en) * 2019-09-17 2020-02-25 CommentSold, Inc. Online live video sales management system
US20210158422A1 (en) * 2019-11-21 2021-05-27 Shopify Inc. Systems and methods for recommending a product based on an image of a scene
CN111223237A (zh) * 2020-03-05 2020-06-02 鑫美集团有限公司 沉浸式互动娱乐自动售货系统及使用方法
CN114257572A (zh) * 2020-09-11 2022-03-29 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读介质及电子设备
CN112261425A (zh) * 2020-10-20 2021-01-22 成都中科大旗软件股份有限公司 一种视频直播和录像播放方法及系统
CN113325949A (zh) * 2021-05-12 2021-08-31 车捷 一种xr产品构成系统
US20220377414A1 (en) * 2021-05-20 2022-11-24 Alibaba (China) Co., Ltd. Behavior control method and apparatus for virtual live streaming character
CN113780770A (zh) * 2021-08-28 2021-12-10 杭州玉赋祥文化旅游产业发展有限公司 一种基于目的地文旅定制的景区数智化管理方法、装置、设备及介质
CN113902989A (zh) * 2021-09-30 2022-01-07 腾讯音乐娱乐科技（深圳）有限公司 直播场景检测方法、存储介质及电子设备
CN113971599A (zh) * 2021-10-26 2022-01-25 广州华多网络科技有限公司 广告投放选品方法及其装置、设备、介质、产品
CN114445136A (zh) * 2022-01-27 2022-05-06 智岛阳光信息科技(海南)有限公司 一种基于大数据采集的旅游营销系统
CN114466211A (zh) * 2022-01-30 2022-05-10 乐美客信息技术(深圳)有限公司 一种基于虚拟现实技术的直播交互方法及系统
CN114881741A (zh) * 2022-05-31 2022-08-09 江苏仙宝科技有限公司 一种基于虚拟现实直播场景的商品推荐系统
CN116227834A (zh) * 2022-12-28 2023-06-06 四川农业大学 一种基于三维点云模型的智能景区数字化平台
CN116132749A (zh) * 2023-02-06 2023-05-16 深圳市快美妆科技有限公司 一种和直播带货结合的广告营销方法
CN116542740A (zh) * 2023-05-08 2023-08-04 广州博冠信息科技有限公司 直播间商品推荐方法、装置、电子设备和可读存储介质
CN116668733A (zh) * 2023-05-16 2023-08-29 魔珐(上海)信息科技有限公司 虚拟主播直播系统及方法、相关装置
CN116823534A (zh) * 2023-08-30 2023-09-29 环球数科集团有限公司 一种基于多模态大模型的文旅行业智能服务虚拟人系统

Also Published As

Publication number Publication date
CN117135417B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
Li et al. R $^ 3$-net: A deep network for multi-oriented vehicle detection in aerial images and videos
EP3267368B1 (en) Machine learning image processing
US8577962B2 (en) Server apparatus, client apparatus, content recommendation method, and program
CN110084139B (zh) 一种基于多分支深度学习的车辆重识别方法
US20170278135A1 (en) Image recognition artificial intelligence system for ecommerce
CN112348640B (zh) 一种基于面部情感状态分析的在线购物系统及方法
CN111368815A (zh) 一种基于多部件自注意力机制的行人重识别方法
CN110807434A (zh) 一种基于人体解析粗细粒度结合的行人重识别系统及方法
EP2246807A1 (en) Information processing apparatus and method, and program
Frontoni et al. Customers’ activity recognition in intelligent retail environments
US10963700B2 (en) Character recognition
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
US20130243307A1 (en) Object identification in images or image sequences
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
US20220067421A1 (en) Image processing apparatus and method for style transformation
CN111209799B (zh) 基于部分共享网络和余弦间隔损失函数的行人搜索方法
CN104838420A (zh) 基于图像内容进行图像旋转以修正图像取向
JP6787831B2 (ja) 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
CN111967433A (zh) 一种基于自监督学习网络的动作识别办法
US11354351B2 (en) Contextually generated perceptions
CN113837144A (zh) 一种冰箱的智能化图像数据采集处理方法
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN117135417B (zh) 一种基于多模态大模型的景区智能营销及虚拟直播系统
Tahboub et al. An intelligent crowdsourcing system for forensic analysis of surveillance video
CN112422898A (zh) 一种引入深层次行为理解的视频浓缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant