CN112465596A - 一种基于电子商务直播的图像信息处理云计算平台 - Google Patents

一种基于电子商务直播的图像信息处理云计算平台 Download PDF

Info

Publication number
CN112465596A
CN112465596A CN202011388032.5A CN202011388032A CN112465596A CN 112465596 A CN112465596 A CN 112465596A CN 202011388032 A CN202011388032 A CN 202011388032A CN 112465596 A CN112465596 A CN 112465596A
Authority
CN
China
Prior art keywords
live broadcast
video segment
video
target image
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011388032.5A
Other languages
English (en)
Other versions
CN112465596B (zh
Inventor
贺维英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANXI ET WORLD NETWORK TECHNOLOGY Co.,Ltd.
Original Assignee
Nanjing Hanwei Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hanwei Information Technology Co ltd filed Critical Nanjing Hanwei Information Technology Co ltd
Priority to CN202011388032.5A priority Critical patent/CN112465596B/zh
Publication of CN112465596A publication Critical patent/CN112465596A/zh
Application granted granted Critical
Publication of CN112465596B publication Critical patent/CN112465596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0603Catalogue ordering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于电子商务直播的图像信息处理云计算平台,包括直播视频划分模块、视频段语音提取模块、视频段语义识别模块、视频段主题获取模块、视频段视频分解模块、语义模板库、目标图像筛选模块、分析云平台和图像存储数据库。本发明通过对直播视频时长进行划分,获取各视频段对应的直播主题及若干直播图像,进而从若干直播图像中筛选出与对应视频段直播主题相匹配的目标图像,由此将各视频段对应的直播主题进行相同直播主题的合并及各直播主题对应目标图像的排序,其排序结果为商品在电商平台详情页图像填充提供可靠的参考依据,该平台充分利用了直播视频中展示商品特征的图像,提高了直播视频的利用率。

Description

一种基于电子商务直播的图像信息处理云计算平台
技术领域
本发明属于视频直播图像处理技术领域,涉及到一种基于电子商务直播的图像信息处理云计算平台。
背景技术
随着互联网科技的发展及智能终端的普及,网络直播这种新兴的传播影响方式已逐渐被广泛接受。近些年,很多电商平台也开始尝试开发网络直播功能来吸引消费者,传统的电商模式,虽然也有效地利用了互联网的应用优势,但是还无法做到与用户的实时互动,无法及时地获取用户需求,也就不利于电商行业的稳定发展。而"电商+直播"的模式,就能在有限空间内实现较高的盈利额,确保给电商企业带来巨大的经济效益,但是目前商家进行视频直播的目的只是在直播过程中通过与用户的互动而在线销售产品,在直播完成之后,其直播的视频也就搁置一旁,没有进行深度挖掘,导致直播视频利用率低,为了解决这个问题,本发明提出一种基于电子商务直播的图像信息处理云计算平台,充分利用直播视频中展示商品特征的图像,进而进行图像处理,使处理后的图像可以供直播商品在电商平台详情页的图像填充。
发明内容
为实现上述目的,本发明提出的一种基于电子商务直播的图像信息处理云计算平台可以通过以下技术方案来实现:
一种基于电子商务直播的图像信息处理云计算平台,包括直播视频划分模块、视频段语音提取模块、视频段语义识别模块、视频段主题获取模块、视频段视频分解模块、语义模板库、目标图像筛选模块、分析云平台和图像存储数据库;
所述直播视频划分模块用于获取电子商务商家直播对应的整个视频时长,并将获取的整个视频时长按照设定的划分时间间隔划分为若干视频段,进而将划分的各视频段按照该视频段在整个视频所处的位置前后顺序进行编号,依次标记为1,2...i...n;
所述视频段语音提取模块用于对划分的各视频段提取直播语音信息,并将提取的各视频段的直播语音信息发送至视频段语义识别模块;
所述语义模板库用于存储各种语义模板;
所述视频段语义识别模块用于接收视频段语音提取模块发送的各视频段的直播语音信息,进而对接收的各视频段的直播语音信息进行语义识别,得到识别后的各视频段直播语音信息对应的文本信息,并发送至视频段主题获取模块,其具体语义识别过程包括以下几个步骤:
S1.语音信息预处理:将接收的各视频段的直播语音信息进行端点检测和去除噪声处理,得到各视频段增强的语音信息;
S2.语义模板解析:对得到的各视频段增强的语音信息进行语义特征提取,得到各视频段对应的语义特征,同时提取语义模板库中存储的各种语义模板,进而将得到的各视频段对应的语义特征分别在每种语义模板中进行解析,并统计各视频段对应的语义特征在每种语义模板中解析对应的解析相似度,筛选相似度最大的语义模板,当筛选的最大相似度大于设定的相似度阈值,则输出相似度最大的语义模板,从而得到各视频段对应的语义模板;
S3.语义文本识别:将得到的各视频段对应的语义模板根据该语义模块的定义,通过计算机查表识别获取各视频段直播语音信息对应的文本信息;
所述视频段主题获取模块用于接收视频段语义识别模块发送的各视频段直播语音信息对应的文本信息,并从接收的各视频段语音信息对应的文本信息中提取直播商品关键词,其提取的直播商品关键词作为各视频段对应的直播主题,进而将各视频段对应的直播主题分别发送至目标图像筛选模块和分析云平台;
所述视频段视频分解模块用于对划分的各视频段根据设置的视频帧数分解为若干直播图像,并统计各视频段分解的直播图像个数,进而对各视频段分解的各直播图像按照预设的顺序进行编号,分别标记为p1,p2...pj...pm,pj表示为第p个视频段对应的第j张图像,p表示为视频段编号,p=1,2...i...n,视频段视频分解模块将各视频段分解的各直播图像发送至目标图像筛选模块;
所述目标图像筛选模块接收视频段主题获取模块发送的各视频段对应的直播主题,并接收视频段视频分解模块发送的各视频段分解的各直播图像,进而对各视频段分解的各直播图像进行图像初步处理操作,得到处理后的各视频段对应的各高清直播图像,以此对各高清直播图像进行商品特征提取,若某高清直播图像中提取不到商品特征,则剔除该直播图像,保留能够提取到商品特征的高清直播图像,并将保留的各视频段对应各高清直播图像提取的商品特征与该视频段对应的直播主题进行匹配,若某视频段对应的某张高清直播图像与该视频段对应的直播主题匹配成功,则筛选该张高清直播图像,若某视频段对应的某张高清直播图像与该视频段对应的直播主题匹配失败,则放弃该张高清直播图像,由此筛选出各视频段对应的匹配成功的高清直播图像,其匹配成功的高清直播图像记为目标图像,此时统计各视频段对应的目标图像个数及各目标图像对应的编号,并统计各视频段对应各目标图像的匹配系数,以此将各视频段对应的各目标图像编号及各目标图像匹配系数构建各视频段目标图像集合,目标图像筛选模块将各视频段目标图像集合发送至分析云平台;
所述分析云平台接收视频段主题获取模块发送的各视频段对应的直播主题,接收目标图像筛选模块发送的各视频段目标图像集合,并将接收的各视频段对应的直播主题进行对比,分析是否存在相同的直播主题,若存在相同的主播主题,则统计相同直播主题个数和不同直播主题个数,进而统计各相同直播主题对应的视频段个数及各视频段编号,以此将各相同直播主题对应的各视频段进行合并,其合并方法为根据各相同直播主题对应的各视频段编号从视频段目标图像集合中筛选对应视频段编号的视频段目标图像集合,将各相同直播主题下的各视频段对应的视频段目标图像集合进行合并,得到各相同直播主题对应的综合视频段目标图像集合,此时获取各相同直播主题对应的综合视频段目标图像集合中各目标图像对应的匹配系数,进而将各相同直播主题对应的各目标图像按照匹配系数由大到小进行排序,得到各相同直播主题对应的目标图像排序结果,对于各不同直播主题,获取各不同直播主题对应的视频段编号,并从各视频段目标图像集合中筛选对应视频段编号的视频段目标图像集合,进而获取各不同直播主题对应的视频段目标图像集合中各目标图像对应的匹配系数,以此将各不同直播主题对应的各目标图像按照匹配系数由大到小进行排序,得到各不同直播主题对应的目标图像排序结果,分析云平台将得到的各相同直播主题对应的目标图像排序结果和各不同直播主题对应的目标图像排序结果发送至图像存储数据库;
所述图像存储数据库接收分析云平台发送的各相同直播主题对应的目标图像排序结果和各不同直播主题对应的目标图像排序结果,进行存储,供直播商品电商平台详情页图像填充。
更具体地,所述端点检测是指将接收的语音信息划分为目标语音信息和非目标语音信息,并保留目标语音信息,所述去除噪声处理是指去除环境噪声对目标语音信息的影响。
更具体地,所述S2中将得到的各视频段对应的语义特征分别在每种语义模板中进行解析,其解析的方法为按照视频段的编号顺序依次提取各视频段对应的语义特征,进而将提取的该视频段对应的语义特征分别在每种语义模板中进行解析,当解析完毕之后,提取下一个视频段对应的语义特征,按照上述同样的方进行语义模板解析,直至将最后一个视频段对应的语义特征解析完毕。
更具体地,所述直播商品关键词包括商品详情介绍关键词和商品使用关键词。
更具体地,所述视频段视频分解模块统计各视频段分解的直播图像个数,其具体统计方法执行以下步骤:
H1:获取各视频段对应的时长;
H2:将各视频段对应的时长除以设置的视频帧数,得到各视频段分解的直播图像个数。
更具体地,所述匹配成功是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题完全相同或部分相同,所述匹配失败是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题完全不相同。
更具体地,所述完全相同是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题文字表达完全相同,所述部分相同是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题文文字表达存在部分文字相同。
更具体地,所述各视频段对应各目标图像的匹配系数的具体统计方法包括以下两个步骤:
W1:若某目标图像对应的商品特征与该目标图像对应视频段的直播主题完全相同,则该目标图像与该目标图像对应视频段的直播主题完全匹配成功,该目标图像对应的匹配系数记为ε;
W2:若某目标图像对应的商品特征与该目标图像对应视频段的直播主题部分相同,则该目标图像与该目标图像对应视频段的直播主题部分匹配成功,此时统计相同文字部分的文字字数,进而将相同部分的文字字数除以该视频段的直播主题文字字数,得到该目标图像对应的匹配系数,记为δ。
更具体地,所述ε和δ对应的大小关系为ε>δ。
本发明的有益效果如下:
1.本发明通过对商家的直播视频进行划分,并获取划分的每个视频段对应的直播主题,同时对划分的每个视频段进行视频分解,得到各视频段对应的若干直播图像,进而从若干直播图像中筛选出与对应视频段直播主题相匹配的目标图像,构成视频段目标图像集合,与此同时结合分析云平台将各视频段对应的直播主题进行相同直播主题的合并及各直播主题对应目标图像的排序,以此得到各相同或不同直播主题对应的目标图像排序结果,该排序结果为商品在电商平台详情页图像填充提供可靠的参考依据,该平台实现了对电子商务视频直播图像的处理,充分利用了直播视频中展示商品特征的图像,提高了直播视频的利用率,避免了重新对商品进行图像拍摄造成的时间、成本浪费,提高商品上架效率。
2.本发明在筛选各视频段对应目标图像的同时,还计算各目标图像对应的匹配系数,其匹配系数的计算是通过各目标图像对应的商品特征与对应视频段的直播主题匹配成功的具体情况来计算,具有准确性高的特点,匹配系数越大,表明匹配程度越高,为后面进行目标图像排序提供高准确性的参考依据。
3.本发明通过对得到的各相同或不同直播主题对应的目标图像按照匹配系数的大小进行排序,得到各相同或不同直播主题对应的目标图像排序结果,其排序结果直观地反映了各目标图像与其直播主题的匹配状况,方便相关人员在进行该商品在电商平台详情页图像填充时进行适宜图像的筛选。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1为本发明的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1所示,一种基于电子商务直播的图像信息处理云计算平台,包括直播视频划分模块、视频段语音提取模块、视频段语义识别模块、视频段主题获取模块、视频段视频分解模块、语义模板库、目标图像筛选模块、分析云平台和图像存储数据库,其中直播视频划分模块分别与视频段语音提取模块和视频段视频分解模块连接,视频段语音提取模块与视频段语义识别模块连接,视频段语义识别模块与视频段主题获取模块连接,视频段主题获取模块与分析云平台和目标图像筛选模块连接,视频段视频分解模块与目标图像筛选模块连接,目标图像筛选模块与分析云平台连接,图像存储数据库与分析云平台连接。
直播视频划分模块用于获取电子商务商家直播对应的整个视频时长,并将获取的整个视频时长按照设定的划分时间间隔划分为若干视频段,进而将划分的各视频段按照该视频段在整个视频所处的位置前后顺序进行编号,依次标记为1,2...i...n;
本实施例通过将整个直播视频划分为若干视频段,为后面进行各视频段的直播主题获取及目标图像筛选提供铺垫。
视频段语音提取模块用于对划分的各视频段提取直播语音信息,并将提取的各视频段的直播语音信息发送至视频段语义识别模块;
语义模板库用于存储各种语义模板;
视频段语义识别模块用于接收视频段语音提取模块发送的各视频段的直播语音信息,进而对接收的各视频段的直播语音信息进行语义识别,得到识别后的各视频段直播语音信息对应的文本信息,并发送至视频段主题获取模块,其具体语义识别过程包括以下几个步骤:
S1.语音信息预处理:将接收的各视频段的直播语音信息进行端点检测和去除噪声处理,得到各视频段增强的语音信息,其中端点检测是指将接收的语音信息划分为目标语音信息和非目标语音信息,并保留目标语音信息,其保留的目标语音信息即为后面进行语义模板解析的语音信息,去除噪声处理是指去除环境噪声对目标语音信息的影响,得到增强的语音信息;
S2.语义模板解析:对得到的各视频段增强的语音信息进行语义特征提取,得到各视频段对应的语义特征,同时提取语义模板库中存储的各种语义模板,进而将得到的各视频段对应的语义特征分别在每种语义模板中进行解析,其解析的方法为按照视频段的编号顺序依次提取各视频段对应的语义特征,进而将提取的该视频段对应的语义特征分别在每种语义模板中进行解析,当解析完毕之后,提取下一个视频段对应的语义特征,按照上述同样的方进行语义模板解析,直至将最后一个视频段对应的语义特征解析完毕,并统计各视频段对应的语义特征在每种语义模板中解析对应的解析相似度,筛选相似度最大的语义模板,当筛选的最大相似度大于设定的相似度阈值,则输出相似度最大的语义模板,从而得到各视频段对应的语义模板;
S3.语义文本识别:将得到的各视频段对应的语义模板根据该语义模块的定义,通过计算机查表识别获取各视频段直播语音信息对应的文本信息。
本实施例通过将划分的各视频段提取的语音信息识别成文本信息,便于后续通过识别的文本信息进行视频段主题获取。
视频段主题获取模块用于接收视频段语义识别模块发送的各视频段直播语音信息对应的文本信息,并从接收的各视频段语音信息对应的文本信息中提取直播商品关键词,所述直播商品关键词包括商品详情介绍关键词和商品使用关键词,其中商品详情介绍关键词包括商品的整体外形关键词和局部构造外形关键词,外形关键词包括颜色、形状、大小等,还包括从哪个方位得到的外形关键词,其中的方位比如商品正面、侧面、反面等,商品使用关键词包括商品如何使用、在什么情况下使用、使用步骤、使用效果等,其提取的直播商品关键词作为各视频段对应的直播主题,进而将各视频段对应的直播主题分别发送至目标图像筛选模块和分析云平台。
视频段视频分解模块用于对划分的各视频段根据设置的视频帧数分解为若干直播图像,并统计各视频段分解的直播图像个数,其具体统计方法执行以下步骤:
H1:获取各视频段对应的时长;
H2:将各视频段对应的时长除以设置的视频帧数,得到各视频段分解的直播图像个数,进而对各视频段分解的各直播图像按照预设的顺序进行编号,分别标记为p1,p2...pj...pm,pj表示为第p个视频段对应的第j张图像,p表示为视频段编号,p=1,2...i...n,视频段视频分解模块将各视频段分解的各直播图像发送至目标图像筛选模块。
目标图像筛选模块接收视频段主题获取模块发送的各视频段对应的直播主题,并接收视频段视频分解模块发送的各视频段分解的各直播图像,进而对各视频段分解的各直播图像进行图像初步处理操作,其图像初步处理包括图像增强、高清滤波、噪声去除等,得到处理后的各视频段对应的各高清直播图像,以此对各高清直播图像进行商品特征提取,其提取的商品特征包括商品详情介绍特征和商品使用特征,若某高清直播图像中提取不到商品特征,则剔除该直播图像,保留能够提取到商品特征的高清直播图像,并将保留的各视频段对应各高清直播图像提取的商品特征与该视频段对应的直播主题进行匹配,若某视频段对应的某张高清直播图像与该视频段对应的直播主题匹配成功,其中匹配成功是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题完全相同或部分相同,所述完全相同是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题文字表达完全相同,所述部分相同是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题文文字表达存在部分文字相同,则筛选该张高清直播图像,若某视频段对应的某张高清直播图像与该视频段对应的直播主题匹配失败,其中匹配失败是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题完全不相同,则放弃该张高清直播图像,由此筛选出各视频段对应的匹配成功的高清直播图像,其匹配成功的高清直播图像记为目标图像,此时统计各视频段对应的目标图像个数及各目标图像对应的编号,并统计各视频段对应各目标图像的匹配系数,其匹配系数的具体统计方法包括以下两个步骤:
W1:若某目标图像对应的商品特征与该目标图像对应视频段的直播主题完全相同,则该目标图像与该目标图像对应视频段的直播主题完全匹配成功,该目标图像对应的匹配系数记为ε;
W2:若某目标图像对应的商品特征与该目标图像对应视频段的直播主题部分相同,则该目标图像与该目标图像对应视频段的直播主题部分匹配成功,此时统计相同文字部分的文字字数,进而将相同部分的文字字数除以该视频段的直播主题文字字数,得到该目标图像对应的匹配系数,记为δ,其中ε和δ对应的大小关系为ε>δ。
以此将各视频段对应的各目标图像编号及各目标图像匹配系数构建各视频段目标图像集合,目标图像筛选模块将各视频段目标图像集合发送至分析云平台;
本实施例在筛选各视频段对应目标图像的同时,还计算各目标图像对应的匹配系数,其匹配系数的计算是通过各目标图像对应的商品特征与对应视频段的直播主题匹配成功的具体情况来计算,其具体情况包括完全匹配成功和部分匹配成功,这种匹配系数的计算具有准确性高的特点,匹配系数越大,表明匹配程度越高,为后面进行目标图像排序提供高准确性的参考依据。
分析云平台接收视频段主题获取模块发送的各视频段对应的直播主题,接收目标图像筛选模块发送的各视频段目标图像集合,并将接收的各视频段对应的直播主题进行对比,分析是否存在相同的直播主题,若存在相同的主播主题,则统计相同直播主题个数和不同直播主题个数,进而统计各相同直播主题对应的视频段个数及各视频段编号,以此将各相同直播主题对应的各视频段进行合并,其合并方法为根据各相同直播主题对应的各视频段编号从视频段目标图像集合中筛选对应视频段编号的视频段目标图像集合,将各相同直播主题下的各视频段对应的视频段目标图像集合进行合并,得到各相同直播主题对应的综合视频段目标图像集合,此时获取各相同直播主题对应的综合视频段目标图像集合中各目标图像对应的匹配系数,进而将各相同直播主题对应的各目标图像按照匹配系数由大到小进行排序,得到各相同直播主题对应的目标图像排序结果,对于各不同直播主题,获取各不同直播主题对应的视频段编号,并从各视频段目标图像集合中筛选对应视频段编号的视频段目标图像集合,进而获取各不同直播主题对应的视频段目标图像集合中各目标图像对应的匹配系数,以此将各不同直播主题对应的各目标图像按照匹配系数由大到小进行排序,得到各不同直播主题对应的目标图像排序结果,分析云平台将得到的各相同直播主题对应的目标图像排序结果和各不同直播主题对应的目标图像排序结果发送至图像存储数据库。
本实施例对得到的各相同或不同直播主题对应的目标图像按照匹配系数的大小进行排序,得到各相同或不同直播主题对应的目标图像排序结果,其排序结果直观地反映了各目标图像与其直播主题的匹配状况,方便相关人员在进行该商品在电商平台详情页图像填充时进行适宜图像的筛选。
图像存储数据库接收分析云平台发送的各相同直播主题对应的目标图像排序结果和各不同直播主题对应的目标图像排序结果,进行存储,供直播商品电商平台详情页图像填充,实现了对电子商务视频直播图像的处理,充分利用了直播视频中展示商品的图像,提高了直播视频的利用率,同时也为商品在电商平台详情页图像填充提供可靠的参考依据,避免了重新对商品进行图像拍摄造成的时间、成本浪费,提高商品上架效率。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

Claims (9)

1.一种基于电子商务直播的图像信息处理云计算平台,其特征在于:包括直播视频划分模块、视频段语音提取模块、视频段语义识别模块、视频段主题获取模块、视频段视频分解模块、语义模板库、目标图像筛选模块、分析云平台和图像存储数据库;
所述直播视频划分模块用于获取电子商务商家直播对应的整个视频时长,并将获取的整个视频时长按照设定的划分时间间隔划分为若干视频段,进而将划分的各视频段按照该视频段在整个视频所处的位置前后顺序进行编号,依次标记为1,2...i...n;
所述视频段语音提取模块用于对划分的各视频段提取直播语音信息,并将提取的各视频段的直播语音信息发送至视频段语义识别模块;
所述语义模板库用于存储各种语义模板;
所述视频段语义识别模块用于接收视频段语音提取模块发送的各视频段的直播语音信息,进而对接收的各视频段的直播语音信息进行语义识别,得到识别后的各视频段直播语音信息对应的文本信息,并发送至视频段主题获取模块,其具体语义识别过程包括以下几个步骤:
S1.语音信息预处理:将接收的各视频段的直播语音信息进行端点检测和去除噪声处理,得到各视频段增强的语音信息;
S2.语义模板解析:对得到的各视频段增强的语音信息进行语义特征提取,得到各视频段对应的语义特征,同时提取语义模板库中存储的各种语义模板,进而将得到的各视频段对应的语义特征分别在每种语义模板中进行解析,并统计各视频段对应的语义特征在每种语义模板中解析对应的解析相似度,筛选相似度最大的语义模板,当筛选的最大相似度大于设定的相似度阈值,则输出相似度最大的语义模板,从而得到各视频段对应的语义模板;
S3.语义文本识别:将得到的各视频段对应的语义模板根据该语义模块的定义,通过计算机查表识别获取各视频段直播语音信息对应的文本信息;
所述视频段主题获取模块用于接收视频段语义识别模块发送的各视频段直播语音信息对应的文本信息,并从接收的各视频段语音信息对应的文本信息中提取直播商品关键词,其提取的直播商品关键词作为各视频段对应的直播主题,进而将各视频段对应的直播主题分别发送至目标图像筛选模块和分析云平台;
所述视频段视频分解模块用于对划分的各视频段根据设置的视频帧数分解为若干直播图像,并统计各视频段分解的直播图像个数,进而对各视频段分解的各直播图像按照预设的顺序进行编号,分别标记为p1,p2...pj...pm,pj表示为第p个视频段对应的第j张图像,p表示为视频段编号,p=1,2...i...n,视频段视频分解模块将各视频段分解的各直播图像发送至目标图像筛选模块;
所述目标图像筛选模块接收视频段主题获取模块发送的各视频段对应的直播主题,并接收视频段视频分解模块发送的各视频段分解的各直播图像,进而对各视频段分解的各直播图像进行图像初步处理操作,得到处理后的各视频段对应的各高清直播图像,以此对各高清直播图像进行商品特征提取,若某高清直播图像中提取不到商品特征,则剔除该直播图像,保留能够提取到商品特征的高清直播图像,并将保留的各视频段对应各高清直播图像提取的商品特征与该视频段对应的直播主题进行匹配,若某视频段对应的某张高清直播图像与该视频段对应的直播主题匹配成功,则筛选该张高清直播图像,若某视频段对应的某张高清直播图像与该视频段对应的直播主题匹配失败,则放弃该张高清直播图像,由此筛选出各视频段对应的匹配成功的高清直播图像,其匹配成功的高清直播图像记为目标图像,此时统计各视频段对应的目标图像个数及各目标图像对应的编号,并统计各视频段对应各目标图像的匹配系数,以此将各视频段对应的各目标图像编号及各目标图像匹配系数构建各视频段目标图像集合,目标图像筛选模块将各视频段目标图像集合发送至分析云平台;
所述分析云平台接收视频段主题获取模块发送的各视频段对应的直播主题,接收目标图像筛选模块发送的各视频段目标图像集合,并将接收的各视频段对应的直播主题进行对比,分析是否存在相同的直播主题,若存在相同的主播主题,则统计相同直播主题个数和不同直播主题个数,进而统计各相同直播主题对应的视频段个数及各视频段编号,以此将各相同直播主题对应的各视频段进行合并,其合并方法为根据各相同直播主题对应的各视频段编号从视频段目标图像集合中筛选对应视频段编号的视频段目标图像集合,将各相同直播主题下的各视频段对应的视频段目标图像集合进行合并,得到各相同直播主题对应的综合视频段目标图像集合,此时获取各相同直播主题对应的综合视频段目标图像集合中各目标图像对应的匹配系数,进而将各相同直播主题对应的各目标图像按照匹配系数由大到小进行排序,得到各相同直播主题对应的目标图像排序结果,对于各不同直播主题,获取各不同直播主题对应的视频段编号,并从各视频段目标图像集合中筛选对应视频段编号的视频段目标图像集合,进而获取各不同直播主题对应的视频段目标图像集合中各目标图像对应的匹配系数,以此将各不同直播主题对应的各目标图像按照匹配系数由大到小进行排序,得到各不同直播主题对应的目标图像排序结果,分析云平台将得到的各相同直播主题对应的目标图像排序结果和各不同直播主题对应的目标图像排序结果发送至图像存储数据库;
所述图像存储数据库接收分析云平台发送的各相同直播主题对应的目标图像排序结果和各不同直播主题对应的目标图像排序结果,进行存储,供直播商品电商平台详情页图像填充。
2.根据权利要求1所述的一种基于电子商务直播的图像信息处理云计算平台,其特征在于:所述端点检测是指将接收的语音信息划分为目标语音信息和非目标语音信息,并保留目标语音信息,所述去除噪声处理是指去除环境噪声对目标语音信息的影响。
3.根据权利要求1所述的一种基于电子商务直播的图像信息处理云计算平台,其特征在于:所述S2中将得到的各视频段对应的语义特征分别在每种语义模板中进行解析,其解析的方法为按照视频段的编号顺序依次提取各视频段对应的语义特征,进而将提取的该视频段对应的语义特征分别在每种语义模板中进行解析,当解析完毕之后,提取下一个视频段对应的语义特征,按照上述同样的方进行语义模板解析,直至将最后一个视频段对应的语义特征解析完毕。
4.根据权利要求1所述的一种基于电子商务直播的图像信息处理云计算平台,其特征在于:所述直播商品关键词包括商品详情介绍关键词和商品使用关键词。
5.根据权利要求1所述的一种基于电子商务直播的图像信息处理云计算平台,其特征在于:所述视频段视频分解模块统计各视频段分解的直播图像个数,其具体统计方法执行以下步骤:
H1:获取各视频段对应的时长;
H2:将各视频段对应的时长除以设置的视频帧数,得到各视频段分解的直播图像个数。
6.根据权利要求1所述的一种基于电子商务直播的图像信息处理云计算平台,其特征在于:所述匹配成功是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题完全相同或部分相同,所述匹配失败是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题完全不相同。
7.根据权利要求6所述的一种基于电子商务直播的图像信息处理云计算平台,其特征在于:所述完全相同是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题文字表达完全相同,所述部分相同是指某视频段对应的某张高清直播图像提取的商品特征与该视频段对应的直播主题文文字表达存在部分文字相同。
8.根据权利要求1所述的一种基于电子商务直播的图像信息处理云计算平台,其特征在于:所述各视频段对应各目标图像的匹配系数的具体统计方法包括以下两个步骤:
W1:若某目标图像对应的商品特征与该目标图像对应视频段的直播主题完全相同,则该目标图像与该目标图像对应视频段的直播主题完全匹配成功,该目标图像对应的匹配系数记为ε;
W2:若某目标图像对应的商品特征与该目标图像对应视频段的直播主题部分相同,则该目标图像与该目标图像对应视频段的直播主题部分匹配成功,此时统计相同文字部分的文字字数,进而将相同部分的文字字数除以该视频段的直播主题文字字数,得到该目标图像对应的匹配系数,记为δ。
9.根据权利要求8所述的一种基于电子商务直播的图像信息处理云计算平台,其特征在于:所述ε和δ对应的大小关系为ε>δ。
CN202011388032.5A 2020-12-01 2020-12-01 一种基于电子商务直播的图像信息处理云计算平台 Active CN112465596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011388032.5A CN112465596B (zh) 2020-12-01 2020-12-01 一种基于电子商务直播的图像信息处理云计算平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011388032.5A CN112465596B (zh) 2020-12-01 2020-12-01 一种基于电子商务直播的图像信息处理云计算平台

Publications (2)

Publication Number Publication Date
CN112465596A true CN112465596A (zh) 2021-03-09
CN112465596B CN112465596B (zh) 2021-07-23

Family

ID=74805715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011388032.5A Active CN112465596B (zh) 2020-12-01 2020-12-01 一种基于电子商务直播的图像信息处理云计算平台

Country Status (1)

Country Link
CN (1) CN112465596B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782879A (zh) * 2022-06-20 2022-07-22 腾讯科技(深圳)有限公司 视频识别方法、装置、计算机设备和存储介质
CN115065866A (zh) * 2022-06-29 2022-09-16 北京达佳互联信息技术有限公司 一种视频生成方法、装置、设备及存储介质
CN115174951A (zh) * 2022-07-02 2022-10-11 武汉庆实广告传媒有限公司 一种基于多维度特征抓取的无人直播在线分析管理系统
CN117478838A (zh) * 2023-11-01 2024-01-30 珠海经济特区伟思有限公司 一种基于信息安全的分布式视频处理监管系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376147A (zh) * 2018-01-24 2018-08-07 北京览科技有限公司 一种用于获得视频的评价结果信息的方法和装置
CN109104639A (zh) * 2017-06-20 2018-12-28 阿里巴巴集团控股有限公司 直播系统、确定直播视频主题的方法、装置以及电子设备
CN111754302A (zh) * 2020-06-24 2020-10-09 詹晨 一种基于大数据的视频直播界面商品展示智能管理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104639A (zh) * 2017-06-20 2018-12-28 阿里巴巴集团控股有限公司 直播系统、确定直播视频主题的方法、装置以及电子设备
CN108376147A (zh) * 2018-01-24 2018-08-07 北京览科技有限公司 一种用于获得视频的评价结果信息的方法和装置
CN111754302A (zh) * 2020-06-24 2020-10-09 詹晨 一种基于大数据的视频直播界面商品展示智能管理系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782879A (zh) * 2022-06-20 2022-07-22 腾讯科技(深圳)有限公司 视频识别方法、装置、计算机设备和存储介质
CN114782879B (zh) * 2022-06-20 2022-08-23 腾讯科技(深圳)有限公司 视频识别方法、装置、计算机设备和存储介质
CN115065866A (zh) * 2022-06-29 2022-09-16 北京达佳互联信息技术有限公司 一种视频生成方法、装置、设备及存储介质
CN115065866B (zh) * 2022-06-29 2023-09-26 北京达佳互联信息技术有限公司 一种视频生成方法、装置、设备及存储介质
CN115174951A (zh) * 2022-07-02 2022-10-11 武汉庆实广告传媒有限公司 一种基于多维度特征抓取的无人直播在线分析管理系统
CN117478838A (zh) * 2023-11-01 2024-01-30 珠海经济特区伟思有限公司 一种基于信息安全的分布式视频处理监管系统及方法
CN117478838B (zh) * 2023-11-01 2024-05-28 珠海经济特区伟思有限公司 一种基于信息安全的分布式视频处理监管系统及方法

Also Published As

Publication number Publication date
CN112465596B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN112465596B (zh) 一种基于电子商务直播的图像信息处理云计算平台
CN109189901B (zh) 一种智能客服系统中自动发现新分类以及对应语料的方法
CN108664996B (zh) 一种基于深度学习的古文字识别方法及系统
CN110147726B (zh) 业务质检方法和装置、存储介质及电子装置
CN110704682B (zh) 一种基于视频多维特征智能推荐背景音乐的方法及系统
CN110619568A (zh) 风险评估报告的生成方法、装置、设备及存储介质
CN109117777A (zh) 生成信息的方法和装置
CN111754302B (zh) 一种基于大数据的视频直播界面商品展示智能管理系统
CN105678612A (zh) 移动端原始凭证电子化智能填单系统及方法
CN110263215A (zh) 一种视频情感定位方法及系统
CN105023025B (zh) 一种开集痕迹图像分类方法及系统
CN111125457A (zh) 一种深度跨模态哈希检索方法及装置
CN110543475A (zh) 一种基于机器学习的财务报表数据自动识别和分析方法
CN114092742A (zh) 一种基于多角度的小样本图像分类装置和方法
CN116562270A (zh) 一种支持多模态输入的自然语言处理系统及其方法
CN111488813A (zh) 视频的情感标注方法、装置、电子设备及存储介质
CN111310014A (zh) 基于深度学习的景区舆情监控系统、方法、装置和存储介质
CN118132820A (zh) 一种多模态视频内容分析方法及分析系统
CN111488501A (zh) 一种基于云平台的电商统计系统
CN108073567A (zh) 一种特征词提取处理方法、系统及服务器
CN110413985B (zh) 一种相关文本片段搜索方法及装置
CN113553947B (zh) 生成描述多模态行人重识别方法、装置及电子设备
CN116010545A (zh) 一种数据处理方法、装置及设备
JP2002251590A (ja) 文書分析装置
CN111242307A (zh) 基于深度学习的裁判结果获取方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210707

Address after: 030000 12 / F, 13 / F, 16 / F, block a, e-commerce Industrial Park, No.8, e-commerce street, Xuefu Park, Taiyuan City, Shanxi Province

Applicant after: SHANXI ET WORLD NETWORK TECHNOLOGY Co.,Ltd.

Address before: Wangu mobile Internet technology park, No.16, Xiaoxing Road, Yuhuatai District, Nanjing City, Jiangsu Province, 210012

Applicant before: Nanjing Hanwei Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant