CN108337531A - 视频特征信息的可视化方法、装置、服务器及系统 - Google Patents

视频特征信息的可视化方法、装置、服务器及系统 Download PDF

Info

Publication number
CN108337531A
CN108337531A CN201711447542.3A CN201711447542A CN108337531A CN 108337531 A CN108337531 A CN 108337531A CN 201711447542 A CN201711447542 A CN 201711447542A CN 108337531 A CN108337531 A CN 108337531A
Authority
CN
China
Prior art keywords
information
video
video feature
feature information
language message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711447542.3A
Other languages
English (en)
Inventor
李鹏
王斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUYUN INTERACTIVE TECHNOLOGY Ltd
Original Assignee
KUYUN INTERACTIVE TECHNOLOGY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUYUN INTERACTIVE TECHNOLOGY Ltd filed Critical KUYUN INTERACTIVE TECHNOLOGY Ltd
Priority to CN201711447542.3A priority Critical patent/CN108337531A/zh
Publication of CN108337531A publication Critical patent/CN108337531A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种视频特征信息的可视化方法、装置、服务器及系统。该视频特征信息的可视化方法包括：获取视频节目中的视频信息；根据所述视频信息生成视频特征信息；对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对所述视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。本发明所提供的视频特征信息的可视化方法、装置、服务器及系统，实现了视频特征信息的可视化，提高了用户观看视频的体验度。

Description

视频特征信息的可视化方法、装置、服务器及系统
技术领域
本发明涉及视频信息处理技术领域，特别涉及一种视频特征信息的可视化方法、装置、服务器及系统。
背景技术
随着各种视频终端设备及各种电视节目的发展，现如今的电视节目和视频各式各样，种类繁多，人们通常可以通过各种视频终端设备(例如，电视机、电脑、平板、手机等)观看到各种电视节目和视频。
现有技术中，用户在观看电视节目等视频时，仅能直观地观看到视频中的内容，视频与用户之间的交互方式较为单调，使得用户观看视频的体验度降低。
发明内容
本发明提供一种视频特征信息的可视化方法、装置、服务器及系统，用于可视化视频特征信息，提高用户观看视频的体验度。
为实现上述目的，本发明提供一种视频特征信息的可视化方法，该视频特征信息的可视化方法包括：
获取视频节目中的视频信息；
根据所述视频信息生成视频特征信息；
对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对所述视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
可选地，所述视频信息包括图像信息，所述视频特征信息包括人物表情信息；所述根据所述视频信息生成视频特征信息包括：
对所述图像信息进行人脸识别，生成人脸图像信息；
对所述人脸图像信息进行表情识别，生成所述人物表情信息。
可选地，所述对人脸图像信息进行表情识别，生成所述人物表情信息包括：
根据所述人脸图像信息生成人物嘴部图像信息和人物眼部图像信息；
根据所述人物嘴部图像信息和所述人物眼部图像信息生成所述人物表情信息。
可选地，所述视频特征信息包括声音信息；所述对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息包括：
通过脉冲编码调制对所述声音信息进行数字化处理，生成声音信息对应的数字信息。
可选地，所述视频特征信息包括语言信息；所述对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息包括：
根据语言信息生成关键词，所述关键词为所述语言信息对应的数字信息；或者，对所述语言信息进行语义分析，生成语言信息对应的情感值，所述情感值为所述语言信息对应的数字信息。
为实现上述目的，本发明提供一种视频特征信息的可视化装置，该视频特征信息的可视化装置包括：
获取模块，用于获取视频节目中的视频信息；
生成模块，用于根据所述视频信息生成视频特征信息；
数字化处理模块，用于对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对所述视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
可选地，所述视频信息包括图像信息，所述视频特征信息包括人物表情信息；
所述生成模块具体用于对所述图像信息进行人脸识别，生成人脸图像信息；对所述人脸图像信息进行表情识别，生成所述人物表情信息。
可选地，所述视频特征信息包括声音信息；
所述数字化处理模块具体用于通过脉冲编码调制对所述声音信息进行数字化处理，生成声音信息对应的数字信息。
可选地，所述视频特征信息包括语言信息；
所述数字化处理模块具体用于根据语言信息生成关键词，所述关键词为所述语言信息对应的数字信息；或者，所述数字化处理模块具体用于对所述语言信息进行语义分析，生成语言信息对应的情感值，所述情感值为所述语言信息对应的数字信息。
为实现上述目的，本发明提供一种服务器，该服务器包括上述的视频特征信息的可视化装置。
为实现上述目的，本发明提供一种视频特征信息的可视化系统，该视频特征信息的可视化系统包括服务器和终端设备；
所述服务器用于获取视频节目中的视频信息；根据所述视频信息生成视频特征信息；对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息；
所述终端设备用于对所述视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
可选地，所述视频信息包括图像信息，所述视频特征信息包括人物表情信息；
所述服务器具体用于对所述图像信息进行人脸识别，生成人脸图像信息；对所述人脸图像信息进行表情识别，生成所述人物表情信息。
可选地，所述服务器具体用于根据所述人脸图像信息生成人物嘴部图像信息和人物眼部图像信息；根据所述人物嘴部图像信息和所述人物眼部图像信息生成所述人物表情信息。
可选地，所述终端设备具体用于对所述人物表情信息对应的数字信息进行图形化处理，生成所述人物表情信息对应的图形信息。
可选地，所述视频特征信息包括声音信息；
所述服务器具体用于通过脉冲编码调制对所述声音信息进行数字化处理，生成声音信息对应的数字信息。
可选地，所述视频特征信息包括语言信息；
所述服务器具体用于根据语言信息生成关键词，所述关键词为所述语言信息对应的数字信息；或者，所述服务器具体用于对所述语言信息进行语义分析，生成语言信息对应的情感值，所述情感值为所述语言信息对应的数字信息。
可选地，所述终端设备具体用于对所述关键词进行图形化处理，生成语言信息对应的图形信息；或者，所述终端设备具体用于对所述情感值进行图形化处理，生成语言信息对应的图形信息。
本发明的有益效果：
本发明所提供的视频特征信息的可视化方法、装置、服务器及系统的技术方案中，对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息，实现了视频特征信息的可视化，以图形信息的方式向用户展示视频内容，提供了更具有表现力的视频节目和用户之间的交互方式，提高了用户观看视频的体验度。
附图说明
图1为本发明实施例一提供的一种视频特征信息的可视化方法的流程图；
图2为本发明实施例二提供的一种视频特征信息的可视化方法的流程图；
图3为本发明实施例三提供的一种视频特征信息的可视化装置的结构示意图；
图4为本发明实施例五提供的一种视频特征信息的可视化系统的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的视频特征信息的可视化方法、装置、服务器及系统进行详细描述。
图1为本发明实施例一提供的一种视频特征信息的可视化方法的流程图，如图1所示，该视频特征信息的可视化方法包括：
步骤101、获取视频节目中的视频信息。
步骤102、根据视频信息生成视频特征信息。
步骤103、对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
本实施例所提供的视频特征信息的可视化方法的技术方案中，对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息，实现了视频特征信息的可视化，以图形信息的方式向用户展示视频内容，提供了更具有表现力的视频节目和用户之间的交互方式，提高了用户观看视频的体验度。
图2为本发明实施例二提供的一种视频特征信息的可视化方法的流程图，如图2所示，该视频特征信息的可视化方法包括：
步骤201、服务器获取视频节目中的视频信息。
步骤202、服务器根据视频信息生成视频特征信息。
本实施例中，优选地，视频信息包括图像信息、音频信息或者字幕信息。视频信息还可以包括视频节目的内容的其他信息，此处不再一一列举。
可选地，若视频信息包括图像信息时，视频特征信息包括人物表情信息，步骤202包括：
步骤2021、服务器对图像信息进行人脸识别，生成人脸图像信息。
步骤2022、服务器对人脸图像信息进行表情识别，生成人物表情信息。
具体地，步骤2022包括：
步骤2022a、服务器根据人脸图像信息生成人物嘴部图像信息和人物眼部图像信息。
步骤2022b、服务器根据人物嘴部图像信息和人物眼部图像信息生成人物表情信息。
可选地，若视频信息包括音频信息时，视频特征信息包括声音信息，步骤202包括：服务器根据音频信息生成声音信息。
可选地，若视频信息包括音频信息和/或字幕信息时，视频特征信息包括语言信息，步骤202包括：服务器根据音频信息和/或字幕信息生成语言信息。
本实施例中，视频特征信息还可以包括视频信息中的其他信息，此处不再一一列举。
步骤203、服务器对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息。
可选地，若视频特征信息包括人物表情信息时，步骤203包括：服务器对人物表情信息进行数字化处理，生成人物表情信息对应的数字信息。
具体地，服务器对人物表情信息进行数字化处理，生成人物表情信息对应的数字信息包括：
步骤2031、服务器对人物表情信息进行图像预处理，图像预处理包括人脸特征的定位、人脸区域几何归一化以及灰度归一化。
具体地，人脸特征的定位是以人物表情信息中的人脸中的2个眼球的中心位置作为人脸特征点，采用将灰度谷点搜索、方向投影以及眼球对称性相结合的方法进行定位。
人脸区域几何归一化是根据人脸特征点，将人物表情信息中人脸变换到同一位置和同样大小。例如，将人物表情信息中人脸中2个眼球的中心位置的连线保持水平，2个眼球的中心位置的距离相等。
灰度归一化是指对人物表情信息进行光照补偿等处理，在一定程度上减少光照变化的影响，以提高人物表情信息的识别率。
步骤2032、服务器采用多个在不同尺度和方向上的Gabor滤波器组成的Gabor滤波器组对经图像预处理后的人物表情信息进行Gabor特征的提取，并将Gabor特征组合成人物表情信息的多维特征向量。
本实施例中，Gabor滤波器组包含5个尺度和8个方向。具体地，在人物表情信息上规则分布8行6列的采样点，在采样点上提取各个滤波器输出的值，即为Gabor特征，根据各个滤波器输出的值生成人物表情信息的多维特征向量。其中，Gabor特征用于表征人物表情变化。
步骤2033、服务器根据Adaboost算法对人物表情信息的多维特征向量进行特征筛选，以降低特征向量的维数，筛选出所需的特征向量，该特征向量即为人物表情信息对应的数字信息。
可选地，若视频特征信息包括声音信息时，步骤203包括：服务器对声音信息进行数字化处理，生成声音信息对应的数字信息。
具体地，服务器通过脉冲编码调制(Pulse Code Modulation，简称：PCM)对所述声音信息进行数字化处理，生成声音信息对应的数字信息。声音信息对应的数字信息可以是声音信息的振幅，还可以是声音信息的其他特征，本实施例对此不作任何限定。
可选地，若视频特征信息包括语言信息时，步骤203包括：服务器对语言信息进行数字化处理，生成语言信息对应的数字信息。
具体地，服务器根据语言信息生成关键词，关键词为语言信息对应的数字信息；或者，服务器对语言信息进行语义分析，生成语言信息对应的情感值，情感值为语言信息对应的数字信息；或者，若视频特征信息还包括人物表情信息时，服务器结合人物表情信息，对语言信息进行语义分析，生成语言信息对应的人物情绪值，人物情绪值为语言信息对应的数字信息。
步骤204、终端设备对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
具体地，终端设备根据视频的播放时间和视频特征信息对应的数字信息建立图形化坐标系，将视频的播放时间和对应的视频特征信息对应的数字信息绘制在图形化坐标系上，生成视频特征信息对应的图形信息。其中，图形化坐标系可以是二维坐标系，也可以是多维坐标系，优选地，坐标系的维数与视频特征信息对应的数字信息的维数相关。可选地，坐标系的维数还可以与通过数学方法进行处理后的数字信息的维数相关，例如，假设当前数字信息为一维数据，通过合并后，形成多维数字信息，那么坐标系的维数与多维数字信息的维数相同。
可选地，若视频特征信息包括人物表情信息时，步骤204包括：终端设备对人物表情信息对应的数字信息进行图形化处理，生成人物表情信息对应的图形信息。
具体地，终端设备根据视频的播放时间和人物表情信息对应的数字信息建立图形化坐标系，将视频的播放时间和对应的人物表情信息对应的数字信息绘制在图形化坐标系上，生成人物表情信息对应的图形信息。
可选地，若视频特征信息包括声音信息时，步骤204包括：终端设备对声音信息对应的数字信息进行图形化处理，生成声音信息对应的图形信息。
具体地，终端设备根据视频的播放时间和声音信息对应的数字信息建立图形化坐标系，将视频的播放时间和对应的声音信息对应的数字信息绘制在图形化坐标系上，生成声音信息对应的图形信息。
可选地，若视频特征信息包括语言信息时，步骤204包括：终端设备对关键词进行图形化处理，生成语言信息对应的图形信息；或者，终端设备对情感值进行图形化处理，生成语言信息对应的图形信息；或者，终端设备对人物情绪值进行图形化处理，生成语言信息对应的图形信息。
具体地，终端设备根据视频的播放时间和对应的关键词，生成关键词对应的图形信息，例如，假设关键词为老虎，那么关键词对应的图形信息为老虎的形状；或者，终端设备根据视频的播放时间和语言信息对应的情感值建立图形化坐标系，将视频的播放时间和对应的语言信息对应的情感值绘制在图形化坐标系上，生成语言信息对应的图形信息；或者，终端设备根据视频的播放时间和语言信息对应的人物情绪值建立图形化坐标系，将视频的播放时间和对应的语言信息对应的人物情绪值绘制在图形化坐标系上，生成语言信息对应的图形信息。
步骤205、终端设备对图形信息进行展示。
本实施例中，图形信息的展示是和视频节目的播放同步进行，图形信息可以在视频节目的内容的四周进行展示，也可以单独进行展示，本实施例对于图形信息的展示位置不作任何限制。
本实施例中，终端设备为视频终端设备，例如，智能电视机、电脑、笔记本、平板电脑、智能手机等。
本实施例所提供的视频特征信息的可视化方法的技术方案中，对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息，实现了视频特征信息的可视化，以图形信息的方式向用户展示视频内容，提供了更具有表现力的视频节目和用户之间的交互方式，提高了用户观看视频的体验度。
图3为本发明实施例三提供的一种视频特征信息的可视化装置的结构示意图，如图3所示，该视频特征信息的可视化装置包括获取模块301、生成模块302、数字化处理模块303。
其中，获取模块301用于获取视频节目中的视频信息。生成模块302用于根据视频信息生成视频特征信息。数字化处理模块303用于对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
可选地，视频信息包括图像信息，视频特征信息包括人物表情信息。生成模块302具体用于对图像信息进行人脸识别，生成人脸图像信息；对人脸图像信息进行表情识别，生成人物表情信息。
可选地，视频特征信息包括声音信息。数字化处理模块303具体用于通过脉冲编码调制对声音信息进行数字化处理，生成声音信息对应的数字信息。
可选地，视频特征信息包括语言信息。数字化处理模块303具体用于根据语言信息生成关键词，关键词为所述语言信息对应的数字信息；或者，数字化处理模块303具体用于对语言信息进行语义分析，生成语言信息对应的情感值，情感值为所述语言信息对应的数字信息。
本实施例中，视频特征信息的可视化装置设置于服务器上。具体地，获取模块201、生成模块202和数字化处理模块203设置于服务器上。
本实施例所提供的视频特征信息的可视化装置，用于实现上述实施例二提供的视频特征信息的可视化方法，具体描述可参见上述实施例二，此处不再赘述。本实施例所提供的视频特征信息的可视化装置的技术方案中，数字化处理模块用于对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息，实现了视频特征信息的可视化，以图形信息的方式向用户展示视频内容，提供了更具有表现力的视频节目和用户之间的交互方式，提高了用户观看视频的体验度。
本发明实施例四提供一种服务器，该服务器包括上述实施例三提供的视频特征信息的可视化装置，关于该视频特征信息的可视化装置的具体描述可参见上述实施例三，此处不再赘述。
本实施例所提供的服务器的技术方案中，数字化处理模块用于对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息，实现了视频特征信息的可视化，以图形信息的方式向用户展示视频内容，提供了更具有表现力的视频节目和用户之间的交互方式，提高了用户观看视频的体验度。
图4为本发明实施例五提供的一种视频特征信息的可视化系统的结构示意图，如图4所示，视频特征信息的可视化系统包括服务器501和终端设备502。
服务器501用于获取视频节目中的视频信息；根据视频信息生成视频特征信息；对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息。
终端设备502用于对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
可选地，视频信息包括图像信息，视频特征信息包括人物表情信息。服务器501具体用于对所述图像信息进行人脸识别，生成人脸图像信息；对人脸图像信息进行表情识别，生成所述人物表情信息。
具体地，服务器501具体用于根据人脸图像信息生成人物嘴部图像信息和人物眼部图像信息；根据人物嘴部图像信息和人物眼部图像信息生成所述人物表情信息。
具体地，终端设备502具体用于对人物表情信息对应的数字信息进行图形化处理，生成人物表情信息对应的图形信息。
可选地，视频特征信息包括声音信息。服务器501具体用于通过脉冲编码调制对声音信息进行数字化处理，生成声音信息对应的数字信息。
可选地，视频特征信息包括语言信息。服务器501具体用于根据语言信息生成关键词，关键词为语言信息对应的数字信息；或者，服务器501具体用于对语言信息进行语义分析，生成语言信息对应的情感值，情感值为语言信息对应的数字信息。
具体地，终端设备502具体用于对关键词进行图形化处理，生成语言信息对应的图形信息；或者，终端设备502具体用于对情感值进行图形化处理，生成语言信息对应的图形信息。
本实施例所提供的视频特征信息的可视化系统用于实现上述实施例二提供的视频特征信息的可视化方法，具体描述可参见上述实施例二，此处不再赘述。
本实施例所提供的视频特征信息的可视化系统的技术方案中，服务器用于对视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，终端设备用于对视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息，实现了视频特征信息的可视化，以图形信息的方式向用户展示视频内容，提供了更具有表现力的视频节目和用户之间的交互方式，提高了用户观看视频的体验度。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (17)

1.一种视频特征信息的可视化方法，其特征在于，包括：
获取视频节目中的视频信息；
根据所述视频信息生成视频特征信息；
对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对所述视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
2.根据权利要求1所述的视频特征信息的可视化方法，其特征在于，所述视频信息包括图像信息，所述视频特征信息包括人物表情信息；
所述根据所述视频信息生成视频特征信息包括：
对所述图像信息进行人脸识别，生成人脸图像信息；
对所述人脸图像信息进行表情识别，生成所述人物表情信息。
3.根据权利要求2所述的视频特征信息的可视化方法，其特征在于，所述对人脸图像信息进行表情识别，生成所述人物表情信息包括：
根据所述人脸图像信息生成人物嘴部图像信息和人物眼部图像信息；
根据所述人物嘴部图像信息和所述人物眼部图像信息生成所述人物表情信息。
4.根据权利要求1所述的视频特征信息的可视化方法，其特征在于，所述视频特征信息包括声音信息；
所述对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息包括：
通过脉冲编码调制对所述声音信息进行数字化处理，生成声音信息对应的数字信息。
5.根据权利要求1所述的视频特征信息的可视化方法，其特征在于，所述视频特征信息包括语言信息；
所述对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息包括：
根据语言信息生成关键词，所述关键词为所述语言信息对应的数字信息；或者
对所述语言信息进行语义分析，生成语言信息对应的情感值，所述情感值为所述语言信息对应的数字信息。
6.一种视频特征信息的可视化装置，其特征在于，包括：
获取模块，用于获取视频节目中的视频信息；
生成模块，用于根据所述视频信息生成视频特征信息；
数字化处理模块，用于对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息，以供终端设备对所述视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
7.根据权利要求6所述的视频特征信息的可视化装置，其特征在于，所述视频信息包括图像信息，所述视频特征信息包括人物表情信息；
所述生成模块具体用于对所述图像信息进行人脸识别，生成人脸图像信息；对所述人脸图像信息进行表情识别，生成所述人物表情信息。
8.根据权利要求6所述的视频特征信息的可视化装置，其特征在于，所述视频特征信息包括声音信息；
所述数字化处理模块具体用于通过脉冲编码调制对所述声音信息进行数字化处理，生成声音信息对应的数字信息。
9.根据权利要求6所述的视频特征信息的可视化装置，其特征在于，所述视频特征信息包括语言信息；
所述数字化处理模块具体用于根据语言信息生成关键词，所述关键词为所述语言信息对应的数字信息；或者，所述数字化处理模块具体用于对所述语言信息进行语义分析，生成语言信息对应的情感值，所述情感值为所述语言信息对应的数字信息。
10.一种服务器，其特征在于，包括权利要求6至9任一所述的视频特征信息的可视化装置。
11.一种视频特征信息的可视化系统，其特征在于，包括服务器和终端设备；
所述服务器用于获取视频节目中的视频信息；根据所述视频信息生成视频特征信息；对所述视频特征信息进行数字化处理，生成视频特征信息对应的数字信息；
所述终端设备用于对所述视频特征信息对应的数字信息进行图形化处理，生成视频特征信息对应的图形信息。
12.根据权利要求11所述的视频特征信息的可视化系统，其特征在于，所述视频信息包括图像信息，所述视频特征信息包括人物表情信息；
所述服务器具体用于对所述图像信息进行人脸识别，生成人脸图像信息；对所述人脸图像信息进行表情识别，生成所述人物表情信息。
13.根据权利要求12所述的视频特征信息的可视化系统，其特征在于，
所述服务器具体用于根据所述人脸图像信息生成人物嘴部图像信息和人物眼部图像信息；根据所述人物嘴部图像信息和所述人物眼部图像信息生成所述人物表情信息。
14.根据权利要求12所述的视频特征信息的可视化系统，其特征在于，
所述终端设备具体用于对所述人物表情信息对应的数字信息进行图形化处理，生成所述人物表情信息对应的图形信息。
15.根据权利要求11所述的视频特征信息的可视化系统，其特征在于，所述视频特征信息包括声音信息；
所述服务器具体用于通过脉冲编码调制对所述声音信息进行数字化处理，生成声音信息对应的数字信息。
16.根据权利要求11所述的视频特征信息的可视化系统，其特征在于，所述视频特征信息包括语言信息；
所述服务器具体用于根据语言信息生成关键词，所述关键词为所述语言信息对应的数字信息；或者，所述服务器具体用于对所述语言信息进行语义分析，生成语言信息对应的情感值，所述情感值为所述语言信息对应的数字信息。
17.根据权利要求16所述的视频特征信息的可视化系统，其特征在于，
所述终端设备具体用于对所述关键词进行图形化处理，生成语言信息对应的图形信息；或者，所述终端设备具体用于对所述情感值进行图形化处理，生成语言信息对应的图形信息。
CN201711447542.3A 2017-12-27 2017-12-27 视频特征信息的可视化方法、装置、服务器及系统 Pending CN108337531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711447542.3A CN108337531A (zh) 2017-12-27 2017-12-27 视频特征信息的可视化方法、装置、服务器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711447542.3A CN108337531A (zh) 2017-12-27 2017-12-27 视频特征信息的可视化方法、装置、服务器及系统

Publications (1)

Publication Number Publication Date
CN108337531A true CN108337531A (zh) 2018-07-27

Family

ID=62924421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711447542.3A Pending CN108337531A (zh) 2017-12-27 2017-12-27 视频特征信息的可视化方法、装置、服务器及系统

Country Status (1)

Country Link
CN (1) CN108337531A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754413A (zh) * 2013-12-30 2015-07-01 北京三星通信技术研究有限公司 基于图像搜索识别电视信号并推荐信息的方法和设备
CN104902212A (zh) * 2015-04-30 2015-09-09 努比亚技术有限公司 一种视频通信方法及装置
US20160118083A1 (en) * 2014-10-22 2016-04-28 Futurewei Technologies, Inc. Interactive Video Generation
CN106060572A (zh) * 2016-06-08 2016-10-26 乐视控股（北京）有限公司 视频播放方法及装置
CN106161873A (zh) * 2015-04-28 2016-11-23 天脉聚源（北京）科技有限公司 一种视频信息提取推送方法及系统
CN106803909A (zh) * 2017-02-21 2017-06-06 腾讯科技（深圳）有限公司 一种视频文件的生成方法及终端
CN106851395A (zh) * 2015-12-04 2017-06-13 中国电信股份有限公司 视频播放方法和播放器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754413A (zh) * 2013-12-30 2015-07-01 北京三星通信技术研究有限公司 基于图像搜索识别电视信号并推荐信息的方法和设备
US20160118083A1 (en) * 2014-10-22 2016-04-28 Futurewei Technologies, Inc. Interactive Video Generation
CN106662920A (zh) * 2014-10-22 2017-05-10 华为技术有限公司 交互式视频生成
CN106161873A (zh) * 2015-04-28 2016-11-23 天脉聚源（北京）科技有限公司 一种视频信息提取推送方法及系统
CN104902212A (zh) * 2015-04-30 2015-09-09 努比亚技术有限公司 一种视频通信方法及装置
CN106851395A (zh) * 2015-12-04 2017-06-13 中国电信股份有限公司 视频播放方法和播放器
CN106060572A (zh) * 2016-06-08 2016-10-26 乐视控股（北京）有限公司 视频播放方法及装置
CN106803909A (zh) * 2017-02-21 2017-06-06 腾讯科技（深圳）有限公司 一种视频文件的生成方法及终端

Similar Documents

Publication Publication Date Title
Zhang et al. Emotion recognition from multimodal physiological signals using a regularized deep fusion of kernel machine
Cui et al. EEG-based emotion recognition using an end-to-end regional-asymmetric convolutional neural network
US11887231B2 (en) Avatar animation system
EP3951604A1 (en) Communication assistance system, communication assistance method, communication assistance program, and image control program
US10223838B2 (en) Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
CN109359548A (zh) 多人脸识别监控方法及装置、电子设备及存储介质
Jaques et al. Understanding and predicting bonding in conversations using thin slices of facial expressions and body language
CN109964226A (zh) 电子装置及其控制方法
Kortelainen et al. Multimodal emotion recognition by combining physiological signals and facial expressions: a preliminary study
Kaufmann et al. Distortions in the brain? ERP effects of caricaturing familiar and unfamiliar faces
Cook et al. Exploring expression space: Adaptation to orthogonal and anti-expressions
David et al. A comprehensive survey of emotion recognition system in facial expression
Koh et al. Developing a hand gesture recognition system for mapping symbolic hand gestures to analogous emojis in computer-mediated communication
CN111107278B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN111986781B (zh) 基于人机交互的心理治疗装置和用户终端
Niewiadomski et al. Rhythmic body movements of laughter
CN114469090A (zh) 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统
Gilad-Gutnick et al. Recognizing facial slivers
CN115049016A (zh) 基于情绪识别的模型驱动方法及设备
CN111984123A (zh) 脑电数据交互方法及装置
CN108898058A (zh) 心理活动的识别方法、智能领带及存储介质
Bianco et al. A smart mirror for emotion monitoring in home environments
Fang et al. Recent advances of P300 speller paradigms and algorithms
CN113053492B (zh) 基于用户背景和情绪的自适应虚拟现实干预系统及方法
CN105892627A (zh) 虚拟超越现实的方法和装置以及使用其的眼镜或头盔

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180727

RJ01 Rejection of invention patent application after publication