CN102232220A - 一种视频兴趣物体提取与关联的方法及系统 - Google Patents

一种视频兴趣物体提取与关联的方法及系统 Download PDF

Info

Publication number
CN102232220A
CN102232220A CN2010800052097A CN201080005209A CN102232220A CN 102232220 A CN102232220 A CN 102232220A CN 2010800052097 A CN2010800052097 A CN 2010800052097A CN 201080005209 A CN201080005209 A CN 201080005209A CN 102232220 A CN102232220 A CN 102232220A
Authority
CN
China
Prior art keywords
video
interest object
feature
user
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800052097A
Other languages
English (en)
Other versions
CN102232220B (zh
Inventor
田永鸿
余昊男
李甲
高云超
张军
严军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN102232220A publication Critical patent/CN102232220A/zh
Application granted granted Critical
Publication of CN102232220B publication Critical patent/CN102232220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种图像和视频处理方法，特别是一种基于两阶段交互的视频兴趣物体提取与关联方法。本方法中，用户通过某种不限于常规方式、先验知识要求低的交互方法进行粗定位交互，在此基础上采用某种快速、易实现的提取算法对兴趣物体进行多参数提取。基于重选择交互出来的最合适的兴趣物体，本方法通过提取多种特征进行检索并加权得到最终结果，从增值信息库中取出对应的图像及附加信息，最后将这些信息展示在视频的周边。本方法在充分挖掘视频信息、保证用户偏好的基础上，以不影响用户观看的方式为其感兴趣的物体关联增值信息，进而满足了用户对其所关注区域深入了解和进一步探索的需求。

Description

一种视频兴趣物体提取与关联的方法及系统
技术领域
本发明涉及图像和视频处理领域，特别是一种视频对象提取方法与关联的方法及系统。
背景技术
随着多媒体技术及网络通信技术的发展，越来越多的视频涌现在互联网上，而播放视频的需求也在迅速增加。在播放视频的时候，许多视频网站和视频软件采用了对视频提供相关附加信息的技术，以使用户获得增强的观看体验。目前，常见的视频内容增强方法着重于提供视频制作者预先定义的增值信息，包括：
时域信息插入。指在视频的开头缓冲、中途暂停或结尾播放一段额外的相关信息。
周边信息关联。指当视频播放时，在视频播放器的周边(如网页、播放器边框)显示增值信息。
叠加信息相关。指在视频的部分内容上叠加附加信息，通常不影响主要部分。
文字信息相关。指将视频链接在文本里，不同文本触发不同的视频。
目前，这四种视频内容增强方法都得到了广泛的应用。优酷(www.youku.com)和Youtube(www.youtube.com)等主要采用第一种和第三种方法，而土豆网(www.tudou.com)主要采用第二种方法，第四种方法被VibrantMedia(www.vibrantmedia.com)采用。然而这些方法的效果通常不太理想，因为它们会对用户正常的观看产生干扰。而这些方式提供的信息通常和视频内容关联程度较低，从而容易被用户忽略。
为了增强增值信息与视频内容的相关程度，现有技术试图通过视频内容自动分析或者用户交互来提供与视频内容相关的信息。例如：
允许用户选择广告，来浏览存储在高速缓存中的广告增值信息的方法，这种方法的前提是对于特定的视频事先提供好相关的广告，具有一定局限性，且提供的广告灵活性不高；
让服务器根据视频的标签查找与该标签相关联的广告，并从查找到的广告中选择一个或多个广告将其插入到所述视频内容的指定位置，然而，视频标签并不能精确描述视频中用户感兴趣的内容，提供的广告虽然大致方向一致，但很多时候属于用户不感兴趣的范围。
上述方法的局限性可以归纳为以下几点：
现有方法提供的增值信息和视频内容关联程度低；自动分析提供的增值信息不具备用户个性化，不能满足用户偏好。
发明内容
为了克服以上的不足之处，本发明实施例提出了一种视频兴趣物体提取与关联方法及系统。可以通过直接对视频内容进行交互以得到用户感兴趣的物体。进而通过兴趣物体关联得到相关的增值信息，以增强视频的观看体验。通过这样的方式，使得用户在不受强迫(non-compelled)的前提下根据自己的兴趣作出选择，充分挖掘了视频本身信息，进而为用户提供了一种新的视频浏览和体验方式。
本发明实施例提供了一种视频兴趣物体提取与关联的方法，所述方法包括：
根据粗定位过程中获得的点信息生成关注度参数，所述关注度参数用于表示视频帧中各区域的受关注程度；
根据视频帧中各区域的关注程度识别出前景区域；
对所述前景区域进行凸包化处理获得候选兴趣物体，根据用户重选择结果确定最优候选兴趣物体；
提取所述最优候选兴趣物体的视觉特征，根据所述视觉特征在图像特征库中检索出最优图像，在增值信息库中匹配出所述最优图像对应的增值信息，并将匹配出的所述增值信息呈现给所述用户。
本发明实施例提供了一种基于两阶段交互的视频兴趣物体提取与关联系统，包括：
基本交互模块用于提供根据粗定位过程中获得的点信息；
兴趣物体提取模块用于根据粗定位过程中用户提供的点信息生成关注度参数，所述关注度参数用于表示视频帧中各区域的受关注程度，根据视频帧中各区域的关注程度识别出前景区域，对所述前景区域进行凸包化处理获得候选兴趣物体；
扩展交互模块用于根据用户重选择结果确定最优候选兴趣物体；
增值信息检索模块用于提取所述最优候选兴趣物体的视觉特征，根据所述视觉特征在图像特征库中检索出最优图像，在增值信息库中匹配出所述最优图像对应的增值信息，并将匹配出的所述增值信息呈现给所述用户。
本发明实施例提供用户一套不限于常规方式的交互装置，给定任意视频，用户可以通过简单的交互选择兴趣物体，并检索相关增值信息，并最终在不影响用户观看的前提下将最终结果呈现出来，以方便用户对感兴趣的视频内容的进一步了解和探索。本发明实施例提供的增值信息和视频内容关联程度高；交互使得用户偏好得到满足，可能为用户提供个性化的服务；交互方法应用场景广泛，简单，不需要先验知识。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例通过的视频兴趣物体提取与关联方法效果图；
图2是本发明实施例提供的视频兴趣物体提取与关联方法流程图
图3是本发明实施例提供的另一种视频兴趣物体提取与关联方法流程图；
图4是本发明实施例提供的兴趣物体提取方法流程图；
图5是本发明实施例提供的候选兴趣物体提取的效果图；
图6是本发明实施例提供的增值信息检索方法流程图；
图7是基于两阶段交互的视频兴趣物体提取与关联系统架构图；
图8是基于两阶段交互的视频兴趣物体提取与关联系统模块图；
图9是视频增值信息关联效果示例图。
具体实施方式
图1展示了本发明实施例通过的视频兴趣物体提取与关联方法效果图。以下通过具体实施例并结合附图对本发明的各方面进行详细描述。
如图2所示，为本发明实施例提供的一种视频兴趣物体提取与关联的方法，包括：
步骤201：根据粗定位过程中获得的点信息生成关注度参数，所述关注度参数用于表示视频帧中各区域的受关注程度；
步骤202：根据视频帧中各区域的关注程度识别出前景区域；
步骤203：对所述前景区域进行凸包化处理获得候选兴趣物体，根据用户重选择结果确定最优候选兴趣物体；
步骤204：提取所述最优候选兴趣物体的视觉特征，根据所述视觉特征在图像特征库中检索出最优图像，在增值信息库中匹配出所述最优图像对应的增值信息，并将匹配出的所述增值信息呈现给所述用户。
本发明实施例提供用户一套不限于常规方式的交互装置，给定任意视频，用户可以通过简单的交互选择兴趣物体，并检索相关增值信息，并最终在不影响用户观看的前提下将最终结果呈现出来，以方便用户对感兴趣的视频内容的进一步了解和探索。本发明实施例提供的增值信息和视频内容关联程度高；交互使得用户偏好得到满足，可能为用户提供个性化的服务；交互方法应用场景广泛，简单，不需要先验知识。
如图3所示，为本发明实施例提供的一种视频兴趣物体提取与关联方法流程图。根据在粗定位的首次交互中得到的点信息生成关注度参数，所述关注度参数对应视频帧中各区域的受关注程度，然后划分出前景区域继而处理得到候选兴趣物体。用户从所述候选兴趣物体中选择满意的候选兴趣物体(可以是一个或多个，本发明实施例对此并不限定)，接着系统提取出被选择对象的各种特征(具体的，可以为视频特征)，然后检索图像特征库获得每种特征的相似度，并加权匹配度，最后选取最优的若干个图像及附加信息作为增值信息提供给用户。具体的，本发明实施例中采取基于两阶段交互的方式，粗定位过程和重选择。粗定位过程和重选择所使用到的是一种与视频内容交互的便捷方法，可以在受限制较小的场景下应用，比如三维红外交互、鼠标交互等，优选地，本实施例中采用红外定位交互。
本发明实施例提供的一种基于两阶段交互的兴趣物体提取方法流程图(图4)的主要步骤如下：
步骤401：根据粗定位过程中获得的点信息生成关注度参数。
具体的，在粗定位过程中，可以采用三维红外交互或鼠标交互的方式获取点信息，进一步结合视频特点生成所述关注度参数，在一个实施例中，所述视频特定可以为视频尺寸，根据所述视频尺寸及对应的点信息采用自适应算法生成所述关注度参数。
所述采用三维红外交互或鼠标交互的方式获取点信息的方法具体为：通过鼠标单击，记录用户交互位置从而获得点信息；或，过红外三维定位装置，在三维空间中获得用户交互坐标，进而获得用户的交互位置对应的点信息。
步骤402：将视频帧划分为若干个区域，将所述关注度参数映射到各个视频区域，确定各个视频区域的关注程度。
每一组参数将视频帧划分成若干个区域，并决定了每个区域的受关注程度。具体的，关注度参数可以代表一系列框用来划分视频帧，优选地，可以将受关注程度分为1.0，0.5，0三个等级。
步骤403：以所述关注程度作为辅助因子，统计各个视频区域里像素点的代表特征，获得若干个统计类。
具体的，所述关注程度作为建立统计数据结构的辅助因子，所述统计数据结构的统计对象为视频帧上各像素点的代表特征，在一个具体的实施例中，所述代表特征可以为CIE-LAB颜色特征。
步骤404：将视频帧上的所有像素点依据其代表特征和每个统计类的相似度进行归类。
具体的，各统计类的相似度可以通过多种计算方式获得，例如特征空间的欧拉距离，本发明实施例对此并不加以限制。
步骤405：将各像素点进行归类之后，将受关注程度最大的视频区域作为前景区域，也即感兴趣区域。
步骤406：对所述前景区域进行平滑处理，将平滑后的前景区域凸包化，得到候选兴趣物体。
需要说明的是，本发明实施例对该平滑处理算法及凸包化算法并不加以限制，可以采用现有技术中的多种视频平滑处理及凸包算法。
还需要说明的是，对前景区域进行平滑处理为可选步骤，。将兴趣区域平滑处理从而扩展凸包边界保留原视频帧的边缘特征，可以提高候选步骤中兴趣物体特征提取的准确性。
步骤407：重复步骤402至步骤406，直到关注度参数对应的候选兴趣物体生成。
步骤408：呈现所有的候选兴趣物体。
候选兴趣物体生成后，此时将生成的候选兴趣物体呈现给用户。本发明实施例中，候选兴趣物体提取的效果如图5所示。
本发明实施例提供的兴趣物体检索流程(图6)的主要步骤如下：
步骤601：重选择最优的一个候选兴趣物体。
具体的，步骤601中最优的候选兴趣物体应能反映用户的偏好及较好地将前景部分和背景部分分离开来，优选地，定义候选兴趣物体的分数为其在实际兴趣物体内的区域面积减去在外的区域面积，从而当且仅当候选兴趣物体区域刚好和实际兴趣物体重叠时分数最高，即为最优的候选兴趣物体。
步骤602：包括但不限于颜色、结构、轮廓、纹理特征的提取，并获得相应的特征向量。
步骤602中的特征尽可能从多角度和多层次上反映视频帧的特点，比如全局和局部，颜色和纹理等。在所列例子中，颜色的空间表示法能很好的代表图像的色彩特征，优选地采用HSV(hue、saturation、value，色相、饱和度、亮度)颜色空间。轮廓以及纹理特征能有效地抗击噪声干扰，比如sift特征。结构特征指提取图像的关键点从而获得关键点之间的结构，在一个实施例中，上述结构特征是通过提取对尺度变换、旋转、平移、加噪、颜色及亮度变化鲁棒的不变量来生成的。优选地，在多种方法效果相差不大的情况下，采用速度快、编码简单的方法进行上述特征提取。
本步骤中各特征的特征向量的获取方法如下：
颜色特征：在给定颜色空间中统计兴趣物体的颜色直方图，以获得颜色特征向量，所述颜色特征采用空间表示法。，具体的可以采用较好反映出图像颜色分布的空间标识法。
结构特征：通过关键点提取算法，获取兴趣物体的结构特征向量。所述结构特征具体为通过考察图像局部特征之间的结构数值关系来计算对旋转、尺度变换、平移、加噪、颜色亮度等变化鲁棒性高的面特征。
纹理特征：通过Gabor变换提取兴趣物体纹理，以获得纹理特征向量。
轮廓特征：通过迹变换算法，提取构成兴趣物体的线条，以获取轮廓特征向量。
步骤603：检索图像特征库，计算每种特征的相似度。
相似度计算过程对于不同特征可以采用不同的计算方法，比如直方图求交、欧拉距离等。
步骤604：根据每种特征的先验比重对匹配结果进行加权。
需要说明的是，本步骤为可选步骤，本发明强调多种特征加权，因此不需要为提高单种特征匹配准确性而增加计算复杂性牺牲整体检索效率。每种特征加权的比重由先验知识决定，具体的，在本发明提供的一个实施例中，所有特征比重相同。
步骤605：选取加权匹配度最优的前若干个图像。
步骤606：对选出的图像在增值信息库里查询相应的附加信息。
步骤607：将选出的图像连同其附加信息作为增值信息返回。
需要说明的是，增值信息尽可能包含了这个结果图像的所有信息，在一个实施例中，结果图像作为广告logo，增值信息包括商品名、新旧价格、评价、库存量和网站链接等。
为了兼顾用户视频观赏和检索过程以及加快检索速度，检索过程进行了并行处理。优选地，本实施例采用client-server架构进行步骤603到步骤607的过程。如图7所示，对本实施例中client-server架构进行简要说明：交互处理、兴趣物体提取、特征提取和结果呈现都在client端进行，而当要进行特征匹配时，则将提取出来的特征提交给server端，这样用户可以继续流畅欣赏视频而检索会并行进行。检索完成后，server端返回增值信息。
如图8所示，为本发明实施例提供的一种视频兴趣物体提取与关联系统，包括：
基本交互模块61用于提供根据粗定位过程中获得的点信息；
兴趣物体提取模块62用于根据粗定位过程中用户提供的点信息生成关注度参数，所述关注度参数用于表示视频帧中各区域的受关注程度，根据视频帧中各区域的关注程度识别出前景区域，对所述前景区域进行凸包化处理获得候选兴趣物体；
扩展交互模块63用于根据用户重选择结果确定最优候选兴趣物体；
增值信息检索模块64用于提取所述最优候选兴趣物体的视觉特征，根据所述视觉特征在图像特征库中检索出最优图像，在增值信息库中匹配出所述最优图像对应的增值信息，并将匹配出的所述增值信息呈现给所述用户。
进一步的，所述兴趣物体提取模块62包括：
参数生成子模块621用于根据粗定位过程中获得的点信息生成关注度参数
特征统计子模块622用于根据所述关注度参数，统计视频帧中与所述关注度参数相关的区域里像素点的代表特征；
前景识别子模块623用于将视频帧上的所有像素点依据其代表特征和每个统计类的相似度进行归类，在将各像素点进行归类之后，将受关注程度最大的视频区域作为前景区域；
物体提取子模块624用于使用凸包算法从前景区域中提取兴趣物体。
所述的增值信息检索模块64包括以下子模块：
特征提取子模块641用于提取最优候选兴趣物体的待匹配视觉特征；
特征通讯子模块642用于在服务端和客户端间的传递检索特征；
图像匹配子模块643用于检索图像特征库，计算每种视觉特征的相似度，选择相似度最高的图像作为最优图像；
结果获取子模块644用于在增值信息库中匹配出所述最优图像对应的增值信息；
增值信息通讯子模块645用于在服务端和客户端间的传递增值信息。
本发明实施例提供的视频兴趣物体提取与关联系统模块(图8)有如下数据流动方式(箭头表示)：首先视频流伴随着基本交互模块(61)产生的粗定位点信息流进入参数生成子模块(621)，自适应地生成不同参数，然后分别流经特征统计子模块(622)和前景识别子模块(623)，得到的是一个前景像素点集合，集合再输入到结果呈现子模块(624)，被平滑和凸包操作后输出到系统。扩展交互模块(63)产生的重选择信号流选择合适的候选兴趣物体之后，选择结果输入到特征提取子模块(641)提取各种特征，特征数据流被特征通讯子模块(642)送往图像匹配子模块(643)，检索完之后加权匹配值数据流被送进结果获取子模块(644)，根据加权值进行查询，最后通过增值信息通讯子模块(645)输出给用户相应的图像和附加信息，和当前视频流一起作为增值视频流。
在所有工作完成、增值信息提供之后，用户可以选择增值图像以浏览相关信息，如图9所示，一个实施例的效果示例图如图2所示。
虽然以上有些地方描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如以合并上述方法步骤的方式，按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。
本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种视频兴趣物体提取与关联的方法，其特征在于，所述方法包括：
根据粗定位过程中获得的点信息生成关注度参数，所述关注度参数用于表示视频帧中各区域的受关注程度；
根据视频帧中各区域的关注程度识别出前景区域；
对所述前景区域进行凸包化处理获得候选兴趣物体，根据用户重选择结果确定最优候选兴趣物体；
提取所述最优候选兴趣物体的视觉特征，根据所述视觉特征在图像特征库中检索出最优图像，在增值信息库中匹配出所述最优图像对应的增值信息，并将匹配出的所述增值信息呈现给所述用户。
2.如权利要求1所述的视频兴趣物体提取与关联方法，其特征在于，在粗定位过程中获得点信息包括：
通过鼠标单击，记录用户交互位置对应的点信息；或，
通过红外三维定位装置，在三维空间中获得用户交互坐标，进而获得用户的交互位置对应的点信息。
3.如权利要求1所述的视频兴趣物体提取与关联方法，其特征在于，在根据粗定位过程中获得的点信息生成关注度参数之后，所述方法还包括：
将视频帧划分为若干个区域，将所述关注度参数映射到各个视频区域。
4.如权利要求3所述的视频兴趣物体提取与关联方法，其特征在于，所述根据视频帧中各区域的关注程度识别出前景区域包括：
根据所述关注度参数，统计视频帧中与所述关注度参数相关的区域里像素点的代表特征；
将视频帧上的所有像素点依据其代表特征和每个统计类的相似度进行归类；
将各像素点进行归类之后，将受关注程度最大的视频区域作为前景区域。
5.如权利要求3所述的视频兴趣物体提取与关联方法，其特征在于，所述代表特征的统计方法以所述关注度参数作为建立统计数据结构的辅助因子，所述统计数据结构的统计对象为视频帧上像素点的代表特征
6.如权利要求1所述的视频兴趣物体提取与关联方法，其特征在于，所述视觉特征包括以下至少一种：
颜色特征：在给定颜色空间中统计最优候选兴趣物体的颜色直方图，获得颜色特征向量；
结构特征：通过关键点提取算法，获取最优候选兴趣物体的结构特征向量。
纹理特征：通过Gabor变换提取最优候选兴趣物体纹理，以获得纹理特征向量；
轮廓特征：通过迹变换算法，提取构成最优候选兴趣物体的线条，以获取轮廓特征向量。
7.如权利要求6所述的视频兴趣物体提取与关联方法，其特征在于，所述结构特征具体为通过考察图像局部特征之间的结构数值关系来计算获得的对旋转、尺度变换、平移、加噪、颜色亮度等变化鲁棒性高的面特征。
8.如权利要求1所述的视频兴趣物体提取与关联方法，其特征在于，所述根据所述视觉特征在图像特征库中检索出最优图像包括：
检索图像特征库，计算每种视觉特征的相似度，选择相似度最高的图像作为最优图像。
9.如权利要求8所述的视频兴趣物体提取与关联方法，其特征在于，所述方法还包括：将针对每种视觉特征计算得到的相似度结果根据先验比重进行加权，选取加权结果最优的图像作为最优图像。
10.一种视频兴趣物体提取与关联系统，其特征在于，包括：
基本交互模块用于提供根据粗定位过程中获得的点信息；
兴趣物体提取模块用于根据粗定位过程中用户提供的点信息生成关注度参数，所述关注度参数用于表示视频帧中各区域的受关注程度，根据视频帧中各区域的关注程度识别出前景区域，对所述前景区域进行凸包化处理获得候选兴趣物体；
扩展交互模块用于根据用户重选择结果确定最优候选兴趣物体；
增值信息检索模块用于提取所述最优候选兴趣物体的视觉特征，根据所述视觉特征在图像特征库中检索出最优图像，在增值信息库中匹配出所述最优图像对应的增值信息，并将匹配出的所述增值信息呈现给所述用户。
11.如权利要求10所述的视频兴趣物体提取与关联系统，其特征在于，所述兴趣物体提取模块包括：
参数生成子模块用于根据粗定位过程中获得的点信息生成关注度参数
特征统计子模块用于根据所述关注度参数，统计视频帧中与所述关注度参数相关的区域里像素点的代表特征；
前景识别子模块用于将视频帧上的所有像素点依据其代表特征和每个统计类的相似度进行归类，在将各像素点进行归类之后，将受关注程度最大的视频区域作为前景区域；
物体提取子模块用于使用凸包算法从前景区域中提取兴趣物体。
12.如权利要求10所述的视频兴趣物体提取与关联系统，其特征在于，所述的增值信息检索模块包括以下子模块：
特征提取子模块用于提取最优候选兴趣物体的待匹配视觉特征；
特征通讯子模块用于在服务端和客户端间的传递检索特征；
图像匹配子模块用于检索图像特征库，计算每种视觉特征的相似度，选择相似度最高的图像作为最优图像；
结果获取子模块用于在增值信息库中匹配出所述最优图像对应的增值信息；
增值信息通讯子模块用于在服务端和客户端间的传递增值信息。
CN201080005209.7A 2010-10-29 2010-10-29 一种视频兴趣物体提取与关联的方法及系统 Active CN102232220B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/078239 WO2011140786A1 (zh) 2010-10-29 2010-10-29 一种视频兴趣物体提取与关联的方法及系统

Publications (2)

Publication Number Publication Date
CN102232220A true CN102232220A (zh) 2011-11-02
CN102232220B CN102232220B (zh) 2014-04-30

Family

ID=44844474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080005209.7A Active CN102232220B (zh) 2010-10-29 2010-10-29 一种视频兴趣物体提取与关联的方法及系统

Country Status (4)

Country Link
US (1) US20130101209A1 (zh)
EP (1) EP2587826A4 (zh)
CN (1) CN102232220B (zh)
WO (1) WO2011140786A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297810A (zh) * 2013-05-23 2013-09-11 深圳市爱渡飞科技有限公司 一种电视画面关联信息的显示方法、装置及系统
CN103425667A (zh) * 2012-05-16 2013-12-04 乐金电子(中国)研究开发中心有限公司 一种视频节目中提供更多信息的方法及装置
CN103686344A (zh) * 2013-07-31 2014-03-26 Tcl集团股份有限公司 增强视频系统及方法
CN103929653A (zh) * 2014-04-30 2014-07-16 成都理想境界科技有限公司 增强现实视频生成器、播放器及其生成方法、播放方法
CN103974142A (zh) * 2013-01-31 2014-08-06 深圳市快播科技有限公司 一种视频播放方法及系统
CN104041063A (zh) * 2012-12-24 2014-09-10 华为技术有限公司 视频的关联信息库制作和视频播放的方法、平台及系统
CN105373938A (zh) * 2014-08-27 2016-03-02 阿里巴巴集团控股有限公司 识别视频图像中的商品和展示其信息的方法、装置及系统
CN105989174A (zh) * 2015-03-05 2016-10-05 欧姆龙株式会社 关注区域提取装置以及关注区域提取方法
CN106372106A (zh) * 2016-08-19 2017-02-01 无锡天脉聚源传媒科技有限公司 一种提供视频内容辅助信息的方法及装置
CN103020173B (zh) * 2012-11-27 2017-02-08 北京百度网讯科技有限公司 用于移动终端的视频图像信息搜索方法、系统及移动终端
CN108629628A (zh) * 2018-05-08 2018-10-09 多盟睿达科技（中国）有限公司 一种快速创建移动广告自定义测试组的方法和系统
CN110234040A (zh) * 2019-05-10 2019-09-13 九阳股份有限公司 一种烹饪设备的食材图像获取方法以及烹饪设备
WO2023093339A1 (zh) * 2021-11-26 2023-06-01 浙江智慧视频安防创新中心有限公司 一种基于智能数字视网膜的视频处理方法和装置
CN117575662A (zh) * 2024-01-17 2024-02-20 深圳市微购科技有限公司 基于视频分析的商业智能化经营决策支撑系统及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095147A (ja) * 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US9473803B2 (en) * 2014-08-08 2016-10-18 TCL Research America Inc. Personalized channel recommendation method and system
US10558706B2 (en) 2014-12-17 2020-02-11 Oath Inc. Method and system for determining user interests based on a correspondence graph
CN109600544B (zh) * 2017-09-30 2021-11-23 阿里巴巴集团控股有限公司 一种局部动态影像生成方法及装置
WO2020198173A1 (en) * 2019-03-22 2020-10-01 Qualcomm Technologies, Inc. Subject-object interaction recognition model
CN111432264B (zh) * 2020-03-30 2024-02-09 腾讯科技（深圳）有限公司 基于媒体信息流的内容展示方法、装置、设备及存储介质
CN113315691B (zh) * 2021-05-20 2023-02-24 维沃移动通信有限公司 视频处理方法、装置及电子设备
CN114627394B (zh) * 2022-05-16 2022-08-09 深圳联和智慧科技有限公司 一种基于无人机的渣土车套牌识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072340A (zh) * 2007-06-25 2007-11-14 孟智平 流媒体中加入广告信息的方法与系统
CN101375312A (zh) * 2006-02-07 2009-02-25 高通股份有限公司 多模式关注区视频对象分割
CN101394533A (zh) * 2007-09-21 2009-03-25 周启平 基于Flash的视频增值服务系统平台及其方法
CN101489139A (zh) * 2009-01-21 2009-07-22 北京大学 基于视觉显著度的视频广告关联方法与系统
CN101566990A (zh) * 2008-04-25 2009-10-28 李奕 一种嵌入于视频的搜索方法及其系统
CN101621636A (zh) * 2008-06-30 2010-01-06 北京大学 基于视觉注意力模型的广告标志插入和变换方法及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408293B1 (en) * 1999-06-09 2002-06-18 International Business Machines Corporation Interactive framework for understanding user's perception of multimedia data
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
GB0229625D0 (en) * 2002-12-19 2003-01-22 British Telecomm Searching images
US7590310B2 (en) * 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
US20070124762A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Selective advertisement display for multimedia content
US9554093B2 (en) * 2006-02-27 2017-01-24 Microsoft Technology Licensing, Llc Automatically inserting advertisements into source video content playback streams
JP2008003968A (ja) * 2006-06-23 2008-01-10 Fuji Xerox Co Ltd 情報処理システム、情報処理方法及びプログラム
US7813561B2 (en) * 2006-08-14 2010-10-12 Microsoft Corporation Automatic classification of objects within images
US8363939B1 (en) * 2006-10-06 2013-01-29 Hrl Laboratories, Llc Visual attention and segmentation system
US8165407B1 (en) * 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
US20080136820A1 (en) * 2006-10-20 2008-06-12 Microsoft Corporation Progressive cut: interactive object segmentation
BRPI0622048B1 (pt) * 2006-10-20 2018-09-18 Thomson Licensing método, aparelho e sistema para gerar regiões de interesse em conteúdo de vídeo
WO2008150840A1 (en) * 2007-05-29 2008-12-11 University Of Iowa Research Foundation Methods and systems for determining optimal features for classifying patterns or objects in images
US8433611B2 (en) * 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
US8315423B1 (en) * 2007-12-28 2012-11-20 Google Inc. Providing information in an image-based information retrieval system
US20090313324A1 (en) * 2008-06-17 2009-12-17 Deucos Inc. Interactive viewing of media content
WO2010006334A1 (en) * 2008-07-11 2010-01-14 Videosurf, Inc. Apparatus and software system for and method of performing a visual-relevance-rank subsequent search
US20100295774A1 (en) * 2009-05-19 2010-11-25 Mirametrix Research Incorporated Method for Automatic Mapping of Eye Tracker Data to Hypermedia Content
US20100312608A1 (en) * 2009-06-05 2010-12-09 Microsoft Corporation Content advertisements for video
CN102473182B (zh) * 2009-06-30 2015-07-22 皇家飞利浦电子股份有限公司 用于基于内容的图像检索的关联性反馈
WO2011008793A1 (en) * 2009-07-13 2011-01-20 Emsense Corporation Systems and methods for generating bio-sensory metrics
US20110261258A1 (en) * 2009-09-14 2011-10-27 Kumar Ramachandran Systems and methods for updating video content with linked tagging information
US8437558B1 (en) * 2009-10-08 2013-05-07 Hrl Laboratories, Llc Vision-based method for rapid directed area search
US20110128288A1 (en) * 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US10043193B2 (en) * 2010-01-20 2018-08-07 Excalibur Ip, Llc Image content based advertisement system
US20110251896A1 (en) * 2010-04-09 2011-10-13 Affine Systems, Inc. Systems and methods for matching an advertisement to a video
US20120095825A1 (en) * 2010-10-18 2012-04-19 Microsoft Corporation Incentive Selection of Region-of-Interest and Advertisements for Image Advertising
WO2012071696A1 (zh) * 2010-11-29 2012-06-07 华为技术有限公司 基于用户兴趣学习的个性化广告推送方法与系统
US20120158492A1 (en) * 2010-12-16 2012-06-21 Yahoo! Inc. Method and system for attention based advertisement insertion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375312A (zh) * 2006-02-07 2009-02-25 高通股份有限公司 多模式关注区视频对象分割
CN101072340A (zh) * 2007-06-25 2007-11-14 孟智平 流媒体中加入广告信息的方法与系统
CN101394533A (zh) * 2007-09-21 2009-03-25 周启平 基于Flash的视频增值服务系统平台及其方法
CN101566990A (zh) * 2008-04-25 2009-10-28 李奕 一种嵌入于视频的搜索方法及其系统
CN101621636A (zh) * 2008-06-30 2010-01-06 北京大学 基于视觉注意力模型的广告标志插入和变换方法及系统
CN101489139A (zh) * 2009-01-21 2009-07-22 北京大学 基于视觉显著度的视频广告关联方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊静: "基于视频流的运动人体行为识别技术研究", 《西安电子科技大学硕士学位论文》, 15 July 2009 (2009-07-15) *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425667A (zh) * 2012-05-16 2013-12-04 乐金电子(中国)研究开发中心有限公司 一种视频节目中提供更多信息的方法及装置
CN103020173B (zh) * 2012-11-27 2017-02-08 北京百度网讯科技有限公司 用于移动终端的视频图像信息搜索方法、系统及移动终端
CN104041063A (zh) * 2012-12-24 2014-09-10 华为技术有限公司 视频的关联信息库制作和视频播放的方法、平台及系统
CN103974142B (zh) * 2013-01-31 2017-08-15 深圳市快播科技有限公司 一种视频播放方法及系统
CN103974142A (zh) * 2013-01-31 2014-08-06 深圳市快播科技有限公司 一种视频播放方法及系统
CN103297810A (zh) * 2013-05-23 2013-09-11 深圳市爱渡飞科技有限公司 一种电视画面关联信息的显示方法、装置及系统
CN103686344B (zh) * 2013-07-31 2017-08-08 Tcl集团股份有限公司 增强视频系统及方法
CN103686344A (zh) * 2013-07-31 2014-03-26 Tcl集团股份有限公司 增强视频系统及方法
CN103929653B (zh) * 2014-04-30 2018-01-09 成都理想境界科技有限公司 增强现实视频生成器、播放器及其生成方法、播放方法
CN103929653A (zh) * 2014-04-30 2014-07-16 成都理想境界科技有限公司 增强现实视频生成器、播放器及其生成方法、播放方法
US10395120B2 (en) 2014-08-27 2019-08-27 Alibaba Group Holding Limited Method, apparatus, and system for identifying objects in video images and displaying information of same
CN105373938A (zh) * 2014-08-27 2016-03-02 阿里巴巴集团控股有限公司 识别视频图像中的商品和展示其信息的方法、装置及系统
CN105989174B (zh) * 2015-03-05 2019-11-01 欧姆龙株式会社 关注区域提取装置以及关注区域提取方法
CN105989174A (zh) * 2015-03-05 2016-10-05 欧姆龙株式会社 关注区域提取装置以及关注区域提取方法
CN106372106A (zh) * 2016-08-19 2017-02-01 无锡天脉聚源传媒科技有限公司 一种提供视频内容辅助信息的方法及装置
CN108629628A (zh) * 2018-05-08 2018-10-09 多盟睿达科技（中国）有限公司 一种快速创建移动广告自定义测试组的方法和系统
CN108629628B (zh) * 2018-05-08 2021-11-19 多盟睿达科技（中国）有限公司 一种快速创建移动广告自定义测试组的方法和系统
CN110234040A (zh) * 2019-05-10 2019-09-13 九阳股份有限公司 一种烹饪设备的食材图像获取方法以及烹饪设备
CN110234040B (zh) * 2019-05-10 2022-08-09 九阳股份有限公司 一种烹饪设备的食材图像获取方法以及烹饪设备
WO2023093339A1 (zh) * 2021-11-26 2023-06-01 浙江智慧视频安防创新中心有限公司 一种基于智能数字视网膜的视频处理方法和装置
CN117575662A (zh) * 2024-01-17 2024-02-20 深圳市微购科技有限公司 基于视频分析的商业智能化经营决策支撑系统及方法

Also Published As

Publication number Publication date
CN102232220B (zh) 2014-04-30
WO2011140786A1 (zh) 2011-11-17
EP2587826A1 (en) 2013-05-01
EP2587826A4 (en) 2013-08-07
US20130101209A1 (en) 2013-04-25

Similar Documents

Publication Publication Date Title
CN102232220B (zh) 一种视频兴趣物体提取与关联的方法及系统
US11625874B2 (en) System and method for intelligently generating digital composites from user-provided graphics
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
US8543924B2 (en) Contextual-display advertisement
CN110503124A (zh) 利用基于深度神经网络模型基于用户选择的视觉属性来标识视觉相似数字图像
CN107861972A (zh) 一种用户录入商品信息后显示商品全结果的方法及设备
CN106560809A (zh) 用从另一图像提取的至少一个属性修改图像的至少一个属性
CN106560810A (zh) 使用图像中找到的特定属性进行搜索
CN105373938A (zh) 识别视频图像中的商品和展示其信息的方法、装置及系统
CN108829764A (zh) 推荐信息获取方法、装置、系统、服务器及存储介质
CN105493078B (zh) 彩色草图图像搜索
US20170124618A1 (en) Methods and Systems for Image-Based Searching of Product Inventory
JP2009251850A (ja) 類似画像検索を用いた商品推薦システム
CN101950400B (zh) 网络购物导航方法领域的图片检索方法
WO2018162896A1 (en) Multi-modal image search
CN103426003A (zh) 增强现实交互的实现方法和系统
Vempati et al. Enabling hyper-personalisation: Automated ad creative generation and ranking for fashion e-commerce
CN105787490A (zh) 基于深度学习的商品潮流识别方法及装置
Barthel et al. Navigating a graph of scenes for exploring large video collections
CN108197180A (zh) 一种服装属性可编辑的服装图像检索的方法
CN102902807A (zh) 使用多个视觉输入模态的视觉搜索
CN109582813A (zh) 一种文物展品的检索方法、装置、设备和存储介质
CN102236714A (zh) 一种基于xml的交互应用多媒体信息检索方法
Nguyen-Quynh et al. Image colorization using the global scene-context style and pixel-wise semantic segmentation
US10984572B1 (en) System and method for integrating realistic effects onto digital composites of digital visual media

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220221

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.