CN1892701A - 视频数据搜索方法 - Google Patents

视频数据搜索方法 Download PDF

Info

Publication number
CN1892701A
CN1892701A CNA2006101006157A CN200610100615A CN1892701A CN 1892701 A CN1892701 A CN 1892701A CN A2006101006157 A CNA2006101006157 A CN A2006101006157A CN 200610100615 A CN200610100615 A CN 200610100615A CN 1892701 A CN1892701 A CN 1892701A
Authority
CN
China
Prior art keywords
video
video flowing
rih
frame
brightness histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101006157A
Other languages
English (en)
Other versions
CN100472563C (zh
Inventor
申铉枓
崔良林
B·S·曼朱纳思
孙新丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
University of California
Original Assignee
Samsung Electronics Co Ltd
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, University of California filed Critical Samsung Electronics Co Ltd
Publication of CN1892701A publication Critical patent/CN1892701A/zh
Application granted granted Critical
Publication of CN100472563C publication Critical patent/CN100472563C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

提供一种在视频流中搜索希望的视频的方法，包括步骤：接收第一视频流；确定第一视频流的第一亮度直方图；接收第二视频流；确定第二视频流的第二亮度直方图；利用第一亮度直方图和第二亮度直方图之间的差来计算第一视频流和第二视频流之间的亮度差；以及在第二视频流中搜索在亮度直方图中具有最小差值的一部分第二视频流。

Description

视频数据搜索方法
本申请是2004年7月14日提交的分案申请200410069847.1的发明专利申请“数字视频分析方法”的分案申请。
技术领域
本发明涉及一种数字视频分析方法，具体地说，涉及一种在视频流中搜索希望的视频的方法。
背景技术
当收视者收看视频景物时，视频景物的亮度是指收视者感受的视频亮度。从整个视频节目来看，这是一个指示景物非常重要的抽象概念。因此，要求用于根据亮度搜索视频码流的一些方法。但是，到目前为止，既不知道根据亮度搜索视频码流的方法，也不知道用于根据亮度搜索视频码流的处理方法。
发明内容
本发明的目的是提供根据视频流的视频亮度搜索希望的视频的方法。
为了实现本发明的上述目的，根据本发明的一方面，提供一种在视频流中搜索希望的视频的方法，包括步骤：接收第一视频流；确定第一视频流的第一亮度直方图；接收第二视频流；确定第二视频流的第二亮度直方图；利用第一亮度直方图和第二亮度直方图之间的差来计算第一视频流和第二视频流之间的亮度差；以及在第二视频流中搜索在亮度直方图中具有最小差值的一部分第二视频流。
根据本发明的一方面，提供一种在视频流中搜索希望的视频的方法，包括步骤：接收第一视频流的第一亮度直方图；接收第二视频流；确定第二视频流的第二亮度直方图；利用第一亮度直方图和第二亮度直方图之间的差来计算第一视频流和第二视频流之间的亮度差；以及在第二视频流中搜索在亮度直方图中具有最小差值的一部分第二视频流。
附图说明
通过参照附图对优选实施例的详细描述，本发明的上述目的和优点将变得更清楚，其中：
图1是表示按照本发明的数字视频处理方法的流程图；和
图2是按照本发明的数字视频处理装置的框图。
具体实施方式
下面将参照附图详细描述本发明的实施例。
在本发明中，为了分类视频景物的亮度，使用运动信息。参照图1，按照本发明的数字视频处理方法包括输入视频码流，最好是MPEG-2视频码流的步骤(步骤100)。接下来，利用景物切割检查算法分组视频码流(步骤102)。然后，选择待处理的一组视频码流(步骤104)。正如在MPEG领域的技术人员所公知，每个视频码流由多个视频帧组成。各个视频帧按照内帧(intraframe)和互帧(inter frame)进行分类。在MPEG技术领域中，内帧一般称为I帧，而互帧称为P帧和B帧。为了解释方便起见，假设B帧是P帧，然后视频帧被分类为I帧和P帧。换言之，所选的视频码流组I帧和P帧组成。
接下来，按顺序选择所选视频码流组的每个P帧(步骤106)。然后在步骤108，相对于选择P帧，计算运动补偿值为0的块数与宏块的总数的比率R，如公式(1)所表示：
R＝Number of NO_MC blocks/Total number of macroblcks…(1)
其中，NO_MC blocks是构成P帧的各个宏块中运动补偿值为0的块。相对于各互帧，运动补偿值为0的各个块的分配被定义为运动活动。
接下来，比率R被量化为5级I1、I2、I3、I4、和I5之一。例如，级I1、I2、I3、I4、和I5分别涉及比率R小于5％、大于或等于5％和小于10％、大于或等于10％和小于30％、大于或等于30％和小于50％、和大于或等于50％。按照这样一种方式，完成每个P帧的处理。
接下来，检查经处理的P帧是否是最后一个(步骤112)。如果不是，则选择下一个P帧(步骤114)和执行步骤106到110，直至处理最后的P帧。然后，假设i是从1到5的一个整数，并且在第i级(li)中的P帧数与在一个区域中P帧的总数的比率表示为pi，pI按照如下公式计算：
pI＝Number of p frames in li/Total Number of p frames in a region…(2)
按如下公式确定一个区域亮度直方图：
RIH＝(p1、p2、p3、p4、p5)…(3)
其中，该区域表示一个选择的组(步骤116)。
然后，检查所选的组是否是最后一个(步骤118)。如果不是，则选择下一个组(步骤120)和执行步骤106到116。按照这种方式，完成对所有组的处理。
按照该数字视频处理方法，根据各个P帧的运动补偿值获得RIH信息。RIH信息是视频景物的运动信息的一个好的指示符。另外，RIH信息是视频景物的亮度的相当好的指示符。
该数字视频处理方法是通过计算机可编程的。构成计算机程序的各个码和码段可以很容易地由本技术领域的计算机程序员得到。另外，该程序被存储在计算机可读介质和被计算机执行，从而实施该数字视频处理方法。这种介质包括磁记录介质、光记录介质、载波媒介等等。
另外，该数字视频处理方法可以在数字视频处理装置上实现。图2是按照本发明的数字视频处理装置。参照图2，数字视频处理设备包括：分组单元200、NO_MC块比率计算单元202、量化单元204、RIH计算单元206、和RIH信息存储单元208。
在该数字视频处理装置的操作中，分组单元200利用景物切割检查算法分组视频码流，选择一个待处理的组，并且按顺序地从所选组中选择和输出每个P帧。
NO_MC块比率计算单元202按照公式(1)的定义，计算运动补偿值为0的块数与宏块总数的比率并输出代表计算的比率的比率数据R。
量化单元204量化比率R为I1、I2、I3、I4、和I55级之一，然后输出指示相应级的级指示信号I1、I2、I3、I4、和I5。相应级I1、I2、I3、I4、和I5是对于比率R分别小于5％、大于或等于5％和小于10％、大于或等于10％和小于30％、大于或等于30％和小于50％、和大于或等于50％。按照这样一种方式，完成每个P帧的处理。
如果完成最后的P帧的处理，RIH计算单元206计算在第i级中P帧数与在一个区域中P帧总数的比率，该比率由公式(2)表示的pI代表，输出按公式(3)表示的区域亮度直方图(RIH)数据。
RIH信息存储单元208接收RIH信息(p1、p2、p3、p4、p5)并且在其中将它们存储。更好是，RIH信息存储单元208接收视频码流数据，交叉RIH信息与视频码流数据并输出插入RIH信息的视频码流。
通过利用如图1所示的数字视频处理方法和利用如图2所示的数字视频处理装置处理的视频码流，两个任意的视频码流的亮度可以被进行比较和分析。
按照本发明的数字视频分析方法，可以按照由公式(4)的表示计算RIH1和RIH2之间的距离(RIH1、RIH2)：
Distance(RIH1、RIH2)＝(RIH1-RIH2)TM1(RIH1-RIH2)…(4)
其中，在一个特定视频景物的两个视频码流，第一视频码流的RIH信息是RIH1，第二视频码流的RIH信息是RIH2，和M是协方差矩阵。
由上述数字视频分析方法计算的Distance(RIH1、RIH2)正确地指示两个视频码流之间在强度上的差异。
利用在如图2所示数字视频处理装置实现的由如图1所示数字视频处理方法处理的视频码流，通过按照本发明的数字视频搜索方法可以有效地执行区域搜索。
按照本发明的数字视频搜索方法是根据由如图1所示的数字视频处理方法视频码流的假设。换言之，应当理解为，按照本发明的数字视频搜索方法包含已经参照图1描述的数字视频处理方法。
按照本发明的数字视频搜索方法，首先获得选择的视频景物，即视频区域的RIH信息。
接下来，相对于由如图1所示的数字视频处理方法的视频码流，根据获得的RIH信息搜索具有相似RIH信息的各个区域，即具有相似亮度的视频景物。
因为RIH信息是根据各P帧的运动补偿值确定的，所以是对指示视频景物的运动信息的正确指示。另外，相对于互帧运动补偿值为0的各个块的分布，说明运动活动相当好。再有，在视频节目中，特别是，在运动节目中，运动信息非常地接近有关视频码流的内容。根据运动信息的RIH信息是相当好的视频景物亮度的指示符。换言之，通过根据RIH信息搜索类似视频景物，可以有效地搜索具有类似亮度的各景物的视频码流。
上述数字视频搜索方法可以应用到诸如基于视频搜索引擎的内容之类的多媒体推/拉应用领域。
另外，通过计算机数字视频搜索方法是可编程的。由本领域的计算机程序员可以很容易地得到构成计算机程序的各个码和码段。另外，该程序被存储在计算机可读介质并且由计算机可读出和利执行，从而实现该数字视频搜索方法。媒体包括磁记录媒体、光记录媒体、载波媒体等等。
另外，数字视频处理方法可以在数字视频搜索装置上实现(未示出)。按照本发明的数字搜索装置包括：一个分组单元、一个运动补偿信息检索单元、和一个搜索单元。
在数字视频搜索装置的操作中，分组单元利用景物切割检查算法分组输入视频码流为多个组。
运动补偿信息检索单元从所选的组中对各P帧的运动补偿提取信息并输出包含作为所选的组的RIH信息的经处理的视频码流。
搜索单元提取所选的待搜索的RIH信息并根据检索的RIH信息搜索具有类似RIH信息的各个区域。
上述的数字视频搜索装置通过根据RIH信息搜索类似的景物，可以有效地搜索具有类似亮度的各个教务的视频码流。
如上所述，按照本发明，根据各内帧的运动补偿值获得RIH信息，并该RIH信息是视频景物的运动信息的好的指示符。另外，因为RIH信息是视频景物相当好的指示符，通过根据由按照本发明的数字视频处理方法获得的RIH信息搜索类似的视频景物，可以有效地搜索具有类似亮度的的各个视频码流。
本发明可以应用到诸如基于视频搜索引擎的内容之类的多媒体推/拉应用领域。

Claims (4)

1.一种在视频流中搜索希望的视频的方法，包括步骤：
接收第一视频流；
确定第一视频流的第一亮度直方图；
接收第二视频流；
确定第二视频流的第二亮度直方图；
利用第一亮度直方图和第二亮度直方图之间的差来计算第一视频流和第二视频流之间的亮度差；以及
在第二视频流中搜索在亮度直方图中具有最小差值的一部分第二视频流。
2.按照权利要求1所述的方法，其中，第一视频流和第二视频流之间的亮度差是利用协方差矩阵计算出来的。
3.按照权利要求1所述的方法，其中，每个视频流的第一和第二亮度直方图都是根据关于互帧的运动补偿的信息来确定的。
4.一种在视频流中搜索希望的视频的方法，包括步骤：
接收第一视频流的第一亮度直方图；
接收第二视频流；
确定第二视频流的第二亮度直方图；
利用第一亮度直方图和第二亮度直方图之间的差来计算第一视频流和第二视频流之间的亮度差；以及
在第二视频流中搜索在亮度直方图中具有最小差值的一部分第二视频流。
CNB2006101006157A 1999-02-05 2000-02-03 视频数据搜索方法 Expired - Lifetime CN100472563C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11875099P 1999-02-05 1999-02-05
US60/118,750 1999-02-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNA2004100698471A Division CN1585491A (zh) 1999-02-05 2000-02-03 数字视频分析方法

Publications (2)

Publication Number Publication Date
CN1892701A true CN1892701A (zh) 2007-01-10
CN100472563C CN100472563C (zh) 2009-03-25

Family

ID=22380518

Family Applications (5)

Application Number Title Priority Date Filing Date
CNB2006101006157A Expired - Lifetime CN100472563C (zh) 1999-02-05 2000-02-03 视频数据搜索方法
CNA2004100698471A Pending CN1585491A (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNB008039941A Expired - Fee Related CN1187713C (zh) 1999-02-05 2000-02-03 数字视频处理方法及其装置
CNB2006101006142A Expired - Lifetime CN100543772C (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNA2006101006161A Pending CN1897037A (zh) 1999-02-05 2000-02-03 处理视频数字的设备

Family Applications After (4)

Application Number Title Priority Date Filing Date
CNA2004100698471A Pending CN1585491A (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNB008039941A Expired - Fee Related CN1187713C (zh) 1999-02-05 2000-02-03 数字视频处理方法及其装置
CNB2006101006142A Expired - Lifetime CN100543772C (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNA2006101006161A Pending CN1897037A (zh) 1999-02-05 2000-02-03 处理视频数字的设备

Country Status (12)

Country Link
EP (4) EP1947579A3 (zh)
JP (3) JP3983981B2 (zh)
KR (2) KR100452063B1 (zh)
CN (5) CN100472563C (zh)
AU (1) AU751231C (zh)
BR (1) BR0008001A (zh)
CA (5) CA2442628C (zh)
MX (1) MXPA01007925A (zh)
MY (1) MY129827A (zh)
NZ (1) NZ513342A (zh)
TW (1) TW524021B (zh)
WO (1) WO2000047000A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473282A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 外部光映入判定装置、视线检测装置及外部光映入判定方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600784B1 (en) * 2000-02-02 2003-07-29 Mitsubishi Electric Research Laboratories, Inc. Descriptor for spatial distribution of motion activity in compressed video
KR100652703B1 (ko) * 2004-12-08 2006-12-01 엘지전자 주식회사 휴대단말기의 동영상 검색장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2008819A1 (en) * 1989-02-14 1990-08-14 Dimitris Manolakis Regionally adaptive imaging techniques
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US5561477A (en) * 1994-10-26 1996-10-01 Thomson Consumer Electronics, Inc. System for coding a video signal in the presence of an image intensity gradient
US5649025A (en) * 1995-02-03 1997-07-15 Xerox Corporation Multithresholding for document image segmentation
US5644651A (en) * 1995-03-31 1997-07-01 Nec Research Institute, Inc. Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation
JPH09322173A (ja) * 1996-05-27 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 動画像テロップ抽出方法及び装置
KR100297830B1 (ko) * 1996-11-09 2001-08-07 윤종용 영상단위별 비트발생량 조절 장치 및 방법
JP3808153B2 (ja) * 1997-01-17 2006-08-09 富士通株式会社 動画像検索システム
KR100311739B1 (ko) * 1998-11-13 2001-12-17 오길록 동영상장면변환검출방법
KR100361939B1 (ko) * 1999-07-27 2002-11-22 학교법인 한국정보통신학원 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체
KR100324255B1 (ko) * 1999-12-28 2002-02-25 박호군 내용 기반 동영상 검색 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473282A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 外部光映入判定装置、视线检测装置及外部光映入判定方法
CN102473282B (zh) * 2010-06-17 2015-01-14 松下电器（美国）知识产权公司 外部光映入判定装置、视线检测装置及外部光映入判定方法

Also Published As

Publication number Publication date
CA2442637A1 (en) 2000-08-10
CA2442632C (en) 2007-01-23
MXPA01007925A (es) 2004-03-26
KR20040023677A (ko) 2004-03-18
CA2442632A1 (en) 2000-08-10
CN1341325A (zh) 2002-03-20
CN1585491A (zh) 2005-02-23
JP2002536927A (ja) 2002-10-29
CA2361742C (en) 2005-04-12
CA2361742A1 (en) 2000-08-10
CN100472563C (zh) 2009-03-25
EP1947579A2 (en) 2008-07-23
AU751231C (en) 2003-06-19
EP1947578A3 (en) 2012-04-11
AU751231B2 (en) 2002-08-08
JP4154459B2 (ja) 2008-09-24
CA2442644C (en) 2007-01-23
KR100452063B1 (ko) 2004-10-12
KR20010113664A (ko) 2001-12-28
CN100543772C (zh) 2009-09-23
EP1947578A2 (en) 2008-07-23
WO2000047000A1 (en) 2000-08-10
CA2442628A1 (en) 2000-08-10
CN1187713C (zh) 2005-02-02
EP1947579A3 (en) 2012-04-11
KR100454914B1 (ko) 2004-11-09
CN1897037A (zh) 2007-01-17
MY129827A (en) 2007-05-31
TW524021B (en) 2003-03-11
EP1149500A4 (en) 2007-09-05
JP4167245B2 (ja) 2008-10-15
JP2005302059A (ja) 2005-10-27
BR0008001A (pt) 2002-01-15
EP1947608A2 (en) 2008-07-23
JP2006014308A (ja) 2006-01-12
CA2442644A1 (en) 2000-08-10
NZ513342A (en) 2002-06-28
CA2442628C (en) 2005-04-12
EP1947608A3 (en) 2012-04-11
CN1892700A (zh) 2007-01-10
EP1149500A1 (en) 2001-10-31
JP3983981B2 (ja) 2007-09-26
AU2577300A (en) 2000-08-25

Similar Documents

Publication Publication Date Title
KR100452064B1 (ko) 디지털 영상 처리 장치
CN1189037C (zh) 确定不同图像的像素阵列间最佳配置方法和运动估计搜索引擎
CN1495670A (zh) 彩色图像处理方法和装置
CN1336071A (zh) 视频序列结构的自动提取方法
CN1341246A (zh) 彩色图像处理方法和装置
CN1892701A (zh) 视频数据搜索方法
CN109218728B (zh) 一种场景切换检测方法和系统
US7656951B2 (en) Digital video processing method and apparatus thereof
CN1474980A (zh) 编码
CN1201589C (zh) 运动估计方法和装置
Abdelali et al. A study of the color-structure descriptor for shot boundary detection
CN1744079A (zh) 一种数据库优化方法
Liu et al. Video feature selection using fast-converging sort-merge tree
CN117251591A (zh) 一种配电网图像快速检索方法及系统
Izquierdo A low access latency video portal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20090325