CN1585491A - 数字视频分析方法 - Google Patents

数字视频分析方法 Download PDF

Info

Publication number
CN1585491A
CN1585491A CNA2004100698471A CN200410069847A CN1585491A CN 1585491 A CN1585491 A CN 1585491A CN A2004100698471 A CNA2004100698471 A CN A2004100698471A CN 200410069847 A CN200410069847 A CN 200410069847A CN 1585491 A CN1585491 A CN 1585491A
Authority
CN
China
Prior art keywords
rih
video
digital video
information
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004100698471A
Other languages
English (en)
Inventor
申铉枓
崔良林
B·S·曼朱纳思
孙新丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
University of California
Original Assignee
Samsung Electronics Co Ltd
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, University of California filed Critical Samsung Electronics Co Ltd
Publication of CN1585491A publication Critical patent/CN1585491A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供一种数字视频分析方法，包括计算RIH1和RIH2之间差的步骤，该差是按照如下公式表示的Distance (RIH1、RIH2)代表：Distance(RIH1、RIH2)＝(RIH1－RIH2) TM－1 (RIH1、RIH2)，其中，在特定的视频景物中有两个视频码流，第一视频码流的RIH信息是RIH1，第二视频码流的RIH信息是RIH2，以及M是协方差矩阵。该RIH信息是根据各互帧的运动补偿值获得的并且RIH信息是视频景物的运动信息的良好的指示符。另外，因为RIH信息是视频景物的亮度的良好的指示符，所以由上述数字视频分析方法计算的Distance(RIH1、RIH2)正确地指示两个视频码流之间在亮度上的差。

Description

数字视频分析方法
本申请是2000年2月3日提交的申请号为00803994.1的发明专利申请“数字视频处理方法及其装置”的分案申请。
技术领域
本发明涉及一种数字视频分析方法。
背景技术
当收视者收看视频景物时，视频景物的亮度是指收视者感受的视频亮度。从整个视频节目来看，这是一个指示景物非常重要的抽象概念。因此，要求用于根据亮度搜索视频码流的一些方法。但是，到目前为止，既不知道根据亮度搜索视频码流的方法，也不知道用于根据亮度搜索视频码流的处理方法。
发明内容
本发明的目的是提供一种用于比较由数字视频处理方法处理的视频码流亮度的数字视频分析方法。
为了实现本发明的目的，提供一种数字视频分析方法，该方法包括计算由Distance (RIH1、RIH2)表示的RIH1和RIH2之间的差，该差利用下列公式表示：
Distance(RIH1、RIH2)＝(RIH1-RIH2)TM-1(RIH1、RIH2)
其中在特定的视频景物中有2个视频码流，第一个视频码流的RIH信息是RIH1，第二个视频码流的RIH信息是RIH2，M是协方差矩阵。
附图说明
通过参照附图对优选实施例的详细描述，本发明的上述目的和优点将变得更清楚，其中：
图1是表示按照本发明的数字视频处理方法的流程图；和
图2是按照本发明的数字视频处理装置的框图。
具体实施方式
下面将参照附图详细描述本发明的实施例。
在本发明中，为了分类视频景物的亮度，使用运动信息。参照图1，按照本发明的数字视频处理方法包括输入视频码流，最好是MPEG-2视频码流的步骤(步骤100)。接下来，利用景物切割检查算法分组视频码流(步骤102)。然后，选择待处理的一组视频码流(步骤104)。正如在MPEG领域的技术人员所公知，每个视频码流由多个视频帧组成。各个视频帧按照内帧(intraframe)和互帧(inter frame)进行分类。在MPEG技术领域中，内帧一般称为I帧，而互帧称为P帧和B帧。为了解释方便起见，假设B帧是P帧，然后视频帧被分类为I帧和P帧。换言之，所选的视频码流组I帧和P帧组成。
接下来，按顺序选择所选视频码流组的每个P帧(步骤106)。然后在步骤108，相对于选择P帧，计算运动补偿值为0的块数与宏块的总数的比率R，如公式(1)所表示：
R＝Number of NO_MC blocks/Total number of macroblocks…(1)
其中，NO_MC blocks是构成P帧的各个宏块中运动补偿值为0的块。相对于各互帧，运动补偿值为0的各个块的分配被定义为运动活动。
接下来，比率R被量化为5级I1、I2、I3、I4、和I5之一。例如，级I1、I2、I3、I4、和I5分别涉及比率R小于5％、大于或等于5％和小于10％、大于或等于10％和小于30％、大于或等于30％和小于50％、和大于或等于50％。按照这样一种方式，完成每个P帧的处理。
接下来，检查经处理的P帧是否是最后一个(步骤112)。如果不是，则选择下一个P帧(步骤114)和执行步骤106到110，直至处理最后的P帧。然后，假设i是从1到5的一个整数，并且在第i级(li)中的P帧数与在一个区域中P帧的总数的比率表示为pi，pI按照如下公式计算：
pI＝Number of p frames in li／Total Number of p frames in a region…(2)
按如下公式确定一个区域亮度直方图：
RIH＝(p1、p2、p3、p4、p5)…(3)
其中，该区域表示一个选择的组(步骤116)。
然后，检查所选的组是否是最后一个(步骤118)。如果不是，则选择下一个组(步骤120)和执行步骤106到116。按照这种方式，完成对所有组的处理。
按照该数字视频处理方法，根据各个P帧的运动补偿值获得RIH信息。RIH信息是视频景物的运动信息的一个好的指示符。另外，RIH信息是视频景物的亮度的相当好的指示符。
该数字视频处理方法是通过计算机可编程的。构成计算机程序的各个码和码段可以很容易地由本技术领域的计算机程序员得到。另外，该程序被存储在计算机可读介质和被计算机执行，从而实施该数字视频处理方法。这种介质包括磁记录介质、光记录介质、载波媒介等等。
另外，该数字视频处理方法可以在数字视频处理装置上实现。图2是按照本发明的数字视频处理装置。参照图2，数字视频处理设备包括：分组单元200、NO_MC块比率计算单元202、量化单元204、RIH计算单元206、和RIH信息存储单元208。
在该数字视频处理装置的操作中，分组单元200利用景物切割检查算法分组视频码流，选择一个待处理的组，并且按顺序地从所选组中选择和输出每个P帧。
NO_MC块比率计算单元202按照公式(1)的定义，计算运动补偿值为0的块数与宏块总数的比率并输出代表计算的比率的比率数据R。
量化单元204量化比率R为I1、I2、I3、I4、和I55级之一，然后输出指示相应级的级指示信号I1、I2、I3、I4、和I5。相应级I1、I2、I3、I4、和I5是对于比率R分别小于5％、大于或等于5％和小于10％、大于或等于10％和小于30％、大于或等于30％和小于50％、和大于或等于50％。按照这样一种方式，完成每个P帧的处理。
如果完成最后的P帧的处理，RIH计算单元206计算在第i级中P帧数与在一个区域中P帧总数的比率，该比率由公式(2)表示的pI代表，输出按公式(3)表示的区域亮度直方图(RIH)数据。
RIH信息存储单元208接收RIH信息(p1、p2、p3、p4、p5)并且在其中将它们存储。更好是，RIH信息存储单元208接收视频码流数据，交叉RIH信息与视频码流数据并输出插入RIH信息的视频码流。
通过利用如图1所示的数字视频处理方法和利用如图2所示的数字视频处理装置处理的视频码流，两个任意的视频码流的亮度可以被进行比较和分析。
按照本发明的数字视频分析方法，可以按照由公式(4)的表示计算RIH1和RIH2之间的差，即距离(RIH1、RIH2)：
Distance(RIH1、RIH2)＝(RIH1-RIH2)TM-1(RIH1、RIH2)…(4)
其中，在一个特定视频景物的两个视频码流，第一视频码流的RIH信息是RIH1，第二视频码流的RIH信息是RIH2，和M是协方差矩阵。
由上述数字视频分析方法计算的Distance(RIH1、RIH2)正确地指示两个视频码流之间在亮度上的差。
利用在如图2所示数字视频处理装置实现的由如图1所示数字视频处理方法处理的视频码流，通过按照本发明的数字视频搜索方法可以有效地执行区域搜索。
按照本发明的数字视频搜索方法是根据由如图1所示的数字视频处理方法视频码流的假设。换言之，应当理解为，按照本发明的数字视频搜索方法包含已经参照图1描述的数字视频处理方法。
按照本发明的数字视频搜索方法，首先获得选择的视频景物，即视频区域的RIH信息。
接下来，相对于由如图1所示的数字视频处理方法的视频码流，根据获得的RIH信息搜索具有相似RIH信息的各个区域，即具有相似亮度的视频景物。
因为RIH信息是根据各P帧的运动补偿值确定的，所以是对指示视频景物的运动信息的正确指示。另外，相对于互帧运动补偿值为0的各个块的分布，说明运动活动相当好。再有，在视频节目中，特别是，在运动节目中，运动信息非常地接近有关视频码流的内容。根据运动信息的RIH信息是相当好的视频景物亮度的指示符。换言之，通过根据RIH信息搜索类似视频景物，可以有效地搜索具有类似亮度的各景物的视频码流。
上述数字视频搜索方法可以应用到诸如基于视频搜索引擎的内容之类的多媒体推/拉应用领域。
另外，通过计算机数字视频搜索方法是可编程的。由本领域的计算机程序员可以很容易地得到构成计算机程序的各个码和码段。另外，该程序被存储在计算机可读介质并且由计算机可读出和利执行，从而实现该数字视频搜索方法。媒体包括磁记录媒体、光记录媒体、载波媒体等等。
另外，数字视频处理方法可以在数字视频搜索装置上实现(未示出)。按照本发明的数字搜索装置包括：一个分组单元、一个运动补偿信息检索单元、和一个搜索单元。
在数字视频搜索装置的操作中，分组单元利用景物切割检查算法分组输入视频码流为多个组。
运动补偿信息检索单元从所选的组中对各P帧的运动补偿提取信息并输出包含作为所选的组的RIH信息的经处理的视频码流。
搜索单元提取所选的待搜索的RIH信息并根据检索的RIH信息搜索具有类似RIH信息的各个区域。
上述的数字视频搜索装置通过根据RIH信息搜索类似的景物，可以有效地搜索具有类似亮度的各个教务的视频码流。
如上所述，按照本发明，根据各内帧的运动补偿值获得RIH信息，并该RIH信息是视频景物的运动信息的好的指示符。另外，因为RIH信息是视频景物相当好的指示符，通过根据由按照本发明的数字视频处理方法获得的RIH信息搜索类似的视频景物，可以有效地搜索具有类似亮度的的各个视频码流。
本发明可以应用到诸如基于视频搜索引擎的内容之类的多媒体推/拉应用领域。

Claims (2)

1.一种数字视频分析方法，包括计算RIH1和RIH2之间差的步骤，该差是按照如下公式表示的Distance(RIH1、RIH2)代表：
Distance(RIH1、RIH2)＝(RIH1-RIH2)TM-1(RIH1、RIH2)
其中，在特定的视频景物中有两个视频码流，第一视频码流的RIH信息是RIH1，第二视频码流的RIH信息是RIH2，以及M是协方差矩阵。
2.按照权利要求1的数字视频分析方法，还包括利用两个视频码流之间的亮度差，确定计算的差的步骤。
CNA2004100698471A 1999-02-05 2000-02-03 数字视频分析方法 Pending CN1585491A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11875099P 1999-02-05 1999-02-05
US60/118,750 1999-02-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB008039941A Division CN1187713C (zh) 1999-02-05 2000-02-03 数字视频处理方法及其装置

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CNB2006101006157A Division CN100472563C (zh) 1999-02-05 2000-02-03 视频数据搜索方法
CNB2006101006142A Division CN100543772C (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNA2006101006161A Division CN1897037A (zh) 1999-02-05 2000-02-03 处理视频数字的设备

Publications (1)

Publication Number Publication Date
CN1585491A true CN1585491A (zh) 2005-02-23

Family

ID=22380518

Family Applications (5)

Application Number Title Priority Date Filing Date
CNA2004100698471A Pending CN1585491A (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNA2006101006161A Pending CN1897037A (zh) 1999-02-05 2000-02-03 处理视频数字的设备
CNB2006101006142A Expired - Lifetime CN100543772C (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNB2006101006157A Expired - Lifetime CN100472563C (zh) 1999-02-05 2000-02-03 视频数据搜索方法
CNB008039941A Expired - Fee Related CN1187713C (zh) 1999-02-05 2000-02-03 数字视频处理方法及其装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
CNA2006101006161A Pending CN1897037A (zh) 1999-02-05 2000-02-03 处理视频数字的设备
CNB2006101006142A Expired - Lifetime CN100543772C (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNB2006101006157A Expired - Lifetime CN100472563C (zh) 1999-02-05 2000-02-03 视频数据搜索方法
CNB008039941A Expired - Fee Related CN1187713C (zh) 1999-02-05 2000-02-03 数字视频处理方法及其装置

Country Status (12)

Country Link
EP (4) EP1149500A4 (zh)
JP (3) JP3983981B2 (zh)
KR (2) KR100454914B1 (zh)
CN (5) CN1585491A (zh)
AU (1) AU751231C (zh)
BR (1) BR0008001A (zh)
CA (5) CA2442628C (zh)
MX (1) MXPA01007925A (zh)
MY (1) MY129827A (zh)
NZ (1) NZ513342A (zh)
TW (1) TW524021B (zh)
WO (1) WO2000047000A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600784B1 (en) * 2000-02-02 2003-07-29 Mitsubishi Electric Research Laboratories, Inc. Descriptor for spatial distribution of motion activity in compressed video
KR100652703B1 (ko) * 2004-12-08 2006-12-01 엘지전자 주식회사 휴대단말기의 동영상 검색장치 및 방법
US8659751B2 (en) * 2010-06-17 2014-02-25 Panasonic Corporation External light glare assessment device, line of sight detection device and external light glare assessment method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2008819A1 (en) * 1989-02-14 1990-08-14 Dimitris Manolakis Regionally adaptive imaging techniques
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US5561477A (en) * 1994-10-26 1996-10-01 Thomson Consumer Electronics, Inc. System for coding a video signal in the presence of an image intensity gradient
US5649025A (en) * 1995-02-03 1997-07-15 Xerox Corporation Multithresholding for document image segmentation
US5644651A (en) * 1995-03-31 1997-07-01 Nec Research Institute, Inc. Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation
JPH09322173A (ja) * 1996-05-27 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 動画像テロップ抽出方法及び装置
KR100297830B1 (ko) * 1996-11-09 2001-08-07 윤종용 영상단위별 비트발생량 조절 장치 및 방법
JP3808153B2 (ja) * 1997-01-17 2006-08-09 富士通株式会社 動画像検索システム
KR100311739B1 (ko) * 1998-11-13 2001-12-17 오길록 동영상장면변환검출방법
KR100361939B1 (ko) * 1999-07-27 2002-11-22 학교법인 한국정보통신학원 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체
KR100324255B1 (ko) * 1999-12-28 2002-02-25 박호군 내용 기반 동영상 검색 방법

Also Published As

Publication number Publication date
CA2361742C (en) 2005-04-12
BR0008001A (pt) 2002-01-15
CA2442628C (en) 2005-04-12
CA2442632C (en) 2007-01-23
JP4167245B2 (ja) 2008-10-15
AU751231B2 (en) 2002-08-08
EP1947579A2 (en) 2008-07-23
KR20040023677A (ko) 2004-03-18
CA2442644C (en) 2007-01-23
CA2442644A1 (en) 2000-08-10
JP2006014308A (ja) 2006-01-12
KR20010113664A (ko) 2001-12-28
CA2442628A1 (en) 2000-08-10
EP1947579A3 (en) 2012-04-11
JP4154459B2 (ja) 2008-09-24
MXPA01007925A (es) 2004-03-26
CN1897037A (zh) 2007-01-17
EP1947578A3 (en) 2012-04-11
AU751231C (en) 2003-06-19
KR100452063B1 (ko) 2004-10-12
KR100454914B1 (ko) 2004-11-09
CN100472563C (zh) 2009-03-25
NZ513342A (en) 2002-06-28
EP1947608A2 (en) 2008-07-23
TW524021B (en) 2003-03-11
AU2577300A (en) 2000-08-25
CA2442632A1 (en) 2000-08-10
CN1341325A (zh) 2002-03-20
CA2442637A1 (en) 2000-08-10
EP1947608A3 (en) 2012-04-11
CN1187713C (zh) 2005-02-02
CN100543772C (zh) 2009-09-23
JP2005302059A (ja) 2005-10-27
CN1892701A (zh) 2007-01-10
MY129827A (en) 2007-05-31
CN1892700A (zh) 2007-01-10
WO2000047000A1 (en) 2000-08-10
EP1149500A1 (en) 2001-10-31
CA2361742A1 (en) 2000-08-10
EP1947578A2 (en) 2008-07-23
EP1149500A4 (en) 2007-09-05
JP3983981B2 (ja) 2007-09-26
JP2002536927A (ja) 2002-10-29

Similar Documents

Publication Publication Date Title
CN101351986B (zh) 基于多分辨率、多帧率空间和时域特征的数字视频对象的指纹生成方法及系统
CN1189037C (zh) 确定不同图像的像素阵列间最佳配置方法和运动估计搜索引擎
KR20040023676A (ko) 디지털 영상 처리 장치
CN101232571A (zh) 一种人体图像匹配方法及视频分析检索系统
CN1647503A (zh) 使用帧差的直方图检测视频中的景物变换的方法和设备
CN1452397A (zh) 利用基数近似或利用差分码和转义码的帧压缩
CN1852442A (zh) 一种分层运动估计方法和超大规模集成电路
CN1336071A (zh) 视频序列结构的自动提取方法
CN1585491A (zh) 数字视频分析方法
US7656951B2 (en) Digital video processing method and apparatus thereof
CN1474980A (zh) 编码
CN1201589C (zh) 运动估计方法和装置
KR20010011348A (ko) 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체
CN117251591A (zh) 一种配电网图像快速检索方法及系统
Izquierdo A low access latency video portal
KR20040090743A (ko) 동영상 압축방법
CN1642253A (zh) 多层次影片浏览系统及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20050223