CN1897037A - 处理视频数字的设备 - Google Patents

处理视频数字的设备 Download PDF

Info

Publication number
CN1897037A
CN1897037A CNA2006101006161A CN200610100616A CN1897037A CN 1897037 A CN1897037 A CN 1897037A CN A2006101006161 A CNA2006101006161 A CN A2006101006161A CN 200610100616 A CN200610100616 A CN 200610100616A CN 1897037 A CN1897037 A CN 1897037A
Authority
CN
China
Prior art keywords
frame
video
digital video
equipment
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101006161A
Other languages
English (en)
Inventor
申铉枓
崔良林
B·S·曼朱纳思
孙新丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
University of California
Original Assignee
Samsung Electronics Co Ltd
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, University of California filed Critical Samsung Electronics Co Ltd
Publication of CN1897037A publication Critical patent/CN1897037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供一种处理视频数字的设备，包括运动强度级别计算单元，用于从输入视频数据中分析具有运动活动的P帧，并且利用包含在输入视频数据中的相应P帧的运动活动计算指示相应P帧的运动强度的运动强度级别；以及直方图计算单元，用于计算指示相应运动强度级别的频率的直方图。

Description

处理视频数字的设备
本申请是2004年7月14日提交的分案申请200410069847.1的发明专利申请“数字视频分析方法”的分案申请。
技术领域
本发明涉及一种处理视频数字的设备。
背景技术
当收视者收看视频景物时，视频景物的强度是指收视者感受的视频强度。从整个视频节目来看，这是一个指示景物非常重要的抽象概念。因此，要求用于根据强度搜索视频码流的一些方法。但是，到目前为止，既不知道根据强度搜索视频码流的方法，也不知道用于根据强度搜索视频码流的处理方法。
发明内容
本发明的目的是根据输入视频数据的运动强度级别的频率的直方图搜索视频码流。
为了实现本发明的目的，提供一种处理视频数字的设备，包括：运动强度级别计算单元，用于从输入视频数据中分析具有运动活动的P帧，并且利用包含在输入视频数据中的相应P帧的运动活动计算指示相应P帧的运动强度的运动强度级别；以及直方图计算单元，用于计算指示相应运动强度级别的频率的直方图。
附图说明
通过参照附图对优选实施例的详细描述，本发明的上述目的和优点将变得更清楚，其中：
图1是表示按照本发明的数字视频处理方法的流程图；和
图2是按照本发明的数字视频处理装置的框图。
具体实施方式
下面将参照附图详细描述本发明的实施例。
在本发明中，为了分类视频景物的强度，使用运动信息。参照图1，按照本发明的数字视频处理方法包括输入视频码流，最好是MPEG-2视频码流的步骤(步骤100)。接下来，利用景物切割检查算法分组视频码流(步骤102)。然后，选择待处理的一组视频码流(步骤104)。正如在MPEG领域的技术人员所公知，每个视频码流由多个视频帧组成。各个视频帧按照内帧(intraframe)和互帧(inter frame)进行分类。在MPEG技术领域中，内帧一般称为I帧，而互帧称为P帧和B帧。为了解释方便起见，假设B帧是P帧，然后视频帧被分类为I帧和P帧。换言之，所选的视频码流组I帧和P帧组成。
接下来，按顺序选择所选视频码流组的每个P帧(步骤106)。然后在步骤108，相对于选择P帧，计算运动补偿值为0的块数与宏块的总数的比率R，如公式(1)所表示：
R＝Number of NO_MC blocks/Total number of macroblocks...(1)
其中，NO_MC blocks是构成P帧的各个宏块中运动补偿值为0的块。相对于各互帧，运动补偿值为0的各个块的分配被定义为运动活动。
接下来，比率R被量化为5级I1、I2、I3、I4、和I5之一。例如，级I1、I2、I3、I4、和I5分别涉及比率R小于5％、大于或等于5％和小于10％、大于或等于10％和小于30％、大于或等于30％和小于50％、和大于或等于50％。按照这样一种方式，完成每个P帧的处理。
接下来，检查经处理的P帧是否是最后一个(步骤112)。如果不是，则选择下一个P帧(步骤114)和执行步骤106到110，直至处理最后的P帧。然后，假设i是从1到5的一个整数，并且在第i级(li)中的P帧数与在一个区域中P帧的总数的比率表示为pi，pI按照如下公式计算：
pI＝Number of p frames in li/Total Number of p frames in a region...(2)
按如下公式确定一个区域强度直方图：
RIH＝(p1、p2、p3、p4、p5)...(3)
其中，该区域表示一个选择的组(步骤116)。
然后，检查所选的组是否是最后一个(步骤118)。如果不是，则选择下一个组(步骤120)和执行步骤106到116。按照这种方式，完成对所有组的处理。
按照该数字视频处理方法，根据各个P帧的运动补偿值获得RIH信息。RIH信息是视频景物的运动信息的一个好的指示符。另外，RIH信息是视频景物的强度的相当好的指示符。
该数字视频处理方法是通过计算机可编程的。构成计算机程序的各个码和码段可以很容易地由本技术领域的计算机程序员得到。另外，该程序被存储在计算机可读介质和被计算机执行，从而实施该数字视频处理方法。这种介质包括磁记录介质、光记录介质、载波媒介等等。
另外，该数字视频处理方法可以在数字视频处理装置上实现。图2是按照本发明的数字视频处理装置。参照图2，数字视频处理设备包括：分组单元200、NO_MC块比率计算单元202、量化单元204、RIH计算单元206、和RIH信息存储单元208。
在该数字视频处理装置的操作中，分组单元200利用景物切割检查算法分组视频码流，选择一个待处理的组，并且按顺序地从所选组中选择和输出每个P帧。
NO_MC块比率计算单元202按照公式(1)的定义，计算运动补偿值为0的块数与宏块总数的比率并输出代表计算的比率的比率数据R。
量化单元204量化比率R为I1、I2、I3、I4、和I55级之一，然后输出指示相应级的级指示信号I1、I2、I3、I4、和I5。相应级I1、I2、I3、I4、和I5是对于比率R分别小于5％、大于或等于5％和小于10％、大于或等于10％和小于30％、大于或等于30％和小于50％、和大于或等于50％。按照这样一种方式，完成每个P帧的处理。
如果完成最后的P帧的处理，RIH计算单元206计算在第i级中P帧数与在一个区域中P帧总数的比率，该比率由公式(2)表示的pI代表，输出按公式(3)表示的区域强度直方图(RIH)数据。
RIH信息存储单元208接收RIH信息(p1、p2、p3、p4、p5)并且在其中将它们存储。更好是，RIH信息存储单元208接收视频码流数据，交叉RIH信息与视频码流数据并输出插入RIH信息的视频码流。
通过利用如图1所示的数字视频处理方法和利用如图2所示的数字视频处理装置处理的视频码流，两个任意的视频码流的强度可以被进行比较和分析。
按照本发明的数字视频分析方法，可以按照由公式(4)的表示计算RIH1和RIH2之间的距离(RIH1、RIH2)：
Distance(RIH1、RIH2)＝(RIH1-RIH2)TM1(RIH1-RIH2)...(4)
其中，在一个特定视频景物的两个视频码流，第一视频码流的RIH信息是RIH1，第二视频码流的RIH信息是RIH2，和M是协方差矩阵。
由上述数字视频分析方法计算的Distance(RIH1、RIH2)正确地指示两个视频码流之间在强度上的差异。
利用在如图2所示数字视频处理装置实现的由如图1所示数字视频处理方法处理的视频码流，通过按照本发明的数字视频搜索方法可以有效地执行区域搜索。
按照本发明的数字视频搜索方法是根据由如图1所示的数字视频处理方法视频码流的假设。换言之，应当理解为，按照本发明的数字视频搜索方法包含已经参照图1描述的数字视频处理方法。
按照本发明的数字视频搜索方法，首先获得选择的视频景物，即视频区域的RIH信息。
接下来，相对于由如图1所示的数字视频处理方法的视频码流，根据获得的RIH信息搜索具有相似RIH信息的各个区域，即具有相似强度的视频景物。
因为RIH信息是根据各P帧的运动补偿值确定的，所以是对指示视频景物的运动信息的正确指示。另外，相对于互帧运动补偿值为0的各个块的分布，说明运动活动相当好。再有，在视频节目中，特别是，在运动节目中，运动信息非常地接近有关视频码流的内容。根据运动信息的RIH信息是相当好的视频景物强度的指示符。换言之，通过根据RIH信息搜索类似视频景物，可以有效地搜索具有类似强度的各景物的视频码流。
上述数字视频搜索方法可以应用到诸如基于视频搜索引擎的内容之类的多媒体推/拉应用领域。
另外，通过计算机数字视频搜索方法是可编程的。由本领域的计算机程序员可以很容易地得到构成计算机程序的各个码和码段。另外，该程序被存储在计算机可读介质并且由计算机可读出和利执行，从而实现该数字视频搜索方法。媒体包括磁记录媒体、光记录媒体、载波媒体等等。
另外，数字视频处理方法可以在数字视频搜索装置上实现(未示出)。按照本发明的数字搜索装置包括：一个分组单元、一个运动补偿信息检索单元、和一个搜索单元。
在数字视频搜索装置的操作中，分组单元利用景物切割检查算法分组输入视频码流为多个组。
运动补偿信息检索单元从所选的组中对各P帧的运动补偿提取信息并输出包含作为所选的组的RIH信息的经处理的视频码流。
搜索单元提取所选的待搜索的RIH信息并根据检索的RIH信息搜索具有类似RIH信息的各个区域。
上述的数字视频搜索装置通过根据RIH信息搜索类似的景物，可以有效地搜索具有类似强度的各个教务的视频码流。
如上所述，按照本发明，根据各内帧的运动补偿值获得RIH信息，并该RIH信息是视频景物的运动信息的好的指示符。另外，因为RIH信息是视频景物相当好的指示符，通过根据由按照本发明的数字视频处理方法获得的RIH信息搜索类似的视频景物，可以有效地搜索具有类似强度的的各个视频码流。
本发明可以应用到诸如基于视频搜索引擎的内容之类的多媒体推/拉应用领域。

Claims (7)

1.一种处理视频数字的设备，包括：
运动强度级别计算单元，用于从输入视频数据中分析具有运动活动的P帧，并且利用包含在输入视频数据中的相应P帧的运动活动计算指示相应P帧的运动强度的运动强度级别；以及
直方图计算单元，用于计算指示相应运动强度级别的频率的直方图。
2.按照权利要求1的设备，其中，直方图指示具有相应运动强度级别的P帧的数量与构成输入视频数据的所有P帧的数量的比率。
3.按照权利要求1的设备，其中，相应运动强度级别是利用包含在对应P帧中的预定大小的块的运动补偿值计算出来的。
4.按照权利要求1的设备，其中，相应运动强度级别指示其运动补偿值为零的块的数量与包含在对应P帧中的所有块的数量的比率。
5.按照权利要求1的设备，还包括分组单元，用于将视频流划分为至少一个视频数据，从该至少一个视频数据中选择输入视频数据，并将输入视频数据输出到运动强度级别计算单元。
6.按照权利要求4的设备，还包括量化单元，用于量化运动强度级别并将经量化的运动强度级别输出到运动强度级别计算单元。
7.按照权利要求5的设备，其中，分组单元利用景物切割检查算法划分视频流。
CNA2006101006161A 1999-02-05 2000-02-03 处理视频数字的设备 Pending CN1897037A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11875099P 1999-02-05 1999-02-05
US60/118,750 1999-02-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNA2004100698471A Division CN1585491A (zh) 1999-02-05 2000-02-03 数字视频分析方法

Publications (1)

Publication Number Publication Date
CN1897037A true CN1897037A (zh) 2007-01-17

Family

ID=22380518

Family Applications (5)

Application Number Title Priority Date Filing Date
CNA2004100698471A Pending CN1585491A (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNB008039941A Expired - Fee Related CN1187713C (zh) 1999-02-05 2000-02-03 数字视频处理方法及其装置
CNB2006101006142A Expired - Lifetime CN100543772C (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNB2006101006157A Expired - Lifetime CN100472563C (zh) 1999-02-05 2000-02-03 视频数据搜索方法
CNA2006101006161A Pending CN1897037A (zh) 1999-02-05 2000-02-03 处理视频数字的设备

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CNA2004100698471A Pending CN1585491A (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNB008039941A Expired - Fee Related CN1187713C (zh) 1999-02-05 2000-02-03 数字视频处理方法及其装置
CNB2006101006142A Expired - Lifetime CN100543772C (zh) 1999-02-05 2000-02-03 数字视频分析方法
CNB2006101006157A Expired - Lifetime CN100472563C (zh) 1999-02-05 2000-02-03 视频数据搜索方法

Country Status (12)

Country Link
EP (4) EP1149500A4 (zh)
JP (3) JP3983981B2 (zh)
KR (2) KR100452063B1 (zh)
CN (5) CN1585491A (zh)
AU (1) AU751231C (zh)
BR (1) BR0008001A (zh)
CA (5) CA2442628C (zh)
MX (1) MXPA01007925A (zh)
MY (1) MY129827A (zh)
NZ (1) NZ513342A (zh)
TW (1) TW524021B (zh)
WO (1) WO2000047000A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600784B1 (en) * 2000-02-02 2003-07-29 Mitsubishi Electric Research Laboratories, Inc. Descriptor for spatial distribution of motion activity in compressed video
KR100652703B1 (ko) * 2004-12-08 2006-12-01 엘지전자 주식회사 휴대단말기의 동영상 검색장치 및 방법
JP5661043B2 (ja) * 2010-06-17 2015-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2008819A1 (en) * 1989-02-14 1990-08-14 Dimitris Manolakis Regionally adaptive imaging techniques
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US5561477A (en) * 1994-10-26 1996-10-01 Thomson Consumer Electronics, Inc. System for coding a video signal in the presence of an image intensity gradient
US5649025A (en) * 1995-02-03 1997-07-15 Xerox Corporation Multithresholding for document image segmentation
US5644651A (en) * 1995-03-31 1997-07-01 Nec Research Institute, Inc. Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation
JPH09322173A (ja) * 1996-05-27 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 動画像テロップ抽出方法及び装置
KR100297830B1 (ko) * 1996-11-09 2001-08-07 윤종용 영상단위별 비트발생량 조절 장치 및 방법
JP3808153B2 (ja) * 1997-01-17 2006-08-09 富士通株式会社 動画像検索システム
KR100311739B1 (ko) * 1998-11-13 2001-12-17 오길록 동영상장면변환검출방법
KR100361939B1 (ko) * 1999-07-27 2002-11-22 학교법인 한국정보통신학원 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체
KR100324255B1 (ko) * 1999-12-28 2002-02-25 박호군 내용 기반 동영상 검색 방법

Also Published As

Publication number Publication date
CA2442644C (en) 2007-01-23
EP1947608A2 (en) 2008-07-23
MY129827A (en) 2007-05-31
CA2442644A1 (en) 2000-08-10
CA2442632C (en) 2007-01-23
AU751231C (en) 2003-06-19
TW524021B (en) 2003-03-11
CA2442637A1 (en) 2000-08-10
MXPA01007925A (es) 2004-03-26
CA2361742A1 (en) 2000-08-10
AU2577300A (en) 2000-08-25
NZ513342A (en) 2002-06-28
JP2006014308A (ja) 2006-01-12
EP1947578A3 (en) 2012-04-11
CA2442628A1 (en) 2000-08-10
CA2442628C (en) 2005-04-12
CN100472563C (zh) 2009-03-25
EP1947578A2 (en) 2008-07-23
CN1585491A (zh) 2005-02-23
EP1947608A3 (en) 2012-04-11
KR20040023677A (ko) 2004-03-18
CN1892700A (zh) 2007-01-10
KR20010113664A (ko) 2001-12-28
JP4154459B2 (ja) 2008-09-24
KR100452063B1 (ko) 2004-10-12
CA2361742C (en) 2005-04-12
EP1947579A3 (en) 2012-04-11
BR0008001A (pt) 2002-01-15
JP2005302059A (ja) 2005-10-27
EP1947579A2 (en) 2008-07-23
JP3983981B2 (ja) 2007-09-26
CN100543772C (zh) 2009-09-23
CA2442632A1 (en) 2000-08-10
CN1341325A (zh) 2002-03-20
WO2000047000A1 (en) 2000-08-10
CN1892701A (zh) 2007-01-10
JP2002536927A (ja) 2002-10-29
JP4167245B2 (ja) 2008-10-15
CN1187713C (zh) 2005-02-02
KR100454914B1 (ko) 2004-11-09
EP1149500A1 (en) 2001-10-31
EP1149500A4 (en) 2007-09-05
AU751231B2 (en) 2002-08-08

Similar Documents

Publication Publication Date Title
KR100452064B1 (ko) 디지털 영상 처리 장치
CN1189037C (zh) 确定不同图像的像素阵列间最佳配置方法和运动估计搜索引擎
CN1283291A (zh) 执行可缩放的分层运动估算的装置与方法
CN1262496A (zh) 使用正交变换域中的块匹配进行运动估测的方法和装置
CN1653820A (zh) 使用运动信息的mpeg转码系统和方法
CN100337482C (zh) 基于对象边缘的形状快速运动估值的方法
CN1806445A (zh) 编码装置、编码方法和码本
CN1897037A (zh) 处理视频数字的设备
US7006569B1 (en) Digital video processing method and apparatus thereof
CN1474980A (zh) 编码
CN1201589C (zh) 运动估计方法和装置
CN1166206C (zh) 像元匹配运动测定方法及采用该方法的发信机
CN1217125A (zh) 视频数据编码器和解码器
Izquierdo A low access latency video portal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20070117