KR101367821B1 - 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치 - Google Patents

계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치 Download PDF

Info

Publication number
KR101367821B1
KR101367821B1 KR1020090127713A KR20090127713A KR101367821B1 KR 101367821 B1 KR101367821 B1 KR 101367821B1 KR 1020090127713 A KR1020090127713 A KR 1020090127713A KR 20090127713 A KR20090127713 A KR 20090127713A KR 101367821 B1 KR101367821 B1 KR 101367821B1
Authority
KR
South Korea
Prior art keywords
feature
video
information
block
image
Prior art date
Application number
KR1020090127713A
Other languages
English (en)
Other versions
KR20110071209A (ko
Inventor
유원영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090127713A priority Critical patent/KR101367821B1/ko
Priority to CN201010246670.3A priority patent/CN102103686B/zh
Publication of KR20110071209A publication Critical patent/KR20110071209A/ko
Application granted granted Critical
Publication of KR101367821B1 publication Critical patent/KR101367821B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40012Conversion of colour to monochrome
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명에서는 비디오 영상 신호의 계층적 임의 블록에서 대칭정보를 구하고, 계층적 임의 블록을 세분화하여 이 값들을 행렬로 만들어, 이 행렬 값을 특징 값으로 하여 비디오를 식별한다. 먼저, 다수의 프레임으로 구성된 비디오 클립이 입력되면, 입력 비디오 신호의 프레임 레이트를 미리 정한 값으로 변환하여 시간축 상에 발생할 수 있는 변환에 강인하도록 한 다음, 흑백 스케일 변환을 수행하여 비디오 신호의 컬러 정보를 무시하고 밝기 정보만을 이용할 수 있도록 한다. 이어서, 크기 변환에 강인하도록 미리 정한 크기로 비디오의 크기를 정규화하고, 크기가 정규화된 영상을 계층 블록으로 나누고 각 블록에 대한 대칭정보를 추출하여 특징 벡터를 생성한다. 각 영상의 블록들은 시간축 상에서 혹은 임의 위치의 공간상에서 대칭적 구조로 정의하여 회전이나 반전 등과 같은 왜곡 환경에 강인하게 한다.
비디오 식별, 계층적 영상블록, 대칭정보, 회전, 반전

Description

계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치{video identification method and apparatus using symmetric information of hierachical image blocks}
본 발명은 비디오 식별 방법 및 장치에 관한 것이며, 더 상세하게는 계층정 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치에 관한 것이다.
본 발명은 문화체육관광부 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-017-03, 과제명: 사용자 중심의 콘텐츠 보호 유통 기술 개발].
단말기의 다양화, 저장매체의 대용량화, 그리고 통신환경의 고속화는 디지털화된 콘텐츠를 손쉽게 재생하고, 빠르게 전송 또는 공유할 수 있게 해주고 있다. 이와 더불어 디지털화의 특성 때문에 동일한 품질의 불법적인 콘텐츠가 손쉽게 전송, 공유되고 있고, 이로 인한 저작권 침해가 증가하고 있다.
이러한 환경의 도래로 대용량 고화질의 비디오 콘텐츠에 대한 불법적인 공유에 대한 저작권 보호 요구가 증가하고 있으며, 이를 위해 비디오 모니터링 및 필터링 시스템에 대한 요구가 증가하고 있다. 비디오 모니터링 및 필터링 시스템은 저 작권 보호가 필요한 원본 비디오에서 비디오 고유의 특징정보(이를 콘텐츠 DNA라 하기도 한다)를 추출하여 DB에 저장한 후, 비디오 콘텐츠의 전송 및 공유시 비디오의 특징정보를 추출하여 DB와 비교하여 이 결과를 바탕으로 모니터링 및 필터링을 하게 된다.
이와 같은 비디오 모니터링/필터링 시스템을 위해서는 비디오의 전송 및 공유시에 발생할 수 있는 압축, 크기변환, 프레임 레이트 변환 등에 강인한 비디오 특징을 추출하는 것이 중요하다. 특히 최근에는 재생기의 옵션지원으로 90도 회전, 반전 등으로 변환된 콘텐츠에 대해서 대응할 수 있어야 한다.
이러한 배경에서 비디오 인식에 대한 많은 연구가 이루어졌으며, 선행기술을 살펴보면 다음과 같다.
대한민국 등록특허 제10-0644016호의 "동영상 검색 시스템 및 방법"에서는 동영상에서의 장면전환이 발생하는 부분의 이미지와 그 이미지에 대한 주석 그리고 이미지에 대한 색상, 형태, 질감정보를 이용하여 비디오를 검색하는 시스템을 제안하였다. 그러나, 이 시스템을 필터링에 응용하기 위해서는 비디오를 분석하여 주석을 다는 작업이 필요하므로 대용량 비디오에 대한 DB 구축에 많은 시간이 필요하며, 주석의 객관성을 보장하기 어렵다. 또한 프레임 레이트 변환 등으로 장명전화부분의 이미지가 쉽게 달라질 수 있으므로 검색의 신뢰도가 떨어진다.
대한민국 등록 특허 제10-0729660호의 "장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법"에서는 비디오 신호의 장면 전환을 검출하고 이 장면 전환간의 거리를 이용하여 비디오를 인식하는 방법을 제안하였다. 이와 같이 장면 전 환을 기반으로 하는 경우 검색 비디오에 따라 장면 전환의 수가 너무 많거나 적어서 DB를 구성하거나 검색하는 데 문제점이 발생할 수 있다.
Job OOsteven, Ton Kalker 및Japp Haitsma의 논문 "Feature Extraction and a Database Strategy for Video Fingerprinting" (Proceeding of International Conference on Recent Advances in Visual Information Systems, 2002)에서는 영상 블록의 밝기값을 기반으로 하는 비디오 인식 방법을 제안하였다. 이 논문에서는 영상 블록의 평균 밝기 값을 구하고 이 값의 시간 공간간의 차를 이용하여 특징을 추출하였다. 이 경우 특징을 이진화하여 검색에 효율성을 가질 수 있으나, 일정 크기의 연속된 블록의 차분값을 이용함으로써, 회전, 반전, 왜곡 등의 영상을 인식하지 못하며, 대용량의 DB 적용, 검색시간 등의 효율에 문제점이 있다.
모니터링/필터링 시스템을 위한 비디오 식별 기술은 특징 추출 과정에서 적은 연산량이 요구되는 동시에 전송 및 공유시에 발생하는 크기 변환, 압축, 프레임 레이트 변경, 회전, 반전 등에 강인해야 한다. 또한 특징은 비디오의 장르적 특성에 의존적이어서는 안된다. 예를 들어 많은 움직임과 장면전환이 일어나는 액션물이나, 상대적으로 장면전환이나 움직임이 적은 드라마물 간의 인식률 차이가 있어서는 안된다.
본 발명은 상기와 같은 기술적 배경에서 안출된 것으로서, 적은 연산량으로 비디오의 특징을 추출할 수 있으면서 동시에 전송 및 공유시 발생할 수 있는 다양한 왜곡, 즉 크기 변환, 압축, 프레임 레이트 변경, 회전, 반전 등에 강인한 비디오 식별 방법과 장치를 제공하고자 하는 것을 그 목적으로 한다.
본 발명의 목적을 달성하기 위한 제스처 입력 장치는,
상기한 바와 같이 본 발명은 디지털 비디오의 시간적 및 공간적 계층구조를 이용하여 디지털 비디오의 식별속성을 단순화함으로써 검색 성능을 향상시킬 수 있다. 또한, 비디오에 따라 발생할 수 있는 다양한 국부적인 오류는 계층적 속성의 블록크기에 반비례하여 발생됨을 이용하여, 상위계층의 속성만을 사용하여 색인 및 분류에 활용할 수 있도록 하였다. 또한 비디오 식별 시스템의 성격에 따라 식별 가능한 왜곡환경(회전, 반전 등)을 속성차원의 위치만 바꾸어 검색할 수 있고, 속성차원의 크기를 변경함으로써 식별률과 검색시간을 조절하는 것도 가능하다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태 로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하에서 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예를 설명하기로 한다.
본 발명에 따르면, 비디오 신호에서 계층적 영상 블록의 대칭정보를 이용하여 콘텐츠의 식별정보, 즉 콘텐츠의 특징을 추출하여 콘텐츠를 식별한다. 이를 위하여 비디오 영상 신호의 계층적 임의 블록에서 대칭정보를 구하고, 계층적 임의 블록을 세분화하여 이 값들을 행렬로 만들어, 이 행렬 값을 특징 값으로 하여 비디오를 식별한다.
도 1은 본 발명의 실시예에 따른 계층적 영상 블록의 대칭정보를 이용한 비디오 식별 시스템의 구성을 나타내는 도면이다.
도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 계층적 영상 블록의 대칭정보를 이용한 비디오 식별 시스템(100)은 특징 및 메타 정보 데이터베이스(110)와 특징 추출부(120), 데이터베이스 검색부(130), 특징 매칭부(140)를 포함하여 구 성된다.
특징 및 메타 정보 데이터베이스(100)는 다수의 비디오 클립과 비디오 정보를 이용하여 비디오 인식을 위한 특징(콘텐츠 DNA)과 비디오 메타정보를 추출하여 미리 구축한다.
특징 추출부(120)는 식별하고자 하는 비디오 클립의 특징을 추출하는 부분으로서 이의 자세한 구성과 기능에 대해서는 후술한다. 추출된 특징을 이용하여 데이터베이스 검색부(130)는 특징 및 메타 정보 데이터베이스(110)를 검색하고, 특징 매칭부(140)는 추출된 특징과 데이터베이스를 통해 검색된 결과를 매칭한다. 이와 같이 하여 입력된 비디오 클립에 대한 정보를 얻을 수 있다.
본 발명의 실시예에 따른 계층적 영상 블록의 대칭정보를 이용한 비디오 식별 시스템에서는 비디오의 특징 값으로 계층적 영상 블록의 대칭정보를 이용한 특징을 이용한다. 이러한 특징을 추출하는 특징 추출부의 구성과 특징 추출 과정의 예가 도 2에 나타나 있다.
도 2에 나타난 바와 같이, 본 발명의 비디오 식별 시스템(100)의 특징 추출부(120)는 프레임 레이트 변환부(121), 흑백 스케일(grayscale) 변환부(123), 프레임 크기 정규화부(125), 블록 단위 특징 추출부(127)를 포함한다.
다수의 프레임으로 구성된 비디오 클립(220)이 입력되면, 프레임 레이트 변환부(121)는 입력 비디오 신호의 프레임 레이트를 미리 정한 값으로 변환하여 시간축 상에 발생할 수 있는 변환에 강인하도록 한다. 예를 들어 입력 비디오 신호가 어떠한 프레임 레이트를 가지더라도 정해진 동일한 프레임 레이트로 변환하는 작업 을 수행한다.
이어 흑백 스케일 변환부(123)를 통해 흑백 스케일 변환을 수행한다. 이는 비디오 신호의 컬러 정보를 무시하고 밝기 정보만을 이용할 수 있도록 흑백 영상으로 만드는 과정을 수행한다.
다음, 프레임 크기 정규화부(125)는 크기 변환에 강인하도록 미리 정한 크기로 비디오의 크기를 정규화한다.
마지막으로, 블록별 특징 추출부(126)는 영상을 계층 블록으로 나누고 각 블록에 대한 대칭정보를 추출하여 특징 벡터를 생성한다.
각 영상의 블록들은 시간축 상에서 혹은 임의 위치의 공간상에서 대칭적 구조로 정의할 수 있다. 이러한 대칭적 구조를 갖는 영상 블록의 예가 도 3a와 도 3b에 나타나 있으며, 도 3a는 시간적 계층구조, 도 3b는 공간적 계층구조를 각각 나타낸다. 이와 같은 블록의 구조에 대해서는 후술한다.
이와 같이 구성된 4개의 블록에서 대칭정보를 구한다. 이때, 대칭적 구조를 갖는 4개의 블록은 도 4b에 나타난 바와 같은 공간적 계층구조를 갖도록 선택될 수 있으며, 이러한 공간적 계층구조에 도 4a에 나타난 바와 같은 시간적 계층구조를 적용하여 시공간적 계층구조를 갖도록 선택될 수도 있다. 시공간적 계층구조를 갖는 블록을 선택하는 경우에 도 4a에 나타난 바와 같은 시간적 계층구조의 하나 또는 그 이상을 적용할 수도 있다.
4개의 블록에 대한 대칭정보 추출과정은 다음과 같다. 먼저 다음의 [수학식 1]과 같은 2×2 행렬 A가 있을 때, 행렬 A의 대칭정보(symmetric)는 다음의 [수학 식 2]와 같이 얻을 수 있다.
Figure 112009078768896-pat00001
Figure 112009078768896-pat00002
이러한 대칭정보는 영상이 90도씩 회전되거나 반전되어도 대칭정보의 값이 유지된다. 예를 들어 90도 회전의 경우 행렬 A'가 다음의 [수학식 3]과 같을 때, 행렬 A'의 대칭정보는 다음의 [수학식 4]와 같이 얻을 수 있다.
Figure 112009078768896-pat00003
Figure 112009078768896-pat00004
같은 방법으로 다음의 [수학식 5]와 같은 세로축으로 반전된 행렬 A"에 대해서도, 다음의 [수학식 6]과 같은 결과를 얻을 수 있다.
Figure 112009078768896-pat00005
Figure 112009078768896-pat00006
즉, 90도 회전이 되더라도 각 블록별 특징의 위치만 변경될 뿐 특징 값 자체는 그대로 유지(S1(A')=~S2(A))되며, 90도 회전뿐 아니라 180도나 270도 회전, 좌우나 상하 반전 등의 변형에서도 특징 값이 그대로 유지된다.
이와 같은 특성 때문에 본 발명의 실시예에 따른 대칭정보 특징 값은 영상의 상하, 좌우 반전, 또는 영상의 90도, 180도, 270도 등의 회전 변형에 대해 강인한 특성을 갖는다. 특히 90도 및 270도 회전의 경우 특징 값의 위치가 변경되는데 이는 영상의 가로:세로 비율로 90도 및 270도 회전 유무를 판단하여 N차원의 특징 위치값 중 바뀐 위치값으로 보정할 수 있다.
본 발명의 실시예에 따르면 블록별 특징으로 구성된 특징 벡터를 생성하기 위한 4개의 블록을 임의의 블록이 아닌 시공간적 계층적 특성을 갖는 하부 블록들을 반복하여 구성한다. 즉, 도 3a 및 도 3b에 나타난 바와 같이, 연속된 프레임에서 시간적 계층구조를 가지면서, 공간적 하위 계층구조를 갖는 시공간적 계층구조의 블록 패턴(BP: Block Pattern)을 정의하고 이에 따라 N차원의 대칭정보 특징값 들을 정의할 수 있다. 여기에서 시간적 계층구조는 반드시 연속된 프레임에서 정의될 필요는 없으며 시간상으로 상이한 프레임 상에서 4개의 블록이 대칭구조를 갖도록 정의할 수 있다.
N차원의 특징 값은 도 3에서 정의한 블록 패턴을 기반으로 [수학식 1]을 적용하여 추출할 수 있으며, 이의 예가 도 4에 나타나 있다.
도 5에 나타난 예에서, BP1은 3개 방향의 특징을 포함하고, S1(BP1), S2(BP1), S3(BP1)는 동일 프레임에서 추출되었거나, 시간상으로 상이한 프레임에서 도 4a의 예와 같은 시간적 계층구조를 갖도록 추출된 것이다. 즉, 동일 프레임에서 추출한 경우는 공간적 계층구조만을 이용하는 것이고, 시간상으로 상이한 프레임에서 추출하는 경우는 시공간적 계층구조를 이용하는 것이 된다.
일반적으로 상위 계층인 넓은 면적의 블록 패턴에서 추출한 대칭정보 특징은 영상변형에 강인한 특성을 갖는 반면 분별력이 약하고(즉, 같은 특징 값을 갖는 영상들이 많음), 하위 계층의 적은 면적의 블록패턴에서 추출한 대칭정보일수록 분별력이 높은(즉, 같은 특징 값을 갖는 영상들이 적음) 반면 영상 변형에 약한 특성을 갖는다. 이러한 특징 값의 특성에 맞추어 상위 계층의 일부 특징들로 영상의 후보군을 분류하고 하위계층의 나머지 특징들로 영상을 식별할 수 있는 장점을 얻을 수 있다.
즉 도 1을 참고로 설명한 특징 매칭 과정에서 모든 차원의 특징을 비교하는 것이 아니라 상위계층의 속성에서 분류된 특징 그룹에서 하위 계층의 특징을 비교 함으로써 검색속도를 향상시킬 수 있다.
본 발명의 실시예에서는 이 계층적 대칭정보 값을 비디오의 특징 정보로 사용하며, 정규화된 프레임의 정해진 계층블록에서 대칭정보 값을 추출한다. 예를 들어 프레임 레이트를 10fps로 하고, 정규화 영상 크기를 8*8, 계층적 블록패턴 구조를 18개로 결정할 경우, 10초 분량의 비디오 클립은 10sec * 10fps = 100개의 프레임에 대해서 5400 bit(한 프레임당 18 block * 3 symmetric = 54 차원/frame)의 특징 값을 갖는다. 또한, 공간적 계층 블록 패턴 구조를 18개로 결정하고, 현재와 바로 이전 프레임에 대해서만 시간적 계층 블록 패턴 구조를 적용할 경우, 전체 100개의 프레임 중에서 99개 프레임에 대해 18개의 패턴을 시간적 계층 구조만큼 더 추출하게 된다
이와 같은 특징 값을 이용하여 검색 시스템에서 이용할 특징 DB를 미리 구축하고 입력된 메타정보 DB와 함께 검색에 이용한다. 검색 시스템에서는 특징 간의 거리를 비교하기 위해서 다음의 [수학식 7]을 이용한다. 예를 들어 검색 입력(질의클립)으로 들어온 N차 특징의 i번째 프레임의 특징 값을 Q(i), DB상의 k번째 비디오의 i번째 프레임의 특징 값을 DB(k, i)라고 가정하고 질의클립을 DB와 비교하는 알고리즘은 다음과 같다.
도 5는 유사도 계산을 위한 비트연산의 예를 나타내는 도면이다. 도 5에서 나타난 바와 같이, N차 특징 값은 XNOR 비트연산 후 1의 카운트를 세면 다음의 [수학식 7]과 같이 유사성 측정값 D를 계산할 수 있다.
Figure 112009078768896-pat00007
프레임의 길이가 m인 질의클립에 대한 유사도(S)의 판단은 다음의 [수학식 8]에서와 같이 연속 프레임에서의 유사성 측정값이 일정한 문턱값 이상이면 동일한 비디오로 판단한다.
Figure 112009078768896-pat00008
또한 직각 단위의 회전(90도, 180도, 270도), 좌우/상하 반전 등과 같이 왜곡된 영상을 판별하기 위해서는 N차원 특징의 위치를 바꾸거나 특징 값을 반전시켜서 위와 같은 연산을 수행하면 된다.
N차원 특징 중 상위 비트만을 가지고 먼저 DB를 유사그룹으로 분류하고 분류된 그룹 내에서만 검색함으로써 검색 성능을 향상시킬 수도 있다.
검색 시스템에서는 이와 같은 유사도 값이 최대가 되는 DB의 k번째 비디오의 i 프레임의 위치가 식별결과로 출력된다.
본 발명의 실시예에 따른 계층적 영상 블록의 대칭정보를 이용한 비디오 식별 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명의 계층적 영상 블록의 대칭정보를 이용한 비디오 식별 시스템 및 방법은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다.
도 1은 본 발명의 실시예에 따른 계층적 영상 블록의 대칭정보를 이용한 비디오 식별 시스템의 구성을 나타내는 도면,
도 2는 본 발명의 실시예에 따른 비디오 식별 시스템의 특징 추출부의 구성을 나타내는 도면,
도 3은 도 2의 특징 추출부를 통한 특징 추출 과정의 예를 보여주는 도면,
도 4a와 도 4b는 각각 시간적 및 공간적 계층구조를 갖는 영상 블록의 예를 나타내는 도면,
도 5는 도 4a와 도 4b의 블록 패턴을 기반으로 추출한 N차원의 특징 값의 예를 나타내는 도면,
도 6은 유사도 계산을 위한 비트연산의 예를 나타내는 도면이다.

Claims (16)

  1. 다수의 비디오 클립과 비디오 정보로부터 추출된 비디오 인식을 위한 특징과 비디오 메타정보를 보관하고 있는 데이터베이스 부와,
    입력된 비디오 클립으로부터 특징을 추출하는 특징 추출부와,
    추출된 상기 특징을 이용하여 상기 데이터베이스를 검색하는 데이터베이스 검색부와,
    추출된 상기 특징과 상기 데이터베이스를 통해 검색된 결과를 매칭하는 특징 매칭부를 포함하며,
    상기 특징 추출부는,
    입력된 비디오 신호의 프레임 레이트를 미리 정한 값으로 변환하는 프레임 레이트 변환부와,
    프레임 레이트가 변환된 상기 비디오 신호에 대해 흑백 스케일 변환을 수행하는 흑백 스케일 변환부와,
    흑백 스케일 변환이 수행된 상기 비디오 신호에 대해 미리 정한 크기로 프레임의 크기를 정규화하는 프레임 크기 정규화부와,
    공간적 대칭구조와 시간적, 공간적, 또는 시공간적 계층구조를 갖는 블록 패턴에 따라 영상을 계층 블록으로 나누고 각 블록에 대한 대칭정보를 추출하여 특징 벡터를 생성하는 블록별 특징 추출부를 포함하는 비디오 식별 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 블록별 특징 추출부는,
    상기 블록 패턴에 따라 N차원의 대칭정보 특징 값으로 구성된 특징 벡터를 생성하는 비디오 식별 시스템.
  5. 제4항에 있어서, 상기 데이터베이스 검색부는,
    직각 단위의 회전 또는 좌우/상하 반전을 포함하는 왜곡된 영상을 판별하기 위하여 상기 N차원의 대칭정보 특징 값의 위치 값을 바꾸거나 상기 특징 값을 반전시켜 상기 특징 및 메타정보 데이터베이스를 검색하는 비디오 식별 시스템.
  6. 제4항에 있어서, 상기 데이터베이스 검색부는,
    상기 N차원의 대칭정보 특징 값 중 상위 비트만을 가지고 상기 특징 및 메타정보 데이터베이스를 1차 검색하고, 상기 1차 검색 결과를 대상으로 상기 N차원 의 대칭정보 특징 값 중 나머지 비트를 이용하여 2차 검색하는 비디오 식별 시스템.
  7. 입력된 비디오 신호의 프레임 레이트를 미리 정한 값으로 변환하는 프레임 레이트 변환 단계와,
    프레임 레이트가 변환된 상기 비디오 신호에 대해 흑백 스케일 변환을 수행하는 흑백 스케일 변환 단계와,
    흑백 스케일 변환이 수행된 상기 비디오 신호에 대해 미리 정한 크기로 프레임의 크기를 정규화하는 프레임 크기 정규화 단계와,
    공간적 대칭구조와 시간적, 공간적, 또는 시공간적 계층구조를 갖는 블록 패턴에 따라 영상을 계층 블록으로 나누고 각 블록에 대한 대칭정보를 추출하여 특징 벡터를 생성하는 블록별 특징 추출 단계를 포함하는 영상의 특징 추출 방법.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서, 상기 블록별 특징 추출 단계에서는,
    상기 블록 패턴에 따라 N차원의 대칭정보 특징 값으로 구성된 특징 벡터를 생성하는 영상의 특징 추출 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020090127713A 2009-12-21 2009-12-21 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치 KR101367821B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090127713A KR101367821B1 (ko) 2009-12-21 2009-12-21 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치
CN201010246670.3A CN102103686B (zh) 2009-12-21 2010-06-30 使用分级图像块的对称信息的视频识别系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090127713A KR101367821B1 (ko) 2009-12-21 2009-12-21 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110071209A KR20110071209A (ko) 2011-06-29
KR101367821B1 true KR101367821B1 (ko) 2014-02-26

Family

ID=44156442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090127713A KR101367821B1 (ko) 2009-12-21 2009-12-21 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101367821B1 (ko)
CN (1) CN102103686B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101537032B1 (ko) * 2014-05-15 2015-07-15 심해청 영상 필터링을 위한 영상 특징정보 생성 방법 및 그 방법이 기록된 기록매체
CN104219423B (zh) * 2014-09-25 2017-09-29 联想(北京)有限公司 一种信息处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506820A (ja) 1996-11-27 2001-05-22 プリンストン ビデオ イメージ,インコーポレイテッド 画像テクスチャーテンプレートを用いた動き追跡
JP2002538642A (ja) 1999-02-22 2002-11-12 シーメンス コーポレイト リサーチ インコーポレイテツド ビデオドキュメントのオーサリング及びリンクのための方法及び装置
JP2006525747A (ja) 2003-04-29 2006-11-09 マイクロソフト コーポレーション ハイダイナミックレンジビデオを生成するシステムおよび方法
KR20090099622A (ko) * 2008-03-18 2009-09-23 한국전자통신연구원 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100566431C (zh) * 2005-06-29 2009-12-02 株式会社Ntt都科摩 影像评价装置、方法
US8009861B2 (en) * 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
JP4239108B2 (ja) * 2006-10-24 2009-03-18 ソニー株式会社 内容文字情報取得方法、内容文字情報取得プログラム、内容文字情報取得装置及び映像コンテンツ記録装置
US8204314B2 (en) * 2007-12-03 2012-06-19 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
CN101369281A (zh) * 2008-10-09 2009-02-18 湖北科创高新网络视频股份有限公司 基于视频摘要元数据的检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506820A (ja) 1996-11-27 2001-05-22 プリンストン ビデオ イメージ,インコーポレイテッド 画像テクスチャーテンプレートを用いた動き追跡
JP2002538642A (ja) 1999-02-22 2002-11-12 シーメンス コーポレイト リサーチ インコーポレイテツド ビデオドキュメントのオーサリング及びリンクのための方法及び装置
JP2006525747A (ja) 2003-04-29 2006-11-09 マイクロソフト コーポレーション ハイダイナミックレンジビデオを生成するシステムおよび方法
KR20090099622A (ko) * 2008-03-18 2009-09-23 한국전자통신연구원 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법

Also Published As

Publication number Publication date
CN102103686A (zh) 2011-06-22
KR20110071209A (ko) 2011-06-29
CN102103686B (zh) 2014-10-01

Similar Documents

Publication Publication Date Title
US8477836B2 (en) System and method for comparing an input digital video to digital videos using extracted and candidate video features
US10127454B2 (en) Method and an apparatus for the extraction of descriptors from video content, preferably for search and retrieval purpose
EP2321964B1 (en) Method and apparatus for detecting near-duplicate videos using perceptual video signatures
KR101191223B1 (ko) 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP2007206919A (ja) 表示制御装置および方法、プログラム、並びに記録媒体
JP2007206920A (ja) 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
US20090263014A1 (en) Content fingerprinting for video and/or image
JP2007206918A (ja) 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
Fadl et al. Exposing video inter-frame forgery via histogram of oriented gradients and motion energy image
US8175392B2 (en) Time segment representative feature vector generation device
CN111182364B (zh) 一种短视频版权检测方法及系统
KR100944903B1 (ko) 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법
Xiong et al. Automatic video data structuring through shot partitioning and key-frame computing
Saracoglu et al. Content based copy detection with coarse audio-visual fingerprints
KR101634395B1 (ko) 시퀀스 간의 비교 방법, 그 장치, 및 컴퓨터 프로그램 제품
CN110942002B (zh) 一种基于旋转不变感知哈希的无人机航拍视频帧定位方法
Lee et al. Robust video fingerprinting based on symmetric pairwise boosting
CN113660484B (zh) 基于音视频内容的音视频属性比对方法、系统、终端及介质
CN111191591A (zh) 一种水印检测、视频处理方法和相关设备
CN117119253B (zh) 一种针对目标对象的高质量视频抽帧方法
KR101367821B1 (ko) 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치
CN117079355A (zh) 一种对象图像鉴伪方法及装置、电子设备
CN105224619B (zh) 一种适用于视频/图像局部特征的空间关系匹配方法及系统
Li et al. A confidence based recognition system for TV commercial extraction
Ho et al. Effective images splicing detection based on decision fusion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190125

Year of fee payment: 6