KR20050007348A - 유틸리티 기능 디스크립터에 기초하는 최적의 비디오트랜스코딩 방법 및 시스템 - Google Patents

유틸리티 기능 디스크립터에 기초하는 최적의 비디오트랜스코딩 방법 및 시스템 Download PDF

Info

Publication number
KR20050007348A
KR20050007348A KR1020047017300A KR20047017300A KR20050007348A KR 20050007348 A KR20050007348 A KR 20050007348A KR 1020047017300 A KR1020047017300 A KR 1020047017300A KR 20047017300 A KR20047017300 A KR 20047017300A KR 20050007348 A KR20050007348 A KR 20050007348A
Authority
KR
South Korea
Prior art keywords
utility
information
compressed multimedia
based descriptor
portions
Prior art date
Application number
KR1020047017300A
Other languages
English (en)
Inventor
김재곤
왕용
창시-후
강경옥
김진웅
Original Assignee
더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕, 한국전자통신연구원 filed Critical 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕
Publication of KR20050007348A publication Critical patent/KR20050007348A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

압축 멀티미디어 정보로부터 유틸리티 기반의 디스크립터를 생성하는 기술에 대해 개시한다. 양호한 방법은 압축 멀티미디어 정보의 세그먼트를 적어도 수신하는 단계, 고유한 타겟 레이트에 각각 대응하는 하나 이상의 적응 연산에 기초하여 유틸리티 기반의 디스크립터 정보의 2 이상의 부분을 결정하는 단계, 상기 압축 멀티미디어 세그먼트를 상기 유틸리티 기반의 디스크립터 정보의 일부 각각에 의해 적응시켜 적응된 멀티미디어 세그먼트를 발생하는 단계, 상기 적응된 멀티미디어 세그먼트 각각에 대한 측정치를 발생하기 위해 품질 관리 방법을 사용하는 단계, 및 상기 유틸리티 기반의 디스크립터 정보 및 대응하는 품질 측정치에 기초하여 유틸리티 기반의 디스크립터를 발생하는 단계를 포함한다.

Description

유틸리티 기능 디스크립터에 기초하는 최적의 비디오 트랜스코딩 방법 및 시스템{METHOD AND SYSTEM FOR OPTIMAL VIDEO TRANSCODING BASED ON UTILITY FUNCTION DESCRIPTORS}
배경 기술. 21세기초에, 인터넷은 모든 형태의 멀티미디어 정보의 교환에서 기업과 소비자 사이에 널리 보급되어 사용되고 있다. 그래픽 아트, 텍스트, 오디오, 비디오 및 다른 형태의 정보가 사용자들 사이에 지속적으로 공유되고 있다. 대역폭 요건을 관리 가능한 수준까지 낮추기 위해, 멀티미디어 정보를 표준 포맷으로 되어 있는 압축 비트스트림의 형태로 저장하여 전송하곤 한다. 예를 들어, 오디오비주얼 정보의 경우, JPEG, Motion JPEG, MPEG-1, MPEG-2, MPEG-4, H.261 및 H.263이 널리 보급되어 사용되고 있다.
불행하게도, 많은 서로 다른 유형의 표준화된 멀티미디어 컨텐츠가 개발되어 인터넷에서 사용되고 있으며, 이러한 컨텐츠에 대한 액세스, 전달, 관리 및 보호를 제어할 수 있는 표준의 방법이 현재는 없다. 이러한 필요성을 인식하여, 동영상 전문가 그룹("MPEG")은 최근 솔루션을 개발하기 위한 주도권을 잡기 위해 MPEG-21 멀티미디어 프레임워크 추천하였다. 국제 표준화 기구("ISO") 문헌 ISO/IECJTC1/SC29/WG11/N5231(2002)에 자세히 개시된 바와 같이, MPEG-21의 목표 중의 하나는 통합되고 조화로운 방식으로 서로 다른 유형의 컨텐츠를 전달하는 기술을 개발하여 폭 넓은 멀티미디어 사용자에게 컨텐츠 전달 프로세스를 투명하게 하는 것이다.
이러한 기술을 달성하기 위해, MPEG-7의 파트 7에는 "디지털 아이템 적응(Digital Item Application)"이라는 개념이 제안되어 있다. 이 개념은 범용 멀티미디어에서부터 어떠한 유형의 단말기 및 네트워크에 이르기까지 상호 동작 가능한 투명한 액세스를 달성하기 위한 디지털 아이템을 구성하는 리소스 및 디스크립션의 적응을 포함한다.
디지털 아이템 적응을 실행함으로써, 네트워크 내의 사용자는 네트워크 폭주, 품질 제한, 및 서비스의 신뢰성과 같은 멀티미디어 컨텐츠의 전달에 영향을 자주 미치는 네트워크 및 단말기에 특정한 문제를 인지하지 못한다. 그러므로 다양한 사용자 공동체에서는 자신들의 개인적으로 받아들일 수 있는 품질 수준까지 멀티미디어 경험을 공유하게 된다는 것을 상상할 수 있다.
양호하게, 서로 다른 네트워크 대역폭 및 서로 다른 단말기를 위한 서로 다른 압축 포맷으로 컨텐츠를 저장할 필요 없는 트랜스코딩은 리소스 적응의 가장 흔한 방법 중 하나이다. MPEG-7에서는, 연산의 복잡성을 줄이면서 품질도 가능한 높게 유지함으로써 더욱 우수한 트랜스코딩을 가능하게 하기 위해 소위 트랜스코딩 힌트(Transcoding Hints)가 제안되었다.
불행하게도, 상기 제안된 MPEG-7 트랜스코딩 힌트는 특정한 타겟 레이트에 일치하도록 실현 가능한 트랜스코딩 연산자 및 이것들의 예측 성능에 관한 정보를 제공하지 않는다. 마찬가지로, 투명하고, 적응성의 멀티미디어 컨텐츠 전달을 확실하게 하는데 필요한 여러 요건을 수행하는데 유용한 솔루션도 제공하지 않는다. 따라서, 네트워크를 통해 여러 유형의 멀티미디어 컨텐츠를 서로 다르게 받아들일 수 있는 품질 수준을 갖는 폭 넓은 멀티미디어 사용자에게 전달하는 기술이 요망된다.
본 출원은 2002년 4월 26일제 출원된 미국 가특허출원 제60/376,129호 및 2002년 5월 31일에 출원된 제60/384,939호에 기초한 것이며, 이 문헌들은 참조 문헌으로서 본 명세서에 원용되며 이들 문헌으로 우선권을 주장한다.
기술 분야. 본 발명은 네트워크를 통해 멀티미디어 컨텐츠를 전달하는 기술에 관한 것이며, 특히 광범위한 네트워크를 통해 멀티미디어 컨텐츠를 투명하고 적응적으로 전송하는 기술에 관한 것이다.
도 1은 적응 공간, 유틸리티 공간, 및 리소스 공간간의 관계를 나타내는 기능 블록도.
도 2는 본 발명에 따른 예시적 시스템을 도시하는 블록도.
도 3은 프레임 드로핑과 계수 드로핑의 조합으로 정의되는 2차원 적응 공간을 나타내는 예증도.
도 4는 본 발명에 따른 예시적 유틸리티 기능을 도시하는 그래프.
도 5(a) 내지 도 5(c)는 도 4에 도시된 예시적 유틸리티 기능의 다양성을 도시하는 그래프.
도 6은 본 발명에 따른 예시적 유틸리티에 기반한 디스크립션 툴을 도시하는 개략도.
도 7은 본 발명에 따른 예시적 유틸리티에 기반한 디스크립터를 도시하는 개략도.
본 발명의 목적은 네트워크를 통해 여러 유형의 멀티미디어 컨텐츠를 서로 다르게 받아들일 수 있는 품질 수준을 갖는 폭 넓은 멀티미디어 사용자에게 전달하는 기술을 제공하는 것이다.
본 발명의 다른 목적은 몇 가지 요건을 수행하는데 유용한 멀티미디어 컨텐츠 디스크립션 기술을 제공하는 것이다.
이하에 개시된 상세한 설명을 참조하여 분명하게 되는 본 발명의 상기 목적 및 다른 목적을 달성하기 위해, 본 발명은 압축 멀티미디어 정보로부터 유틸리티 기반의 디스크립터(descriptor)를 생성하는 기술을 제공한다. 양호한 방법은 압축 멀티미디어 정보의 세그먼트를 적어도 수신하는 단계, 고유한 타겟 레이트에 각각대응하는 하나 이상의 적응 연산에 기초하여 유틸리티 기반의 디스크립터 정보의 2 이상의 부분을 결정하는 단계, 상기 압축 멀티미디어 세그먼트를 상기 유틸리티 기반의 디스크립터 정보의 일부 각각에 의해 적응시켜 적응된 멀티미디어 세그먼트를 발생하는 단계, 상기 적응된 멀티미디어 세그먼트 각각에 대한 측정치를 발생하기 위해 품질 관리 방법을 사용하는 단계, 및 상기 유틸리티 기반의 디스크립터 정보 및 대응하는 품질 측정치에 기초하여 유틸리티 기반의 디스크립터를 발생하는 단계를 포함한다.
양호한 실시예에서, 압축 멀티미디어 정보는 MPEG-4이며 유틸리티 기반의 디스크립터 정보의 10 내지 20 부분이 사용된다. 상기 유틸리티 기반의 디스크립터 정보의 상기 부분들은 규칙적으로 또는 불규칙적으로 샘플링된다. 이롭게도, 적응 연산은 제1의 B 프레임이나 모든 B 프레임을 드롭시킴으로써 프레임 드로핑 단계를 포함하며, 계수 드로핑 단계를 더 포함할 수도 있다.
다른 실시예에서, 본 발명은 압축 멀티미디어 정보를, 서로 다른 타겟 비트 레이트를 갖는 2 이상의 사용자에게 전달하는 시스템 및 방법을 제공한다. 일실시예에서, 방법은 압축 멀티미디어 정보의 세그먼트 및 대응하는 유틸리티 기반의 디스크립터를 적어도 수신하는 단계, 상기 유틸리티 기반의 디스크립터를, 각각의 사용자에 대해 고유한 타겟 비트 레이트에 각각 대응하는 부분들로 구문 해석(parsing)하는 단계, 각각의 사용자에 대해 고유한 타겟 비트 레이트에 대응하는 유틸리티 기반의 디스크립터 부분을 단계, 및 각각의 사용자에 대한 상기 선택된 유틸리티 기반의 디스크립터 정보 부분에 의해 상기 압축 멀티미디어 세그먼트를적응시키는 단계를 포함한다. 사용자로부터 또는 네트워크로부터의 타겟 비트 레이트 피드백은 적응 단계에서 사용될 수 있다.
본 설명에 편입되어 있고 일부를 구성하는 첨부의 도면은 본 발명의 양호한 실시예를 도해하며, 본 발명의 원리를 설명하는 역할을 한다.
도면에 있어서, 동일한 참조 번호나 문자는 다른 상태를 나타내지 않는 경우, 도시된 실시예에서 동일한 특징, 소자, 구성요소 또는 부분을 나타내는데 사용된다. 또한, 본 발명을 도면을 참조하여 상세히 서술하며 도시된 실시예와 연관시켜 설명한다.
도 1을 참조하면, 본 발명의 예시적 실시예가 설명되어 있다. 유틸리티 기반의 프레임워크는 적응 연산, 리소스, 및 유틸리티와 같은 본질적인 파라미터들간의 관계를 모델링하여 효과적인 비디오 적응에 대한 시스템적 방법을 제공한다. 일반적으로, 적응 연산은 공간 영역 적응(spatial domain adaptation), 시간 적응(temporal adaptation), 또는 오브젝트 기반의 적응의 형태를 취할 수 있다. 공간 영역 적응은 공간 리솔루션 감소 및 품질, 및 재양자화(requantization) 또는 DCT 계수 드로핑과 같은 신호 대 노이즈 적응을 포함할 수 있다. 시간 영역 적응은 프레임 드로핑을 포함할 수 있고, 오브젝트 기반의 적응은 비디오 오브젝트 우선권 및/또는 드로핑을 포함할 수 있다. 이러한 적응 방법 중 임의의 것에 의해 정의되는 특별한 연산을 본 명세서에서는 적응 연산이라 한다.
리소스에는 단말기 장치로부터의 유용한 지원체 및 대역폭, 계산 성능, 전원 및 디스플레이 크기 등의 네트워크 성능이 포함된다. 유틸리티에는 특정한 적응 연산에서 생성되는 컨텐츠의 품질을 포함한다. 유틸리티는 예를 들어 피크 신호 대 노이즈비("PANR")를 결정하는 것에 의한 객관적 방식(objective manner), 또는 예를 들어 주관적 품질 스코어의 사용에 의한 주관적 방식에 의해 측정될 수 있다. 도 1은 적응, 리소스, 및 유틸리티의 다차원 공간과, MPEG-4 압축 비디오에 적용되는 이들간의 관계를 도시한다.
적응 공간(110)은 하나 이상의 선택된 적응 방법에 대한 모든 가능한 적응연산의 개념적 공간을 나타낸다. 상기 적응 공간의 각각의 차원은 한 가지 유형의 적응 방법을 나타내고, 관련 적응 연산을 나타내는 특정한 주요 지수(certain cardinal index)를 갖는다. 예를 들어, 프레임 드로핑 및 계수 드로핑이 모두 사용되는 경우, 적응 공간, 즉 프레임 드로핑 및 계수 드로핑에는 2차원이 존재한다. 프레임 드로핑의 차원은 드롭되는 프레임의 양, 예를 들어 드롭 없음(no dropping)의 양, 픽처의 서브 그룹("GOP")(서브 GOP는 I 또는 P 프레임으로 시작해서 다음의 I 또는 P 프레임에 이어지는 연속적인 프레임의 세트를 포함한다)에 드롭되는 모든 B 프레임, 각각의 GOP에서 드롭되는 모든 B 및 P 프레임으로 표시될 수 있다. 계수 드로핑 차원은 계수 드로핑, 예를 들어 드롭 없음 10%, 20% 에 의해 달성되는 레이트 감소에 대한 백분율로 표시될 수 있다. 이 방식에서, 적응 공간 내의 이산 포인트 세트를 정의할 수 있는 바, 각각의 포인트는 프레임 드로핑 및 계수 드로핑의 특정한 조합으로 지정된 적응 연산을 나타낸다.
일부의 애플리케이션에서, 리소스 제한은 몇 가지 유형의 리소스를 포함한다. 예를 들어, 비디오 스트리밍 서비스를 특정의 휴대형 장치에 제공하기 위해서는, 공간 리솔루션 또는 계산 성능과 같은 요인 역시 대역폭과 함께 고려되어야 한다. 일반적으로, 만족되어야 할 모든 유형의 리소스를 다차원 리소스 공간에 의해 나타낸다. 유틸리티 공간은 복수 차원의 속성을 포함한다. PSNR 이외에, 주관적 선호도형 평균 오피니언 스케일(subjective preference like mean opinion scale)("MOS"), 시간 평활화(temporal smoothness)가 다른 차원에 함께 포함될 수 있다.
도 1을 다시 참조하면, 비디오 세그먼트(101)는 적응이 시행되는 유닛이고, 각각의 포인트는 적응 공간에서 특정한 적응 연산을 나타낸다. 적응 비디오 세그먼트는 리소스 공간과 유틸리티 공간 각각에서 대응하는 포인트들로서 나타내어지는 리소스 및 유틸리티의 결과적인 값을 갖는다. 리소스 공간 내에서 구석진 곳에 있는 입방체는 애플리케이션에 의해 지정되는 리소스 제약을 나타낸다. 동일한 리소스 요건을 만족시키는 복수의 적응 연산이 존재할 수 있다는 것을 유념하라. 리소스 공간 내의 한 포인트에 매핑되는 적응 공간 내의 타원형 영역은 그러한 일정한 리소스 세트를 보여주고 있다. 또한, 동일한 유틸리티 값에 서로 다른 적응 오퍼레이터가 생길 수도 있다. 적응 공간 내의 직사각형 영역은 그러한 일정 유틸리티 세트를 나타낸다.
유틸리티 기반의 프레임워크를 사용하면, 비디오 적응은 다음과 같이 공식화할 수 있는 바, 특정한 리소스 제약을 제공한 경우, 최적의 적응 연산을 결정하여 그 적응된 비디오의 유틸리티를 최대로 한다. UMA 패러다임에서 가정할 수 있는 대부분의 적응 문제를 공식화할 수 있으므로, 상기 리소스 제약 유틸리티 최대화는 멀티미디어 적응의 기본적인 시나리오가 되는 것으로 고려될 수 있다. 본 명세서에서는 리소스 제약 유틸리티 최대화의 예로 유용한 대역폭을 만족하도록 프레임 및 계수 드로핑 트랜스코딩을 최적화하는 것에 대해 개시하며, 본 발명의 유틸리티 기반의 프레임워크는 유틸리티 공간 내의 제약을 용이하게 포함하고 모든 리소스 최대화에 목적을 두고 있음을 당업자는 이해해야 한다.
다음 도 2를 참조하면, 본 발명에 따른 시스템을 이제 설명할 것이다. 서버컴퓨터(210)는 저장 비디오(211) 및/또는 라이브 비디오(212)를 수신하도록 적응되어 있다. 압축이 상기 서버에서 수행되면서 비압축 디지털 비디오가 상기 서버에 제공될 수 있지만, 비디오는 양호하게 MPEG-1, MPEG-2, 또는 MPEG-4와 같은 압축 포맷으로 되어 있다. 서버(210)는 수신된 비디오에 기초하여 유틸리티 기반의 디스크립터의 형태로 유틸리티 기능을 발생하는 임의의 유용한 프로그래밍 언어로 쓰여진 소프트웨어를 포함한다. 본 발명에 따라 이하의 설명에서는, 디스크립터는 예를 들어 양방향 예측 프레임("B") 또는 계수의 제거를 통해, 압축 비디오에 대한 소정의 변형을 나타내며, 상기 제거는 소정의 품질 레벨에서 일어난다. 압축 영역 비디오 및 관련 유틸리티 기능은 압축 비디오를 전송하는데 충분한 대역폭의 인터넷 또는 인트라넷과 같은 전송 네트워크(220)를 통해 전달된다. 전송된 정보는 네트워크 컴퓨터(230)에 의해 수신되고, 이 네트워크 컴퓨터(230)는 또한 시스템의 비디오 적응 엔진의 역할을 한다.
특히, 네트워크 컴퓨터(230)는 관련 액세스 네트워크(240)가 응대하는 몇몇 클라이언트 장치(250, 251, 252, 253)의 특정한 대역폭 요건에 상기 인입 압축 비디오를 적응시키기 위해, 임의의 유용한 프로그래밍 언어로 다시 쓰여진 소프트웨어를 포함한다. 본 발명에 따라 이하의 설명에서는, 네트워크 컴퓨터(230)는 상기 대역폭 요건에 상기 압축 비디오를 적응시키기 위해 서버(210)에 의해 발생되는 유틸리티 기반의 디스크립터를 사용한다. 또한, 네트워크 컴퓨터(230)는 그 적응 연산을 최적화하기 위해, 클라이언트 사용자로부터 선호 정보(241)를, 및/또는 네트워크로부터 유용한 대역폭 정보(242)를 수신할 수 있다.
액세스 네트워크(240)는 인터넷, 인트라넷, 또는 모바일 셀룰러 사용자 단말기(253)를 네트워크 컴퓨터(230)에 연결하는 무선 네트워크와 같은 개인 네트워크가 될 수 있다. 대역폭 제한 네트워크를 통한 비디오 스트리밍의 애플리케이션에서, 전달될 비디오 스트림의 비트 레이트는 적응 툴에 의해 시변 대역폭(time-vary bandwidth)에 실시간으로 적응된다.
양호한 배치에서, 서버 컴퓨터(210)가 프레임 드로핑 및 계수 드로핑의 조합을 사용하여 축척불능 비디오(nonscalable video)를 동적 대역폭에 적응시킨다. 그렇지만, 재인코딩(re-encoding), DCT 계수의 재양자화, 오브젝트 기반의 트랜스코딩 및 이미지 크기 감소와 같은 동적 대역폭 적응에 비디오 스트림의 비트 레이트를 조정하는데 다른 트랜스코딩 기술을 사용할 수 있음을 당업자는 이해해야 한다.
MPEG-4에서 새로운 축척가능 코딩 툴로서 채택된 파인 그래뉼러 스칼러빌리티(Fine Granular Scalability)("FGS") 및 그 일부 변형 형태 역시 축척가능 스트림의 적절한 수의 비트플레인을 선택함으로써 시변 대역폭에 대한 FGS 스트림의 동적 적응을 가능하게 한다.
프레임 드로핑 및 계수 드로핑은 압축 영역 프로세싱에 의해 드롭되는 DCT 계수의 특정한 프레임 및 심벌에 대응하는 비트 시퀀스의 일부의 절단을 포함하기 때문에 계산이 복잡하지 않은 레이트 적응의 간단한 방법이다. 또한, 모바일 무선 네트워크를 통한 비디오 스트리밍의 애플리케이션에 있어서는, 트랜스코딩 프록시(transcoding proxy)에 강력하게 요구되는 낮은 지연 실시간 연산에 훨씬 적절하다.
또한, 프레임 드로핑 및 계수 드로핑의 조합은 공간 및 시간 품질을 조정함으로써 비디오 스트림의 레이트 적응을 가능하게 하는 바, 프레임 드로핑은 일부의 프레임을 드롭시킴으로써 프레임 레이트를 조정하고, 계수 드로핑은 고주파 구성요소와 관련 있는 DCT 계수의 일부를 드롭시킴으로써 공간 품질을 조정한다. 레이트 감소의 동적 범위는 2 이상의 트랜스코딩 방법을 조합시킴으로써 증가된다.
이하 프레임 드로핑에 대해 설명한다. 프레임 드로핑은 인입 비디오 스트림으로부터 일부의 프레임을 드롭시켜 프레임 레이트를 조정하는 시간 트랜스코딩의 전형적인 한 예이다. 그 효율성 및 간략함으로 인해 비디오 스트리밍 애플리케이션에서 대역폭 가변에 대한 레이트 적응에 대해 사용되곤 한다. 고려해야 할 한가지 요소는 드롭될 프레임의 선택이다. 예를 들어, 인트라 코딩 프레임("I 프레임") 또는 소정의 예측 코딩 프레임("P" 프레임)이 드롭되는 경우, 상기 드롭된 프레임을 참조하는 프레임을 재인코딩할 필요가 있다.
그러므로, 디코딩 의존성을 갖지 않는 B 프레임 및/또는 P 프레임만이 인입 비디오 스트림의 시퀀스 구조를 고려하여 픽처의 그룹("GOP")의 단위로 드롭되는 것이 양호하다. 프레임 드로핑은 이동될 수 있는 최소 단위의 데이터는 하나의 전체 프레임이므로, 타겟 레이트에 대강의 근사치(coarse approximation)를 제공한다. 가능한 프레임 드로핑 연산은 드로핑에 의해 달성되는 감소 레이트와는 달리 드롭되는 프레임 유형을 지정함으로써 정의된다.
앵커 프레임들(M=3) 사이에 3 픽처로 이루어지는 서브 그룹을 갖는 GOP에 있어서, 가정된 GOP 구조에 따른 프레임 드로핑 연산 세트는 이하와 같이 정의되는바, 프레임 도핑이 없고, 하나의 B 프레임이 서브 GOP마다 드롭되고, 모든 B 프레임이 드롭되며, 모든 B 및 P 프레임이 드롭되어, I 프레임 시퀀스만 남게 된다. 2개의 연속적인 앵커 프레임(M=1) 사이에 하나의 I 픽처의 서브 그룹을 갖는 GOP에 있어서, 최종 P 프레임이 드롭되고, 2개의 최종 P 프레임이 드롭되고, 계속해서 모든 P 프레임이 각각의 GOP에서 드롭되는 것과 같이, P 프레임이 각각의 GOP의 끝에서부터 드롭되는 것으로 가정한다.
드롭될 프레임의 선택이 제한적이기는 하지만, 이 방식은 단지 비트 레이트 감소 및 품질의 양과 관련해서는 충분하며, 프레임 드로핑의 원하는 시간 적응과 계수 드로핑의 공간 적응이 균형을 이루기 위해 계수 드로핑과 결합될 수 있다(이하에 설명된다). 드롭된 프레임은 일반적으로 이전의 프레임으로 대체되기 때문에 드로핑 프레임으로 인해 프레임 떨림이 야기될 수 있다는 것에 유념하라. 앵커 프레임들(M＞I) 사이에 1 이상의 픽처를 갖는 GOP 구조의 제1 경우에, 상기 정의된 트랜스코딩 연산은 보다 충분한 시간 품질로 상기 시간 범위 결과에 상기 드롭된 프레임들을 균일하게 분배한다. 한편, (M=1)인 GOP의 경우에 트랜스코딩된 스트림으로부터 각각의 디코딩된 프레임이 하나의 GOP 내의 불균일 프레임 드로핑에 의해 성가시게 하는 요인을 줄이는 프레젠테이션 시간을 조정할 수 있는 특별한 동적 플레이어가 필요하다.
이하 계수 드로핑에 대해 설명한다. 주파수 영역에서의 연산을 DCT 계수로 수행하는 공간 적응에는 2가지의 기본적인 방식이 있다. 제1의 방식은 재양자화, 즉, 더욱 대충의 양자화를 적용하여 비트 레이트를 감소시키는 양자화된 계수의 변형이다. 제2의 방식은 이미지 품질에서 중요하지 않은 고주파 계수가 절단되는 계수 드로핑이다. 재코딩 유형의 알고리즘의 실행을 필요로 하는 재양자화보다 빠른 프로세싱으로 더 많이 수정할 수 있으므로 계수 드로핑이 양호하다.
특히, 블록마다의 끝에서 DCT 계수 런 렝쓰 코드의 세트가 제거되는 것으로 가정하는 경우, 절단 후 유지되는 각 블록 내의 DCT 계수 코드의 수를 브레이크포인트(breakpoint)라 한다. 각 블록에 대한 브레이크포인트는 요구되는 타겟 레이트를 프레임 단위로 일시키면서 계수 드로핑에 의해 야기되는 왜곡을 최소화하는 라그랑 최적화(Lagrangian optimization)를 사용해서 결정될 수 있다. 최적화의 레이트 왜곡 공식에 있어서, 메모리를 필요로 하지 않는 알고리즘을 사용할 수 있으며, 이러한 알고리즘은 모션 보상에 의해 야기되는 누적 에러를 무시하고 각각의 픽처를 간편성으로 인해 인트라 코딩 픽처로 취급한다. 누적 에러를 무시하는 것은 품질에 영향을 미치지 않으며 본질적으로 최적의(0.3 dB 이내) 성능을 발휘하게 한다.
주어진 비디오 세그먼트 및 타겟 레이트에서, 먼저 서로 다른 프레임에 대해 일정한 레이트 감소를 제공하는 일정한 드로핑을 가정한다. 그런 다음, 단일의 프레임 내에서, 주어진 프레임의 타겟 레이트와 일치하면서, 블록들간의 서로 다른 브레이크포인트를 갖는 서로 다른 레이트 감소를 제공하는 상기 최적의 불균일 드로핑을 수행한다.
이동될 수 있는 데이터의 최소 단위가 하나의 전체 프레임이므로 상기 줄어들 수 있는 레이트가 몇몇 값으로 제한되는 프레임 드로핑과는 달리, 계수 드로핑은 드롭된 계수의 양을 조정함으로써, 레이트 감소의 상부 경계(upper bound) 내에서, 일치시키는 능력과 유용한 대역폭을 매우 정확하게 제공한다. 양호하게, 모든 계수가 드롭될 때 야기되는 일부의 복잡한 구문 변화를 회피하고, 필요한 최소의 품질을 보증하기 위해 AC DCT 계수만이 드롭된다. 상기 레이트 감소의 상부 경계는 상기 드롭된 계수를 직접 지정하기보다는, 달성될 레이트 감소의 백분율을 지정함으로써 수치적 계수 드로핑 연산을 정의할 수 있다. 예를 들어, 계수 드로핑(10%)의 연산은 계수 드로핑에 의한 인입 비디오 스트림의 비트 레이트의 10% 감소를 나타낸다.
이하 프레임 드로핑 및 계수 드로핑의 조합에 대해 설명한다. 높은 비트 레이트 감소에 있어서, 프레임 드로핑 또는 계수 드로핑만이 유용한 대역폭을 수용하는데 충분한 것은 아니다. 또한, 계수 드로핑을 사용함으로써 레이트 적응이 연속으로 가능하면서 프레임 드로핑에 의해 약간의 이산 포인트가 달성될 수 있다. 그러므로, 프레임 드로핑과 계수 드로핑의 조합으로, 감소될 수 있는 레이트의 동적 범위를 연장시킬 수 있다. 이 둘의 조합으로, 특히 높은 레이트 감소의 경우, 공간 및 시간 품질 사이의 교환을 최적화함으로써, 기술 단독일 때보다 우수한 지각의 품질(perceptual quality)이 가능하다. 예를 들어, 매우 낮은 프레임 레이트로 프레임 떨림을 감소시키기 위해, 동일한 레이트 감소에 일치시키면서 시간 리솔루션과 공간 품질을 거래할 수 있다.
도 3을 참조하면, 프레임 드로핑과 계수 드로핑의 조합에 의해 정의되는 2차원 적응 공간이 도시되어 있다. 각각의 포인트는 프레임 드로핑/계수 드로핑이 조합된 트랜스코딩 연산을 나타낸다. 계수 및 프레임 드로핑의 조합에서는 연산 순서의 영향을 고려해야만 한다는 것에 유념하라. 예를 들어, 동일한 포인트(310)를 달성하기 위해 서로 다른 순서의 연산을 갖는 2개의 조합이 존재하는데, 즉 B 프레임의 뒤를 잇는 20% 계수 드로핑, 또는 20% 계수 드로핑의 뒤를 잇는 B 프레임 드로핑이다. 양자의 경우의 결과는 동일한 레이트 감소를 프레임에 대해 적용하는, 레이트 기반 일정한 계수 드로핑을 적용하는 경우에 동일하다. 그렇지만, 레이트 할당에 기초하여 전체적인 최적 계수 드로핑을 달성하기 위해 프레임들 사이에 서로 다른 감소비를 할당하는 경우, 연산 순서가 다르면 감소된 레이트 및 품질의 결과도 다를 수 있다. 본 명세서는 전자에 관한 것이지만, 본 발명은 양자 모두의 시나리오를 고려한다.
이하 유틸리티 기능의 생성에 대해 설명한다. 일반적으로, 도 1에 도시된 적응 공간, 리소스 공간 및 유틸리티 공간간의 관계는 유틸리티 기능에 기초하여 모델링된다. 리소스의 함수로 사용자 만조 지수를 나타내는 미디어 품질 메트릭으로 유틸리티 기능을 정의할 수 있다. 본 발명의 상황에서, 적응 공간은 프레임 드로핑과 계수 드로핑의 조합을 지정하는 2차원 공간이며, 리소스 공간은 시간에 따라 변하는 유용한 대역폭을 포함하고, 유틸리티 공간은 트랜스코딩된 비디오 스트림의 신호 대 노이즈 측정치를 포함한다.
다음 도 4를 참조하면, 이전에 저장된 MPEG-4 압축 비디오 데이터에 적용되는 조합된 프레임 드로핑/계수 드로핑 트랜스코딩 방법, 즉 1.5 Mbps로 코딩되고 200kbps보다 낮은 대역폭 범위에 대해 적응되는 "코스트가드(coastguard)"에 의해생성되는 예시적인 유틸리티 기능이 도시되어 있다. 도 4는 kbits/sec 대 PSNR로 타겟 레이트를 플롯으로 나타내는 그래프이며, 타겟 레이트와 PSNR 품질간의 관계를 나타내는 4개의 곡선을 도시하며, 4개의 곡선 각각은 예시적인 유틸리티 기능 내에서 서로 다른 적응 연산에 대한 것이다.
예시에서, 4개의 서로 다른 프레임 드로핑 연산 및 6개 유형의 계수 드로핑 연산이 사용된다. 프레임 드로핑 연산은 드롭된 프레임 없음, 서브 GOP마다 하나의 B 프레임이 드롭됨, 모든 B 프레임이 드롭됨, 그리고 모든 B 및 P 프레임이 드롭됨으로 이루어져 있다. 6개의 계수 드로핑 연산은 원래의 테스트 비디오 스트림의 비트 레이트의 0%, 10%, 20%, 30%, 40%, 및 50% 감소로 설정되어 있다. 이 방식에서, 상기 정의된 프레임 드로핑 및 계수 드로핑 연산의 서로 다른 조합을 사용하는 23개의 조합 연산이 존재한다. 이러한 23개의 연산이 곡선 420, 430, 440, 및 450에서 이산 포인트로서 도시되어 있으며, 이는 각각, 드롭된 프레임 없음 420, 하나의 B 프레임이 드롭됨 430, 모든 B 프레임이 드롭됨 440, 그리고 모든 B 및 P 프레임이 드롭됨 450일 때, 다양한 계수 드로핑 연산에 대한 포인트 세트를 나타낸다.
도 4는 직렬 전체 디코딩 및 재인코딩(cascaded-full decoding and re-encoding)에 의해 얻어지는 재인코딩 곡선 410을 도시하며, 그래서 트랜스코딩 연산의 성능 비교를 위한 참조로서 고려될 수 있다. 주어진 타겟 대역폭에 있어서, 동일한 타겟 레이트를 만족시키는 복수의 적응 연산이 존재한다는 것에 유념하는 것이 중요하다. 가장 높은 비디오 유틸리티를 갖는 최적의 연산이 선택된다.
도 4에 도시된 바와 같이, 유틸리티 기능은 비디오 컨텐츠의 유형, 인입 비디오 스트림의 선택된 코딩 파라미터, 및 적용된 트랜스코딩 방법에 의존한다. 동일한 컨텐츠 유형 및 트랜스코딩 방법을 공유하는 비디오 세그먼트가 주어지는 경우, 유틸리티 기능의 생성은, 모든 가능한 연산을 테스팅함으로써, 정의된 같은 계열의 적응 연산들에 대한 PSNR 품질 및 레이트의 반복적인 계산을 필요로 한다.
이하 라이브 비디오에 대한 유틸리티 기능 생성에 대해 설명한다. 이전의 레코딩된 비디오에 있어서, 유틸리티 기능은 도 4의 경우에서와 같이, 계산 비용이 문제가 되지 않는 서버에서 오프 라인 프로세싱에 의해 발생될 수 있다. 그렇지만, 이 옵션은 일반적으로 그러한 광범위한 반복적인 계산을 필요로 하고 있는 경우에는 라이브 비디오에 대한 수용가능한 솔루션이 되지 못한다. 따라서, 컨텐츠 기반의 유틸리티 예측 솔루션을 사용하여 라이브 비디오의 경우에 유틸리티 기능을 예측할 수 있다.
일반적으로, 압축 스트림으로부터 추출된 모션 액티비티 및 공간 액티비티와 같은 계산 가능한 컨텐츠 특성에 기초하여 미리 마련된 특유한 유틸리티 분배 분류에 비디오를 매핑할 수 있다. 따라서, 기대되는 비디오의 인입 스트림에 대응하는 유틸리티 기능은 라이브 비디오에 대해 미리 마련된다.
라이브 유틸리티 기능에 대한 예측을 형성하는 것은 2단계 프로세스이다. 먼저, 적응성 컨텐츠 분류 루프를 사용하고, 그 다음 실시간 추정 경로를 사용한다. 전반적인 유형의 컨텐츠를 망라할 수 있는 유틸리티 기능의 세트는 적응성 컨텐츠 분류 루프 오프 라인에서 발생되어 분류된다. 나중에, 라이브 비디오 스트림이 수신되면, 실시간 추정 경로는 각각의 비디오 세그먼트에 대한 관련 유틸리티 기능을선택하여 동일한 컨텐츠 유형을 실시간으로 보존한다.
이하 유틸리티 기능의 디스크립션에 대해 설명한다. 유틸리티 기반의 프레임워크에서, 적응, 리소스, 및 유틸리티 공간의 분포뿐만 아니라 이들 사이의 관계를 나타내는 유틸리티 기능은 관련 비디오 스트림과 함께 예를 들어 네트워크 컴퓨터(230)에 위치하는 적응 엔진으로 전달된다. 디스크립터의 주 목적은 3가지 공간(적응, 리소스, 및 유틸리티)의 분배와, 다양한 유형의 사용 시나리오를 지지하도록 이들간의 관계를 효율적인 방식으로 서술하는 것이다. 상기 디스크립터는 제약된 리소스 및 그 관련 유틸리티를 만족하는 가능한 적응 연산은 어떤 것이 있는가에 대해 적응 엔진에 충분한 정보를 제공한다.
도 4에 도시된 바와 같은 유틸리티 기능을 서술하기 위해, 비트 레이트의 범위를 포인트의 유한개의 세트로 샘플링하고, 그런 다음 리소스 및 PSNR의 관련 값들을 달성할 수 있는 모든 가능한 프레임 드로핑-계수 드로핑 조합 연산을 상기 샘플링된 리소스 포인트를 사용해서 지수로서 서술한다. 일반적으로, 다차원 리소스 공간에 대한 포인트의 유한개의 세트는 디스크립션에서 지수로서 정의된다.
디스크립션의 효율성뿐만 아니라 샘플링 포인트의 수를 고려하여 적응 공간의 분배에 대한 특징에 따라 리소스 공간의 선형 또는 비선형 샘플링을 선택할 수 있다. 리소스의 2개의 연속하는 포인트들 사이의 보간 및 그에 대응하는 적응 연산 및 유틸리티 역시 선형 또는 비선형 방식으로 발생할 수 있다. 그렇지만 적응의 경우는 계수 드로핑과는 달리 서로 다른 프레임 드로핑 연산들 사이에서 보간이 가능하지 않다는 것에 유념하라.
특정한 적응 방법, 제약된 리소스, 및 의도된 애플리케이션에 따른 유틸리티를 지정함으로써, 상기 디스크립터는 리소스가 제약되는 대부분의 시나리오의 경우를 지원할 수 있다.
일부의 적응 연산은 품질 면에서 고유하게 정의될 수 있다. 예를 들어, (계수 드로핑(10%)으로서 나타낸) 각각의 프레임에서 DCT 계수를 드로핑함으로써 비트 레이트의 10% 감소에 대한 연산은 드롭될 계수의 정확한 세트를 지정하지 않는다. 서로 다른 실행은 서로 다른 세트를 선택할 수 있고 그 결과 약간 서로 다른 유틸리티 값이 생긴다. 결과적으로, 특정한 연산과 관련된 유틸리티의 값은 신뢰할 수 없다.
한편, 일부의 적응 방법은 적응과 관련해서 명확한 표현 포맷으로 인해 불명료한 문제를 일으키지 않는다. 예를 들어, JPEG-2000 및 MEPG-4 FGS와 같은 일부의 축척 가능 압축 포맷은 명료하게 정의된 축척 가능 층들을 제공한다. 상기 층들의 서브세트는 디코더가 표준에 일치하는 한 동일한 결과적인 품질로 일관되게 절단될 수 있다.
품질 등급을 사용하여 이러한 불명료한 문제를 해결할 수 있다. 일부의 애플리케이션에 있어서, 각각의 적응된 미디어의 유틸리티의 절대값은 중요하지 않지만, 대신 동일한 리소스를 만족시키는 서로 다른 적응 연산들간의 이러한 값들의 상대적 등급은 중요하다. 이 경우, 등급 일관성을 달성할 가능성이 절대값 일관성보다 더 높다. 이러한 상황에서, 디스크립터는 불명료함으로 인해 품질 값이 신뢰성이 없는 경우조차도 품질의 표시를 제공하기 위해 유틸리티 값 대신에 등급을 설명한다. 또한, 디스크립터는 등급이 서로 다른 실행에 대해 일관적인지 아닌지를 나타내는 플래그를 포함한다. 실제의 실행에서 일부 일관성이 존재하는 것으로 가정하면 플래그의 실험값을 얻을 수 있다.
도 5a 내지 도 5c를 참조하면, 일관성 플래그의 값을 얻기 위해 계수 드로핑의 서로 다른 실행으로부터 생기는 유틸리티 기능의 변형이 도시되어 있다. 도 5a는 도 4의 재생성이고, 도 5b는 매크로블록 최적화가 선택되는 것을 제외하고는, 동일한 데이터에 적용되는 동일한 곡선들을 도시하며, 도 5c는 블록들에 대한 최적화 없이 순수 레이트에 기반한 계수 드로핑이 사용되는 것을 제외하고는, 동일한 데이터에 적용되는 동일한 곡선들을 도시한다.
도 5a 내지 도 5c에 도시된 바와 같이, 실행이 서로 다른 유틸리티 기능들간에서 유틸리티 값의 주목할만한 변화를 볼 수 있다. 서로 다른 품질이 동일한 비트 레이트를 달성하는 몇 가지 연산이 존재한다. 도 5c에서 구석진 곳의 박스에 의해 덮이는 범위를 제외한 비트 레이트 범위의 일부에서, 품질과 관련해서 이러한 동일한 레이트 연산의 등급은 서로 다른 실행 사이에서는 일관적이다. 상기 구석진 곳의 박스에서조차도, 연산에 따른 등급의 일관성이 존재한다. 즉, 모든 B 프레임 계수 드로핑 및 계수 드로핑에 대한 연산은 실행에 관계없이 최악의 유틸리티를 갖는다. 이러한 관찰에 기초하여, 디스크립터는 등급 및 각각의 연산자가 상기 등급의 일관성을 완전하게 나타내는 선택적 플래그를 서술한다.
다음 도 6을 참조하면, 예시적인 유틸리티 기반의 디스크립터가 도시되어 있다. 상기 디스크립터는 적응 디스크립터(610)의 세트를 제공하며, 각각의 디스크립터(610)는 리소스, 유틸리티, 및 유틸리티 기능의 요소를 포함함으로써 적응 방법과 관련 있는 유틸리티 기능을 서술한다. 상기 디스크립터는 조합된 프레임 및 계수 드로핑과 같은, 열거된 것들 중 하나를 속성으로 지정함으로써 의도된 시나리오에 따라 정의된 적응 방법의 선택을 가능하게 한다.
리소스(620) 및 유틸리티(630) 디스크립터는 제약된 리소스, 및 명칭과 단위로 각각 서술될 유틸리티 기능(640)과 관련된 유틸리티를 정의한다. 특히, 리소스 필드(620)에 대한 여러 가지 예시는 다차원 리소스 공간을 수용할 수 있다. 유틸리티 기능 디스크립터(640)는 가능성 있는 적응 연산자 세트 및 리소스 포인트의 기능으로서 관련 유틸리티를 나타낸다.
다음 도 7을 참조하면, 예시적인 유틸리티 기능 디스크립터(640)가 도시되어 있다. 유틸리티 기능 디스크립터(640)는 리소스 포인트(710)의 세트를 포함하며, 각각의 리소스 포인트(710)는 리소스 값(730)에 의해 서술되는 제약 리소스의 샘플링 값을 만족하는 모든 가능성 있는 적응 연산을 서술하기 위해 적응 연산자(720) 세트를 포함한다. 특정한 적응 방법의 특정한 적응 연산은 대응하는 요소를 선택함으로써 서술된다. 예를 들어, 프레임 계수 드로핑(740)은 드롭될 프레임의 유형 및 수와, 계수를 절단함으로써 감소되는 비트 레이트의 백분율을 지정함으로써 프레임 드로핑/계수 드로핑 조합된 트랜스코딩의 특정한 연산을 설명하는데 사용된다. 전술한 바와 같이, 잔물결 감소(wavelet reduction)(750)와 같은 다른 연산을 사용하여, 절단될 레벨 및 비트플레인의 수를 지정함으로써 잔물결 감소에 대한 특정한 연산을 서술할 수 있다. 적응 연산자 FGS(770)를 사용하여, FGS 프레임의 비트플레인의 수 및/또는 상위층(enhancement layer)에서부터 절단되는 FGST 프레임의 비트플레인의 수를 지정함으로써, MPEG-4 파인 그래뉼러리티 스칼러빌리티 스트림(MPEG-4 Fine Granularity Scalability stream)의 특정한 연산을 서술할 수 있다.
적응 연산 이외에, 관련 유틸리티 값이 유틸리티 값(760)에 의해 서술된다. 적응 연산을 지정함에 있어서 불명료함에 대해 적응 방법이 적용되는 경우, 유틸리티 등급 정보(761)가 유틸리티 값 대신에 예시되어, 일관성 플래그의 선택적 속성이 등급의 일관성을 나타내는 관련 연산의 등급을 서술한다.
전술한 바는 본 발명의 원리를 설명한 것에 지나지 않는다. 전술한 실시예에 대한 다양한 변형 및 수정이 본 명세서에서의 개시의 관점에서 당업자에게는 자명하다. 그러므로, 당업자는 본 명세서에서 외적으로 도시하지 않았거나 서술하지 않았어도, 본 발명의 정신 및 범주 내에서 본 발명의 원리를 구현하는 다양한 시스템 및 방법을 고안할 수 있다.

Claims (48)

  1. 압축 멀티미디어 정보로부터 유틸리티 기반의 디스크립터를 생성하는 방법에 있어서,
    (a) 상기 압축 멀티미디어 정보의 세그먼트를 적어도 수신하는 단계;
    (b) 하나 이상의 적응 연산에 기초하여 상기 하나 이상의 적응 연산 중 특정한 하나에 대한 하나 이상의 리소스 제약에 각각 대응하는 유틸리티 기반의 디스크립터 정보의 2 이상의 부분을 결정하는 단계;
    (c) 상기 수신된 압축 멀티미디어 세그먼트를 상기 유틸리티 기반의 디스크립터 정보의 상기 2 이상의 부분 각각에 의해 적응시켜, 상기 2 이상의 부분 중 다른 부분에 각각 대응하는 2 이상의 적응된 멀티미디어 세그먼트를 발생하는 단계;
    (d) 상기 2 이상의 적응된 멀티미디어 세그먼트 각각에 대한 품질 측정치를 얻기 위해 품질 관리 방법을 사용하는 단계; 및
    (e) 상기 유틸리티 기반의 디스크립터 정보의 상기 2 이상의 부분 및 상기 대응하는 품질 측정치에 기초하여 유틸리티 기반의 디스크립터를 발생하는 단계
    를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  2. 제1항에 있어서,
    상기 압축 멀티미디어 정보는 MPEG-4 데이터를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  3. 제1항에 있어서,
    상기 압축 멀티미디어 정보는 MPEG-2 데이터를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  4. 제1항에 있어서,
    상기 압축 멀티미디어 정보는 MPEG-1 데이터를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  5. 제1항에 있어서,
    상기 리소스 제약은 타겟 레이트 정보를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  6. 제1항에 있어서,
    상기 결정하는 단계는 하나 이상의 적응 연산에 기초하여 유틸리티 기반의 디스크립터 정보의 5 내지 100 부분을 결정하는 단계를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  7. 제6항에 있어서,
    상기 유틸리티 기반의 디스크립터 정보의 상기 부분들은 균일하게 샘플링된데이터를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  8. 제6항에 있어서,
    상기 유틸리티 기반의 디스크립터 정보의 상기 부분들은 불균일하게 샘플링된 데이터를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  9. 제6항에 있어서,
    상기 결정하는 단계는 2 이상의 적응 연산에 기초하여 상기 유틸리티 기반의 디스크립터 정보의 10 이상의 부분을 결정하는 단계를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  10. 제1항에 있어서,
    상기 결정하는 단계는 2 이상의 적응 연산에 기초하여 상기 유틸리티 기반의 디스크립터 정보의 2 이상의 부분을 결정하는 단계를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  11. 제1항에 있어서,
    상기 하나 이상의 적응 연산은 프레임 드로핑(frame dropping)을 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  12. 제11항에 있어서,
    상기 프레임은 상기 수신된 세그먼트의 각 서브 그룹의 픽처에 제1의 B 프레임을 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  13. 제11항에 있어서,
    상기 프레임은 상기 수신된 세그먼트의 각 그룹의 픽처의 모든 B 프레임을 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  14. 제11항에 있어서,
    상기 하나 이상의 적응 연산은 DCT 계수 드로핑(DCT coefficient dropping)을 더 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  15. 제1항에 있어서,
    상기 하나 이상의 적응 연산은 MPEG-4 파인 그래뉼러리티 스칼러빌리티 스트림(MPEG-4 Fine Granularity Scalability stream)의 절단을 더 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  16. 제15항에 있어서,
    상기 하나 이상의 적응 연산은 절단될 MPEG-4 FGS 프레임의 일련의 비트플레인의 지정을 더 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  17. 제15항에 있어서,
    상기 하나 이상의 적응 연산은 절단될 FGST 프레임의 일련의 비트플레인을 지정하는 단계를 더 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  18. 제15항에 있어서,
    상기 하나 이상의 적응 연산은 절단될 일련의 비트플레인의 FSG 프레임 및 FGST 프레임을 지정하는 단계를 더 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  19. 제1항에 있어서,
    단계 (c) 이전에 2 이상의 이용 가능한 측정 방법 중에서 상기 품질 측정 방법을 선택하는 단계를 더 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  20. 제1항에 있어서,
    상기 압축 멀티미디어 정보는 저장 비디오 정보를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  21. 제1항에 있어서,
    상기 압축 멀티미디어 정보는 라이브 비디오 정보를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  22. 제1항에 있어서,
    단계 (e) 이전에 상기 품질 측정치에 등급을 매기는 단계를 더 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터 생성 방법.
  23. 하나 이상의 리소스 제약을 각각 가지고 있는 하나 이상의 사용자에게 압축 멀티미디어 정보를 전달하는 방법에 있어서,
    (a) 적어도 상기 압축 멀티미디어 정보의 세그먼트 및 대응하는 유틸리티 기반의 디스크립터를 수신하는 단계;
    (b) 상기 유틸리티 기반의 디스크립터를, 서로 다른 하나 이상의 리소스 제약에 각각 대응하는, 디스크립터 정보의 2 이상의 부분으로 구문 해석(parsing)하는 단계;
    (c) 상기 하나 이상의 사용자 각각에 대해, 상기 사용자의 상기 리소스 제약에 대응하는 것이 존재하면, 상기 2 이상의 유틸리티 기반의 디스크립터 정보 부분 중 하나를 선택하는 단계; 및
    (d) 상기 하나 이상의 사용자 각각에 대해, 상기 선택된 유틸리티 기반의 디스크립터 정보 부분에 의해 상기 수신된 압축 멀티미디어 세그먼트를 적응시키는 단계
    를 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  24. 제23항에 있어서,
    상기 압축 멀티미디어 정보는 MPEG-4 데이터를 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  25. 제23항에 있어서,
    상기 압축 멀티미디어 정보는 MPEG-2 데이터를 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  26. 제23항에 있어서,
    상기 압축 멀티미디어 정보는 MPEG-1 데이터를 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  27. 제23항에 있어서,
    상기 리소스 제약은 타겟 레이트 정보를 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  28. 제23항에 있어서,
    상기 유틸리티 기반의 디스크립터 정보의 2 이상의 부분 중 하나가 단계 (c)에서 선택되지 않은 경우, 상기 하나 이상의 각각의 사용자가 상기 유틸리티 기반의 디스크립터 정보의 2 이상의 부분 중에서 상기 유틸리티 기반의 디스크립터 정보의 2개의 연속하는 부분 사이를 보간하여, 상기 사용자의 상기 리소스 제약에 거의 대응하는 보간 유틸리티 기반의 디스크립터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  29. 제23항에 있어서,
    상기 구문 해석하는 단계는 상기 수신된 유틸리티 기반의 디스크립터를, 하나 이상의 리소스 제약의 고유 세트에 각각 대응하는 5 내지 100 부분으로 구분 해석하는 단계를 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  30. 제23항에 있어서,
    상기 유틸리티 기반의 디스크립터 정보의 부분들은 균일하게 샘플링되는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  31. 제23항에 있어서,
    상기 유틸리티 기반의 디스크립터 정보의 부분들은 불균일하게 샘플링되는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  32. 제23항에 있어서,
    상기 적응 단계는 프레임 드로핑을 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  33. 제32항에 있어서,
    상기 프레임은 상기 수신된 세그먼트의 각 서브 그룹의 픽처의 제1의 B 프레임을 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  34. 제32항에 있어서,
    상기 프레임은 상기 수신된 세그먼트의 각 그룹의 픽처의 모든 B 프레임을 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  35. 제32항에 있어서,
    상기 프레임은 상기 수신된 세그먼트의 각 그룹의 픽처의 종료부의 P 프레임을 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  36. 제23항에 있어서,
    상기 적응 단계는 DCT 계수 드로핑하는 단계를 더 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  37. 제23항에 있어서,
    상기 적응 단계는 MPEG-4 파인 그래뉼러리티 스칼러빌리티 스트림의 절단 단계를 더 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  38. 제23항에 있어서,
    상기 리소스 제약은 타겟 레이트 정보를 포함하며,
    상기 압축 멀티미디어 정보 전달 방법은 상기 하나 이상의 사용자 중 적어도 한 사용자로부터 사용자 선호도 정보를 수신하는 단계를 더 포함하며,
    상기 적응 단계는 상기 대응하는 사용자의 상기 사용자 선호도 정보를 사용하는 단계를 더 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  39. 제23항에 있어서,
    상기 리소스 제약은 타겟 레이트 정보를 포함하며,
    상기 압축 멀티미디어 정보 전달 방법은 상기 하나 이상의 사용자 중 적어도 한 사용자에 대응하는 네트워크로부터 타겟 비트 레이트 피드백을 수신하는 단계를 포함하며,
    상기 적응 단계는 상기 대응하는 사용자에 대한 상기 피드백을 사용하는 단계를 더 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  40. 제23항에 있어서,
    상기 적응 단계는 상기 수신된 압축 멀티미디어 세그먼트를 적응시키기 위해 소정의 네트워크 대역폭 파라미터를 사용하는 단계를 더 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  41. 제23항에 있어서,
    상기 압축 멀티미디어 정보는 저장 비디오 정보를 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  42. 제23항에 있어서,
    상기 압축 멀티미디어 정보는 라이브 비디오 정보를 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 방법.
  43. 서로 다른 타겟 비트 레이트를 각각 가지고 있는 하나 이상의 사용자 단말기에 압축 멀티미디어 정보를 전달하는 시스템에 있어서,
    (a) 컨텐츠 전달 컴퓨터;
    상기 컨텐츠 전달 컴퓨터는
    (ⅰ) 적어도 상기 압축 멀티미디어 정보의 세그먼트 및 대응하는 유틸리티 기반의 디스크립터를 수신하고,
    (ⅱ) 상기 수신된 유틸리티 기반의 디스크립터를, 고유 타겟 비트 레이트에 각각 대응하는, 상기 디스크립터 정보의 2 이상의 부분으로 구문 해석하고,
    (ⅲ) 상기 하나 이상의 사용자 각각에 대해, 상기 사용자의 상기 고유 타겟 비트 레이트에 대응하는 것이 존재하면, 상기 유틸리티 기반의 디스크립터 정보의 2 이상의 부분 중 하나를 선택하고,
    (ⅳ) 상기 하나 이상의 사용자 각각에 대해, 대응하는 선택된 유틸리티 기반의 디스크립터 정보 부분에 의해 상기 수신된 압축 멀티미디어 세그먼트를 적응시키고,
    (ⅴ) 상기 하나 이상의 사용자 각각에 대해, 상기 적응된 대응하는 압축 멀티미디어 세그먼트를 출력하도록 적응되어 있으며,
    (b) 상기 컨텐츠 전달 컴퓨터에 결합되고, 상기 적응 압축 멀티미디어 세그먼트 출력을 각각 수신하여 상기 하나 이상의 사용자 단말기에 전송하는 네트워크; 및
    (c) 상기 네트워크에 각각 결합되고, 대응하는 적응 압축 멀티미디어 세그먼트를 수신하도록 적응된 하나 이상의 사용자 단말기
    를 포함하는 것을 특징으로 하는 압축 멀티미디어 정보 전달 시스템.
  44. 제43항에 있어서,
    상기 컨텐츠 전달 컴퓨터는 유틸리티 기반의 디스크립터 정보의 2 이상의 부분 중 하나가 선택될 수 없는 경우, 상기 하나 이상의 사용자 각각에 대해, 상기 유틸리티 기반의 디스크립터 정보의 2 이상의 부분 중에서 상기 유틸리티 기반의디스크립터 정보의 2개의 연속하는 부분 사이를 보간하여, 상기 사용자에 대한 상기 리소스 제약에 거의 대응하는 보간 유틸리티에 기반하는 디스크립터를 생성하도록 추가로 적응되는 것을 특징으로 하는 압축 멀티미디어 정보 전달 시스템.
  45. 하나 이상의 리소스 제약을 각각 받는 하나 이상의 사용자 단말기에 대한 압축 멀티미디어 정보의 전달을 지정하기 위한 유틸리티 기반의 디스크립터에 있어서,
    (a) 적응 방법에 관한 유틸리티 기능을 각각 설명하는 하나 이상의 적응 디스크립터; 및
    (b) 대응하는 하나 이상의 리소스 제약을 받는 하나 이상의 사용자에게 압축 멀티미디어 정보를 전달하기 위한 적응을 나타내는 적응 연산자 세트를 각각 나타내는 하나 이상의 유틸리티 기능 디스크립터
    를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터.
  46. 제45항에 있어서,
    상기 리소스 제약은 타겟 레이트 정보를 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터.
  47. 제45항에 있어서,
    상기 하나 이상의 유틸리티 기능 디스크립터에 관련된 적어도 하나의 대응하는 제약 리소스를 정의하는 하나 이상의 리소스 디스크립터를 더 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터.
  48. 제45항에 있어서,
    상기 하나 이상의 유틸리티 기능 디스크립터에 관련된 적어도 하나의 대응하는 제약 유틸리티를 정의하는 하나 이상의 유틸리티 디스크립터를 더 포함하는 것을 특징으로 하는 유틸리티 기반의 디스크립터.
KR1020047017300A 2002-04-26 2003-04-25 유틸리티 기능 디스크립터에 기초하는 최적의 비디오트랜스코딩 방법 및 시스템 KR20050007348A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US37612902P 2002-04-26 2002-04-26
US60/376,129 2002-04-26
US38493902P 2002-05-31 2002-05-31
US60/384,939 2002-05-31

Publications (1)

Publication Number Publication Date
KR20050007348A true KR20050007348A (ko) 2005-01-17

Family

ID=29273050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047017300A KR20050007348A (ko) 2002-04-26 2003-04-25 유틸리티 기능 디스크립터에 기초하는 최적의 비디오트랜스코딩 방법 및 시스템

Country Status (6)

Country Link
US (2) US8218617B2 (ko)
EP (1) EP1532812A4 (ko)
JP (1) JP2005525011A (ko)
KR (1) KR20050007348A (ko)
AU (1) AU2003231102A1 (ko)
WO (1) WO2003091850A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE49334E1 (en) 2005-10-04 2022-12-13 Hoffberg Family Trust 2 Multifactorial optimization system and method

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
WO2003051031A2 (en) 2001-12-06 2003-06-19 The Trustees Of Columbia University In The City Of New York Method and apparatus for planarization of a material by growing and removing a sacrificial film
JP3806118B2 (ja) 2003-06-13 2006-08-09 ローム アンド ハース カンパニー 置換アントラキノンでの炭化水素のマーキング方法。
US8862866B2 (en) 2003-07-07 2014-10-14 Certicom Corp. Method and apparatus for providing an adaptable security level in an electronic communication
DE102004040312B4 (de) 2003-08-19 2018-11-15 Certicom Corp. Verfahren und Vorrichtung zum Synchronisieren einer anspassbaren Sicherheitsstufe bei einer elektronischen Datenübertragung
GB0428155D0 (en) * 2004-12-22 2005-01-26 British Telecomm Buffer underflow prevention
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US7555715B2 (en) * 2005-10-25 2009-06-30 Sonic Solutions Methods and systems for use in maintaining media data quality upon conversion to a different data format
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
CN101496338B (zh) * 2006-04-13 2013-08-21 塞尔蒂卡姆公司 在电子通信中提供可适用安全等级的方法和装置
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
FR2907989B1 (fr) * 2006-10-27 2009-01-16 Actimagine Sarl Procede et dispositif d'optimisation de la compression d'un flux video
US8804829B2 (en) 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US20080240257A1 (en) * 2007-03-26 2008-10-02 Microsoft Corporation Using quantization bias that accounts for relations between transform bins and quantization bins
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8184715B1 (en) 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
US8121197B2 (en) 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
US20100118941A1 (en) * 2008-04-28 2010-05-13 Nds Limited Frame accurate switching
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8793749B2 (en) * 2008-08-25 2014-07-29 Broadcom Corporation Source frame adaptation and matching optimally to suit a recipient video device
JP2010062926A (ja) * 2008-09-04 2010-03-18 Nec Personal Products Co Ltd 映像記録装置及び映像圧縮プログラム
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US9002881B2 (en) 2009-10-29 2015-04-07 Microsoft Technology Licensing, Llc Assembling streamed content for on-demand presentation
US9071841B2 (en) 2011-05-17 2015-06-30 Microsoft Technology Licensing, Llc Video transcoding with dynamically modifiable spatial resolution
CN108259900B (zh) * 2013-01-16 2021-01-01 黑莓有限公司 针对视频的上下文自适应二进制熵编码的变换系数编码
US9578333B2 (en) * 2013-03-15 2017-02-21 Qualcomm Incorporated Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames
KR102085270B1 (ko) 2013-08-12 2020-03-05 삼성전자 주식회사 가장 작은 왜곡 값을 갖는 해상도를 선택하는 이미지 처리 방법과 상기 방법을 수행하는 장치들
US9411814B2 (en) 2014-01-06 2016-08-09 Dropbox, Inc. Predictive caching and fetch priority
CN107808389B (zh) * 2017-10-24 2020-04-17 上海交通大学 基于深度学习的无监督视频分割方法
US20230034162A1 (en) * 2020-01-09 2023-02-02 Sony Group Corporation Transmission apparatus and transmission method

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2141607A (en) * 1983-06-15 1984-12-19 Philips Electronic Associated Video display system with index pages
US4649482A (en) * 1984-08-31 1987-03-10 Bio-Logic Systems Corp. Brain electrical activity topographical mapping
US5682425A (en) * 1990-04-23 1997-10-28 Canon Kabushiki Kaisha Information signal transmission system
FR2661585B1 (fr) * 1990-04-25 1992-08-07 Telediffusion Fse Procede et dispositif d'embrouillage-desembrouillage de donnees d'images numeriques.
JPH04207878A (ja) * 1990-11-30 1992-07-29 Toshiba Corp 動画像管理装置
US5191645A (en) * 1991-02-28 1993-03-02 Sony Corporation Of America Digital signal processing system employing icon displays
JP3177746B2 (ja) * 1991-03-20 2001-06-18 株式会社日立製作所 デ−タ処理システム及び方法
US5623690A (en) * 1992-06-03 1997-04-22 Digital Equipment Corporation Audio/video storage and retrieval for multimedia workstations by interleaving audio and video data in data file
JP2903904B2 (ja) * 1992-10-09 1999-06-14 松下電器産業株式会社 画像検索装置
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5615112A (en) * 1993-01-29 1997-03-25 Arizona Board Of Regents Synthesized object-oriented entity-relationship (SOOER) model for coupled knowledge-base/database of image retrieval expert system (IRES)
US5630121A (en) * 1993-02-02 1997-05-13 International Business Machines Corporation Archiving and retrieving multimedia objects using structured indexes
US5408274A (en) * 1993-03-11 1995-04-18 The Regents Of The University Of California Method and apparatus for compositing compressed video data
US5585852A (en) * 1993-06-16 1996-12-17 Intel Corporation Processing video signals for scalable video playback using independently encoded component-plane bands
JP3303543B2 (ja) * 1993-09-27 2002-07-22 インターナショナル・ビジネス・マシーンズ・コーポレーション マルチメディア・セグメントを構成してプレイする方法、および２つ以上のマルチメディア・ストーリーをハイパーストーリーとして構成してプレイする方法
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US5606655A (en) * 1994-03-31 1997-02-25 Siemens Corporate Research, Inc. Method for representing contents of a single video shot using frames
TW259725B (ko) * 1994-04-11 1995-10-11 Mitsubishi Heavy Ind Ltd
US5488664A (en) * 1994-04-22 1996-01-30 Yeda Research And Development Co., Ltd. Method and apparatus for protecting visual information with printed cryptographic watermarks
US5493677A (en) * 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US5613032A (en) * 1994-09-02 1997-03-18 Bell Communications Research, Inc. System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved
JPH10508440A (ja) * 1994-09-08 1998-08-18 スターガイド デジタル ネットワークス，インコーポレイティド ディジタルマルチメディア情報の電子的配布のための方法および装置
US5646997A (en) * 1994-12-14 1997-07-08 Barton; James M. Method and apparatus for embedding authentication information within digital data
JP3609488B2 (ja) 1995-05-17 2005-01-12 株式会社日立製作所 情報処理システム
US5721815A (en) * 1995-06-07 1998-02-24 International Business Machines Corporation Media-on-demand communication system and method employing direct access storage device
JPH0916457A (ja) * 1995-06-28 1997-01-17 Fujitsu Ltd マルチメディアデータ検索システム
US5758076A (en) * 1995-07-19 1998-05-26 International Business Machines Corporation Multimedia server system having rate adjustable data retrieval based on buffer capacity
EP0757490A3 (en) * 1995-08-02 1999-01-13 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
US5734893A (en) * 1995-09-28 1998-03-31 Ibm Corporation Progressive content-based retrieval of image and video with adaptive and iterative refinement
US5884298A (en) * 1996-03-29 1999-03-16 Cygnet Storage Solutions, Inc. Method for accessing and updating a library of optical discs
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US5870754A (en) * 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
JP3423835B2 (ja) * 1996-05-01 2003-07-07 沖電気工業株式会社 スクランブル付き圧縮符号化装置及びその伸長再生装置
US6031914A (en) * 1996-08-30 2000-02-29 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible images
US5873080A (en) * 1996-09-20 1999-02-16 International Business Machines Corporation Using multiple search engines to search multimedia data
US5734752A (en) * 1996-09-24 1998-03-31 Xerox Corporation Digital watermarking using stochastic screen patterns
SE515535C2 (sv) * 1996-10-25 2001-08-27 Ericsson Telefon Ab L M En transkoder
US6172675B1 (en) * 1996-12-05 2001-01-09 Interval Research Corporation Indirect manipulation of data using temporally related data, with particular application to manipulation of audio or audiovisual data
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
US6208746B1 (en) * 1997-05-09 2001-03-27 Gte Service Corporation Biometric watermarks
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US6222932B1 (en) * 1997-06-27 2001-04-24 International Business Machines Corporation Automatic adjustment of image watermark strength based on computed image texture
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
US6208735B1 (en) * 1997-09-10 2001-03-27 Nec Research Institute, Inc. Secure spread spectrum watermarking for multimedia data
US6886013B1 (en) * 1997-09-11 2005-04-26 International Business Machines Corporation HTTP caching proxy to filter and control display of data in a web browser
JP2001521250A (ja) * 1997-10-27 2001-11-06 マサチューセッツ・インスティチュート・オブ・テクノロジー 情報の検索および検索システム
FR2772538B1 (fr) * 1997-12-17 2000-02-11 Telediffusion Fse Procede et systeme de mesure de la qualite de signaux de television numerique
US6037984A (en) * 1997-12-24 2000-03-14 Sarnoff Corporation Method and apparatus for embedding a watermark into a digital image or image sequence
US7444308B2 (en) * 2001-06-15 2008-10-28 Health Discovery Corporation Data mining platform for bioinformatics and other knowledge discovery
US6178416B1 (en) * 1998-06-15 2001-01-23 James U. Parker Method and apparatus for knowledgebase searching
US6041079A (en) * 1998-06-30 2000-03-21 Thomson Consumer Electronics, Inc, Field/frame conversion of DCT domain mixed field/frame mode macroblocks using 1-dimensional DCT/IDCT
US6714909B1 (en) * 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval
US6346124B1 (en) * 1998-08-25 2002-02-12 University Of Florida Autonomous boundary detection system for echocardiographic images
US6708055B2 (en) * 1998-08-25 2004-03-16 University Of Florida Method for automated analysis of apical four-chamber images of the heart
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
US6185329B1 (en) * 1998-10-13 2001-02-06 Hewlett-Packard Company Automatic caption text detection and processing for digital images
US6549911B2 (en) * 1998-11-02 2003-04-15 Survivors Of The Shoah Visual History Foundation Method and apparatus for cataloguing multimedia data
WO2000039954A1 (en) * 1998-12-29 2000-07-06 Kent Ridge Digital Labs Method and apparatus for embedding digital information in digital multimedia data
US6532541B1 (en) * 1999-01-22 2003-03-11 The Trustees Of Columbia University In The City Of New York Method and apparatus for image authentication
US6366701B1 (en) * 1999-01-28 2002-04-02 Sarnoff Corporation Apparatus and method for describing the motion parameters of an object in an image sequence
US6223183B1 (en) * 1999-01-29 2001-04-24 International Business Machines Corporation System and method for describing views in space, time, frequency, and resolution
US7185049B1 (en) * 1999-02-01 2007-02-27 At&T Corp. Multimedia integration description scheme, method and system for MPEG-7
US6556695B1 (en) * 1999-02-05 2003-04-29 Mayo Foundation For Medical Education And Research Method for producing high resolution real-time images, of structure and function during medical procedures
US6556958B1 (en) * 1999-04-23 2003-04-29 Microsoft Corporation Fast clustering with sparse data
US6847980B1 (en) * 1999-07-03 2005-01-25 Ana B. Benitez Fundamental entity-relationship models for the generic audio visual data signal description
US6546135B1 (en) * 1999-08-30 2003-04-08 Mitsubishi Electric Research Laboratories, Inc Method for representing and comparing multimedia content
US6339450B1 (en) * 1999-09-21 2002-01-15 At&T Corp Error resilient transcoding for video over wireless channels
US6725372B1 (en) * 1999-12-02 2004-04-20 Verizon Laboratories Inc. Digital watermarking
US6820111B1 (en) * 1999-12-07 2004-11-16 Microsoft Corporation Computer user interface architecture that saves a user's non-linear navigation history and intelligently maintains that history
US7093028B1 (en) * 1999-12-15 2006-08-15 Microsoft Corporation User and content aware object-based data stream transmission methods and arrangements
AU2001238354A1 (en) * 2000-02-18 2001-08-27 The University Of Maryland Methods for the electronic annotation, retrieval, and use of electronic images
US6701309B1 (en) * 2000-04-21 2004-03-02 Lycos, Inc. Method and system for collecting related queries
KR20040041082A (ko) * 2000-07-24 2004-05-13 비브콤 인코포레이티드 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법
US8538770B2 (en) * 2000-08-01 2013-09-17 Logical Images, Inc. System and method to aid diagnoses using cross-referenced knowledge and image databases
US6714683B1 (en) * 2000-08-24 2004-03-30 Digimarc Corporation Wavelet based feature modulation watermarks and related applications
US20030013951A1 (en) * 2000-09-21 2003-01-16 Dan Stefanescu Database organization and searching
US6915241B2 (en) * 2001-04-20 2005-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method for segmentation and identification of nonstationary time series
US7145946B2 (en) * 2001-07-27 2006-12-05 Sony Corporation MPEG video drift reduction
KR20040031026A (ko) * 2001-08-28 2004-04-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티미디어 콘텐츠에서 사용자 선택으로부터 자동적인질문 포뮬레이션
US6700935B2 (en) * 2002-02-08 2004-03-02 Sony Electronics, Inc. Stream based bitrate transcoder for MPEG coded video
JP3988599B2 (ja) * 2002-09-20 2007-10-10 富士ゼロックス株式会社 画像処理方法、改竄検出方法、画像処理装置、改竄検出装置、画像処理プログラム、改竄検出プログラム及び画像形成媒体
WO2004061711A1 (en) * 2003-01-06 2004-07-22 Koninklijke Philips Electronics N.V. Method and apparatus for similar video content hopping
US7327885B2 (en) * 2003-06-30 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Method for detecting short term unusual events in videos
US20050289265A1 (en) * 2004-06-08 2005-12-29 Daniel Illowsky System method and model for social synchronization interoperability among intermittently connected interoperating devices
US8156427B2 (en) * 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US7812986B2 (en) * 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US7519217B2 (en) * 2004-11-23 2009-04-14 Microsoft Corporation Method and system for generating a classifier using inter-sample relationships
US7653264B2 (en) * 2005-03-04 2010-01-26 The Regents Of The University Of Michigan Method of determining alignment of images in high dimensional feature space
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7801893B2 (en) * 2005-09-30 2010-09-21 Iac Search & Media, Inc. Similarity detection and clustering of images
US8874477B2 (en) * 2005-10-04 2014-10-28 Steven Mark Hoffberg Multifactorial optimization system and method
US9049408B2 (en) * 2006-09-01 2015-06-02 Texas Instruments Incorporated Color space appearance model video processor
KR100805591B1 (ko) * 2006-11-16 2008-02-20 삼성에스디아이 주식회사 연료 전지 시스템 및 그 구동 제어 방법
US8145677B2 (en) * 2007-03-27 2012-03-27 Faleh Jassem Al-Shameri Automated generation of metadata for mining image and text data
JP4632096B2 (ja) * 2007-06-07 2011-02-16 ソニー株式会社 ナビゲーション装置及び最寄検索方法
WO2009126785A2 (en) * 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
US8180766B2 (en) * 2008-09-22 2012-05-15 Microsoft Corporation Bayesian video search reranking
US8671069B2 (en) * 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US8135221B2 (en) * 2009-10-07 2012-03-13 Eastman Kodak Company Video concept classification using audio-visual atoms
US8854973B2 (en) * 2012-08-29 2014-10-07 International Business Machines Corporation Sliced routing table management with replication

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE49334E1 (en) 2005-10-04 2022-12-13 Hoffberg Family Trust 2 Multifactorial optimization system and method

Also Published As

Publication number Publication date
EP1532812A2 (en) 2005-05-25
JP2005525011A (ja) 2005-08-18
AU2003231102A1 (en) 2003-11-10
US20090290635A1 (en) 2009-11-26
AU2003231102A8 (en) 2003-11-10
US8218617B2 (en) 2012-07-10
EP1532812A4 (en) 2007-10-10
WO2003091850A3 (en) 2005-03-24
WO2003091850A2 (en) 2003-11-06
US20090316778A1 (en) 2009-12-24

Similar Documents

Publication Publication Date Title
KR20050007348A (ko) 유틸리티 기능 디스크립터에 기초하는 최적의 비디오트랜스코딩 방법 및 시스템
JP4650868B2 (ja) 圧縮ビデオのトランスコーディング方法
US6490320B1 (en) Adaptable bitstream video delivery system
JP4601889B2 (ja) 圧縮ビットストリームを変換するための装置及び方法
KR100848310B1 (ko) 스케일러블 비디오 코딩 기술이 적용된 비트스트림적응변환 장치 및 방법
US9749713B2 (en) Budget encoding
KR100875781B1 (ko) 콘텐츠 공급 장치 및 방법과, 기록 매체
Kim et al. Content-adaptive utility-based video adaptation
US6925120B2 (en) Transcoder for scalable multi-layer constant quality video bitstreams
CN101707707B (zh) 编码设备和方法
US20070110168A1 (en) Method for generating high quality, low delay video streaming
US20100005184A1 (en) Method and device for adapting a scalable data stream, corresponding computer program product and network element
Kim et al. An optimal framework of video adaptation and its application to rate adaptation transcoding
Kofler et al. Efficient MPEG-21-based adaptation decision-taking for scalable multimedia content
Sun et al. Resource adaptation based on MPEG-21 usage environment descriptions
Shin et al. Hybrid transcoding for QoS adaptive video-on-demand services
CN100366077C (zh) 基于实用函数描述的最优视频解码的方法和系统
Shao et al. A multimedia terminal for adaptation and end-to-end Qos control
Alsrehin Toward a general parametric model for assessing the impact of video transcoding on objective video quality
Wolf Multidimensional Transcoding for Adaptive Video Streaming
Zhang et al. Intermedia: system and application for video adaptation
Tao Video adaptation for stored video delivery over resource-constrained networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application