KR20030005178A - 여러 데이터로부터의 비디오 장면 구성을 위한 방법 및 장치 - Google Patents

여러 데이터로부터의 비디오 장면 구성을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20030005178A
KR20030005178A KR1020027009933A KR20027009933A KR20030005178A KR 20030005178 A KR20030005178 A KR 20030005178A KR 1020027009933 A KR1020027009933 A KR 1020027009933A KR 20027009933 A KR20027009933 A KR 20027009933A KR 20030005178 A KR20030005178 A KR 20030005178A
Authority
KR
South Korea
Prior art keywords
video
mpeg
decoded
objects
scene
Prior art date
Application number
KR1020027009933A
Other languages
English (en)
Inventor
프란테로즈시어리
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030005178A publication Critical patent/KR20030005178A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 MPEG-4 비디오 표준에 따라 및 MPEG-2 비디오 데이터와 같은 MPEG-4에 따르지 않는 비디오 데이터(105)에 따라 인코딩된 입력 비디오 스트림들(102)로부터 동시에 MPEG-4 비디오 장면 내용(110)을 구성하는 방법 및 장치에 관한 것이다. 본 발명에 따른 방법은 상기 MPEG-4를 따르지 않는 비디오 데이터와 장면 특성들의 연관에 인해 상기 MPEG-4를 따르지 않는 비디오 데이터로부터 MPEG-4 비디오 장면을 구성하는 것을 허용하는 비디오 오브젝트 생성 단계를 따른다.

Description

여러 데이터로부터의 비디오 장면 구성을 위한 방법 및 장치{Method and device for video scene composition from varied data}
ISO/IEC 14496-1로 불리는 시스템 애스펙트들(system aspects)에 대한 MPEG 표준은 멀티미디어 데이터 조작을 위한 기능을 제공한다. 2차원 또는 3차원 영상들, 비디오 클립들, 오디오 트랙들, 텍스트들 또는 그래픽들과 같은 서로 다른 자연 또는 합성 오브젝트들(synthetic objects)을 포함하는 장면 구성에 제공된다. 이 표준은 다중 응용들에 쓸 수 있는 장면 내용 생성을 허용하고, 오브젝트 구성에있어서 유연성(flexibility)을 허용하고, 다중 오브젝트들을 포함하는 장면들에서 사용자 대화(user interaction)를 위한 수단을 제공한다. 이 표준은 통신 링크를 통해 서버 및 클라이언트 터미널을 포함하는 통신 시스템에서 이용될 수 있다. 이러한 응용들에서, 양 세트들 사이에 교환되는 MPEG-4 데이터는 상기 통신 링크 상에 흐르게 되고, 멀티미디어 응용들을 생성하도록 클라이언트 터미널에서 이용된다.
국제특허공보 WO 00/01154는 MPEG-4 비디오 프로그램들을 혼합하고 제공하기 위한 상기한 종류의 방법 및 터미널을 기재하고 있다. 이 터미널은,
- 전체 처리 태스크들을 관리하는 터미널 관리자,
- 디코딩된 오브젝트들을 제공하는 디코더들,
- 디코딩된 오브젝트들의 장면 그래프를 유지하고, 업데이트하고, 조립하는 구성 엔진(composition engine), 및
- 프리젠테이션을 위한 장면을 제공하는 프리젠테이션 엔진(presentation engine)을 포함한다.
본 발명은 적어도 MPEG-4 표준에 따라 코딩된 입력 비디오 오브젝트들의 제1 세트로부터 MPEG-4 비디오 장면 내용을 구성하는 방법에 관한 것으로, 상기 방법은 입력 비디오 오브젝트들의 상기 제1 세트로부터 디코딩된 MPEG-4 비디오 오브젝트들의 제1 세트를 발생시키는 제1 디코딩 단계(first decoding step)와, 적어도 디코딩된 MPEG-4 비디오 오브젝트들의 상기 제1 세트로부터 상기 비디오 장면의 구성된 프레임들을 발생시키는 렌더링 단계(rendering step)를 포함한다.
본 발명은, 예컨대 디지털 텔레비전 방송 분야 또는 전자 프로그램 가이드(EPG; Electronic Program Guide)와 같은 셋탑 박스에서 구현하는데 이용될 수 있다.
도 1 은 본 발명에 따른 MPEG-4 비디오 장면 구성의 서로 다른 기능의 블록들을 도시하는 도면.
도 2 은 본 발명에 따른 MPEG-4 비디오 장면 구성 방법의 하드웨어 구현을 도시하는 도면.
도 3 은 본 발명의 실시예를 도시하는 도면.
본 발명의 목적은 ISO/IEC 14496-2로 불리는 MPEG-4 비디오 표준에 따라 코딩된 비디오 데이터와 그 밖의 비디오 표준들에 따라 코딩된 비디오 데이터로부터 동시에 MPEG-4 비디오 장면 구성을 허용하는 비디오 장면 구성에 대한 비용면에 있어 효율적이고 최적화된 방법을 제공하는 것이다. 본 발명은 하기의 양상들을 고려한다.
종래 기술에 따른 구성 방법은 MPEG-4 표준에 따라 코딩된 디코딩된 비디오 오브젝트들의 세트로부터 비디오 장면 구성을 허용한다. 이 때문에, 구성 엔진은 장면에 있어서 그의 상대적 위치들 및 특징들을 포함하는 현재 오브젝트들의 장면 그래프를 유지하고 업데이트하여, 프리젠테이션 엔진에 디스플레이될 오브젝트들의 대응하는 리스트를 제공한다. 이에 답하여, 프리젠테이션 엔진은 각 구성 버퍼들에 저장된 대응하는 디코딩된 오브젝트 데이터를 검색한다. 프리젠테이션 엔진은 디스플레이 상에 프리젠테이션을 위한 장면을 제공하는 디코딩된 오브젝트들을 렌더링한다.
인터넷과 같은 디지털 네트워크들의 광범위한 이용으로, 대부분의 멀티미디어 응용들은 결국 내용을 향상시키기 위하여 서로 다른 소스들로부터 비디오 데이터를 수집한 비디오 장면 구성을 발생시킨다. 이러한 정황에서, 이 종래 기술 방법이 비디오 장면 구성을 위해 이용되는 경우, MPEG-4 표준에 따르지 않는 수집된 데이터는 렌더링될 수 없고, 응용들에 있어서 에러를 발생하거나 양호하지 않은 비디오 장면 내용을 가져온다. 참으로, 이 종래 기술 방법은 매우 제한적인데, 이는 비디오 장면 구성이 MPEG-4 시스템 표준에 따라 코딩된 비디오 오브젝트들로부터 독점적으로 수행될 수 있기 때문이며, MPEG-2 비디오 데이터와 같은 비디오 장면 구성에서 다른 비디오 데이터의 이용을 배제한다.
종래 기술 방법의 제한들을 회피하기 위하여, 본 발명에 따라 비디오 장면 구성 방법은,
a) MPEG-4를 따르지 않는 입력 비디오 데이터의 제2 세트로부터 디코딩된 비디오 데이터의 세트를 발생시키는 제2 디코딩 단계,
b) 비디오 오브젝트들의 제2 세트를 발생시키는 비디오 오브젝트 생성 단계로서, 각 생성된 비디오 오브젝트는, 상기 디코딩된 비디오 데이터의 세트로부터 추출된 디코딩된 비디오 데이터와 비디오 장면에서 상기 디코딩된 비디오 데이터의 특징들을 규정하는 특성들의 세트의 연관에 의해 형성되고, 상기 비디오 오브젝트들의 제2 세트는 상기 렌더링 단계동안 상기 디코딩된 MPEG-4 비디오 오브젝트들의 제 1 세트와 함께 렌더링되는, 상기 비디오 오브젝트 생성 단계를 포함하는 것을 특징으로 한다.
이로 인해 MPEG-4 비디오 장면이 발생되도록 장면에서 입력 비디오 오브젝트들을 모두 렌더링하는 것을 허용한다. 정말로, MPEG-4 비디오 오브젝트들 및 MPEG-4 표준에 따르지 않는 비디오 오브젝트들로부터 향상된 비디오 장면을 생성하고 렌더링하는 것이 가능해 질 수 있다.
본 발명을 처리하는 수단에 대하여 비용면에서 효율적인 MPEG-4 표준에 따르지 않은 비디오 오브젝트들에 대한 특성들의 연관은, 소비자 제품들과 같은 비용면에서 효율적인 제품들에서 이용될 수 있다.
본 발명의 상기 및 다른 양상들은 이후 기술되는 실시예들을 참조로 하여 명백해질 것이다.
본 발명의 특정한 양상들은 이후 기술되는 실시예들을 참조로 하여 설명되고, 첨부된 도면과 관련하여 고려되며, 동일한 부분들 또는 부단계들은 같은 방식으로 명시된다.
본 발명은 MPEG-4 표준에 따라 인코딩된 입력 비디오 스트림들 및 MPEG-4 표준 외에 다른 비디오 표준들에 따라 코딩된 입력 비디오 스트림들로부터 비디오 장면 구성을 허용한다. 이것은 MPEG-4 표준 이외 다른 비디오 표준들에 따라 코딩된 상기 비디오 스트림들이 MPEG-2 비디오 표준에 따라 코딩된 비디오 스트림들과 대응하는 경우를 기술하고 있으나, 본 발명이 H.263, MPEG-1, 또는 독점사 포맷과 같은 그 밖의 표준들에 이용될 수 있음은 본 기술 분야의 숙련된 자들에게 있어 명백하다.
도 1 은 본 발명에 다른 비디오 장면 구성의 서로 다른 기능의 블록들을 도시한다.
본 발명에 따른 장면 구성 방법은 기능의 단계들 즉,
1. MPEG-4 비디오 표준에 따라 코딩된 입력 비디오 오브젝트들을 포함하는 입력 비디오 스트림(102)을 디코딩하는 제1 디코딩 단계(101). 이 디코딩 단계(101)로 인해 디코딩된 MPEG-4 비디오 오브젝트들(103)이 생긴다. 입력 비디오스트림(102)이 디멀티플렉싱된 비디오 스트림에 대응하거나 복수의 기본 비디오 스트림들을 포함하는 경우, 각 기본 비디오 스트림은 디코딩 단계(101)동안 개별 디코더에 의해 디코딩된다.
2. MPEG-4 비디오 표준에 따라 코딩되지 않으나, 예컨대 MPEG-2 비디오 표준에 따라 코딩된 입력 코딩된 비디오 데이터를 포함하는 입력 비디오 스트림(105)을 디코딩하는 제2 디코딩 단계(104). 이 디코딩 단계로 인해 디코딩된 MPEG-2 비디오 데이터(016)가 생긴다. 입력 비디오 스트림(105)이 디멀티플렉싱된 비디오 스트림에 대응하거나 복수의 기본 비디오 스트림들을 포함하는 경우, 각 기본 비디오 스트림은 디코딩 단계(104)동안 개별 디코더에 의해 디코딩된다.
3. 상기 디코딩된 MPEG-2 비디오 데이터(106)로부터 비디오 오브젝트들(108)을 발생시키는 비디오 오브젝트 생성 단계(107). 이 단계는 각 디코딩된 비디오 데이터(106)와 마지막 비디오 장면에서 이것의 특징들을 규정하는 특성들의 세트의 연관으로 이루어진다. 주어진 비디오 데이터(106)에 링크된 각 데이터 구조는, 예를 들어,
a) 비디오 장면에서 상기 비디오 데이터의 깊이를 규정하는 필드 "깊이"(예를 들면, 제1 배경 및 제2 배경),
b) 상기 비디오 데이터의 기하학적 변환을 규정하는 필드 "변환"(예를 들면, 각에 의해 특징 지워진 회전),
c) 비디오 장면에서 상기 비디오 데이터와 그 밖의 비디오 오브젝트들 사이의 투명 계수(transparency coefficient)를 규정하는 필드 "투명"을 포함한다.
이런 식으로, 결과로서 생긴 비디오 오브젝트들(108)은 장면에서, 각 비디오 오브젝트(108)가 비디오 프레임들을 포함할 뿐만 아니라, 비디오 장면에서 이 설명을 허용하는 특성들의 세트로 불리기도 하는 MPEG-4 비디오 오브젝트(103)와 호환가능하다.
4. 비디오 오브젝트들(103,108)을 조립하는 렌더링 단계(109). 이 때문에, 비디오 오브젝트들(103,108)은 그 자신 오브젝트 특성들을 이용하거나 BIFS(Binary Format for Scene) 스트림(111)에 포함된 (비디오 오버젝트들(103)을 위해 비디오 오브젝트 생성 단계(107)동안 채워진)오브젝트 특성들을 이용하여 렌더링되고, 상기 BIFS 스트림(111)은 장면에서 각 오브젝트 특성들을 설명하는 장면 그래프 설명을 포함한다. 비디오 오브젝트들의 조립 순서는 렌더링될 각 비디오 오브젝트의 깊이에 의해 결정되는데 즉, 배경들(backgrounds)을 구성하는 비디오 오브젝트들이 먼저 조립되고, 이어서, 전경들(foregrounds)을 구성하는 비디오 오브젝트들은 최종적으로 조립된다. 이 렌더링으로 인해 MPEG-4 비디오 장면(110)을 발송하게 된다.
일에로서, 시청자가 TV 프로그램들을 브라우징(browsing)하는 것을 허용하는 전자 프로그램 가이드(EPG)에서, 이 방법은 MPEG-2 비디오 스트림(105) 및 MPEG-4 비디오 스트림(102)으로부터 비디오 장면을 구성하는데 이용될 수 있고, 상기 MPEG-2 비디오 스트림(105)은 디코딩(104)이후, 풀 스크린 배경 MPEG-2 비디오를 규정하는 반면, 상기 MPEG-4 비디오 스크림은 디코딩(101)이후, (예를 들면, TV 예고편으로 이용되는)축소된 형식의 비디오에 대응하는 제1 오브젝트MPEG4_video_object1 및 (시간 및 채널 표시들로 이용되는)문자 정보에 대응하는 제2 오브젝트 MPEG4_video_object2를 규정한다.
이들 3개의 비디오 요소들을 렌더링하는 것은, 비디오 장면에서 이 MPEG-2 비디오의 특징들을 규정하기 위하여, 디코딩된 MPEG-2 비디오와 특성들의 세트 Scene_video_object3의 연관에 의해 가능해질 수 있고, 이러한 연관으로 인해 비디오 오브젝트 MPEG4_video_object3이 생긴다. 제2 디코딩된 MPEG-4 오브젝트들은, 비디오 장면에서 그 특징들을 규정하기 위하여, 장면 설명에 대한 MPEG-4 신택스에 따라 특성들의 세트 Scene_video_object1(및 Scene_video_object2)와 각각 연관된다. 이들 2개의 세트들 Scen_video_object1 및 Scene_video_object2는 BIFS 스트림(111)에 포함된 미리 설정된 매개변수들 또는 매개변수들로 채워질 수 있다. 상기 후자의 가능성에서, 구성된 장면은 실시간 업데이터될 수 있고, 특히 본 기술분야의 숙련된 자들에게 널리 공지된 BIFS 업데이트 기계장치가 이용되는 경우, 장면에서 비디오 오브젝트들의 특징들을 변경하는 것을 허용한다.
각 비디오 오브젝트 구조에서, 구조 Buffer_video는 또한 엑세싱 비디오 데이터 즉, 비디오 프레임들을 위해 각 비디오 데이터의 개개의 구성요소들 Y, U 및 V를 가리키는 3개의 포인터들에 의해 규정된다. 예를 들어, 비디오 오브젝트1의 구성요소 Y는 포인터 pt_video1_Y에 의해 엑세싱되는 반면, 구성요소들 U 및 V는 포인터들 pt_video1_U 및 pt_video1_V에 의해 각각 엑세싱된다.
대응하는 장면 그래프는 하기 구조를 갖는다.
Scene_graph{
MPEG4_video_object1{
Scene_video_object1{
depth1
transform1
transparency1
}
Buffer_video1{
pt_video1_Y
pt_video1_U
pt_video1_V
}
}
MPEG4_video_object2{
Scene_video_object2{
depth2
transform2
transparency2
}
Buffer_video2{
pt_video2_Y
pt_video2_U
pt_video2_V
}
}
MPEG2_video_object3{
Scene_video_object3{
depth3
transform3
transparency3
}
Buffer_video3{
pt_video3_Y
pt_video3_U
pt_video3_V
}
}
}
렌더링 단계(109)는 먼저 구조들 Scene_video_object1 및 Scene_video_object2의 특징들을 고려하여 구성 버퍼에서 MPEG-4 오브젝트들 MPEG4_video_object1 및 MPEG4_video_object2를 조립한다. 이어서, 비디오 오브젝트 MPEG2_video_object3은, 구조 Scene_video_object3의 특징들이 고려되는 미리 렌더링된 MPEG-4 오브젝트들에 따라 렌더링된다.
도 2는 본 발명에 따른 비디오 장면 구성의 서로 다른 단계들을 구현하기 위한 하드웨어 아키텍처(200)를 도시한다.
이 아키텍처는 서로 다른 처리 하드웨어 유닛들 사이에 데이터 교환을 보장하도록 데이터 버스(201) 주변에 구성된다. 이 아키텍처는 MPEG-4 및 MPEG-2 입력 비디오 스트림들을 수신하는 입력 주변장치(202)를 포함하고, 대용량 저장장치(203)에 모두 저장된다.
MPEG-4 표준에 따라 코딩된 비디오 스트림들의 디코딩은 메모리(205)에 저장된 MPEG-4 디코딩 알고리즘에 대한 명령들을 실행하는 신호 프로세서(204)(도면에서 SP로 불림)로 행해지는 반면, MPEG-2에 따라 코딩된 비디오 스트림들의 디코딩은 또한 상기 메모리(205)에 저장된 MPEG-2 디코딩 알고리즘(또는 입력 비디오 스트림이 MPEG-2 표준 외의 비디오 표준에 따라 코딩되는 경우에는 적당한 디코딩 알고리즘)에 위한 명령들을 실행하는 신호 프로세서(204)로 행해진다. 일단 디코딩되면, MPEG-4 비디오 오브젝트들은 제1 데이터 풀 버퍼(206)에 저장되는 반면, MPEG-2 비디오 데이터는 제2 데이터 풀 버퍼(211)에 저장된다.
비디오 렌더링 단계는 메모리(205)에 저장된 렌더링 알고리즘에 위한 명령들을 실행하는 신호 프로세서(204)에 의해 행해진다. 디코딩된 MPEG-4 오브젝트들 뿐만 아니라 디코딩된 MPEG-2 데이터가 구성 버퍼(210)에서 조립되므로 이 렌더링이 행해진다. 이 때문에, 다중 및 고가의 데이터 처리를 회피하기 위하여, 디코딩된MPEG-2 데이터는 신호 코-프로세서(209)에 의해 버퍼(211)로부터 상기 구성 버퍼(210)로 직접 재복사된다. 이 재복사는 최소 계산 코드가 이용되고, 디코딩 또는 렌더링 태스크들과 같은 응용에서 다른 태스크들을 제한하지 않음을 보장한다. 동시에, 상기 MPEG-2 데이터에 위한 특성들의 세트가 채워지고 렌더링 단계동안 신호 프로세서에 의해 고려된다. 이런 식으로, MPEG-2 데이터는 MPEG-4 데이터(예를 들면, 비디오 데이터 및 특성들의 연관)와 유사한 구조를 갖고, 입력 비디오 오브젝트들의 전체 렌더링을 허용한다. 따라서, 상기 렌더링은 EPG를 이용하는 시청자의 행동에 따라, 확립될 비디오 장면에서 비디오 오브젝트들의 위치를 변화시키기 위해, MPEG-4 오브젝트들 특성들 및 MPEG-2 특성들뿐만 아니라,
1. 마우스(207) 및/또는 키보드(208)의 행동,
2. 및/또는 저장 장치(203)에 저장되거나 입력 주변장치(202)를 통해 수신된 BIFS 스트림으로부터 발생된 BIFS 명령들을 위한 데이터를 고려한다.
렌더링된 프레임이 버터(210)의 내용들에서 이용가능해질 때, 디스플레이(213)상에 디스플레이되기 위해 출력 비디오 주변장치(212)에 프리젠트된다.
이러한 구현에서, 프로세서(204) 및 코-프로세서(209)는, 비디오 장면의 다음의 출력 프레임을 구성하는 MPEG-4 입력 비디오 오브젝트들이 비디오 장면의 현재 출력 프레임을 구성하는 디코딩된 MPEG-2 비디오 데이터의 구성 버퍼에서 SCP에 의한 재복사 동안 항상 디코딩될 수 있도록 동시에 이용된다. 이는 SCP에 의해 실행되는 비CPU 소비 프로세스(클록 펄스 유닛들)에 의해 가능해질 수 있고, SP가 전CPU 처리 용량을 이용하는 것을 허용한다. 상기 최적화된 처리는 본 기술 분야 특히, 높은 계산 자원들을 요구하는 대규모 크기의 입력 비디오 오브젝트들이 처리되어야 될 때 실시간 비디오 장면 구성 내용에서의 숙련된 자에 의해 높게 인식될 것이다.
도 3은 본 발명의 실시예를 도시한다. 이 실시예는 시청자가 디스플레이(304)상에 TV 채널들 프로그램들에 대한 여러 가지 정보를 시청하는 것을 허용하는 전자 프로그램 가이드 응용(EPG)에 대응한다. 이 때문에, 시청자는 전송시 마우스형/포인터 장치(305), 윈도우(308)를 채널들 영역(306)으로 브라우징 및 시간 영역(307)에 의해 스크린을 통해 항해하고, 상기 브라우징 윈도우(browsing window)는 선택된 시간/채널 조합의 대응하는 비디오 예고편을 플레잉한다. 브라우징 윈도우(308)는 배경 비디오(309)의 상부 위에 놓이고 조합된다.
도 1을 참조로 기재된 본 발명에 따른 서로 다른 단계들은 외부 세계(302)로부터 입력 비디오 데이터를 수신하는 셋탑 박스 유닛(301)에서 구현된다. 이 예에서 상기 입력 비디오 데이터는 통신 링크(303)를 통해 예컨대 제1 방송장치(예를 들면, 비디오 오브젝트들(306,307,308))에 의해 발송된 MPEG-4 비디오 데이터 및 제2 방송장치(예를 들면, 비디오 데이터(309))에 의해 발송된 MPEG-2 비디오 데이터에 대응한다. 상기 입력 비디오 데이터는 도 2 에 도시된 바와 같이 하드웨어 아키텍처의 이용을 갖는 도 1에 도시된 본 발명의 서로 다른 단계들에 따라 처리되고, 입력 비디오 오브젝트들 전체에 의해 구성된 MPEG-4 비디오 구성된 프레임들이된다.
물론, 프리젠트된 그래픽 디자인들은 본 발명의 범위를 한정하지 않고, 정말로, 다른 그래픽 디자인들은 본 발명의 범위에서 벗어나지 않고 그려질 수 있다.
MPEG-4 비디오 표준에 따라 인코딩된 입력 비디오 스트림들 및 MPEG-2 비디오 데이터와 같은 MPEG-4에 따르지 않는 비디오 데이터(예를 들면, MPEG-4 표준에 따라 코딩되지 않는)로부터 동시에 장면 내용을 구성하는 개선된 방법을 기술하였다. 본 발명에 따른 방법은 상기 MPEG-4를 따르지 않는 비디오 데이터와 장면 특성들의 연관으로 인해 상기 MPEG-4를 따르지 않는 비디오 데이터로부터 MPEG-4 비디오 장면을 구성하는 것을 허용하는 비디오 오브젝트 생성 단계를 따른다.
물론, 본 발명은 상기 비 MPEG-4 비디오 데이터와 연관된 장면 특성들의 프리젠트된 구조에 한정되지 않고, 이 구조를 규정하는 다른 필드들은 본 발명의 범위에서 벗어나지 않고 고려될 수 있다.
본 발명은 유선 전자 회로들에 의해 또는 대안적으로 컴퓨터 판독가능 매체에 저장된 명령들의 세트에 같은 여러 방식들로 구현될 수 있고, 상기 명령들은 상기 회로들의 적어도 일부를 교체하고, 상기 교체된 회로들에서 달성되는 같은 기능들을 실행하기 위하여, 컴퓨터, 디지털 신호 프로세서 또는 디지털 신호 코-프로세서의 제어하에 실행가능해질 수 있다. 본 발명은 또한 상술한 방법의 단계들 또는 어떤 단계들을 수행하기 위한 컴퓨터 실행가능 명령들을 포함하는 소프트웨어 모듈을 포함한 컴퓨터 판독가능 매체에 관한 것이다.

Claims (8)

  1. 적어도 MPEG-4 표준에 따라 코딩된 입력 비디오 오브젝트들의 제1 세트로부터 MPEG-4 비디오 장면 내용을 구성하는 방법으로서, 상기 방법은 상기 입력 비디오 오브젝트들의 제1 세트로부터 디코딩된 MPEG-4 비디오 오브젝트들의 제1 세트를 발생시키는 제1 디코딩 단계와, 적어도 상기 디코딩된 MPEG-4 비디오 오브젝트들의 제1 세트로부터 상기 비디오 장면의 구성된 프레임들을 발생시키는 렌더링 단계를 포함하는, 상기 MPEG-4 비디오 장면 내용을 구성하는 방법에 있어서,
    a) MPEG-4를 따르지 않는 입력 비디오 데이터의 제2 세트로부터 디코딩된 비디오 데이터의 세트를 발생시키는 제2 디코딩 단계, 및
    b) 비디오 오브젝트들의 제2 세트를 발생시키는 비디오 오브젝트 생성 단계로서, 각 생성된 비디오 오브젝트는, 상기 디코딩된 비디오 데이터의 세트로부터 추출된 디코딩된 비디오 데이터와 상기 비디오 장면에서 상기 디코딩된 비디오 데이터의 특징들을 규정하는 특성들의 세트의 연관에 의해 형성되고, 상기 비디오 오브젝트들의 제2 세트는 상기 렌더링 단계동안 상기 디코딩된 MPEG-4 비디오 오브젝트들의 제 1 세트와 함께 렌더링되는, 상기 비디오 오브젝트 생성 단계를 포함하는 것을 특징으로 하는 MPEG-4 비디오 장면 내용 구성 방법.
  2. 제 1 항에 있어서,
    상기 특성들은, 깊이, 기하학적 변환, 및 투명 계수(transparencycoefficient)를 규정하는 것을 특징으로 하는 MPEG-4 비디오 장면 내용 구성 방법.
  3. 제 1 항에 있어서,
    상기 제 2 디코딩 단계는, MPEG-2 비디오 표준에 따라 코딩된 입력 비디오 데이터의 디코딩에 제공되는 것을 특징으로 하는 MPEG-4 비디오 장면 내용 구성 방법.
  4. 적어도 MPEG-4 표준에 따라 코딩된 입력 비디오 오브젝트들의 제1 세트로부터 MPEG-4 비디오 장면을 구성하는 셋탑 박스 제품으로서, 상기 셋탑 박스는, 상기 입력 비디오 오브젝트들의 제1 세트로부터 디코딩된 MPEG-4 비디오 오브젝트들의 제1 세트를 발생시키는 제1 디코딩 수단과, 구성 버퍼(composition buffer)에서 적어도 상기 디코딩된 MPEG-4 비디오 오브젝트들의 제1 세트로부터 상기 비디오 장면의 구성된 프레임들을 발생시키는 렌더링 수단을 포함하는, 상기 셋탑 박스 제품에 있어서,
    a) MPEG-4를 따르지 않는 입력 비디오 데이터의 제2 세트로부터 디코딩된 비디오 데이터의 세트를 발생시키는 제2 디코딩 수단, 및
    b) 비디오 오브젝트들의 제2 세트를 발생시키는 비디오 오브젝트 생성 수단으로서, 각 생성된 비디오 오브젝트는, 상기 디코딩된 비디오 데이터의 세트로부터 추출된 디코딩된 비디오 데이터와 상기 비디오 장면에서 상기 디코딩된 비디오 데이터의 특징들을 규정하는 특성들의 세트의 연관에 의해 형성되고, 상기 비디오 오브젝트들의 제2 세트는 상기 렌더링 수단에 의해 상기 디코딩된 MPEG-4 비디오 오브젝트들의 제1 세트와 함께 렌더링되는, 상기 비디오 오브젝트 생성 수단을 또한 포함하는 것을 특징으로 하는 셋탑 박스 제품.
  5. 제 4 항에 있어서,
    a) 디코딩 수단은 신호 프로세서에 의한 제공된 프로그램 명령들의 실행에 대응하고, 상기 프로그램 명령들은 상기 신호 프로세서나 메모리에 로딩되며,
    b) 비디오 오브젝트 생성 수단은 상기 신호 프로세서에 의한 제공된 프로그램 명령들의 실행에 대응하고, 상기 프로그램 명령들은 상기 신호 프로세서나 메모리에 로딩되고, 상기 신호 프로세서는 상기 비디오 장면에서 각 디코딩된 비디오 데이터의 특징들을 규정하기 위하여, 상기 디코딩된 비디오 데이터의 세트를 구성하는 각 비디오 데이터와 특성들을 규정하는 데이터의 연관에 제공되며,
    c) 렌더링 수단은 상기 신호 프로세서에 의한 제공된 프로그램 명령들의 실행에 대응할 뿐만 아니라, 상기 구성 버퍼에 상기 비디오 오브젝트들의 제2 세트를 재복사하는 것을 맡고 있는 신호 코-프로세서에 의한 하드웨어 기능들의 실행에도 대응하며, 상기 프로그램 명령들은 상기 신호 프로세서나 메모리에 로딩되는 것을 특징으로 하는 셋탑 박스 제품.
  6. 제 4 항에 있어서,
    MPEG-4 비디오 장면에서 상기 비디오 오브젝트들의 제2 세트와 상기 디코딩된 MPEG-4 비디오 오브젝트들의 제1 세트의 상대적 공간 위치들을 변경하기 위하여 사용자 대화들(user interactions)을 고려하는 수단을 포함하는 것을 특징으로 하는 셋탑 박스 제품.
  7. 제 4 항에 있어서,
    상기 제2 디코딩된 수단은, MPEG-2 비디오 표준에 따라 코딩된 입력 비디오 데이터의 디코딩에 제공되는 것을 특징으로 하는 셋탑 박스 제품.
  8. MPEG-4 비디오 오브젝트들 및 비 MPEG-4 비디오 오브젝트들로부터 MPEG-4 비디오 장면을 구성하는 장치를 위한 컴퓨터 프로그램 제품에 있어서,
    상기 제품은, 상기 장치에 로딩될 때, 상기 장치로 하여금 청구항 1 내지 3항 중 어느 한 항에 청구되는 방법을 실행하게 하는 명령들의 세트를 포함하는, 컴퓨터 프로그램 제품.
KR1020027009933A 2000-12-01 2001-11-21 여러 데이터로부터의 비디오 장면 구성을 위한 방법 및 장치 KR20030005178A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00403386.6 2000-12-01
EP00403386 2000-12-01

Publications (1)

Publication Number Publication Date
KR20030005178A true KR20030005178A (ko) 2003-01-17

Family

ID=8173967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027009933A KR20030005178A (ko) 2000-12-01 2001-11-21 여러 데이터로부터의 비디오 장면 구성을 위한 방법 및 장치

Country Status (8)

Country Link
US (1) US20020129384A1 (ko)
EP (1) EP1338149B1 (ko)
JP (1) JP2004515175A (ko)
KR (1) KR20030005178A (ko)
CN (1) CN1205819C (ko)
AT (1) ATE330426T1 (ko)
DE (1) DE60120745T2 (ko)
WO (1) WO2002045435A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920720B2 (en) * 2006-06-26 2011-04-05 Keystream Corporation Computer-implemented method for object creation by partitioning of a temporal graph
KR101317204B1 (ko) 2006-11-27 2013-10-10 삼성전자주식회사 동적 영상물의 프레임 정보를 생성하는 방법 및 이를이용한 장치
US20110032331A1 (en) * 2009-08-07 2011-02-10 Xuemin Chen Method and system for 3d video format conversion
JP6946724B2 (ja) * 2017-05-09 2021-10-06 ソニーグループ株式会社 クライアント装置、クライアント装置の処理方法、サーバおよびサーバの処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929850A (en) * 1996-07-01 1999-07-27 Thomson Consumer Electronices, Inc. Interactive television system and method having on-demand web-like navigational capabilities for displaying requested hyperlinked web-like still images associated with television content
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6954897B1 (en) * 1997-10-17 2005-10-11 Sony Corporation Method and apparatus for adjusting font size in an electronic program guide display
US6621932B2 (en) * 1998-03-06 2003-09-16 Matsushita Electric Industrial Co., Ltd. Video image decoding and composing method and video image decoding and composing apparatus
US6563515B1 (en) * 1998-05-19 2003-05-13 United Video Properties, Inc. Program guide system with video window browsing
US6505348B1 (en) * 1998-07-29 2003-01-07 Starsight Telecast, Inc. Multiple interactive electronic program guide system and methods
US6425129B1 (en) * 1999-03-31 2002-07-23 Sony Corporation Channel preview with rate dependent channel information
US6973130B1 (en) * 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US6658057B1 (en) * 2000-08-31 2003-12-02 General Instrument Corporation Digital transcoder with logo insertion

Also Published As

Publication number Publication date
CN1397139A (zh) 2003-02-12
CN1205819C (zh) 2005-06-08
EP1338149B1 (en) 2006-06-14
EP1338149A1 (en) 2003-08-27
US20020129384A1 (en) 2002-09-12
WO2002045435A1 (en) 2002-06-06
DE60120745D1 (de) 2006-07-27
JP2004515175A (ja) 2004-05-20
ATE330426T1 (de) 2006-07-15
DE60120745T2 (de) 2007-05-24

Similar Documents

Publication Publication Date Title
US9641897B2 (en) Systems and methods for playing, browsing and interacting with MPEG-4 coded audio-visual objects
EP2815582B1 (en) Rendering of an interactive lean-backward user interface on a television
US7836193B2 (en) Method and apparatus for providing graphical overlays in a multimedia system
US7474700B2 (en) Audio/video system with auxiliary data
US20010000962A1 (en) Terminal for composing and presenting MPEG-4 video programs
Peng Digital television applications
KR20100127240A (ko) 상호작용형 컨텐츠 식별을 위하여 비디오에 트리거를 사용하는 방법
Battista et al. MPEG-4: A multimedia standard for the third millennium. 2
EP2770743B1 (en) Methods and systems for processing content
EP2132928A1 (en) Mpeg-based user interface device and method of controlling function using the same
US7366986B2 (en) Apparatus for receiving MPEG data, system for transmitting/receiving MPEG data and method thereof
EP1338149B1 (en) Method and device for video scene composition from varied data
US6828979B2 (en) Method and device for video scene composition including mapping graphic elements on upscaled video frames
US5990959A (en) Method, system and product for direct rendering of video images to a video data stream
Lim et al. MPEG Multimedia Scene Representation
US20020113814A1 (en) Method and device for video scene composition
Puri et al. Scene description, composition, and playback systems for MPEG-4
CN114979704A (zh) 视频数据生成方法和系统、视频播放系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application