KR20070112461A - 모바일 이미징 애플리케이션, 장치 구조, 서비스 플랫폼구조 및 서비스들 - Google Patents

Abstract

본 발명의 시스템 및 방법은 이동장치에 정지 이미지와 비디오 이미지 데이터를 압축 및 압축해제와 애플리케이션 감시를 제공한다. 무선 및 유선 네트워크를 통해 정지 이미지 및 비디오 이미지를 전송, 저장, 편집 및 트랜스코딩하고 이들을 디스플레이가능한 장치상에 보여주기 위한 해당 이동장치와 카메라 구조 및 서비스 플랫폼 구조가 또한 제공되어 있다.

모바일 이미징 애플리케이션, 서비스 플랫폼 구조, 트랜스코더 애플리케이션,

Description

모바일 이미징 애플리케이션, 장치 구조, 서비스 플랫폼 구조 및 서비스들{Mobile Imaging Application, Device Architecture, Service Platform Architecture and Services}

본 출원은 2005년 2월 16일에 출원된 미국 가출원 제 60/654,058호의 우선권을 주장한다.

본 출원은 또한 그 전체가 2005년 9월 20일에 출원된 미국 출원 제 11/232,165호; 2005년 9월 21일에 출원된 미국 출원 제 11/232,725호; 2005년 9월 21일에 출원된 미국 출원 제 11/232,725호; 2005년 10월 12일에 출원된 미국 출원 제 11/249,561호; 2005년 10월 13일에 출원된 미국 출원 제 11/250,797호를 참조로 합체되어 있다.

본 출원은 모든 목적을 위해 전체적으로 스웰덴(Swelens), 윔(Wim)의 The Lfting Scheme: A custum-design construction of biorthogonal wavelets. Appl. Comput. Harmon. Anal. 3(2):186-200, 1996; 윌리엄 씨. 린치(William C. Lynch), 카시미르 디. 콜라보(Krasimir D. Kolarov), 및 스티븐 이. 사운더스(Steven E. Saunders)가 2003년 4월 17일 출원된 발명의 명칭이 WAVELET TRANSFORM SYSTEM, METHOD AND COMPUTER PROGRAM PRODUCT인 미국특허출원 제 10/418,363호; 스티븐 이. 사운더스, 카시미르 디. 콜라보, 및 윌리엄 씨. 린치가 2003년 5월 28일에 출 원한 발명의 명칭이 CHROMA TEMPORAL RATE REDUCTION AND HIGH-0QUALITY PAUSE SYSTEM AND METHOD인 미국특허출원 제 10/447,514호; 윌리엄 씨. 린치, 카시미르 디. 콜라보, 및 스티븐 이. 사운더스가 2003년 5월 28일에 출원한 발명의 명칭이 PILE PROCESSING SYSTEM AND METHOD FOR PARALLEL PROCESSOR인 미국특허출원 제 10/447,455호; 골롬, 에스.더블유(Golomb, S.W.)(1996)의 "Run-length encodings." IEEE Transactions on Information Theory, IT--12(3):399--401; 알.에프. 라이스(R.F. Rice)의 "Some Practical Universal Noiseless Coding Techniques," Jet Propulsion Laboratory, Pasadena, California, JPL Publication 79--22, 1979년 5월; 제이. 토홀라(J. Teuhola)의 "A Compression Method for Clustered Bit-Vectors," Information Processing Letters, 제 7권, 페이지 308-311, 1978년 10월; 윌리엄 씨. 린치, 카시미르 디. 콜라보, 및 스티븐 이. 사운더스가 2003년 5월 28일에 출원한 발명의 명칭이 PILE PROCESSING SYSTEM AND METHOD FOR PARALLEL PROCESSOR인 미국특허출원 제 10/447,455호를 포함한다.

본 출원은 2004년 9월 22일에 출원된 미국 가출원 제60/612,652호의 우선권을 주장하는 "Multiple Technique Entopy Coding System and Method"란 명칭의 2005년 9월 21일에 출원된 미국특허출원 제11/232,726호의 일부계속출원 (continuation-in-part); 2004년 9월 22일에 출원된 미국 가출원 제60/612,651호의 우선권을 주장하는 "Permutation Procrastination"란 명칭의 2005년 9월 21일에 출원된 미국특허출원 제11/232,725호의 일부계속출원; 2004년 9월 21일에 출원된 미국 가출원 제60/612,311호의 우선권을 주장하는 "Compression Rate Control System and Method with Variable Subband Processing"란 명칭의 2005년 9월 20일에 출원된 미국출원 제11/232,165호의 일부계속출원; 2004년 9월 22일에 출원된 미국 가출원 제60/612,311호, 2003년 9월 30일에 출원된 미국 가출원 제60/507,148호 및 미국 가출원 제60/507,147호의 우선권을 주장하는 200년 5월 19일에 공개된 미국 공개공보 US 2005/0105609 "System and Method for Temporal Out-of-Order Compression and Multi-Source Compression Rate Control"란 명칭의 2004년 9월 29일에 출원된 미국특허출원 제 10/955,240호의 일부계속출원; 2002년 6월 21일에 출원된 미국 가출원 제60/390,380호 및 2002년 4월 19일에 출원된 미국 가출원 제 60/374,061호의 우선권을 주장하는 2004년 11월 30일에 발행된(issued) 미국 특허 제6,825,780호의 계속(continuation)인 2005년 5월 19일에 공개된 미국 공개공보 2005/0104752호 "Multiple Codec-Imager System and method "란 명칭의 2004년 9월 16일에 출원된 미국특허출원 제10/944,437호의 일부계속출원; 2002년 5월 28일에 출원된 미국 가출원 제60/385,253호 및 제60/385,250호의 우선권을 주장하는 2003년 12월 11일에 공개된 미국 공개공보 제 US 2003/0229773호 "Pile-Processing System amd Method for Parallel Processors"란 명칭의 2003년 5월 28일에 출원된 미국특허출원 제10/447,455호의 일부계속출원; 2002년 6월 21일에 출원된 미국 가출원 제60/390,345호 및 제60/390,492호로부터 우선권을 주장하는 2003년 12월 25일에 공개된 미국 공개공보 제 US 2003/02035340호 "Chroma Temporal Rate Reduction and High-Quilty Pause System and Method"란 명칭의 2003년 5월 28일에 출원된 미국특허 출원제 10/447,514호의 일부계속출원; 2002년 4월 19일에 출원된 미국 가출원 제60/374,069호로부터 우선권을 주장하는 제2003년 11월 6일에 공개된 미국공개공보 제 US 2003/0206597호 "System, Method and Computer Program Product for Image and Video Transcoding"란 명칭의 2003년 4월 17일에 출원된 미국 특허 출원 제 10/418,649호의 일부계속출원; 2002년 6월 21에 출원된 미국 가특허 출원 제60/390,383호, 2002년 5월 28일에 출원된 미국 가특허 출원 제 60/385,254호, 2002년 4월 19일에 출원된 미국 가특허 출원 제60/373,974호 및 제 60/373,966호로부터 우선권을 주장하는 2003년 10월 3일에 공개된 미국 공개공보 제2003/0198395호 "Wavelet Transform System, method and Computer Program Product"란 명칭의 2003년 4월 17일에 출원된 미국특허 출원 제 10/418,363호의 일부계속출원이며, 이들 각각은 전체가 참조로 본 발명에 합체되어 있다.

이 출원은 또한 전체가 참조로서 "System and Method for a Dyadic-Monotonic(DM) Codec"란 명칭의 2005년 1월 25일에 발행된 미국특허 제6,847317호; "Multiple Codec-Imager System and method"란 명칭의 2004년 11월 30일에 발행된 미국특허 제6825,780호를 포함한다.

직접 디지털화된 이미지와 비디오는 많은 비트를 가진다; 저장, 전송 및 다른 사용을 위해 이미지와 비디오를 압축하는 것이 일반적이다. 압축에 대한 몇 가지의 기본적인 방법이 공지되어 있으며, 이것에 대한 매우 많은 구체적인 변형이 있다. 일반적인 방법은 다음의 3 단계 프로세스에 의해 특징지어질 수 있다: 변환(transform), 양자화(quantize), 및 엔트로피-코드(entropy-code). 대부분의 이 미지와 비디오 압축기(compressor)는 변화와 함께, 이런 기본적인 구조를 공유한다.

비디오 압축기에서 변환 단계의 목적은 픽쳐(picture) 또는 시퀀스(sequence)에서 패턴 및 국소적인 유사성을 이용함으로써 가능한 조밀한 형태로 소스 픽쳐(source picture)의 정보 또는 에너지를 모으는 것이다. 어떤 압축기도 모든 가능한 입력을 도저히 압축할 수 없다; 압축기를 "전형적인" 입력에 잘 동작하도록 그리고 "랜덤(random)" 또는 "병리학적(pathological)" 입력을 압축하기 위해 자신의 장애를 무시하도록 압축기를 설계한다. MPEG-2와 MPEG-4와 같은, 많은 이미지 압축 및 비디오 압축 방법은 변환 단계로서 DCT(discrete consine transform)을 사용한다. MPEG-4 정적 텍스쳐(static texture) 압축과 같은, 몇 가지 더 새로운 이미지 압축 및 비디오 압축 방법은 변환 단계로서 다양한 웨이블릿(wavelet) 변환을 사용한다.

양자화는 변환 단계 후 정보를 버린다; 이때 재구성된 압축이 해제된 풀린 이미지는 원본의 정확한 재생일 수 없다. 엔트로피 코딩은 일반적으로 손실 없는 단계이다: 이 단계는 양자화 후에 남아 있는 정보를 취하여 디코더에서 정확하게 재생될 수 있도록 정보를 코딩한다. 따라서 어떤 정보가 버려지는 지에 대한 설계 결정은 다음의 엔트로피-코딩 단계에 의해 영향받지 않는다.

DCT-기반 비디오 압축/압축해제(codec) 기술의 한계는, 비디오 방송(broadcast) 및 스트리밍 애플리케이션(streaming application)에 대해 초기부터 발전되어, 기술은 스튜디오 환경에서 비디오 콘텐츠(content)의 인코딩(encoding) 에 좌우된다는 것이고, 고-복잡도(high-complexity) 인코더(encoder)는 컴퓨터 워크스테이션(workstation) 상에서 동작될 수 있다. 계산적으로 이와 같은 복잡한 인코더는 계산적으로 간단하고 상대적으로 비싸지 않은 디코더(플레이어)가 소비자의 재생장치(consumer playback device)에 설치되도록 허용한다. 그러나, 이와 같은 비대칭 인코드/디코드 기술은 모바일 멀티미디어 장치와의 바람직하지 않은 매치이며, 비디오 메시지는 재생 장치뿐만 아니라, 단말기(handset) 그 자체에서 실시간으로 캡쳐되어야만 한다. 결과로서, 모바일 장치에서 비디오는 일반적으로 다른 소비자 제품에서보다 더 낮은 프레임율(frame rate)과 더 작은 크기로 제한되어 있다.

본 발명은 상기와 관련하여 네트워크 및 다른 시스템 서비스뿐만 아니라, 모바일 장치를 포함하고, 유무선 네트워크 및 시스템을 걸쳐 정지 이미지(still image)와 비디오 이미지를 전송, 저장, 편집, 공유, 마케팅, 및 트랜스코딩(transcoding)하기 위한 모바일 장치 구조, 서비스 플랫폼 구조 및 방법 및 서비스에 대응하고, 디스플레이를 특히 강화한 장치에서 이것들을 보는, 장치에서 정지 이미지 및 비디오 이미지 녹화에 대한 방법, 장치, 시스템 및 구조에 관한 것이다. 본 발명은 또한 영상 녹화 기술에서의 개선에 관한 것이며, 모바일 장치 및 서비스 플랫폼의 구조에서의 개선에 대응한다.

본 발명의 태양은 비디오 또는 정지 이미지의 압축/압축해제에 대한 모든-소프트웨어 비디오 코덱/캠코더 애플리케이션을 포함한다. 본 발명의 태양은 또한 다른 공통으로-전개된 표준-기반 특정(proprietary) 비디오 포맷으로 완벽한 상호운용성(interoperability)을 지원하기 위해 애플리케이션을 편집하고 트랜스코딩할 뿐만 아니라 모바일 단말기에 대한 소프트웨어 비디오 코덱/캠코더 애플리케이션에 관련하여 서비스를 공유하고 비디오 메세징을 전개하기 위한, 모바일 멀티미디어 서비스(MMS: mobile multimedia service) 기반구조(infrastructure) 애플리케이션을 포함하는, 기반구조 제품, 방법 및 프로세스를 포함한다. 본 발명의 태양은 또한 모바일 장치에서 모바일 사용자에 의해 창안된 비디오 콘텐츠에 대한 마케팅 서비스와 혁신적인 모바일 비디오 블로그를 포함하는, 혁신적인 MMS 서비스를 설립하고, 가능하게 하고, 분배하고, 작동하기 위한 방법, 프로세스, 사업 프로세스를 포함한다.

도 1은 모바일 이미지 메세징(mobile image messaging)에서 비디오 이미지 크기 한계를 나타낸 것이다.

도 2a는 조인트(joint) 소스-채널 코딩 : 인코더에 대한 조직도이고, 도 2b는 디코더(decoder)에 대한 조직도이다.

도 3은 모바일 이미징(imaging) 단말기 구조를 나타내고 있다.

도 4는 모바일 이미징 서비스 플랫폼 구조를 나타내고 있다.

도 5는 비디오 코덱 기술 비교를 나타내고 있다.

도 6a는 개선된 조인트(joint) 소스-채널 코딩 인코더에 대한 조직도이다.

도 6b는 디코더에 대한 조직도이다.

도 7은 개선된 모바일 이미징 단말기 플랫폼 구조를 도시한 것이다.

도 8은 비디오 코덱 성능 비교를 도시한 것이다.

도 9는 개선된 모바일 이미징 단말기 플랫폼 구조를 도시한 것이다.

도 10은 개선된 모바일 이미징 단말기 플랫폼 구조를 도시한 것이다.

도 11은 개선된 모바일 이미징 서비스 플랫폼 구조를 도시한 것이다.

도 12는 전개된 MMSC 비디오 게이트웨이(gateway)의 OTN 업그레이드를 도시한 것이다.

도 13은 트랜스코딩에 대한 필요를 제거한 자체-재생 비디오 MMS를 도시한 것이다.

도 14는 미디어 제작자(producer) 서비스를 전개하기 위해 요구된 비디오 편집 서버(server)의 복잡도, 비용, 개수에서의 감소를 도시한 것이다.

도 15는 모바일 비디오 서비스 플랫폼을 도시한 것이다.

도 16은 더 빠르고, 더 저렴한 비용의 개발 및 더욱 고품질 멀티미디어 서비스의 전개를 도시한 것이다.

도 17은 본 발명의 태양에 따른 모바일 비디오 서비스의 태양을 도시한 것이다.

도 18은 본 발명의 태양에 따른 광대역(broadband) 멀티미디어 장치 및 서비스에 대한 애플리케이션을 도시한 것이다.

도 19는 본 발명의 태양에 따른 SW 이미징 애플리케이션에 대한 실행 옵션을 도시한 것이다.

도 20은 본 발명의 태양에 따른 HW-가속된 이미징 애플리케이션에 대한 실행 옵션을 나타내고;

도 21은 본 발명의 태양에 따른 하이브리드(Hybrid) HW-가속된 SW 이미징 애플리케이션에 대한 실행 옵션을 도시한 것이다.

도 22는 단순화된 멀티미디어 단말기 플랫폼 구조 : 애플리케이션을 도시한 것이다.

도 23은 GSM/GPRS 네트워크를 걸친 모바일 비디오 메세징 데모(demo)의 요소를 도시한 것이다.

도 24는 본 발명의 태양에 따른 소정의 MMS 기능을 도시한 것이다.

웨이블릿-기반 이미지 프로세싱

웨이블릿(wavelet) 변환은 일 차원 또는 그 이상의 차원 중 하나에서, 데이터의 세트에 웨이블릿 필터 쌍의 반복된 애플리케이션을 포함할 수 있다. 정지 이미지 압축에 대해, 2-D 웨이블릿 변환(수평 및 수직)을 이용할 수 있다. 본 발명에 따른 비디오 코덱은 3-D 웨이블릿 변환(수평, 수직 및 시간)을 이용할 수 있다. 개선된, 대칭 3-D 웨이블릿-기반 비디오 압축/압축해제(codec) 장치는 DCT-기반 코덱에 대해 요구된 전력 소비 및 계산의 복잡도의 충분히 이하로 모바일 장치에서의 전력 소비 및 계산의 복잡도를 감소하는 것이 바람직하며, 또한 단일 코텍에서 정지 이미지와 비디오 이미지를 프로세싱하기 위한 동시 지원을 가능하게 하는 것이 바람직하다. 이와 같은 단일 코텍에서 정지 이미지와 비디오 이미지에 대한 동시 지원은 개별 MPEG(비디오) 및 JPEG(정지 이미지) 코덱에 대한 필요를 제거하거나 또는 감소할 수 있으며, 또는 압축 성능과 이에 따른 모션(Motion) JPEG 코덱에 관한 저장 효율성을 크게 개선할 수 있다. 개선됨에 따라, 대칭 3-D 웨이블릿-기반 비디오 프로세싱 장치는 또한 사용자 제작 비디오의 검색, 탐색, 데이터베이스 저장뿐만 아니라, 사용자 제작 비디오의 자동 편집 또는 수동 편집을 지원하기 위해 이용된 MMS 기반구조 장비에서 전력 소비 및 계산의 복잡도를 감소하는 것이 바람직하다.

모바일 비디오 메세징 및 공유 서비스

본 발명의 태양는 모바일 장치에 관련된 비디오 콘텐츠의 혁신적인 캡쳐, 압축, 전송, 편집, 저장 및 공유하는 것에 관한 새로운 방법, 서비스 및 시스템을 포함한다. 본 발명의 태양은 (유선 및 무선 공급자) 텔레콤 및 고정된 그리고 모바일 무선 서비스 공급자를 포함하는 멀티미디어 운영자 및 인터넷, 케이블 및 다른 데이타에 적용할 수 있다. 본 발명의 태양은 사용자 당 더 높은 평균 수익(ARPU), 더 풍부한 콘텐츠 및 더 높은 대역폭 사용을 제공할 수 있다. 모바일 멀티미디어 서비스(MMS)는 텍스트-기반 단문 메시지 서비스(SMS: short message service)에 대한 멀티미디어 진화이다. 본 발명의 태양에 따르면, 발표된 장래성 있는 새로운 MMS 애플리케이션은 개인 정보를 전달하기 위해 목표 대상의 필요를 허가하는, 혁신적인 비디오 메세징 및 공유이다. 모바일 이미지 메세징 및 공유가 모바일 단말기로 디지털 카메라 기능(정지 이미지) 및/또는 캠코더 기능(비디오 이미지)의 추가를 필요로 할 수 있어, 가입자는 그들이 전송하기를 바라는 비디오 메세지를 캡 쳐(인코드)할 수 있고, 그들이 수신하는 비디오 메세지를 재생(디코드)할 수 있다. 본 발명의 태양은 또한 종래 기술에서, 조금이라 이용가능하다면, 이용할 수 없는 방법에서 이런 기능들을 가능하게 할 수 있다.

본 발명의 태양에 따르면, 모바일 장치는 통합형 소비자 멀티미디어 엔터테인먼트 플랫폼으로 진화하도록 가능하게 될 수 있다. 산업에서 실질적인 투자는 모바일 장치로 전송되고 모바일 장비에서 보여지기 위해 (뉴스 클립(clip), 스포츠 하이 라이트, 및 인기 있는 TV 프로그램의 스페셜 "모비소드(mobisode)"와 같은) 다시패키지된 방송 텔레비전 프로그래밍 및 (영화 미리보기 및 뮤직 비디오와 같은) 다른 스튜디오에서 생성된 비디오 콘텐츠를 가능하게 하는 기술 및 플랫폼을 향해 지향되어 왔다.

이 후자의 경우에는, 모바일 가입자는 비디오 소비자의 새로운 클래스로서 개발된다. 그러나 이 후자의 경우는 큰 방송 엔터프라이즈 서버에서 압축되어온 비디오 콘텐츠를 주로 이용한다. 그러나, 본 발명의 태양에 따르면 전세계 모바일 운용자는 미디어 소비자보다는 차라리, (본 발명의 태양에 의해 가능하게 됨에 따라) 미디어 제작자로서 자신의 가입자들을 지원하기 위해 중요한 새로운 기회들을 얻는다. 본 발명의 태양에 의해 가능하게 됨에 따라, 독립형 디지털 카메라 및 캠코더와 같은 동등한 품질을 가진 모바일 장치상에 사진과 비디오를 캡쳐하고 공유하기 위한 능력은, 더욱 고속의 셀 방식 그리고 고정된 무선 데이터 네트워크의 전개(deployment) 및 수렴(convergence)으로 함께, 이와 같은 새로운 서비스를 위한 기술적인 토대이다. 본 발명의 태양은 캠코더 폰 및 비디오 메세징/공유 기반구조 장비 둘다의 소매 가격 및 개발 비용에서 중요한 감소를 부가적으로 가능하게 하고, 잘 발달한 시장 및 신흥 시장 모두에, 이는 이와 같은 장치 및 관련 모바일 멀티미디어/데이터 서비스의 큰 규모의 상업용 채택에서 수단일 수 있다.

이전 모바일 이미지 메세징/공유 서비스 및 애플리케이션은 TV, 개인 컴퓨터, 디지털 비디오 캠코더, 및 개인 미디어 플레이어와 같은, (도 1 참고) 다른 멀티미디어 장치에서 전형적으로 캡쳐되어 디스플레이되어 있는 비디오 이미지보다 훨씬 더 작은 사이즈와 더 낮은 프레임율 비디오 이미지를 캡쳐하고 전송하는데 있어 엄격하게 제한되어 있다. 본 발명의 태양에 의해 제공된 바와 같이, 30 fps 또는 더 높은 프레임율로 VGA(또는 더 큰) 비디오를 지원할 수 있는 모바일 이미지 메세징 서비스 및 애플리케이션이 더 바람직할 수 있을 것이다.

적응형 결합 소스-채널 코딩

모바일 네트워크에 걸친 비디오 전송은, 텍스트, 오디오 및 정지 이미지와 같은 다른 데이터/메디아 유형의 전송과 비교하여, 일반적으로 요구된 더 높은 데이터 전송 속도 때문에 본질적으로 어렵다. 또한, 모바일 네트워크의 변동하는 노이즈와 오류 특성에 따라, 제한된 다양한 채널 대역폭은 비디오 전송에서 제약 및 어려움을 부과한다. 본 발명의 태양에 따르면, 다양한 결합 소스-채널 코딩 기술은 비디오 비트 스트림을 다른 채널 조건에 적응하도록 적용될 수 있다(도2 참고). 본 발명의 태양에 따른 이와 같은 결합 소스-채널 코딩 접근은, 변화하는 채널 대역폭과 오류 특성에 적합하기 위해, 확장가능(scalable)할 수 있다. 또한 본 발명의 태양에 따르면, 멀티캐스트(multicast) 시나리오에 대한 확장성(scalability)을 지원 되고, 비디오 스트림의 수신단에서 다른 장치는 디코딩 계산 전력 및 디스플레이 용량에 다른 한계를 가질 수 있다.

도 2에 나타난 바와 같이 그리고 본 발명의 태양에 따라, 소스 비디오 시퀀스(30)는 제 1 소스 코딩(즉, 압축)(32)일 수 있으며, 에러 정정 코드(ECC : error correction code) 채널 코딩(34)이 뒤따른다. 모바일 네트워크에서, 소스 코딩은 일반적으로 H.263, MPEG-4, 또는 Motion JPEG와 같은 DEC-기반 압축 기술을 이용한다. 예시적인 채널 코딩 방법은 리드-솔로몬(Reed-Solomon) 코드, BCH 코드, FEC 코드 및 터보 코드이다. 결합 소스 및 채널 코딩된 비디오 비트 스트림은 이때 가장 좋은 재구성된 비디오 품질을 얻는 반면 채널 대역폭 요구를 매치하기 위해 레이트 컨트롤러(36)를 통해 통과한다. 레이트 컨트롤러는 채널(38)을 걸친 전송을 위해 비디오 비트 스트림을 전송하기 전에 압축된 비트 스트림에서 이산 레이트-왜곡(descrete rate-distortion) 계산을 수행한다. 모바일 장치에서 계산 전력에서의 한계 때문에, 전형적인 레이트 컨트롤러는 이용가능한 채널 대역폭만을 고려하고, 전송 채널의 오류 특성을 명백하게 고려하지 않는다.

더 높은 계산 효율성을 가진 알고리즘에 기초한 개선된 적응형 결합 소스-채널 코딩을 이용하는 것이 바람직할 것이며, 본 발명에 의해 가능하게 되어, 순시 및 예측된 채널 대역폭 및 에러 조건이 재구성된 비디오 신호의 순시 및 평균 품질(비디오 레이트 vs. 왜곡) 모두의 제어를 극대화하기 위해 소스 코더(coder)(32), 채널 코더(34), 및 레이트 컨트롤러(36)의 3가지 모두에 이용될 수 있다.

본 발명의 태양에 따라, 이와 같은 개선된 적응형 결합-소스 채널 코딩 기술의 또다른 이점은 더 큰 범위의 QoS(quality-of-service)를 제공하기 위해 이동통신업체(wireless carrier) 및 MMS 서비스 공급자의 대응하는 능력이고 자신들의 소비자 및 기업 고객에 대한 레벨을 평가하여, 무선 네트워크 기반구조를 사용하여 생성된 수익을 극대화한다.

멀티캐스트 시나리오는 많은 사용자에 의해 디코딩될 수 있는 단일 적응형 비디오 비트 스트림을 필요로 한다. 이는 현대, 큰-규모의, 이종 네트워크(heterogeneous network)에서 특히 중요하고, 네트워크 대역폭 한계는 각각의 사용자를 위해 특히 동조된 다수의 동시방송(simulcast) 비디오 신호를 전송하는 것을 실행할 수 없게 만든다. 단일 적응형 비디오 비트 스트림의 멀티캐스팅은 대역폭 요구를 크게 감소시키지만, 그러나 광대역 유선 또는 무선 접속을 가진 고성능(high-end) 사용자들, 및 제한된 대역폭 및 에러 빈발(error prone) 접속을 가진 무선 폰 사용자를 포함하는, 다수의 사용자를 위해 디코딩이 가능한 비디오 비트 스트림의 발생을 필요로 한다. 모바일 장치에서 계산 전력에서의 한계 때문에, 적응형 레이트 컨트롤러의 입도(granularity)는, 예를 들어, 기본 계층(base layer)과 하나의 고위 계층(enhancement layer)을 포함하는 2-계층 비트스트림만을 생산하며, 일반적으로 매우 거칠다.

채널 타입(유선 및 무선), 채널 대역폭, 채널 잡음/오류 특성, 사용자 장치, 및 사용자 서비스에 관하여, 네트워크 이질성(heterogeneity)의 더 높은 레벨에 대한 지원을 가능하게 하기 위해, 더 높은 계산 효율성을 가진 알고리즘에 기초한 개 선된 적응형 결합-소스 채널 코딩을 이용하는 것이 바람직할 것이며, 본 발명의 태양를 통해 가능하게 된다.

모바일 이미징 단말기 구조

하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합(도 3 참고) 중 하나에서, 모바일 단말기에 디지털 캠코더 기능의 부가는 일반적으로 다음의 기능을 부가하는 것을 필요로 한다:

ㆍ 대응하는 전치-증폭기(pre-amplifier) 및 A/D(analog-to-digital) 신호 변환 회로소자를 가진, 이미저(imager) 어레이(전형적으로 CMOS 또는 CCD 픽셀의 어레이)

ㆍ 프리-프로세싱(pre-processing), 인코딩/디코딩(codec), 포스트-프로세싱(post-processing)과 같은 이미지 프로세싱 기능

ㆍ 무선 또는 유선 네트워크를 걸친 실시간 스트리밍 또는 비실시간 전송을 위한 프로세스된 이미지의 버퍼링

ㆍ 하나 이상의 이미지 디스플레이 스크린

ㆍ 내장식 또는 이동식 메모리 상의 국부 이미지 저장

MPEG-4와 같은, DCT 변환에 기초한 코덱을 사용하여, 상업적으로 이용가능한 이미징-가능 모바일 단말기는 TV, 개인 컴퓨터, 디지털 비디오 캠코더, 및 개인 미디어 플레이어와 같은, 다른 멀티미디어 장치에서 일반적으로 캡쳐되어 디스플레이된 비디오 이미지보다 더 작은 사이즈 그리고 더 낮은 프레임율의 비디오 이미지를 캡쳐하는 것에 제한되어 있다. 이 이미징-가능 모바일 장치는 일반적으로 30 fps(frames-per-second) 또는 그 보다 높은 디스플레이율로, VGA 포맷(640*480 픽셀) 또는 이보다 큰 포맷에서 비디오 이미지를 캡쳐/디스플레이하는 반면, 상업적으로 이용가능한 이미징-가능 모바일 단말기는 15 fps 또는 그 보다 낮은 디스플레이율로(예를 들어, 도1 참고), QVGA 포맷(320*240 픽셀), QCIF 포맷 (176*144 픽셀) 또는 이보다 작은 포맷에서 비디오 이미지를 캡쳐하는 것으로 제한되어 있다. 이 감소된 비디오 캡쳐 용량은 DCT 변환을 사용하는 비디오 압축/압축해제에 관련된 계산 단계의 개수, 유형, 및 시퀀스를 완성하기 위해 요구된 과도한 계산 요구, 프로세서(processor) 전력 소비, 및 버퍼 메모리에 기인한다.

상업적으로 이용가능한 비디오 코덱 및 마이크로프로세서 기술을 사용하는 것은 30 fps 또는 더 높은 프레임율로 VGA(또는 더 큰) 비디오의 캡쳐를 목표로하는 모바일 이미징 단말기에 대한 매우 복잡한, 전력을 많이 요하는(power-hungry) 그리고 비싼 구조를 가져온다. 이와 같은 단말기 구조는 더 큰 메모리 블록(일반적으로 1 Mbyte 또는 그 이상의 메모리 용량)과 더불어, RISC(reduced instruction sets computer) 프로세서, DSP(digital signal processor), ASIC(application-specific intergrated circuit), 및 RPD(reconfigurable processing devices)의 조합에서 동작하는 소프트웨어 프로그램 및 하드웨어 가속기의 조합을 이용하는 코덱을 필요로 한다. 이 코덱 기능은 개별 집적 회로(IC)처럼 RISC 프로세서, DSP, ASIC, 멀티미디어 프로세서, 및 RPD와 같은 것을 사용하여 이행될 수 있으며, 또는 SIP(system-in-a-package) 또는 SoC(system-on-a-chip)에 함께 통합된 RISC 프로세서, DSP, ASIC, 멀티미디어 프로세서, 및 RPD 중 하나 또는 그 이상을 조합할 수 있다.

RISC 프로세서 또는 DSP에서 동작하는 코덱 기능은 이들이 프로그래밍 에러를 정정하고 기능을 업그레이드하기 위해 변경될 수 있는 이점을 가진, 일반적인 소프트웨어 루틴(routine)이다. 소프트웨어와 같은 소정의 복잡한, 반복적인 코덱 기능을 이행하는데 있어 불이익은 결과적인 전체 프로세서 자원 및 전력 소비 필요가 일반적으로 모바일 통신 장치에서 이용할 수 있는 것을 초과한다는 것이다. ASIC 및 멀티미디어 프로세서에서 동작하는 코덱 기능은 특히 맞추어진 하드웨어 가속이 코덱의 전체 소비 전력을 실질적으로 감소시킬수 있다는 일반적인 이점을 가진, 복잡한, 반복적인 계산 단계의 고정된 하드웨어 구현이다. 고정된 하드웨어에서 소정의 코덱 기능을 구현하는데 있어 불이익은 더 길고 더 비싼 설계 싸이클, 에러가 고정된 실리콘 구현에서 발견되는 경우에 비싼 제품 리콜에 대한 위험성, 그리고 새롭게 개발된 특징이 이미징 애플리케이션에 부가되는 경우에 전개된 제품에서 고정된 실리콘 기능을 업그레이드 하는데 있어 불가능을 포함한다. RPD에서 동작하는 코덱 기능은 일반적으로 마지막 모바일 이미징 단말기 제품에서 기능을 부가하거나 또는 변경하기 위한 능력 및 하드웨어 가속화 둘다를 요구하는 루틴이다. RPD에서 소정의 코덱 기능을 구현하는데 있어 불이익은 고정된 ASIC 구현과 비교하여 하드웨어 재구성 가능성(reconfigurability)을 지원하기 위해 요구되는 더 높은 전력 소비 및 더 많은 개수의 실리콘 게이트이다.

모든-소프트웨어(all-software, all-SW) 구조로 30 fps의 프레임율로 VGA(또는 더 큰) 비디오를 캡쳐할 수 있는 모바일 이미징 단말기를 가능하게 하기 위해 복잡한, 반복적인 코덱 기능을 감소하거나 또는 제거하는 이미징 애플리케이션이, 고-체적 상업용 전개와 단말기 비용과 호환가능하게 하고 상기 구조를 간단하게 하기 위해, 바람직할 수 있다. 본 발명은 이런 목적을 성공적으로 이루고 가능하게 하기 위한 제 1 기술이다.

멀티미디어 단말기는 픽쳐 및 비디오 메세징 용량을 지원하기 위해서 뿐 아니라, 2.5G 및 3 G 셀 방식 억세스, WiBro, HSDPA, WiFi, 무선 LAN, 및 불루투스(Bluetooth)를 포함하나 이에 제한되지 않는, 다양한 부가적인 멀티미디어 용량(보이스, 음악, 그래픽) 및 다양한 고정된 모바일 무선 억세스 모드를 지원하기 위해서 요구된다. 이와 같은 제품의 개발, 전개, 및 지원에 포함된 복잡도 및 위험성은 새로운 수익 발생 서비스 및 애플리케이션을 더 효율적으로 전개하기 위해, 그리고 손실이 큰 제품 리콜을 피하기 위해, 기능 및 애플리케이션의 OTA(over-the-air) 분배 및 경영을 매우 이익적으로 만든다.

all-SW 이미징 애플리케이션은 단말기 제조업자, 모바일 운영자, 및 다른 MMS 서비스 공급자에 의해 이미징 애플리케이션의 OTA 분배 및 관리를 가능하게 하는 것이 바람직할 것이다. 다시, 본 발명은 이런 목적을 성공적으로 가능하게 하기 위한 제 1 기술이다.

모바일 자바(JAVA) 애플리케이션

자바 기술은, 하나의 언어 및 하나의 기술하에 더불어, 데스크탑에 대한 서버로부터 모바일 장치로, 광범위한 범위의 장치를 가져온다. 이 범위의 장치에 대한 애플리케이션이 다른 반면, 자바 기술은, 한 영역에서 기능적인 개발자들이 장 치 및 애플리케이션의 광범위한 스펙트럼을 거쳐 자신의 기술에 영향을 주도록 허용하는, 카운트(count)하는 이런 차이를 매우기 위해 작동한다.

자바 개발자들의 다양한 필요에 더 잘 직면하기 위해 광범위한 기획 중 일부는 1999년, 6월, J2ME(Java 2, Micro Edition)에서 썬 마이크로시스템사에 의해 자바 커뮤니티에 처음으로 소개되었다. 자바 2 플랫폼으로, 자바 기술의 구조를 3 개의 에디션으로 분류하는, 썬사는 자바 기술의 아키텍처를 재정의하였다. 표준 에디션(J2SE)는 데스크톱 개발 및 로우-엔드(low-end) 사무용 비지니스 애플리케이션에 대한 실질적인 해결책을 제안하였다. J2EE(Enprise Edition)은 기업 환경에 대한 애플리케이션에서 개발자를 위해 상술하고 있다. PDA, 셀 폰(cell phone), 페이저(pager), 텔레비젼 셋 탑 박스, 원격 텔레메트리(telemetry) 유닛, 많은 다른 소비 전기 장치 및 내장형 장치와 같은, 제한된 하드웨어 자원을 가진 장치에서 동작하는 J2ME(Micro Edition)가 개발자들을 위해 소개되어 있다.

J2ME는 128 KB RAM 정도의 그리고 일반적인 데스크탑과 서버 컴퓨터에서 이용되는 것들 보다 훨씬 덜 강력한 프로세서로 머신(machine)에서 지향되고 있다. J2ME는 실제로 한 세트의 프로파일을 포함한다. 각각의 프로파일은 장치의 특정한 타입- 셀 폰, PDA, 등-으로 정의되며 그리고 장치의 특정한 유형에 요구되는 클래스 라이브러리의 최소 세트와 장비를 지원하기 위해 요구되는 자바 가상 머신의 사양을 포함한다. 임의의 J2ME 프로파일에서 구체화된 가상 머신은 반드시 J2SE(JAVA 2 Standard Edition) 및 J2EE(JAVA 2 Enterprise Edition)에 이용되는 가상 머신과 반드시 동일하지 않다.

프로세서 전력, 메모리, 지속 저장장치(persistent storage), 및 사용자 인터페이스에서의 차이 때문에, 위에서 나열된 모든 장치에 대해, 최적인 또는 최적에 가까운 단일 J2ME 기술을 정의하는 것은 매우 어렵다. 이런 문제를 처리하기 위해, 썬 사는 J2ME에 적합한 장치의 정의를 섹션으로 구분하고 이후 하위구분한다. 먼저, 썬 사는 의도된 사용에 관련 없이, 프로세싱 전력, 메모리, 및 저장 용량에 기초한 2 개의 넓은 범주로 장치를 구분하였다. 이후 회사는 각각의 범주에서 장치의 제약 내에 작동하는 자바 언어의 불필요한 것을 제외한(stripped-down) 버전을 정의하였고, 반면 여전히 적어도 최소한의 자바 언어 기능을 제공한다.

다음으로, 썬 사는 각각의 2개의 범위 내에 장치의 클래스를 유사한 규칙으로 식별하였다.- 그래서, 예를 들어, 모든 셀 폰은 제조업자에 관련 없이, 하나의 클래스 내에 있는다. JCP(JAVA Community Process)에서 자신의 파트너의 도움으로, 썬 사는 이후 장치의 각각의 클래스에 대한 구체적인 부가적인 기능을 정의하였다.

제 1 구분은 2 개의 J2ME 구성(configuration)을 만들었다: CDC(Connected Device Configuration) 및 CLDC(Connected, Limited Device Configuration). 구성은 JVM(Java virtual machine)일 수 있으며 장치의 선택 그룹에 대한 런-타임(run-time) 환경을 제공하는 API와 클래스 라이브러리의 최소한의 세트일 수 있다. 구성은 자바 언어의 적어도 공통자(common denominator) 서브세트(subset), 즉 개발되었던 장치의 집단에 의해 부과된 자원 제약 내에 적합한 하나를 상술할 수 있다. 사용자 인터페이스, 기능, 및 사용에 걸친 이와 같은 큰 변수들이 존재하기 때문에, 일반적인 구성은 사용자 인터페이스 툴키트(toolkit) 및 지속 저장장치 API와 같은 이와 같은 중요한 부품을 정의하지 않는다. 이 기능의 정의는, 대신에, 프로파일이라 불러지는 것에 알맞다.

J2ME 프로파일은 페이저 및 셀 폰과 같은, 장치의 구체적인 클래스를 어드레스 하는 것을 의미하는 산업에 지배되는 그룹에 의해 구체화된 자바 API의 하나의 세트일 수 있다. 각각의 프로파일은 자신의 구성에 의해 제공된 자바 언어의 적어도 공통자 서브세트의 상부에 세워지고, 그리고 그 구성을 보충하는 것을 의미한다. 모바일 포켓용 장치에 중요한 2 개의 프로파일은 다음과 같다: CDC를 보충하는 파운데이션 프로파일(Foundation Profile), CLDC를 보충하는, MIDP(Mobile Information Device Profile). 더 많은 프로파일이 진행 중에 있으며, 설계서 및 참조 구현은 계속 개발되고 해결되고 있다.

JTWI(Java Technology for the Wireless Industry) 사양, JSR 185는 자바 기술-가능 모바일 폰의 다음 세대에 대한 산업-표준 플랫폼을 정의한다. JTWI는 모바일 장치 제조업자, 무선 캐리어 및 소프트웨어 매각인을 이끄는 전문가 그룹에 의해 JCP(Java Community Process)를 통해 정의되어 있다. JTWI는 모든 JTWI-순응 장치에 포함되어야하는 기술을 상술한다: 적용가능한 CLDC 1.1(JRS 139) 및 MMAPI(JSR 135) 뿐만 아니라, CLDC 1.0(JSR 30), MIDP 2.0(JSE 118), 및 WMA 1.1(JSR 120). 모바일 멀티미디어 장치에 대한 인터페이스와 기술을 정의하는 2 개의 부가적인 JTWI 사양은 JSR-135("모바일 미디어 API") 및 JSR-234("진보된 멀티미디어 보충")이다.

JTWI 사양은 고체적 장치에 대한 기능의 장애를 일으키고, 반면 API 모바일 단편화를 최소화하고 폰에 대한 이미 개발되어온 애플리케이션의 실질적인 기반을 넓힌다. JTWI의 이점은 다음을 포함한다:

ㆍ상호 운용성(interoperability): 이 노력에 대한 목표는 애플리케이션 개발자에 대한 예측가능한 환경, 및 장치 제조업자를 위한 용량의 실행 가능한 세트를 전하는 것이다. 2 가지 모두 JTWI 표준을 채택함으로써 이익을 얻는 목적은 다음과 같다: 제조업자들은 호환가능한 애플리케이션의 넓은 범위로부터 이익을 가지고, 소프트웨어 개발자는 자신의 애플리케이션을 지원하는 장치의 넓은 범위로부터 이익을 가진다.

ㆍ보안 사양(security specification)의 설명: JSR 185 사양은 MIDP 2.0 사양에서 정의된 " Recommended Security Policy for GSM/UMTS-Compliant Devices"에 관한 신뢰되지 않은 애플리케이션에 대한 다수의 설명을 소개한다. 이는 MIDP 2.0에 정의된 기초 미들렛 슈트(Midlet Suite) 보안 프레임워크(frame work)를 확장한다.

ㆍ로드 맵(Road map): JTWI 사양의 중요한 특징은 로드 맵, 즉 소프트웨어 개발자들이 JTWI-호환가능 장치에서 기대할 수 있는 공통의 기능의 아웃라인이다. 2003년 1월 6 달에서 9달 간격으로 발표되도록 기대된 로드 맵의 일 시리즈에서의 첫번째 것이 보여졌다. 이는 모바일 폰의 진화와 일치하는 부가적인 기능을 설명한다. 로드 맵은 모든 구성이 더욱 신뢰감을 가지고 미래를 구상하는 것을 가능하게 한다: 캐리어는 자신의 애플리케이션 전개 전략을 더 잘 계획할 수 있고, 장치 제조업자는 자신의 제품 계획을 더 잘 결정할 수 있고, 콘텐츠 개발자들은 자신의 어 플리케이션 개발 효과에 대한 더욱 명백한 방향을 볼 수 있다. 특히 캐리어는, 미래에, 공중(public) 인터넷을 현재 플라그(plaque)하는 바이러스, 웜, 및 다른 "공격"과 같은 보안의 틈으로부터 밑에 놓인 라디오/네트워크 기능을 추상화하고/보호하기 위해 Java VM에 좌우될 것이다.

자바-기반 이미징 애플리케이션은, 모든 자바가 강화된 단말기에 걸쳐 "한번 기록하고(write once), 어느 곳에서나 동작하는(run anywhere)" 이동성(portability)에 대해, 바이러스, 웜(worm), 및 다른 모바일 네트워크 보안 "공격"에 대항하여 Java VM 보안 및 단말기/네트워크 강건성(Robustness)에 대해, 그리고 단순화된 OTA 코덱 및 애플리케이션 다운로드 절차에 대해, 바람직할 수 있다. 이와 같은 자바-기반 이미징 애플리케이션은 JTWI 사양 JSR-135("모바일 미디어 API") 및 JSR-234("진보된 멀티미디어 보충(Supplement)")에 따라야 한다. 본 발명의 모든 태양은 이런 이점을 제공한다.

모바일 이미징 서비스 플랫폼 구조

본 발명의 태양에 따른(도 4 참고) 모바일 이미징 플랫폼 구조의 중요한 구성요소는 다음을 포함할 수 있다:

ㆍ 모바일 단말기(60)

ㆍ 모바일 기지국(Base Station)(BTS)(62)

ㆍ 기지국 제어기/무선 네트워크 제어기(BSC/RNC)(64)

ㆍ 모바일 스위칭 센터(MSC)(66)

ㆍ 게이트웨이 서비스 노드(GSN)(68)

ㆍ 모바일 멀티미디어 서비스 제어기(MMSC)(70)

본 발명의 태양에 따른(도 4참고) MMSC에 포함되어 있는 일반적인 기능은 다음과 같다:

ㆍ 비디오 게이트웨이(72)

ㆍ 텔코(Telco) 서버(74)

ㆍ MMS 애플리케이션 서버(76)

ㆍ 저장 서버(78)

본 발명의 태양에 따르면, MMSC에서 비디오 게이트웨이는 이미징 서비스 플랫폼에 의해 지원되는 다른 비디오 포맷 사이에 트랜스코딩하기 위해 이용할 수 있다. 트랜스코딩은 또한 모바일 텔레폰 네트워크에 이용되는 다른 보이스 코덱을 지원하기 위해 무선 운영자에 의해 이용되며, 대응하는 보이스 트랜스코더는 RNC에 통합된다. 종래 구조에서 발견되는 경우 도 4에 나타난 구조로 이와 같은 모바일 이미징 서비스 플랫폼을 업그레이드하는 것은 일반적으로 새로운 단말기를 전개하는 것, MMSC 비디오 게이트웨이로 새로운 하드웨어를 수동으로 부가하는 것을 필요로 한다. 몇몇 모바일 비디오 메세징 및 공유 애플리케이션에서, 트랜스코딩과 관련된 비용 및 복잡도를 제거하는 것이 바람직할 수 있다. 본 발명의 일 태양은 공통의 단말기 및 PV 비디오 플레이어에서 "자체 재생" 기능을 가능하게 하는, 각각의 전송된 비디오 스트림으로 소프트웨어 디코더를 끼워 넣기 위한 능력이다.

MMSC에서 MMS 애플리케이션 서버는 사용자 제작 비디오의 데이터베이스 저장, 탐색, 및 검색 뿐만 아니라, 사용자 제작 비디오의 자동 또는 수동 편집과 같 은 애플리케이션을 지원할 수 있다. 이와 같은 기능을 구현하기 위해 요구되는 계산의 복잡도는, 표준 PC(personal computer) 및 서버에서 사용되는 덜 비싸고 더 낮은 전력의 CPU에서 작동하는 더 간단한 SW 애플리케이션보다는 차라리, 비싸고 높은 전력의 ASIC(Application Specific Integrated Circuit) 및 DSP(digital signal processor)를 일반적으로 필요로 하는 대응하는 비디오 프로세싱 기능으로, 모바일 운영자에 의해 설치되기 위한 전문 서버를 필요로 한다.

본 발명의 태양에 의해 가능하게 됨에 따라, 본 발명의 태양에 따른 모든 소프트웨어 이미징 애플리케이션 서비스 플랫폼은 전개된 단말기의 자동화된 OTA 업그레이드, 전개된 MMSC의 자동화된 OTN를 지원하고, 표준 PC 및 서버를 사용하는 모바일 비디오 어플리테이션을 지원하기 위해, 더 바람직할 수 있다. 본 발명의 태양에 따른, 모바일 단말기 이미징 애플리케이션의 자바 구현은, 이동 네트워크 사업자가 국영(national) 레귤레이터(regulator)에 의해 요구된 서비스의 품질 및 신뢰도를 제공하도록 허용하는, 바이러스, 웜, 및 다른 "공격"에 대항하는 개선된 단말기/네트워크 강건함에 관하여 바람직할 수 있다.

문제

모바일 비디오 메세징 및 공유 서비스의 개발은 비디오 압축 기술의 기본적인 한계를 노출하였다.

한편으로, 이와 같은 모바일 비디오 서비스는 비디오를 홈 시네마 품질 방송 - 30 fps로 VGA와 같은 풀(full) 사이즈 이미지 포맷과 동등하게 하는 시장에서 착수되고 있는 중이다. 반면에, 방송 및 스트리밍 애플리케이션에 대해 초기에 개발 된 현존 비디오 기술을 사용하는 이와 같은 큰 체적의 데이터의 프로세싱은 모바일 단말기에서 실시간 비디오 캡쳐(인코딩)에 이용가능한 계산 자원 및 배터리 전력을 크게 초과한다. 방송 및 스트리밍 애플리케이션은 스튜디오 환경에서 비디오 컨텐츠의 인코딩에 좌우되고, 고-복잡도 인코더는 컴퓨터 워크스테이션 상에서 동작될 수 있다. 비디오 메세지가 단말기 그 자체에서 실시간으로 캡쳐되어야 하기 때문에, 메세지는 휠씬 더 작은 사이즈 및 훨씬 더 낮은 프레임율로 제한된다.

결과로서, 오늘날 모바일 비디오 서비스는 초기적이다: 가입자가 비디오 폰이 어떤 기능을 복제하기 위해 위치되어 있는 디지털 캠코더로부터 기대하기 위해 오랫동안 가져온 것들과 비교하여 화상은 작고(QCIF, QVGA) 및 고르지 못하다(15 fps 또는 이하). 모바일 가입자에 제공된 초기 비디오 이미지 품질은 오늘날 산업의 라이프스타일 광고에서 특징된 크리스프(crisp) 고화질 비디오에 훨씬 모자르다. 이동 가입자는 캠코더 폰 및 관련 모바일 비디오 서비스를 광범위하게 채택하고 이를 평가하는 프리미엄을 지불하기 전에 풀 VGA, 30 fps 성능(즉, 자신의 캠코더와 같은)을 요구한다.

매우 비싸고 시간을 소비하는 개발 프로그램 이후, 본 발명가로부터 나온 비디오 코덱 공급자와의 경합은 상업용 사업 요구 및 기술 용량을 훨씬 초과하는 전체 비용 및 전력 소비로, VGA 30 fps 성능을 제공하려는 시도에 있어 복잡한 하이브리드 SW 코덱 + HW 가속기 해결책만을 여전히 제공할 수 있다. 따라서 단말기는 작은 고르지 못한(choppy) 이미지 또는 전력을 많이 소모하는(power-hungry) 구조에 제한된다. 서비스 전개는 너무 비싸고, 서비스의 품질은 너무 낮아, 거대 시장 채택을 끌어당길 수 없다.

MMSC 기반구조를 업그레이드하는 것은 또한 새로운 또는 전문 하드웨어가 필요하다면 비용이 많이 든다. all-SW 애플리케이션 및 서비스 플랫폼은 단말기의 자동화된 OTA 업그레이드, MMSC 비디오 게이트웨이의 OTN 업그레이드를 가능하게 하기 위해, 그리고 표준 PC 및 서버를 사용하는 모바일 비디오 애플리케이션을 지원하기 위해 바람직할 수 있다. 다른 비디오 포맷 사이의 트랜스코딩에 대한 필요는 또한 추가적인 비용과 복잡도를 부가한다.

방안

특히 본 발명의 태양에 따른 이 문제에 대한 해결방안은 이동단말기 구조의 복잡도와 모바일 이미징 서비스 플랫폼 구조의 복잡도를 줄인 이동단말기상에 올-소프트웨어(all-SW) 애플리케이션으로서 실행될 수 있는 훨씬 더 낮은 복잡도의 이미징 애플리케이션(코덱)이다. 본 발명의 소정의 태양에 따르면, 올-소프트웨어 비디오 코덱 방안은 실질적으로 기저대역 프로세서와 멀티미디어 단말기에서의 비디오 가속기 비용 및 요건들을 줄이거나 없앤다. OTA 다운로드를 통한 코덱 후속작업(codec post-production)을 설치하는 능력과 결합된 이러한 올-소프트웨어 방안은 실질적으로 이동단말기 개발과 비디오 메세징 서비스 구조 및 개발 모두의 복잡도, 위험 및 비용을 줄인다. 본 발명에 따른 소프트웨어(SW) 비디오 트랜스코더와 편집, 저장, 탐색, 검색 애플리케이션들은 배포된 MMS 컨트롤(MMSC) 기반구조의 자동화된 오버-더-네트워크(over-the-network, OTN) 업그레이드 뿐만 아니라 이러한 애플리케이션의 실행하기 위한 표준 PC 및 서버의 사용을 가능하게 한다. 추가로, 본 발명은 웨이블릿 비디오 포맷과 다른 표준기반 및 전매특허의 비디오 포맷들 간에 상호운영성을 이동통신사에 제공한다. 본 발명은 또한 소프트웨어 디코더가 각각의 전송된 비디오스트림에 들어있게 하여, 통상적인 이동단말기 및 PV 비디오 플레이어상에 "자체 재생(self-playing)"을 가능하게 하며, 비용 및 트랜스코딩의 복잡도를 함께 없앤다. 본 발명의 올 소프트웨어 비디오 플랫폼은 다른 기존의 기술들로는 이용할 수 없는 처리속도 및 비디오 제작 정확도를 높여주는 본 발명의 실시예의 일부인 새로운 MMS 서비스의 급격한 발전을 가능하게 한다. 이러한 새로운 MMS 서비스는 그 자체가 본 발명의 태양이다. 본 발명의 웨이블릿 코덱(wavelet codecs)은 또한 정지영상(still image)와 동영상(video) 모두를 효율적으로 처리하는 능력에 있어 특유하며, 따라서 이동단말기 사진메일과 비디오 메세징 서비스 모두를 동시에 지원할 수 있는 단일의 저비용 및 저전력 방안으로 별개의 MPEG 및 JPEG 코덱을 대체할 수 있다.

본 설명에서, 소정의 태양, 도면 또는 실시예는 "드롭렛(droplet)" 태양 및 실시예로서 기술되어 있다. 본 출원에서, 드롭렛은 본 발명의 실시예들을 뜻하는 것으로 이해되어야 한다.

향상된 웨이블릿 기반의 이미지 프로세싱

본 발명의 태양은 DCT-기반의 코덱보다 훨씬 더 계산 복잡도가 낮은 비디오 압축/압축해제(코덱) 장치에 3D 웨이블릿 변환을 이용한다(도 5는 종래 DCT 인코더 기술의 관련한 계산 요건과 본 발명의 예시적인 기술의 비교를 제공한다). 웨이블릿 변환 단계의 애플리케이션은 또한 계산 복잡도가 크게 감소된 양자화 및 엔트로 피 코딩 단계의 설계를 가능하게 한다. 모바일 이미징 단말기 애플리케이션, 장치 및 서비스의 본 발명의 3D 웨이블릿 코덱의 또 다른 이점은 다음을 포함한다:

·대칭적인 복잡도가 낮은 비디오 인코딩 및 디코딩

·SW 및 HW 코덱 실행 모두에 대한 낮은 프로세서 전력요건

·원시 코드와 자바 애플리케이션으로서 모두 기존의 상업용 이동단말기와 호환될 수 있는 프로세서 요건을 갖는 30fps의 프레임율(또는 이상)의 VGA(또는 더 큰) 비디오를 인코딩하고 디코딩하는 올 소프트웨어

·SoC 통합을 위한 낮은 게이트-카운트(gate-count) ASIC 코어

·정지 이미지(~JPEG) 및 비디오(~MPEG) 모두를 지원하는 단일 코덱

·더 짧은 화면모음(GOP)으로 인해, 간략화된 비디오 편집(삭제, 삽입, 문자 중첩)

·더 짧은 GOP로 인해 비디오 코덱과의 간략화된 동기화

·더 짧은 GOP로 인해 향상된 비디오스트리밍에 대한 짧은 대기시간

·적응형 비트율 제어, 멀티캐스팅, 및 결합 소스/채널 코딩(Joint Source/Channel Coding)을 위한 미세 단위 확장성(fine grain scalability)

·HDTV 비디오 포맷을 나타내기 위한 저복잡도 성능 스케일링

·일반 단말기 및 PC 비디오 플레이어와 호환될 수 있는 "자체 재생" 비디오 메세지를 가능하게 하기 위해 각각의 전송된 비디오스트림과 통합될 수 있는 (예컨대, 크기가 40kB 미만인) 컴팩트 SW 디코더.

상기 이점은 하기의 내용을 포함하는 본 발명의 태양들에 의해 달성된다:

리프팅 구조에서 짧은 이진 필터 계수를 사용한 웨이블릿 변환의 애플리케이션: 소정의 실시예에서, Harr, 2-6, 및 5-3 웨이블릿과 이들의 변화가 사용된다. 이들은 덧셈, 뺄셈, 및 작은 고정 쉬프트(small fixed shift)만을 필요로 할 수 있다 - 어떠한 곱셈 또는 부동소수 연산도 필요로 하지 않다.

리프팅 스킴((lifting scheme) 계산: 이들 필터는 제자리 연산(In-Place Computation)을 할 수 있는 리프팅 스킴을 이용하여 계산될 수 있다. 이는 레지스터 및 임시 RAM 위치의 사용을 최소화하고, 캐수의 고효율적 이용을 위해 참조를 로컬에 보유시킨다.

맞춤형 피라미드 구조를 갖는 피라미드 형태의 웨이블릿 변환: 본 발명의 소정의 실시예들은 이전의 웨이블릿 레벨로부터 발생한 데이터의 절반에 대해 웨이블릿 변환 시퀀스의 각 레벨을 계산하므로, 총 계산은 레벨의 수에 거의 무관하다. 본 발명의 태양은 피라미드를 맞춤화하여 리프팅 스킴의 이점을 높이고 레지스터 사용 및 캐쉬 메모리 대역폭을 절감한다.

블록 구조: 대부분의 웨이블릿 압축 실행과는 대조적으로, 본 발명의 태양은 사진을 직사각형 블록으로 나누고 각 블록을 다른 것들과 별도로 처리할 수 있다. 이는 메모리 참조를 로컬에 두게 하고 프로세서 캐쉬에 남아 있는 데이터를 갖는 전체 변환 피라미드를 만들게 하여, 대부분의 프로세서내에서 상당한 데이터 이동량을 절감한다. 본 블록 구조는 신호 흐름에서 큰 중간 저장용량을 위한 요건을 방지하기 때문에 HW 실시예에 특히 유용하다.

블록 경계 필터: 본 발명은 또한 각 블록의 경계에서 본 명세서에 참조로 합 체된 미국특허출원번호 10/418,363에 기술되어 있는 선명한 인위물을 방지하는 변형된 필터 계산을 이용할 수 있다.

색 일시 제거(chroma temporal removal): 본 발명의 태양은 또한 본 명세서에 참조로 합체된 미국특허출원번호 10/447,514에 기술되어 있는 GOP에 대한 단일 분야의 색을 사용하는 대신에 모든 분야에 대한 색차(chroma difference) 신호를 갖는 것을 방지할 수 있다.

3D 웨이블릿을 이용한 임시 압축: 본 발명의 소정의 실시예들은 MPEG과 같은 종래 비디오 압축방법의 매우 고가의 움직임 검색 및 움직임 보상 동작을 이용할 수 없다. 이들 대신에, 실시예들은 필드 간 임시 웨이블릿 변환(field-to-field temporal wavelet transform)을 계산한다. 이는 계산하기에 저렴하다. 또한 이 태양에서 리프팅 스킴을 갖는 짧은 정수 필터들이 때때로 사용된다.

이진 양자화(Dyadic quantization): 본 발명의 소정 실시예에서, 압축과정의 양자화 단계는 계수 위치의 범위를 통해 균일하게 이진 쉬프트 연산을 이용하여 달성될 수 있다. 이는 종래 양자화에 의해 필요로 하는 샘플 당 곱셈 또는 나눗셈을 방지한다.

파일링(Piling): 본 발명의 소정의 실시예에서, 연속한 0들의 변환을 행함으로써 다음의 엔트로피 코더(entropy coder)에 의해 처리되는 데이터의 양이 감소된다. 소정의 실시예에서, 미국특허출원번호 10/447,455에 개시되어 있는 방법 및 발명들은 병렬처리 구조에 0들의 연속을 카운트하기 위해 이용된다.

싸이클 효율적인 엔트로피 코딩: 본 발명의 소정의 실시예에서, 압축 과정의 엔트로피 코딩 단계는 종래 참조표와 입력 심볼에 대한 직접적인 계산을 결합한 기술을 이용하여 달성된다. 심볼 분포를 특징으로 하기 때문에, Rice-Golomb 또는 exp-Golomb 또는 Dyadic Monotonic과 같은 이러한 간단한 엔트로피 코더들이 이용될 수 있다. 엔트로피 코더의 선택은 종종 프로세서 플랫폼 능력에 따라 변하게 된다.

향상된 적응형 결합 소스-채널 코딩

본 발명의 태양에 따른 웨이블렛 기반의 미세 단위 확장성은 향상된 적응형 레이트 컨트롤(adaptive rate control), 멀티캐스팅(multicasting), 및 결합 소스-채널 코딩을 가능하게 한다. 본 발명의 웨이블릿 알고리즘의 감소된 계산 복잡도와 더 커진 계산효율로 인해 순간 및 예측 채널 대역폭과 오류 상태 모두에 대한 정보가 소스 코더, 채널 코더, 및 레이트 컨트롤러 3개 모두에 이용되게 하여 재구성 비디오 신호의 순간 및 평균 품질(비디오 레이트 대 왜곡) 모두의 제어를 극대화한다(도 6 참조). 본 발명의 향상된 적응형 결합 소스-채널 코딩 기술은 이동통신사와 MMS 서비스 제공업체가 소비자와 기업 고객들에 더 큰 범위의 서비스 품질(QoS) 성능과 가격 수준을 제공하게 한다. 더 큰 계산 효율을 갖는 알고리즘에 기초한 적응형 결합 소스-채널 코딩을 사용함으로써 채널 타입(무선 및 유선), 채널 대역폭, 채널 잡음/오류 특성, 사용자 장치, 및 사용자 서비스면에서 훨씬 더 높은 수준의 네트워크에 대한 지원이 가능해 진다.

향상된 모바일 이미징 단말기 플랫폼 구조

도 7은 본 발명의 태양과 실시예에 따른 향상된 모바일 이미징 단말기 플랫 폼 구조를 도시한 것이다. 본 발명의 태양에 따른 이미징 애플리케이션은 RISC 프로세서상에 원시 코드(native code) 또는 자바 애플리케이션으로서 실행되는 올-소프트웨어 애플리케이션과 같이 실행된다. 자바코드 연산의 가속은 RISC 프로세서 자체내에 또는 별도의 자바 가속기 IC를 사용하여 실행될 수 있다. 이러한 자바 가속기는 독립형 IC로서 실행될 수 있거나, 이 IC는 SIP 또는 SoC 중 어느 하나에서 다른 기능들과 함께 일체로 형성될 수 있다.

도 7에 도시된 향상된 모바일 이미징 단말기 플랫폼 구조는 이동 이미징 애플리케이션을 위한 개개의 DSP, ASIC, 멀티미디어 프로세서, 또는 RFD 처리 블록의 필요성을 제거하고, 또한 이동단말기에서 이미지 처리를 위한 버퍼 메모리 요건을 크게 줄인다.

도 8은 MPEG-4 및 H-264 비디오 코덱을 기초로 출원한 본 출원의 우선권 출원일 다음에 소급된 현재 최첨단 기술의 산업 방안에 비하면 본 발명의 태양에 의해 제공된 풀 VGA 30 fps 비디오 인코딩을 위한 계산 요건에서 감소를 나타낸다.

도 9는 상업용 모바일 GSM 캠코더 단말기 플랫폼에 대한 본 발명의 태양의 한가지 구현을 도시한 것이다. 기존의 GSM 기저대역/멀티미디어 SoC(도 9에 도시된 Texas Instruments OMAP 850)는 QCIF/15fps 캠코더 기능을 위한 HW 가속기, DSP 및 RISC 프로세서를 필요로 하는 반면에, 본 발명은 HW 가속기 또는 DSP 필요 없이 단지 RISC 프로세서에 대한 SW 실행만을 이용하여 이 플랫폼상에 VGA/30fps 캠코더 기능을 제공한다.

도 10은 상업용 모바일 CDMA 캠코더 단말기 플랫폼의 태양의 한가지 구현을 도시한 것이다. 기존의 CDMA 기저대역/멀티미디어 SoC(도 10에 도시된 Qualcomm MSM6500)는 QCIF/15 fps 캠코더 기능을 위한 HW 가속기, DSP 및 RISC 프로세서를 필요로 하는 반면에, 본 발명은 HW 가속기 또는 DSP 없이 단지 RISC 프로세서에 대한 SW 실행만을 이용하여 이 플랫폼상에 VGA/30fps 캠코더 기능을 제공한다.

향상된 모바일 이미징 서비스 플랫폼 구조

본 발명의 실시예에 따른 향상된 모바일 이미징 서비스 플랫폼 구조의 부품들(도 11 참조)은 다음을 포함한다:

·이동단말기(160)

·기지국(BTS)(162)

·기지국 컨트롤러/무선 네트워크 컨트롤러(BSC/RNC)(164)

·교환국(MSC)(166)

·게이트웨이 서비스 노드(GSN)(168)

·모바일 멀티미디어 서비스 컨트롤러(Mobile Multimedia Service Controller, MMSC)(170)

·이미징 서비스 다운로드 서버(171)

MMSC(도 11 참조)에 포함된 대표적인 기능들은 다음을 포함한다:

·비디오 게이트웨이(172)

·텔코 서버(Telco Server)(174)

·MMS 애플리케이션 서버(176)

·저장 서버(178)

본 발명의 소정 실시예의 태양에 따르면, 향상된 이미징 서비스 플랫폼을 개발하는데 포함된 소정의 단계들은 다음을 포함한다:

단계 1

비디오 게이트웨이 트랜스코더 애플리케이션 및/또는 비디오 메시징/공유 애플리케이션은 배포된 MMSC 업데이트를 위해 이용될 수 있는 신호 네트워크로, 업데이트는 자동화된 OTN 배포 또는 수동 절차를 통해 설치될 수 있다.

단계 2

자동화된 OTN 배포 또는 수동 절차를 통한 비디오 게이트웨이 트랜스코더 SW 애플리케이션 및/또는 비디오 메시징/공유 SW 애플리케이션을 설치 및 구성한다(도 12 참조).

단계 3

모바일 비디오 이미징 애플리케이션이 다운로드 및 설치에 이용될 수 있는 신호 가입자 단말기.

단계 4

가입자가 수락하면, 거래 확정이 성공적으로 완료되고, 모바일 비디오 이미징 애플리케이션이 다운로드되고 설치된다.

단계 5

단말기 업그레이드가 완료된 신호 네트워크로서, 활성화 서비스와 관련된 애플리케이션들. 모바일 비디오 이미징 애플리케이션에 대한 새로운 요금을 반영하기 위해 가입자의 매달 청구서 기록을 업데이트한다.

본 발명의 소정 태양에 따르면, 도 13은 SW 디코더와 전송된 비디오스트림을 통합함으로써 달성된 "자체-재생" 비디오 MMS 기능을 나타내고 있다.

본 발명의 소정 태양에 따르면, 도 14는 사용자 제작 비디오의 자동 또는 수동 편집과 같은 미디어 프로듀서 서비스(media producer service)를 배포하는데 필요한 비디오 애플리케이션 서버의 복잡도, 비용 및 개수에 있어 감소 뿐만 아니라 사용자 제작 비디오의 데이터베이스 저장, 탐색 및 검색을 나타내고 있다.

본 발명의 소정 태양에 따르면, 도 15는 향상된 웨이블릿 기반의 코덱/캠코더 애플리케이션, 향상된 결합 소스채널 코딩, 및 향상된 비디오 편집 및 데이터베이스 저장, 탐색 및 검색을 포함한 비디오 메시징/공유/호출 플랫폼의 기능적 요소들을 도시한 것이다.

본 발명의 소정 태양에 따르면, 도 16은 사용자가 사용자 제작 오디오/비디오 컨텐츠의 "소프트" 카피(다운로드) 또는 "하드" 카피(DVD)를 미리보고, 공유하며, 사고 팔 수 있는 혁신적인 개인 멀티미디어 시장 플랫폼을 배포하는 능력을 포함한 고품질의 멀티미디어 단말기 및 서비스의 더 빠르고, 더 저렴한 개발 및 배포 면에서 이점을 도시한 것이다. 본 발명은 또한 데이터베이스 인덱싱 및 네트워크(RSS) 공급을 위한 더 효율적인 비디오 "래깅(lagging)"을 가능하게 하고 E-bay, Google, Yahoo, Microsoft, 및 다른 포털들과 같이 기존의 웹기반의 시장에 인터페이스를 제공한다.

본 발명의 소정 태양에 따르면, 도 17은 향상된 웨이블릿 기반의 코덱/캠코더 애플리케이션, 향상된 결합 소스채널 코딩, 및 향상된 비디오 편집 및 데이터베 이스 저장, 탐색 및 검색을 기초로 한 다수의 혁신적인 새로운 모바일 비디오 서비스를 도시한 것이다.

본 발명의 소정 태양에 따르면, 도 18은 고정된 무선, 모바일 무선, 및 유선 네트워크상의 새로운 비디오 서비스 뿐만 아니라 고정된 무선, 모바일 무선, 및 유선 구조의 "융합(converged)" 네트워크 결합 요소들을 배포하기 위해 향상된 웨이블릿 기반의 코덱/캠코더 애플리케이션, 향상된 결합 소스채널 코딩, 및 향상된 비디오 편집 및 데이터베이스 저장, 탐색 및 검색을 포함한 위의 비디오 메세징/공유/호출의 애플리케이션을 도시한 것이다.

성능

향상된 웨이블릿 기반의 모바일 비디오 이미징 애플리케이션, 결합 소스채널 코딩, 단말기 구조 및 서비스 플랫폼 구조를 갖는 본 발명의 태양은 더 높은 모바일 비디오 이미지 품질, 더 낮은 단말기 비용과 복잡도, 및 감소된 서비스 배포 비용의 목표를 달성한다.

다양한 실시예들

본 발명의 태양의 다양한 실시예들은 모바일 이미징 단말기 구조의 향상을 제공한다. 예컨대, 올-소프트웨어 웨이블릿 기반의 이미징 애플리케이션에 대해 다수의 실행 옵션들이 고려될 수 있다(도 19 참조). 이미징 애플리케이션은 OTA 다운로드(400a,400b,400c)를 통해 단말기(402a)의 기저대역 멀티미디어 처리 부분에, 착탈가능한 저장장치(402b)에, 또는 이미징 모듈(402c)에 설치될 수 있다. 바람직하기로, 이미징 애플리케이션은 또한 제조 간에 또는 판매점에서 단말기의 기저대 역 멀티미디어 처리부분에, 착탈가능한 저장장치에, 또는 이미징 모듈에 설치될 수 있다.

본 발명의 태양에 따르면, 모바일 이미징 단말기의 성능은 이동장치 계산 HW(ASIC, DSP, 멀티미디어 프로세서, RPD) 및 집적기술(SoC, SIP)에서 진행중인 발전을 이용하기 위해 HW 기반의 처리자원을 통해 몇몇 계산 요소들을 가속시킴으로써 더 향상될 수 있고, 비용 및 소비전력도 더 줄어들 수 있다. 다수의 올-소프트웨어 옵션들이 단말기, 착탈가능한 저장장치, 또는 이미징 모듈의 기저대역 멀티미디어 처리부분을 포함한 단말기내(도 20 참조) 이들 하드웨어 기반의 처리 자원을 통합하기 위해 실행될 수 있다.

도 21에 도시된 바와 같이, 하이브리드 구조가 HW에서의 몇가지 계산적으로 집중적이고, 반복적이며 고정된 기능들을 실행하고, SW에서 제조후 변형이 바람직하거나 필요로 할 수 있는 이러한 기능들을 실행함으로써 강화를 제공할 수 있다.

본 발명의 태양에 따르면, 도 22는 모바일 카메라 장치 구조, 배포 및 유지에 있을 수 있는 간략화를 도시한 것이다.

이점

본 발명의 올-소프트웨어 이미징 방안은 실질적으로 멀티미디어 단말기에서 기저대역 프로세서와 비디오 가속기 비용 및 요건을 감소시킨다. OTA 다운로드를 통해 코덱 후속제작을 설치 및 유지하는 능력과 결합된 이러한 올-소프트웨어는 실질적으로 단말기 개발 및 비디오 이미징 서비스 배포의 복잡도, 위험 및 비용을 줄일 수 있다.

본 발명은 소비자 및 기업고객에 의한 대중시장 채택을 위해 필요로 하는 비디오 품질, 이동단말기 가격점, 및 서비스 배포비용에 부응하는 최초의 모바일 비디오 메세징 및 공유 플랫폼을 모바일 조작자에게 제공한다. 본 발명은 단지 본 발명의 소정 태양 및 실시예에 따르고 매우 많은 멀티미디어 단말기들에 이미 포함된 표준 RISC 프로세서를 사용하여 초당 30 프레임(fps)의 풀 VGA 크기의 이미지(640×480픽셀)를 실시간으로 캡쳐할 수 있는 최초의 올-소포트웨어 캠코더 단말기 애플리케이션을 제공한다. 이동통신사에 대해, 본 발명의 저복잡도 비디오 처리 및 배포기술은 기존의 이동단말기 및 모바일 멀티미디어 메세징 서비스(MMS) 기반구조를 이용하는 턴키(turnkey) 배포를 가능하게 하는 강력한 새로운 올-소프트웨어 플랫폼에 통합될 수 있다. 상기 올-소프트웨어 모바일 캠코더 애플리케이션을 보완한 본 발명의 컨텐츠 관리 플랫폼의 태양은 본 기술에 따라 이동중 편집(on-the-fly editing), 썸네일 미리보기(thumbnail preview), 멀티미디어 메일함, 온라인 리포지터리(on-line repository), 공유 및 마케팅 서비스, 및 가입 관리와 함께 모바일 멀티미디어 메세지 및 "신호음"을 보완하기 위한 소리 및 문자와 함께 압축 이미지와 비디오의 통합을 위한 모듈을 이동 통신사에 제공한다.

이하의 예 1은 본 발명의 전체-소프트웨어 모바일 비디오 메세징 플랫폼의 실시예에 의해 제공된 기능 및 이점의 예비적인 실험의 구성요소, 설정 및 동작을 설명한다. 데모(실험용 프로그램; demo)는 상업적으로 이용가능한 GSM/GPRS 멀티미디어 단말기를 이용하고, 임의의 상업적 GSM/GPRS 네트워크를 통하여 동작하도록 설계된다. 이 실험은 매우 성공적으로 동작하였다. 데모는 또한 CDMA 단말기를 이 용하고, 임의의 상업적 CDMA 네트워크를 통하여 동작하도록 용이하게 설계될 수 있다. 예 1에서 데모는 "드롭렛(Droplet)"이라는 이름의 파일 코드의 세트 및 데모를 동작시키며, 따라서 예 1로 명명된다.

예 1

도 23 및 24에 도시된 바와 같이, 데모는 다음과 같은 5가지 요소들을 포함한다.

1. 본 발명의 MMS 서비스 제공자의 서버로부터 OTA(over-the-air) 방식으로 전체-SW "DTV" 비디오 코덱 애플리케이션을 다운로드하고 멀티미디어 단말기에 설치한다.

2. 멀티미디어 단말기에서 고화질(VGA, 30 fps) 비디오 메세지들을 압축하기 위하여 DTV 비디오 코덱을 사용한다.

3. 컴퓨터/TV 상에 전달/재생을 위한 풀 VGA/30 fps 해상도로, 또는 다른 멀티미디어 단말기 상으로의 전달/재생을 위하여 좀 더 낮은 해상도(QCIF/15 fps)로 크기를 줄여서, MMS 서버로 압축된 비디오 메세지(본 발명의 DTV 포맷)를 전송한다.

4. MMS 서버에 의해, 네트워크 연결된 컴퓨터로 이메일 알람을 통하여 또는 다른 단말기으로 SMS 알람을 통하여, 압축된 비디오 이미지가 다운로드 가능함을 통지한다.

5. "자체 재생(self-playing)" 즉, 네트워크 연결된 컴퓨터(VGA/30 fps) 또는 다른 단말기(QCIF/15 fps) 상에서의 디코딩을 위하여 본 발명의 DTV 디코더와 함께 압축된 비디오 메세지들을 다운로드하고, PC 또는 단말기 상에 이미 설치된 공통 비디오 플레이어를 사용하여 재생한다.

비디오 메세징 데모를 위하여 사용되는 장치

2.1 단말기들

예 1에 설명된 데모 버전을 위하여, 두 개의 상업적으로 이용가능한 GSM/GPRS 멀티미디어 단말기가 이하에서 설명되고 사용된다. 많은 다른 비교할만한 멀티미디어 단말기들이 또한 이용될 수 있다.

2.1.1 T-모바일 MDA-Ⅱ PDA폰(HTC에 의해 제조됨)

·로컬 GSM/GPRS 네트워크 상에서 동작가능해야 함

·데이터/인터넷 접속 서비스가 활성화되어야 함

·단말기를 PC로 연결시킬 수 있는 USB 2.0을 구비한 MDA-Ⅱ 폰 크래들(cradle)

·OS: 폰 판(phone edition)의 윈도우 모바일 2003 포켓 PC

2.1.2 OS X폰 스마트폰(HTC에 의해 제조됨)

·로컬 GSM/GPRS 네트워크 상에서 동작가능해야 함

·데이터/인터넷 접속 서비스가 활성화되어야 함

·단말기를 PC로 연결시킬 수 있는 USB 2.0

·OS: 윈도우 모바일 2003 스마트폰 판

2.2 컴퓨터들

2.2.1 PC(랜탑 또는 데스크탑)

예 1에 설명된 데모 버전을 위하여, 다음과 같은 구성을 갖는 랜탑 컴퓨터가 이용된다.

·모델: Sony Vaio PCG-K33P

·프로세서/메모리: 3.06㎓ 펜티엄 4, 512MB RAM

·그래픽: 64MB RAM을 구비한 ATI Radeon IGP 345M

·저장 장치: 60GB

·I/O: 하나의 1394(Firewire) 포트, 두 개의 USB 2.0 포트

·OS: 윈도우 XP

·사전 설치된 비디오 애플리케이션: 윈도우 무비 메이터(Window Movie Maker)

2.2.2 원격 서버

예 1에 설명된 데모 버전을 위하여, UNIX 기반 원격 서버가 이하의 MMS 기능들을 수행하기 위하여 사용된다.

MDA-Ⅱ 단말기에 의한 다운로드를 위하여 DTV 코덱을 저장한다.

·X폰에 의한 다운로드를 위하여 DTV 플레이어 애플리케이션 저장

·저장/전달을 위하여 MDA-Ⅱ 단말기으로부터 압축된 비디오 메세지들 수신

·비디오 메세지가 다운로드 가능함을 X폰에 알리는 SMS 메세지 전송

·X폰이 DTV 플레이어 애플리케이션 및 다운로드를 위한 ACIF/15 fps 비디오 메세지들에 접속가능하게 함

2.3 비디오 캡쳐

예 1에 설명된 데모 버전을 위하여, 이하의 상업용 캠코더들이, 단말기들 상에서 동작하는 본 발명의 DTV 코덱에 의한 압축을 위하여 고화질 비디오 입력 시퀀스들의 외부 소스를 제공하기 위하여 이용된다.

·캐논 ZR 65 DV 캠코더(캠코더를 PV에 연결할 수 있는 1394 Firewire 구비)

가장 일반적인 캠코더 폰들에서 현재 이용가능한 훨씬 낮은 성능의 이미지 모듈들에 비하여, 외부 캠코더의 사용은 본 발명의 DTV 코덱 및 모바일 비디오 메세징 능력의 장점들에 대하녀 훨씬 더 설득력 있는 실험을 가능하게 한다.

캠코더에 의해 캡쳐된 압축된 DTV 비디오 파일들은 먼저 PC에서 압축해제된 UYVY 비디오 포멧으로 변환되고, 다음으로 본 발명의 DTV 코덱에 의한 인코딩/압축을 위하여 MDA-Ⅱ 단말기에 입력된다. UYVY는 멀티미디어 단말기에서 비디오 코덱으로 입력되는 전형적인 비디오 포맷이다.

데모용 장치 설치/설정

3.1 PC 설정

3.1.1 본 발명의 태양들에 따른 드롭렛(Droplet) 데모 패키지 다운로드

·PC의 웹 브라우저에서 URL http://droplet-tech.com/demo_partner_access.html 열기.

·"데모 패키지-2005년 1월(Demo-Package--January 2005)"(WinZip 아카이브) 링크 선택.

·PC로 데모 패키지 다운로드 시작을 위하여 이 링크를 클릭.

·선택한 폴더로 집(zip) 파일 위치.

·파일을 압축해제(Unzip)하면 이하를 발견할 수 있음:

데모 패키지 "read me" 문서(Demo_package_readme.html)

이하 디렉토리들:

■ MDA_DTV: MDA-Ⅱ 클라이언트 UI 애플리케이션들

■ Xphone_DTV: X폰 UI 클라이언트 애플리케이션들

■ PC_player: PC 상에 DTV 파일들을 재생하기 위한 파일들

■ Virtual_Dub1.6.3: 서로 다른 비디오 포맷들 사이의 변환을 위한 PC 소프트웨어 애플리케이션

■ MMS_server: 서버를 위한 샘플 모니터링 스크립

■ Canon_driver: 캠코더 드라이버 소프트웨어

■ PHMRegEditer: MDA-Ⅱ 및 X폰 상의 설치를 위한 레지스트리 에디터

■ Ewesoft: X폰용 JVM

3.1.2 J9 JVM(자바 가상 머신) 설치 패키지 다운로드

·PC의 웹 브라우저에서 URL http://droplet-tech.com/ftp_access.html 열기

·"J9 JVM"(WinZip 아카이브) 링크 선택

·PC로 J9 JVM 패키지 다운로드를 시작하기 위하여 이 링크를 클릭

·선택 폴더로 집 파일 "wene57prod_pp_wm_1.zip"을 위치

3.1.3 DirectX 9.0 SDK(DTV PC 플레이어에 의해 이용됨) 다운로드 및 설치

·무료 SDK가 마이크로소프트 웹사이트로부터 다운로드될 수 있다.

· http://msdn.microsoft.com/library/default.asp"url=/downloads/list/

directx.asp

·매우 큰 용량의 다운로드(~230MB)임을 기억하라

·성공적인 설치를 확인하기 위하여 DirectX Utilities 시작->GraphEdit 기능

3.1.4 PC 상에 본 발명의 드롭렛 DTV PC 플레이어를 설치

·소프트웨어 패키지가 PC_player 디렉토리 아래 있는 데모 패키지 내에서 발견될 수 있다. 이 파일은 PC_player.zip으로 불린다.

·테스트 PC 상의 "C:" 드라이브에 "C:＼DTV_PCplayer_Demo＼" 폴더로 이 패키지를 압축해제(Unzip)한다.

·폴더를 열고 배치 파일 "RegisterFilter.bat"을 더블클릭하는 것에 의하여 DirectShow 필터를 등록한다.

3.1.5 PC 상에 가상 더브(Dub)를 다운로드 및 설치

데모의 현재 버전에서, 가상 더브는 캠코더에 의해 캡쳐된 것과 같이, PC 내에서 압축된 DV 비디오를 압축해제된 UYVY 비디오 포맷으로 변환하기 위하여 사용된다.이 압축해제된 비디오 파일들은 다음으로 본 발명의 DTV 코덱에 의한 인코딩/압축을 위하여 MDA-Ⅱ 단말기으로 입력된다. UYVY는 멀티미디어 단말기에서 비디오 코덱으로 입력되는 전형적인 비디오 포맷이다.

·소프트웨어 패키지는 Virtual_Dub 디렉토리 아래의 데모 패키지에서 발견된다.

·선택적으로 소프트웨어 패키지는 이하의 URL에서 발견될 수도 있다:

URL: http://jaist.dl.sourceforge.net/sourceforge/virtualdub/VirtualDub-1.6.3.zip

·Virtual_Dub 디렉토리는 VirtualDub.exe로 불리는 파일이 있다. 이것이 선택되고 애플리케이션이 동작 중임이 확인된다.

3.1.6 PC 상에 캐논 ZP65 캠코더 드라이버의 설치

·캐논 드라이버 패키지는 Canon_driver 디렉토리에 있는 데모 패키지에서 발견된다.

·선택적으로, 드라이버는 http://www.canon.com에서도 찾을 수 있다.

·Canon_driver 디렉토리가 열리고 하위폴더 "ZR65WI503EN" 다음 하위폴더 "English"가 선택되고 실행 프로그램 "SETUP.EXE:가 캐논 캠코더 드라이버를 설치하기 위하여 실행된다.

·비고: 만약 다른 타입의 캠코더가 실행된다면, 적절한 드라이버가 PC 상에 설치되어야 한다. 캠코더는 DV 비디오 캡쳐를 할 수 있고, PC에 연결될 수 있어야 한다.

3.2 원격 MMS 서버 설정

데모에서, 원격 MMS 서버는 FTP 서버(단말기으로 비디오 코덱 파일들의 다운로드를 가능하게 하고, 기록 단말기으로부터 비디오 파일들의 네트워크 저장을 가능하게 함), 및 메일 서버(이메일/SMS 통지 및 네트워크 연결된 컴퓨터 및 다른 단말기들에 의한 비디오 메세지들의 다운로드를 가능하게 함) 모두로 기능한다. 기능 적으로, 서버는 현재 비디오 메세지들을 다른 단말기들에 SMS 통지할 수 있게 하기 위하여 SMS 메세지들을 전송할 수 있어야 한다.

·FTP 사이트는 디렉토리 "public_html"을 갖도록 설정되어야 한다.

·MDA-Ⅱ 단말기에 의한 연속적인 다운로드를 위하여, 서버 상에 DTV 코덱(DtvMDADemo.exe)을 미리설치한다. 이 파일은 최상위 레벨에서 FTP 서버로 바이너리 모드로 전송되어야 한다.

·X폰에 의한 연속적인 다운로드를 위하여, 서버 상에 DTV 디코더(DtvXphoneDemo.exe)를 미리설치한다. 이 파일은 최상위 레멜에서 FTP 서버로 바이너리 모드로 전송되어야 한다.

·샘플 모니터링 스크립트는 MMS_server 디렉토리 아래의 드롭렛 데모 패키지에 있다(파일이름: monitor.php).

·이 모니터링 스크립트는 Unix 기반 서버들 상의 크론탭(crontab)에서 찹조된다. 이 스크립트는 ftp:/public_html 디렉토리 내의 새 파일들(ending in.lnk)의 존재에 대해 매분마다 감시할 것이다.

·만약 사용자가 드롭렛 데모 서버 외의 서버 상이 상술한 샘플 모니터링 스크립트를 사용하고자 한다면, 그것은 로컬 서버/네트워크 환경에 전용(customized)이 되어야 한다.

3.3 MDA-Ⅱ 설정

크래들/USB 케이블을 통하여 MDA-Ⅱ를 PC(섹션 3.1에서 설명된 바와 같이 미리 설정됨)에 연결하라.

3.3.1 안정한 GPRS 연결을 위한 레지스트리 목록 변경

안정한 GPRS 연결을 보장하기 위하여, 타임아웃 기간이 디폴트 설정인 60초보다 커지도록 증가된다. 단말기 제조자(HTC)는 추천 레지스트리 변경을 제공한다. 장치 상에 설치된 레지스트리 편집기가 없다면, 먼저 "PHMRegEditor" 디렉토리 아래 드롭렛의 데모 패키지 내에 포함된 레지스트리 편집기를 설치한다.

·당신의 PC 상의 Temp 디렉토리에 PHMRegEdit.msi를 위치시킨다.

·PC 상의 동일한 디렉토리에 CAB 파일 regedit.Mrln_ARM.CAB를 위치시킨다.

·그것을 더블클릭하는 것에 의하여 PHMRegEdit.msi를 실행시키고 명령을 따른다.

·MDA-Ⅱ와 동기화한다.

·MDA-Ⅱ 상의 윈도우 디렉토리로 파일 regedit.Mrln_ARM.CAB를 복사한다.

·MDA-Ⅱ의 그 파일을 더블클릭하면, CAB 파일들이 적절하게 설치될 것이다.

·PHMRegEdit.msi를 실행시키고 명령을 따른다.

결과 프로그램 PHMEditor가 디렉토리 ＼Progrma Files＼PHM Tools 내의 MDA-Ⅱ 상에 설치된다.

·상기 디렉토리로부터 프로그램 regedit(레지스트리 편집기)를 시작한다.

○ HKEY_LOCAL_MACHINE＼SOFTWARE＼Microsoft＼ConnMgr＼Planner＼Settings를 선택한다.

○ CacheTime의 설정을 300(이것은 5분의 타임아웃 기간)으로 변경시킨다.

○ SuspendResume의 설정을 ~GPRS!(타임아웃을 허용하지 않음)로 변경시킨다.

·레지스트리 편집기를 나간다.

·변경된 설정이 효과를 발생하도록 소프트 리셋을 실행한다.

3.3.2 IBM J9 JVM 설치

·PC 상에 이미 다운로드된 "weme57prod_pp_wm_1.zip" 파일(섹션 3.1.2)을 압축해제(Unzip) 한다. 5개의 파일이 존재한다.

○ inst_pp_wm.html

○ readme_pp_wm.html

○ weme-wm2003-arm-ppro10-5.7.1-P-20040723-1388.bin

○ weme-wm2003-arm-ppro10-5.7.1-P-20040723-1388.exe

○ weme57_ppc_pp_1.pdf

·inst_pp_wm.html을 연다. 설치 명령을 읽고 따른다.

3.3.3 MDA-Ⅱ 단말기 UI 애플리케이션 설치

이 애플리케이션은 섹션 3.1.1에서 설명된 바와 같이 PC 상에 이미 압축해제되어 있는 파일들 내에서 발견된다는 점을 주의하라.

·데모 패키지로부터, 디렉토리 MDA_DTV는 "mms_client"라는 하위폴더를 포함한다. 거기에서 3개의 파일들이 있어야 한다.

○ "application.properties"

○ "Droplet.jar"

○ "Droplet.lnk"

·파일 "application.properties" 및 "Droplet.jar"을 PC로부터 MDA 디렉토리:＼ProgramFiles＼J9＼PPRO10＼Examples로 복사한다.

·파일 "Droplet.lnk"를 MDA 디렉토리＼Windows＼StartMenu로 복사한다.

·MDA-Ⅱ가 정확히 설정되었는지를 확인하기 위하여, 시작 메뉴를 클릭한다. 드롭렛이라는 아이콘이 사용가능해져야 한다.

·기능을 확인하기 위하여, 드롭렛 아이콘을 선택하면 새로운 윈도우가 팝업된다. 그것은 세 개의 버튼을 가지고 있다.

○ 코덱 다운로드/설치

○ 비디오 캡쳐

○ 비디오 메세지 전송

비고: MDA-Ⅱ 단말기 UI 애플리케이션용 소스 코드는 디렉토리 MDA_DTV＼mms_client_scr에 참조로 사용가능하다.

MDA-Ⅱ가 데모용으로 설정되었다.

3.3.4 Pictpocket Cinema 비디오 플레이어(선택적) 설치

MDA-Ⅱ 상의 디폴트 비디오 플레이어가 디코드된 드롭렛 비디오 파일을 볼 수 있기 때문에 이 설치는 선택적이다. 제3의 비디오 플레이어를 설치하는 것에 의하여 이것은 본 발명의 디코드된 비디오 파일들이 다중 모바일 장치 비디오 플레이어들과 호환가능하다고 설명한다.

·MDA-Ⅱ 단말기 상에, Digisoft로부터 "Pictpocket Cinema" 애플리케이션 이 설치된다.

·Pictpocket Cinema의 14일 시험 버전이 판매자의 웹사이트: www.digisoftdirec.com에서 다운로드될 수 있다.

3.4 X폰의 구성

USB 케이블을 통하여 X폰을 PC에 연결한다.

3.4.1 안정한 GPRS 연결을 위한 레지스트리 목록 변경

안정한 GRPS 연결을 보장하기 위하여, 타임아웃 기간이 디폴트 설정인 60초보다 커지도록 증가될 필요가 있다. 단말기 제조자(HTC)는 추천 레지스트리 변경을 제공한다. 만약 장치 상에 설치된 레지스트리 편집기가 없다면, 먼저 "PHMRegEditor" 디렉토리 아래 드롭렛의 데모 패키지 내에 포함된 레지스트리 편집기를 설치한다.

·사용자 PC 상의 Temp 디렉토리에 PHMRegEdit.msi를 위치시킨다.

·PC 상의 동일한 디렉토리에 CAB 파일 regedit.Mrln_ARM.CAB를 위치시킨다.

·그것을 더블클릭하는 것에 의하여 PHMRegEdit.msi를 실행시키고 명령을 따른다.

·PC를 X폰과 동기화한다.

·X폰 상의 윈도우 디렉토리로 파일 regedit.Mrln_ARM.CAB를 복사한다.

·X폰의 그 파일을 더블클릭하면, CAB 파일들이 적절하게 설치될 것이다.

·PHMRegEdit.msi를 실행시키고 명령을 따른다.

결과 프로그램 PHMEditor가 디렉토리 ＼Progrma Files＼PHM Tools 내의 X폰 사에 설치될 것이다.

○ HKEY_LOCAL_MACHINE＼SOFTWARE＼Microsoft＼ConnMgr＼Planner＼Settings를 선택한다.

○ CacheTime의 설정을 300(이것은 5분의 타임아웃 기간)으로 변경시킨다.

○ SuspendResume의 설정을 ~GPRS!(타임아웃을 허용하지 않음)로 변경시킨다.

·레지스트리 편집기를 나간다.

·변경된 설정이 효과를 발생하도록 소프트 리셋을 실행한다.

3.4.2 Ewesoft JVM 설치

·드롭렛 데모 패키지로부터, Ewe143-CAB-SmartPhone.zip이라는 파일이 디렉토리 Ewesoft에 있을 것이다. PC 상에 이 파일을 압축해제(Unzip)한다. Ewe143-CAB-SmartPhone.arm.CAB라는 파일을 사용한다.

·Ewe143-CAB-SmartPhone.arm.CAB 파일을 Storage＼windows＼StartMenu＼Accessories라는 X폰 디렉토리에 복사한다.

·Start->Accessories로 간다. CAB 파일이 메뉴 아이템으로 디스플레이되어야 한다. CAB 파일을 선택하고, 다음으로 VM 파일이 설치될 것이다.

·설치는 시작 메뉴에 나타날 새로운 Ewe 폴더를 생성할 것이다.

3.4.3 X폰 단말기 UI 애플리케이션 설치

·드롭렛 데모 패키지로부터, "mms_client"라는 하위폴더가 디렉토리 Xphone_DTV에 있을 것이다. 거기에서 3개의 파일들이 있어야 한다.

○ "application.properties"

○ "Droplet.jar"

○ "Droplet.lnk"

·파일 "application.properties" 및 "Droplet.jar"을 PC로부터 X폰 디렉토리:/Storage/windows/StartMenu/Ewe/로 복사한다.

·파일 "Droplet.lnk"를 X폰 디렉토리:/Storage/windows/StartMenu로 복사한다.

·X폰이 정확히 설정되었는지를 확인하기 위하여, 시작 메뉴를 클릭한다. 드롭렛이라는 아이콘이 사용가능해져야 한다.

·기능을 확인하기 위하여, 드롭렛 아이콘을 선택하면 새로운 윈도우가 팝업된다. 그것은 세 개의 버튼을 가지고 있을 것이다.

○ 코덱 다운로드/설치

○ 비디오 캡쳐

○ 비디오 메세지 전송

이제 X폰이 데모용으로 설정되었다.

데모 실행

4.1 MDA-Ⅱ 상에 비디오 코덱을 다운로드 및 설치

·MDA로부터, 시작 메뉴를 클릭하면, 드롭렛 아이콘이 리스트 상에 나타나야 한다.

·드롭렛 아이콘을 선택하면, 새로운 윈도우가 팝업된다. 그것은 세 개의 버튼 선택을 가질 것이다.

○ 코덱 다운로드/설치

○ 비디오 캡쳐

○ 비디오 메세지 전송

·코덱 다운로드/설치 버튼을 클릭한다.

·다음과 같은 메세지가 나타나야 한다.

○ FTP 호스트에 연결: xx.xx.xx.xxx(이것은 서버의 IP 주소여야 한다)

○ 연결됨

○ 서버에 로그인

○ 로그인 됨

○ 코덱 파일 다운로드 시작

○ 다운로드 완료

○ 비디오 코덱이 성공적으로 설치됨. 연결 해제

·이 코덱이 성공적으로 다운로드되었음을 확인하기 위하여, MDA 상의 My Documents 디렉토리로 간다. DtvMDADemo.exe라는 파일이 그것이 다운로드된 날짜 및 타임스템프와 함께 존재해야 한다.

4.2 단말기으로 비디오 메세지를 기록

이 데모 버전에서, MDA-Ⅱ 단말기는 외부 비디오 캠코더로부터 입력된 압축 되지 않은 고화질 라이브 비디오를 인코딩/압축하기 위하여 사용된다. MDA-Ⅱ 가 VGA 캡쳐 카메라를 갖는 동안, 그것은 그 해상도의 이미지만을 캡쳐할 수 있다. MDA-Ⅱ의 비디오 캡쳐는 장치 상에서 3GPP로 자동으로 압축되는 ACIF, 10 fps로 제한된다.

4.2.1 PC에 캠코더 연결

·Firewire (1394) 케이블을 사용하여 캐논 캠코더를 PC에 연결한다. 캠코더는 4-핀 커넥터 수용부를 갖는다.

·일단 Firewire 케이블이 연결되고 캠코더가 "카메라" 모드로 켜지면, PC OS(이 데모 버전에서 Window XP Professional)가 캡쳐를 위한 몇몇 옵션들을 나타낼 것이다.

·Movie Maker 애플리케이션을 실행할 "Window Movie Maker"를 선택하다.

4.2.2 PC 상에 캠코더로부터의 비디오 시퀀스를 캡쳐.

·Movie Maker 내에서 "비디오 장치로부터의 캡쳐"를 선택하고, PC 상에 그것을 저장하기 위하여 캡쳐된 파일의 이름 및 위치를 선택한다.

·다음 스크린은 비디오 설정을 요청할 것이다; "디지털 장치 포맷(DV-AVI)"를 선택한다. 그것은 고화질(거의 손실 없는) 비디오 캡쳐 포맷인 DV 포맷으로 비디오를 캡쳐할 것이다.

·다음 스크린은 캡쳐된 비디오의 미리보기 윈도우뿐 아니라, "캡쳐 시작" 및 "캡쳐 중단"을 위한 인터페이스를 나타낼 것이다. 많은 무선 단말기들이 많은 양의 온보드 메모리를 가지고 있지 않기 때문에 2-3초의 전체 비디오 이미지(60-90 프레임)이 빠른 계산을 위하여 기록되도록 제안된다.

·일단 비디오 시퀀스가 기록되면, Window Movie Maker 프로그램은 끝낼 수 있다.

·이 문서에서, 기록 파일의 이름은 "testDV.avi"일 것이다(파일이 .AVI 포맷-모든 개별 프레임들이 교대로 배열된 교번 오디오-비디오 파일-임을 주의하라).

4.2.3 PC 상에 DV 비디오 시퀀스의 압축해제

·이전 단계에서 기록된 비디오는 통합된 오디오를 갖는 압축된 DV 포맷(720×480 픽셀, dir 28 Mbps에서 30 fps)이다. 전체 움직임 캡쳐를 시뮬레이션하기 위하여, 비디오는 VGA 크기(640×480 픽셀)로 크기가 줄고 오디오 정보가 제거된 공통 UYVY 포맷으로 압축해제되어야 한다.

·이 데모에서, 인코딩을 위하여 두 개의 MDA용 소스 파일들이 생성되어야 하는데, 하나는 VGA용(640×480)@30 fps이고 하나는 QCIF용(160×144)@15 fps이다.

·VirtualDub1.6.3 디렉토리로부터, 실행가능한 "VirtualDub.exe"를 실행한다.

a. "File"에서, "testDV.avi" 파일을 로드하기 위하여 "Open video file"을 사용한다.

b. "Audio"에서, "No audio" 옵션을 선택한다.

c. "Video"에서 "Filters" 옵션을 선택한다. "add"를 선택하고 "resize" 필터를 위치시키기 위하여 메뉴를 아래로 스크롤한다. "New width"를 640으로, "New height"를 480으로 설정한다. "Filter Mode"를 "Precise Bicubic(A=0.75)"로 설정 한다.

d. "Video"에서 "Color depth"를 택한다. 오른쪽 행에서 출력 포맷을 "4:4:2 UCbCr(UYVY)" 포맷으로 설정한다.

e. "Video"에서 "Compression" 옵션이 "Uncompressed RGB/YCbCr"로 설정되었는지를 확인한다.

f. 만약 매우 긴 비디오 시퀀스가 캡쳐되었다면, "Video"에서 "Select range" 옵션을 선택함으로써 짧아질 수 있을 것이다. 전형적으로 60-90 프레임(2-3초의 비디오)가 조작하기에 합리적인 크기의 비디오이다. 시작은 처음(0의 "Start offset")부터일 수 있거나, 캡쳐된 비디오에 따라 시퀀스의 중간 어딘가부터일 수도 있다. 예를 들어, 2초 동안(60 프레임)의 압축되지 않은 UYVY 비디오 VGA(640×480) 시퀀스는 컴퓨터 상에서 36MB의 데이터이다.

g. 압축되지 않은 결과 파일을 저장하기 위하여 "File"에서 "Save as AVI..."를 선택한다. 파일 "testVGA_UYVY.avi"를 부른다. 이것은 MDA-Ⅱ 단말기 상에서 인코딩/압축될 현재 미가공(압축되지 않은) UYVY VGA 입력 파일이다.

·QCIF(GPRS 연결을 통하여 다른 단말기으로 비디오 클립을 전송하기 위하여 추천됨)용 파일을 생성하기 위하여:

○ 단계 c에서, "New width"에 160을 입력하고, "New height"에 144를 입력한다.

○ 단계 g에서, 파일 이름을 "testQcif_UYVY.avi"로 한다.

4.2.4 MDA-Ⅱ 단말기으로 압축되지 않은 비디오 시퀀스 전달

·PC로부터 MDA로 압축되지 않은 비디오 파일들 "testVGA_UYVY.avi" 및 "testQcifPUYVY.avi"를 전송한다.

·이 파일들을 압출을 위하여 MDA-Ⅱ 상의 My Documents 디렉토리에 복사한다.

·중간 저장을 위하여, 상기 큰 소스 파일들(압축되지 않은 비디오 입력)은 장치의 "Storage Card"에 또한 위치될 수 있으며, 다음으로 압축을 위항 My Documents 디렉토리에 복사된다.

·PC로부터 MDA의 연결을 해제한다.

여기서, 압축되지 않은 비디오 시퀀스는 단말기 내에 있으며, 이전에 다운로드되어 단말기 상에 설치된 본 발명의 "드롭렛" 엔코더 소프트웨어로 압축될 준비가 된다.

4.2.5 MDA-Ⅱ 단말기 내의 원 비디오 시퀀스 압축

이제 비디오 코덱 및 압축되지 않은 비디오 시퀀스가 MDA-Ⅱ 단말기 상에 성공적으로 다운로드되고, 단말기는 인코드/압축을 실행할 준비가 된다.

·MDA 상의, My Documents 디렉토리로 간다.

·"DtvMDADemo" 애플리케이션을 찾아서 선택한다.

·사용자가 정보를 입력할 수 있는 UI 윈도우가 팝업될 것이다.

○ 소스 파일: UYVY 포맷의 압축되지 않은 비디오를 포함하는 파일의 이름.(이것은 이전 단계에서 발생된 파일이다)

○ 목적 파일: 압축된 비디오 시퀀스가 저장될 파일의 이름(압축된 파 일은 .dtv로 끝나는 확장자를 가질 것이다). 이 데모에서 이 파일이름은 bitstream.dtv로 한다.

○ 가로 및 세로 프레임 크기

- VGA 비디오를 인코딩하기 위하여, 이 파라미터들은 각각 640 및 480이 될 것이다.

- QCIF 비디오를 인코딩하기 위하여, 이 파라미터들은 각각 160 및 144가 될 것이다.

○ 입력 파일의 종류: 디폴트로 YUV 4:2:2

○ 압축률: 디폴트로 레벨 12

○ 압축될 프레임의 범위: 일반적으로 "전체"로 설정한다(주의: 만약 사용자가 이것을 변경하고자 한다면, DTV 2 프레임을 그룹 영상으로 처리하기 때문에 특정된 프레임의 전체 수는 짝수여야만 한다)

○ "인코드", "디코드" 또는 모두를 선택

○ 시작 선택

·성공적인 완료시, 상술한 목적 파일 부분에 특정된 압축된 bitstream.dtv 파일은 MDA-Ⅱ 상의 "My Documents" 디렉토리에 생성될 것이다.

·만약 파일 이름이 변경된다며, 파일 확장자를 .dtv로 유지하는 것이 중요하다.

·비고: 상술한 인코딩은 2번 수행되어야 하는데 한 번은 VGA/30fps에서 한번은 QCIF/15fps에서 이다.

·압축해제된 QCIF 파일들은 GPRS 네트워크를 통하여 다른 단말기으로의 MMS 전송을 위하여, MDA-Ⅱ 상의 "My Documents＼DTV Output"에 또한 유지된다.

4.3 PC 상에서 VGA/30 fps 비디오 메세지의 전송/재생

PC 상에서 인코딩된 VGA 파일을 재생하기 위하여, MDA-Ⅱ로부터 PC로 그 파일을 전송할 것이 요구된다. 현재 GPRS 데이터 전송률(~20-40 Kb/s)에서, 모바일 네트워크를 통하여 1초의 압축된 VGA 비디오를 전송하기 위하여 약 16초가 걸릴 것이다. 좀 더 빠른 속도 3G 또는 WiFi 네트워크들을 전체 VGA/30 fps 비디오 파일들을 훨씬 더 효율적으로 전송할 것이다. 이 데모에서, MDA-Ⅱ 단말기과 PC 사이의 USB 연결이 파일 전송을 빠르게 하기 위하여 사용된다.

·크래들/USB를 통하여 PC에 MDA-Ⅱ를 연결한다(이것이 디지털 사진 및 비디오들을 전송하기 위하여 현재 디지털 카메라 및 캠코더들을 홈 PC에 연결할 때의 일반적인 방법이다)

·인코딩/압축된 VGA 파일(＼My Documents＼bitstream.dtv)을 MDA-Ⅱ로부터 PC로 복사한다. 이 파일은 다음 디렉토리에 복사되어야 한다: "C:＼DTV_PCplayer_Demo＼".

·MDA-Ⅱ 장치에 USB1 포트가 설치되었기 때문에, PC에 설치된 USB2로 VGS/30 fps 파일들의 좀 더 빠른 전송이 그들을 MDA-Ⅱ 내의 제거가능한 메모리 카드에 먼저 복사하고, 다음으로 그 카드를 제거하며, 그것을 PC 상의 USB2 포트에 직접 연결하는 것에 의하여 전달을 위하여 USB2 카드 리더기를 사용하는 것에 의하여 달성될 수 있다.

·파일 전송이 완료되면, PC의 "C:＼DTV_PCplayer_Demo＼" 디렉토리로 가서, 파일 "dtvplayer.grf" 또는 "dtvplayer-Win2K.grf"(OS 종속)을 더블클릭하고, 다음으로 VGA/30 fps 비디오를 보기 위하여 "Play" 버튼을 클릭한다.

·이 클립을 중단하기 위하여 당신은 이 애플리케이션을 간단히 나갈 수 있다(GraphEdit).

4.4 GPRS를 통하여 MMS 메세지로 ACIF/15 fps 비디오를 전송

이 섹션은 GPRS를 통하여 MDA-Ⅱ 단말기으로부터 MMS 서버로 압축된 QCIF/15 fps 비디오를 전송하기 위한 능력을 설명할 것이다. 이것으로부터, 비디오 MMS가 다운로드 및 재생 준비가 되었음을 가리키는 SMS 통지가 목적된 단말기(이 경우 X폰)으로 전송될 것이다. 선택적으로 목적된 수신 장치가 네트워크 연결된 컴퓨터라면, 이메일 통지가 전송될 것이다.

4.4.1 GPRS를 통하여 MMS 서버로 QCIF/15 fps 비디오 전송

·MDA-Ⅱ 시작 메뉴를 클릭하면 드롭렛 아이콘이 메뉴 리스트 상에 나타날 것이다.

·드롭렛 아이콘을 선택하면, 새로운 윈도우가 팝업된다. 그것은 세 개의 버튼 선택을 가질 것이다.

○ 코덱 다운로드/설치

○ 비디오 캡쳐

○ 비디오 메세지 전송

·"비디오 메세지 전송" 버튼을 클릭한다.

·파일을 선택하기 위한 새로운 윈도우가 열릴 것이다.

○ 당신이 전송하기 원하는 파일(이 경우, 압축된 QCIF/15 fps 비디오 파일)을 선택한다.

○ 목적 전화번호/이메일 주소를 입력하기 위한 새로운 윈도우가 열릴 것이다.

○ 만약 이메일 주소가 입력되면(@ 기호의 존재에 의해 결정됨) 서택된 파일이 이메일 통지로 전송될 것이다.

○ 만약 "@" 없이 디지트 스트링이 입력되면, 파일/SMS 통지가 이 경우 "스트링"으로 입력된 전화 번호를 가진 T-모바일 가입자에 대응하는, "스트링"@tmomail.net으로 전송될 것이다.

·압축된 비디오를 X폰에 MMS 메세지로 전송하기 위하여, 단말기의 전화번호를 입력한다.

·사용자는 GPRS 연결을 확립하기 위하여 응답할 것이다. 이것은 예를 들어 인터넷 익스플로어를 시작하고 임의의 공지된 URL로 가는 것에 의하여 달성될 수 있다.

·GPRS 연결이 성공적으로 확립되면 "OK"를 클릭한다.

·새로운 윈도우가 열리고 다음과 같은 상태 메세지가 나타날 것이다.

○ FTP 호스트로 연결: xx.xx.xx.xxx(이것은 MMS 서버의 IP 주소여야 한다.

○ 연결됨

○ 서버에 로그인

○ 로그인됨

○ public_html로 디렉토리 변경

○ 변경됨

○ 언로딩 비디오 파일 시작: <선택된 비디오 파일 이름>.dtv

○ 언로딩 완료

○ 언로딩 링크 파일 시작: <선택된 비디오 파일 이름>.lnk

○ 언로딩 완료

○ 비디오 파일이 성공적으로 전송됨. 연결 해제

비고: 두 개의 새로운 파일이 ftp 서버의 public_html에 나타날 것이다(<파일 이름>.dtv 및 <파일 이름>.lnk).

4.4.2 SMS 통지가 MMS 서버로부터 전송

·서버 상에서 동작하는 스크립을 ftp 위치 public_html을 폴링하고, 새로운 파일이 존재하는지를 결정한다.

·새로운 파일이 존재하면, 서버 스크립트는 <파일 이름>.lnk 파일을 분석하고, 전송될 비디오 파일의 이름 및 목적 단말기 # 또는 이메일 주소를 추출할 것이다.

·다음으로 스크립트는 이메일 또는 모바일 SMS를 통하여 목적 단말기에 SMS 통지 메세지를 전송할 것이다.

4.4.3 단말기 다운로드 비디오 메세지 및 DTV 디코더 수신

이 섹션은 X폰에서 SMS 통지를 수신하고, MMS 서버에 연결하며, DTV 디코더와 함께 QCIF/15 fps 비디오 파일을 다운로드하기 위한 능력을 설명할 것이다. 비디오 파일과 디코더 수신시, 파일은 X폰 상에서 디코딩되고 재생될 것이다.

·X폰은 SMS 메세지를 수신할 것이다.

·SMS 메세지를 연다. 내부에 비디오 파일이 다운로드될 위치가 있을 것이다.

·DTV 비디오 파일을 다운로드한다.

○ 인터넷 익스플로어를 연다.

○ 비디오 파일이 위치된 URL을 타이핑한다.

○ 비디오 파일이 X폰으로 다운로드될 것이다.

○ 또한, X폰 비디오 디코더가 다운로드되어야 한다(X폰 상에 이미 존재하고 있지 않다면). 다운로드되면, X폰 디코더 파일(DtvXphoneDemo.exe)은 X폰 상의 My Documents 디렉토리에 위치되어야 한다.

·DtvXphoneDemo.exe를 실행한다.

·사용자가 정보를 입력할 수 있는 UI 윈도우가 팝업될 것이다(이 애플리케이션은 bitstream.dtv 파일을 처리하기 위한 디폴트이다):

○ 가로 및 세로 프레임 크기

- QCIF 비디오를 인코딩하기 위하여, 이 파라미터들은 각각 160 및 144가 될 것이다.

○ 압축될 프레임의 범위: 일반적으로 "전체"로 설정한다(비고: 만약 사용자가 이것을 변경하고자 한다면, DTV는 2 프레임을 그룹 영상으로 처리하기 때문에 특정된 프레임의 전체 수는 짝수여야만 한다)

○ 모든 다른 필드들은 무시될 것이다.

○ "디코드"를 선택

○ 시작 선택

○ 이것은 압축되지 않은 AVI 파일을 생성할 것이며, 이것은 모바일 단말기 상에서 발견된 대부분의 비디오 플레이어들에 의해 재생될 수 있다.

·X폰 상에 비디오 파일을 재생하기 위하여, 생성된 파일을 간단히 클릭하면 기존 마이크로소프트 미디어 플레이어가 비디오를 플레이할 것이다.

4.4.4 X폰 상에서 선택적인 FTP 연결의 사용

본 발명의 드롭렛 전체-소프트웨어 비디오 메세징 플랫폼에 의해 가능해진 유연성을 설명하기 위하여, QCIF/15 fps 비디오 메세지들을 다운로드 하기 위한 간단한 스마트폰 FTP 애플리케이션 및 X폰 단말기에 대한 드롭렛 디코더의 사용이 또한 설명된다.

·X폰 상의 윈도우 스마트폰 장치용 오네타(Orneta) FTP 애플리케이션이 사용된다.

·오네타 FTP 애플리케이션 설치기는 http://www.handango.com/Platform ProductDetail.jsp?productType=2&paltformld=11&siteld=1&Sectionld=0&catalog=1&productld=87548로부터 PC로 다운로드될 수 있다.

·연결된 X폰과 PC를 사용하여 오네트 FTP를 설치하기 위한 명령들을 따른 다.

·http://x.msmobiles.com/free-smartphone-software/default.aspx로부터 무료 등록 코드를 얻는다.

·MMS 서버로부터 비디오 메세지들 및 드롭렛 디코더를 다운로드 하기 위하여 X폰 상의 오네타 FTP 애플리케이션을 사용한다:

○ GPRS 연결을 시작한다.

○ 시작 메뉴로부터 오네타 FTP 애플리케이션을 시작한다.

○ 메뉴/설정/다운로드 폴더 설정에서, ＼window를 선택한다.

○ 특정 MMS 서버에 연결한다(예를 들면 섹션 4.1과 같다).

○ 다운로드: 드롭렛 비디오 엔코더 "DtvXphoneDemo.exe"를 선택한다.

○ 메뉴/설정/다운로드 폴더 설정에서, ＼Storage＼My Documents＼를 선택한다.

○ MMS 서버에 다시 연결한다.

○ 다운로드: QCIF/15 fps 비디오 파일, 즉 "bitstream.dtv"를 선택한다.

○ 나간다.

이것은 예 1의 논의와 같다.

본 발명의 태양들은, 초당 30 프레임(30 fps)에서 전체 (VGA)-크기 이미지(640×480)를 실시간 캡쳐할 수 있는 전체-소프트웨어 캠코더 폰 애플리케이션을 포함하고, 이것은 멀티미디오 단말기의 대부분에 이미 통합되어 있는 단일 표준 RISC 프로세서만을 사용할 것이다. 대조적으로, 모바일 단말기의 배터리 전력 제한 내에서, 현재 MPEG 기반 캠코더 폰들은 4-15 fps에서 QCIF 또는 CIF 크기(VGA 크기의 1/16 또는 1/4)로 제한된 이미지의 실시간 캡쳐를 지원한다. 이처럼 작고, 조악한 비디오 클립들은 복잡하고 비싼 단말기 플랫폼 설계를 요구하며, 여기서 비디오 함수들은 하드웨어와 소프트웨어의 조합으로 구현되어야 하고, 다중 프로세싱 장치들: RISC 프로세서들, ASIC, 및 DSP들 사이에서 분할된다.

모바일 운영자 환경에 대하여, 본 발명의 낮은 복잡성의 비디오 프로세싱 및 분배 기술의 태양들은 기존 모바일 단말기 및 모바일 멀티미디어 메세징 서비스 제어기(MMSC) 인프라구조를 사용하여 준비된 개발을 가능하게 하는 매우 새롭고 독창적인 전체-소프트웨어 비디오 메세징 플랫폼에 통합된다. 상기 모바일 캠코더 애플리케이션을 보완하여, 본 발명의 컨텐츠 관리 플랫폼의 실시예들은 동작 중 편집, 미리보기, 멀티미디어 메일박스들, 온라인 저장 서비스들 및 가입 관리에 따라, 소리 및 텍스트를 구비한 본 발명의 압축된 이미지 및 비디오들을 완성된 모바일 멀티미디어 메세지 및 "링-톤들"에 통합하기 위한 모듈을 제공한다.

성능 비교

본 발명의 비디오 코덱의 태양들은 최적화된 MPEG-2/MPEG-4 코덱들과 비교할 때, 고객들에게 전력 소모에 있어서 30 내지 40배의 감소를 제공한다. HW 제품 구현 비용이 요구되는 CMOS 게이트들의 수를 10배 감소시키고, 따라서 대응 실리콘 면적 요구를 감소시키는 것을 통하여 약 100만 달러에서 100,000 달러까지 상당히 감소된다.

·전체 크기 (VGA) 및 전체 프레임 레이트 (30 fps) 비디오 프로세싱에 대하여, 본 발명의 혁신적인 비디오 코덱 설계는 또한 내부 메모리 요구를 수 메가바이트에서 128 키로바이트로 감소시켰고, 다른 새로 발생하는 특징들 및 애플리케이션들에 대하여 모바일 단말기 내의 온보드 메모리 자원들을 자유롭게 했다. 본 발명의 코덱들은 또한 이미지 및 비디오 모두를 효율적으로 처리할 수 있으며, 따라서, 단일 저비용 저전력 솔루션으로 각각의 MEPG 및 JPEG 코덱을 대체할 수 있다.

VGA, 30 fps 캠코더 폰들 및 관련 서비스들의 개발을 지원하는데 매우 유용하긴 하지만, 본 발명의 독특한 모바일 비디오 플랫폼 기술은 또한 이미지 크기 조정 가능: QCIF(176×144)-D1(720×480), 간단한 비디오 편집(잘라내기, 삽입하기, 텍스트 겹쳐쓰기 등), 소리 코덱과의 간단한 동기화, 및 향상된 비디오 스트리밍 성능을 위한 짧은 지연의 조합을 통하여, 넓은 범위의 다른 모바일 비디오 서비스들에 대하여도 상당한 장점을 제공한다.

코덱 성능 비교: 모바일 단말기 애플리ㅁ케이션들

하드웨어 코덱들(ASIC)
회사	이미지 포맷	프레임 레이트	전력 소모(㎽)
Hantroref 1	QCIF	15 fps	11
Fujitsuref 2	QCIF	15 fps	13
드롭렛	VGA	30 fps	10

소프트웨어 코덱들
회사	이미지 포맷	프레임 레이트	전력 소모(㎽)
Hantro/Motorolaref 3	QCIF	15 fps	190
드롭렛	QCIF	15 fps	30
드롭렛	VGA	30 fps	150

본 발명은 또한 모바일 단말기들에 대한 독창적인 SW 비디오 코덱/캠코더 애플리케이션과 관련하여 프리미엄 비디오 메세징 서비스의 개발을 가능하게 하는 MMS 인프라구조 제품들을 포함한다. 본 발명의 다른 태양들은 다른 공통적으로 배치된 표준 기반 및 독점 비디오 포맷들들과 완벽한 상호동작성을 지원하는 향상된 트랜스코딩 애플리케이션들을 포함한다. 또한, 일련의 대응하는 MMS 메세지 관리 능력들에 따라, 소리 및 텍스트를 구비한 본 발명의 압축된 이미지 및 비디오들을 완성된 모바일 멀티미디어 메세지 및 "링-톤들"에 통합하기 위한 모듈을 제공하는 컨텐츠 관리 플랫폼이 포함된다. 이 컨텐츠 관리 플랫폼은 기존 MMS 인프라구조의 빠르고 경제적인 업그레이드를 위한 SW 모듈들의 세트로서, 그리고 새로운 MMS 컨트롤러 설비들을 위한 독립적인 서버로서 무선 운영자 및 MMS 서비스 제공자에 의해 사용될 수 있다. 독창적인 MMS 인프라구조 제품은 다음을 포함할 수 있다.

제품	설명
DTV-VGT 비디오 게이트웨이 트랜스코더	드롭렛 DTV 포맷 및 MPEG-2, MPEG-4, Motion-JPEG, 마이크로소프트 미디어 및 리얼비디오와 같은 다른 비디오 포맷 사이에서 비디오 컨텐츠의 변환을 지원하기 위하여 기존 MMS 비디오 게이트웨이들을 업그레이드하기 위한 SW 트랜스코더 애플리케이션
DTV-CMP SW 컨텐츠 관리 플랫폼	기존 MMS 메세지 애플리케이션 서버들을 업그레이드 하기 위한 컨텐츠 관리 SW 모듈들의 세트: 소리 및 텍스트, 동작 중 편집, 미리보기, 멀티미디어 메일박스들, 온라인 저장 서비스들 및 가입 관리와 함께 본 발명의 압축된 이미지 및 비디오들을 통합하기 위한 MMS 메세지 및 "링-톤들"의 생성
DTV-CMS 컨텐츠 관리 서버	새로운 MMSC 전개를 위한, 서버 기반 통합 SW 컨텐츠 관리 플랫폼

본 발명은 또한 SW 모듈 또는 독립적인 서버를 구비한 컨텐츠 관리 서비스 플랫폼을 포함한다. 이 SW 모듈 또는 독립적인 서버는 다음을 포함할 수 있다.

▶ 모바일 멀티비디어 구성자: 소리 및 텍스트를 구비한 본 발명의 향상된 웨이블릿-압축 이미지 및 비디오를 하나의 메세지에 통합한다.

▶ 미리보기 재생기: 본 발명의 웨이블릿-압축된 이미지들, 비디오들, 및 통합 MMS 메세지들의 "축소된" 미리보기를 제공한다.

▶ 모바일 멀티비디어 편집기: 본 발명의 웨이블릿-압축된 이미지들, 비디오들, 및 통합된 MMS 메세지들을 툴 및 필터로 동작 중 편집이 가능하게 한다.

▶ 멀티미디어 링-톤 생성자: 다음(多音) 합성 링톤들 및 다른 소리들을 웨이블릿-압축된 이미지들 및 비디오들에 결합시키는 것에 의하여, 사용자가 개인 멀티미디어 "링-톤들"을 생성할 수 있게 한다.

▶ 모바일 멀티미디어 앨범 또는 "엠블로그(Mblog)": 본 발명의 웨이블릿-압축된 이미지들, 비디오들, 및 통합된 MMS 메세지들의 저장소.

▶ 모바일 멀티비디어 가입 관리: 본 발명의 웨이블릿-압축된 이미지들, 비디오들, 및 통합된 MMS 메세지들의 복사/전달; 추가 저장 장치를 구입; DVD 하드 사본 구입.

▶ 모바일 멀티미디어 메일박스: 본 발명의 통합된 MMS 메세지들을 위한 SMS 관리 받은 박스 및 보낸 박스.

▶ 모바일 멀티비디어 주소록: 모바일 멀티비디어 접촉 관리.

본 발명의 실시예들은 다음을 제공할 수 있음이 주지되어야 한다:

▶ 유연하고, 빠르고, 경제적인 OTA/OTN 업그레이드들은 설치된 MMS 인프라구조로부터 ROI를 증가시킨다.

▶ 발전된 트랜스코딩은 다른 공통적으로-배치된 표준 기반 및 개별 비디오 포맷들과의 완벽한 상호동작성을 지원한다.

▶ 컨텐츠 관리 플랫폼은 기존 MMS 인프라구조를 업그레이드하기 위한 일조의 SW 모듈들 또는 새로운 MMS 설비들을 위한 독립적인 서버로서 이용가능하다.

JSR-135: 모바일 미디어 API 사양

본 발명의 DTV-JVC 자바 비디오 코덱은 다음을 포함하는 자바 커뮤니티 프로세스 JSR-135에 정의된 모든 재생기 기능을 지원하는 압축해제된 비디오 이미지들을 발생시킨다.

Int getDisplayHeight()

현재 제공된 비디오의 실제 높이를 리턴한다.

Int getDisplayWidth()

현재 제공된 비디오의 실제 너비를 리턴한다.

Int getDisplayX()

비디오가 디스플레이된 GUI 객체에 대한 비디오의 X-좌표를 리턴한다.

Int getDisplayY()

비디오가 디스플레이된 GUI 객체에 대한 비디오의 Y-좌표를 리턴한다.

Int getSnapshot(java.lang,String image Type)

디스플레이된 컨텐츠의 스냅샷을 가져온다.

Int getSourceHeignt()

소스 비디오의 높이를 리턴한다.

Int getSourceWidth()

소스 비디오의 너비를 리턴한다.

java.lang.Object initDisplayMode(int mode, java.lang.Object arg)

비디오가 디스플레이되는 모드를 초기화한다.

Void setDisplayFullScreen(boolean fullScreenMode)

비디오가 제공 영역의 크기를 전체 스크린이 되도록 설정한다.

Void setDisplayLocation(int x, int y)

비디오가 디스플레이되는 캔버스에 대한 비디오의 위치를 설정한다.

Void setDisplaySize(int Width, int Height)

비디오 이미지의 크기를 조정한다.

Void setVisivle(boolean visible)

비디오를 보여주거나 숨긴다.

JSR-234: 발전된 멀티비디어 보완

본 발명의 DTV-JVC 자바 비디오 코덱은 다음을 포함하는 자바 커뮤니티 프로세스 JSR-234에 정의된 모든 재생기 효과 제어를 지원하는 압축해제된 비디오 이미지들을 생성한다.

ImageFilterControl

ImageFilterControl은 흑백 및 반전과 같은 다양한 이미지 필터들을 설정하기 위하여 사용될 수 있는 이미지 효과이다.

ImageTonalityControl

ImageTonalityControl은 밝기, 명암비, 농도와 같은 다양한 이미지 설정을 설정하기 위하여 사용되는 효과이다.

ImageTransformControl

ImageTransformControl은 이미지 잘라내기, 확대축소, 거울, 뒤집기, 스크레치, 회전을 위하여 사용된다.

OverlayControl

OverlayControl은 비디오 위 또는 다른 이미지들 위에 겹치는 이미지의 설정을 제어한다.

WhiteBalanceControl

WhiteBalanceControl은 화이트 밸런스를 변경하기 위한 이미지/비디오 효과이다.

본 발명은 또한 모바일 블록그 서비스를 형성, 제공 및 동작하기 위한 제품, 방법 및 프로세스들을 제공한다. 이 서비스는 촬영, 편집, 저장, 공유, 및 그들의 개인 비디오 및 영화들을 온라인을 통하여 "배급"할 수 있는 능력을 구비한 비디오폰을 가진 모든 사람들에게 제공된다.

사용자들에 대하여, "모베디아(Mobedia)"로 이름붙여진 모바일 비디오 블록그 서비스를 위한 본 발명의 제품들은 다음을 제공한다.

1. 모바일 단말기에 미리 설치되어 있을 수 있는 모비디아 SW 캠코더 애플리케이션 또는 사용자들은 임의의 자바로 운영되는 비디오 폰 상에 그것을 다운로드하거나 설치할 수 있다.

2. 모비디아 SW 캠코더 애플리케이션을 사용하여, 사용자들은 그들의 모바일 단말기들을 사용하여 전체 VGA/30 fps(EH는 좀 더 나은 폼질) 비디오를 기록할 수 있다.

3. 모비디아 SW 캠코더 애플리케이션을 사용하여, 사용자는 본 발명의 SW 캠코더 애플리케이션을 사용하여 개인 영화를 생성하기 위하여 검색/편집 작업, 타이틀 추가, "잇기"와 같은 여러가지 작업들을 수행할 수 있다.

4. 모비디아 SW 시네마 애플리케이션의 간단한 버전은 무료로 사용자들에게 배급될 수 있는 반면, 좀 더 효과적인 "씨네마 프로(Cimema-Pro)" 버전은 사용자에 의해 구매될 수 있다.

모비디아 서버로 불리는 서버에 대하여,본 발명의 태양들은 다음을 제공한다.

5. 모비디아 단말기 클라이언트 SW를 사용하여, 사용자들은 모바일, 유선 또는 무선 연결을 통하여 모비디아 서버에 비디오 작업을 전송할 수 있다.

6. 모비디아 가입 서비스는 사용자들이 서버(유료 저장 장치) 상의 비디오 작업 및 영화들을 획득할 수 있고, 온라인 추가 편집, 다운로드 다양한 포맷으로 비디오 저장을 수행할 수 있으며, DVD 사본(유료)을 주문할 수 있게 한다.

7. 모비디아 가입 서비스는 사용자들이 모비디아 사이트 상에 영화 앨법을 생성하고, 그들의 영화를 볼 수 있도록 친구들, 가족들, 동료 등을 초대하며, 선물로 그들의 DVD 사본(유료) 등을 주문할 수 있게 한다.

친구, 가족 등에 대하여, 본 발명의 모비디아 타입 태양들은 다음을 제공한다.

8. 친구, 가족, 동료 등은 사용자의 영화를 보기 위하여 이메일 초대장을 수신하고, 사본을 다운로드 및 저장(유료)하며, 그들의 DVD 사본(유료)을 주문한다.

일반 관객(영화 모델)에 대하여, 본 발명의 모비디아 태양들은 다음을 제공한다.

9. 드롭렛의 모비디아 가입 서비스는 일반대중이 모비디아 시네마 싸이트 상에서 볼 수 있도록 사용자가 그들의 영화를 "배급"할 수 있게 한다.

10. 일반대중은 순위, 주제, 분류 등에 의해 배급된 영화 기록을 검색할 수 있으며, 모비디아 영화 사이트에서 미리보기를 무료로 볼 수 있다.

11. 일반대중은 보기, 다운로드 또는 DVD 사본을 주문하기 위하여 결제할 수 있다.

이하의 방법들 및 프로세스들은 본 발명의 태양들을 포함하며, 이 기술에 의해서만 독점적으로 가능해진다.

수입 자원/사업 모델:

·필름 제조자: 서버 공간, 파일 다운로드, DVD 주문을 위한 결제. 행상된 편집 소프트웨어 버전을 위한 결제.

·친구, 가족 등: 파일 다운로드 및 DVD 주문을 위한 결제.

·일반대중: 전체 영화 감상(미리보기만 무료) 및 DVD 주문 또는 다운로드를 위한 결제.

·모바일 운영자: 수입 공유 모델을 통하여 증가된 데이터 트래픽을 위한 결제.

본 발명의 태양의 서비스 구성요소들은 다음을 포함한다:

·개인 비디오 컨텐츠를 캡쳐, 전송 및 관리하기 위한 본 발명의 모바일 비디오 메세징 플랫폼(서버 및 단말기 SW 애플리케이션)

·본 발명의 모비디아 SW 비디오 캠코더 애플리케이션은 임의의 자바/비디오폰 상에서 비디오 촬영이 가능하게 한다.

·본 발명의 모비디아 SW 비디오 시네마 클라이언트 애플리케이션은 기본 비디오 생성, 편집 및 보기 기술(간단 및 프로 버전들)을 포함한다.

·본 발명의 모비디아 SW 비디오 시네마 웹-기반 컨텐츠 관리 애플리케이션은 모비디아 시네마 영화 앨범, 개인 영화 공유, 및 모비디아 시네마 "배급"를 지원한다.

여기에는 모바일 가입자에게 고화질 비디오 이미징 서비스를 제공하는 것과 관련한 기술적 복잡성 및 비용을 실질적으로 감소시키기 위하여 결합된, 향상된 모바일 이미징 애플리케이션, 단말기 구조, 및 서비스 플랫폼 구조가 개시된다. 향상된 설계 결합-소스 채널 코딩 기술은 무선 캐리어의 해당 능력 및 MMS 서비스 제공자가 그들의 소비자 또는 기업 소비자들에게 더 큰 범위의 서비스 품질(QoS) 성능 및 가격 수준을 제공하게 하고 따라서, 그들의 무선 네트워크 인프라 구조를 사용하여 발생되는 수입이 최고가 되게 한다. 더 높은 계산 효율을 갖는 알고리즘에 근거한, 향상된 설계 결합-소스 채널 코딩은 채널 형식(무선 및 유선) 면에서 훨씬 더 높은 수준의 네트워크 균일성, 채널 대역폭, 채널 잡음/오류 특성, 사용자 장치 및 사용자 서비스들을 제공할 수 있게 한다. 또한 모바일 단말기 분야에서 사진 및 영화 비디오 부분에서 독창적이고 향상된 서비스를 제공하는 방법, 장치, 프로세스 및 사업 방법이 또한 제공된다.

본 발명의 태양들에 따르면 다음과 같은 요약된 형태가 또한 제공될 수 있다.

향상된 웨이블릿-기반 코덱을 이용하는 모바일 이미징 애플리케이션은 전체-SW 구현, 전체-HW 구현, 또는 하이브리드 SW+HW 구현으로 이루어질 수 있다.

또한, 본 발명의 시스템들 및 방법들은 상술한 향상된 웨이블릿-기반 코덱의 섬세한 크기조절 능력을 사용하고, 복구된 비디오 신호의 순간 및 평균 화질(비디오 레이트 대 왜곡) 모두의 제어를 최대화시키도록 소스 코더, 채널 코더, 적응률 제어기 세 개 모두에서 순간 및 예상 채널 폭, 에러 조건 상의 정보를 이용하여 향상된 결합 소스 채널 코딩을 제공한다. 본 발명의 시스템들 및 방법은 또한 고객 및 기업 MMS 고객들에게 더 넓은 범위의 서비스 품질(QoS) 성능 및 가격 레벨을 적용할 수 있으며, 채널 타입 면에서(고정된 무선, 모바일 무선, 및 유선) 훨씬 높은 수준의 네트워크 균일성, 채널 대역폭, 채널 잡음/오류 특성, 사용자 장치 및 향상된 멀티캐스팅을 포함하는 사용자 서비스들을 제공한다.

본 발명은 또한 전체-SW 구현, 전체-HW 구현, 또는 하이브리드 SW+HW 구현으로, 이동 장치들 내의 전체 캠코더 능력을 위하여, 두 개의 이전 단락의 태양들을 관련된 이미지 사전-프로세싱 및 사후-프로세싱 기능, 및 음성 기록에 결합하는 모바일 캠코더 애플리케이션을 제공한다.

본 발명은 또한 전체-SW 구현, 전체-HW 구현, 또는 하이브리드 SW+HW 구현으로, 자바 애플리케이션으로 구현된 향상된 웨이블릿-기반 코덱을 이용하는 모바일 이미징 애플리케이션을 제공한다.

본 발명은 또한 전체-SW 구현, 전체-HW 구현, 또는 하이브리드 SW+HW 구현으로, 이동 장치들 내의 전체 캠코더 능력을 위하여, 이전 단락의 애플리케이션을 관련된 이미지 사전-프로세싱, 사후-프로세싱 기능, 및 음성 기록에 결합한 모바일 캠코더 애플리케이션을 제공한다.

본 발명은 또한 이 요약의 이전 단락의 태양들 및 특징들을 이용한 이미징-이용가능 모바일 단말기 구조를 제공하고, 여기서 모바일 이미징 애플리케이션이 이미지 모듈 또는 제거가능한 저장 매체로 단말기의 단말기 베이스밴드 멀티미디어 프로세싱 섹션에 통합된다.

본 발명은 또한 상술한 이미징-이용가능 단말기에 이 요약의 상술한 특징의 OTA 전송 및 업그레이드를 제공한다.

본 발명은 또한 이미지 이용가능 단말기에 상술한 특징들 및 시스템들의 판매 설치 또는 업그레이드를 가능하게 하는 시스템을 제공한다.

본 발명은 또한 다른 표준 기반 또는 개인 이미징 포맷들- 자동화된 OTN 업그레이드 또는 수동 과정을 통하여 MMSC 비디오 게이트 내로 전송되고 설치된 전체 SW 애플리케이션-을 구비한 본 요약의 상술한 특징들의 범용 능력을 위한 모바일 이미징 트랜스코더를 제공한다.

본 발명은 또한 본 요약의 모든 특징들을 결합한 모바일 이미징 서비스 플랫폼 구조, 방법 및 시스템을 제공한다.

상술한 설명은 본 발명의 실시예들의 특정 태양들에 대한 것이지만, 다양한 변경, 수정 및 균등물이 사용될 수 있다. 따라서, 상술한 설명은 본 발명의 범위를 제한하는 것으로 고려되어서는 아니되며, 본 발명의 범위는 첨부된 청구범위에 의해 정의된다.

본 명세서 내에 포함되어 있음

Claims (2)

1. 네트워크에 연결된 다운로드 서버상에 트랜스코더 애플리케이션을 제공하는 단계;

   상기 트랜스코더 애플리케이션의 배포에 이용가능한 신호를 전송하는 단계;

   상기 다운로드 서버로부터 상기 네트워크에 위치된 비디오 게이트웨이로 상기 네트워크를 통하여 트랜스코더 애플리케이션을 배포하는 단계를 포함하는, 이미징 서비스 플랫폼의 배포 방법.
2. 제 1 항에 있어서,

   상기 비디오 게이트웨이 상에 배포된 트랜스코더 애플리케이션을 자동으로 설치하는 단계를 더 포함하는 이미징 서비스 플랫폼의 배포 방법.

Images