KR20070085316A

KR20070085316A - 모바일 이미징 애플리케이션, 장치구조, 및 서비스 플랫폼구조

Info

Publication number: KR20070085316A
Application number: KR1020077010759A
Authority: KR
Inventors: 존 디 랄스턴; 크라시미르 디 콜라로프; 스티븐 이 선더스
Original assignee: 드로플렛 테크놀로지 인코포레이티드
Priority date: 2004-10-12
Filing date: 2005-10-12
Publication date: 2007-08-27
Also published as: CA2583603A1; CN101076952A; EP1800415A2; AU2005295132A1; WO2006042330A3; CN101076952B; WO2006042330A2; WO2006042330A9; EP1800415A4; JP2008516565A

Abstract

본 발명에 따른 시스템 및 방법(도 2)은 모바일 장치에서 스틸 이미지와 비디오 이미지 데이터를 압축(도 2a) 및 압축해제(도 2b)하기 위해 제공된다. 유무선 네트워크를 통해 스틸 이미지와 비디오 이미지를 전송하고, 저장하며, 편집하고, 트랜스코딩하여, 상기 이미지를 디스플레이 인에이블 장치에 나타내기 위한 해당 모바일 장치구조와 서비스 플랫폼 구조들이 또한 제공된다.

모바일 이미징 애플리케이션, 서비스 플랫폼 구조, 결합 소스-채널 코딩방법

Description

모바일 이미징 애플리케이션, 장치구조, 및 서비스 플랫폼 구조{Mobile Imaging Application, Device Architecture, And Service Platform Architecture}

본 출원은 발명의 명칭이 "Mobile Imaging Application, Device Architecture, And Service Platform Architecture"인 2004년 10월 12일 자로 가출원된 미국특허출원 제60/618,558호; 발명의 명칭이 "Video Monitoring Application, Device Architectures, And System Architecture"인 2004년 10월 13일자로 가출원된 미국특허출원 제60/618,938호; 발명의 명칭이 "Mobile Imaging Application, Device Architectures, And Service Platform Architecture And Services"인 2005년 2월 16일자로 가출원된 미국특허출원 제60/654,058호의 우선권을 주장하며, 상기 각각의 참조문헌은 전체가 본 명세서에 참조로 합체되어 있다.

본 출원은 발명의 명칭이 "Multiple Codec-Imager System And Method"인 2004년 9월 16일자로 출원된 미국특허출원 제10/944,437호로서 현재 2005년 5월 19일자로 공개된 미국공개번호 제US2005/0104752호의 일부계속출원; 발명의 명칭이 "System, Method And Computer Program Product For Image And Video Transcoding"인 2003년 4월 17일자로 출원된 미국특허출원 제10/418,649호로서 현재 2003년 11월 6일자로 공개된 제US2003/0206597호의 일부계속출원; 발명의 명칭이 "Wavelet Transform System, Method And Computer Program Product"인 2003년 4월 17일자로 출원된 미국특허출원 제10/418,363호로서 현재 2003년 10월 23일자로 공개된 제US2003/0198395호의 일부계속출원; 발명의 명칭이 "Pile-Processing System And Method For Parallel Processors"인 2003년 5월 28일자로 출원된 미국특허출원 제10/447,455호로서 현재 2003년 12월 11일자로 공개된 제US2003/0229773호의 일부계속출원; 발명의 명칭이 "Chroma Temporal Rate Reduction And High-Quality Pause System And Method"인 2003년 5월 28일자로 출원된 미국특허출원 제10/447,514호로서 현재 2003년 12월 25일자로 공개된 제US2003/0235340호의 일부계속출원; 발명의 명칭이 "System And Method For Temporal Ou-Of-Order Compression And Multi-Source Compression Rate Control"인 2004년 9월 29일자로 출원된 미국특허출원 제10/955,240호로서 현재 2005년 5월 19일자로 공개된 제US2005/0105609호의 일부계속출원; 2004년 9월 21일자로 출원된 가출원번호 제60/612,311호의 우선권을 주장하며 발명의 명칭이 "Compression Rate Control System And Method With Variable Subband Processing"인 2005년 9월 20일자로 출원된 미국특허출원 제___호(대리인 문서번호 제74189-200301/US호)의 일부계속출원; 2004년 9월 22일자로 출원된 가출원번호 제60/612,652호의 우선권을 주장하며 발명의 명칭이 "Multiple Technique Entropy Coding System And Method"인 2005년 9월 21일자로 출원된 미국특허출원 제___호(대리인 문서번호 제74189-200401/US호)의 일부계속출원; 및 2004년 9월 22일자로 출원된 가출원번호 제60/612,651호의 우선권을 주장하며 발명의 명칭이 "Permutation Procrastination"인 2005년 9월 21일자로 출원된 미국특허출원 제___호(대리인 문서번호 제74189-200501/US호)의 일부계속출원이며, 상기 각각의 참조 문헌은 그 전체가 참조로 본 명세서에 합체되어 있다. 본 출원은 또한 발명의 명칭이 "Multiple Codec-Imager System And Method"인 2004년 11월 30일자로 발간된 미국특허 제6,825,780호 및 발명의 명칭이 "System And Method For Dyadic-Monotonic (DM) Codec인 2005년 1월 25일자로 간행된 미국특허 제6,847,317호를 전체적으로 참조문헌으로 포함하고 있다.

본 발명은 데이터 압축에 관한 것으로, 보다 상세하게는, 유무선 네트워크를 통해 스틸 이미지와 비디오 이미지를 전송, 저장, 편집 및 트랜스코딩하고 디스플레이 인에이블 장치상에 상기 이미지들을 나타내며 네트워크와 장치를 가로질러 코덱을 배포 및 업데이트하는 모바일 장치, 해당 모바일 장치구조, 및 서비스 플랫폼 구조에서 스틸 이미지 및 비디오 이미지 기록에 관한 것이다.

직접 디지털화된 스틸 이미지와 비디오는 많은 "비트들"을 필요로 한다. 따라서, 저장, 전송 및 다른 용도를 위해 이미지와 비디오를 압축하는 것이 일반적이다. 여러가지 기본 압축방법들이 알려져 있으며 이 방법들의 매우 많은 특정 변형들이 있다. 일반적인 방법은 변환, 양자화 및 엔트로피 코드(entropy-code)와 같은 3단계 처리를 특징으로 할 수 있다. 많은 이미지와 비디오 압축들은 이 기본구조를 공유하며 변한다.

비디오 압축기에서 변환단계의 목적은 사진 또는 시퀀스에서 로컬 유사성과 패턴을 이용하여 가능한 한 압축된 형태로 소스 사진의 에너지 또는 정보를 모으는 것이다. 압축기들은 "일반적인" 입력에 대해 잘 작동하도록 설계되어 있고 "무작 위" 또는 "병적(pathological)" 입력을 압축하기 위해 그 장애를 무시할 수 있다. MPEG-2 및 MPEG-4와 같이 많은 이미지 압축과 비디오 압축 방법들은 변환단계로서 이산적 코사인 변환(Discrete Cosine Transform, DCT)을 사용한다. MPEG-4 정적 텍스처 압축(static texture compression)과 같은 몇몇 새로운 이미지 압축 및 비디오 압축방법들은 변환단계로서 다양한 웨이블릿 변환(wavelet transforms)을 이용한다.

양자화는 일반적으로 변환단계 이후 정보를 폐기한다. 그런 후 재구성된 압축 이미지는 본래의 정확한 재생이 아니다.

엔트로피 코딩은 일반적으로 비손실(lossless) 단계이다: 이 단계는 양자화 후에 남아있는 정보를 취하고 주로 디코더에서 정확하게 재생될 수 있도록 상기 정보를 부호화한다. 따라서, 변환 및 양자화 단계에서 폐기할 어떤 정보에 대한 설계 결정은 일반적으로 다음 엔트로피 코딩 단계에 의해 영향받지 않는다.

DCT 기반의 비디오 압축/압축해제(코덱) 기술의 한계는 본래 비디오 방송 및 스트링 애플리케이션용으로 개발되었기에 고도의 복잡성을 갖는 인코더가 컴퓨터 워크스테이션상에 운영될 수 있는 스튜디오 환경에서 비디오 컨텐츠의 인코딩에 따른다는 것이다. 이러한 계산상 복잡한 인코더는 계산상으로 간단하고 비교적 저렴한 디코더(플레이어)가 소비자 재생장치에 설치되게 한다. 그러나, 이러한 비대칭 인코더/디코더 기술들은 비디오 메세지가 송수화기 자체에서 실시간으로 캡쳐(및 인코딩)될 뿐만 아니라 다시 재생되는 것이 바람직한 모바일 멀티미디어 장치에 잘 맞지 않다. 그 결과, 모바일 장치내 비교적 작은 계산능력과 전력 소스로 인해, 모 바일 장치내 비디오 이미지들은 다른 소비제품에서 보다 일반적으로 훨씬 더 작은 이미지 크기들과 훨씬 더 낮은 프레임률(frame rate)에 국한된다.

본 발명은 종래 압축기술의 단점에 대한 방안을 제공하고, 송수화기 구조의 복잡도와 모바일 이미징 서비스 플랫폼 구조의 복잡도를 줄이는 모바일 송수화기에 올-소프트웨어(all-software)(또는 하이브리드(hybrid)) 애플리케이션으로서 실행될 수 있는 매우 첨단적이면서도 계산상으로도 고효율적인 이미지 압축(코덱)을 제공한다. 본 발명의 올-소프트웨어 또는 하이브리드 비디오 코덱 솔루션의 태양들은 멀티미디어 송수화기에서 기저대역 프로세서 및 비디오 가속기 비용과 요건을 크게 줄인다. OTA 다운로드를 통해 코덱 포스트 프로덕션(codec post-production)을 설치하는 능력과 결합된 올-소프트웨어 또는 하이브리드 솔루션에 있어 본 발명은 송수화기 개발 및 비디오 메세징 서비스 구조와 배포 모두의 복잡도, 위험 및 비용을 대폭 줄인다. 또한, 본 발명의 태양에 따르면, 소프트웨어 비디오 트랜스코더(transcoder)가 배포된 MMS 컨트롤(MMSC) 기반시설의 자동화된 네트워크를 통한 (over-the-network, OTN) 업그레이드 뿐만 아니라 모바일 송수화기에 대한 코덱의 배포 또는 업그레이드를 가능하게 한다. 본 발명의 웨이블릿 트랜스코더는 웨이블릿 비디오 포맷과 다른 표준계열 및 소유 비디오 포맷들 간의 완전한 상호운영성(interoperability)을 판매업체에 제공한다. 본 발명의 올-소프트웨어 또는 하이브리드 비디오 플랫폼은 종래 기술과 함께 이용될 수 없는 처리속도와 비디오 생산 정확도를 레버리지하는 새로운 MMS 서비스의 급격한 발전을 가능하게 한다. 본 발명의 웨이블릿 코덱은 또한 스틸 이미 및 비디오 모두를 효율적으로 처리하는 능력에 있어 고유하고, 따라서 모바일 사진-메일 및 비디오 메세징 서비스 뿐만 아니라 다른 서비스들 모두를 동시에 지원할 수 있는 단일의 저비용 및 저전력 방안으로 별개의 MPEG 및 JPEG 코덱들을 대체할 수 있다.

도 1은 통상의 비디오 디스플레이 포맷들 간의 물리적 디스플레이 크기와 해상도 차이를 도시한 것이다.

도 2는 결합 소스-채널 코딩용 시스템을 개략적으로 도시한 것이다.

도 3은 모바일 이미징 송수화기 구조를 도시한 것이다.

도 4는 모바일 이미징 서비스 플랫폼 구조를 도시한 것이다.

도 5는 본 발명의 DCT 인코더와 향상된 웨이블릿 인코더 간의 자원 처리에 있어 차이를 개략적으로 비교한 것이다.

도 6은 결합 소스-채널 코딩용도의 향상된 시스템을 개략적으로 도시한 것이다.

도 7은 향상된 모바일 이미징 송수화기 구조를 도시한 것이다.

도 8은 향상된 모바일 이미징 서비스 플랫폼 구조를 도시한 것이다.

도 9는 비디오 게이트웨이의 오버 더 에어(over the air) 업그레이드를 수행하는 프레임워크를 도시한 것이다.

도 10은 소프트웨어 이미징 애플리케이션용 수단 선택을 도시한 것이다.

도 11은 하드웨어 가속 이미징 애플리케이션용 수단 선택을 도시한 것이다.

도 12는 하이브리드 하드웨어 가속 및 소프트웨어 이미징 애플리케이션용 수단 선택을 도시한 것이다.

웨이블릿 기반의 이미지 처리

웨이블릿 변환(wavelet transform)은 일차원이나 그 이상 차원에서 데이터 세트에 대한 웨이블릿 필터쌍의 반복된 애플리케이션을 포함한다. 스틸 이미지 압축을 위해, 2D 웨이블릿 변환(수평 및 수직)이 이용될 수 있다. 비디오 코덱은 3D 웨이블릿 변환(수평, 수직 및 시간)을 사용할 수 있다. 향상된 대칭 3D 웨이블릿 기반의 비디오 압축/압축해제(코덱)장치가 DCT 기반의 코덱에 필요로 하는 것들 보다 상당히 낮은 모바일 장치에서의 계산상 복잡성과 전력소비를 줄일 뿐만 아니라 단일 코덱으로 스틸 이미지와 비디오 이미지를 처리하기 위해 동시 지원을 가능하게 하는 것이 바람직하다. 단일 코덱에서 스틸 이미지와 비디오 이미지용의 이러한 동시 지원은 별도의 MPEG(비디오)과 JPEG(스틸 이미지) 코덱 필요성을 없애거나 압축성능 및 이에 따른 모션(Motion) JPEG 코덱에 대한 저장 효율성을 크게 향상시킨다.

모바일 이미지 메세징

본 발명의 태양에 따르면, 더 큰 대역폭을 이용하고 이동서비스 제공자에게 상당히 큰 사용자당 평균 매출액(ARPU)을 발생시키는 더 풍부한 컨텐츠가 모바일 송수화기와 서비스 분야에서 촉진된다. 이동 멀티미디어 서비스(Mobile Multimedia Service, MMS)는 텍스트 기반의 단문 메세지(SMS)의 멀티미디어 진화이다. 본 발명 의 태양은 새로운 MMS 애플리케이션을 용이하게 한다. 상기 새로운 애플리케이션은 비디오 메세징이다. 본 발명에 따른 비디오 메세징은 개인 정보를 전달하기 위해 대상 청중의 요구에 응답하기 위한 매우 향상된 시스템을 제공한다. 이러한 모바일 이미지 메세징은 모바일 송수화기에 디지털 카메라 기능(스틸 이미지) 및/또는 캠코더 기능(비디오 이미지)의 추가를 필요로 하며, 그 결과 가입자가 보내고 싶은 비디오 이미지를 캡쳐(인코드)하고 수신한 비디오 메세지를 재생(디코드)할 수 있다.

몇몇 모바일 이미지 메세징 서비스들과 애플리케이션들이 현재 있지만, 이들은 일반적으로 TV, 개인용 컴퓨터, 및 디지털 비디오 캠코더와 같이 다른 멀티미디어 장치(도 1 참조)상에 캡쳐되고 재생되는 것보다 훨씬 더 작은 크기와 더 낮은 프레임률 비디오 이미지를 캡쳐하고 전송하는데 국한되어 있다. 도 1에 도시된 바와 같이, 현재 가장 작은 포맷인 SubQCIF(110)(SubQ-common intermediate format)은 가로가 128 픽셀(픽쳐 소자)이고 높이가 96 픽셀이며, QQVGA(120)(QQ-Vector graphic array)은 160×120 픽셀이고, QCIF(130)은 178×144 픽셀이며, QVGA(140)은 320×240 픽셀이고, CIF(150)은 352×288 픽셀이며, VGA(160)은 640×480 픽셀이고, 현재 가장 큰 포맷은 D1/HDTV(고화질 텔레비전)는 720×480 픽셀이다. 본 발명의 태양에 의해 제공되고 실행될 수 있는 30fps 이상의 프레임률로 VGA(또는 더 큰) 비디오를 지원할 수 있는 모바일 이미지 메세징 서비스와 애플리케이션이 훨씬 바람직할 수 있다.

적응형 결합 소스-채널 코딩

텍스트, 오디오 및 스틸 이미지와 같은 다른 데이터/미디어 타입의 전송에 비해, 이동 네트워크를 통한 비디오 전송은 일반적으로 요구되는 더 큰 데이터 속도로 인해 실제로 도전되고 있다. 또한, 이동 네트워크의 변동하는 잡음과 오류 특징들에 따라 제한되고 가변하는 채널 대역폭이 비디오 전달시에 제약과 어려움을 더 부과한다. 본 발명의 태양에 따르면, 다양한 결합 소스-채널 코딩(joint source-channel coding) 기술이 상기 비디오 비트스트림을 다른 채널조건들에 알맞도록 적용될 수 있다(도 2 참조). 또한, 채널 대역폭과 오류 특성들을 가변시키는데 알맞도록 본 발명의 결합 소스-채널 코딩 접근은 확장될 수 있다. 더욱이, 비디오스트림의 수신 종단부에 있는 다른 장치들은 계산능력 디코딩에 대한 다른 제한들과 디스플레이 능력들을 가질 수 있다.

도 2에 도시된 바와 같이, 본 발명의 태양에 따르면, 소스 비디오 시퀀스(210)가 소스 인코더(220)에 의해 먼저 소스 부호화된 뒤(즉, 압축된 뒤), 오류정정부호(ECC) 채널 코딩(230)이 잇따른다. 종래 기술의 모바일 네트워크에서, 소스 코딩은 일반적으로 H.263, MPEG-4 또는 Motion JPEG와 같은 DCT 기반의 압축 기술을 사용한다. 이러한 코딩 기술은 소스 인코더에서 실행된 압축정도의 실시간 조절을 제공하기 위해 본 발명의 기술이 할 수 있는 것처럼 조절될 수 없다. 본 발명의 이 태양은 특히 (나중 전송을 위해 비디오가 캡쳐되고 부호화되고 저장되는 실시예에 비해) 비디오가 실시간으로 또는 거의 실시간으로 통신 네트워크를 통해 캡쳐되고, 부호화되고, 전송될 때 상당한 이점을 제공한다. 예시적인 채널 코딩 방법은 리드 솔로몬(Reed-Solomon) 코드, BCH 코드, FEC 코드, 및 터보 코드이다. 그런 후, 결합 소스 및 채널 코드 비디오 비트스트림이 채널 대역폭 요건과 일치하도록 레이트 컨트롤러(rate controller)(240)를 통해 전달되면서 최선의 재구성된 비디오 품질을 달성한다. 레이트 컨트롤러(240)는 채널(260)을 통한 전송을 위해 비디오 비트스트림(250)을 전송하기 전에 압축 비디오 비트스트림상에 별개의 레이트 왜곡(rate-distortion) 계산을 수행한다. 모바일 장치에서 계산능력의 제한으로 인해, 일반적인 레이트 컨트롤러는 이용가능한 채널 대역폭만을 고려하고 전송 채널의 오류 특성을 명백히 고려하지 않는다. 본 발명의 태양에 따르면, 소스 인코더는 1 내지 5% 및 또한 1 내지 10% 만큼 작은 압축률로 변화를 달성하도록 압축을 조절하는 능력을 갖는다. 이는 특히 가변 압축요인들이 하나 이상의 비디오 이미지의 데이터를 함께 나타내는 데이터의 별개의 부대역에 적용될 때 인에이블된다.

도 2b에 도시된 바와 같이, 디코딩동안, 결합 소스-채널 코드 비트스트림(250)은 채널(260) 및 단계 270에서 복호화된 ECC 채널, 단계 280에서 복호화된 소스를 통해 수신되어 재구성 비디오(290)를 나타낸다.

본 발명은 더 큰 계산 효율을 갖는 알고리즘을 기초로 향상된 적응형 결합 소스-채널 코딩을 제공하여, 순간적이고 예상된 채널 대역폭과 오류 조건들이 소스 코더(220), 채널 코더(230) 및 레이트 컨트롤러(240)의 3개 모두에 이용될 수 있어 재구성 비디오 신호의 순간적인 품질과 평균 품질(비디오 레이트 대 왜곡) 모두의 제어를 극대화한다.

본 발명에 의해 제공된 향상된 적응형 결합-소스 채널 코딩기술은 무선 판매업체와 MMS 서비스 제공자에게 서비스 품질(Quality of Service, QoS) 성능 및 소 비자와 기업고객에 대한 가격 수준의 더 넓은 범위를 제공할 능력을 갖게하며, 이에 따라 무선 네트워크 기반구조를 사용하여 발생된 수입을 극대화한다.

멀티캐스트 시나리오(multicast scenarios)는 많은 사용자들에 의해 복호화될 수 있는 단일 적응형 비디오 비트스트림을 필요로 한다. 이는 특히 현대식의 대규모 이종 네트워크들에 중요하며, 상기 이종 네트워크에서 네트워크 대역폭 한계로 인해 각 사용자에게 특별히 동조된 다중 시멀케스트(simulcast) 비디오 신호를 전송하기가 실행불가능해 진다. 단일 적응형 비디오 비트스트림의 멀티캐스팅은 대역폭 요건을 줄이지만 광대역 무선 또는 유선 연결을 갖는 상위 종단 사용자를 포함하여 다중 사용자 및 제한된 대역폭과 오류가 발생하기 쉬운 연결을 갖는 무선전화 사용자에게 복호화될 수 있는 비디오 비트스트림을 발생하는 단계를 필요로 한다. 모바일 장치에서 계산능력의 제한으로 인해, 적응형 레이트 컨트롤러의 입도(granularity)는 일반적으로 예컨대 기저층과 하나의 강화층을 포함하여 2층 비트스트림만을 생산하므로 매우 거칠다.

더 큰 계산효율을 갖는 알고리즘을 기초로 본 발명의 향상된 적응형 결합-소스 채널 코딩에 의해 제공된 또 다른 이점은 채널 타입(무선 또는 유선), 채널 대역폭, 채널 잡음/오류 특성, 사용자 장치, 및 사용자 서비스면에서 훨씬 더 큰 수준의 네트워크 이종성에 대한 지원을 가능하게 한다는 것이다.

모바일 이미징 송수화기 구조

도 3을 참조하면, 모바일 송수화기에 디지털 캠코더 기능의 추가는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로서 다음의 기능을 포함할 수 있다:

·대응하는 프리앰프(pre-amps)와 아날로그 디지털(A/D) 신호 변환회로를 갖는 이미지 어레이(310)(일반적으로 CMOS 또는 CCD 픽셀의 어레이)

·전처리, 인코딩/디코딩(코덱), 후처리와 같은 이미지 처리 기능(312)

·무선 또는 유선 네트워크를 통한 비실시간 전송 또는 실시간 스트리밍을 위한 처리된 이미지의 버퍼링(314)

·터치스크린(316) 및/또는 컬러 디스플레이(318)와 같은 하나 이상의 이미지 디스플레이 스크린

·내장형 메모리(320) 또는 착탈식 메모리(322)상의 로컬 이미지 기억장소.

MPEG-4와 같은 DCT 변환을 기초로 한 코덱을 사용하여, 상업적으로 이용될 수 있는 이미징 인에이블 모바일 송수화기는 일반적으로 TV, 개인용 컴퓨터, 및 디지털 비디오 캠코더와 같이 다른 멀티미디어 장치상에 캡쳐되고 디스플레이되는 것보다 더 작은 크기와 더 낮은 프레임률의 비디오 이미지를 캡쳐하도록 제한된다. 이들 TV, 개인용 컴퓨터 및 디지털 비디오 캠코더는 일반적으로 초당 30 프레임(fps) 이상의 디스플레이 속도로 VGA 포맷(640×480 픽셀) 이상으로 비디오 이미지를 캡쳐/디스플레이하는 반면에, 상업적으로 이용될 수 있는 이미지 인에이블 모바일 송수화기는 15 fps 이하의 디스플레이 속도로 QCIF 포맷(176×144 픽셀) 이하의 비디오 이미지를 캡쳐링하도록 제한된다. 이러한 감소된 비디오 캡쳐능력은 DCT 변환을 사용하여 비디오 압축/압축해제와 관련된 계산단계의 수, 타입, 시퀀스를 완료하는데 필요한 과도한 프로세서 전력소모와 버퍼 메모리에 기인한다. 상업적으 로 이용될 수 있는 모바일 송수화기의 이러한 감소된 비디오 캡쳐 능력으로 인해, 특히 설계된 집적회로칩들이 압축 및 압축해제를 달성하기 위해 송수화기 하드웨어에 내장될 필요가 있었다.

상업적으로 이용될 수 있는 비디오 코덱과 마이크로프로세서 기술의 사용은 30fps 이상의 프레임률로 VGA(또는 더 큰) 비디오를 캡쳐하려고 시도하는 모바일 이미징 송수화기를 위한 장기간의 설계와 제조 리드타임(lead time)으로 인해 매우 복잡하고, 전력고갈적이며, 고가의 구조를 초래하게 된다. 이러한 송수화기 구조는 더 큰 버퍼 메모리 블록(314)(일반적으로 1M바이트 이상의 메모리 용량)과 함께 축소명령세트(RISC) 프로세서(324), 디지털 신호 프로세서(DSPs)(326), 애플리케이션 특이 집적회로(ASICs)(328), 및 재구성가능한 처리장치(RPDs)(330)를 조합하여 행해지는 소프트웨어 프로그램과 하드웨어 가속기 모두의 조합을 이용하는 코덱을 필요로 한다. 이들 코덱 기능들은 별도의 집적회로(ICs)로서 이러한 RISC 프로세서(324), DSPs(326), ASICs(328), 및 RPDs(330)를 사용하여 실행될 수 있거나, 시스템 인패키지(system-in-a-package, SIP) 또는 시스템 온칩(System-on-a-chip, SoC)에서 함께 집적된 RISC 프로세서(324), DSPs(326), ASICs(328), 및 RPDs(330) 중 하나 이상을 조합할 수 있다.

상기 하드웨어와 결합하여 RISC 프로세서(324) 또는 DSPs(326)상에 실행되는 코덱 기능은 오류 또는 업그레이드 기능을 교정하기 위해 변형될 수 있는 이점을 갖는 소프트웨어 루틴일 수 있다. 소프트웨어로서 소정의 복잡하고 반복적인 코덱 기능들을 실행하는 단점은 결과적으로 발생한 전체 프로세서 자원과 전력소비요건 이 일반적으로 이동통신장치에서 이용될 수 있는 것들을 초과한다는 것이다. ASICs(328)상에 실행되는 코덱 기능들은 특별 주문된 하드웨어 가속이 코덱의 전체 소비전력을 상당히 감소시킬 수 있는 이점을 갖는 일반적으로 복잡하고, 반복적인 계산단계들의 고정된 하드웨어 수단들이다. 고정된 하드웨어에서 소정의 코덱 기능들을 실행하는데 따른 단점은 더 길고 더 고가의 설계 주기, 오류가 고정된 실리콘 수단에서 발견되는 경우 고가의 제품 리콜 위험 및 새롭게 개발된 특징들이 이미징 애플리케이션에 추가되어야 하는 경우 고정된 실리콘 기능에 대한 업그레이드 불능을 포함한다. RPDs(330)상에 실행되는 코덱 기능들은 일반적으로 하드웨어 가속 및 최종 모바일 이미징 송수화기 제품에 기능 추가 또는 변형 능력 모두를 필요로 하는 루틴이다. RPDs(330)상에 실행되는 소정 코덱 기능을 실행하는데 따른 단점은 고정된 ASIC(328) 수단들에 비해 하드웨어 재구성(reconfigurability)을 지원하는데 필요한 많은 실리콘 게이트들과 더 큰 소비전력이다.

본 발명의 몇몇 태양에 따라 구성된 이미징 애플리케이션은 모바일 이미징 송수화기가 올-소프트웨어 구조로 30fps 프레임률로 VGA(160)(또는 이상) 비디오를 캡쳐할 수 있도록 복잡하고 반복적인 코덱기능들을 줄이거나 제거한다. 이 구성은 상기 구조를 간단히 하고 고용량의 상업적 배포와 호환될 수 있는 송수화기 가격을 가능하게 한다.

새로운 멀티미디어 송수화기는 또한 사진 및 비디오 메세징 능력을 지원할 뿐만 아니라 또한 다양한 부가적인 멀티미디어 능력(음성, 음악, 그래픽)과 무선접속모드(2.5G 및 3G 셀룰러 접속, 무선 LAN, 블루투스, GPS 등)를 필요로 할 수 있 다. 이러한 제품의 개발, 배치 및 지원에 있어 포함된 복잡도와 위험은 더 효율적으로 새로운 수입발생 서비스와 애플리케이션을 사용하고 고가의 제품 리콜을 방지하기 위해 많은 기능들과 애플리케이션들의 오버 더 에어(over-the-air, OTA) 배포 및 관리를 매우 바람직하게 한다. 본 발명의 태양에 의해 제공된 올-소프트웨어 이미징 애플리케이션은 모바일 운영자가 이미징 애플리케이션의 OTA 배포 및 관리를 가능하게 한다.

모바일 자바 애플리케이션

자바 기술은 하나의 언어와 하나의 기술하에서 함께 서버에서 데스크탑에서 모바일 장치로 장치의 폭넓은 범위를 가져온다. 이러한 장치의 범위에 대한 애플리케이션들은 다르지만, 자바 기술은 한 영역에서 기능하는 개발자가 장치와 애플리케이션의 범위를 가로지르는 기술을 레버리지하게 하며 중요하게 생각되는 이들 차이를 중개하는 작용을 한다.

1999년 6월에 썬 마이크로시스템즈에 의해 자바 커뮤니티에 먼저 도입된 J2ME(자바2, 마이크로 에디션(Micro Edition))는 자바 개발자의 다양한 필요를 더 양호하게 충족하기 위한 광범위한 시작의 일부였다. 자바2 플랫폼으로, 썬은 3개 에디션으로 그룹화 한 자바기술의 구조를 재정의한다. 스탠다드 에디션(J2SE)은 데스크탑 개발과 로우-엔드(low-end) 비지니스 애플리케이션용으로 실질적인 방안을 제공하였다. 엔터프라이즈 에디션(J2EE)은 기업환경용 애플리케이션 전문인 개발자를 위한 것이다. 마이크로 에디션(J2ME)은 PDA, 이동전화, 삐삐, 텔레비전 셋톱박스, 원격측정유닛, 및 다른 많은 소비자 전자장치 및 내장형 장치들과 같이 제한된 하드웨어 자원을 갖는 장치들을 다루는 개발자를 위해 도입되었다.

J2ME는 128K의 RAM만큼 작고 일반적인 데스크탑 및 서버 장치상에 사용되는 것들보다 훨씬 강력하지 못한 프로세서들을 가진 장치를 겨냥한다. J2ME는 실제로 프로파일 세트로 구성된다. 각각의 프로파일은 이동전화, PDA 등의 특정한 타입의 장치에 대해 정의되고 특정한 타입의 장치에 필요로 하는 클래스 라이브러리의 최소 세트와 장치를 지원하는데 필요한 자바 가상머신의 사양으로 구성된다. 임의의 J2ME 프로파일에 특정한 가상머신은 반드시 Java 2 스탠다드 에디션(J2SE) 및 자바 2 엔터프라이즈 에디션(J2EE)에 사용되는 가상머신과 동일할 필요는 없다.

상기 열거한 장치들 모두에 대해 최적이거나 최적에 가까운 단일 J2ME 기술을 정의하는 것은 적합하지 않다. 프로세서 파워, 메모리, 영구 기억장소, 및 사용자 인터페이스의 차이는 너무 까다롭다. 이 문제를 해결하기 위해, 썬은 J2ME에 적합한 장치의 정의를 섹션들로 세분하였다. 첫번째 슬라이스(slice)로, 썬은 의도한 용도에 상관없이 처리 능력, 메모리 및 저장능력을 기초로 하여 2개의 광범위한 카테고리로 장치들을 나누었다. 그런 후 썬은 여전히 적어도 최소의 자바언어 기능을 제공하면서 각 카테고리에서 장치의 제약내에서 작동하는 자바 언어의 스트립트다운(stripped-down) 형태를 정의하였다.

다음으로, 썬은 유사한 역할을 갖는 장치들에 대한 각각의 이들 2개 카테고리 분류내에서 구별했다. 예컨대, 모든 이동전화들은 제조업체에 무관하게 하나의 분류내에 있게 된다. 자바 커뮤니티 프로세스(JCP)에 있는 파트너들의 도움으로, 썬은 각각의 버티컬 슬라이스(vertical slice)에 특정한 추가 기능을 정의했다.

첫째 분할은 2개의 J2ME 구성, 즉, Connected Device Configuration(CDC) 및 Connected, Limited Device Configuration(CLDC)을 생성했다. 구성은 자바가상머신(JVM)과 최소 클래스 라이브러리 세트와 장치의 선택그룹에 대한 런타임 환경을 제공하는 API이다. 구성은 자바언어의 적어도 공통된 분모 서브세트를 특정하며, 상기 서브세트는 개발된 장치들의 군에 의해 부과된 자원 제약내에 적합하다. 심지어 구성내에서도 사용자 인터페이스, 기능 및 용도를 가로질러 큰 변동이 있기 때문에, 일반적인 구성은 사용자 인터페이스 툴키트 및 영구 기억장소 APIs와 같은 중요한 부분을 정의하지 못한다. 상기 기능의 정의는 대신 프로파일이라고 하는 것에 속한다.

J2ME 프로파일은 삐삐 및 이동전화와 같이 장치의 특정 부류에 착수하려고 의도된 산업주도 그룹에 의해 특정된 자바 API 세트이다. 각 프로파일은 그 구성에 의해 제공된 자바 언어의 적어도 공통분모 서브세트의 상단에 형성되고 상기 구성을 보충하도록 의도되어 있다. 휴대형 모바일 장치에 중요한 2개의 프로파일은 CDC를 보완하는 파운데이션 프로파일(Foundation profile)과 CLDC를 보완하는 이동정보장치 프로파일(Mobile Information Device Profile, MIDP)이다. 더 많은 프로파일들이 진행중에 있으며 사양과 기준 수단들이 곧 나타나기 시작할 것이다.

무선산업용 자바기술(Java Technology for the Wireless Industry, JTWI) 사양인 JSR 185는차세대 자바 기술 인에이블 이동전화용 산업표준 플랫폼을 정의한다. JTWI는 선도 이동전화 제조업체, 무선 판매업자 및 소프트웨어 판매자들의 전문가 그룹에 의한 자바 커뮤니티 프로세스(JCP)를 통해 정의된다. JTWI는 모든 JTIW 순응장치, 즉, CLDC 1.0(JSR 30), MIDP 2.0(JSR 118), WMA 1.1(JSR 120) 뿐만 아니라 적용될 수 있는 CLDC 1.1(JRS 139) 및 MMAPI(JSR 135)에 포함되어야 하는 기술들을 명기한다. 모바일 멀티미디어 장치용 기술 및 인터페이스를 정의하는 2개의 추가 JTWI 사양들은 JSR-135("Mobile Media API") 및 JSR-234("Advanced Multimedia Supplements")이다.

JTWI 사양은 대용량 장치를 위한 기능 바(bar)를 올리는 한편, API 파편화(fragmentation)를 최소로 하고 이동전화용으로 이미 개발되었던 애플리케이션의 상당한 기반을 넓힌다. JTWI의 이점은 다음을 포함한다:

·상호운영성: 이 노력의 목표는 애플리케이션 개발자를 위한 예측가능한 환경 및 장치 제조업체를 위한 전달가능한 능력세트를 전달하는 것이다. 호환가능한 애플리케이션의 폭넓은 범위로 인해 제조업자와 애플리케이션을 지원하는 장치의 폭넓은 범위로 인한 소프트웨어 개발자 모두가 JTWI 표준을 채택함으로써 크게 이득을 본다.

·보안 사양의 설명: JSR 185 사양은 MIDP 2.0 사양에서 정의된 "Recommended Security Policy for GSM/UMTS-Compliant Devices"에 대해 신뢰되지 않은 애플리케이션에 대한 많은 설명을 도입한다. 이는 MIDP 2.0에 정의된 기본 MIDlet 슈트 보안 프레임워크를 확장한다.

·로드맵(road map): JTWI 사양의 핵심적인 특징은 소프트웨어 개발자가 JTWI 순응형 장치에서 예상할 수 있는 공통 기능의 개요인 로드맵이다. 2003년 1월 이동전화의 진화에 따른 부가 기능들을 기술하는 6개월에서 9개월 간격으로 출시가 예상된 일련의 로드맵에서 첫선을 보였다. 로드맵은 모든 당사자들이 더 많이 확신하며 미래를 계획하게 할 수 있다: 판매업자들은 애플리케이션 배포전략을 더 잘 계획할 수 있고, 장치 제조사들은 제품계획을 더 잘 결정할 수 있으며, 컨텐츠 개발자는 애플리케이션 개발노력을 위한 더 명확한 길을 알 수 있다. 판매업체는 특히 현재 공공 인터넷을 오염시키는 바이러스, 웜(worms), 및 기타 "공격"과 같은 장래의 보안 침해로부터 내재한 무선/네트워크 기능들을 발췌/보호하기 위해 자바 VM에 의존하게 된다.

본 발명의 태양에 따르면, 앞서 상술한 이미징 애플리케이션은 바이러스, 웜, 및 기타 이동 네트워크 보안 "공격"에 대하여 모든 자바 인에이블 송수화기, 자바 VM 보안 및 송수화기/네트워크 견고성에 걸쳐 "일단 한번 작성하면 어디서든 실행된다(Write Once, Run Anywhere)"라는 휴대성을 가능하게 하는 자바기반이며 OTA 코덱 다운로드 절차를 간단하게 한다. 또 다른 태양에 따르면, 자바기반의 이미징 애플리케이션은 JTWI 사양 JSR-135("이동 미디어 API")와 JSR-234("Advanced Multimedia Supplements")에 승인된다.

모바일 이미징 서비스 플랫폼 구조

모바일 이미징 서비스 플랫폼 구조의 구성부품(도 4를 참조)은 다음을 포함할 수 있다:

·모바일 송수화기(410)

·모바일 송수화기 기지국(BTS)(412)

·기지국 컨트롤러/무선 네트워크 컨트롤러(BSC/RNC)(414)

·모바일 송수화기 교환국(MSC)(416)

·게이트웨이 서비스 노드(GSN)(418)

·모바일 멀티미디어 서비스 컨트롤러(MMSC)(420).

MMSC에 포함된 일반적인 기능(도 4를 참조)은 다음을 포함한다:

·비디오 게이트웨이(422)

·텔코 서버(Telco Server)(424)

·MMS 애플리케이션 서버(426)

·스토리지 서버(428).

MMSC(420)에서 비디오 게이트웨이(422)는 이미징 서비스 플랫폼에 의해 지원된 다른 비디오 포맷들 사이를 트랜스코딩하는 역할을 한다. 트랜스코딩은 또한 이동전환 네트워크에 사용된 다른 음성 코덱을 지원하기 위해 무선 조작자에 의해 이용되고, 이에 따른 음성 트랜스코더가 RNC(414)에 통합된다. 도 4에 도시된 구조를 갖는 이러한 모바일 이미징 서비스 플랫폼을 업그레이드 시키는 것은 새로운 송수화기(410)를 배치하는 것과 수동으로 새 하드웨어를 MMSC(420) 비디오 게이트웨이(422)에 추가하는 것을 포함한다.

본 발명에 따라 구성된 올-소프트웨어 모바일 이미징 애플리케이션 서비스 플랫폼은 배포된 송수화기의 자동화된 OTA 업그레이드와 배포된 MMSC(420)의 자동화된 OTN 업그레이드를 지원한다. 상술한 바와 같은 모바일 송수화기 이미징 애플리케이션의 자바 수단은 바이러스, 웜, 및 기타 "공격"에 대하여 향상된 송수화기/네트워크 견고성을 제공하며, 이동 네트워크 조작자가 국제 규정들에 필요로 한 서 비스의 품질과 신뢰도를 제공하게 한다.

모바일 비디오 메세징 서비스의 배포 계획은 현재 비디오 압축기술에 대한 기본 한계를 드러낸다. 한편, 이러한 모바일 비디오 서비스는 초당 30 프레임의 VGA(160)과 같이 대형 이미지 포맷의 홈시네마 품질 방송을 갖는 비디오와 동등한 시장에 개시될 것이다. 한편, 본래 방송 및 스트리밍 애플리케이션용으로 개발된 기존의 비디오 기술을 이용한 이러한 대용량 데이터의 처리는 모바일 송수화기(410)에서 실시간 비디오 캡쳐(인코딩)에 이용될 수 있는 계산자원과 배터리 전력을 크게 초과한다. 방송 및 스트리밍 애플리케이션은 고도의 복잡한 인코더가 컴퓨터 워크스테이션에서 실행될 수 있는 스튜디오 환경에서 비디오 컨텐츠의 인코딩에 의존한다. 비디오 메세지가 송수화기 자체내에서 실시간으로 캡쳐되어야만 하므로, 비디오 메세지들은 훨씬 더 작은 크기와 훨씬 더 낮은 프레임률로 제한된다.

그 결과, 오늘날의 모바일 비디오 이미징 서비스는 원시적이다; 사진들은 가입자가 기능식 비디오 전화가 응답하도록 위치되었던 디지털 캠코더로부터 오래 기대해왔던 사진들에 비해 작고(QCIF 130) 고르지 못하다(10fps). 현재 이동전화 가입자에 제공된 원시 비디오 이미지 품질은 또한 업계의 라이프스타일 광고에서 다루어진 뚜렷한 고화질 비디오에 훨씬 못미친다. 이동전화 가입자들은 캠코더 전화 및 관련된 모바일 비디오 메세징 서비스에 대한 프리미엄 가격을 지불하고 폭넓게 채택하기 전에 대형 VGA(160), 30fps 성능(즉, 캠코더와 같음)을 요구하고 있다. 위험에 있는 2.5G 및 3G 비지니스 모델로, 무선 운영자는 상기 문제에 대한 실행가능한 방안을 급히 찾고 있다.

훨씬 더 고가이고 시간소모적인 개발 프로그램들 후에도, 경쟁 비디오 코덱 제공자들은 전반적인 비용 및 소비전력과 함께 상업적 사업요건과 기술능력을 훨씬 초과하는 VGA 130, 30fps 성능을 위해 여전히 복잡한 하이브리드 소프트웨어 코덱과 하드웨어 가속기 솔루션만을 제공할 수 있다. 따라서 송수화기는 작고 고르지 못한 이미지들 또는 고가의 전력고갈적인 구조에 국한된다. 매스 마켓(mass-market)을 가능하게 하기에는 서비스 배포도 역시 고가이고 서비스 품질도 역시 낮다.

새로운 하드웨어가 필요로 하는 경우, MMSC 기반구조(420)를 업그레이드 하는 것도 또한 비용이 든다. 송수화기의 자동화된 OTA 업그레이드와 MMSC(420) 비디오 게이트웨이(422)의 OTN 업그레이드를 가능하게 하기 위해 올 스프트웨어 ASP 플랫폼이 바람직하게 된다.

향상된 웨이블릿 기반의 이미지 처리

본 발명의 일태양에 따르면, 3D 웨이블릿 변환이 DCT 기반의 코덱(420)보다 계산상 복잡도가 훨씬 낮은 비디오 압축/압축해제(코덱) 장치(410)를 설계하는데 이용될 수 있다(도 5 참조). 컬러 복원과 복조(430), 이미지 변환(440), 메모리(450), 움직임 추정(460)/시간변환(470), 및 양자화, 레이트 컨트롤 및 엔트로피 코딩(480)과 같은 이러한 과정들에 의해 사용되는 처리 자원들이 본 발명의 몇몇 태양에 따른 3D 웨이블릿 코덱을 사용함으로써 상당히 줄어들 수 있다. 웨이블릿 변환단계의 애플리케이션은 또한 크게 감소된 계산 복잡도를 갖는 양자화와 엔트로피 코딩단계의 설계를 가능하게 한다. 모바일 이미징 애플리케이션, 장치 및 서비 스용으로 개발된 본 발명의 소정 태양에 따른 3D 웨이블릿 코덱(410)의 또 다른 이점은 다음을 포함한다:

·대칭적이며 복잡도가 낮은 비디오 인코딩 및 디코딩

·소프트웨어와 하드웨어 코덱 수단들 모두에 대한 낮은 프로세서 능력 요건

·네이티브 코드(native code)와 자바 애플리케이션으로서 모두 기존의 상업용 이동전화와 호환가능한 프로세서 요건을 갖는 30fps(또는 이상)의 프레임률로 VGA(160)(또는 이상) 비디오의 올-소프트웨어 인코딩 및 디코딩

·SoC 집적용 낮은 게이트 카운트 ASIC 코어

·낮은 버퍼 메모리 요건

·싱글 코덱이 스틸 이미지(JPEG)와 비디오(MPEG) 모두를 지원함

·더 짧은 화상집합(GOP)으로 인한 간략화된 비디오 편집(컷, 삽입, 문자중첩)

·더 짧은 GOP로 인한 음성 코덱을 이용한 간략화된 동기화

·더 짧은 GOP로 인한 강화된 비디오 스트리밍을 위한 짧은 대기시간(Low-Latency)

· 적응형 레이트 컨트롤, 멀티캐스팅 및 결합 소스-채널 코딩용 미세 입도 확장(scalability)

·HDTV 비디오 포맷을 나타내기 위한 저복잡도의 성능확장.

본 발명의 태양에 따르면, 상기 이점들은 하기와 같은 기술들의 독특한 조합들에 의해 달성된다.

리프팅 구조(lifting structure)에서 짧은 이진수 정수 필터 계수를 사용한 웨이블릿 변환: 예컨대, Haar, 2-6, 및 5-3 웨이블릿과 이들의 변화들이 사용될 수 있다. 이들은 덧셈, 뺄샘 및 작은 정해진 쉬프트만을 사용한다. 어떠한 곱셈 또는 부동 소수점 연산도 필요치 않다.

리프팅 스킴(Lifting Scheme) 계산: 상기 필터들은 동위상 계산을 가능하게 하는 리프팅 스킴을 사용하여 이점적으로 계산될 수 있다. 리프팅 스킴의 완전한 설명이 Sweldens, Wim, The Lifting Scheme: A custom-design construction of biorthogonal wavelets. Appl. Comput. Harmon. Anal.3(2):186-200, 1996에서 찾을 수 있으며, 그 전체가 본 명세서에 참조로 합체되어 있다. 이 출원에서의 리프팅 스킴을 실행함으로써 레지스터 및 시간 RAM 위치의 사용을 최소화하고 캐쉬의 고효율적 사용을 위해 참조들을 로컬로 유지한다.

맞춤형 피라미드 구조를 갖는 피라미드 형태에서 웨이블릿 변환: 웨이블릿 변환 시퀀스의 각 레벨은 이전 웨이블릿 레벨로 인해 발생한 데이터의 절반에 대해 이점적으로 계산될 수 있어, 총 계산은 레벨 개수에 거의 무관하다. 피라미드는 상기 리프팅 스킴의 이점을 레버리지하도록 맞추어질 수 있고 레지스터 용도 및 캐쉬 메모리 대역폭에 대해 더 절약될 수 있다.

블록 구조: 대부분의 웨이블릿 압축 수단들과 대조적으로, 사진은 직사각형 블록들로 이점적으로 구분될 수 있으며, 각 블록은 다른 것과 별개로 처리된다. 이는 메모리 참조가 로컬에 유지되도록 하고 전체 변환 피라미드가 프로세서 캐쉬내에 유지되는 데이터와 함께 행해질 수 있어, 대부분의 프로세서들내에 많은 데이터 이동을 감소시킨다. 블록 구조는 신호흐름에서 중대형 저장용량에 대한 필요성을 방지하기 때문에 하드웨어 실시예들에서 특히 중요하다.

블록 경계 필터: 변조 필터 계산은 발명의 명칭이 Wavelet Transform System, Method And Computer Program Product인 본 출원인의 2003년 4월 17일자로 출원된 미국특허출원 제10/418,363호이자 공개출원번호 제2003/0198395호에 기술된 바와 같이 선명한 인위물을 방지하기 위해 각 블록의 경계에 이점적으로 사용될 수 있으며, 그 전체가 참조로 본 명세서에 합체되어 있다.

색채 시간제거(Chroma temporal removal): 몇몇 실시예에서, GOP용 색채의 단일 필드를 사용하는 대신에 모든 필드에 대한 색채 차 신호들의 처리를 방지할 수 있다. 이는 발명의 명칭이 "Chroma Temporal Rate Reduction And High-Quality Pause System And Method"인 본 출원인의 2003년 5월 28일자로 출원된 미국특허출원 제2003/0235340호이자 공개출원번호 제2003/0235340호에 기술되어 있으며, 그 전체가 참조로 본 명세서에 합체되어 있다.

3D 웨이블릿을 사용한 시간 압축: 몇몇 실시예에서, MPEG과 같은 종래 비디오 압축방법의 매우 계산상 고가인 움직임 검색 및 움직임 보상 연산이 사용되지 않는다. 대신, 필드 대 필드 시간 웨이블릿 변환이 계산될 수 있다. 이는 계산하기에 훨씬 비싸지 않다. 리프팅 스킴을 사용한 짧은 정수 필터의 사용이 또한 바람직하다.

이진수 양자화: 몇몇 실시예에서, 압축과정의 양자화 단계는 계수 위치의 범위에 걸쳐 균일하게 이진수 쉬프트 연산을 사용하여 달성된다. 이는 종래 양자화에 의해 요구되는 샘플당 곱셈 또는 나눗셈을 방지한다.

파일링(Piling): 몇몇 실시예에서, 엔트로피 코더에 의해 처리되는 데이터 양은 먼저 0들의 진행 변환을 함으로써 줄어든다. 바람직하기로, 병렬처리구조상에서 0들의 진행을 카운트하는 방법은 발명의 명칭이 "Pile Processing System And Method For Parallel Processors"인 2003년 5월 28일자로 출원된 본 출원인의 미국특허출원 제10/447,455호이자 공개출원번호 제2003/0229773호에 기술된 바와 같이 사용되며, 그 전체가 참조로 본 명세서에 합체되어 있다. 대부분의 현대식 처리 플랫폼들은 이런 식으로 이용될 수 있는 몇가지 병렬능력을 갖는 것에 주목하라.

싸이클 효율적인 엔트로피 코딩: 몇몇 실시예에서, 압축처리의 엔트로피 코딩단계는 종래 룩업 테이블을 입력심볼에 대한 직접 계산과 조합하는 기술을 사용하여 행해진다. 소스 스틸 이미지 또는 비디오에서 심볼 분포를 특징화함으로써 라이스-골롬브(Rice-Golomb), 지수적 골롬브(exp-Golomb), 또는 이진법 단조(Dyadic Monotonic)와 같은 간단한 엔트로피 코더들의 사용을 야기한다. 라이스-골롬브와 지수 골롬브 코더의 상세 내용이 골롬브, 에스.더블유(Golomb, S.W)(1966) "Run-length encodings", IEEE Transactions on Information Theory, It-12(3):399-401; 알.에프. 라이드(R.F. Rice), "Some Practical Universal Noiseless Coding Techniques", Jet Propulsion Laboartory, Pasadena, California, JPL Publication 79-22, 1979년 3월; 및 제이. 토홀라(J. Teuhola), "A Compression Method for Clustered Bit-Vectors", Information Processing Letters, vol.7, pp.308-311, 1978년 10월("지수적-골롬브"용어를 도입함)에 기술되어 있다. 이진법 단조 코더의 상세 내용이 발명의 명칭이 "System And Method For A Dyadic-Monotonic(DM) Codec이며, 2005년 1월 25일 자로 간행된 본 출원인의 미국특허 제6,847,317호에 기술되어 있다. 상기 각각의 참조문헌은 그 전체가 참조로 본 명세서에 합체되어 있다.

레이트 컨트롤(Rate Control)

생성된 출력 비트의 레이트인 압축량을 조절하는 한가지 방법은 계산의 양자화 단계에서 폐기된 정보량을 바꾸는 것이다. 양자화는 통상적으로 각 계수를 기선정된 숫자, 즉, "양자화 파라미터" 만큼 나누고, 나눗셈의 나머지를 버림으로써 행해진다. 따라서 계수 값의 범위는 나눗셈의 몫인 동일한 하나의 값으로 표현되어 진다.

압축된 이미지 또는 GOP가 압축해제되는 경우, 역양자화 처리단계는 몫을 (기지의) 양자화 파라미터만큼 곱한다. 이는 계수를 또 다른 계산을 위한 본래의 크기 범위로 복원시킨다.

그러나, 나눗셈(또는 동일하게 곱셈)은 전력 및 시간 소모적인 면에서 많은 수단들 및 하드웨어 비용에 있어 고비용 연산이다, 양자화 단계는 모든 계수에 적용되며, 대개 입력 픽셀만큼 많은 계수들이 있음에 유의하라.

또 다른 방법으로, 나눗셈(또는 곱셈) 대신에, 양자화는 2의 제곱인 제수(divisors)로 제한된다. 이는 이진수에 대한 비트-쉬프트(bit-shift) 연산에 의해 실행될 수 있다는 점에서 이점이 있다. 쉬프팅은 많은 수단들에서 훨씬 저렴한 연산이다. 일예로는 집적회로(FPGA 또는 ASIC) 수단이다; 곱셈회로는 매우 크나 쉬프터 회로는 매우 작다. 또한, 많은 컴퓨터상에, 곱셈은 완료하는데 더 긴 시간을 필요로 하거나 쉬프팅에 비해 실행시 더 적은 병렬계산을 제공한다.

쉬프팅에 의한 양자화는 계산에 매우 효율적인 한편, 몇가지 목적들에 대해 불리하다: 압축률(출력 비트 레이트)의 성긴 조절만 가능하게 한다. 본 발명의 태양에 따르면, 가장 작은 가능한 양, 즉, +1 또는 -1 만큼 양자화 쉬프트 파라미터를 변경함으로써 결과적으로 발생한 비트 레이트에서 거의 2배 변화가 발생되는 것이 실제로 관찰된다. 다른 애플리케이션에 대해, 더 미세한 레이트 제어가 요구된다.

쉬프트 양자화의 효율을 포기하지 않고 종래 기술의 상기 조악성 문제를 극복하기 위해, 양자화가 일반화된다. 상기와 같이, 모든 계수에 대한 단일 공통 쉬프트 파라미터를 사용하는 대신에, 각각의 0 진행 압축 저장영역 또는 파일(pile)에 대해 별도의 쉬프트 파라미터가 적용되게 한다. 각각의 이러한 영역 또는 파일(pile)에 대한 파라미터 값은 압축 출력화일(output file)에 기록될 수 있다. 파일은 데이터가 압축된 0들(또는 다른 공통된 값들)의 시퀀스들로 표현되는 데이터 저장영역 구조이다. 부대역(subband)이 다수의 별개의 파일 또는 저장영역을 구비할 수 있음에 유의해야 한다. 대안으로, 파일 또는 저장영역은 다수의 별개의 부대역들을 구비할 수 있다.

이 방안은 모든 계수들에 대해 균일하게 적용되는 양자화 파라미터들로 인해 발생한 가장 가까운 2개의 레이트들 사이에서 유효한 비트 레이트의 범위를 허용한다. 예컨대, 하나(부대역 x)가 아니라 모든 부대역들이 동일한 양자화 파라미터(Q)를 사용하고 상기 하나(부대역 x)는 Q+1을 사용하는 경우를 고려하자. 상기 양자화 단계로부터 결과적으로 발생한 전체 비트 레이트는 양자화에 있서 모든 부대역들에 대해 Q를 사용하는 것에 비하면 감소되나, Q+1이 모든 부대역들에 사용된 경우에서 처럼 그정도는 아니다. 이는 압축의 더 양호하고 더 미세한 조절을 제공하며 Q 또는 Q+1의 균일한 적용에 의해 달성된 비트 레이트 사이의 중간 비트 레이트를 제공한다.

일반적으로 각 계수에 적용된 연산이 여전히 쉬프트이므로, 계산 효율은 순수한 쉬프트 양자화의 효율과 거의 같은 것에 유의하라. 임의의 개수의 부대역들이 사용될 수 있다. 4에서 100개 부대역들이 일반적이다. 32개가 가장 일반적이다. 레이트 컨트롤에 대한 추가 정보가 발명의 명칭이 COMPRESSION RATE CONTROL SYSTEM AND METHOD WITH VARIABLE SUBBAND PROCESSING(대리인 문서번호 No.74189-200301/US)인 2005년 9월 20일자로 출원된 본 출원인의 미국특허출원에 제공되어 있으며, 전체가 본 명세서에 참조로 합체되어 있다.

향상된 적응형 결합 소스-채널 코딩

도 6을 참조하면, 상술한 향상된 웨이블릿 기반의 코덱의 미세 입도 확장이 향상된 적응형 레이트 컨트롤, 멀티캐스팅, 및 결합-소스 채널 코딩을 가능하게 한다. 향상된 웨이블릿 알고리즘의 감소된 계산 복잡도와 더 커진 계산효율이 순간 및 예상채널 대역폭과 오류조건 모두에 대한 정보가 소스 코더(620), 채널 코더(630), 및 레이트 컨트롤러(640) 3개 모두에 이용되게 하여 재구성 비디오 신호(690)의 품질(비디오 레이트 대 왜곡)에 영향을 끼치는 순간 및 평균 압축률 모두의 제어를 극대화한다(도 6 참조). 예컨대, 모바일 장치(410)와 이동전화 송전 탑(412)(도 4에 도시됨) 사이의 이용가능한 전송 대역폭은 특정 시간에 상기 탑(412)에 접속하는 사용자의 수에 따라 변할 수 있다. 마찬가지로, 이동전화(410)와 탑(412) 사이의 전송품질(즉, 오류 레이트)는 전화(410) 및 타워(412) 사이의 거리와 장애물에 따라 변할 수 있다. 현재 이용가능한 대역폭과 오류율에 대한 정보가 전화(410)에 의해 수신될 수 있고 이에 따라 압축률을 조절하는데 사용된다. 예컨대, 대역폭이 내려가고/내려가거나 오류율이 올라가는 경우, 전체 압축신호가 여전히 실시간으로 전송될 수 있도록 압축률(및 이에 따라 관련된 재생 사진 품질)이 줄어들 수 있다. 반대로, 이용가능한 대역폭이 증가하고/증가하거나 오류율이 감소하는 경우, 압축률은 더 높은 품질 사진이 전송되게 감소될 수 있다. 이러한 피드백을 기초로, 압축률은 소스 인코더(620), 채널 인코더(630) 또는 레이트 컨트롤러(640) 중 어느 하나에서의 실시간 처리 변화를 하거나, 이들 요소들의 조합들에 대한 변경으로 조절될 수 있다.

예시적인 레이트 변경 증가는 1 내지 5%, 1 내지 10%, 1 내지 15%, 1 내지 25%, 및 1 내지 40%까지 변할 수 있다.

향상된 적응형 결합-소스 채널 코딩기술은 무선 판매업자 및 MMS 서비스 제공업자가 더 큰 범위의 서비스 품질(QoS) 성능과 소비자와 기업고객에게 가격수준을 제공하게 한다. 더 큰 계산효율을 갖는 알고리즘을 기초로 한 향상된 적응형 결합-소스 채널 코딩기술은 채널 타입(무선 또는 유선), 채널 대역폭, 채널 잡음/오류 특성, 사용자 장치 및 사용자 서비스 면에서 훨씬 더 큰 수준의 네트워크 이종성에 대한 지원을 가능하게 한다.

향상된 모바일 이미징 송수화기 플랫폼 구조

도 7은 향상된 모바일 이미징 송수화기 플랫폼 구조를 도시한 것이다. 도시된 바와 같이, 이미징 애플리케이션은 RISC 프로세서상에 네이티브 코드 또는 자바 애플리케이션으로서 운영되는 올-소프트웨어 애플리케이션과 같이 실행될 수 있다. 자바 코드 동작의 가속은 RISC 프로세서 자체내에 또는 별도의 자바 가속기 IC를 사용하여 실행될 수 있다. 이러한 자바 가속기는 독립형 IC로서 실행될 수 있거나, 이 IC는 SIP 또는 SoC 중 어느 하나로 다른 기능들과 함께 통합될 수 있다.

도 7에 도시된 향상된 모바일 이미징 송수화기 플랫폼 구조는 모바일 이미징 애플리케이션에 대한 별도의 DSP 326 또는 ASIC 328 처리 블록(도 3에 도시됨)에 대한 필요성을 제거하며 또한 이동전화(715)에서 이미지 처리를 위한 버퍼 메모리(714) 필요조건을 대폭 줄인다.

향상된 모바일 이미징 서비스 플랫폼 구조

도 8을 참조하면, 향상된 모바일 이미징 서비스 플랫폼 구조의 핵심 구성부품은 다음을 포함한다:

·모바일 송수화기(810)

·모바일 송수화기 기지국(BTS)(812)

·기지국 컨트롤러/무선 네트워크 컨트롤러(BSC/RNC)(814)

·모바일 송수화기 교환국(MSC)(816)

·게이트웨이 서비스 노드(GSN)(818)

·모바일 멀티미디어 서비스 컨트롤러(MMSC)(820)

·이미징 서비스 다운로드 서버(821).

MMSC(도 8 참조)에 포함된 일반적인 기능은 다음을 포함한다:

·비디오 게이트웨이(822)

·텔코 서버(824)

·MMS 애플리케이션 서버(826)

·스토리지 서버(828).

향상된 이미징 서비스 플랫폼을 사용하는데 포함된 단계들은 다음을 포함한다:

단계 1.

비디오 게이트웨이 트랜스코더 애플리케이션(830)이 배포된 비디오 게이트(822)상에 업데이트하기 위해 이용될 수 있는 네트워크를 신호로 알린다. 다르게 말하면, 새로운 트랜스코더 소프트웨어(830)가 이용가능한 경우, 다운로드 서버(821)가 이러한 이용가능 네트워크에 대한 비디오 게이트웨이(822)를 신호로 알린다.

단계 2.

자동화된 OTN(832) 배포 또는 수동 절차를 통해 비디오 게이트웨이 트랜스코더 소프트웨어 애플리케이션(830)을 설치하고 구성한다(도 9 참조).

단계 3.

모바일 비디오 이미징 애플리케이션(834)(예컨대, 업데이트 비디오 코덱)이 다운로드 및 설치에 이용될 수 있는 가입자 송수화기를 신호로 알린다.

단계 4.

가입자에 의해 받아들여지고 트랙잭션(transaction)이 성공적으로 완료된 경우, OTA(836) 절차를 통해 이동전화(810)상에 모바일 이미징 애플리케이션(834)을 다운로드하여 설치한다.

단계 5.

송수화기 업그레이드가 완료된 네트워크를 신호로 알린다. 서비스와 관련된 애플리케이션을 활성화시킨다. 가입자의 매달 청구서 기록을 업데이트하여 모바일 비디오 이미징 애플리케이션에 대한 새로운 요금을 반영한다.

성능

이러한 향상된 웨이블릿 기반의 모바일 비디오 이미징 애플리케이션, 결합 소스-채널 코딩, 송수화기 구조, 및 서비스 플랫폼 구조는 모바일 비디오 이미지 품질을 더 높이고, 송수화기 비용과 복잡도를 더 낮추며 및 서비스 배포비용을 감소시키는 목적을 달성한다.

강화

도 10을 참조하면, 모바일 이미징 송수화기(1010) 구조에 대한 강화로서, 몇몇 실시예에서 다수의 수단선택들이 올-소프트웨어 웨이블릿 기반의 이미징 애플리케이션(1012)용으로 고려될 수 있다. 이미징 애플리케이션(1012)은 OTA 다운로드(1014)를 통해 송수화기(1010)의 기저대역 멀티미디어 처리 섹션에, 착탈식 저장장치(1016)에, 이미징 모듈(1018)에 또는 다른 기억장소에 설치될 수 있다. 바람직하기로는, 이미징 애플리케이션(1012)은 또한 제조동안이나 판매시에 송수화 기(1010)의 기저대역 멀티미디어 처리 섹션에, 착탈식 저장장치(1016)에, 이미징 모듈(1018)에 또는 다른 기억장소에 설치될 수 있다. 추가적인 수단 선택들도 또한 모바일 장치구조가 진화함에 따라 가능해질 수 있다.

모바일 이미징 송수화기의 성능이 더 향상될 수 있고, 모바일 장치 계산 하드웨어(ASIC,DSP,RPD) 및 집적기술(SoC, SIP)에서 진행중인 진보를 이용하도록 하드웨어 기반의 처리 자원을 통해 몇몇 계산소자를 가속화함으로써 비용과 소비전력도 더 줄어들 수 있다. 다수의 올-하드웨어 선택들은 송수화기(1110)의 기저대역 멀티미디어 처리섹션, 착탈식 저장장치(1116), 또는 이미징 모듈(1118)을 포함하여 송수화기(1110)내 이들 하드웨어 기반의 처리 자원들을 집적하는 것이 고려될 수 있다(도 11 참조).

도 12에 도시된 바와 같이, 이미징 애플리케이션용 하이브리드 구조가 몇몇 계산상 집중적이고, 반복적이며, 고정된 기능을 하드웨어적으로 실행하고 제조후 변형이 필요할 수 있거나 요구될 수 있는 기능들을 소프트웨어적으로 실행함으로써 강화를 제공할 수 있다.

이점

본 명세서에 기술된 올-소프트웨어 이미징 솔루션 실시예들은 기저대역 프로세서와 비디오 가속기 비용 및 멀티미디어 송수화기에서의 요건을 상당히 감소시킨다. OTA 다운로드를 통한 코덱 포스트 프로덕션(codec post-production)을 설치할 능력과 결합된 이러한 올-소프트웨어 솔루션은 송수화기 개발 및 비디오 메세징 서비스 배포 모두의 복잡도, 위험 및 비용을 상당히 감소시킬 수 있다.

본 발명의 태양에 따른 소정의 비디오 코덱 사용시 특정 압축 비디오를 나타내는 데이터가 통신 네트워크를 통해 MMSC로 전송될 수 있고 상기 데이터는 부착된 압축 비디오용 디코더를 가질 수 있는 것에 또한 유의해야 한다. 본 발명의 태양에 따른 이러한 식으로, 그렇지 않으면 MMSC에 들어오는 트랜스코더 비디오 데이터를 필요로 하는 비디오 게이트웨이를 완전히 또는 어느 정도 없앨 수 있다. 이는, 부분적으로, 각각의 압축된 비디오 세그먼트는 부착된 자신의 디코더를 가질 수 있기 때문에, MMSC가 비디오 포맷을 수신 무선장치에 의해 지정된 특정한 비디오 포맷으로 트랜스코드할 필요가 없다. 대신에, 수신 무선장치(예컨대 810)는 부착된 디코더를 갖는 압축된 비디오를 수신하고 상기 수신장치(810)의 플랫폼상에 비디오를 간단히 플레이할 수 있다. 이는 MMSC와 그 동작의 구조에 있어 상당한 효율과 비용절감을 제공한다.

본 발명의 추가된 태양은 웨이블릿 처리가 처리된 비디오에 대한 부가적 비디오 처리기능을 달성하도록 설계될 수 있다는 것이다. 예컨대, 웨이블릿 처리는 색 공간 변환(color space conversion), 흑백 밸런스, 이미지 안정화, 디지털 줌, 밝기조절, 및 리사이징 뿐만 아니라 다른 기능들을 달성하도록 설계될 수 있다.

본 발명의 태양의 또 다른 특별한 이점은 달성된 상당히 향상된 음성 동기에 있다. 본 발명의 실시예로, 음성이 비디오의 하나씩 거른 프레임에 동기화된다. 비교로, MPEG4는 매 15번째 프레임에만 음성을 동기화한다. 이는 특히 이동 네트워크를 통해 통상적으로 발생되는 비디오의 불완전한 전송이 수행되는 경우 비디오에 따른 음성의 비동기화를 크게 한다. 추가로, 비디오가 MMSC에 구현되는 경우 비디 오의 하나씩 거른 프레임에 음성이 동기화되었기 때문에 자동 또는 원격으로 인에이블되는 비디오 편집 등의 프로그램들에서 행해 질 수 있는 MMSC에서 비디오의 효율적이고 신속한 편집이 제공된다. 이러한 메타데이터(metadata)는 다른 사항들 중에서 시간, (모바일 송수화기에 있는 위치 시스템블과는 구별되는) 비디오가 캡쳐되는 위치 및 영화를 만드는 사용자를 포함할 수 있다. 더욱이, 본 발명의 몇몇 실시예에서 비디오의 하나씩 거른 프레임에 기준 프레임이 있기 때문에, MPEG-4 압축 비디오에서 비디오의 매 15번째 프레임들에 있는 기준 프레임에 비하면, 본 발명의 실시예는 비디오의 고효율적인 검색 및 비디오의 편집을 제공할 뿐만 아니라 훨씬 향상된 오디오 동기도 제공한다.

결론

향상된 모바일 이미징 애플리케이션, 송수화기 구조, 및 서비스 플랫폼 구조는 고품질의 스틸 및 비디오 이미징 서비스를 이동전화 가입자에게 제공하는 것과 관련된 기술적 복잡도와 비용을 상당히 줄이게 하는 것과 겹친 본 발명의 다양한 태양에 의해 제공된다. 향상된 적응형 결합-소스 채널 코딩 기술은 무선 판매업자와 MMS 서비스 제공자가 서비스 품질(QoS) 성능과 소비자 및 기업고객에 대한 가격수준의 넓은 범위를 제공하여 무선 네트워크 기반시설을 사용해 발생된 수입을 극대화시키는 부수적인 능력이다. 더 큰 계산효율을 갖는 알고리즘을 기초로 한 향상된 적응형 결합-소스 채널 코딩은 채널 타입(무선 및 유선), 채널 대역폭, 채널 잡음/오류 특성, 사용자 장치 및 사용자 서비스면에서 훨씬 더 높은 수준의 네트워크 균질성에 대한 지원을 가능하게 한다.

상기는 본 발명의 바람직한 실시예에 대한 완전한 설명이나, 다양한 대안, 변형 및 등가물들이 사용될 수 있다. 따라서, 상기 설명은 특허청구범위에 정의된 본 발명의 범위를 제한하는 것으로 받아들여지지 않아야 한다.

본 발명의 상세한 설명에 포함됨.

Claims

결합 소스-채널 코딩(joint source-channel coding)이 순차적으로 결합 소스-채널 코드 비트스트림을 만들기 위해 소스 인코더 단계, 채널 인코더 단계, 및 레이트 컨트롤(rate control) 단계에서 압축된 소스 비디오를 처리하는 향상된 결합 소스-채널 코딩방법으로서,

전송 대역폭 파라미터와 전송 오류율 파라미터 중 적어도 하나에서의 변경을 결정하는 단계와,

상기 적어도 하나의 결정된 변경에 응답하여 상기 소스 인코더 단계, 상기 채널 인코더 단계, 및 상기 레이트 컨트롤 단계 중 적어도 하나의 처리를 변경하는 단계를 포함하는 향상된 결합 소스-채널 코딩방법.
제 1 항에 있어서,

상기 파라미터들 중 적어도 하나는 순간 파라미터(instantaneous parameter)인 향상된 결합 소스-채널 코딩방법.
제 1 항에 있어서,

상기 파라미터들 중 적어도 하나는 예상 파라미터인 향상된 결합 소스-채널 코딩방법.
제 1 항에 있어서,

상기 파라미터들 중 적어도 하나는 평균 파라미터인 향상된 결합 소스-채널 코딩방법.
제 1 항에 있어서,

확장가능하며 웨이블릿(wavelets)을 이용하는 소스 인코더 단계를 제공하는 단계를 더 포함하는 향상된 결합 소스-채널 코딩방법.
제 1 항에 있어서,

상기 파라미터들 중 적어도 하나가 이동전화 신호탑으로부터 수신되는 향상된 결합 소스-채널 코딩방법.
제 1 항에 있어서,

상기 단계들 중 적어도 하나의 처리를 변경함으로써 1 내지 40 퍼센트 범위내에 비율변화증가가 발생되는 향상된 결합 소스-채널 코딩방법.
제 1 항에 있어서,

상기 단계들 중 적어도 하나의 처리를 변경함으로써 1 내지 5 퍼센트 범위내에 비율변화증가가 발생되는 향상된 결합 소스-채널 코딩방법.