TWI477143B - 視頻攝像機、視頻處理系統及其方法 - Google Patents

視頻攝像機、視頻處理系統及其方法 Download PDF

Info

Publication number
TWI477143B
TWI477143B TW096122599A TW96122599A TWI477143B TW I477143 B TWI477143 B TW I477143B TW 096122599 A TW096122599 A TW 096122599A TW 96122599 A TW96122599 A TW 96122599A TW I477143 B TWI477143 B TW I477143B
Authority
TW
Taiwan
Prior art keywords
video
frame
display
subframe
sub
Prior art date
Application number
TW096122599A
Other languages
English (en)
Other versions
TW200820755A (en
Inventor
James D Bennett
Original Assignee
Broadcom Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/474,032 external-priority patent/US20070268406A1/en
Application filed by Broadcom Corp filed Critical Broadcom Corp
Publication of TW200820755A publication Critical patent/TW200820755A/zh
Application granted granted Critical
Publication of TWI477143B publication Critical patent/TWI477143B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

視頻攝像機、視頻處理系統及其方法
本發明涉及視頻處理設備，更具體地說，涉及一種視頻捕捉和處理系統。
電影和其他視頻內容通常使用35mm膠片以16：9的縱橫比拍攝。在電影進入一級市場時，35mm膠片將進行複製然後分發給各個電影院，從而將電影賣給電影觀衆。例如，電影院通常將電影投射在“大螢幕”上以供付費觀衆觀看，這是通過使用高流明光束透射35mm膠片來實現的。一旦電影離開“大螢幕”，便進入二級市場，通過銷售包含電影的影碟或影帶(例如VHS影帶、DVD、高清(HD)－DVD、藍光DVD和其他錄製媒體)來將電影分發給個人觀衆。其他用於在二級市場中分發電影的方法，還包括通過互聯網下載和通過電視網路提供商廣播。
為能通過二級市場分發，35mm電影內容將以每膠片幀為單位轉換為原始數位視頻。要想達到HD的清晰度，每個膠片幀至少需要1920×1080圖元，對於一個兩小時長的電影，這種原始數位視頻需要大約25GB存儲空間。為避免這種存儲要求，通常使用編碼器來編碼和壓縮原始數位視頻，以此來顯著的降低存儲要求。編碼標準包括例如但不限於運動圖像專家組(MPEG)－1、MPEG－2、用於HD的增強型MPEG－2、MPEG－4 AVC、H.261、H.263和電影和電視工程師學會(SMPTE)VC－1。
為了能夠滿足在電話機、個人數位助理(PDA)和其他手持設備上顯示電影的要求，壓縮的數位視頻資料通常通過互聯網下載、上傳或存儲到手持設備上，然後由手持設備對視頻資料進行解壓、解碼，以便顯示在手持設備的視頻顯示器上，從而展示給用戶。然而，這種手持設備的尺寸通常會限制其上的視頻顯示器(螢幕)的尺寸。例如，手持設備上的小螢幕通常只有2英寸(5.08cm)長(對角線)。相比之下，電視機的螢幕通常為30－60英寸(76.2cm－152.4cm)(對角線測量)或更大。螢幕尺寸上的差異對觀衆所能感覺得到的圖像質量有著較大的影響。
例如，常見的傳統PDA和高端電話機螢幕有著與人眼相同的寬高比。在小螢幕上，人眼往往無法察覺細小的細節，例如文本、面部特徵和遠處的物體。例如，在電影院中，對於包含位於遠處的演員和鐵路標記的全景畫面來說，觀衆可以輕易識別出演員的面部表情和閱讀標記上的文字。在HD電視機螢幕上，觀衆也有可能做到這一點。但是，在轉換到手持設備的小螢幕上時，由於人眼的限制，將不再可能識別面部特徵和文字。
無論螢幕有多大，其清晰度不是受技術限制，就是受人眼的限制。但是，在小螢幕上，這種限制更加明顯。例如，常見的傳統PDA和高端電話機螢幕的寬高比為4：3，通常能夠顯示解析度為320×240圖元的QVGA視頻。相比之下，HD電視機螢幕的寬高比通常為16：9，通常能夠顯示解析度高達1920×1080圖元的視頻。在對HD視頻進行轉換、以便使其適合在圖元上少很多的小螢幕上顯示的過程中，圖元資料將進行合併，視頻細節的損失會很多。將小螢幕圖元數增加至HD電視機的水平能夠避免上述轉換過程，但是，正如前面提到的那樣，人眼會施加其自身的限制，視頻的細節仍會損失。
通常使用視頻編碼轉換和編輯系統將視頻從一種格式和清晰度轉換到另一種格式和清晰度，以便在特定的螢幕上進行重播。例如，輸入這種系統的可能是DVD視頻，而在轉換過程之後，輸出的視頻將在QVGA螢幕上重新播放。轉換過程中還可使用交互編輯功能來生成編輯和轉換後的輸出視頻。為了能夠支援多種不同的螢幕尺寸、清晰度和編碼標準，需要生成多種輸出視頻流或文件。
視頻通常是以“大螢幕”格式拍攝的，這種格式在供電影院觀看時會收到良好的效果。因為視頻隨後將進行編碼轉換，所以“大螢幕”格式視頻可能不足以支援轉換到小螢幕尺寸。在這種情況下，還沒有一種轉換方法能夠生成可供小螢幕顯示的合適視頻。通過本文的介紹並參考附圖，與本發明技術方案相比，現有和傳統方法的局限性和缺點對於本領域的技術人員來說將變得更加明顯。
本發明涉及一種裝置和操作方法，其在附圖說明、具體實施方式和權利要求中進行了進一步的描述。
根據本發明的一個方面，本發明提供了一種與第一目標視頻設備和第二目標視頻設備一起使用的視頻攝像機，所述第一目標視頻設備包括第一視頻顯示器器，所述第二目標設備包括第二視頻顯示器，所述第一視頻顯示器的顯示幕解析度大於所述第二視頻顯示器的顯示幕解析度，所述視頻攝像機包括：攝像機視頻顯示器；用戶輸入介面；捕捉電路，用於捕捉原始視頻幀序列；處理電路，與所述攝像機視頻顯示器、所述捕捉電路和所述用戶輸入介面相連，用於將所述原始視頻幀序列中的至少一個幀發往所述攝像機視頻顯示器；所述處理電路回應所述用戶輸入介面，在所述攝像機視頻顯示器上顯示子幀，所述子幀對應於所述原始視頻幀序列中所述至少一個幀中的一個區域；所述處理電路生成對應於所述子幀的元資料，所述元資料用於調整所述原始視頻幀序列，以在所述第二目標視頻設備的所述第二顯示器上生成對應所述子幀的全屏顯示。
在本發明所述的視頻攝像機中，所述第一目標視頻設備在所述第一視頻顯示器上生成對應於所述原始視頻幀序列的全屏顯示。
在本發明所述的視頻攝像機中，所述處理電路還生成對應於所述攝像機視頻顯示器上另一子幀的另一元資料，所述第一目標視頻設備使用所述另一元資料調整所述原始視頻幀序列，以在所述第一視頻顯示器上生成對應所述另一子幀的另一全屏顯示。
在本發明所述的視頻攝像機中，所述處理電路使用所述元資料調整所述原始視頻幀序列，以生成輸出，第三目標視頻設備使用所述輸出在第三視頻顯示器上生成全屏顯示。
在本發明所述的視頻攝像機中，所述第二目標視頻設備使用所述元資料調整所述原始視頻幀序列，以在所述第二視頻顯示器上生成全屏顯示。
根據本發明的一個方面，本發明提供了一種與第一目標視頻設備和第二目標視頻設備一起使用的視頻攝像機系統，所述視頻攝像機系統包括：視頻顯示器，具有全屏區域；用戶輸入介面；處理電路，回應所述用戶輸入介面，在所述視頻顯示器上顯示子幀，所述子幀對應所述全屏區域內的一個區域；視頻捕捉電路，用於捕捉原始視頻幀序列；所述處理電路傳送所述原始視頻幀序列中的至少一個幀，以供使用所述視頻顯示器的所述全屏區域顯示；所述處理電路生成第一輸出以用於在所述第一目標視頻設備上生成第一顯示，所述第一輸出對應于所述全屏區域；所述處理電路生成第二輸出以用於在所述第二目標視頻設備上生成第二顯示，所述第二輸出對應於所述子幀。
在本發明所述的視頻攝像機系統中，所述第二輸出包括元資料。
在本發明所述的視頻攝像機系統中，所述第二輸出包括視頻輸出。
在本發明所述的視頻攝像機系統中，所述視頻輸出包括經過編碼的視頻輸出。
在本發明所述的視頻攝像機系統中，所述處理電路生成第三輸出，該第三輸出對應於所述視頻顯示器顯示上的另一子幀。
在本發明所述的視頻攝像機系統中，所述視頻攝像機系統還包括攝像機殼體，其中裝有所述視頻顯示器、所述用戶輸入介面、所述處理電路和所述視頻捕捉電路。
在本發明所述的視頻攝像機系統中，所述視頻攝像機系統還包括攝像機殼體和支援系統殼體，所述攝像機殼體裝有所述視頻捕捉電路，所述支援系統殼體裝有所述處理電路的至少一部分。
根據本發明的一個方面，本發明提供了一種視頻處理系統，用於幫助視頻攝像機捕捉視頻，所述視頻處理系統包括：視頻攝像機介面，用於接收所述視頻攝像機捕捉的原始視頻幀序列；視頻顯示器介面，用於生成發往視頻顯示器的視頻輸出；處理電路，與所述攝像機介面、所述視頻顯示介面和所述輸入介面相連，用於通過所述視頻顯示介面在所述視頻顯示器上顯示所述原始視頻幀序列中的至少一個幀；所述處理電路回應代表用戶輸入的信號，在所述視頻顯示器上顯示子幀，所述子幀對應於所述原始視頻幀序列中所述至少一個幀上的一個區域，該區域是在所述代表用戶輸入的信號中指定的；所述處理電路用於生成對應所述子幀的元資料，目標視頻播放器使用所述元資料調整所述原始視頻幀序列，以在所述目標視頻播放器的目標視頻顯示器上生成對應所述子幀的全屏顯示；所述視頻顯示器具有比所述目標視頻顯示器大的可視區域。
在本發明所述的視頻處理系統中，所述視頻顯示器介面還用於生成對應於輔助視頻顯示器上顯示的所述原始視頻幀序列中所述至少一個幀中的一個區域的子幀。
在本發明所述的視頻處理系統中，所述處理電路在所述元資料中生成所述子幀與所述原始視頻幀序列中多個幀之間的關聯關係。
在本發明所述的視頻處理系統中，所述處理電路還回應代表用戶輸入的其他信號，在所述視頻顯示器上顯示與所述原始視頻幀序列相關聯的另一子幀；所述處理電路還生成對應於所述另一子幀的另一元資料，由另一目標視頻播放器用於調整所述原始視頻幀序列，以在所述另一目標視頻顯示器上生成全屏顯示；所述處理電路生成的所述元資料和所述另一元資料共同定義一個子幀組。
在本發明所述的視頻處理系統中，在所述子幀組中至少有兩個子幀與所述原始視頻幀序列中的一個子幀相對應。
在本發明所述的視頻處理系統中，所述子幀組中至少兩個子幀包含有一個物體，該物體的空間位置隨所述原始視頻幀序列而變化。
在本發明所述的視頻處理系統中，所述子幀組中的兩個子幀對應於所述原始視頻幀序列中至少兩個不同的幀。
在本發明所述的視頻處理系統中，所述子幀組中的至少一部分對應於由所述原始視頻幀序列描述的畫面的一個子畫面。
在本發明所述的視頻處理系統中，所述元資料還包括編輯資訊，由目標視頻播放器電路用於編輯所顯示的子幀。
在本發明所述的視頻處理系統中，所述編輯資訊包括應用到與所述子幀相關聯的所述原始視頻幀序列中對應部分上的視覺調整。
在本發明所述的視頻處理系統中，所述編輯資訊包括應用到所述子幀上的運動資訊。
在本發明所述的視頻處理系統中，所述編輯資訊包括應用到所述子幀上的尺寸調整資訊。
在本發明所述的視頻處理系統中，所述編輯資訊包括應用到所述子幀上的媒介。
在本發明所述的視頻處理系統中，所述系統還包括：麥克風介面，用於接收對應於所述原始視頻幀序列的音頻資訊；所述元資料將進一步由所述目標視頻播放器電路用於調整由所述目標視頻播放器播放的對應於所述子幀的所述音頻資訊。
根據本發明的一個方面，本發明提供了一種方法，包括：通過視頻攝像機捕捉原始視頻幀序列；在視頻顯示器上顯示所述原始視頻幀序列中的至少一個幀；接收與所述原始視頻幀序列有關的用戶輸入；在所述視頻顯示器上顯示子幀，所述子幀對應於所述原始視頻幀序列中的所述至少一個幀中的一個區域，該區域由所述用戶輸入指定；生成對應所述子幀的元資料，由目標視頻播放器用於調整所述原始視頻幀序列，以在所述目標視頻播放器的目標視頻顯示器上生成對應所述子幀的全屏顯示，且所述視頻顯示器具有比所述目標視頻顯示器大的可視區域。
在本發明所述的方法中，所述方法進一步包括將對應於所述原始視頻幀序列中的所述至少一個幀中的所述一個區域的子幀發往輔助視頻顯示器。
在本發明所述的方法中，所述元資料包括所述子幀與所述原始視頻幀序列中多個幀之間的關聯關係。
在本發明所述的方法中，所述方法還包括：回應代表用戶輸入的另一信號，在所述視頻顯示器上顯示與所述原始視頻幀序列相關聯的另一子幀；生成對應於所述另一子幀的另一元資料，由另一目標視頻播放器用於調整所述原始視頻幀序列，以在所述另一目標視頻顯示器上生成全屏顯示，由所述處理電路生成的所述元資料和所述另一元資料共同定義一個子幀組。
在本發明所述的方法中，在所述子幀組中至少有兩個子幀與所述原始視頻幀序列中的一個子幀相對應。
在本發明所述的方法中，所述子幀組中的至少兩個子幀包含一個物體，該物體的空間位置隨所述原始視頻幀序列而變化。
在本發明所述的方法中，所述子幀組中的兩個子幀對應於所述原始視頻幀序列中至少兩個不同的幀。
在本發明所述的方法中，所述子幀組中的至少一部分對應於由所述原始視頻幀序列描述的畫面的一個子畫面。
在本發明所述的方法中，所述元資料還包括編輯資訊，由目標視頻播放器電路用於編輯所顯示的子幀。
在本發明所述的方法中，所述編輯資訊包括應用到與所述子幀相關聯的所述原始視頻幀序列中對應部分上的視覺調整。
在本發明所述的方法中，所述編輯資訊包括應用到所述子幀上的運動資訊。
在本發明所述的方法中，所述編輯資訊包括應用到所述子幀上的尺寸調整資訊。
在本發明所述的方法中，所述編輯資訊包括應用到所述子幀上的媒介。
在本發明所述的方法中，所述方法還包括：接收對應所述原始視頻幀序列的音頻資訊；生成所述元資料，其中包括由目標視頻播放器電路用來調整由所述目標視頻播放器播放的對應於所述子幀的音頻資訊的資訊。
通過下面的具體實施方式及說明書附圖，本發明的多種特徵和優點將更為清晰。
圖1是依據本發明的視頻處理系統實施例的系統示意圖。視頻處理系統120與攝像機110相連，用於從攝像機110接收原始視頻幀。攝像機110捕捉的原始視頻幀序列組成畫面102。畫面102可以是攝像機110捕捉的任一種畫面。例如，畫面102可以是一大幅風景，且畫面極為詳細。此外，畫面102還可以是互相對話的演員的頭部照。另外，畫面102還可以是如圖1所示的狗追球的動作畫面。在捕捉原始視頻幀的過程中，畫面102的類型通常會隨時間發生變化。
在現有的視頻拍攝系統中，用戶操作攝像機1來捕捉畫面102的原始視頻幀，這些幀進行了優化，以適應“大螢幕”格式。在本發明中，這些原始視頻幀隨後才會進行轉換，以便由配有各自的視頻顯示器的目標視頻播放器最終顯示出來。因為視頻處理系統120會隨時間捕捉不同類型的畫面，對捕捉的視頻進行轉換以生成用於在目標視頻播放器上觀看的子幀的方式也會隨時間發生變化。“大螢幕”格式並不總是能夠很好的轉換為小螢幕類型。因此，本發明的視頻處理系統120支援這樣一種原始視頻幀捕捉方式，即在轉換到較小格式時，這種方式可以提供高質量的視頻子幀，以供顯示在目標視頻播放器的一個或多個視頻顯示器上。
為支援這種能夠生成高質量視頻子幀的原始視頻幀的捕捉，視頻處理系統120運行子幀元資料生成應用(SMGA)140，其可以是軟體應用程式、專用的硬體或硬體與軟體的組合。視頻處理系統從攝像機110接收代表畫面102的原始視頻幀序列。視頻處理系統120包括視頻顯示器130，其具有由數位132代表的特定的對角尺寸。視頻處理系統120將代表原始視頻幀序列的視頻輸出提供給視頻顯示器130。
視頻處理系統120還從一個或多個用戶輸入設備接收代表用戶輸入的信號。這些用戶輸入設備包括鍵盤123、滑鼠121和/或用於接收用戶輸入的其他用戶輸入設備。視頻處理系統120回應代表用戶輸入的信號，將子幀通過視頻顯示器130展示給用戶。每個子幀都代表轉換後將要顯示在目標視頻播放器顯示幕上的圖像。因此，視頻處理系統120允許用戶捕捉這樣一種原始視頻幀，這種幀能夠很好的轉換為子幀，以便隨後通過一個或多個目標視頻播放器的顯示幕來觀看。這些子幀的顯示方式將結合圖2到圖4進一步描述。
視頻處理系統120還會生成對應子幀的元資料。目標視頻播放器使用該元資料來調整原始視頻幀序列，在目標視頻播放器的目標視頻顯示器上生成對應子幀的全屏顯示。使用元資料在目標視頻播放器的目標視頻顯示器上生成全屏顯示的方式將結合圖4－圖13進一步描述。在多數情況下，視頻顯示器130的可視區域要大於目標視頻顯示器。這一點將結合圖2－圖13進一步描述。
視頻處理系統120還可用於接收對應原始視頻幀序列的音頻資訊。視頻處理系統120從多個麥克風111A、111B和111C中接收音頻資訊。在一種實現方式中，多個麥克風111A、111B和111C設置在不同的位置，以便捕捉與畫面102有關的不同音頻資訊。根據本發明，視頻處理系統基於用戶的輸入，以與子幀相對應的方式調整多個麥克風111A、111B和111C捕捉的音頻資訊。此外，元資料中還包括其他資訊，目標視頻播放器使用這些資訊來調整對應子幀的音頻資訊，以播放出來。
圖2是依據本發明實施例的視頻處理系統的視頻顯示器上子幀佈局示意圖。如圖所示，視頻顯示器130中存在一個可視區域，其中顯示了代表圖1中畫面102的原始視頻幀序列。根據圖2所示的實施例，視頻處理系統120還用於回應代表用戶輸入的其他信號，在視頻顯示器130上顯示除子幀131以外的、與原始視頻幀序列相關聯的其他子幀133和135。這些子幀131中的每一個都具有與多個目標視頻顯示器其中之一相對應的縱橫比和尺寸。此外，視頻處理系統120生成每一個子幀131、133和135的元資料。視頻處理系統120所生成的子幀131、133和135的元資料使得對應的目標視頻顯示器在其視頻顯示器上生成對應的顯示畫面。在圖2所示的實施例中，視頻處理系統120包括單個視頻顯示器130，每個子幀131、133和135正是通過該顯示器顯示出來的。在將參考圖4進行描述的另一實施例中，視頻處理系統生成的每個子幀將獨立的顯示在對應的目標視頻播放器上。
在圖2所示的實施例中，在子幀組中至少有兩個子幀133和135與原始視頻幀序列中的一個幀相對應。因此，例如，在特定的目標視頻播放器中，子幀133和135以及其中包含的相關視頻資訊將會在不同的時間顯示在單個目標視頻播放器上。在圖2所示的實施例中，目標視頻播放器所顯示視頻的第一部分展示的是子幀133中包含的狗追球的畫面，而目標視頻播放器所顯示視頻的第二部分展示的是子幀135中描述的反彈球的畫面。因此，在本實施例中，目標視頻播放器上顯示的在時間上相鄰的視頻序列是由單個原始視頻幀序列生成的。
此外，在圖2所示的實施例中，在子幀組中至少有兩個子幀包含空間位置隨原始視頻幀序列變化的物體。在這種幀中，顯示狗的子幀133的空間位置會隨與顯示反彈球的子幀135有關的原始視頻幀序列變化。此外，在圖2所示的實施例中，在子幀組中至少有兩個子幀可對應原始視頻幀序列中的至少兩個不同的幀。這種情況下，子幀133和135會對應顯示在視頻顯示器130上的原始視頻幀序列中的不同幀。這種情況下，在第一時間段，選擇子幀133以便在一段時間內顯示狗的圖像。此外，在這種情況下，子幀135可對應不同的時間段，用於顯示反彈球。在該實施例中，子幀133和135組中的至少一部分可對應由原始視頻幀序列所描述畫面的一個子畫面。所描述的序列可在整個顯示幕130上顯示，也可在子幀131中顯示。
圖3是依據本發明的視頻處理系統另一實施例的系統示意圖。圖3中的視頻處理系統151與圖1所示實施例的不同之處在於包括攝像機在內的所有元件都包含在一個單獨的單元中。因此視頻處理系統151包括顯示器153、輸入介面155、輸出介面157、處理電路159和攝像機電路167。圖3中視頻處理系統151中的各元件153、155、157、159和167按要求連接，以此來支援視頻處理系統151的功能。介面155和157以及視頻處理系統151中元件的連接關係將結合圖5進一步描述。視頻處理系統中各元件的連接關係將在本文進一步描述，因為這與理解本發明有關。
在圖3所示的實施例中，視頻處理系統151使用其攝像機電路167捕捉原始視頻幀序列。輸入介面155用於從用戶處接收代表用戶輸入的信號。處理電路159連接到攝像機電路167、視頻顯示器153和輸入介面155，用於將原始視頻幀序列中的至少一個幀顯示在顯示器153上。此外，處理電路159回應代表用戶輸入的信號，將至少一個子幀161、163和/或165顯示在視頻顯示器153上。在圖3所示的實施例中，每個子幀161、163和/或165可對應上述原始視頻幀序列至少一個幀中由代表用戶輸入的信號所確定的一個區域。
處理電路159還用於生成對應子幀161、163和/或165的元資料。與圖1實施例中的情況相同，在圖3所示的實施例中，目標視頻播放器使用元資料來調整原始視頻幀序列，在目標視頻播放器的目標視頻顯示器上生成對應子幀的全屏顯示。與圖1中實施例的情況相同，視頻顯示器153的可視區域要大於目標視頻顯示器。
圖4是依據本發明的視頻處理系統又一實施例的系統示意圖。視頻處理系統120為電腦，或者能夠處理從攝像機收到的視頻資料並向通信連接到視頻處理系統120的顯示器130輸出資料的其他設備。攝像機110能夠以任意格式捕捉包含視頻內容的原始視頻幀序列。在一個實施例中，視頻資料是高清視頻資料，每個視頻幀由例如1920×1080(水平×垂直)圖元組成，縱橫比為16：9。在另一實施例中，視頻資料是標準或低清晰度視頻資料，每個視頻幀由特定數量的圖元組成，縱橫比為4：3。例如，如果標準視頻資料是國家電視系統委員會(NTSC)視頻資料，則每個視頻幀由例如720×486或720×540圖元(水平×垂直)組成。在另一實施例中，如果標準視頻資料是逐行倒相(PAL)視頻資料，則每個視頻幀由720×576圖元(水平×垂直)組成。此外，視頻資料115可以是經過編碼和壓縮的、未經過壓縮但經過編碼的或者未經過壓縮也未經過編碼的，在編碼時可使用任意標準例如MPEG－1/MPEG－2、用於HD的增強型MPEG－2、MPEG－4 AVC、H.261、H.263和SMPTE VC－1。
視頻處理系統120還執行子幀元資料生成應用140。在本文中，短語“子幀元資料生成應用”是指在執行下文中的子幀元資料生成應用140時所必須的任意類型的硬體、軟體和/或固件。通常，子幀元資料生成應用140的輸入端接收攝像機110生成的視頻資料，從視頻資料115中生成子幀元資料150，用於調整視頻資料115，以便顯示在不同視頻顯示設備160的不同尺寸的目標視頻顯示器165上。
視頻顯示設備160包括但不限於電視機160a、個人數位助理(PDA)160b、蜂窩電話機160c和筆記本電腦160d。每個視頻顯示設備160a－160d通信連接到各自的視頻顯示器165a－165d，每個顯示器的尺寸(或可視區域)分別為162、165、166和168。每個視頻顯示器165a－165d的可視區域162、164、166和168是指顯示幕165a－165d的對角線長度。PDA 160B和蜂窩電話機160c的視頻顯示器165b和165c代表小視頻顯示器，電視機160a和筆記本電腦160d的視頻顯示器165a和165d代表大視頻顯示器。在本文中，短語“小視頻顯示器”是指可視區域(例如164和166)小於生成子幀元資料150的視頻處理系統120的顯示器130的可視區域132的視頻顯示器。
在一項操作過程中，子幀元資料生成應用140用於從攝像機110接收視頻資料，將視頻資料顯示在顯示器130上展示給用戶，接收用戶回應所顯示的視頻資料後輸入的用戶輸入，回應用戶輸入，生成子幀元資料150。具體來說，子幀元資料生成應用140用於將視頻資料中原始視頻幀序列中的至少一個幀顯示在顯示器130上展示給用戶，接收用戶輸入的指定其中一個子幀的子幀資訊，所指定的子幀對應所顯示的幀所描述畫面中的一個用戶所感興趣的區域，並從該子幀資訊中生成子幀元資料150。在本文中，術語“子幀”包括原始視頻幀的至少一部分，或者可包括整個原始視頻幀。得到的子幀元資料150定義了一個子幀序列，用於調整原始視頻幀(視頻資料)序列，以此來在目標視頻顯示器165a－165d上生成子幀的全屏顯示。
子幀元資料生成應用140生成的子幀元資料150可包括一個或多個子幀元資料150組，每一個都是專門為特定的目標顯示幕165a－165d和/或特定尺寸162－168的視頻顯示器165a－165d生成的。因此，為了能在特定的顯示幕(例如顯示幕165a)上顯示，每一個視頻顯示設備160都通過收到的一組專門為該視頻顯示器165生成的視頻幀元資料150來調整原始視頻資料。例如，在收到原始視頻資料和多組子幀元資料中的一組(也就是子幀元資料組C)後，蜂窩電話機160c使用收到的子幀元資料150組來調整原始視頻資料，在其視頻顯示器(視頻顯示器165c)上顯示調整後的視頻。
此外，子幀元資料生成應用140還可用於在子幀元資料150中添加編輯資訊，由目標視頻顯示器將其應用到原始視頻資料中。例如，在一個實施例中，編輯資訊是在用戶回應原始視頻資料交互顯示、作為其他用戶輸入而提供的。子幀元資料生成應用140接收編輯資訊，然後將其添加到生成的子幀元資料150中。
編輯資訊包括但不限於，搖攝方向和搖攝率、縮放率、對比度調整、亮度調整、濾光鏡參數和視頻效果參數。具體來說，與子幀相關聯，存在幾種類型可以應用的編輯資訊，它們與下列內容有關：a)視覺調整，例如亮度、濾光、視頻效果、對比度和色彩調整；b)運動資訊，例如搖攝、加速、速率、子幀在原始幀序列上的移動方向；c)子幀在原始幀序列上的尺寸調整資訊，例如縮放(包括放大、縮小和縮放比例)；d)與原始視頻資料落入子幀中的那些部分相關聯、合併或被其疊加的任何類型的補充媒介(例如疊加的文本或圖形或補充的音頻)。
結合圖1到圖4可知，本發明視頻處理系統120可在捕捉原始視頻幀過程中對導演和/或攝像機操作者提供幫助。通過同時展示原始視頻幀和子幀，視頻處理系統120能夠向導演和/或攝像機操作者提供立即反饋，使得導演和/或攝像機操作者可以確保捕捉到的原始視頻資料能夠很好的轉換到所有可能使用的目標視頻播放器上。通過使用視頻處理系統120提供的反饋，導演和/或攝像機操作者可調整攝像機110的工作方式，以便捕捉合適的原始視頻幀。
圖5是依據本發明的視頻處理設備一實施例的結構示意圖。視頻處理系統120包括視頻處理電路200，用於處理視頻資料，以及從視頻資料中生成子幀元資料150。視頻處理電路200包括處理電路210和與其通信連接的本地記憶體230。本地記憶體230中存儲有對應於這裏描述的至少一部分功能的操作指令，這些指令由處理電路210來執行。例如，在一個實施例中，本地記憶體210中存儲有作業系統240、子幀元資料生成軟體模組250、解碼器260和圖元轉換模組270。
子幀元資料生成軟體模組250中包括有由處理電路210執行的、用於從視頻資料和用戶輸入中生成子幀元資料150的指令。子幀元資料生成軟體模組250將指令發往處理電路210，這些指令用於接收、存儲和獲取原始視頻幀115序列、向用戶顯示原始視頻幀115、處理用戶輸入(這些用戶輸入是用戶對所顯示的原始視頻幀的回應)、生成將要展示在視頻顯示器上的子幀，以及回應用戶輸入，生成子幀元資料150。
在視頻資料115進行了編碼的實施例中，解碼器260中包含解碼指令，處理電路210執行這些指令，對編碼的視頻資料進行解碼，生成解碼視頻資料。例如，在離散余弦變換(DCT)編碼/壓縮格式(例如MPEG－1、MPEG－2、用於HD的增強型MPEG－2、MPEG－4AVC、H.261、H.263)中,考慮到通常會出現的幀間(inter－frame)或域間(inter－field)運動，使用運動向量來從相鄰幀或域構建基於幀或域的預測。例如，在使用MPEG編碼標準時，原始視頻幀序列將編碼為由三種不同類型的幀組成的序列：“I”幀、“B”幀和“P”幀。“I”幀是幀內編碼的，“P”幀和“B”幀是幀間編碼的。因此，“I”幀是獨立的，也就是說它們在重建過程中無需參考其他幀，而“P”幀和“B”幀是相關的，也就是說，它們需要依靠其他幀來進行重建。具體來說，從上一個I幀或P幀前向預測P幀，而可從上一個/下一個I幀或P幀向前預測和向後預測B幀。利用DCT對IPB幀序列進行壓縮，從而將“I”幀、“P”幀、或“B”幀中的N×N圖元資料塊轉換成DCT域，其中N通常設置為8，且在DCT域中更容易地執行量化。然後對經量化的位元流執行遊程編碼和熵編碼，以生成比特率顯著小於初始壓縮視頻資料的壓縮位元流。解碼器260對壓縮的視頻資料進行解壓縮以生成編碼視頻資料，然後對該編碼視頻資料解碼，生成初始視頻幀序列(經解碼的視頻資料)。
子幀元資料生成軟體模組250將解碼視頻資料提供給處理電路210，以便將原始視頻幀顯示給用戶，並生成子幀元資料150。例如，在一個實施例中，子幀元資料150是通過參考原始的視頻幀序列來生成的。在另一實施例中，如果視頻資料115使用MPEG編碼標準進行了編碼，即原始的視頻幀序列被編碼成“I”、“P”和“B”幀序列，則子幀元資料150可通過參考視頻幀序列的IPB序列(編碼)來生成。
圖元轉換模組270中包含一些指令，處理電路210執行這些指令，將視頻資料115的圖元解析度轉換為與子幀元資料150相關聯的目標視頻顯示器的圖元解析度。例如，在一個實施例中，視頻資料115的圖元解析度為高清解析度(也就是每幀1920×1080圖元)，而與子幀元資料相關聯的目標視頻顯示器的解析度為每幀320×240圖元，則圖元轉換模組270將視頻資料115從每幀1920×1080圖元轉換為每幀320×240圖元，以便在目標視頻顯示器上正常顯示。
處理電路210可使用共用處理設備、單個處理設備或多個處理設備來實現。這種處理設備可以是微處理器、微控制器、數位信號處理器、微型電腦、中央處理單元、現場可編程閘陣列、可編程邏輯設備、狀態機、邏輯電路、類比電路、數位電路和/或基於操作指令處理信號(類比和/或數位)的任何設備。本地記憶體230可以使單個存儲設備或多個存儲設備。這種存儲設備可以使唯讀記憶體、隨機訪問記憶體、易失性記憶體、非易失性記憶體、靜態記憶體、動態記憶體、快閃記憶體和/或可以存儲數位資訊的任何設備。需要注意的是，當處理電路通過狀態機、類比電路、數位電路和/或邏輯電路來實現其自身的一種或多種功能時，存儲對應的操作指令的記憶體是嵌入在包含所述狀態機、類比電路、數位電路和/或邏輯電路的電路中的。
視頻處理電路200進一步包括主顯示器介面220、第一目標顯示器介面222、第二目標顯示器介面224、用戶輸入介面217、全幀視頻和子幀元資料輸出介面280和視頻攝像機輸入介面290，上述介面中的每一個都通信連接到本地記憶體230和處理電路210。主顯示器介面220提供到視頻處理設備主顯示器的介面，第一目標顯示器介面222和第二目標顯示器介面224中的每一個都提供到各自目標視頻顯示器的介面，依照子幀元資料150調整後的視頻資料115正是在這些目標視頻顯示器上顯示出來的。用戶輸入介面217提供一個和多個介面，用於通過一個和多個輸入設備(例如滑鼠、鍵盤等)從操作視頻處理系統120的用戶處接收用戶輸入。例如，這種用戶輸入可包括子幀資訊和編輯資訊，該子幀確定所顯示的幀所描述畫面中的一個用戶所感興趣(子幀)的區域，該編輯資訊用於編輯子幀資訊。
視頻資料和子幀元資料輸出介面280提供一個和多個介面，用於輸出視頻資料115和生成的子幀元資料150。例如，視頻資料和子幀元資料輸出介面280可包括到存儲介質(例如視頻碟片、視頻磁帶和其他存儲媒介)的介面，用於存儲視頻資料115和子幀元資料150；還包括到傳輸介質的介面，用於傳送視頻資料115和子幀元資料150(例如通過互聯網、其內內部網和其他網路進行傳送)；和/或到用於對視頻資料115和子幀元資料150進行進一步處理的其他處理電路的介面。視頻攝像機介面290包括一個和多個介面，用於接收壓縮和未壓縮格式的視頻資料115。
在另一項操作中，子幀元資料生成軟體模組250在初始化後，向處理電路210發出指令，通知其或者通過視頻攝像機介面290接收視頻資料115，或者從本地記憶體230中讀取先前存儲的視頻資料115。如果視頻資料115進行了編碼，則子幀元資料生成軟體模組250進一步向處理電路210發出指令，通知其訪問解碼器260，使用解碼器260所提供的指令對編碼的視頻資料進行解碼。
子幀元資料生成軟體模組250隨後向處理電路210發出指令，通知其從視頻資料115中讀取原始視頻幀序列中的至少一個幀，並通過主顯示器介面220將該原始視頻幀顯示給用戶。用戶通過用戶輸入介面217進行輸入，指定與所顯示的幀所描述畫面中的一個用戶所感興趣的區域相對應的子幀，作為對用戶輸入的回應，子幀元資料生成軟體模組250隨後向處理電路210發出指令，通知其從用戶輸入中生成子幀元資料150，並將生成的子幀元資料150存儲在本地記憶體230中。在需要進行圖元轉換的實施例中，子幀元資料生成軟體模組250進一步引導處理電路210訪問圖元轉換模組270，以生成具有合適的圖元解析度的子幀元資料150。
子幀元資料生成軟體模組250根據目標視頻顯示器進行編程，根據該目標視頻顯示器的類型，子幀元資料生成軟體模組250生成的子幀元資料150可包括一個和多個子幀元資料150組，每一組都是專門為特定的目標視頻顯示器而生成的。例如，在一個實施例中，為了能在特定的視頻顯示器上顯示(例如第一目標視頻顯示器)，處理電路210通過第一目標顯示器介面222輸出對應於第一目標視頻顯示器的原始視頻資料和子幀元資料150組。在另一實施例中，處理電路210通過輸出介面280輸出原始視頻資料和一個和多個子幀元資料150組，以便進行隨後的處理、存儲和傳送。
圖6是依據本發明的視頻處理設備在生成子幀元資料時操作過程實施例的示意圖。在圖6中，視頻資料115表示為原始視頻幀序列310。原始視頻幀序列(視頻資料115)中的每個幀310都將輸入到子幀元資料生成應用140中，生成子幀元資料150。此外，如圖1－圖5所述，原始視頻幀序列中的每個幀310都將顯示在視頻處理系統120的顯示器130上，以供用戶觀看和操作。
例如，用戶可操作輸入設備320如滑鼠來控制指標330在顯示幕130上的位置。指標330可用于指定對應於顯示在顯示幕130上當前幀310中感興趣區域的子幀315。例如，用戶可使用指標330在顯示幕上創建一個視窗，並通過在滑鼠320上執行一系列的點擊和拖動操作來控制該視窗的尺寸和位置。一旦用戶使用輸入設備320在顯示幕130上創建了視窗，用戶還可使用輸入設備320來指示該視窗定義了一個子幀315，這是通過經由用戶介面217向子幀元資料生成應用140發出用戶信號325來實現的。從用戶信號325中，子幀元資料生成應用140生成子幀元資料150。例如，子幀元資料150可指定窗口的中心在當前幀310上的空間位置(例如在當前幀310上對應窗口中心的圖元位置)和視窗的尺寸(例如以圖元數量表示的視窗的長度和寬度)。
子幀元資料生成應用140包括子幀標識模組340、子幀編輯模組350和元資料生成模組360。一旦收到創建子幀315的用戶信號325，子幀標識模組340便為該子幀分配子幀識別字345。該子幀識別字345用於標識子幀元資料150所定義的子幀序列中的該子幀。
子幀編輯模組350回應其他的用戶信號325，在子幀上執行編輯操作。例如，一旦用戶使用輸入設備320創建了子幀315，用戶還可進一步使用輸入設備320來編輯子幀315，並通過用戶介面217向子幀元資料生成應用140發出以編輯內容為內容的用戶信號325。用戶信號將輸入給子幀編輯模組350，生成編輯資訊355，該編輯資訊用於描述需要在子幀315上所執行的編輯操作。編輯資訊355包含在子幀元資料150中，用於在目標視頻顯示器顯示該子幀之前，對目標顯示設備上的子幀315進行編輯。儘管可特別指出將編輯資訊應用于與整個視頻資料，但多數編輯資訊都只應用到特定的一個和多個子幀上。
編輯資訊355的例子包括但不限於搖攝方向和搖攝率、縮放比例、對比度調整、亮度調整、濾光鏡參數和視頻效果參數。視頻效果參數的例子包括但不限於劇割(wipe)、淡入淡出(fade)、溶入、表面和物體漸變、聚光和打亮、色彩和類型填充、視頻和圖形疊加、色彩修正、3D透視修正和3D紋理貼圖(3D texture mapping)。視頻效果的其他例子包括“時移”。第一子幀定義的第一序列可在播放時進行慢放，這僅需添加與第一子幀相關聯的、用於控制進行這種播放的元資料編輯資訊即可。與第二子幀相關聯的第二序列可進行正常的播放，與第三子幀相關聯的第三序列可進行快放。時移的實現方法可包括增加和降低幀速率和僅僅複製和丟棄原始視頻序列中選中的幀，還可通過更為複雜的方式來合併幀，以生成其他幀或降低幀總數。
子幀標識模組340分配的子幀識別字345、子幀編輯模組350生成的編輯資訊355、當前原始視頻幀310和定義子幀315尺寸和位置的用戶信號325將輸入到子幀元資料生成模組360中，來生成子幀元資料150。通常，對於每個子幀315，子幀元資料150都包括子幀識別字345，從中提取子幀315的原始視頻幀310的識別字，與原始視頻幀310有關的子幀315的位置和尺寸和與子幀315有關的任何編輯資訊355。
子幀元資料生成模組360為每個子幀315生成子幀元資料150，並輸出用於定義一系列子幀315的子幀元資料150集合。子幀315序列可包括每個原始視頻幀310的一個子幀、每個原始視頻幀310中順序顯示的多個子幀315、對應由原始視頻幀310序列描述的畫面的子畫面的多個子幀315或由原始視頻幀310描述的多個子畫面的多個子幀315。例如，子幀元資料150可包括順序元資料，即標識出一系列子畫面，也標識出與該一系列子畫面中的每個子畫面相關的每個子幀315。
子幀元資料150可進一步指出子畫面中子幀315位置的相對差(relative difference)。例如，在一個實施例中，子幀元資料150可指出子畫面中的每個子幀315都位於視頻顯示器130上同一固定的空間位置(例如每個子幀315包含相同的圖元位置)。在另一實施例中，子幀元資料150可指出子畫面中每個子幀315的空間位置隨子幀而變化。例如，子畫面中子幀序列中的每個子幀315都可包含一個物體，其空間位置隨對應的原始視頻幀而變化。
圖7是依據本發明的原始視頻幀和對應子幀實施例的示意圖。在圖7中，通過初始視頻幀310的第一序列410描繪第一畫面405，通過初始視頻幀310的第二序列420描繪第二畫面408。因此，每個畫面405和408均包括有初始視頻幀310的對應序列410和420，並通過連續顯示初始視頻幀310的各序列410和420中的每個初始視頻幀310來觀看。
但是，為了在小視頻顯示器上顯示每個畫面405和408而不降低觀看者感知的視頻質量，每個畫面405和408都可被分割為多個單獨顯示的子畫面。例如，如圖7所示，在第一畫面405中，有兩個子畫面406和407；在第二畫面408中，有一個子畫面409。就像可通過連續顯示初始視頻幀310的各序列410和420來觀看各畫面405和408一樣，可通過顯示各個子幀315序列來觀看各個子畫面406、407和409。
例如，看到初始視頻幀的第一序列410中的第一幀310a，用戶可標識兩個子幀315a和315b，每個子幀都包含有表示不同子畫面406和407的視頻資料。假設子畫面406和407繼續遍及初始視頻幀310的第一序列410，用戶可進一步標識出初始視頻幀310的第一序列410中的各初始視頻幀310的兩個子幀315，一個子幀對應一個子畫面406和407。生成的結果是第一子幀序列430和第二子幀序列440，其中，第一子幀序列430中的每個子幀315a包括表示子畫面406的視頻內容；第二子幀序列440中的每個子幀315b包括表示子畫面407的視頻內容。每個子幀序列430和440都被連續地顯示。例如，可連續顯示對應於第一子畫面406的所有子幀315a，之後連續顯示對應第二子畫面407的所有子幀315。用這種方式，電影保持了畫面405的邏輯流，同時允許觀衆感知畫面405中的細節。
同理，看到初始視頻幀的第二序列420中的第一幀310b，用戶可標識出與子畫面409對應的子幀315c。再次，假設子畫面409繼續遍及初始視頻幀310的第二序列420中，用戶可進一步在第二序列420的隨後初始視頻幀310中標識出包含子畫面409的子幀315c。結果產生子幀序列450，其中的每個子幀315c包含表示子畫面409的視頻內容。
圖8是依據本發明的子幀序列中示範性子幀元資料的示意圖。圖8中展示的子幀元資料150中包含的是順序排列的元資料500，用於指示子幀的順序(也就是顯示順序)。例如，順序排列的元資料500可標識子畫面序列和每個子畫面的子幀序列。使用圖7中展示的例子，順序排列的元資料500可分成多個子幀元資料150組520，每個組520對應特定的子畫面。
例如，在第一組520中，順序元資料500從第一子幀序列(例如，序列430)中的第一子幀開始，之後是第一序列430中的其他子幀。在圖8中，第一序列中的第一子幀被標記為初始視頻幀A的子幀A，第一序列中最後一個子幀被標記為初始視頻幀F的子幀F。在第一序列430的最後一個子幀之後，順序元資料500繼續第二組520，第二組520從第二子幀序列(例如，序列440)的第一子幀(例如，子幀315b)開始，至第二序列440的最後一個子幀結束。在圖8中，第二序列的第一子幀被標記為初始視頻幀A的子幀G，第一序列中的最後一個子幀被標記為初始視頻幀F的子幀L。最後一組520從第三序列(例如，序列450)中的第一子幀(例如，子幀315c)開始，至第三序列450的最後一個子幀結束。在圖8中，第三序列的第一個子幀被標記為初始視頻幀G的子幀M，第三序列中的最後一個子幀被標記為初始視頻幀I的子幀P。
在各組520中的是該組520中的各個子幀的子幀元資料。例如，第一組520包括第一子幀序列430中的各子幀的子幀元資料150。在典型的實施例中，子幀元資料150可被組織為包括多個條目510的元資料文字檔案。元資料文字檔案中的每個條目510包括有特定子幀的子幀元資料150。因此，元資料文字檔案中的每個條目包括有標識出與該元資料相關的特定子幀的子幀識別字，且與初始視頻幀序列中的一個幀相關聯。
圖9是依據本發明的包含子幀編輯資訊的的示範性子幀元資料的示意圖。因此，圖9中包含在上文結合圖8描述的元資料文字檔案中的條目510中可能包含的多種子幀元資料150。每個子幀的子幀元資料150包括子幀常規資訊600，例如分配給該子幀的子幀識別字(SF ID)、與從中提取除該子幀的原始視頻幀相關聯的資訊(OF ID、OF計數、播放偏移量)、子幀位置和尺寸和將要顯示該子幀的顯示幕的縱橫比(SF比)。此外，如圖9所示，特定子幀的子幀資訊150可包括用於編輯該子幀的編輯資訊355。圖9中所示的編輯資訊355的例子包括搖攝方向和搖攝率、縮放比例、色彩調整、濾光鏡參數、對圖像或視頻序列的補充、其他視頻效果和相關參數。
圖10是依據本發明的視頻處理系統顯示器一個實施例的示意圖，該顯示器提供有圖形用戶介面，其中包含用於創建子幀的視頻編輯工具。視頻處理顯示器130上顯示的是當前幀310及其子幀315。子幀315包括如圖6中所描述的由用戶指定的感興趣區域內的視頻資料。一旦指定了子幀315，用戶便可使用通過GUI 710提供給用戶的一種或多種能夠視頻編輯工具來編輯子幀315。例如，如圖10所示，通過點擊或選擇GUI 710中的一種編輯工具，用戶可對子幀315應用濾光鏡、色彩修正、疊加或其他編輯工具。此外，GUI 710還可允許用戶在原始幀和/或子幀之間移動，以便觀看和比較原始子幀序列和子幀序列。
圖11是依據本發明的用於生成多組子幀元資料的視頻處理系統一個實施例的系統示意圖。根據視頻處理系統120所要為其生成子幀元資料的目標視頻顯示器的數量和類型，視頻處理系統120的處理電路210可從原始視頻資料中生成一組或多組子幀元資料150a、150b、...150N，每組子幀元資料150a、150b、...150N都是專門為特定的目標視頻顯示器而生成的。例如，在一個實施例中，為了能顯示在第一目標視頻顯示器上，處理電路210生成第一組子幀元資料150a，其定義了子幀序列。第一組子幀元資料150a用於調整原始視頻資料，在第一目標視頻顯示器上生成子幀序列的全屏顯示。
圖12是依據本發明的用於為多個目標視頻顯示器生成多組子幀元資料的視頻處理系統另一實施例的系統示意圖。正如圖1中描述的那樣，視頻處理系統120如電腦或能夠處理視頻資料115的其他設備運行子幀元資料生成應用140。子幀元資料生成應用140接收攝像機110捕捉的原始視頻資料作為輸入，生成定義子幀序列的子幀元資料150，用於調整原始視頻幀序列(視頻資料115)，在視頻顯示設備160的目標視頻顯示器165上生成子幀的全屏顯示。
圖12中展示的是下列示範性視頻顯示設備：電視機160a、個人數位助理(PDA)160b、蜂窩電話機160c和筆記本電腦160d。每個視頻顯示設備160a－160d都通信連接到各自的視頻顯示器165a－165d。此外，每個視頻顯示設備160a－160d還通信連接到各自的媒體播放器910a－910d。每個媒體播放器910a－910d都包含視頻播放電路，用於處理並在各自的視頻顯示器165a－165d上顯示視頻內容。媒體播放器910可設置在視頻顯示設備160內，或者通信連接到視頻顯示設備160。例如，與電視機160a相關聯的媒體播放器910a可以是VCR、DVD播放器或者其他類似的設備。
子幀元資料生成應用140生成的子幀元資料150可包含一個或多個子幀元資料組150a－150d，每一組都是專門為特定的目標視頻顯示器165a－165d生成的。例如，如圖12所示，子幀元資料生成應用140為四個目標視頻顯示器165a－615d生成四個子幀元資料組150a－150d。因此，為能在特定的視頻顯示器(例如顯示幕165a)上進行顯示，需要使用專門為視頻顯示器165a生成的視頻元資料組150a對原始視頻資料進行調整。
在一項示範性操作中，通信連接的每個媒體播放器910都接收包含原始視頻幀序列的原始視頻資料115和定義子幀序列的子幀元資料組150。原始視頻資料和子幀元資料150組可以按照通過互聯網或另一網路下載的方式接收，或者以廣播的方式接收，還可以從通信連接到媒體播放器910的存儲設備中上傳。媒體播放器910使用子幀元資料150調整原始視頻幀序列，在目標視頻顯示器165上生成對應子幀序列的全屏顯示。例如，通信連接的媒體播放器910a接收原始視頻資料和子幀元資料150a；通信連接的媒體播放器910b接收原始視頻資料和子幀元資料150b；通信連接的媒體播放器910c接收原始視頻資料和子幀元資料150c；通信連接的媒體播放器910d接收原始視頻資料和子幀元資料150d。
圖13是依據本發明的生成子幀元資料過程的邏輯圖。該過程開始於步驟1010，從任意類型的視頻源(例如視頻攝像機、視頻碟片、或視頻影帶)接收包含視頻內容的原始視頻資料。該原始視頻資料包含原始視頻幀序列，其中包含任意格式的視頻內容。此外，接收到的視頻資料可能已由任意編碼標準進行過編碼和壓縮，或者未經過壓縮但經過編碼，還可以是未經過壓縮也未經過編碼的。如果原始視頻資料是經過壓縮/編碼的，則視頻資料將進行解壓縮和解碼，生成原始視頻幀序列。
該過程繼續進行步驟1020，將向用戶展示原始視頻幀序列中的第一幀。例如，該第一幀可顯示在用戶能夠觀看的到的視頻顯示器上。隨後該過程繼續進行判斷步驟1030，確定是否指定了第一幀的子幀。例如，用戶可發出用戶輸入，以此來指定對應於第一幀中用戶感興趣區域的子幀。若指定了子幀(步驟1030的“是”分支)，則該過程繼續進行步驟1040，為所指定的子幀生成子幀元資料。例如，為特定子幀生成的子幀元資料可包括子幀識別字、從中提取除該子幀的原始視頻幀的識別字、與原始視頻幀有關的子幀的位置和尺寸和用於編輯該子幀的任意編輯資訊。對於第一幀中的每個子幀，本過程將重復進行步驟1050。因此，如果在第一幀中指定了另一子幀(步驟1050的“是”分支)，則本過程將返回步驟1040，為該子幀生成子幀元資料。
若在第一幀中未指定子幀(步驟1030的“否”分支)，或者在第一幀中不會再有子幀被指定(步驟1050的“否”分支)，該過程將繼續進行判斷步驟1060，確定原始視頻幀序列中是否還有其他幀。若還有其他原始視頻幀(步驟1060的“是”分支)，則該過程繼續進行步驟1070，向用戶展示原始視頻幀序列中的下一幀，然後該過程將重復進行步驟1030。但是，如果不存在其他原始視頻幀(步驟1060的“否”分支)，則該過程繼續進行步驟1080，將為每個指定的子幀生成的子幀元資料存儲到元資料檔案中。
圖14是依據本發明的視頻處理系統另一實施例的系統示意圖。圖14中的視頻攝像機1400與第一目標視頻設備1422和第二目標視頻設備1420一同使用。第一目標視頻設備1422包括第一視頻顯示器，第二目標視頻設備包括第二視頻顯示器。第一目標視頻設備1422的第一視頻顯示器的螢幕解析度遠大於第二目標視頻設備1420的第二視頻顯示器的螢幕解析度。第一目標視頻設備1422的第一視頻顯示器的可視區域也大於第二目標視頻設備1420的可視區域。
視頻攝像機1400包括攝像機視頻顯示器1402、用戶輸入介面1408、視頻捕捉電路1410、處理電路1406，可選的，還可包括編碼電路1404。攝像機視頻顯示器1402可以是圖2中展示和描述的單個視頻顯示器，也可以包括多個視頻顯示器。參考圖1所述，用戶輸入介面1408接收用戶輸入，以供運行的子幀元資料生成應用程式使用。用戶輸入介面1408可包括鍵盤、滑鼠或用於接收用戶輸入的其他用戶周邊設備。捕捉電路1410捕捉原始視頻幀序列。參考圖1－圖5所述，捕捉電路1410包括攝像機類電路。
處理電路1406連接到攝像機視頻顯示器1402、捕捉電路1410和用戶輸入介面1408。處理電路1406可以是執行軟體和/或固件指令並對資料進行操作的任意類型的數位處理電路。處理電路1406將捕捉電路1410捕捉到的原始視頻幀序列中的至少一個幀發往攝像機視頻顯示器1402。原始視頻幀序列中這至少一個幀在攝像機視頻顯示器1402上的顯示方式在圖2和圖3中已作了描述。
處理電路1406回應用戶輸入介面1408，在攝像機視頻顯示器1402上顯示一個子幀。該子幀在攝像機視頻顯示器1402上的顯示方式與圖2和/或圖3中描述的方式相同或相似。該子幀對應於原始視頻幀序列中至少一個幀中的一個區域。原始視頻幀和子幀在攝像機視頻顯示器上的顯示方式與圖2中描述的方式相同或相似。
處理電路1406生成對應於子幀的元資料150。元資料150將用於調整原始視頻幀序列，以在第二目標視頻設備1420的第二顯示器上生成全屏顯示。這種在第二目標視頻設備1420的第二顯示器上的全屏顯示對應於由處理電路1406在攝像機視頻顯示器1402上顯示的子幀。
如圖所示，攝像機1402將原始視頻幀序列115同時發往第一目標視頻設備1422和第二目標視頻設備1420。此外，攝像機1400為第二目標視頻設備1420生成元資料150n，可選的，還可為第一目標視頻設備1422生成元資料150p。在攝像機1400的第一項操作中，第一目標視頻設備1422在第一視頻顯示器上生成對應於原始視頻幀序列115的全屏顯示。此外，通過此項操作，第二目標視頻設備1420使用元資料150n來調整原始視頻幀115序列，在其第二視頻顯示器上生成全屏顯示。
在類似於上述操作的另一項操作中，第一目標視頻設備1422使用元資料150p來調整原始視頻幀115序列，在其第一視頻顯示器上生成另一全屏顯示。第一目標視頻設備1422的第一視頻顯示器上的這另一全屏顯示對應於為回應用戶輸入介面1408而在攝像機視頻顯示器1402上顯示的另一子幀。本發明的這些基於回應用戶輸入而生成的多種子幀來生成元資料的操作已在圖2－圖13中進行了描述。
根據攝像機1400的另一項操作，編碼電路1404生成編碼輸出1424、1426和1428，並分別發往目標視頻設備1414、1416和1418。在生成這些輸出1424、1426和1428的過程中，處理電路1406生成輸出1423，並發往編碼電路1404。這些輸出可包括將目標視頻設備1414、1416和1418看成一個設備組、對應該組中的所有設備而生成的視頻，或者為每個目標視頻設備1414、1416和1418專門剪裁而生成的視頻。編碼電路1404對從處理電路1406收到的輸出1423進行編碼，生成輸出1424、1426和1428。這些輸出1424、1426和1428將用於在其他目標視頻設備1414、1416和1418的其他目標視頻顯示器上生成全屏顯示。特別的，編碼電路1404基於對應於目標視頻設備1414的第一編碼參數生成第一編碼輸出1424。此外，編碼電路還基於對應於目標視頻設備1416和1418的第二和第三編碼參數生成編碼視頻輸出1426和1428。
因此，根據圖14中展示的實施例，作為其輸出，視頻攝像機1400生成原始視頻幀序列115、元資料150和視頻輸出1424、1426和1428。視頻攝像機1400的輸出可在捕捉原始視頻幀序列1410的過程中生成。或者，視頻攝像機1400還可捕捉並存儲原始視頻幀序列，然後生成其輸出，並發往視頻設備和/或存儲設備。
圖15是依據本發明的視頻處理系統又一實施例的系統示意圖。圖15中的視頻攝像機系統1500包括攝像機1510和並行視頻處理系統1501。攝像機1510捕捉原始視頻幀115序列。視頻攝像機1510也稱為視頻捕捉電路，其生成原始視頻幀115序列，同時發往並行視頻處理系統1501和第一目標視頻設備1522。
並行視頻處理系統1501包括一個或多個視頻顯示器1502、用戶介面1508、處理電路1506，還可包括編碼電路1504。圖15中的並行視頻處理系統1501中的一些部件與圖14中視頻攝像機1400中具有相同名稱的部件具有相同的功能，因此這些部件在此處不再詳述。視頻顯示器1502具有全屏區，其可對應於圖2中展示和描述的視頻顯示器130。並行視頻處理系統1501中的處理電路1506可以是專用硬體、通用硬體和/或可執行並行視頻處理系統1501操作的軟體，或者其中的一部分。處理電路1506回應用戶輸入介面1508，在視頻顯示器1502上顯示子幀。顯示在視頻顯示器1502上的子幀對應於視頻顯示器1502的全屏區中的一個區域。參考圖2，該子幀可以對應子幀131、133或135，這些子幀中的每一個在視頻顯示器1502的全屏區130內都是可見的。
再來看圖15，視頻捕捉電路(攝像機)1510捕捉原始視頻幀115序列。處理電路1506傳送原始視頻幀序列中的至少一個幀，以便使用視頻顯示器1502的全屏區來顯示。處理電路1506進一步生成第一輸出，用於在第一目標視頻設備1522的第一顯示器上生成對應于全屏區的第一顯示。此外，處理電路1506生成第二輸出，用於在第二目標視頻設備1520的第二顯示器上生成第二顯示，第二輸出對應於一個或多個子幀。如圖15所示，處理電路1506可生成對應於原始視頻幀序列的第一輸出115。或者，所生成的發往第一目標視頻設備1522的輸出可同時包括原始視頻幀115序列和元資料150r。處理電路1506進一步生成第二輸出，用於在第二目標視頻設備1520上生成對應於子幀的第二顯示。所生成的發往第二目標視頻設備1520的輸出可包括元資料150q，還可包括原始視頻幀115序列。第一目標視頻設備1522和第二目標視頻設備1520使用發往其各自的包含原始視頻幀115序列和元資料150q和150r的輸入，生成各自的顯示。
根據圖15中視頻攝像機系統的另一項操作，處理電路1506還與編碼電路1504一同工作，生成編碼視頻輸出1524、1526和1528，並分別發往目標視頻設備1514、1516和1518。經過編碼的視頻輸出1524、1526和1528是基於第一、第二和第三編碼參數編碼的，這些參數分別與目標視頻設備1514、1516和1518有關。視頻資料1523將由處理電路1506發往編碼電路1504。
因此，與現有技術相比，圖15中的視頻攝像機系統直接生成專門為特定目標視頻設備而剪裁好的編碼視頻。此外，圖15中的視頻攝像機系統不僅生成編碼視頻，還生成元資料和原始視頻幀115序列。此外，正如圖1－圖14所述，處理電路還可回應用戶輸入介面1508，生成與顯示在視頻顯示器152上的其他子幀有關的其他輸出。因此，對於每個特定的子幀，圖15中的視頻攝像機系統1500都可生成專門為特定的目標視頻顯示器剪裁好的輸出。此外，視頻攝像機系統1500還可簡單的生成子幀元資料，其中包括與多個目標設備有關的資訊。目標設備隨後可從元資料150中提取相關的部分，用於基於原始視頻幀序列生成視頻資料。
根據圖15中視頻攝像機系統的另一方面，視頻攝像機系統包括攝像機殼體，其中裝有視頻顯示器1502、用戶輸入介面1508、處理電路1506和視頻捕捉電路1510。該殼體中還可裝有編碼電路1504。根據圖15中視頻攝像機系統的另一方面，視頻攝像機系統1500包括攝像機殼體和支援系統殼體。攝像機殼體中裝有視頻步驟電路1510，支援系統殼體中裝有處理電路1506的至少一部分。支援系統殼體還可裝有顯示器1502、用戶輸入介面1508和編碼電路1504。
本領域普通技術人員可知，本申請中所使用的短語“可操作地連接”“可通信地連接”包括直接連接和通過另一個部件、元件、電路或模組間接連接，其中，對於間接連接，介入的部件、元件、電路或模組不會修改信號的資訊，但是可能會調整其電流大小、電壓大小和/或功率大小。本領域普通技術人員還可理解，推定連接(即推定一個部件與另一個部件連接)包括兩個部件之間與“可操作地連接”和“可通信地連接”方式相同直接的和間接的連接。
本發明通過借助方法步驟展示了本發明的特定功能及其關係。所述方法步驟的範圍和順序是為了便於描述任意定義的。只要能夠執行特定的功能和順序，也可應用其他界限和順序。任何所述或選的界限或順序因此落入本發明的範圍和精神實質。
本發明還借助功能模組對某些重要的功能進行了描述。所述功能模組的界限和各種功能模組的關係是為了便於描述任意定義的。只要能夠執行特定的功能，也可應用其他的界限或關係。類似地，此處定義了流程框圖，以解釋特定的重要功能。只要能達到使用目的，也可應用其他的界限或關係，仍執行特定的重要功能。所述其他的界限或關係也因此落入本發明的範圍和精神實質。
本領域普通技術人員還可知，本申請中的功能模組和其他展示性模組和元件可實現為離散元件、專用積體電路、執行恰當軟體的處理器和前述的任意組合。
此外，儘管以上是通過一些實施例對本發明進行的描述，本領域技術人員知悉，本發明不局限於這些實施例，在不脫離本發明的精神和範圍的情況下，可以對這些特徵和實施例進行各種改變或等效替換。本發明的保護範圍僅由本申請的權利要求書來限定。
畫面．．．102
攝像機．．．110
麥克風．．．111A、111B、111C
視頻資料．．．115
視頻處理系統．．．120
滑鼠．．．121
鍵盤．．．123
視頻顯示器．．．130
數字．．．132
子幀．．．131、133、135
子幀元資料生成應用(SMGA)．．．140
子幀元資料．．．150
視頻處理系統．．．151
顯示器．．．153
輸入介面．．．155
輸出介面．．．157
處理電路．．．159
視頻顯示設備．．．160
電視機．．．160a
個人數位助理(PDA)．．．160b
蜂窩電話機．．．160c
筆記本電腦．．．160d
子幀．．．161、163
可視區域．．．162、164、166、168
目標視頻顯示器．．．165
視頻顯示器．．．165a－165d
攝像機電路．．．167
視頻處理電路．．．200
處理電路．．．210
用戶輸入介面．．．217
主顯示器介面．．．220
第一目標顯示器介面．．．222
第二目標顯示器介面．．．224
本地記憶體．．．230
作業系統．．．240
子幀元資料生成軟體模組．．．250
解碼器．．．260
圖元轉換模組．．．270
全幀視頻和子幀元資料輸出介面．．．280
視頻攝像機輸入介面．．．290
原始視頻幀序列．．．310
第一幀．．．310a
子幀．．．315a、315b
子幀．．．315
輸入設備．．．320
用戶信號．．．325
指標．．．330
子幀標識模組．．．340
子幀識別字．．．345
子幀編輯模組．．．350
編輯資訊．．．355
元資料生成模組．．．360
第一畫面．．．405
子畫面．．．406、407
第二畫面．．．408
子畫面．．．409
第一序列．．．410
第二序列．．．420
第一子幀序列．．．430
第二子幀序列．．．440
順序排列的元資料．．．500
條目．．．510
組．．．520
子幀常規資訊．．．600
GUI．．．710
媒體播放器．．．910a－910d
視頻攝像機．．．1400
攝像機視頻顯示器．．．1402
編碼電路．．．1404
處理電路．．．1406
用戶輸入介面．．．1408
視頻捕捉電路．．．1410
目標視頻設備．．．1414、1416、1418
第二目標視頻設備．．．1420
第一目標視頻設備．．．1422
輸出．．．1423
編碼輸出．．．1424、1426、1428
視頻攝像機系統．．．1500
並行視頻處理系統．．．1501
視頻顯示器．．．1502
編碼電路．．．1504
處理電路．．．1506
用戶介面．．．1508
攝像機．．．1510
目標視頻設備．．．1514、1516、1518
第二目標視頻設備．．．1520
第一目標視頻設備．．．1522
視頻資料．．．1523
編碼視頻輸出．．．1524、1526、1528
圖1是依據本發明的視頻處理系統實施例的系統示意圖；圖2是依據本發明實施例的視頻處理系統的視頻顯示器上子幀佈局示意圖；圖3是依據本發明的視頻處理系統另一實施例的系統示意圖；圖4是依據本發明的視頻處理系統又一實施例的系統示意圖；圖5是依據本發明的視頻處理設備一實施例的結構示意圖；圖6是依據本發明的視頻處理設備在生成子幀元資料時操作過程實施例的示意圖；圖7是依據本發明的原始視頻幀和對應子幀實施例的示意圖；圖8是依據本發明的子幀序列中示範性子幀元資料的示意圖；圖9是依據本發明的包含子幀編輯資訊的的示範性子幀元資料的示意圖；圖10是依據本發明的視頻處理系統顯示器實施例的示意圖，該顯示器提供有圖形用戶介面，其中包含用於創建子幀的視頻編輯工具；圖11是依據本發明的用於生成多組子幀元資料的視頻處理系統實施例的系統示意圖；圖12是依據本發明的用於為多個目標視頻顯示器生成多組子幀元資料的視頻處理系統另一實施例的系統示意圖；圖13是依據本發明的生成子幀元資料過程的邏輯圖；圖14是依據本發明的視頻處理系統另一實施例的系統示意圖；圖15是依據本發明的視頻處理系統又一實施例的系統示意圖。
攝像機．．．110
視頻處理系統．．．120
視頻顯示器．．．130
數字．．．132
子幀元資料生成應用(SMGA)．．．140
子幀元資料．．．150
視頻顯示設備．．．160
電視機．．．160a
個人數位助理(PDA)．．．160b
蜂窩電話機．．．160c
筆記本電腦．．．160d
子幀．．．161、163
可視區域．．．162、164、166、168
目標視頻顯示器．．．165
視頻顯示器．．．165a－165d

Claims (10)

  1. 一種與第一目標視頻設備和第二目標視頻設備一起使用的視頻攝像機，所述第一目標視頻設備包括第一視頻顯示器器，所述第二目標設備包括第二視頻顯示器，所述第一視頻顯示器的顯示幕解析度大於所述第二視頻顯示器的顯示幕解析度，其特徵在於，所述視頻攝像機包括：攝像機視頻顯示器；用戶輸入介面；捕捉電路，用於捕捉原始視頻幀序列；處理電路，與所述攝像機視頻顯示器、所述捕捉電路和所述用戶輸入介面相連，用於將所述原始視頻幀序列中的至少一個幀發往所述攝像機視頻顯示器；所述處理電路回應所述用戶輸入介面，在所述攝像機視頻顯示器上顯示子幀，所述子幀對應於所述原始視頻幀序列中所述至少一個幀中的一個區域；所述處理電路生成對應於所述子幀的元資料，所述元資料用於調整所述原始視頻幀序列，以在所述第二目標視頻設備的所述第二顯示器上生成對應所述子幀的全屏顯示；所述處理電路發送至第一目標設備的輸出包括元資料和原始視頻幀序列；所述處理電路發送至第二目標設備的輸出包括元資料和原始視頻幀序列；所述處理電路將視頻數據發送至編碼電路，編碼電路生 成編碼視頻輸出；其中，所述元資料為順序排列的元資料，所述順序排列的元資料指示子幀顯示的順序，所述元資料包括子幀常規信息和用於編輯所述子幀的編輯信息；所述編輯資訊包括應用到與所述子幀相關聯的所述原始視頻幀序列中對應部分上的視覺調整、應用到所述子幀上的運動資訊、應用到所述子幀上的尺寸調整資訊和應用到所述子幀上的媒介。
  2. 如申請專利範圍第1項所述的視頻攝像機，其中，所述第一目標視頻設備在所述第一視頻顯示器上生成對應於所述原始視頻幀序列的全屏顯示。
  3. 如申請專利範圍第1項所述的視頻攝像機，其中，所述處理電路還生成對應於所述攝像機視頻顯示器上另一子幀的另一元資料，所述第一目標視頻設備使用所述另一元資料調整所述原始視頻幀序列，以在所述第一視頻顯示器上生成對應所述另一子幀的另一全屏顯示。
  4. 如申請專利範圍第1項所述的視頻攝像機，其中，所述處理電路使用所述元資料調整所述原始視頻幀序列，以生成輸出，第三目標視頻設備使用所述輸出在第三視頻顯示器上生成全屏顯示。
  5. 一種與第一目標視頻設備和第二目標視頻設備一起使用的視 頻攝像機系統，其特徵在於，所述視頻攝像機系統包括：視頻顯示器，具有全屏區域；用戶輸入介面；處理電路，回應所述用戶輸入介面，在所述視頻顯示器上顯示子幀，所述子幀對應所述全屏區域內的一個區域；視頻捕捉電路，用於捕捉原始視頻幀序列；所述處理電路傳送所述原始視頻幀序列中的至少一個幀，以供使用所述視頻顯示器的所述全屏區域顯示；所述處理電路生成第一輸出以用於在所述第一目標視頻設備上生成第一顯示，所述第一輸出對應于所述全屏區域；所述處理電路生成第二輸出以用於在所述第二目標視頻設備上生成第二顯示，所述第二輸出對應於所述子幀；所述第一輸出包括元資料和原始視頻幀序列；所述第二輸出包括元資料和原始視頻幀序列；所述處理電路將視頻數據發送至編碼電路，編碼電路生成編碼視頻輸出；所述第二輸出包括元資料，所述元資料為順序排列的元資料，所述順序排列的元資料指示子幀顯示的順序，所述元資料包括子幀常規信息和用於編輯所述子幀的編輯信息；所述編輯資訊包括應用到與所述子幀相關聯的所述原始視頻幀序列中對應部分上的視覺調整、應用到所述子幀上的 運動資訊、應用到所述子幀上的尺寸調整資訊和應用到所述子幀上的媒介。
  6. 如申請專利範圍第5項所述的視頻攝像機系統，其中，所述第二輸出包括元資料。
  7. 一種視頻處理系統，用於幫助視頻攝像機捕捉視頻，其特徵在於，所述視頻處理系統包括：視頻攝像機介面，用於接收所述視頻攝像機捕捉的原始視頻幀序列；視頻顯示器介面，用於生成發往視頻顯示器的視頻輸出；處理電路，連接有輸入介面、並與所述攝像機介面和所述視頻顯示介面相連，用於通過所述視頻顯示介面在所述視頻顯示器上顯示所述原始視頻幀序列中的至少一個幀；所述處理電路回應代表用戶輸入的信號，在所述視頻顯示器上顯示子幀，所述子幀對應於所述原始視頻幀序列中所述至少一個幀上的一個區域，該區域是在所述代表用戶輸入的信號中指定的；所述處理電路發送目標設備的輸出包括元資料和原始視頻幀序列；所述處理電路將視頻數據發送至編碼電路，編碼電路生成編碼視頻輸出；所述處理電路用於生成對應所述子幀的元資料，目標視 頻播放器使用所述元資料調整所述原始視頻幀序列，以在所述目標視頻播放器的目標視頻顯示器上生成對應所述子幀的全屏顯示；所述元資料為順序排列的元資料，所述順序排列的元資料指示子幀顯示的順序，所述元資料包括子幀常規信息和用於編輯所述子幀的編輯信息；所述編輯資訊包括應用到與所述子幀相關聯的所述原始視頻幀序列中對應部分上的視覺調整、應用到所述子幀上的運動資訊、應用到所述子幀上的尺寸調整資訊和應用到所述子幀上的媒介；所述視頻顯示器具有比所述目標視頻顯示器大的可視區域。
  8. 如申請專利範圍第7項所述的視頻處理系統，其中，所述視頻顯示器介面還用於生成對應於輔助視頻顯示器上顯示的所述原始視頻幀序列中所述至少一個幀中的一個區域的子幀。
  9. 一種視頻處理方法，其特徵在於，包括：通過視頻攝像機捕捉原始視頻幀序列；在視頻顯示器上顯示所述原始視頻幀序列中的至少一個幀；接收與所述原始視頻幀序列有關的用戶輸入；在所述視頻顯示器上顯示子幀，所述子幀對應於所述原始視頻幀序列中的所述至少一個幀中的一個區域，該區域由 所述用戶輸入指定；向視頻顯示器輸出元資料和原始視頻幀序列；向目標視頻播放器輸出元資料和原始視頻幀序列；將視頻數據發送至編碼電路，編碼電路生成編碼視頻輸出；生成對應所述子幀的元資料，由目標視頻播放器用於調整所述原始視頻幀序列，以在所述目標視頻播放器的目標視頻顯示器上生成對應所述子幀的全屏顯示，且所述視頻顯示器具有比所述目標視頻顯示器大的可視區域；所述元資料為順序排列的元資料，所述順序排列的元資料指示子幀顯示的順序，所述元資料包括子幀常規信息和用於編輯所述子幀的編輯信息；所述編輯資訊包括應用到與所述子幀相關聯的所述原始視頻幀序列中對應部分上的視覺調整、應用到所述子幀上的運動資訊、應用到所述子幀上的尺寸調整資訊和應用到所述子幀上的媒介。
  10. 如申請專利範圍第9項所述的視頻處理方法，其中，所述方法進一步包括將對應於所述原始視頻幀序列中的所述至少一個幀中的所述一個區域的子幀發往輔助視頻顯示器。
TW096122599A 2006-06-23 2007-06-22 視頻攝像機、視頻處理系統及其方法 TWI477143B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/474,032 US20070268406A1 (en) 2006-05-22 2006-06-23 Video processing system that generates sub-frame metadata
US11/491,019 US7893999B2 (en) 2006-05-22 2006-07-20 Simultaneous video and sub-frame metadata capture system

Publications (2)

Publication Number Publication Date
TW200820755A TW200820755A (en) 2008-05-01
TWI477143B true TWI477143B (zh) 2015-03-11

Family

ID=37882201

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096122599A TWI477143B (zh) 2006-06-23 2007-06-22 視頻攝像機、視頻處理系統及其方法

Country Status (4)

Country Link
US (1) US7893999B2 (zh)
EP (1) EP1871099A3 (zh)
KR (1) KR100836667B1 (zh)
TW (1) TWI477143B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090254562A1 (en) * 2005-09-02 2009-10-08 Thomson Licensing Automatic Metadata Extraction and Metadata Controlled Production Process
US20080311997A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Data capture for interactive operation
KR101571573B1 (ko) 2007-09-28 2015-11-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 부가적인 정보 역량을 이용한 멀티미디어 코딩 및 디코딩
WO2009086181A1 (en) * 2007-12-19 2009-07-09 Dolby Laboratories Licensing Corporation Adaptive motion estimation
WO2010033642A2 (en) 2008-09-16 2010-03-25 Realnetworks, Inc. Systems and methods for video/multimedia rendering, composition, and user-interactivity
TWI402821B (zh) * 2008-12-12 2013-07-21 Himax Tech Ltd 潛意識導引觀看者注意力的方法
JP4715913B2 (ja) * 2008-12-17 2011-07-06 ソニー株式会社 撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラム
CN101998137B (zh) * 2009-08-21 2016-09-07 华为技术有限公司 视频质量参数获取方法和装置及电子设备
US8614737B2 (en) * 2009-09-11 2013-12-24 Disney Enterprises, Inc. System and method for three-dimensional video capture workflow for dynamic rendering
US8625973B2 (en) * 2009-10-30 2014-01-07 Verint Systems, Inc. Method and apparatus for operating a video system
US20110153768A1 (en) * 2009-12-23 2011-06-23 International Business Machines Corporation E-meeting presentation relevance alerts
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8705866B2 (en) 2010-12-07 2014-04-22 Sony Corporation Region description and modeling for image subscene recognition
US8587672B2 (en) 2011-01-31 2013-11-19 Home Box Office, Inc. Real-time visible-talent tracking system
US9519994B2 (en) * 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
CA2924504A1 (en) * 2013-09-13 2015-03-19 Voke Inc. Video production sharing apparatus and method
US9330171B1 (en) * 2013-10-17 2016-05-03 Google Inc. Video annotation using deep network architectures
RU2608873C2 (ru) * 2014-02-14 2017-01-25 Общество С Ограниченной Ответственностью "Яндекс" Способ связывания метаданных цифрового контента с цифровым контентом (варианты), электронное устройство (варианты), машиночитаемый носитель (варианты)
JP6519374B2 (ja) * 2015-07-22 2019-05-29 富士通株式会社 動画再生プログラム、装置、及び方法
TWI679884B (zh) * 2017-03-31 2019-12-11 鴻海精密工業股份有限公司 視頻加密和解密的方法及裝置
KR102208129B1 (ko) * 2017-09-26 2021-01-27 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN111699672B (zh) * 2018-03-13 2023-01-31 夏普Nec显示器解决方案株式会社 视频控制装置和视频控制方法
WO2020071632A1 (ko) * 2018-10-02 2020-04-09 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
EP3876593A4 (en) * 2018-11-01 2022-01-05 Sony Group Corporation COMMUNICATION DEVICE AND COMMUNICATION METHOD
JP7396298B2 (ja) * 2018-12-05 2023-12-12 ソニーグループ株式会社 通信装置、及び通信方法
US11357087B2 (en) * 2020-07-02 2022-06-07 Solomon Systech (Shenzhen) Limited Method for driving a passive matrix LED display
CN114338954A (zh) * 2021-12-28 2022-04-12 维沃移动通信有限公司 视频生成电路、方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282362B1 (en) * 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
EP1130506A2 (en) * 2000-02-24 2001-09-05 Eastman Kodak Company Method and device for presenting digital images on a low-definition screen
CN1402554A (zh) * 2001-08-18 2003-03-12 三星电子株式会社 压缩图像比特流的变码方法
JP2004120404A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像配信装置および画像処理装置並びにプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163522A (ja) * 1994-11-30 1996-06-21 Canon Inc テレビ会議システムおよび端末装置
US5568200A (en) * 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
US6930709B1 (en) * 1997-12-04 2005-08-16 Pentax Of America, Inc. Integrated internet/intranet camera
US6931661B2 (en) * 2000-10-19 2005-08-16 Motorola, Inc. Dynamic image provisioning
GB2374777B (en) * 2001-04-20 2005-11-02 Discreet Logic Inc Processing image data
US7428019B2 (en) * 2001-12-26 2008-09-23 Yeda Research And Development Co. Ltd. System and method for increasing space or time resolution in video
EP1487208A4 (en) * 2002-03-20 2010-03-17 Panasonic Corp VIDEO IMAGING DEVICE, VIDEO CONVERTING DEVICE, AND VIDEO EDITING DEVICE
JP2005531971A (ja) 2002-07-01 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ信号処理システム
US7733366B2 (en) * 2002-07-01 2010-06-08 Microsoft Corporation Computer network-based, interactive, multimedia learning system and process
US7362349B2 (en) * 2002-07-10 2008-04-22 Seiko Epson Corporation Multi-participant conference system with controllable content delivery using a client monitor back-channel
US7325033B2 (en) * 2002-07-18 2008-01-29 Clearcube Technology, Inc. Video conferencing system using video manager to provide picture-in-picture image to display devices located remotely from co-located computing systems
GB0230328D0 (en) 2002-12-31 2003-02-05 British Telecomm Video streaming
KR100478017B1 (ko) * 2003-02-06 2005-03-22 (주)피카소정보통신 다채널 영상데이타 처리장치 및 방법
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US8081205B2 (en) * 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
KR100580876B1 (ko) * 2003-12-08 2006-05-16 한국전자통신연구원 비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및 방법과, 그 기록매체
JP2006039919A (ja) * 2004-07-27 2006-02-09 Pioneer Electronic Corp 画像共有表示システム、画像共有機能付端末、及びコンピュータプログラム
JP2006129152A (ja) * 2004-10-29 2006-05-18 Konica Minolta Holdings Inc 撮像装置および画像配信システム
JP2006163877A (ja) * 2004-12-08 2006-06-22 Seiko Epson Corp メタデータ生成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282362B1 (en) * 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
EP1130506A2 (en) * 2000-02-24 2001-09-05 Eastman Kodak Company Method and device for presenting digital images on a low-definition screen
CN1402554A (zh) * 2001-08-18 2003-03-12 三星电子株式会社 压缩图像比特流的变码方法
JP2004120404A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像配信装置および画像処理装置並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
van Beek P., Smith J.R., Ebrahimi T., Suzuki T., Askelof J., "Metadata-Driven Multimedia Access", IEEE SIGNAL PROCESSING MAGAZINE, Vol. 20, Issue 2, 2003.03 *

Also Published As

Publication number Publication date
EP1871099A2 (en) 2007-12-26
US7893999B2 (en) 2011-02-22
EP1871099A3 (en) 2010-06-02
TW200820755A (en) 2008-05-01
US20080018784A1 (en) 2008-01-24
KR100836667B1 (ko) 2008-06-10
KR20070122179A (ko) 2007-12-28

Similar Documents

Publication Publication Date Title
TWI477143B (zh) 視頻攝像機、視頻處理系統及其方法
KR100915367B1 (ko) 서브-프레임 메타데이터를 생성하는 영상 처리 시스템
TWI400939B (zh) 一種視頻播放器電路及視頻顯示方法
KR100906957B1 (ko) 서브-프레임 메타데이터를 이용한 적응 비디오 프로세싱
KR100912599B1 (ko) 풀 프레임 비디오 및 서브-프레임 메타데이터를 저장하는이동가능한 미디어의 프로세싱
KR100909440B1 (ko) 서브-프레임 메타데이터 분배 서버
JP5037365B2 (ja) ビデオ・ストリーム中へインデックスするために加入者ビデオ・スクリーンにスライダ・バーを表示するビデオ配信システムおよび方法
CN1981522A (zh) 立体电视信号处理方法、传输系统与观众增强
JP4802524B2 (ja) 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法
JP2008035280A (ja) 画像復号方法および画像表示方法
CN101094407B (zh) 视频电路、视频系统及其视频处理方法
CN100587793C (zh) 视频处理方法、电路和系统
JP2008035281A (ja) 画像符号化方法
Niamut et al. Live event experiences-interactive UHDTV on mobile devices
US20070133950A1 (en) Reproduction apparatus, reproduction method, recording method, image display apparatus and recording medium
JP2011049927A (ja) 画像処理装置、およびそれを搭載した撮像装置
Niamut et al. Immersive live event experiences-interactive UHDTV on mobile devices

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees