JP4697500B2 - 送信装置および送信方法、受信装置および受信方法、並びに記録媒体 - Google Patents

送信装置および送信方法、受信装置および受信方法、並びに記録媒体 Download PDF

Info

Publication number
JP4697500B2
JP4697500B2 JP2000214237A JP2000214237A JP4697500B2 JP 4697500 B2 JP4697500 B2 JP 4697500B2 JP 2000214237 A JP2000214237 A JP 2000214237A JP 2000214237 A JP2000214237 A JP 2000214237A JP 4697500 B2 JP4697500 B2 JP 4697500B2
Authority
JP
Japan
Prior art keywords
image data
unit
click
image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000214237A
Other languages
English (en)
Other versions
JP2002016920A5 (ja
JP2002016920A (ja
Inventor
哲二郎 近藤
小林　　直樹
昌憲 金丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2000214237A priority Critical patent/JP4697500B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP20070024368 priority patent/EP1906670B1/en
Priority to CN 200710142654 priority patent/CN101106707B/zh
Priority to CN 200710142655 priority patent/CN101106708B/zh
Priority to EP20070024366 priority patent/EP1906668B1/en
Priority to CNB008020485A priority patent/CN100366090C/zh
Priority to US09/807,114 priority patent/US7009579B1/en
Priority to EP20000951903 priority patent/EP1120968B1/en
Priority to PCT/JP2000/005319 priority patent/WO2001011889A1/ja
Priority to KR1020017004484A priority patent/KR100811572B1/ko
Priority to EP20070024367 priority patent/EP1906669A3/en
Priority to NO20011720A priority patent/NO332792B1/no
Publication of JP2002016920A publication Critical patent/JP2002016920A/ja
Priority to US11/125,781 priority patent/US7486253B2/en
Priority to US11/590,554 priority patent/US7760156B2/en
Publication of JP2002016920A5 publication Critical patent/JP2002016920A5/ja
Application granted granted Critical
Publication of JP4697500B2 publication Critical patent/JP4697500B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Transmission Control (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Facsimiles In General (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、送信装置および送信方法、受信装置および受信方法、並びに記録媒体に関し、特に、例えば、画像データを、限られた伝送レート（伝送帯域）内で送信し、空間解像度の高い画像を表示すること等ができるようにする送信装置および送信方法、受信装置および受信方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、特開平１０−１１２８５６号公報には、送信側において、受信側の指示にしたがい、画像のある領域の画像データと、他の領域の画像データとを異なる情報量で送信し、これにより、受信側において指示した点を含む所定の領域の画像を、高い空間解像度（空間方向の解像度）で、それ以外の領域の画像を、低い空間解像度で、それぞれ表示する画像伝送装置が開示されている。
【０００３】
即ち、送信側から受信側に対し、伝送路を介して、画像データを伝送する場合においては、その伝送路の伝送レートを越えるデータレートの画像データを伝送することはできない。従って、受信側において、リアルタイムで画像を表示する場合には、送信側から受信側に対して、伝送路の伝送レート内で、画像データを送信しなければならず、その結果、伝送レートが十分でない場合には、受信側で表示される画像の空間方向の空間解像度は、全体として劣化する。
【０００４】
そこで、特開平１０−１１２８５６号公報に開示されている画像伝送装置では、上述のように、画像のある領域の画像データと、他の領域の画像データとが異なる情報量で送信され、受信側において指示した点を含む所定の領域の画像は、高い空間解像度で、それ以外の領域の画像は、低い空間解像度で、それぞれ表示される。これにより、ユーザが詳細に見たい部分は、高い空間解像度で表示され、それ以外の部分は、低い空間解像度で表示されるようになっている。
【０００５】
即ち、特開平１０−１１２８５６号公報に開示されている画像伝送装置では、ユーザが詳細に見たい部分以外の部分の空間解像度を犠牲にして、詳細に見たい部分の空間解像度を向上させている。
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平１０−１１２８５６号公報に開示されている画像伝送装置においては、ユーザが詳細に見たい部分以外の部分の空間解像度のみを犠牲にして、詳細に見たい部分の空間解像度を向上させているために、その犠牲にした分しか、詳細に見たい部分の空間解像度を向上させることができない。
【０００７】
さらに、伝送路の伝送レートが非常に小さい場合には、ユーザが詳細に見たい部分以外の部分の空間解像度を犠牲にして、詳細に見たい部分の空間解像度を向上させると、詳細に見たい部分以外の部分の空間解像度はかなり悪くなり、最悪の場合、その部分は、何が表示されているのか識別することが困難となる。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、例えば、ユーザの嗜好に応じて、画像の空間解像度を、より向上させること等ができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の送信装置は、前記受信装置から送信される制御情報を受信する受信手段と、画像データを入力する入力手段と、前記入力手段により入力された前記画像データから背景画像データとオブジェクト画像データを抽出する抽出手段と、前記制御情報に応じて、前記受信装置に送信される前記画像データの伝送レートが所定伝送レート内に収まるように、前記背景画像データおよび前記オブジェクト画像データの時間、空間、レベル方向のうち少なくとも空間方向を含む２方向の解像度を対象とし、対象とされた２方向の解像度のうち一方の方向の解像度を劣化させるとともに、他方の方向の解像度を向上させるように制御する制御手段と、前記制御手段により解像度が制御された前記画像データを、伝送路を介して前記所定伝送レートで前記受信装置に送信する送信手段とを備え、前記送信手段は、前記制御手段により解像度を制御された前記背景画像データの空間方向の解像度が、送信済みの前記背景画像データの空間方向の解像度より高い場合、前記背景画像データを前記受信装置に送信し、低い場合、送信しないことを特徴とする。
【００１０】
本発明の受信装置は、制御情報に基づいて画像データの時間、空間、レベル方向のうち少なくとも２方向の解像度を制御する送信装置に、制御情報を送信する送信手段と、制御情報に基づいて解像度制御された、送信装置から送信される画像データを受信する受信手段と、受信手段により受信された画像データを一時記憶する記憶手段と、記憶手段により記憶された画像データを表示する表示手段とを備え、記憶手段は、受信手段により受信された画像データの所定の方向の解像度が、受信された画像データに対応する、記憶手段により記憶された画像データの所定の方向の解像度より高い場合、受信手段により受信された画像データを上書きし、低い場合、上書きしないことを特徴とする。
【００１３】
本発明の送信方法は、受信装置から送信される制御情報を受信する受信ステップと、画像データを入力する入力ステップと、入力ステップの処理により入力された画像データから背景画像データとオブジェクト画像データを抽出する抽出ステップと、制御情報に応じて、受信装置に送信される画像データの伝送レートが所定伝送レート内に収まるように、背景画像データおよびオブジェクト画像データの時間、空間、レベル方向のうち少なくとも空間方向を含む２方向の解像度を対象とし、対象とされた２方向の解像度のうち一方の方向の解像度を劣化させるとともに、他方の方向の解像度を向上させるように制御する制御ステップと、制御ステップの処理により解像度が制御された画像データを、伝送路を介して所定伝送レートで受信装置に送信する送信ステップとを含み、送信ステップの処理は、制御ステップの処理により解像度を制御された背景画像データの空間方向の解像度が、送信済みの背景画像データの空間方向の解像度より高い場合、背景画像データを受信装置に送信し、低い場合、送信しないことを特徴とする。
【００１４】
本発明の受信方法は、制御情報に基づいて画像データの時間、空間、レベル方向のうち少なくとも２方向の解像度を制御する送信装置に、制御情報を送信する送信ステップと、制御情報に基づいて解像度制御された、送信装置から送信される画像データを受信する受信ステップと、受信ステップの処理により受信された画像データを一時記憶する記憶ステップと、記憶ステップの処理により記憶される画像データを表示する表示ステップとを含み、記憶ステップの処理は、受信ステップの処理により受信された画像データの所定の方向の解像度が、受信された画像データに対応する、記憶ステップの処理により記憶されている画像データの所定の方向の解像度より高い場合、受信ステップの処理により受信された画像データを上書きし、低い場合、上書きしないことを特徴とする。
【００１７】
本発明の第１の記録媒体は、受信装置から送信される制御情報を受信する受信ステップと、画像データを入力する入力ステップと、入力ステップの処理により入力された画像データから背景画像データとオブジェクト画像データを抽出する抽出ステップと、制御情報に応じて、受信装置に送信される画像データの伝送レートが所定伝送レート内に収まるように、背景画像データおよびオブジェクト画像データの時間、空間、レベル方向のうち少なくとも空間方向を含む２方向の解像度を対象とし、対象とされた２方向の解像度のうち一方の方向の解像度を劣化させるとともに、他方の方向の解像度を向上させるように制御する制御ステップと、制御ステップの処理により解像度が制御された画像データを、伝送路を介して所定伝送レートで受信装置に送信する送信ステップとを含み、送信ステップの処理は、制御ステップの処理により解像度を制御された背景画像データの空間方向の解像度が、送信済みの背景画像データの空間方向の解像度より高い場合、背景画像データを受信装置に送信し、低い場合、送信しないプログラムが記録されていることを特徴とする。
【００１８】
本発明の第２の記録媒体は、制御情報に基づいて画像データの時間、空間、レベル方向のうち少なくとも２方向の解像度を制御する送信装置に、制御情報を送信する送信ステップと、制御情報に基づいて解像度制御された、送信装置から送信される画像データを受信する受信ステップと、受信ステップの処理により受信された画像データを一時記憶する記憶ステップと、記憶ステップの処理により記憶された画像データを表示する表示ステップとを含み、記憶ステップの処理は、受信ステップの処理により受信された画像データの所定の方向の解像度が、受信された画像データに対応する、記憶ステップの処理により記憶された画像データの所定の方向の解像度より高い場合、受信ステップの処理により受信された画像データを上書きし、低い場合、上書きしないプログラムが記録されていることを特徴とする。
【００２５】
本発明の送信装置および送信方法、並びに第１の記録媒体においては、受信装置から送信される制御情報が受信され、制御情報に応じて、受信装置に送信されるデータの時間、空間、レベル方向のうち少なくとも２方向の解像度が制御可能であり、制御情報に応じて解像度制御されたデータが受信装置に送信される。
【００２６】
本発明の受信装置および受信方法、並びに第２の記録媒体においては、制御情報に基づいてデータの時間、空間、レベル方向のうち少なくとも２方向の解像度を制御可能な送信装置に、制御情報が送信され、制御情報に基づいて解像度制御された、送信装置から送信されるデータが受信され、受信されるデータが出力される。
【００２９】
【発明の実施の形態】
図１は、本発明を適用した画像伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成を示している。
【００３０】
この伝送システムは、少なくとも２台の端末１および２から構成されており、端末１と２との間では、一方を送信装置とするとともに、他方を受信装置として、送信装置から受信装置に対し、伝送路３を介して、画像（画像データ）が送信されるようになっている。
【００３１】
ここで、本実施の形態では、例えば、端末１を送信装置とするとともに、端末２を受信装置として、画像データの送受信が行われるものとする。また、以下、適宜、端末１または２を、それぞれ送信装置１または受信装置２と記述する。
【００３２】
この場合、送信装置１では、画像データが、伝送路３を介して、受信装置２に送信される。受信装置２では、送信装置１からの画像データが受信され、例えば、液晶ディスプレイやＣＲＴ(Cathode Ray Tube)等で構成される、後述する画像出力部２３（図５）に表示される。また、受信装置２では、そこで表示される画像の空間方向の空間解像度および時間方向の時間解像度を制御するための制御情報が、伝送路３を介して、送信装置１に送信される。
【００３３】
送信装置１では、受信装置２からの制御情報が受信され、その制御情報に基づき、受信装置２において表示される画像の空間解像度および時間解像度が、所定の条件を満たしながら変更されるように、画像データの送信が制御される。
【００３４】
なお、送信装置１および受信装置２としては、例えば、ＰＨＳ(Personal Handy-phone System)（商標）用の端末や携帯電話機等の携帯端末その他を用いることができる。例えば、ＰＨＳを用いる場合、伝送路３は、1895.1500〜1905.9500MHzの伝送路で、その伝送レートは、１２８ｋｂｐｓ(Bit Per Second)となる。
【００３５】
図２は、図１の送信装置１および受信装置２として、ＰＨＳや携帯電話機等の携帯用の端末を用いた場合の、図１の画像伝送システムの第１の構成例を示している。
【００３６】
図２の実施の形態においては、図１の伝送路３が、端末１又は２との間で電波による信号の送受信を行う無線基地局３−１又は３−２、およびこれらの基地局３−１と３−２との間を結ぶ電話局等の交換局３−３とから構成されている。端末１と２との間では、基地局３−１および３−２、並びに交換局４等から構成される伝送路３を介して、双方がそれぞれ相手方に信号を送信し、相手方から送信されてきた信号を受信可能となっている。なお、基地局３−１および３−２は、同一の無線基地局であっても良いし、異なる無線基地局であっても良い。
【００３７】
図２では、端末１は、動画像を撮像可能な撮像素子及び光学系を有するビデオカメラ部１−１、文字や、記号、画像等を表示可能な表示部１−２、電話番号や文字、コマンド等を入力するときに操作されるキー部１−３、音声を出力するスピーカ１−４、および音声を入力するためのマイク（マイクロフォン）１−５から構成されている。端末２も、ビデオカメラ部１−１、表示部１−２、キー部１−３、スピーカ１−４、またはマイク１−５とそれぞれ同様に構成されるビデオカメラ部２−１、表示部２−２、キー部２−３、スピーカ２−４、またはマイク２−５から構成されている。
【００３８】
これらの端末１と２との間では、マイク１−５と１−６で取り込まれた音声信号の送受信だけでなく、ビデオカメラ部１−１と２−１で撮影された画像データを送受信することも可能となっており、これにより、端末１の表示部１−２では、端末２のビデオカメラ部２−１で得られた画像データを、端末２の表示部２−２では、端末１のビデオカメラ部１−１で得られた画像データを、それぞれ表示することができるようになっている。
【００３９】
即ち、例えば、送信装置１のビデオカメラ部１−１で撮影された画像データは、フレームレートその他の必要な情報と共に、基地局３−１および３−２、並びに交換局３−３から構成される伝送路３を介して、受信装置２に送信される。受信装置２では、送信装置１から送信されてきた画像データを受信し、例えば液晶ディスプレイ等で構成される表示部２−１に、その受信した画像データ（に基づく画像）を表示する。一方、受信装置２からは、表示部２−１に表示される画像の空間解像度及び時間解像度を制御するための制御情報が、伝送路３を介して送信装置１に送信される。送信装置１では、受信装置２からの制御情報が受信され、その制御情報に基づき、受信装置２において表示される画像の空間解像度および時間解像度が、所定の条件を満たしながら変更されるように、画像データの送信が制御される。
【００４０】
次に、図３は、図２の送信装置１の構成例を示している。
【００４１】
画像入力部１１は、図２のビデオカメラ部１−１に相当し、所定の被写体を撮影して、その画像を、前処理部１２に出力するようになっている。前処理部１２は、背景抽出部１３、オブジェクト抽出部１４、および付加情報算出部１５で構成され、画像入力部１１からの画像に対して、前処理を施し、送信処理部１６に供給するようになっている。
【００４２】
即ち、背景抽出部１３は、画像入力部１１より供給される画像から、いわゆる背景を抽出し、送信処理部１６に供給するようになっている。なお、背景抽出部１３で抽出された背景は、オブジェクト抽出部１４および付加情報算出部１５にも供給されるようになっている。
【００４３】
ここで、背景の抽出方法としては、例えば、連続する複数フレーム（例えば、現在のフレームと、その過去１０フレームなど）の空間的に同一の位置にある画素について、画素値の出現頻度を求め、最も頻度の高い画素値を、その位置における背景とするものや、同一位置の画素の画素値の平均値を求め、その平均値（移動平均値）を、その位置における背景とするもの等がある。
【００４４】
オブジェクト抽出部１４は、画像入力部１１より供給される画像から、背景抽出部１３で抽出された背景を減算等することにより、いわゆる前景を抽出し、送信処理部１６に供給するようになっている。なお、画像入力部１１からの画像の中に、前景となる物体が複数存在する場合には、オブジェクト抽出部１４は、各物体に対応する前景を抽出し、送信処理部１６に供給するようになっている。また、オブジェクト抽出部１４で抽出された前景は、付加情報算出部１５にも供給されるようになっている。ここで、以下、適宜、各物体に対応する前景を、オブジェクトという。
【００４５】
付加情報算出部１５は、背景抽出部１３からの背景の動き（画像の撮影時に、画像入力部１１の撮影方向が動くことによる背景の動き）を表す背景動きベクトルや、オブジェクト抽出部１４からのオブジェクトの動きを表すオブジェクト動きベクトルを検出し、付加情報として、送信処理部１６に供給するようになっている。また、付加情報算出部１５は、オブジェクト抽出部１４から供給される、フレーム内におけるオブジェクトの位置情報等も、付加情報として、送信処理部１６に供給するようになっている。即ち、オブジェクト抽出部１４は、オブジェクトを抽出する際に、そのオブジェクトの位置情報等のオブジェクトに関連する情報も抽出し、付加情報算出部１５に供給するようになっており、付加情報算出部１５は、その位置情報等も、付加情報として出力するようになっている。
【００４６】
送信処理部１６は、背景抽出部１３からの背景、オブジェクト抽出部１４からのオブジェクト、および付加情報算出部１５からの付加情報を多重化し、伝送路３で伝送可能なデータレートの多重化データとして、伝送路３を介して、受信装置２に送信するようになっている。また、送信処理部１６は、受信装置２から伝送路３を介して送信されてくる制御情報を受信し、その制御情報に基づき、受信装置２において表示される画像の空間解像度および時間解像度が、所定の条件を満たしながら変更されるように、背景、オブジェクト、および付加情報の送信を制御するようになっている。
【００４７】
次に、図４のフローチャートを参照して、図３の送信装置１の処理の概要について説明する。
【００４８】
画像入力部１１が出力する画像は、前処理部１２に供給され、前処理部１２では、ステップＳ１において、その画像に対して、前処理が施される。即ち、ステップＳ１では、背景抽出部１３または前景抽出部１４において、画像入力部１１からの画像から背景またはオブジェクトが、それぞれ抽出され、送信処理部１６に供給される。さらに、ステップＳ１では、付加情報算出部１５において、画像入力部１１からの画像についての、上述したような付加情報が求められ、送信処理部１６に供給される。送信処理部１６では、前処理部１２からの背景、前景、および付加情報が、伝送路３を介して送信され、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００４９】
次に、図５は、図２の受信装置２の構成例を示している。
【００５０】
伝送路３を介して、送信装置１から送信されてくる多重化データは、受信処理部２１で受信されるようになっており、受信処理部２１は、多重化データを、背景、オブジェクト、および付加情報に分離し、合成処理部２２に供給するようになっている。
【００５１】
合成処理部２２は、受信処理部２１からの背景、オブジェクト、および付加情報を用いて、元の画像を合成し、画像出力部２３に供給するようになっている。なお、合成処理部２２は、後述する高解像度情報等に基づき、合成する画像の空間解像度および時間解像度を変更するようになっている。
【００５２】
画像出力部２３は、例えば、液晶ディスプレイやＣＲＴ等で構成され、合成処理部２２が出力する画像を表示するようになっている。
【００５３】
制御情報入力部２４は、制御情報を、合成処理部２２および制御情報送信部２５に出力するようになっている。即ち、制御情報入力部２４は、キー部２−３を構成する、例えば、トラックボール等のポインティングデバイスで構成され、ユーザが、画像出力部２３に表示された画像の所定の位置を指定すると、その位置を、ユーザが注目してる注目点として検出し、その注目点の座標を、制御情報に含めて出力する。あるいは、また、制御情報入力部２４は、例えば、ビデオカメラ等で構成され、ユーザを撮影し、画像認識等を行うことにより、画像出力部２３に表示された画像上の、ユーザが注視している点を、注目点として検出し、その注目点の座標を、制御情報に含めて出力する。なお、制御情報入力部２４は、その他、例えば、ユーザが、画像出力部２３に表示される画像の空間解像度および時間解像度を、制御情報として直接入力することができるように構成することも可能である。
【００５４】
制御情報送信部２５は、制御情報入力部２４から制御情報を受信すると、その制御情報を、伝送路３を介して、送信装置１に送信するようになっている。
【００５５】
次に、図６のフローチャートを参照して、図５の受信装置２の処理の概要について説明する。
【００５６】
受信装置２では、受信処理部２１において、送信装置１から伝送路３を介して送信されてくる多重化データが受信される。そして、ステップＳ１１において、受信処理部２１では、多重化データに対して、その多重化データを、背景、オブジェクト、および付加情報に分離する等の受信処理が施される。この受信処理の結果得られた背景、オブジェクト、および付加情報は、合成処理部２２に供給される。合成処理部２２では、ステップＳ１２において、受信処理部２１からの背景、オブジェクト、および付加情報を用いて、元の画像が合成され、画像出力部２３に供給されて表示される。そして、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００５７】
なお、受信装置２において、例えば、制御情報入力部２４が、ユーザによって操作され、これにより、画像出力部２３に表示された画像上の注目点が指定されると、その注目点の座標が、制御情報に含めて出力される。この制御情報は、制御情報送信部２５に供給され、伝送路３を介して、送信装置１に送信される。このようにして送信される制御情報を受信した送信装置１では、上述したように、送信処理部１６において、その制御情報に基づき、受信装置２において表示される画像の空間解像度および時間解像度が、所定の条件を満たしながら変更されるように、背景、オブジェクト、および付加情報の送信が制御される。従って、その後は、そのようにして送信が制御された背景、オブジェクト、および付加情報が、送信装置１から受信装置２に送信されてくるので、受信装置２では、空間解像度および時間解像度が、所定の条件を満たしながら変更された画像が表示されることになる。
【００５８】
次に、図７は、図３の送信装置１の送信処理部１６の構成例を示している。
【００５９】
前処理部１２（図３）からの背景、オブジェクト、および付加情報は、符号化部３１および制御部３５に供給されるようになっており、符号化部３１は、その背景、オブジェクト、および付加情報を符号化し、その結果得られる符号化データを、ＭＵＸ（マルチプレクサ）３２に供給するようになっている。ＭＵＸ３２は、制御部３５からの制御にしたがって、符号化部３１からの背景、オブジェクト、または付加情報の符号化データを選択し、多重化データとして送信部３３に供給するようになっている。送信部３３は、ＭＵＸ３２からの多重化データを変調等し、伝送路３を介して、受信装置２に送信するようになっている。データ量計算部３４は、ＭＵＸ３２が送信部３３に出力する多重化データを監視しており、そのデータレートを算出し、制御部３５に供給するようになっている。
【００６０】
制御部３５は、データ量計算部３４からのデータレートが、伝送路３の伝送レートを越えないように、ＭＵＸ３２による多重化データの出力を制御するようになっている。さらに、制御部３５は、伝送路３を介して受信装置２から送信されてくる制御情報を受信し、その制御情報に基づいて、ＭＵＸ３２による符号化データの選択を制御するようにもなっている。
【００６１】
次に、図８は、図７の符号化部３１の構成例を示している。
【００６２】
背景は、差分計算部４１Ｂに供給されるようになっており、差分計算部４１は、ローカルデコーダ４４Ｂから供給される、いま処理しようとしているフレーム（以下、適宜、注目フレームという）の背景から、既に処理した１フレーム前の背景を減算し、その減算結果としての背景の差分データを、階層符号化部４２Ｂに供給する。階層符号化部４２Ｂは、差分計算部４１Ｂからの背景の差分データを階層符号化し、その符号化結果を、記憶部４３Ｂに供給する。記憶部４３Ｂは、階層符号化部４２からの階層符号化結果を一時記憶する。記憶部４３Ｂに記憶された階層符号化結果は、背景の符号化データとして、ＭＵＸ３２（図７）に供給される。
【００６３】
さらに、記憶部４３Ｂに記憶された階層符号化結果は、ローカルデコーダ４４Ｂに供給され、ローカルデコーダ４４Ｂでは、その階層符号化結果が、元の背景に復号され、差分計算部４１Ｂに供給される。ローカルデコーダ４４Ｂによって復号された背景は、差分計算部４１Ｂにおいて、次のフレームの背景の差分データを求めるのに用いられる。
【００６４】
オブジェクトは、差分計算部４１Ｆに供給されるようになっており、差分計算部４１Ｆ、階層符号化部４２Ｆ、記憶部４３Ｆ、またはローカルデコーダ４４Ｆでは、上述の差分計算部４１Ｂ、階層符号化部４２Ｂ、記憶部４３Ｂ、またはローカルデコーダ４４Ｂにおける場合とそれぞれ同様の処理が行われ、これにより、オブジェクトは、背景と同様にして階層符号化され、ＭＵＸ３２（図７）に供給される。なお、オブジェクトが複数存在する場合は、差分計算部４１Ｆ、階層符号化部４２Ｆ、記憶部４３Ｆ、およびローカルデコーダ４４Ｆでは、複数のオブジェクトそれぞれが、上述したように階層符号化される。
【００６５】
付加情報は、ＶＬＣ（可変長符号化）部４５に供給されるようになっており、ＶＬＣ部４５では、付加情報が可変長符号化され、ＭＵＸ３２（図７）に供給される。
【００６６】
次に、図９を参照して、図８の符号化部３１において行われる階層符号化／復号について説明する。
【００６７】
例えば、いま、下位階層における２×２画素（横×縦）の４画素の平均値を、上位階層の画素（画素値）とし、３階層の階層符号化を行うものとする。この場合、最下位階層の画像として、例えば、図９（Ａ）に示すように、４×４画素を考えると、その左上の２×２画素の４画素ｈ００，ｈ０１，ｈ０２，ｈ０３の平均値ｍ０が演算され、これが、第２階層の左上の１画素とされる。同様にして、第下位階層の画像の右上の４画素ｈ１０，ｈ１１，ｈ１２，ｈ１３の平均値ｍ１、左下の４画素ｈ２０，ｈ２１，ｈ２２，ｈ２３の平均値ｍ２、右下の４画素ｈ３０，ｈ３１，ｈ３２，ｈ３３の平均値ｍ３が演算され、それぞれが、第２階層の右上、左下、右下の１画素とされる。さらに、第２階層の２×２画素の４画素ｍ０，ｍ１，ｍ２，ｍ３の平均値ｑが演算され、これが、第３階層、即ち、ここでは、最上位階層の画像の画素とされる。
【００６８】
以上のような階層符号化によれば、最上位階層の画像の空間解像度は最も低くなり、階層が低くなるにつれて、画像の空間解像度が向上し、最下位階層の画像の空間解像度が最も高くなる。
【００６９】
ところで、以上の画素ｈ００乃至ｈ０３，ｈ１０乃至ｈ１３，ｈ２０乃至ｈ２３，ｈ３０乃至ｈ３３，ｍ０乃至ｍ３，ｑを、全部送信する場合においては、最下位階層の画像だけを送信する場合に比較して、上位階層の画素ｍ０乃至ｍ３，ｑの分だけ、データ量が増加することとなる。
【００７０】
そこで、図９（Ｂ）に示すように、第３階層の画素ｑを、第２階層の画素ｍ０乃至ｍ３のうちの、例えば、右下の画素ｍ３に替えて送信することとする。
【００７１】
さらに、図９（Ｃ）に示すように、第２の階層の画素ｍ０を、それを求めるのに用いた第３の階層の画素ｈ００乃至ｈ０３のうちの、例えば、右下の画素ｈ０３に替えて送信することとする。第２の階層の残りの画素ｍ１，ｍ２，ｑも、同様に、第１階層の画素ｈ１３，ｈ２３，ｈ３３に替えて送信することとする。なお、画素ｑは、第２階層の画素ではないが、画素ｈ３０乃至ｈ３３から直接求められたｍ３に代えて送信されるものであるから、画素ｈ３３に替えて画素ｍ３を送信する替わりに、画素ｑを送信することとする。
【００７２】
以上のようにすることで、図９（Ｃ）に示すように、送信する全画素数は４×４の１６画素となり、図９（Ａ）に示した最下位階層の画素だけの場合と変わらない。従って、この場合、送信するデータ量の増加を防止することができる。
【００７３】
なお、画素ｑと替えられた画素ｍ３、画素ｍ０乃至ｍ３とそれぞれ替えられた画素ｈ０３，ｈ１３，ｈ２３，ｈ３３の復号は、次のようにして行うことができる。
【００７４】
即ち、ｑは、ｍ０乃至ｍ３の平均値であるから、式ｑ＝（ｍ０＋ｍ１＋ｍ２＋ｍ３）／４が成り立つ。従って、式ｍ３＝４×ｑ−（ｍ０＋ｍ１＋ｍ２）により、第３階層の画素ｑおよび第２階層の画素ｍ０乃至ｍ２を用いて、第２階層の画素ｍ３を求める（復号する）ことができる。
【００７５】
また、ｍ０は、ｈ００乃至ｈ０３の平均値であるから、式ｍ０＝（ｈ００＋ｈ０１＋ｈ０２＋ｈ０３）／４が成り立つ。従って、式ｈ０３＝４×ｍ０−（ｈ００＋ｈ０１＋ｈ０２）により、第２階層の画素ｍ０および第１階層の画素ｈ００乃至ｈ０２を用いて、第１階層の画素ｈ０３を求めることができる。同様にして、ｈ１３，ｈ２３，ｈ３３も求めることができる。
【００７６】
以上のように、ある階層において送信されない画素は、その階層の送信される画素と、その１つ上位の階層の送信される画素とから復号することができる。
【００７７】
次に、図１０のフローチャートを参照して、図７の送信処理部１６において行われる送信処理について説明する。
【００７８】
送信処理部１６では、まず最初に、ステップＳ２１において、制御部３５が、受信装置２から制御信号が送信されてきたかどうかを判定する。ステップＳ２１において、受信装置２から制御信号が送信されてきていないと判定された場合、即ち、制御部３５が制御信号を受信していない場合、ステップＳ２２に進み、制御部３５は、ＭＵＸ３２を制御し、受信装置２において、通常の時間解像度（例えば、デフォルトで設定されている時間解像度）で画像の表示が可能なように、背景、オブジェクト、および付加情報の符号化データを選択させ、多重化させる。
【００７９】
即ち、通常の時間解像度として、例えば、３０フレーム／秒が設定されている場合、ＭＵＸ３２は、画像を、３０フレーム／秒で表示するとして、多重化データを、伝送路３の伝送レートで送信したときに得られる最高の空間解像度で、画像が表示されるように、背景、オブジェクト、および付加情報の符号化データを選択して多重化し、多重化データを出力する。
【００８０】
具体的には、例えば、上述のようにして３階層の階層符号化を行った場合において、３０フレーム／秒で画像を表示するのに、伝送路３の伝送レートでは、第３階層のデータしか送信することができないときには、第３階層の画像を表示するための背景、オブジェクト、および付加情報の符号化データが選択される。従って、この場合、受信装置２では、３０フレーム／秒の時間解像度で、横および縦方向の空間解像度がいずれも元の画像（第１階層の画像）の１／４となった画像が表示されることになる。
【００８１】
そして、ステップＳ２３に進み、送信部３３は、ＭＵＸ３２が出力する多重化データを、伝送路３を介して送信し、ステップＳ２１に戻る。
【００８２】
また、ステップＳ２１において、受信装置２から制御信号が送信されてきたと判定された場合、即ち、制御部３５が制御信号を受信した場合、ステップＳ２４に進み、制御部３５は、その制御信号に基づいて、ユーザが制御情報入力部２４（図５）を操作することにより指定した注目点を認識し、ステップＳ２５に進む。
【００８３】
ステップＳ２５では、制御部３５は、例えば、注目点を中心とする所定の大きさの長方形（例えば、フレームの横方向または縦方向にそれぞれ平行な辺を有する所定の大きさの長方形であって、注目点を重心とするもの）等の、注目点を含む領域を、空間解像度を優先的に向上させる優先範囲として設定し、その優先範囲内の画像を構成するための背景、オブジェクト、および付加情報を検出する。
【００８４】
そして、ステップＳ２６に進み、制御部３５は、ＭＵＸ３２を制御し、受信装置２において、優先範囲内の画像が、より高い空間解像度で表示されるように、背景、オブジェクト、および付加情報の符号化データを選択させ、多重化させる。
【００８５】
即ち、制御部３５は、受信装置２からの制御信号を受信した場合、時間解像度を犠牲にして、優先範囲内の画像の空間解像度を向上させるように、ＭＵＸ３２を制御する。
【００８６】
これにより、ＭＵＸ３２は、例えば、優先範囲内の画像については、第３階層の他、第２階層の画像を表示するための背景、オブジェクト、および付加情報の符号化データを優先的に選択して多重化し、多重化データを出力する。
【００８７】
さらに、ステップＳ２６では、制御部３５は、多重化データとして選択する付加情報に、優先範囲の位置と大きさ等の情報（以下、適宜、高解像度情報という）を挿入するように、ＭＵＸ３２を制御し、ステップＳ２３に進む。
【００８８】
ステップＳ２３では、上述したように、送信部３３において、ＭＵＸ３２が出力する多重化データが、伝送路３を介して送信され、ステップＳ２１に戻る。
【００８９】
ここで、例えば、いま、説明を簡単にするために、ステップＳ２６において、優先範囲外の画像については、第３階層の画像を表示するための背景、オブジェクト、および付加情報の符号化データを、ステップＳ２２における場合と同様に選択し続けるとすると、ステップＳ２６では、ステップＳ２２の場合に比較して、優先範囲内の画像についての第２階層のデータの分だけ、多重化データのデータ量が増加することになる。本実施の形態では、上述したように、３０フレーム／秒で画像を表示するのに、伝送路３の伝送レートでは、第３階層のデータしか送信することができないから、ステップＳ２６で得られた多重化データは、画像を３０フレーム／秒で表示可能なように送信することはできない。そこで、ステップＳ２３では、ステップＳ２６で得られた多重化データは、極端には、時間解像度が０フレーム／秒で画像が表示されるように送信される。
【００９０】
従って、この場合、受信装置２では、優先範囲の画像については、横および縦方向の空間解像度がいずれも、元の画像（第１階層の画像）の１／２となった画像、即ち、横および縦方向の空間解像度がいずれも、いままで表示されていた第３階層の画像の２倍になった画像（第２階層の画像）が表示されることになる。但し、その時間解像度は、例えば、０フレーム／秒、即ち、表示される画像は、静止画となる。
【００９１】
以上のようにして、優先範囲内の画像について、第２階層のデータが送信された後、ステップＳ２１において、前回に続いて、受信装置２から制御信号が送信されてきたと判定された場合、即ち、ユーザが、制御情報入力部２４を操作し続け、同一の注目点を指定し続けている場合、ステップＳ２４に進み、前回と同一の注目点が認識され、ステップＳ２５に進む。そして、ステップＳ２５でも、前回と同一の優先範囲が設定され、ステップＳ２６に進む。
【００９２】
ステップＳ２６では、制御部３５は、ＭＵＸ３２を制御し、受信装置２において、優先範囲内の画像が、より高い空間解像度で表示されるように、背景、オブジェクト、および付加情報の符号化データを選択させ、多重化させる。
【００９３】
即ち、この場合、既に、優先範囲内の画像については、第３階層の他、第２階層の背景、オブジェクト、および付加情報の符号化データが優先的に選択されるようになっているので、ここでは、さらに、第１階層の背景、オブジェクト、および付加情報の符号化データも優先的に選択され、多重化データとして出力される。さらに、ステップＳ２６では、上述したように、高解像度情報が付加情報に挿入され、ステップＳ２３に進み、送信部３３において、ＭＵＸ３２が出力する多重化データが、伝送路３を介して送信され、ステップＳ２１に戻る。
【００９４】
従って、この場合、受信装置２では、優先範囲の画像については、元の画像（第１階層の画像）と同一の空間解像度の画像、即ち、横および縦方向の空間解像度がいずれも、最初に表示されていた第３階層の画像の４倍になった画像（第１階層の画像）が表示されることになる。但し、その時間解像度は、例えば、０フレーム／秒、即ち、表示される画像は、静止画となる。
【００９５】
以上から、ユーザが、制御情報入力部２４を操作し続け、これにより、同一の注目点を指定し続けると、画像の時間解像度を犠牲にして、注目点を含む優先範囲内の画像について、空間解像度をより向上させるためのデータが優先的に送信されるので、画像の時間解像度は劣化するが、注目点を含む優先範囲内の画像の空間解像度は、徐々に向上し、優先範囲内の画像は、より鮮明に表示されるようになる。即ち、ユーザが注目している部分の画像は、より鮮明に表示される。
【００９６】
以上のように、注目点を含む所定の優先領域内の画像の空間解像度および時間解像度が、伝送路３の伝送レートで送信される画像データによって得られる解像度の範囲内で変更されるように、画像データの送信が制御されるので、即ち、優先領域内の画像の空間解像度を向上させるとともに、画像の時間解像度を劣化させるように、かつその向上した空間解像度および劣化した時間解像度が、伝送路３の伝送レートで送信される画像データによって得られるように、画像データの送信が制御されるので、限られた伝送レートにおいて、受信装置２で表示される画像の空間解像度を、より向上させることができる。
【００９７】
次に、図１１は、図５の受信処理部２１の構成例を示している。
【００９８】
伝送路３からの多重化データは、受信部５１において受信され、復調等された後、ＤＭＵＸ（デマルチプレクサ）５２に供給される。ＤＭＵＸ５２は、受信部５１からの多重化データを、背景、オブジェクト、および付加情報の符号化データに分離し、復号部５３に供給する。復号部５３は、背景、オブジェクト、または付加情報の符号化データを、それぞれ元のデータに復号し、合成処理部２２（図５）に出力する。
【００９９】
即ち、図１２は、図１１の復号部５３の構成例を示している。
【０１００】
背景の符号化データとしての階層符号化された差分データは、加算器６１Ｂに供給される。加算器６１Ｂには、さらに、記憶部６２Ｂに記憶された、既に復号された１フレーム前の背景も供給されるようになっており、加算器６１Ｂは、そこに供給される背景の差分データに、記憶部６２Ｂからの１フレーム前の背景を加算することで、必要な階層の背景を復号する。この復号された背景は、記憶部６２Ｂに供給されて記憶され、加算器６１Ｂに供給されるとともに、合成処理部２２（図５）に供給される。
【０１０１】
オブジェクトの符号化データとしての階層符号化された差分データは、加算器６１Ｆに供給されるようになっており、加算器６１Ｆまたは記憶部６２Ｆでは、上述の加算器６１Ｂまたは記憶部６２Ｂにおける場合とそれぞれ同様の処理が行われ、これにより、オブジェクトの差分データは、背景と同様に、必要な階層のオブジェクトに復号され、合成処理部２２（図５）に供給される。なお、オブジェクトが複数存在する場合は、加算器６１Ｆおよび記憶部６２Ｆでは、複数のオブジェクトの差分データそれぞれが、上述したように復号（階層復号）される。
【０１０２】
付加情報の符号化データとしての可変長符号化された付加情報は、逆ＶＬＣ部６３に供給され、可変長復号される。これにより、元の付加情報に復号され、合成処理部２２に供給される。
【０１０３】
なお、上述した図８のローカルデコーダ４４Ｂは、加算器６１Ｂおよび記憶部６２Ｂと同様に、ローカルデコーダ４４Ｆは、加算器６１Ｆおよび記憶部６２Ｆと同様に、それぞれ構成されている。
【０１０４】
次に、図１３は、図５の合成処理部２２の構成例を示している。
【０１０５】
復号部５３（図１１）が出力する背景は、背景書き込み部７１に、オブジェクトは、オブジェクト書き込み部７２に、付加情報は、背景書き込み部７１、オブジェクト書き込み部７２、および合成部７７に供給されるようになっている。
【０１０６】
背景書き込み部７１は、そこに供給される背景を、背景メモリ７３に、順次書き込むようになっている。ここで、ビデオカメラがパンニングやチルティングされて撮影が行われることにより、背景に動きがある場合には、背景書き込み部７１では、背景の位置合わせを行った状態で、背景メモリ７３への背景の書き込みが行われるようになっている。従って、背景メモリ７３は、１フレームの画像よりも空間的に広い画像を記憶することができるようになっている。なお、背景の位置合わせは、付加情報に含まれる背景動きベクトルに基づいて行われるようになっている。
【０１０７】
また、背景書き込み部７１は、空間解像度の高い背景を、背景メモリ７３に書き込んだ場合、その画素に対応する、背景フラグメモリ７４のアドレスに記憶された背景フラグを０から１にするようになっている。背景書き込み部７１は、背景メモリ７３に背景を書き込む際に、背景フラグメモリ７４を参照するようになっており、背景フラグが１になっている画素、即ち、既に、空間解像度の高い背景が記憶されている画素には、空間解像度の低い背景の書き込みは行わないようになっている。従って、背景メモリ７３には、基本的には、背景書き込み部７１に背景が供給されるたびに、その背景が書き込まれるが、既に、空間解像度の高い背景が記憶されている画素には、空間解像度の低い背景の書き込みは行われない。その結果、背景メモリ７３においては、背景書き込み部７１に空間解像度の高い背景が供給されるごとに、空間解像度の高い範囲が拡がっていくことになる。
【０１０８】
オブジェクト書き込み部７２は、そこに供給されるオブジェクトを、オブジェクトメモリ７５に、順次書き込むようになっている。ここで、オブジェクトが複数存在する場合は、オブジェクト書き込み部７２は、複数のオブジェクトそれぞれを、各オブジェクトごとに、オブジェクトメモリ７５に書き込むようになっている。また、オブジェクト書き込み部７２は、同一のオブジェクト（後述する同一のラベルが付されているオブジェクト）の書き込みを行う場合、既にオブジェクトメモリ７５に書き込まれているオブジェクトに替えて、新しいオブジェクト（新たに、オブジェクト書き込み部７２に供給されるオブジェクト）を書き込むようになっている。
【０１０９】
さらに、オブジェクト書き込み部７２は、空間解像度の高いオブジェクトを、オブジェクトメモリ７５に書き込んだ場合、その画素に対応する、オブジェクトフラグメモリ７６のアドレスに記憶されたオブジェクトフラグを０から１にするようになっている。オブジェクト書き込み部７２は、オブジェクトメモリ７５にオブジェクトを書き込む際に、オブジェクトフラグメモリ７６を参照するようになっており、オブジェクトフラグが１になっているオブジェクト、即ち、既に、空間解像度の高いオブジェクトが記憶されているオブジェクトメモリ７５には、空間解像度の低いオブジェクトの書き込みは行わないようになっている。従って、オブジェクトメモリ７５においても、背景メモリ７３における場合と同様に、基本的には、オブジェクト書き込み部７２にオブジェクトが供給されるたびに、そのオブジェクトが書き込まれるが、既に、空間解像度の高いオブジェクトが記憶されている画素には、空間解像度の低いオブジェクトの書き込みは行われず、その結果、オブジェクトメモリ７５においては、オブジェクト書き込み部７２に空間解像度の高いオブジェクトが供給されるごとに、空間解像度の高いオブジェクトの数が増加していくことになる。
【０１１０】
背景メモリ７３は、背景書き込み部７１から供給される背景を記憶するようになっている。背景フラグメモリ７４は、背景メモリ７３の対応するアドレスに、空間解像度の高い背景が記憶されているかどうかを示す、上述したような１ビットの背景フラグを記憶するようになっている。オブジェクトメモリ７５は、１以上のメモリで構成され、オブジェクト書き込み部７２から供給されるオブジェクトを、各オブジェクトごとに記憶するようになっている。オブジェクトフラグメモリ７６は、オブジェクトメモリ７５に、空間解像度の高いオブジェクトが記憶されているかどうかを示す、上述したような１ビットのオブジェクトフラグを記憶するようになっている。
【０１１１】
なお、ここでは、説明を簡単にするため、背景フラグやオブジェクトフラグを、１ビットのフラグとしたが、背景フラグやオブジェクトフラグは、複数ビットのフラグとすることができる。この場合、背景フラグやオブジェクトフラグによって、より多段階の解像度を表現することができる。即ち、１ビットのフラグでは、解像度が高いか、または低いの２段階しか表現することができないが、複数ビットのフラグによれば、より多段階の解像度を表現することができる。
【０１１２】
合成部７７は、背景メモリ７３に記憶された背景から、いま表示を行うべきフレーム（このフレームも、以下、適宜、注目フレームという）の背景を、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、その背景に、オブジェクトメモリ７５に記憶されたオブジェクトを、付加情報に含まれるオブジェクト動きベクトルに基づいて合成し、これにより、注目フレームの画像を構成して、表示メモリ７８に供給するようになっている。
【０１１３】
さらに、合成部７７は、制御情報入力部２４（図５）から、制御情報を受信した場合、その制御情報に含まれる注目点の位置にあるオブジェクトを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に供給するようになっている。
【０１１４】
表示メモリ７８は、いわゆるＶＲＡＭ(Video Read Only Memory)として機能するようになっており、合成部７７からの注目フレームの画像を一時記憶する。サブウインドウメモリ７９は、合成部７７からのオブジェクトを一時記憶する。
【０１１５】
重畳部８０は、表示メモリ７８の記憶内容を読み出し、画像出力部２３（図５）に供給して表示させる。また、重畳部８０は、必要に応じて、画像出力部２３に、後述するサブウインドウをオープンし、サブウインドウメモリ７９の記憶内容を読み出して、サブウインドウに表示させる。
【０１１６】
次に、図１４のフローチャートを参照して、図１３の合成処理部２２で行われる処理（合成処理）について説明する。
【０１１７】
まず最初に、ステップＳ３１において、背景書き込み部７１またはオブジェクト書き込み部７２は、復号部５３（図１２）からの背景またはオブジェクトを、背景フラグメモリ７４に記憶された背景フラグ、またはオブジェクトフラグメモリ７５に記憶されたオブジェクトフラグに基づいて、それぞれ上述したようにして書き込む。
【０１１８】
即ち、背景書き込み部７１は、背景フラグメモリ７４を参照し、背景フラグが０になっている画素に対応する背景メモリ７３のアドレスには、そこに供給される背景を書き込み、背景フラグが１になっている画素に対応する背景メモリ７３のアドレスには、そこに供給される背景が、空間解像度の高いものである場合にのみ、その空間解像度の高い背景を書き込む。
【０１１９】
オブジェクト書き込み部７２も同様に、オブジェクトフラグが０になっているオブジェクトメモリ７５には、そこに供給されるオブジェクトを書き込み、オブジェクトフラグが１になっているオブジェクトメモリ７５には、そこに供給されるオブジェクトが、空間解像度の高いものである場合にのみ、その空間解像度の高いオブジェクトを書き込む。
【０１２０】
なお、背景メモリ７３の既に背景が記憶されているアドレスに、背景を書き込む場合には、その書き込みは、上書きする形で行われる。オブジェクトメモリ７５への書き込みも同様である。
【０１２１】
その後、ステップＳ３２に進み、背景書き込み部７１、オブジェクト書き込み部７２それぞれにおいて、付加情報に、高解像度情報が含まれているかどうかが判定される。ステップＳ３２において、付加情報に、高解像度情報が含まれていると判定された場合、即ち、ユーザが制御情報入力部２４（図５）を操作することにより、送信装置１に、制御情報が送信され、これにより、上述したようにして、送信装置１から、優先範囲内の画像について空間解像度の高い背景およびオブジェクトが送信されてきた場合、ステップ３３に進み、背景書き込み部７１またはオブジェクト書き込み部７２において、背景フラグメモリ７４またはオブジェクトフラグメモリ７６それぞれの所定の背景フラグまたはオブジェクトフラグが１にされる。
【０１２２】
即ち、送信装置１から、優先範囲内の画像について空間解像度の高い背景およびオブジェクトが送信されてきた場合には、ステップＳ３１において、背景メモリ７３またはオブジェクトメモリ７５に、その空間解像度の高い背景またはオブジェクトが書き込まれる。このため、ステップＳ３３では、その空間解像度の高い背景またはオブジェクトを構成する画素についての背景フラグまたはオブジェクトフラグが、それぞれ１とされる。
【０１２３】
その後、ステップＳ３４に進み、合成部７７は、優先範囲内にあるオブジェクトを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に書き込む。
【０１２４】
即ち、ステップＳ３２において、付加情報に、高解像度情報が含まれていると判定される場合というのは、上述したように、ユーザが制御情報入力部２４（図５）を操作することにより、送信装置１に、制御情報が送信され、これにより、上述したようにして、送信装置１から、優先範囲内の画像について空間解像度の高い背景およびオブジェクトが送信されてきた場合であるが、送信装置１に送信される制御情報は、合成部７７にも供給される。そこで、合成部７７は、制御情報を受信すると、ステップＳ３４において、その制御情報に含まれる注目点の座標から、優先範囲を認識し、送信装置１から送信されてくる、優先範囲内にある空間解像度の高いオブジェクトを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に書き込む。
【０１２５】
そして、ステップＳ３５に進み、合成部７７は、背景メモリ７３に記憶された背景から、いま表示を行うべきフレーム（注目フレーム）の背景を、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、注目フレームに表示すべきオブジェクトを、オブジェクトメモリ７５から読み出し、注目フレームの背景と、オブジェクトメモリ７５から読み出したオブジェクトとを、付加情報に含まれるオブジェクト動きベクトルに基づいて合成し、これにより、注目フレームの画像を構成して、表示メモリ７８に書き込む。即ち、合成部７７は、例えば、表示メモリ７８に対して、背景を書き込み、その後、オブジェクトを上書きすることで、背景とオブジェクトを合成した注目フレームの画像を、表示メモリ７８に書き込む。
【０１２６】
以上のようにして、表示メモリ７８に書き込まれた注目フレームの画像、およびサブウインドウメモリ７９に書き込まれたオブジェクトは、画像出力部２３（図５）に供給されて表示される。
【０１２７】
なお、送信装置１においては、例えば、付加情報に、いわゆるソフトキーを含めるようにすることができ、この場合、合成部７７では、オブジェクトと背景との合成を、そのソフトキーを用いて行うようにすることができる。
【０１２８】
一方、ステップＳ３２において、付加情報に、高解像度情報が含まれていないと判定された場合、即ち、ユーザが制御情報入力部２４（図５）を操作していない場合、ステップＳ３３およびＳ３４をスキップして、ステップＳ３５に進み、上述したように、合成部７７において、背景メモリ７３から、注目フレームの背景が読み出されるともに、オブジェクトメモリ７５から、必要なオブジェクトが読み出され、注目フレームの背景と、オブジェクトメモリ７５から読み出したオブジェクトとが、付加情報にしたがって合成される。これにより、注目フレームの画像が構成され、表示メモリ７８に書き込まれる。そして、ステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０１２９】
以上のような合成処理によれば、ユーザが制御情報入力部２４（図５）を操作していない場合、即ち、制御情報入力部２４が、例えば、マウス等のポインティングデバイスで構成されており、そのドラッグ（またはクリック）が行われていない場合には、図１５（Ａ）に示すように、画像出力部２３（図５）においては、空間解像度の低い画像が、デフォルトの時間解像度で表示される。なお、図１５（Ａ）においては、空間解像度の低い背景の上を、空間解像度の低いオブジェクトが、右方向に移動している。
【０１３０】
そして、ユーザが、制御情報入力部２４（図５）を操作して、カーソルを、オブジェクト上に移動し、その位置でドラッグを行うと、上述したように、送信装置１に、制御情報が送信され、送信装置１では、その制御情報に含まれる注目点を含む優先範囲の画像について、空間解像度の高い画像を表示するためのデータが、時間解像度を犠牲にして送信されてくる。その結果、図１５（Ｂ）に示すように、画像出力部２３（図５）においては、時間解像度は、例えば０フレーム／秒であるが、ドラッグが行われている位置を中心とする優先範囲内にあるオブジェクトおよび背景の空間解像度が徐々に向上していく画像が表示される。即ち、ドラッグが行われている時間に応じて（またはクリックが行われた回数に応じて）、優先範囲内の画像の空間解像度が徐々に向上していく。
【０１３１】
さらに、この場合、画像出力部２３（図５）においては、図１５（Ｂ）に示すように、サブウインドウがオープンされ、そのサブウインドウに、ドラッグが行われている位置を中心とする優先範囲内にある、空間解像度が徐々に向上していくオブジェクトが表示される。
【０１３２】
その後、ユーザが、制御情報入力部２４（図５）によるドラッグを停止すると、合成部７７は、上述したように、ステップＳ３５において、背景メモリ７３から、注目フレームの背景を読み出すともに、オブジェクトメモリ７５からオブジェクトを読み出し、注目フレームの背景と、オブジェクトメモリ７５から読み出したオブジェクトとを、付加情報にしたがって合成し、表示メモリ７８に書き込む。上述したように、ドラッグされることにより空間解像度が高くなったオブジェクトは、そのまま、オブジェクトメモリ７５に記憶され続けるので、画像出力部２３（図５）においては、図１５（Ｃ）に示すように、ドラッグされることにより空間解像度が高くなったオブジェクトが、そのまま、注目フレームにおいて表示されるべき位置に貼り付けられた画像が、通常の時間解像度で表示される。
【０１３３】
そして、以後は、画像出力部２３（図５）において、図１５（Ｃ）に示すように、空間解像度が高くなったオブジェクトが、付加情報にしたがって移動していく画像が、通常の時間解像度で表示される。
【０１３４】
従って、ユーザは、詳細を見たいオブジェクトが表示されている位置でドラッグを行うことにより、空間解像度が高くなったオブジェクトを見ることが可能となる。即ち、オブジェクトの詳細を見ることが可能となる。
【０１３５】
また、ドラッグされることにより、優先範囲内の背景についても、高い空間解像度の背景が、背景メモリ７３に記憶されるので、ドラッグが停止されても、高い空間解像度の背景が背景メモリ７３に書き込まれた部分については、やはり、その高い空間解像度の背景が表示される。従って、ドラッグが行われると、そのドラッグが行われた位置を含む優先範囲内の背景の空間解像度は向上するから、画像出力部２３（図５）の表示画面上の各位置で、ドラッグが行われると、そのドラッグが行われるごとに、空間解像度の高い部分の背景が、いわば虫食い状に拡がっていき、最終的には、画像出力部２３（図５）において、全体の空間解像度が高い背景が表示されることになる。
【０１３６】
なお、本実施の形態では、背景は、上述したように、背景メモリ７３に記憶されるので、送信装置１においては、一度送信した空間解像度の低い背景は送信する必要はなく、従って、その分の伝送帯域（伝送レート）を、より空間解像度の高いオブジェクトや背景の送信に、優先的に割り当てることが可能である。
【０１３７】
また、上述の場合においては、ドラッグされることにより空間解像度が高くなったオブジェクトを、オブジェクトメモリ７５に記憶しておき、ドラッグが停止された後は、その空間解像度の高いオブジェクトを背景に貼り付けるようにしたため、受信装置２において表示されるオブジェクトは、空間解像度の高いものとなるが、そのオブジェクトには、送信装置１で撮影されたオブジェクトの状態の変化は反映されないことになる。
【０１３８】
そこで、ドラッグが停止された後は、オブジェクトフラグを無視し、復号部５３（図１２）の記憶部６２Ｆに記憶されたオブジェクトを、オブジェクトメモリ７５に記憶された高い空間解像度のオブジェクトに替えて書き込むようにすることが可能である。即ち、復号部５３（図１２）の記憶部６２Ｆには、送信装置１から送信されてくるオブジェクトが順次記憶されるから、そのオブジェクトを、オブジェクトメモリ７５に書き込むことで、上述したようにして、画像出力部２３に表示される画像のオブジェクトは、送信装置１で撮影されたオブジェクトの状態の変化が反映されたものとなる（但し、表示されるオブジェクトは、空間解像度の低いものとなる）。
【０１３９】
ここで、送信装置１の送信処理部１６を構成する、図７に示したＭＵＸ３２は、制御部３５の制御にしたがい、多重化データのヘッダ等に、高解像度情報の有無や、その高解像度情報によって特定される優先範囲のフレームレート（時間解像度）および空間解像度、優先範囲以外の領域のフレームレートおよび空間解像度等を挿入するようになっており、受信装置２は、このヘッダに配置された情報（以下、適宜、ヘッダ情報という）に基づいて、高解像度情報の有無や、優先範囲のフレームレートおよび空間解像度、優先範囲以外の領域のフレームレートおよび空間解像度等を認識するようになっている。
【０１４０】
なお、送信装置１において、ヘッダ情報には、その他、例えば、受信装置２から送信されてくる制御情報に含まれる注目点（の座標）を含めるようにすることができる。この場合、図１３の合成部７７では、送信装置１から送信されてくるヘッダ情報から、注目点の位置にあるオブジェクトを認識するようにすることができる。即ち、上述の場合には、合成部７７において、制御情報入力部２４（図５）から供給される制御情報に基づいて、その制御情報に含まれる注目点の位置にあるオブジェクトを認識し、そのオブジェクトを、オブジェクトメモリ７５から読み出して、サブウインドウメモリ７９に供給するようにしたが、ヘッダ情報に注目点が含まれる場合には、そのヘッダ情報に基づいて、注目点の位置にあるオブジェクトを認識するようにすることができる。この場合、図５において、制御情報入力部２４が出力する制御情報を、合成処理部２２に供給せずに済むようになる。
【０１４１】
次に、図１６を参照して、送信装置１から、伝送路３を介して、受信装置２に送信される画像の空間解像度と時間解像度との関係について説明する。
【０１４２】
なお、伝送路３の伝送レートはＲ[bps]とし、さらに、ここでは、背景と、３つのオブジェクト＃１乃至＃３からなる画像を送信するとする。また、ここでは、説明を簡単にするために、付加情報は考えないこととし、さらに、背景、オブジェクト＃１乃至＃３それぞれを、ある空間解像度で表示するためには、同一のデータ量のデータが必要であるとする。
【０１４３】
この場合、ドラッグが行われていないときには、送信装置１においては、図１６（Ａ）に示すように、背景、オブジェクト＃１乃至＃３それぞれが、伝送レートＲを４等分したレートＲ／４[bps]で送信される。なお、通常の時間解像度が、１／Ｔフレーム／秒であるとすると、送信装置１は、背景、オブジェクト＃１乃至＃３それぞれの１フレーム分のデータの送信を、長くてもＴ秒で完了することができるように行う。従って、この場合、受信装置２では、１フレームあたり、Ｔ×Ｒ／４ビットのデータで得られる空間解像度の背景、オブジェクト＃１乃至＃３がそれぞれ表示される。
【０１４４】
そして、ある時刻ｔ1において、例えば、オブジェクト＃１の位置で、ユーザがドラッグを行うと、送信装置１は、例えば、図１６（Ａ）に示すように、背景並びにオブジェクト＃２および＃３の送信を停止し、オブジェクト＃１のみを、伝送路３の伝送レートＲすべてを用いて送信する。その後、時刻ｔ1から時間４Ｔだけ経過した時刻ｔ2において、ユーザがドラッグを停止したとすると、送信装置１は、再び、背景、オブジェクト＃１乃至＃３それぞれを、伝送レートＲ／４で送信する。
【０１４５】
従って、ドラッグが行われている間においては、オブジェクト＃１については、４Ｔ×Ｒビットのデータが送信されるので、いま、ドラッグが行われている間の時間解像度を０フレーム／秒とするものとすると、受信装置２では、１フレームあたり、４Ｔ×Ｒビットのデータで得られる空間解像度のオブジェクト＃１が表示されることになる。即ち、横および縦の空間解像度を同じだけ向上させるものとした場合、受信装置２では、時間解像度は０フレーム／秒となるが、ユーザがドラッグしたオブジェクト＃１については、横および縦の両方の空間解像度が、ドラッグが行われる前の４倍（＝√（４Ｔ×Ｒ／（Ｔ×Ｒ／４ビット）））となったものが表示されることになる。
【０１４６】
即ち、時間解像度を犠牲にすることにより、空間解像度をより向上させることができ、さらに、時間解像度を犠牲にしない場合に比較して、ユーザが注目している部分の空間解像度を、より迅速に向上させることができる。
【０１４７】
なお、上述の場合には、オブジェクト＃１のドラッグが行われている間、背景並びに他のオブジェクト＃２および＃３のデータは、完全に送信しないようにしたが、図１６（Ｂ）に示すように、オブジェクト＃１のデータの送信には、高い伝送レートを割り当て、背景並びに他のオブジェクト＃２および＃３のデータの送信には、低い伝送レートを割り当てるようにすることも可能である。
【０１４８】
また、ドラッグが行われても、背景、オブジェクト＃１乃至＃３それぞれの送信に割り当てる伝送レートは、Ｒ／４のまま変えないことも可能である。即ち、ここでは、時間解像度を犠牲にして、空間解像度を向上させるため、例えば、伝送レートの割り当てを変えなくても、時間は要するようになるが、空間解像度を向上させることができる。
【０１４９】
次に、本実施の形態では、上述したように、ドラッグされることにより空間解像度が高くなったオブジェクトを、オブジェクトメモリ７５に記憶しておき、ドラッグが停止された後に、その空間解像度の高いオブジェクトを背景に貼り付けるようにしたが、この空間解像度の高いオブジェクトを、背景のどの位置に貼り付けるかは、その後に送信装置１から送信されてくる、そのオブジェクトについての付加情報に含まれるオブジェクト動きベクトルに基づいて決定される。
【０１５０】
従って、受信装置２は、あるフレームのオブジェクトが、そのフレームに隣接するフレームのどのオブジェクトに対応するのかということを認識する必要があり、送信装置１（図３）のオブジェクト抽出部１４は、オブジェクトの抽出にあたり、受信装置２が、そのような認識を行うための情報を付加するようにもなっている。
【０１５１】
そこで、図１７は、図３のオブジェクト抽出部１４の構成例を示している。
【０１５２】
減算部８１には、画像入力部１１が出力する画像と、背景抽出部１３が出力する、その画像の背景とが供給されるようになっており、減算部１８は、画像入力部１１からの画像から、背景抽出部１３からの背景を減算することで、オブジェクトでなる前景を求めるようになっている。演算部８１で求められた前景は、フレームメモリ８２および初期領域分割部８３に供給されるようになっている。
【０１５３】
フレームメモリ８２は、減算部８１から供給される前景を一時記憶するようになっている。初期領域分割部８３は、減算部８１から供給される、いま処理しようとしているフレーム（注目フレーム）の前景と、フレームメモリ８２に記憶された、注目フレームの１フレーム前の前景（前フレーム前景）とを用いて、初期領域分割処理を行うようになっている。
【０１５４】
即ち、初期領域分割部８３は、まず、注目フレームの前景を構成する各画素を、その画素値によってクラス分けする。具体的には、例えば、画素値がＲＧＢ(Red, Green, Blue)で表現される場合、初期領域分割部８３は、そのＲ，Ｇ，Ｂ値を要素として構成されるベクトル（以下、適宜、色ベクトルという）が、ＲＧＢ空間にあらかじめ設定された複数の小領域のいずれに属するものかによって、画素をクラス分けする。また、初期領域分割部８３は、フレームメモリ８２に記憶された、注目フレームの１フレーム前の前景を構成する各画素も、同様にしてクラス分けする。
【０１５５】
さらに、初期領域分割部８３は、例えば、注目フレームを、第ｎフレームとするとき、その第ｎフレームの前景、および注目フレームの１フレーム前のフレームである第ｎ−１フレームの前景を、時間的または空間的に隣接する、同一クラスにクラス分けされた画素でなる領域（以下、適宜、初期領域という）に分割する。
【０１５６】
即ち、例えば、いま、図１８（Ａ）に示すように、第ｎフレームの前景を構成する各画素、および第ｎ−１フレームの前景を構成する各画素がクラス分けされたとする。ここで、図１８において（後述する図１９および図２０においても同様）、画素を表す四角形の中に記述されているｃと数字との組が、その画素のクラスを表す。
【０１５７】
図１８（Ａ）に示す場合においては、第ｎフレームの前景、および第ｎ−１フレームの前景が、時間的または空間的に隣接する、同一クラスにクラス分けされた画素でなる領域に分割されることにより、図１８（Ｂ）に点線で囲んで示すような初期領域が構成される。
【０１５８】
以上のようにして、初期領域分割部８３において得られる初期領域は、図１７の領域併合部８４に供給されるようになっている。
【０１５９】
領域併合部８４は、初期領域分割部８３からの初期領域を併合する領域併合処理を行うようになっている。
【０１６０】
即ち、領域併合部８４は、オブジェクト情報メモリ８８から、既にオブジェクトの抽出が行われた第ｎ−１フレームに存在するオブジェクトに関するオブジェクト情報を読み出し、これにより、第ｎ−１フレームに存在するオブジェクトの位置と範囲を認識する。さらに、領域併合部８４は、第ｎ−１フレームに存在するオブジェクトを構成する画素を認識し、その画素を含んで構成される初期領域を併合する。
【０１６１】
具体的には、例えば、いま、第ｎ−１フレームにおいて、図１９（Ａ）に太線で囲んで示す範囲に、あるオブジェクトＯｂｊが存在していたとすると、このオブジェクトＯｂｊは、クラスｃ２，ｃ３，ｃ４，ｃ５にクラス分けされた画素から構成されており、これらの画素を含んで構成される初期領域が併合される。従って、ここでは、クラスｃ２，ｃ３，ｃ４，ｃ５それぞれの画素からなる初期領域（以下、適宜、クラスｃ＃ｉの画素からなる初期領域を、初期領域ｃ＃ｉと記述する）が、図１９（Ｂ）に斜線を付して示すように併合される。
【０１６２】
さらに、領域併合部８４は、併合された初期領域（以下、適宜、併合領域という）と、その併合領域に隣接する初期領域との間の距離を計算する。ここで、併合領域と、それに隣接する初期領域（以下、適宜、隣接初期領域という）との間の距離としては、例えば、２つの領域（併合領域と隣接初期領域）を構成する画素それぞれの画素値（色）の平均値どうしの距離（ＲＧＢ空間での距離）や、その２つの領域の境界付近の画素の画素値（色）の連続性等を用いることができる。
【０１６３】
そして、領域併合部８４は、併合領域と隣接初期領域との間の距離が、所定の閾値未満（以下）である場合には、併合領域に、その隣接初期領域を併合し、新たな併合領域を構成する。領域併合部８４は、併合領域に併合することのできる隣接初期領域がなくなるまで、上述の距離を計算し、隣接初期領域を、併合領域に併合することを繰り返す。
【０１６４】
これにより、例えば、図１９（Ｂ）に示した併合領域からは、図１９（Ｃ）に示すような併合領域が構成される。ここで、図１９（Ｃ）においては、図１９（Ｂ）における併合領域に対して、初期領域ｃ７およびｃ８との間の距離が近いとして併合されている。また、初期領域ｃ１およびｃ６は、距離が遠いとして併合されていない。
【０１６５】
図１９（Ｃ）に示したように、併合領域に併合することのできる隣接初期領域が存在しなくなった後は、併合領域部８４は、得られた併合領域のうち、第ｎフレームの前景を構成する画素で構成される部分を、第ｎ−１フレームのオブジェクトＯｂｊに対応するオブジェクト（以下、適宜、対応オブジェクトという）として抽出し、第ｎ−１フレームのオブジェクトＯｂｊに付されたラベルと同一のラベルを付して、融合領域処理部８５および分離領域処理部８６に出力する。
【０１６６】
即ち、本実施の形態では、各フレームにおいて対応するオブジェクトには、同一のラベルが付されるようになっており、受信装置２は、このラベルに基づいて、あるフレームのオブジェクトが、そのフレームに隣接するフレームのどのオブジェクトに対応するのかを認識するようになっている。
【０１６７】
なお、第ｎ−１フレームのオブジェクトＯｂｊに付されたラベルは、オブジェクト情報に含めて、オブジェクト情報メモリ８８に記憶されるようになっており、領域併合部８４は、オブジェクト情報メモリ８８を参照することで、第ｎ−１フレームのオブジェクトＯｂｊに付されたラベルを認識するようになっている。
【０１６８】
また、併合領域部８４は、第ｎ−１フレームに存在するすべてのオブジェクトに基づき、上述したようにして、その第ｎフレームの各オブジェクトに対応する第ｎフレームのオブジェクトを抽出した後に、第ｎフレームに残っている各初期領域、あるいは隣接する初期領域のうちの距離が近いものどうしを併合した領域をオブジェクトとして抽出し、新たなラベル（第ｎ−１フレームのオブジェクトに付されていないラベル）を付して、融合領域処理部８５および分離領域処理部８６に出力する。
【０１６９】
融合領域処理部８５または分離領域処理部８６は、領域併合部８４からのオブジェクトに対して、オブジェクトどうしが融合した場合に対処するための融合領域処理、または融合したオブジェクトどうしが分離した場合に対処するための分離領域処理を行うようになっている。
【０１７０】
即ち、例えば、いま、第ｎ−１フレーム、第ｎフレーム、第ｎ＋１フレームの連続する３フレームを考えた場合に、図２０に示すように、第ｎ−１フレームにおいて２つ存在していたオブジェクトＡおよびＢが、互いに、他方の方向に移動し、第ｎフレームにおいては、オブジェクトＡおよびＢが重なり、いわば、１つのオブジェクトに融合することがある。さらに、この場合、１つのオブジェクトに融合してしまったオブジェクトＡおよびＢが、同様の移動をし続け、第ｎ＋１フレームにおいては、再び、２つのオブジェクトＡおよびＢに分離することがある。
【０１７１】
この場合、領域併合部８４における領域併合処理によれば、第ｎフレームの１つに融合したオブジェクトは、第ｎ−１フレームのオブジェクトＡとＢの両方に対応付けられることとなり、また、第ｎ＋１フレームの２つに分離したオブジェクトＡおよびＢは、いずれも、第ｎフレームの１つに融合したオブジェクトに対応付けられることとなる。本実施の形態では、あるフレームの１のオブジェクトは、その１フレーム前の１のオブジェクトに対応付けることを前提としているため、上述したように、２つのオブジェクトが１つのオブジェクトに対応付けられたり、逆に、１つのオブジェクトが２つのオブジェクトに対応付けられるのは望ましくない。
【０１７２】
そこで、融合領域処理部８５は、第ｎフレームの１つに融合したオブジェクトを、第ｎ−１フレームのオブジェクトＡまたはＢのうちのいずれか一方に対応付ける融合領域処理を行い、分離領域処理部８６は、第ｎ＋１フレームの２つに分離したオブジェクトＡまたはＢのうちのいずれか一方を、第ｎフレームの１つに融合したオブジェクトに対応付ける分離領域処理を行うようになっている。
【０１７３】
即ち、融合領域処理部８５では、第ｎフレームの１つに融合したオブジェクトに対して、第ｎ−１フレームのオブジェクトＡまたはＢのうちのいずれか一方に付されているラベルと同一のラベルが付される。また、分離領域処理部８６では、第ｎ＋１フレームの２つに分離したオブジェクトＡまたはＢのうちのいずれか一方に対して、第ｎフレームの１つに融合したオブジェクトに付されているラベルと同一のラベルが付されるとともに、他方に対して、新たなラベルが付される。
【０１７４】
融合領域処理部８５において融合領域処理が施された領域併合部８４によるオブジェクト抽出結果と、分離領域処理部８６において分離領域処理が施された領域併合部８４によるオブジェクト抽出結果は、いずれも、新規領域処理部８７に供給されるようになっている。
【０１７５】
新規領域処理部８７は、融合領域処理部８５および分離領域処理部８６からのオブジェクト抽出結果の中に、新たなオブジェクトが存在する場合に、その新たなオブジェクトに対処する新規領域処理を行うようになっている。
【０１７６】
即ち、融合領域処理部８５および分離領域処理部８６が出力するオブジェクト抽出結果に含まれるオブジェクトの中で、新たなラベルが付されているものには、第１に、オブジェクトの動きが速いために、注目フレームと、その１フレーム前とにおいて、そのオブジェクトどうしの空間的な重なりがなく、領域併合部８４で、１フレーム前のあるオブジェクトに対応するオブジェクトとして抽出されなかったもの、第２に、１フレーム前の対応するオブジェクトが、他のオブジェクトと融合し、分離領域処理部８６で、その融合したオブジェクトに対応付けられなかったもの、第３に、注目フレームにおいて、新たな物体が現れ、その新たな物体に対応するものの３種類が含まれる。
【０１７７】
これらの３種類のオブジェクトのうち、真に、新たなラベルを付すべきオブジェクトは、第３の種類のものだけであるので、新規領域処理部８７は、第１および第２の種類のオブジェクトについては、そのフレームよりも前のフレームに存在するオブジェクトの中から、対応するオブジェクトを検出し、そのオブジェクトに付されているラベルと同一のラベルをふり直す。
【０１７８】
具体的には、新規領域処理部８７は、オブジェクト情報メモリ８８を参照することで、注目フレームの過去数フレームに存在するオブジェクトを認識し、その各オブジェクトと、注目フレームにおいて注目している、新たなラベルが付された注目オブジェクトとの間の距離を求める。ここで、オブジェクトどうしの距離としては、例えば、オブジェクトの特徴量どうしの距離を用いることができ、オブジェクトの特徴量としては、例えば、オブジェクトの面積や、オブジェクトの輪郭線を構成する各画素における、その輪郭線の接線方向のヒストグラム（例えば、上、下、左、右、左上、左下、右上、右下の８方向のヒストグラム）、オブジェクトの動きベクトル等を用いることができる。
【０１７９】
そして、新規領域処理部８７は、注目オブジェクトとの間の距離の最小値を求め、その最小値が所定の閾値未満（以下）である場合には、その注目オブジェクトとの間の距離が最小のオブジェクトが、注目オブジェクトに対応するオブジェクトであるとして、その距離を最小にするオブジェクトに付されているラベルと同一のラベルを、注目オブジェクトにふり直して出力する。また、新規領域処理部８７は、注目オブジェクトとの間の距離の最小値が所定の閾値未満でない場合、即ち、注目オブジェクトとの間の距離が小さいオブジェクトが、過去のフレームに存在しない場合には、注目オブジェクトは、注目フレームにおいて新たに生じたオブジェクトであるとして、新たなラベルを付したまま出力する。
【０１８０】
新規領域処理部８７の出力は、付加情報算出部１５（図３）および送信処理部１６（図３）に供給される他、オブジェクト情報メモリ８８に供給されるようになっている。オブジェクト情報メモリ８８は、新規領域処理部８７が出力するオブジェクト（オブジェクトの位置や大きさ（輪郭）、オブジェクトを構成する画素の画素値等）を、それに付されたラベルとともに、オブジェクト情報として一時記憶するようになっている。
【０１８１】
次に、図２１のフローチャートを参照して、図１７のオブジェクト抽出部１４が行う、画像からオブジェクトを抽出するオブジェクト抽出処理について説明する。
【０１８２】
減算部８１には、画像入力部１１が出力する画像と、背景抽出部１３が出力する、その画像の背景とが供給され、ステップＳ４１では、減算器８１において、画像入力部１１からの画像から、背景抽出部１３からの背景を減算することで、オブジェクトでなる前景が求められる。演算部８１で求められた前景は、フレームメモリ８２および初期領域分割部８３に供給され、フレームメモリ８２では、減算部８１からの前景が記憶される。
【０１８３】
一方、初期領域分割部８３では、ステップＳ４２において、フレームメモリ８２に記憶された注目フレームの１フレーム前の前景を参照することで、減算部８１からの注目フレームの前景を対象に、図１８で説明したような初期領域分割処理が行われ、これにより得られる初期領域が、領域併合部８４に供給される。領域併合部８４では、ステップＳ４３において、オブジェクト情報メモリ８８に記憶された注目フレームの１フレーム前のオブジェクト情報を参照することで、初期領域分割部８３からの初期領域を対象に、図１９で説明したような領域併合処理が行われ、これにより、注目フレームに存在するオブジェクトが抽出される。
【０１８４】
領域併合部８４で抽出されたオブジェクトは、融合領域処理部８５および分離領域処理部８６に供給され、融合領域処理部８５または分離領域処理部８６では、ステップＳ４４において、それぞれ図２０を参照して説明したような融合領域処理または分離領域処理がそれぞれ行われ、その処理結果が、新規領域処理部８７に出力される。
【０１８５】
新規領域処理部８７では、ステップＳ４５において、融合領域処理部８５および分離領域処理部８６の出力を対象に、上述したような新規領域処理が施され、これにより、注目フレームからの、最終的なオブジェクトの抽出結果が出力される。このオブジェクトの抽出結果は、付加情報算出部１５（図３）および送信処理部１６（図３）に供給されるとともに、オブジェクト情報メモリ８８に供給されて記憶される。
【０１８６】
そして、ステップＳ２０に戻り、次のフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１８７】
次に、図２２のフローチャートを参照して、図２１のステップＳ４３において、領域併合部８４で行われる領域併合処理の詳細について説明する。
【０１８８】
領域併合処理では、まず最初に、ステップＳ５１において、オブジェクト情報メモリ８８から、注目フレームの１フレーム前のフレーム（前フレーム）に存在するオブジェクトに関するオブジェクト情報を参照することにより、その前フレームのあるオブジェクトが注目オブジェクトとされる。さらに、ステップＳ５１では、その注目オブジェクトを用いて、図１９（Ｂ）に示したように、初期領域分割部８３からの初期領域が併合され、これにより、併合領域が構成される。
【０１８９】
そして、ステップＳ５２に進み、併合領域に隣接する初期領域（隣接初期領域）が探索され、その隣接初期領域のうちの１つが注目初期領域とされて、ステップＳ５３に進む。ステップＳ５３では、併合領域と注目初期領域との間の距離が計算され、ステップＳ５４に進み、その領域どうしの距離が、所定の閾値未満であるかどうかが判定される。
【０１９０】
ステップ５４において、併合領域と注目初期領域との間の距離が所定の閾値未満であると判定された場合、ステップＳ５５に進み、併合領域に、注目初期領域が併合され、これにより、新たな併合領域が構成され、ステップＳ５６に進む。
【０１９１】
一方、ステップＳ５４において、併合領域と注目初期領域との間の距離が所定の閾値未満でないと判定された場合、ステップＳ５５をスキップして、即ち、注目初期領域を併合領域に併合せずに、ステップＳ５６に進み、併合領域に隣接するすべての初期領域の探索が終了しているかどうかが判定される。ステップＳ５６において、併合領域に隣接するすべての初期領域の探索が終了していないと判定された場合、ステップＳ５２に戻り、その探索されていない隣接初期領域が探索され、以下、同様の処理が繰り返される。
【０１９２】
また、ステップＳ５６において、併合領域に隣接するすべての初期領域の探索が終了していると判定された場合、ステップＳ５７に進み、前フレームに存在するすべてのオブジェクトを注目オブジェクトとしたかどうかが判定される。ステップＳ５７において、前フレームに存在するすべてのオブジェクトを注目オブジェクトとしていないと判定された場合、ステップＳ５１に戻り、前フレームに存在するオブジェクトのうち、まだ注目オブジェクトとしていないものの１つを、新たに注目オブジェクトとして、以下、同様の処理を繰り返す。
【０１９３】
一方、ステップＳ５７において、前フレームに存在するすべてのオブジェクトを注目オブジェクトとしたと判定された場合、リターンする。
【０１９４】
次に、図２３のフローチャートを参照して、図２１のステップＳ４４において、融合領域処理部８５で行われる融合領域処理の詳細について説明する。
【０１９５】
まず最初に、ステップＳ６１において、融合領域処理部８５は、いま処理の対象となっているフレームを注目フレームとし、オブジェクト情報メモリ８８を参照することで、注目フレームにおいて注目している注目オブジェクトと空間的な重なりを有する、１フレーム前のフレーム（前フレーム）に存在するオブジェクトの数（注目フレームに対応する前フレームのオブジェクトの数）を認識し、その数を、変数Ｎにセットする。
【０１９６】
そして、ステップＳ６２に進み、変数Ｎが２以上であるかどうかが判定され、２以上でないと判定された場合、即ち、注目オブジェクトと空間的な重なりを有するオブジェクトが、前フレームにないか、または１つしかない場合、ステップＳ６３およびＳ６４をスキップして、ステップＳ６５に進む。
【０１９７】
また、ステップＳ６２において、変数Ｎが２以上であると判定された場合、即ち、注目オブジェクトと空間的な重なりを有するオブジェクトが、前フレームに２以上存在する場合、ステップＳ６３に進み、注目オブジェクトと、それと空間的な重なりを有する、前フレームに２以上存在するオブジェクトそれぞれとの間の距離が計算され、ステップＳ６４に進む。
【０１９８】
ステップＳ６４では、ステップＳ６３で注目オブジェクトとの距離が計算された前フレームのオブジェクトのうち、注目オブジェクトとの間の距離を最小にするものが選択され、その選択されたオブジェクトに付されているラベルと同一のラベルが、注目オブジェクトにふり直される。
【０１９９】
そして、ステップＳ６５に進み、注目フレームに存在するすべてのオブジェクトを注目オブジェクトとしたか否かが判定され、まだしていないと判定された場合、その、まだ注目オブジェクトとされていないオブジェクトのうちの１つが、新たに注目オブジェクトとされ、ステップＳ６１に戻り、以下、同様の処理が繰り返される。
【０２００】
また、ステップＳ６５において、注目フレームに存在するすべてのオブジェクトを注目オブジェクトとしたと判定された場合、リターンする。
【０２０１】
次に、図２４のフローチャート参照して、図２１のステップＳ４４において、分離領域処理部８６で行われる分離領域処理の詳細について説明する。
【０２０２】
分離領域処理部８６は、オブジェクト情報メモリ８８を参照することにより、いま処理の対象となっている注目フレームの１フレーム前のフレーム（前フレーム）に存在するオブジェクトのうちの１つを注目オブジェクトとする。さらに、分離領域処理部８６は、ステップＳ７１において、その注目オブジェクトに対応している、注目フレームのオブジェクト（対応オブジェクト）の数を認識し、その数を、変数Ｎにセットする。
【０２０３】
そして、ステップＳ７２に進み、変数Ｎが２以上であるかどうかが判定され、２以上でないと判定された場合、即ち、注目オブジェクトと空間的な重なりを有するオブジェクトが、注目フレームにないか、１つしかない場合、ステップＳ７３乃至Ｓ７５をスキップして、ステップＳ７６に進む。
【０２０４】
また、ステップＳ７２において、変数Ｎが２以上であると判定された場合、即ち、注目オブジェクトと空間的な重なりを有するオブジェクト（注目オブジェクトに対応するオブジェクト）が、注目フレームに２以上存在する場合、ステップＳ７３に進み、注目オブジェクトに対応する、注目フレームに２以上存在するオブジェクトそれぞれとの間の距離が計算され、ステップＳ７４に進む。
【０２０５】
ステップＳ７４では、ステップＳ７３で注目オブジェクトとの距離が計算された注目フレームのオブジェクトのうち、注目オブジェクトとの間の距離を最小にするものが選択され、その選択されたオブジェクトのラベルが、注目オブジェクトのラベルと同一のラベルにふり直される。
【０２０６】
そして、ステップＳ７５に進み、ステップＳ７４で選択されなかった、注目フレームのオブジェクト（注目オブジェクトに対応する、注目フレームのオブジェクトのうち、注目オブジェクトとの間の距離を最も小さくするオブジェクト以外のオブジェクト）に対して、新たなラベルが付され、ステップＳ７６に進む。
【０２０７】
ステップＳ７６では、前フレームに存在するすべてのオブジェクトを注目オブジェクトとしたか否かが判定され、まだしていないと判定された場合、その、まだ注目オブジェクトとされていないオブジェクトのうちの１つが、新たに注目オブジェクトとされ、ステップＳ７１に戻り、以下、同様の処理が繰り返される。
【０２０８】
また、ステップＳ７６において、前フレームに存在するすべてのオブジェクトを注目オブジェクトとしたと判定された場合、リターンする。
【０２０９】
次に、上述の場合においては、ユーザが制御情報入力部２４を操作することにより、注目点を指定したときには、送信装置１において、画像の時間解像度を犠牲にして、注目点を含む優先範囲の画像の空間解像度を向上させるように、データの送信制御を行うようにしたが、送信装置１では、その他、例えば、ユーザの嗜好を学習し、その学習結果に基づいて、ユーザが高い空間解像度での表示を希望していると考えられるオブジェクト等を検出して、そのオブジェクトが高い空間解像度で表示されるように、データの送信制御を行うようにすることができる。
【０２１０】
図２５は、そのような送信制御を行う場合の、図７の制御部３５の構成例を示している。
【０２１１】
優先範囲設定部９１は、受信装置２から送信されてくる制御信号を受信し、上述したようにして優先範囲を設定するようになっており、設定された優先範囲は、選択制御部９２および特徴量抽出部９３に供給されるようになっている。
【０２１２】
選択制御部９２は、ＭＵＸ３２（図７）による背景、オブジェクト、付加情報のデータの選択を制御するようになっている。即ち、選択制御部９２は、優先範囲設定部９１から、優先範囲を受信した場合、その優先範囲内の画像の空間解像度を、画像の時間解像度を犠牲にして向上させるように、ＭＵＸ３２（図７）を制御する。また、選択制御部９２は、オブジェクト検出部９５からラベルを受信した場合、そのラベルが付されたオブジェクトの空間解像度を、画像の時間解像度を犠牲にして向上させるように、ＭＵＸ３２（図７）を制御する。
【０２１３】
なお、選択制御部９２には、データ量計算部３４（図７）から、ＭＵＸ３２が出力する多重化データのデータレートが供給されるようになっており、選択制御部９２は、そのデータレートが、伝送路３の伝送レートを超えないように、ＭＵＸ３２によるデータの選択を制御するようになっている。
【０２１４】
特徴量抽出部９３には、前処理部１２（図３）が出力する背景、オブジェクト、および付加情報と、優先範囲設定部９１が出力する優先範囲とが供給されるようになっており、特徴量抽出部９３は、優先範囲設定部９１からの優先範囲内にある画像の特徴量を抽出するようになっている。即ち、特徴量抽出部９３は、例えば、優先範囲内に存在するオブジェクトについて、ユーザが注目する傾向を反映するような特徴量を抽出する。
【０２１５】
具体的には、例えば、図２６に示すように、ある特定の人のオブジェクトについては、そのオブジェクトが人であること、動きが等速であること、オブジェクトの奥行き方向の位置（深度）が手前であること、オブジェクトの画面上の位置が真ん中（中央））であること、オブジェクトの速度があること（オブジェクトが動いている部分のものであること）、オブジェクトを構成する領域に、目、鼻、口が含まれること（オブジェクトの領域が、目、鼻、口を含んで構成されること）、オブジェクトの模様がしま模様であること（オブジェクトがしま模様の部分のものであること）、オブジェクトの色が赤いこと（オブジェクトが赤い部分のものであること）等を表す特徴量が抽出される。
【０２１６】
特徴量抽出部９３は、さらに、抽出したオブジェクトの各特徴量を要素として構成されるベクトル（特徴量ベクトル）を求め、ヒストグラム記憶部９４に記憶されているヒストグラムの、求めた特徴量ベクトルの度数を１だけインクリメントする。
【０２１７】
ヒストグラム記憶部９４は、特徴量抽出部９３で求められる特徴量ベクトルのヒストグラムを、ユーザの嗜好の学習結果として記憶するようになっている。
【０２１８】
オブジェクト検出部９５は、前処理部１２（図３）から供給されるオブジェクトの中から、ヒストグラム記憶部９４に記憶されたヒストグラムの最高頻度の特徴量ベクトルと同様の特徴量ベクトルが求められるものを検出するようになっている。即ち、オブジェクト検出部９５は、前処理部１２（図３）から供給されるオブジェクトについて、特徴量抽出部９３における場合と同様にして、特徴量ベクトルを求める。さらに、オブジェクト検出部９５は、ヒストグラム記憶部９４に記憶されたヒストグラムを参照し、その最高頻度の特徴量ベクトルを中心とする、特徴量ベクトル空間の所定の範囲内に、前処理部１２（図３）からのオブジェクトの特徴量ベクトルが存在するかどうかを判定し、存在する場合には、そのオブジェクトは、ユーザが注目する傾向にあるものであるとして、そのオブジェクトのラベルを、選択制御部９２に供給する。
【０２１９】
次に、図２７のフローチャートを参照して、図２５の制御部３５によるＭＵＸ３２（図７）の制御処理について説明する。
【０２２０】
まず最初に、ステップＳ８１において、優先範囲設定部９１は、受信装置２から制御信号が送信されてきたかどうかを判定する。ステップＳ８１において、受信装置２から制御信号が送信されてきたと判定された場合、ステップＳ８２に進み、優先範囲設定部９１は、その制御信号に基づき、上述したように優先範囲を設定し、選択制御部９２および特徴量抽出部９３に供給する。
【０２２１】
選択制御部９２は、ステップＳ８３において、優先範囲設定部９１からの優先範囲内の画像（オブジェクトおよび背景）の空間解像度を、画像の時間解像度を犠牲にして向上させるように、ＭＵＸ３２（図７）を制御する。
【０２２２】
また、特徴量抽出部９３は、ステップＳ８４において、優先範囲設定部９１からの優先範囲内にあるオブジェクトの特徴量を抽出し、その抽出したオブジェクトの各特徴量を要素として構成される特徴量ベクトルを求める。さらに、特徴量抽出部９３は、ステップＳ８５において、ヒストグラム記憶部９４に記憶されているヒストグラムの、求めた特徴量ベクトルの度数を１だけインクリメントし、ステップＳ８１に戻る。
【０２２３】
以上のステップＳ８１乃至Ｓ８５の処理が繰り返されることにより、ヒストグラム記憶部９４には、ユーザが注目する傾向にあるオブジェクトの特徴ベクトルのヒストグラムが形成されていく。即ち、ユーザの嗜好が学習されていく。
【０２２４】
なお、特徴量抽出部９３には、求めた特徴量ベクトルをベクトル量子化させ、そのベクトル量子化結果に対応するコードの度数をインクリメントさせることができる。この場合、ヒストグラム記憶部９４には、コードのヒストグラムが記憶される。
【０２２５】
一方、ステップＳ８１において、受信装置２から制御信号が送信されてきていないと判定された場合、ステップＳ８６に進み、オブジェクト検出部９５は、前処理部１２（図３）から供給されるオブジェクトについて、特徴量抽出部９３における場合と同様にして、特徴量ベクトルを求める。さらに、オブジェクト検出部９５は、ステップＳ８７において、ヒストグラム記憶部９４に記憶されたヒストグラムを参照し、その最高頻度（最頻値）の特徴量ベクトルを中心とする、特徴量ベクトル空間の所定の範囲内に、前処理部１２（図３）からのオブジェクトの特徴量ベクトルが存在するかどうかを判定する。即ち、ステップＳ８７では、最高頻度の特徴量ベクトルと、前処理部１２からのオブジェクトの特徴量ベクトルとの、特徴ベクトル空間における距離が所定値以内であるかどうかが判定される。
【０２２６】
ここで、上述したように、ヒストグラム記憶部９４に、ベクトル量子化結果としてのコードのヒストグラムが記憶される場合には、オブジェクト検出部９５は、求めた特徴量ベクトルをベクトル量子化し、ステップＳ８７では、そのベクトル量子化結果としてのコードが、ヒストグラム記憶部９４に記憶されたヒストグラムの最高頻度のコードと一致するかどうかを判定する。
【０２２７】
ステップＳ８７において、最高頻度の特徴量ベクトルと、前処理部１２からのオブジェクトの特徴量ベクトルとの距離が所定値以内でないと判定された場合、即ち、前処理部１２からのオブジェクトが、過去の傾向からして、ユーザが注目する確率が低いものである場合、ステップＳ８８に進み、選択制御部９２は、受信装置２において通常の時間解像度および空間解像度で画像が表示されるように、ＭＵＸ３２（図７）を制御し、ステップＳ８１に戻る。
【０２２８】
また、ステップＳ８７において、最高頻度の特徴量ベクトルと、前処理部１２からのオブジェクトの特徴量ベクトルとの距離が所定値以内であると判定された場合、即ち、前処理部１２からのオブジェクトが、過去の傾向からして、ユーザが注目する確率が高いものである場合、オブジェクト検出部９５は、前処理部１２からのオブジェクトのラベルを、選択制御部９２に出力し、ステップＳ８９に進む。
【０２２９】
選択制御部９２は、ステップＳ８９において、オブジェクト検出部９５からのラベルが付されたオブジェクトの空間解像度を、画像の時間解像度を犠牲にして向上させるように、ＭＵＸ３２（図７）を制御し、ステップＳ８１に戻る。
【０２３０】
従って、この場合、受信装置２では、時間解像度を犠牲にして、オブジェクト検出部９５が出力したラベルが付されたオブジェクトが、高い空間解像度で表示される。そして、その後も、そのオブジェクトは、高い空間解像度で表示され続ける。
【０２３１】
その結果、受信装置２では、ユーザが制御情報入力部２４を操作しなくても、ユーザが注目する傾向のあるオブジェクトが表示される場合には、そのオブジェクトは、いわば自動的に、高い空間解像度で表示され、その後も、その高い空間解像度で表示され続ける（但し、ここでは、上述のように、画像の時間解像度は劣化する）。
【０２３２】
なお、ヒストグラム記憶部９４に記憶された、ユーザの嗜好の学習結果としての特徴量ベクトルのヒストグラムは、例えば、定期的または不定期に、あるいは受信装置２のユーザからの要求に対応して、リセットすることが可能である。
【０２３３】
また、上述の場合には、ヒストグラムの最高頻度の特徴量ベクトルに一致または類似する特徴量ベクトルを有するオブジェクトの空間解像度を向上させるようにしたが、その他、例えば、ヒストグラムの所定頻度（度数）以上の特徴量ベクトルに一致または類似する特徴量ベクトルを有するオブジェクト全ての空間解像度を向上させることも可能である。
【０２３４】
ところで、優先範囲は、注目点を重心とする所定の範囲（上述した場合においては、長方形状の範囲）であるが、この優先範囲のような、注目点を含む、ある範囲の画像の領域は、ユーザが興味を持って特に詳細に見たい画像領域（以下、適宜、興味対象領域という）であるということができる。
【０２３５】
一方、受信装置２で表示される動画像には、動きの有る画像領域（以下、適宜、動き領域という）と、動きの無い静止した画像領域（以下、適宜、静止領域という）が存在する。
【０２３６】
興味対象領域の空間解像度を高めるには、画像中の動き領域および静止領域の何れにおいても、ユーザが注目する興味対象領域を認識（特定）する必要があり、また、ユーザが注目している興味対象領域を特定することができた場合には、逆に、ユーザが注目していない画像領域（例えば、背景など）を知ることもできる。
【０２３７】
また、ある時点において、ユーザが注目している興味対象領域を特定することができても、その後、ユーザの興味の対象が変化することがあるから、そのように、ユーザの注目する画像領域が別の画像領域に移った場合には、その画像領域を、新たに、興味対象領域として認識する必要がある。
【０２３８】
さらに、ユーザの興味の対象となっている興味対象領域は、画像中に一つだけとは限らず、複数存在する場合があり得るが、この場合、その複数の興味対象領域を、それぞれ分類（区別）して認識する必要がある。
【０２３９】
そこで、図２８は、図１の送信装置１および受信装置２として、携帯端末を用いた場合の、図１の画像伝送システムの第２の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２８の画像伝送システムは、基本的に、図２における場合と同様に構成されている。
【０２４０】
但し、図２の実施の形態では、受信装置２から送信装置１に対して、ユーザが注目している注目点の座標の他、空間解像度および時間解像度そのもの等の、空間解像度および時間解像度を制御するためのあらゆる情報が、制御情報として送信され得るようになっていたが、図２８の実施の形態では、後述するように、ユーザが、受信装置２のキー部２−３を操作（クリック）することにより指定する、表示部２−２に表示された画像上の注目点の情報（以下、適宜、クリックデータという）が、制御情報として送信されるようになっている。
【０２４１】
そして、送信装置１は、受信装置２からクリックデータを受信すると、そのクリックデータに基づいて、受信装置２において表示されることになる画像（送信装置１のビデオカメラ部１−１で撮影された画像）の中から受信装置２のユーザが注目する画像領域（興味対象領域）を特定し、その特定した画像領域の空間解像度および時間解像度が所定の条件を満たしながら変更されるように、受信装置２に送信する画像データの情報量を制御する。
【０２４２】
次に、図２９は、図２８の送信装置１の構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２９の送信装置１は、背景抽出部１３，オブジェクト抽出部１４、または送信処理部１６に替えて、背景抽出部１０１３、オブジェクト抽出部１０１４、または送信処理部１０１６が、それぞれ設けられているとともに、受信装置２から送信されてくるクリックデータが、送信処理部１６に対応する送信処理部１０１６だけでなく、前処理部１２にも供給されるようになっている他は、基本的に、図３における場合と同様に構成されている。なお、図２９の送信装置１は、背景抽出部１０１３の出力が、オブジェクト抽出部１０１４に供給されない点で、背景抽出部１３の出力が、オブジェクト抽出部１４に供給される図３の送信装置１と異なっている。さらに、図２９の送信装置１は、オブジェクト抽出部１０１４の出力が、背景抽出部１０１３に供給される点で、オブジェクト抽出部１４の出力が、背景抽出部１３に供給されない図３の送信装置１と異なっている。
【０２４３】
前処理部１２に供給されるクリックデータは、オブジェクト抽出部１０１４に与えられ、オブジェクト抽出部１０１４は、そのクリックデータに基づいて、画像入力部１１で撮影された画像の中で、受信装置２のユーザが注目している画像領域（興味対象領域）を抽出（特定）し、その抽出（特定）した興味対象領域に対応する画像データを、送信処理部１０１６に供給する。なお、画像入力部１１で撮影された画像の中に、受信装置２のユーザが注目する興味対象領域が複数存在する場合、オブジェクト抽出部１０１４は、それら複数の興味対象領域の画像データを、送信処理部１０１６に供給する。また、オブジェクト抽出部１０１４で抽出された興味対象領域の画像データは、付加情報算出部１５にも供給される。
【０２４４】
ここで、ユーザが注目する興味対象領域としては、例えば、物体などのオブジェクトを挙げることができる。以下、オブジェクト抽出部１０１４において興味対象領域の例としてオブジェクト（以下、オブジェクト画像と呼ぶ）を抽出する場合を例に挙げて説明することにする。なお、興味対象領域は、必ずしもオブジェクトである必要はなく、オブジェクト以外の画像領域やオブジェクト内の画像領域、後述する背景画像部分等であっても良いが、本実施の形態では、興味対象領域としてオブジェクトを例に挙げて説明する。オブジェクト抽出部１０１４において行われるオブジェクト抽出（興味対象領域の特定）処理の詳細についての説明は、後述する。
【０２４５】
背景抽出部１０１３は、オブジェクト抽出部１０１４によるオブジェクト抽出結果に基づいて、画像入力部１１により供給された画像データから画像の背景部分（興味対象領域以外の画像領域、以下、背景画像と呼ぶ）に相当する信号（以下、背景画像データと呼ぶ）を抽出し、その抽出した背景画像データを、送信処理部１０１６と付加情報算出部１５に供給する。なお、ここでは、アクティビティが小さく、画像として特別意味を保たないような平坦な画像領域を背景画像としている。もちろん、背景画像は特別な意味を持たない画像だけでなく、ユーザの興味対象となっていないオブジェクト等も含まれるが、ここでは、説明を簡単にするため、上述のように平坦な画像領域を背景画像として説明する。
【０２４６】
付加情報算出部１５は、背景抽出部１０１３から供給された背景画像データに基づいて、背景の動き（画像の撮影時に、画像入力部１１の撮影方向が動くことによる背景の動き）を表す背景動きベクトルを検出する。さらに、付加情報算出部１５は、オブジェクト抽出部１０１４から供給されたオブジェクト画像の画像データ（以下、オブジェクト画像データと呼ぶ）に基づいて、オブジェクトの動きを表すオブジェクト動きベクトルを検出し、それら動きベクトルを付加情報の一つとして、送信処理部１０１６に供給する。また、付加情報算出部１５は、オブジェクト抽出部１０１４から供給されたオブジェクト画像データに基づいて、画像入力部１１で撮影された画像（フレーム）内におけるオブジェクトの位置や輪郭等のようなオブジェクトに関連する情報も、付加情報として送信処理部１０１６に供給する。すなわち、オブジェクト抽出部１０１４は、オブジェクト画像を抽出する際に、そのオブジェクトの位置や輪郭等のオブジェクトに関連する情報も抽出し、付加情報算出部１５に供給するようになっており、付加情報算出部１５は、そのオブジェクトに関連する情報も、付加情報として出力するようになっている。
【０２４７】
送信処理部１０１６は、受信装置２から供給されたクリックデータに基づいて、受信装置２において表示されることになる画像の内のオブジェクト画像についての空間解像度を高めつつ、伝送路３で伝送可能なデータレートの条件を満たすように、オブジェクト抽出部１０１４からのオブジェクト画像データと、背景抽出部１０１３からの背景画像データと、付加情報算出部１５からの付加情報を符号化すると共に、それら符号化後のオブジェクト画像データ（以下、オブジェクト画像符号化データと呼ぶ）、背景画像データ（以下、背景符号化データと呼ぶ）、付加情報（以下、付加情報符号化データと呼ぶ）を多重化し、その多重化データを、フレームレート情報等と共に、伝送路３を介して、受信装置２へ送信する。
【０２４８】
次に、図３０のフローチャートを参照して、図２９の送信装置１の処理の概要について説明する。
【０２４９】
送信装置１では、先ずステップＳ９１として、画像入力部１１で得られる画像データが前処理部１２に入力される。
【０２５０】
次に、ステップＳ９２として、送信装置１では、受信装置２から送信されてきたクリックデータを受信し、そのクリックデータが、前処理部１２に入力される。
【０２５１】
画像データとクリックデータを受け取った前処理部１２は、ステップＳ９３として、背景抽出、オブジェクト抽出、付加情報算出の前処理を行い、この前処理にて得られた背景画像データ、オブジェクト画像データ、付加情報を、送信処理部１０１６に送る。
【０２５２】
送信処理部１０１６では、ステップＳ９４の処理として、伝送路３で伝送可能なデータレートの条件を満たすように、オブジェクト画像データと背景画像データ及び付加情報のデータ量を計算し、そのデータ量に応じてそれらオブジェクト画像データと背景画像データ、付加情報を符号化して多重化する。その後、多重化データを、フレームレート情報等と共に、伝送路３を介して受信装置２へ送信する。
【０２５３】
これ以後、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【０２５４】
次に、図３１は、図２８の受信装置２の構成例を示しめしている。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３１の受信装置２は、合成処理部２２に替えて、合成処理部１０２２が設けられているとともに、制御情報入力部２４と制御情報送信部２５に替えて、クリックデータ入力部１０２４とクリックデータ送信部１０２５がそれぞれ設けられている他は、基本的に、図５における場合と同様に構成されている。
【０２５５】
伝送路３を介して、送信装置１から送信されてくる多重化データは、受信処理部２１で受信される。受信処理部２１は、受信した多重化データから、それぞれ背景符号化データ、オブジェクト画像符号化データ、および付加情報符号化データを分離して復号し、その復号により復元された背景画像データ、オブジェクト画像データ、及び付加情報を、合成処理部１０２２に送る。
【０２５６】
合成処理部１０２２は、受信処理部２１から供給された復号後の背景画像データ、オブジェクト画像データ、および付加情報を用いて画像を合成し、その合成された画像の信号を、画像出力部２３に供給する。また、合成処理部１０２２は、クリックデータ入力部１０２４から供給されるクリックデータに基づき、合成する画像の空間解像度および時間解像度を制御する。
【０２５７】
クリックデータ入力部１０２４は、受信装置２（図２８）の表示部２−２に対応する画像出力部２３上の画像の座標位置を指定するためのポインティングデバイスとしての機能を有するキー部２−３を、ユーザが操作した時に、そのユーザによるキー部２−３の操作に応じたクリック位置（座標位置）とクリック時刻とを表すクリックデータを発生する。すなわち、画像出力部２３に表示されている画像のうちの所望の画像部分（興味対象領域）を、ユーザが、キー部２−３をクリック操作することにより指定すると、クリックデータ入力部１０２４は、そのクリック位置の座標情報と、そのクリック時刻とを表すクリックデータを発生する。クリックデータ入力部１０２４により発生されたクリックデータは、合成処理部１０２２とクリックデータ送信部１０２５に送られる。
【０２５８】
クリックデータ送信部１０２５は、クリックデータ入力部１０２４からクリックデータを受け取ると、そのクリックデータを、伝送路３を介して、送信装置１に送信する。
【０２５９】
次に、図３２のフローチャートを参照して、図３１の受信装置２の処理の概要について説明する。
【０２６０】
受信装置２では、先ず、ステップＳ１０１として、受信処理部２１は、送信装置１から伝送路３を介して送信されてくる多重化データを受信する。
【０２６１】
受信処理部２１では、ステップＳ１０２として、その多重化データから、背景符号化データ、オブジェクト画像符号化データ、付加情報符号化データをそれぞれ分離し、さらに、それらの分離した符号化データを復号する。この復号により復元された背景画像データ、オブジェクト画像データ、および付加情報は、合成処理部１０２２に送られる。
【０２６２】
また、受信装置２では、ステップＳ１０３として、クリックデータ入力部１０２４は、ユーザによるキー部２−３のクリック操作に基づくクリックデータを取得して、合成処理部１０２２とクリックデータ送信部１０２５に供給する。これにより、クリックデータは、クリックデータ送信部１０２５から送信装置１に送信される。
【０２６３】
合成処理部１０２２では、ステップＳ１０４として、受信処理部２１から供給された背景画像データ、オブジェクト画像データ、および付加情報と、クリックデータ入力部１０２４から供給されたクリックデータとに基づいて、画像を合成すると共に、その合成される画像の空間解像度及び時間解像度を制御する。なお、送信装置１では、受信装置２から送信されてくるクリックデータを、多重化データのヘッダ情報に配置して、受信装置２に送信することができ、この場合、受信装置２の合成処理部１０２２では、ヘッダ情報からクリックデータを取得するようにすることができる。この場合、クリックデータ入力部１０２４から合成処理部１０２２には、クリックデータを供給する必要はない。
【０２６４】
その後は、画像出力部２３は、ステップＳ１０５として、合成処理部１０２２にて合成された画像を、画像出力部２３の液晶ディスプレイ等に表示させる。
【０２６５】
これ以後、ステップＳ１０１に戻り、以下、同様の処理が繰り返される。
【０２６６】
次に、図３３は、図２９の送信装置１の送信処理部１０１６の具体的な構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３３の送信処理部１０１６は、制御部３５に対して、制御情報ではなく、クリックデータ（制御情報の１つとしてのクリックデータ）が供給されるようになっている他は、基本的に、図７における場合と同様に構成されている。
【０２６７】
図３３において、送信処理部１０１６には、図２９に示した前処理部１２からの背景画像データ、オブジェクト画像データ、および付加情報が供給される。これら背景画像データ、オブジェクト画像データ、および付加情報は、符号化部３１及び制御部３５に入力される。符号化部３１は、供給された背景画像データ、オブジェクト画像データ、および付加情報を、例えば、上述したように階層符号化し、その結果得られる各符号化データを、ＭＵＸ３２に供給する。ＭＵＸ３２は、制御部３５による制御の下、符号化部３１から供給された背景符号化データ、オブジェクト画像符号化データ、付加情報符号化データを適宜選択し、多重化データとして送信部３３に供給する。送信部３３は、ＭＵＸ３２からの多重化データを後段の伝送路３の伝送規格に応じて変調等し、伝送路３を介して、受信装置２に送信する。
【０２６８】
一方、制御部３５は、データ量計算部３４からのデータレートが、伝送路３の伝送レートを越えないように、ＭＵＸ３２による多重化データの出力を制御すると共に、伝送路３を介して受信装置２から送信されてくるクリックデータを受信し、そのクリックデータに基づいて、ＭＵＸ３２における符号化データの選択多重化を制御する。
【０２６９】
次に、図３４のフローチャートを参照して、図３３の送信処理部１０１６において行われる送信処理について説明する。
【０２７０】
先ず最初に、ステップＳ１１１として、送信処理部１０１６の制御部３５は、受信装置２からクリックデータが送信されてきたか否かを判定する。ステップＳ１１１において、受信装置２からクリックデータが送信されてきていないと判定された場合、すなわち制御部３５がクリックデータを受信していない場合、制御部３５は、ステップＳ１１２として、ＭＵＸ３２を制御し、図１０のステップＳ２２における場合と同様に、受信装置２において通常の時間解像度で画像の表示が可能なように、背景、オブジェクト、および付加情報の各符号化データを選択させて多重化させる。
【０２７１】
そして、送信処理部１０１６は、ステップＳ１１３に進み、ＭＵＸ３２からの多重化データを、送信部３３から伝送路３を介して送信し、その後、ステップＳ１１１に戻る。
【０２７２】
また、ステップＳ１１１において、制御部３５が、受信装置２からクリックデータが送信されてきたと判定した場合、すなわち制御部３５がクリックデータを受信した場合、制御部３５は、ステップＳ１１４として、そのクリックデータに基づいて、ユーザが、受信装置２のキー部２−３を操作することにより指定した注目点の座標（クリック位置）及びクリック時刻を認識する。
【０２７３】
次に、制御部３５は、ステップＳ１１５の処理として、注目点の座標（クリック位置）及びクリック時刻に基づいて、受信装置２側のユーザが注目している興味対象領域を、後述するようにして特定し、その特定した興味対象領域を、受信装置２側で表示される画像のうちで空間解像度を優先的に向上させる優先範囲として設定し、その優先範囲内の画像とそれに対応する付加情報を検出する。なお、ここでは、優先範囲内の画像は、オブジェクト画像に対応し、優先範囲外の画像は、例えば、背景画像のような興味対象領域以外の画像に対応するものとする。
【０２７４】
そして、制御部３５は、ステップＳ１１６として、ＭＵＸ３２を制御し、受信装置２において、優先範囲内の画像が、より高い空間解像度で表示されるように、その優先範囲内領域の画像（オブジェクト画像）、優先範囲外の画像（背景画像）、付加情報の符号化データを選択させ、多重化させる。すなわち、制御部３５は、受信装置２からのクリックデータを受信した場合、図１０のステップＳ２６における場合と同様に、時間解像度を犠牲にして、優先範囲内の画像の空間解像度を向上させるように、ＭＵＸ３２を制御する。
【０２７５】
さらに、制御部３５は、ステップＳ１１６として、多重化データとして選択する付加情報に、優先範囲の位置と大きさ等の情報としての高解像度情報を挿入するように、ＭＵＸ３２を制御し、ステップＳ１１３に進む。
【０２７６】
ステップＳ１１３に進むと、送信部３３では、ＭＵＸ３２が出力する多重化データを、伝送路３を介して送信し、ステップＳ１１１に戻る。
【０２７７】
以上のように、図３４の送信処理では、図１０で説明した場合と同様の処理が行われる。従って、受信装置２のユーザがクリックデータ入力部１０２４を操作し続けて、例えば、同一の注目点を指定し続けると、注目点を含む優先範囲内の画像（興味対象領域、オブジェクト画像）について、空間解像度をより向上させるためのデータが優先的に送信されるので、注目点を含む優先範囲内の画像の空間解像度は徐々に向上し、その結果、優先範囲内の画像は、より鮮明に表示されるようになる。すなわち、受信装置２側においてユーザが注目している部分の画像（興味対象領域、オブジェクト画像）は、より鮮明に表示される。
【０２７８】
以上のように、クリックデータに基づく注目点によって特定された優先範囲内の画像（興味対象領域、オブジェクト画像）の空間解像度および時間解像度が、伝送路３の伝送レートに応じた解像度の範囲内で変更されるように、画像データの送信が制御されるので、限られた伝送レート内において、受信装置２に表示される注目点に対応するオブジェクト画像の空間解像度を、より向上させることができる。すなわち、画像の時間解像度を犠牲にして、優先範囲内のオブジェクト画像の空間解像度を向上させることで、限られた伝送レート内で、受信装置２に表示されるオブジェクト画像をより鮮明に表示させる（空間解像度をより向上させる）ことが可能となる。
【０２７９】
次に、図３５は、図３１の合成処理部１０２２の構成例を示している。なお、図中、図１３の合成処理部２２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、合成処理部１０２２は、背景フラグメモリ７４が設けられておらず、合成部７７に替えて、合成部１０７７が設けられており、さらに、合成部１０７７には、制御情報ではなく、クリックデータが供給されるようになっている他は、図１３における場合と基本的に同様に構成されている。
【０２８０】
図３５において、受信処理部２１（図３１）から出力された背景画像データは、背景書き込み部７１に、オブジェクト画像データは、オブジェクト書き込み部７２に、付加情報は背景書き込み部７１、オブジェクト書き込み部７２、および合成部１０７７に、それぞれ入力される。
【０２８１】
背景書き込み部７１は、供給された背景画像データを、背景メモリ７３に順次書き込む。但し、図３５の実施の形態では、図１３の実施の形態において設けられていた背景フラグメモリ７４が設けられておらず、従って、図３５では、背景書き込み部７１は、背景メモリ７３に背景画像データを書き込むのに際しては、背景フラグを参照することはない。
【０２８２】
合成部１０７７は、背景メモリ７３に記憶された背景画像データから、現時点で表示を行うべきフレーム（現フレーム）の背景画像を、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、その背景画像上に、オブジェクトメモリ７５に記憶されたオブジェクト画像を、付加情報に含まれるオブジェクト動きベクトルに基づいて合成し、これにより、現フレームの画像を構成して、表示メモリ７８に供給する。
【０２８３】
さらに、合成部１０７７は、図３１のクリックデータ入力部１０２４から、クリックデータを受信した場合、そのクリックデータに含まれる注目点の座標位置を含むオブジェクト画像データを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に供給する。
【０２８４】
次に、図３６のフローチャートを参照して、図３５の合成処理部１０２２で行われる処理（合成処理）について説明する。
【０２８５】
先ず最初に、ステップＳ１２１において、オブジェクト書き込み部７２は、図３５の復号部５３から供給されたオブジェクト画像データを、オブジェクトフラグメモリ７５に記憶されたオブジェクトフラグに基づいて、上述したようにして書き込む。
【０２８６】
その後、ステップＳ１２２に進み、オブジェクト書き込み部７２では、付加情報に、高解像度情報が含まれているかどうかが判定される。ステップＳ１２２において、付加情報に、高解像度情報が含まれていると判定された場合、すなわち受信装置２のユーザがキー部２−３を操作することにより、送信装置１にクリックデータが送信され、これにより、上述したようにして送信装置１から、優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合、ステップＳ１２３に進み、オブジェクト書き込み部７２において、オブジェクトフラグメモリ７６の所定のオブジェクトフラグが”１”にされる。
【０２８７】
すなわち、送信装置１から、優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合には、ステップＳ１２１において、オブジェクトメモリ７５に、その空間解像度の高いオブジェクト画像データが書き込まれる。このため、ステップＳ１２３では、その空間解像度の高いオブジェクト画像を構成する画素についてのオブジェクトフラグが”１”とされる。
【０２８８】
その後、ステップＳ１２４に進み、合成部１０７７は、優先範囲内にあるオブジェクト画像データを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に書き込む。
【０２８９】
すなわち、ステップＳ１２２において、付加情報に高解像度情報が含まれていると判定される場合というのは、上述したようにユーザがキー部２−３を操作することにより、送信装置１にクリックデータが送信され、これにより、上述したようにして送信装置１から優先範囲内の画像について空間解像度の高いオブジェクト画像のデータが送信されてきた場合であるが、送信装置１に送信されるクリックデータは、合成部１０７７にも供給される。そこで、合成部１０７７は、クリックデータを受信すると、ステップＳ１２４において、そのクリックデータに含まれる注目点の座標及びクリック時刻から、優先範囲を認識し、送信装置１から送信されてくる優先範囲内にある空間解像度の高いオブジェクトを、オブジェクトメモリ７５から読み出し、サブウインドウメモリ７９に書き込む。なお、上述したように、送信装置１から送信されてくるヘッダ情報にクリックデータが含まれる場合には、合成部１０７７では、そのヘッダ情報に含まれるクリックデータから、優先範囲を認識するようにすることができる。
【０２９０】
そして、ステップＳ１２５に進み、合成部１０７７は、背景メモリ７３に記憶された背景画像データの中から、現フレームの背景画像データを、付加情報に含まれる背景動きベクトルに基づいて読み出すとともに、現フレームに表示すべきオブジェクト画像データを、オブジェクトメモリ７５から読み出し、さらに、現フレームの背景画像データと、オブジェクトメモリ７５から読み出したオブジェクト画像データとを、付加情報に含まれるオブジェクト動きベクトルに基づいて合成する。これにより、現フレームの画像を構成して、表示メモリ７８に書き込む。すなわち、合成部１０７７は、例えば、表示メモリ７８に対して、背景画像データを書き込み、その後、オブジェクト画像データを上書きすることで、背景画像とオブジェクト画像を合成した現フレームの画像データを、表示メモリ７８に書き込む。
【０２９１】
以上のようにして、表示メモリ７８に書き込まれた現フレームの画像データ、およびサブウインドウメモリ７９に書き込まれたオブジェクト画像データは、図３１の画像出力部２３に供給されて表示されることになる。
【０２９２】
一方、ステップＳ１２２において、付加情報に高解像度情報が含まれていないと判定された場合、すなわち受信装置２のユーザがキー部２−３を操作していない場合は、ステップＳ１２３およびＳ１２４の処理がスキップされ、ステップＳ１２５に進み、上述したように、合成部１０７７において背景メモリ７３から現フレームの背景画像データが読み出されるともに、オブジェクトメモリ７５から必要なオブジェクト画像データが読み出され、現フレームの背景画像とオブジェクトメモリ７５から読み出したオブジェクト画像とが、付加情報にしたがって合成される。これにより、現フレームの画像データが構成され、表示メモリ７８に書き込まれる。そして、ステップＳ１２１に戻り、以下、同様の処理が繰り返される。
【０２９３】
以上のような合成処理によれば、図１５で説明した場合と同様にして、ユーザが注目しているオブジェクトの空間解像度が高い画像が表示されることになる。なお、図３５の合成処理部１０２２には、図１３に示した背景フラグメモリ７４が設けられておらず、このため、図３５の背景書き込み部７１は、そこに供給され得る背景画像データを、常時、背景メモリ７３に書き込む。従って、図３６の合成処理では、背景の空間解像度は、図１３乃至図１５で説明したようには向上しない。
【０２９４】
次に、図２９のオブジェクト抽出部１０４４が、受信装置２から供給されたクリックデータに基づき、オブジェクト画像（興味対象領域）を抽出する方法について説明する。
【０２９５】
図３７は、図２９の前処理部１２のオブジェクト抽出部１０１４の構成例を示している。
【０２９６】
この図３７において、図２９の画像入力部１１より供給された画像データは、画像用メモリ２０１に蓄積される。そして、画像データは、画像用メモリ２０１から読み出され、静動判定部２０３、オブジェクト画像抽出部２１３、および切換選択スイッチ２０７の共通端子に送られる。なお、画像用メモリ２０１には、後段の静動判定部２０３で行われる静動判定の際に必要となる、少なくとも数フレーム分の画像データが蓄積される。
【０２９７】
また、受信装置２から伝送路３を介して送信されてくるクリックデータは、クリックデータ用メモリ２０２に蓄積される。そして、クリックデータは、クリックデータ用メモリ２０２から読み出され、静動判定部２０４、連続クリック判定部２０４、および切換選択スイッチ２０６の共通端子に送られる。なお、このクリックデータ用メモリ２０２には、後段の連続クリック判定部２０４における連続クリック判定の際に必要となる、所定の時間分（例えば、５００〜７００ｍ秒以上）のクリックデータが蓄積される。
【０２９８】
静動判定部２０３では、受信装置２から送られてきた現在のクリックデータが示すクリック位置（画像上の座標値）を中心とした局所的な小ブロック（例えば１６×１６画素）の画像領域が、動きがある動き領域であるか、または動きのない静止領域であるかの静動判定を行う。すなわち、静動判定部２０３では、静動判定として、クリック位置を中心とした１６×１６画素について、数フレーム前の画像領域と現フレームの画像領域との間でフレーム間差分を求め、このフレーム間差分値が所定のしきい値以下である場合には静止と判定し、フレーム間差分が所定のしきい値より大きい場合には動きと判定する。なお、扱う画像がカラー画像である場合、静動判定の際には、例えば、Ｒ，Ｇ，Ｂの各１６×１６画素の画像について、それぞれフレーム間差分を求め、それらのＲ，Ｇ，Ｂ毎に求めたフレーム間差分の絶対値の平均値が所定のしきい値（例えば値１０）以下のときは静止と判定し、そのしきい値より大きいときは動きと判定するようにすることができる。静動判定部２０３は、静動判定により静止と判定した場合には、クリックデータ用メモリ２０２から出力される現在のクリックデータを静止クリック（静止領域のクリック）とし、静動判定により動きと判定した場合には、現在のクリックデータを動きクリック（動き領域のクリック）とし、その静止クリック又は動きクリックを示す情報を、静動判定結果として処理判定部２０５に送る。
【０２９９】
連続クリック判定部２０４では、受信装置２から送られてきたクリックデータのクリック時刻に基づいて、受信装置２でユーザが行ったクリック操作が連続的なクリック操作であるか否かの連続クリック判定を行う。すなわち、連続クリック判定部２０４では、連続クリック判定として、受信装置２から送られてきている現在のクリックデータのクリック時刻と、その直前（前回）のクリック時刻との時間差（クリック時間間隔）を求め、その時間差が所定のしきい値以下である場合には連続的なクリックであると判定し、クリック時刻の時間差が所定のしきい値より大きい場合には連続クリックでないと判定する。連続クリック判定部２０４では、連続クリック判定により連続的なクリックであると判定した場合には、クリックデータ用メモリ２０２から出力される現在のクリックデータを連続クリックとし、一方、連続クリック判定により連続的なクリックでない（クリック時刻の時間差が所定のしきい値以上である）と判定した場合には、クリックデータ用メモリ２０２から出力されている現在のクリックデータを不連続クリックとし、それら連続クリック又は不連続クリックの情報を、連続クリック判定結果として処理判定部２０５に送る。
【０３００】
処理判定部２０５は、静動判定部２０３からの静動判定結果と、連続クリック判定部２０４からの連続クリック判定結果とに基づいて、切換選択スイッチ２０６乃至２０８の切換制御を行う。
【０３０１】
即ち、例えば、静動判定結果と連続クリック判定結果により、クリックデータ用メモリ２０２から出力される現在のクリックデータが、静止クリックであり、且つ連続クリックであることが判った場合、処理判定部２０５は、クリックデータ用メモリ２０２から出力される現在のクリックデータが、静止オブジェクト連結処理部２１１に送られるように、切換選択スイッチ２０６を切換制御すると共に、画像用メモリ２０１から出力される画像データが、静止オブジェクト連結処理部２１１に送られるように、切換選択スイッチ２０７を切換制御し、さらに後述するオブジェクト抽出結果用メモリ２１４から出力される前回のクリックデータ、そのクリックデータに割り当てられたオブジェクト番号（オブジェクトを分類（識別）する番号で、上述のラベルに対応する）、およびそのオブジェクト番号に対応するオブジェクト画像データが、静止オブジェクト連結処理部２１１に送られるように、切換選択スイッチ２０８を切換制御する。
【０３０２】
また、静動判定結果と連続クリック判定結果により、クリックデータ用メモリ２０２から出力される現在のクリックデータが、動きクリックであり、且つ連続クリックであることが判った場合、処理判定部２０５は、クリックデータ用メモリ２０２から出力される現在のクリックデータが、動きオブジェクト連結処理部２１０に送られるように、切換選択スイッチ２０６を切換制御すると共に、画像用メモリ２０１から出力される画像データが、動きオブジェクト連結処理部２１０に送られるように、切換選択スイッチ２０７を切換制御し、さらに後述するオブジェクト抽出結果用メモリ２１４から出力される前回のクリックデータ、そのクリックデータに割り当てられたオブジェクト番号、およびそのオブジェクト番号に対応するオブジェクト画像データが、動きオブジェクト連結処理部２１０に送られるように、切換選択スイッチ２０８を切換制御する。
【０３０３】
さらに、静動判定結果と連続クリック判定結果により、クリックデータ用メモリ２０２から出力される現在のクリックデータが、静止クリックであり、且つ不連続クリック（クリック時刻の時間差が所定のしきい値以上となるクリック）であることが判った場合、処理判定部２０５は、クリックデータ用メモリ２０２から出力される現在のクリックデータが、オブジェクト番号割り当て部２０９に送られるように、切換選択スイッチ２０６を切換制御すると共に、画像用メモリ２０１から出力される画像データが、静止オブジェクト連結処理部２１１に送られるように、切換選択スイッチ２０７を切換制御する。なお、このとき、オブジェクト抽出結果用メモリ２１４から出力される前回のクリックデータ、オブジェクト番号、およびオブジェクト画像データについては、静止オブジェクト連結処理部２１１に送らないように、切換選択スイッチ２０８を切換制御する（例えば、切換選択スイッチ２０８をオープン状態にする）。
【０３０４】
また、静動判定結果と連続クリック判定結果により、クリックデータ用メモリ２０２から出力される現在のクリックデータが、動きクリックであり、且つ不連続クリック（クリック時刻の時間差が所定のしきい値以上となるクリック）であることが判った場合、処理判定部２０５は、クリックデータ用メモリ２０２から出力される現在のクリックデータが、オブジェクト番号割り当て部２０９に送られるように、切換選択スイッチ２０６を切換制御すると共に、画像用メモリ２０１から出力される画像データが、動きオブジェクト連結処理部２１０に送られるように、切換選択スイッチ２０７を切換制御する。なお、このとき、オブジェクト抽出結果用メモリ２１４から出力される前回のクリックデータと、オブジェクト番号、およびオブジェクト画像データについては、動きオブジェクト連結処理部２１０に送らないように、切換選択スイッチ２０８を切換制御する（例えば、切換選択スイッチ２０８をオープン状態にする）。
【０３０５】
オブジェクト番号割り当て部２０９は、静止オブジェクト連結処理部２１１と、動きオブジェクト連結処理部２１０において、後述するような連結処理の対象となるもの以外の不連続クリックとなっているクリックデータに対して、新たなオブジェクト番号を割り当て、そのオブジェクト番号とクリックデータをオブジェクト番号用メモリ２１２に送る。
【０３０６】
動きオブジェクト連結処理部２１０は、処理判定部２０５により、クリックデータ用メモリ２０２から出力される現在のクリックデータが動きクリックであり、且つ連続クリックと判定された場合に、前回のクリックデータが動きクリックであり、さらに、現在のクリック位置付近の画像の特徴が、前回のクリックデータに割り当てられたオブジェクト番号で構成される動きオブジェクト画像の領域の特徴に含まれているか、または近似しているか否かを判定する。そして、動きオブジェクト連結処理部２１０は、その判定結果が真である場合、現在のクリックが、同一のオブジェクト画像をクリックしているものであると判断し、現在のクリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる動きオブジェクト連結処理を行い、そのオブジェクト番号とクリックデータを、オブジェクト番号用メモリ２１２に送る。
【０３０７】
静止オブジェクト連結処理部２１１は、処理判定部２０５により、クリックデータ用メモリ２０２から出力される現在のクリックデータが静止クリックであり、且つ連続クリックと判定された場合に、前回のクリックが静止クリックであり、さらに、現在のクリック位置が、前回のクリックデータに割り当てられたオブジェクト番号で構成される静止オブジェクト画像の領域内に含まれているか、またはその近傍であるか否かを判定する。そして、静止オブジェクト連結処理部２１１は、その判定結果が真である場合、現在のクリックが、前回のクリックと同一のオブジェクト画像をクリックしているものであると判断し、現在のクリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行い、そのオブジェクト番号とクリックデータを、オブジェクト番号用メモリ２１２に送る。
【０３０８】
オブジェクト番号用メモリ２１２は、オブジェクト番号割り当て部２０９、動きオブジェクト連結処理部２１０、および静止オブジェクト連結処理部２１１においてオブジェクト番号が割り当てられた過去複数フレーム分に相当するクリックデータを蓄積し、その蓄積したクリックデータ及びオブジェクト番号を、オブジェクト画像抽出部２１３に送る。
【０３０９】
オブジェクト画像抽出部２１３は、画像用メモリ２０１より供給された画像データから、オブジェクト番号用メモリ２１２より供給された、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止オブジェクト画像、動きオブジェクト画像、背景画像等を抽出し、その抽出結果を、オブジェクト抽出結果用メモリ２１４に供給する。
【０３１０】
すなわち、オブジェクト画像抽出部２１３は、オブジェクト番号用メモリ２１２より供給された、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止クリックとなされたクリックデータの密度が高い画像部分の中で支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部２１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの画像上における分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、オブジェクト画像として、画像データから抽出する。
【０３１１】
また、オブジェクト画像抽出部２１３は、動きクリックと判定されたクリックデータの中で、同一オブジェクト番号が割り当てられているクリック位置付近の画像同士のフレーム間パターンマッチング等を行い、そのマッチング結果に基づいて、動き補償を行う。さらに、オブジェクト画像抽出部２１３は、パターンマッチングで近似していると判定された画像領域（動き補償によって、いわば位置合わせを行った画像領域）においてクリック密度が高く支配的なオブジェクト番号を求める。そして、オブジェクト画像抽出部２１３は、その支配的なオブジェクト番号が割り当てられているクリックデータの画像上での分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、オブジェクト画像として、画像データから抽出する。
【０３１２】
さらに、オブジェクト画像抽出部２１３は、上述したような静止クリックや、動きクリックのクリック密度が低い画像部分を、背景画像とする。
【０３１３】
オブジェクト抽出結果用メモリ２１４は、オブジェクト画像抽出部２１３が抽出したオブジェクト画像データを、クリックデータおよびオブジェクト番号等とともに蓄積し、必要に応じて、図２９の背景抽出部１０１３および付加情報算出部１５、並びに送信処理部１０１６に供給する。
【０３１４】
次に、図３８のフローチャートを参照し、図３７に示したオブジェクト抽出部１０１４において、受信装置２から送信されてきたクリックデータに基づいて、撮影画像中から、受信装置２のユーザが注目しているオブジェクト画像（興味対象領域）を抽出する処理の詳細について説明する。
【０３１５】
先ずステップＳ１３１として、画像用メモリ２０１は、画像入力部１１より入力されるフレームの画像データ（送信時刻毎のフレーム画像データ）を蓄積する。なお、画像用メモリ２０１は、後段のステップＳ１３３で行われる静動判定処理の際に必要となる、少なくとも数フレーム分の画像データを蓄積する。
【０３１６】
また、ステップＳ１３１では、クリックデータ用メモリ２０２は、伝送路３を介して受信装置２からクリックデータが送信されてきた場合には、そのクリックデータを蓄積する。なお、このクリックデータ用メモリ２０２には、後段のステップＳ１３３で行われる連続クリック判定処理の際に必要となる、少なくとも所定の時間分（例えば５００〜７００ｍ秒以上）のクリックデータが蓄積される。
【０３１７】
その後、ステップＳ１３２に進み、クリックデータ用メモリ２０２に、受信装置２から送信されてきたクリックデータであって、まだ処理していないものが記憶されているか否かが判定される。ステップＳ１３２において、まだ処理していないクリックデータが、クリックデータ用メモリ２０２に無いと判定された場合は、ステップＳ１３１に戻って入力待ち状態となる。一方、ステップＳ１３２において、まだ処理していないクリックデータが、クリックデータ用メモリ２０２に有ると判定された場合、ステップＳ１３３に進み、その処理されていないクリックデータのうちの、例えば、時間的に最も過去のものを、現在のクリックデータとして、その現在のクリックデータを対象に、静動判定部２０３、連続クリック判定部２０４、および処理判定部２０５による静動判定処理と連続クリック判定処理が行われる。
【０３１８】
即ち、ステップＳ１３３において、静動判定部２０３は、静動判定処理として、受信装置２から送られてきた現在のクリックデータに含まれるクリック位置（画像上の座標値）情報を用い、そのクリック位置を中心とした局所的な小ブロックの画像領域に動きがあるか、或いは静止しているかの判定を行う。
【０３１９】
より具体的に説明すると、図３８のステップＳ１３３の処理に進んで静動判定処理に移行したときの静動判定部２０３は、図３９のフローチャートに示すように、先ずステップＳ１４１として、画像用メモリ２０１とクリックデータ用メモリ２０２に蓄積されている画像データとクリックデータを、数フレーム分だけ読み出す。なお、扱う画像がカラー画像である場合、静動判定部２０３は、図４０（Ａ）に示すように、数フレームのＲ（赤），Ｇ（緑），Ｂ（青）の画像データを読み出す。また、静動判定部２０３は、現在のクリックデータに対応するクリックが行われたフレームを含む、過去数フレーム分の画像データと、その数フレームに対して行われたクリックに対応するクリックデータを、画像データ用メモリ２０１とクリックデータ用メモリ２０２から、それぞれ読み出す。
【０３２０】
次に、静動判定部２０３は、ステップＳ１４２として、現在のクリックデータが示すクリック位置を中心とした、例えば水平方向１６画素及び垂直方向１６画素からなる局所的な小ブロックの画像領域について、数フレーム前の画像領域と現フレームの画像領域との間のフレーム間差分を計算する。なお、扱う画像がカラー画像である場合、静動判定部２０３は、ステップＳ１４２の処理として、図４０（Ｂ）および（Ｃ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の画像について、フレーム間差分を求め、そのＲ，Ｇ，Ｂ毎に求めたフレーム間差分それぞれの絶対値の平均値を求める。
【０３２１】
次に、静動判定部２０３は、ステップＳ１４３の処理として、ステップＳ１４２の計算により求めたフレーム間差分値が、所定のしきい値以下であるかどうかを判定する。そして、ステップＳ１４４に進み、静動判定部２０３は、フレーム間差分値が、所定のしきい値以下である場合には、現在のクリックデータが示すクリック位置を含む小ブロック（以下、適宜、現在ブロックという）が、静止であると判定し、一方、フレーム間差分が所定のしきい値より大きい場合には、動きがあると判定する。さらに、静動判定部２０３は、現在ブロックを静止と判定したときには、その静止と判定された現在ブロックの画像領域に対応したクリックデータを静止クリックとし、動きと判定したときには、その動きと判定された現在ブロックの画像領域に対応したクリックデータを動きクリックとし、静動判定結果として出力する。
【０３２２】
なお、扱う画像がカラー画像である場合、静動判定部２０３は、ステップＳ１４４において、図４０（Ｄ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の現在ブロック毎に求められているフレーム間差分の絶対値の平均値が、所定のしきい値（例えば、値１０）以下のときは、例えば、所定のフラグを”０”とし、逆に、しきい値より大きいときは、例えば所定のフラグを”１”にする。さらに、静動判定部２０３は、ステップＳ１４４において、図４０（Ｅ）に示すように、Ｒ，Ｇ，Ｂの各１６×１６画素の現在ブロック毎に設定されている所定フラグのうち全てが”０”となっている場合には、現在ブロックが静止であると判定し、その静止と判定された現在ブロックの画像領域に対応したクリックデータを静止クリックとする。一方、Ｒ，Ｇ，Ｂの各１６×１６画素の現在ブロック毎に設定されている所定フラグのうち何れか一つにでも”１”が立っている場合には、静動判定部２０３は、現在ブロックに、動きがあると判定し、その動きと判定された現在ブロックの、画像領域に対応したクリックデータを動きクリックとする。そして、静動判定部２０３は、静止クリックまたは動きクリックの情報を、静動判定結果として出力する。
【０３２３】
図３８に戻り、ステップＳ１３３では、さらに、連続クリック判定部２０４において、受信装置２から送られてきたクリックデータに含まれるクリック時刻に基づいて、受信装置２でユーザが行ったクリック操作が連続的なクリック操作であるか否かの連続クリック判定が行われる。
【０３２４】
より具体的に説明すると、図３８のステップＳ１３３における連続クリック判定部２０４は、図４１のフローチャートに示すように、先ず、ステップＳ１５１として、クリックデータ用メモリ２０２に蓄積されているクリックデータを読み出す。
【０３２５】
次に、連続クリック判定部２０４は、ステップＳ１５２として、受信装置２から送られてきた現在のクリックデータのクリック時刻と、その直前（前回）に送られてきたクリック時刻との時間差（クリック間隔）を求める。
【０３２６】
次に、連続クリック判定部２０４は、ステップＳ１５３として、その時間差が所定のしきい値以下であるか否か判定を行う。このステップＳ１５３において、その時間差が所定のしきい値以下であると判定された場合には、連続クリック判定部２０４は、現在のクリックデータが、連続的なクリックであると判定し、一方、クリック時刻の時間差が所定のしきい値より大きいと判定された場合には、連続クリック判定部２０４は、現在のクリックデータが、連続的なクリックでないと判定する。そして、連続クリック判定部２０４は、ステップＳ１５４に進み、連続クリックまたは不連続クリックを表す情報を、連続クリック判定結果として出力する。
【０３２７】
即ち、ステップＳ１５３において、連続的なクリックであると判定された場合、受信装置２のユーザは、ある一つのオブジェクト画像に対するクリック操作を連続して行っている可能性が高い。これは、受信装置２のユーザが、送信装置１に対して空間解像度の高いオブジェクト画像データ（興味対象領域のデータ）の送信を要求する場合、受信装置２のユーザは、その空間解像度を高くすることを望むオブジェクト画像部分（興味対象領域）を連続的にクリックする傾向があると考えられるからである。したがって、連続クリック判定部２０４は、連続クリック判定処理において連続的なクリックであると判定した場合には、現在のクリックデータを連続クリックとし、一方、連続的なクリックでない（クリック時刻の時間差が所定のしきい値以上である）と判定した場合には、現在のクリックデータを不連続クリックとし、連続クリック判定結果として出力する。
【０３２８】
図３８に戻り、処理判定部２０５は、静動判定部２０３及び連続クリック判定部２０４でのステップＳ１３３の静動判定及び連続クリック判定により、現在のクリックデータが、連続クリックであり且つ静止クリックであると判定された場合には、切換選択スイッチ２０６乃至２０８を上述のように制御することにより、ステップＳ１３５として、静止オブジェクト連結処理部２１１に、静止オブジェクト連結処理を行わせる。また、処理判定部２０５は、現在のクリックデータが、連続クリックであり且つ動きクリックであると判定された場合には、切換選択スイッチ２０６乃至２０８を制御することにより、ステップＳ１３６として、動きオブジェクト連結処理部２１０に、動きオブジェクト連結処理を行わせる。さらに、処理判定部２０５は、現在のクリックデータが、不連続クリックであると判定された場合には、切換選択スイッチ２０６を制御することにより、ステップＳ１３４として、オブジェクト番号割り当て部２０９に、新たなオブジェクト番号割り当て処理を行わせる。
【０３２９】
即ち、ステップＳ１３３において、現在のクリックデータが不連続クリックであると判定され、ステップＳ１３４の処理に進むと、オブジェクト番号割り当て部２０９は、その現在のクリックデータに対して新たなオブジェクト番号を割り当て、ステップＳ１３１に戻る。
【０３３０】
具体例を挙げて説明すると、例えば図４２（Ａ）のように、図中実線の×印で示す前回のクリックデータＣＬ１に対して割り当てられているオブジェクト番号が、例えば「０」となされているとした場合において、図４２（Ａ）において点線の×印で示す現在のクリックデータＣＬ２（オブジェクト番号が割り当てられる前のクリックデータ）が、不連続クリックであると判定されたとき、オブジェクト番号割り当て部２０９は、図４２（Ｂ）中の実線の×印で示す現在のクリックデータＣＬ２に対して、新たなオブジェクト番号（この例では「１」）を割り当てる。
【０３３１】
一方、ステップＳ１３３において、現在のクリックデータが、連続クリックであり且つ静止クリックであると判定された場合、静止オブジェクト連結処理部２１１は、前回のクリックが静止クリックとなっており、また現在のクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近いときに、このクリックは前回のクリックが含まれるものと同一のオブジェクト画像をクリックしていると判断し、ステップＳ１３４において、現在のクリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行う。
【０３３２】
すなわち、静止オブジェクト連結処理部２１１は、図４３のフローチャートに示すように、先ず、ステップＳ１６１として、前回のクリックデータが、連続クリックであり且つ静止クリックであったか否かの判定を行う。このステップＳ１６１において、前回のクリックデータが、連続クリックで且つ静止クリックであると判定された場合は、ステップＳ１６２の処理に進み、一方、前回のクリックデータが連続クリックで且つ静止クリックでないと判定された場合は、ステップＳ１６４の処理に進む。
【０３３３】
ステップＳ１６１にて前回のクリックデータが連続クリックで且つ静止クリックでないと判定すると、静止オブジェクト連結処理部２１１は、ステップＳ１６４の処理として、図４２（Ａ）及び（Ｂ）で説明したのと同様にして、現在のクリックデータに対して、新たなオブジェクト番号を割り当てる。このステップＳ１６４の処理後は、図３８のステップＳ１３７の処理に進む。
【０３３４】
また、ステップＳ１６１にて前回のクリックデータが、連続クリックで且つ静止クリックであると判定されてステップＳ１６２の処理に進むと、静止オブジェクト連結処理部２１１は、現在のクリック位置と、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域との間の空間的な距離を求め、この距離に基づいて、現在のクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近い場合に、現在のクリックデータは前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定し、一方、現在のクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成されるオブジェクト画像領域内に含まれず、且つその領域からも遠い場合に、現在のクリックデータは、前回のクリックが含まれるものとは異なる別オブジェクト画像をクリックしたデータである判定する。このステップＳ１６２において、現在のクリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定された場合、ステップＳ１６３の処理に進み、一方、現在のクリックデータが、前回のクリックが含まれるものとは別のオブジェクト画像をクリックしたデータであると判定された場合は、ステップＳ１６４の処理に進む。
【０３３５】
ステップＳ１６２にて現在のクリックデータが、前回のクリックが含まれるものとは別のオブジェクト画像をクリックしたデータであると判定されてステップＳ１６４の処理に進むと、静止オブジェクト連結処理部２１１は、現在のクリックデータに対して新たなオブジェクト番号を割り当てた後、図３８のステップＳ１３７の処理に進む。
【０３３６】
また、ステップＳ１６２にて現在のクリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定すると、静止オブジェクト連結処理部２１１は、ステップＳ１６３の処理として、現在のクリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる静止オブジェクト連結処理を行う。
【０３３７】
具体例を挙げて説明すると、例えば図４２（Ｃ）のように、図中実線の×印で示す前回のクリックデータＣＬ１に対して割り当てられているオブジェクト番号が例えば「０」となされているとした場合において、図４２（Ｃ）において点線の×印で示す現在のクリックデータＣＬ２（オブジェクト番号が割り当てられる前のクリックデータ）が、連続クリックで且つ静止クリックであると判定され、前回のクリックが静止クリックとなっており、さらに現在のクリック位置が、前回のクリックデータに割り当てられているオブジェクト番号で構成される画像領域内に含まれるか又はその領域に近いとき、静止オブジェクト連結処理部２１１は、図４２（Ｄ）中の実線の×印で示す現在のクリックデータＣＬ２に対して、前回のクリックデータと同一のオブジェクト番号（この例では「０」）を割り当てる。
【０３３８】
このようにステップＳ１６３にて、現在のクリックデータに、前回のクリックデータと同一のオブジェクトを割り当てた後は、図３８のステップＳ１３７の処理に進む。
【０３３９】
また、図３８のステップＳ１３３において、現在のクリックデータが、連続クリックであり且つ動きクリックであると判定し、前回のクリックが動きクリックとなっており、さらに現在のクリック位置付近の画像の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域（１６×１６画素）の特徴に含まれているか又はそれに近い場合、動きオブジェクト連結処理部２１０は、このクリックは、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしていると判断し、ステップＳ１３６として、現在のクリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる動きオブジェクト連結処理を行う。
【０３４０】
すなわち、ステップＳ１３３において、現在のクリックデータが連続クリックであり且つ動きクリックであると判定したとき、動きオブジェクト連結処理部２１０は、図４４に示すように、先ず、ステップＳ１７１として、前回のクリックデータが、連続クリックであり且つ動きクリックであったか否かの判定を行う。このステップＳ１７１において、前回のクリックデータが、連続クリックで且つ動きクリックであると判定された場合は、ステップＳ１７２の処理に進み、一方、前回のクリックデータが、連続クリックで且つ動きクリックでないと判定された場合は、ステップＳ１７４の処理に進む。
【０３４１】
ステップＳ１７１にて、前回のクリックデータが、連続クリックで且つ動きクリックでないと判定されてステップＳ１７４の処理に進むと、動きオブジェクト連結処理部２１０は、図４１（Ａ）及び（Ｂ）で説明したのと同様にして、現在のクリックデータに対して新たなオブジェクト番号を割り当てる。このステップＳ１７４の処理後は、図３８のステップＳ１３７の処理に進む。
【０３４２】
また、ステップＳ１７１にて、前回のクリックデータが、連続クリックで且つ動きクリックであると判定されてステップＳ１７２の処理に進むと、動きオブジェクト連結処理部２１０は、現在のクリック位置付近の画像領域（１６×１６画素）の特徴と、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴とを求め、この特徴に基づいて、現在のクリック位置付近の画像領域の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴に含まれているか又はそれに近い場合に、このクリックは、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしていると判断し、一方、現在のクリック位置付近の画像領域の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成される画像領域の特徴に含まれず、且つその特徴からも遠い場合に、現在のクリックデータは、前回のクリックとは異なる別オブジェクト画像をクリックしたデータであると判定する。なお、ここでの画像領域の特徴とは、例えばクリック位置付近の局所領域（１６×１６画素）における色（平均色、代表色など）やヒストグラム、パターン等のことである。また、このように、複数の動きクリックに、同一オブジェクト番号を割り当てると言うことは、これらのクリックデータの間でオブジェクトのトラッキングをしていると言い換えることができる。このステップＳ１７２において、現在のクリックデータが、前回のクリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定された場合は、ステップＳ１７３の処理に進み、一方、現在のクリックデータが、前回のクリックとは別のオブジェクト画像をクリックしたデータであると判定された場合は、ステップＳ１７４の処理に進む。
【０３４３】
ステップＳ１７２にて、現在のクリックデータが、前回のクリックとは別のオブジェクト画像をクリックしたデータであると判定されてステップＳ１７４の処理に進むと、動きオブジェクト連結処理部２１０は、上述の場合と同様に、現在のクリックデータに対して、新たなオブジェクト番号を割り当てを行い、その後、図３８のステップＳ１３７の処理に進む。
【０３４４】
また、ステップＳ１７２にて、現在のクリックデータが、前回の各クリックが含まれるものと同一のオブジェクト画像をクリックしたデータであると判定されてステップＳ１７３の処理に進むと、動きオブジェクト連結処理部２１０は、現在のクリックデータに対して、前回のクリックデータと同一のオブジェクト番号を割り当てる。
【０３４５】
具体例を挙げて説明すると、例えば図４２（Ｅ）のように、図中実線の×印で示す前回のクリックデータＣＬ１に対して割り当てられているオブジェクト番号が、例えば「０」となされているとした場合において、図４２（Ｅ）中点線の×印で示す現在のクリックデータＣＬ２（オブジェクト番号が割り当てられる前のクリックデータ）が、連続クリックで且つ動きクリックであると判定され、前回のクリックが動きクリックとなっており、さらに現在のクリック位置付近の画像の特徴が、前回のクリックに割り当てられたオブジェクト番号で構成されるオブジェクト画像の特徴に含まれているか又はそれに近い場合、動きオブジェクト連結処理部２１０では、図４２（Ｆ）中の実線の×印で示す現在のクリックデータＣＬ２に対して、前回のクリックデータと同一のオブジェクト番号（この例では「０」）を割り当てる。
【０３４６】
ステップＳ１７３にて、現在のクリックデータに、前回のクリックデータと同一のオブジェクトを割り当てた後は、図３８のステップＳ１３７の処理に進む。
【０３４７】
次に、図３８のステップＳ１３５からステップＳ１３７の処理に進んだ場合、オブジェクト画像抽出部２１３は、オブジェクト番号用メモリ２１２に記憶された、オブジェクト番号が割り当てられた過去数フレーム分に相当する各クリックデータと、画像用メモリ２０に記憶された過去数フレームの画像データとに基づいて、入力画像データから静止しているオブジェクト画像（静止オブジェクト画像）、動きのあるオブジェクト画像（動きオブジェクト画像）、それら以外の背景画像を抽出する。すなわち、受信装置２に送信する画像中で、静止クリックとなされたクリックデータの密度が高い画像部分には、静止オブジェクト画像が存在すると考えられるため、この時のオブジェクト画像抽出部２１３では、オブジェクト番号が割り当てられた過去複数フレームのクリックデータに基づいて、静止クリックとなされたクリックデータの密度（クリック密度）を求め、さらにクリック密度が高い画像部分の中で支配的なオブジェクト番号を求め、その支配的なオブジェクト番号が割り当てられているクリックデータの分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、静止オブジェクト画像として、画像データから抽出する。
【０３４８】
また、ステップＳ１３６からステップＳ１３７の処理に進んだ場合、オブジェクト画像抽出部２１３は、動きクリックと判定されたクリックデータの中で、同一オブジェクト番号が割り当てられているクリック位置付近の画像同士のフレーム間パターンマッチング等を行い、動き補償を行った後、パターンマッチングで近似しているとみなされた画像領域においてクリック密度が高く支配的なオブジェクト番号を求め、その支配的なオブジェクト番号が割り当てられているクリックデータの分布からオブジェクトの形状を生成し、生成したオブジェクトの形状内の画像を、動きオブジェクト画像として、画像データから抽出する。
【０３４９】
さらに、オブジェクト画像抽出部２１３は、ステップＳ１３７において、上述した静止クリック、動きクリックと判定されたクリックデータのクリック密度が低い画像部分を現在の背景画像とみなす。言い換えると、オブジェクト画像抽出部２１３は、静止オブジェクト画像、動きオブジェクト画像が抽出された残りの画像部分を背景画像とする。
【０３５０】
このステップＳ１３７の処理を詳細に説明すると、オブジェクト画像抽出部２１３は、図４５のフローチャートに示すように、先ず、ステップＳ１８１として、オブジェクト番号が割り当てられた過去複数フレーム分に相当する各クリックデータと画像データとを取り込み、次いで、ステップＳ１８２にて、各クリックデータを静止クリックと動きクリック毎に分類する。ここで、図３８のステップＳ１３５からステップＳ１３７の処理に進んだ場合には、ステップＳ１８２からステップＳ１８４以降の処理に進むことになり、図３８のステップＳ１３６からステップＳ１３７の処理に進んだ場合には、ステップＳ１８２からステップＳ１８４以降の処理に進むことになる。
【０３５１】
図３８のステップＳ１３５からステップＳ１３７の処理に進み、図４５においてステップＳ１８２からステップＳ１８４以降の処理に進むと、オブジェクト画像抽出部２１３は、先ず、過去複数フレーム分の画像に対し、オブジェクト番号が割り当てられた各クリックデータの中で静止クリックとなされている各クリックデータの密度（以下、クリック密度と呼ぶ）を、例えば、１６×１６画素のブロック毎に求める。
【０３５２】
次に、オブジェクト画像抽出部２１３は、ステップＳ１８５として、図４６（Ａ）に示すように、画像内の図中点線で示すような各１６×１６画素のブロックｂｋについて、図中×印で示す静止クリックのクリック密度が所定値以上あるか否かの判定を行う。
【０３５３】
ここで、受信装置２に送信する画像中で、静止クリックとなされたクリックデータの密度が高い画像部分には、静止オブジェクト画像が存在すると考えられる。このため、オブジェクト画像抽出部２１３は、静止クリックのクリック密度が所定値以上となっているブロックについては、ステップＳ１８６の処理を行い、一方、静止クリックのクリック密度が所定値未満となっているブロックについては、ステップＳ１９０の処理を行う。
【０３５４】
ステップＳ１８６の処理に進むと、オブジェクト画像抽出部２１３は、静止クリックのクリック密度が所定値以上となっているブロックについて、図４６（Ｅ）に示すように、ブロック内の各クリックデータに割り当てられているオブジェクト番号のうちで発生頻度が最も高い支配的なオブジェクト番号を求め、さらに図４６（Ｂ）に示すように、それぞれ支配的なオブジェクト番号が同じとなるブロック（ＢＫ０、ＢＫ２、ＢＫ４、ＢＫ５）をまとめてオブジェクトの形状を生成する。そして、オブジェクト画像抽出部２１３は、生成したオブジェクトの形状内の画像を、静止オブジェクト画像として、画像データから抽出する。このステップＳ１８６の処理後は、図３８のステップＳ１３８の処理へ進む。
【０３５５】
一方、図３８のステップＳ１３６からステップＳ１３７の処理に進み、図４５においてステップＳ１８２からステップＳ１８３以降の処理に進むと、オブジェクト画像抽出部２１３は、図４６（Ｃ）に示すように、過去複数フレーム分の画像において、図中×印で示す各動きクリックとなされているクリックデータのうち、それぞれ同じオブジェクト番号が割り当てられているクリック位置付近の画像同士のフレーム間パターンマッチングを行い、さらに動き補償を行う。
【０３５６】
次いで、オブジェクト画像抽出部２１３は、ステップＳ１８７として、パターンマッチングで近似しているとみなされた画像領域内の動きクリックのクリック密度を求める。
【０３５７】
その後、オブジェクト画像抽出部２１３は、ステップＳ１８８として、図４６（Ｄ）に示すように、画像内において図中×印で示す動きクリックのクリック密度が、所定値以上あるか否かの判定を行う。
【０３５８】
ここで、動き補償を行った後において、動きクリックとなされたクリックデータの密度が高い画像部分には、動きオブジェクト画像が存在すると考えられる。このため、オブジェクト画像抽出部２１３は、動き補償後の画像において動きクリックのクリック密度が所定値以上となっている画像領域については、ステップＳ１８９の処理を行い、一方、動きクリックのクリック密度が所定値未満となっている画像領域については、ステップＳ１９０の処理を行う。
【０３５９】
ステップＳ１８９の処理に進むと、オブジェクト画像抽出部２１３は、動きクリックのクリック密度が所定値以上となっている画像領域について、各クリックデータに割り当てられているオブジェクト番号のうちで発生頻度が最も高い支配的なオブジェクト番号を求め、さらに図４６（Ｄ）に示すように、それぞれ支配的なオブジェクト番号が同じとなるブロック（ＢＫ３，ＢＫ６）をまとめてオブジェクトの形状を生成する。そして、オブジェクト画像抽出部２１３は、生成したオブジェクトの形状内の画像を、動きオブジェクト画像として、画像データから抽出する。このステップＳ１８９の処理後は、図３８のステップＳ１３８の処理へ進む。
【０３６０】
なお、ステップＳ１８５及びステップＳ１８８において共にクリック密度が所定値未満となされているとき、すなわち、静止クリック及び動きクリックのクリック密度が低い画像部分については、ステップＳ１９０の処理として、現在の画像内の背景画像領域として扱われる。言い換えると、オブジェクト画像抽出部２１３は、静止オブジェクト画像、動きオブジェクト画像が抽出された残りの画像部分を背景画像とする。このステップＳ１９０の処理後は、図３８のステップＳ１３８の処理へ進む。
【０３６１】
このようにしてオブジェクト画像抽出部２１３により静止オブジェクト画像、動きオブジェクト画像、背景画像の抽出がなされた後は、図３８のステップＳ１３８において、オブジェクト抽出処理を終了するか否か判断を行い、終了しないときには、ステップＳ１３１の処理に戻り、終了するときには、オブジェクト抽出処理を終了する。
【０３６２】
以上説明した処理の流れのように、図２９の送信装置１のオブジェクト抽出部１０１４では、受信装置２のユーザによるクリックデータに基づいて、送信画像の静止オブジェクト画像、動きオブジェクト画像、背景画像の抽出を行うようにすることができる。
【０３６３】
なお、図２８の実施の形態では、アクティビティが小さく、画像として特別意味を保たないような平坦な画像領域を背景画像とし、この背景画像については、特に空間解像度を高めるような処理を行わない例を挙げているが、背景画像についても、受信装置２から送信されてきたクリックデータに基づいて抽出し、その空間解像度を高めるような処理を行うことも可能である。
【０３６４】
この場合、図２９において、背景抽出部１０１３では、オブジェクト抽出部１０１４の場合と同様に、受信装置２から送信されてきたクリックデータに基づいて、背景画像を抽出し、送信処理部１０１６では、オブジェクト画像の空間解像度を上げて送信する場合と同様に、背景画像についても必要に応じて空間解像度を高めるように送信する。
【０３６５】
また、この場合、図３１の合成処理部１０２２には、図３５の構成と対応した図４７に示すように、図１３に示した背景フラグメモリ７４が追加される。この図４７の場合、背景書き込み部７１は、図１３における場合と同様に、空間解像度の高い背景画像を背景メモリ７３に書き込んだ場合に、その背景画像を構成する各画素に対応して背景フラグメモリ７４のアドレスに記憶される背景フラグを”０”から”１”にする。すなわち、この場合の背景書き込み部７１は、背景メモリ７３に背景画像データを書き込む際に、背景フラグメモリ７４を参照するようになっており、背景フラグが”１”になっている背景画像、つまり既に空間解像度の高い背景画像データが記憶されている背景メモリ７３には、空間解像度の低い背景画像データの書き込みは行わないようになっている。したがって、背景メモリ７３は、基本的に、背景書き込み部７１に背景画像データが供給されるたびに、その背景画像データが書き込まれるが、既に空間解像度の高い背景画像データが記憶されている背景メモリ７３には、空間解像度の低い背景画像データの書き込みを行わない。その結果、背景メモリ７３においては、背景書き込み部７１に空間解像度の高い背景画像データが供給される毎に、空間解像度の高い背景画像の数が増加していくことになる。
【０３６６】
また、この例の場合、合成部１０７７は、図３１のクリックデータ入力部１０２４から、クリックデータを受信した場合、そのクリックデータに含まれる注目点の座標位置を含むオブジェクト画像データ及び背景画像データを読み出し、サブウインドウメモリ７９に供給する。
【０３６７】
次に、受信装置２のユーザの興味対象領域が変化した場合に、その興味対象領域の変化を判定（認識）し、さらに、興味対象領域の変化を判定することで各興味対象領域の分類を可能とする技術について説明する。
【０３６８】
ここで、ユーザの興味対象領域の変化判定と、各興味対象領域の分類を実現するために、各種の画像を用いて解析を行った結果、以下のことが判明した。
【０３６９】
第１に、任意の画像において、人（ユーザ）の興味の対象となる領域は、ある程度意味を持った領域単位（例えばオブジェクト等）となる。
【０３７０】
第２に、ユーザの興味対象が変化する際には、ある程度意味を持った領域単位毎に変化する。
【０３７１】
第３に、ユーザの興味対象が切り替わるような時には、ユーザが興味対象領域を指示（例えばクリック等）する際の入力時間間隔が比較的長くなる傾向がある。
【０３７２】
第４に、ユーザの興味対象が切り替わるような時には、ユーザが興味対象領域を指示（例えばクリック等）する際の入力位置間の空間距離が比較的大きくなる傾向がある。
【０３７３】
そこで、図４８は、受信装置２のユーザによるクリックデータから入力時間間隔及び入力位置間距離を求め、上述の第１乃至第４の解析結果を考慮して、受信装置２のユーザによる興味対象領域の変化を判定し、さらに、興味対象領域を分類可能な、図２８の送信装置１の構成例を示している。なお、図中、図２９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４８の送信装置１は、前処理部１２を構成するブロックとして、変化判定分類部２４０が新たに設けられている他は、基本的に、図２９における場合と同様に構成されている。
【０３７４】
なお、図４８の実施の形態では、変化判定分類部２４０は、前処理部１２内に設けられているが、その他、例えば、前処理部１２内のオブジェクト抽出部１０１４や背景抽出部１０１３内に設けたり、或いは、前処理部１２とは独立に設けることも可能である。
【０３７５】
また、ここでは、クリックデータが表す位置を、ユーザが注目している注目点として用いるが、ユーザの注目点は、クリックデータではなく、例えば、ユーザの視線方向を検出すること等によって認識することが可能である。
【０３７６】
図４９は、図４８の変化判定分類部２４０の構成例を示している。
【０３７７】
入力画像記憶部２３１は、画像入力部１１が出力する画像データを一時蓄積し、必要に応じて、クリック周辺領域抽出部２３３と静動判定部２３４に供給する。
【０３７８】
クリックデータ取得部２３０は、受信装置２から伝送路３を介して送信されてくるクリックデータを一時記憶し、クリック周辺領域抽出部２３３、静動判定部２３４、入力間時間計算部２３７、および入力位置間距離計算部２３８に供給する。
【０３７９】
ここで、入力画像記憶部２３１は、図３７の画像用メモリ２０１と兼用することができる。また、クリックデータ記憶部２３２は、図３７のクリックデータ用メモリ２０２と兼用することができる。
【０３８０】
クリック周辺領域抽出部２３３は、入力画像記憶部２３１より供給された画像データより、クリックデータ記憶部２３２からのクリックデータに対応する画像領域（例えば、クリック位置を中心とした局所的な小ブロックの画像領域、以下、特にクリック周辺領域と呼ぶ）を抽出する。このクリック周辺領域抽出部２３３にて抽出されたクリック周辺領域のデータは、クリック周辺領域蓄積部２３５に送られ、蓄積された後、興味対象領域分類部２３６に送られる。
【０３８１】
また、静動判定部２３４は、入力画像記憶部２３１からの画像データと、クリックデータ記憶部２３２からのクリックデータとにより、例えば図３７の実施の形態と同様のフレーム間差分等を用いた静動判定を行う。
【０３８２】
なお、これらクリック周辺領域抽出や静動判定の処理は、図３８で説明したのと同様の処理により実現可能であり、ここではその詳細な説明を省略する。また、図４９の実施の形態の場合、静動判定により、前述の実施の形態と同様に各クリックデータを静止クリック或いは動きクリックとする判定結果を出力する場合の他に、例えば、そのクリック周辺領域を静止領域或いは動き領域とする判定結果を出力するようにしても良い。本実施の形態では、説明を簡略化するために、静動判定結果として、静止クリック又は動きクリックが出力される場合を例に挙げて説明する。
【０３８３】
静動判定部２３４による静動判定結果は、入力間時間計算部２３７と入力位置間距離計算部２３８に送られる。
【０３８４】
入力間時間計算部２３７は、静動判定結果においてクリックデータが静止クリックと判定されたとき、前回の静止クリックの入力がなされた時刻と、現在の静止クリックの入力時刻との時間間隔を計算する。なおこの場合の時間間隔の計算は、現在の静止クリックの入力時刻と前回の静止クリックの入力時刻との間に、例えば動きクリックが存在したか否かにかかわらずに行われる。この入力間時間計算部２３７により計算された時間間隔のデータは、興味の変化判定部２３９に送られる。
【０３８５】
また、位置間距離計算部２３８は、静動判定結果においてクリックデータが静止クリックと判定されたとき、前回の静止クリックの入力がなされたクリック位置（座標位置）と、現在の静止クリックの入力がなされたクリック位置（座標位置）との間の空間距離を計算する。なお、この場合の空間距離の計算は、現在の静止クリックの入力位置と前回の静止クリックの入力位置との間に、例えば動きクリックの入力位置が存在するか否かにかかわらずに行われる。この入力位置間距離計算部２３８により計算された空間距離のデータは、興味の変化判定部２３９に送られる。
【０３８６】
興味の変化判定部２３９では、静動判定結果においてクリックデータが静止クリックと判定されたときに入力間時間計算部２３７で計算された時間間隔と位置間距離計算部２３８で計算された空間距離とを用いて、ユーザの興味対象が変化したか否かを判定する。すなわち、興味の変化判定部２３９では、例えば、時間間隔と空間距離にそれぞれ所定の重み付け処理を行い、その重み付け処理後の時間間隔が所定のしきい値（時間）を超えたか否か、及び、重み付け処理後の空間距離が所定のしきい値（距離）を超えたか否かを調べ、重み付け処理後の時間間隔が所定のしきい値を超えた時、及び／又は、重み付け処理後の空間距離が所定のしきい値を超えた時に、ユーザの興味対象が変化したと判定する。興味の変化判定部２３９において、興味対象の変化判定結果は、興味対象領域分類部２３６に送られる。
【０３８７】
興味の変化判定部２３９においてユーザの興味対象が変化していないと判定されたとき、興味対象領域分類部２３６では、現時点で抽出した静止クリックのクリック周辺領域は前回（過去に）抽出された静止クリックのクリック周辺領域に対応する興味対象領域と同じ画像領域に含まれると判断し、現時点で抽出した静止クリックのクリック周辺領域を、前回抽出された静止クリックのクリック周辺領域と同じ興味対象領域に分類（例えば同じ分類番号を付ける）し、その分類結果を出力する。すなわち、興味対象領域を、例えばオブジェクト毎に分類するような場合には、前述の実施の形態同様に同じオブジェクト番号を付ける。
【０３８８】
一方、興味の変化判定部２３９においてユーザの興味対象が変化したと判定されたとき、興味対象領域分類部２３６では、現時点で抽出した静止クリックのクリック周辺領域は前回（過去に）抽出された静止クリックのクリック周辺領域に対応する興味対象領域には含まれないとして、現時点での静止クリックのクリック周辺画像に関する蓄積データを出力した後、クリック周辺領域蓄積部２３５にて過去に蓄積しているデータをリセットする。続いて、興味対象領域分類部２３６は、現時点で抽出された静止クリックのクリック周辺領域を、前回抽出された静止クリックのクリック周辺領域とは異なる興味対象領域に分類（例えば異なる分類番号を付ける）する。すなわち、興味対象領域を、例えばオブジェクト毎に分類するような場合には、上述における場合と同様に、異なる新たなオブジェクト番号を付ける。
【０３８９】
次に、静動判定結果においてクリックデータが動きクリックと判定されたときも同様に、入力間時間計算部２３７では、前回の動きクリックの入力がなされた時刻と、現在の動きクリックの入力時刻との時間間隔を計算する。なおこの場合の時間間隔の計算は、現在の動きクリックの入力時刻と前回の動きクリックの入力時刻との間に、例えば静止クリックが存在したか否かにかかわらずに行われる。入力間時間計算部２３７により計算された時間間隔のデータは、興味の変化判定部２３９に送られる。
【０３９０】
また、静動判定結果においてクリックデータが動きクリックと判定されたときも同様に、位置間距離計算部２３８は、前回の動きクリックの入力がなされたクリック位置と、現在の動きクリックの入力がなされてクリック位置との間の空間距離を計算する。なお、この場合の空間距離の計算は、現在の動きクリックの入力位置と前回の動きクリックの入力位置との間に、例えば静止クリックの入力位置が存在するか否かにかかわらずに行われる。入力位置間距離計算部２３８により計算された空間距離のデータは、興味の変化判定部２３９に送られる。
【０３９１】
さらに、興味の変化判定部２３９は、静動判定結果においてクリックデータが動きクリックと判定されたときに入力間時間計算部２３７で計算された時間間隔と位置間距離計算部２３８で計算された空間距離とを用いて、ユーザの興味対象が変化したか否かを判定する。すなわち、興味の変化判定部２３９では、時間間隔と空間距離にそれぞれ所定の重み付け処理を行い、その重み付け処理後の時間間隔が所定のしきい値（時間）を超えたか否か、及び、重み付け処理後の空間距離が所定のしきい値（距離）を超えたか否かを調べ、重み付け処理後の時間間隔が所定のしきい値を超えた時、及び／又は、重み付け処理後の空間距離が所定のしきい値を超えた時に、ユーザの興味対象が変化したと判定する。興味の変化判定部２３９において、興味対象の変化判定結果は、興味対象領域分類部２３６に送られる。
【０３９２】
また、興味対象領域分類部２３６は、興味の変化判定部２３９においてユーザの興味対象が変化していないと判定されたとき、現時点で抽出した動きクリックのクリック周辺領域は前回（過去に）抽出された動きクリックのクリック周辺領域に対応する興味対象領域と同じ画像領域に含まれると判断し、現時点で抽出した動きクリックのクリック周辺領域を、前回抽出された動きクリックのクリック周辺領域と同じ興味対象領域に分類（例えば同じ分類番号を付ける）し、その分類結果を出力する。すなわち、興味対象領域を例えばオブジェクト毎に分類するような場合には、同じオブジェクト番号を付ける。
【０３９３】
一方、興味の変化判定部２３９においてユーザの興味対象が変化したと判定されたとき、興味対象領域分類部２３６では、現時点で抽出した動きクリックのクリック周辺領域は前回（過去に）抽出された動きクリックのクリック周辺領域に対応する興味対象領域には含まれないとして、現時点での動きクリックのクリック周辺画像に関する蓄積データを出力した後、クリック周辺領域蓄積部２３５にて過去に蓄積しているデータをリセットする。続いて、興味対象領域分類部２３６は、現時点で抽出された動きクリックのクリック周辺領域を、前回抽出された動きクリックのクリック周辺領域とは異なる興味対象領域に分類（例えば、異なる分類番号を付ける）する。すなわち、興味対象領域を例えばオブジェクト毎に分類するような場合には、異なる新たなオブジェクト番号を付ける。
【０３９４】
図５０のフローチャートを参照して、図４９の変化判定分類部２４０の処理について説明する。
【０３９５】
ステップＳ２０１として、画像入力部１１からの画像データと、受信装置２のユーザにより入力されたクリックデータを取得する。
【０３９６】
次に、ステップＳ２０２として、画像入力部１１より供給された画像データは、入力画像記憶部２３１に蓄積され、クリックデータ取得部２３０にて取得されたクリックデータは、クリックデータ記憶部２３２に記憶される。
【０３９７】
次に、ステップＳ２０３として、クリック周辺領域抽出部２３３では、入力画像記憶部２３１に蓄積された後に読み出された画像より、クリックデータに対応する画像領域（クリック周辺領域）を抽出し、さらに、ステップＳ２０４として、クリック周辺領域蓄積部２３５では、その抽出したクリック周辺領域のデータを蓄積する。
【０３９８】
次に、ステップＳ２０５として、静動判定部２３４では、上述したようにフレーム間差分等を用いた静動判定を行う。
【０３９９】
このステップＳ２０５において、クリックデータが静止クリックと判定された場合は、ステップＳ２０６以降の処理に進み、一方、動きクリックと判定された場合は、ステップＳ２１２以降の処理に進む。
【０４００】
ステップＳ２０５において静止クリックと判定されてステップＳ２０６の処理に進むと、入力間時間計算部２３７では、前回の静止クリックの入力がなされた時刻と、現在の静止クリックの入力時刻との時間間隔を計算する。なお、この場合の時間間隔の計算は、現在の静止クリックの入力時刻と前回の静止クリックの入力時刻との間に、例えば動きクリックが存在したか否かにかかわらずに行われる。
【０４０１】
次に、ステップＳ２０７において、入力位置間距離計算部２３８では、前回の静止クリックの入力がなされたクリック位置（座標位置）と、現在の静止クリックの入力がなされたクリック位置（座標位置）との間の空間距離を計算する。なお、この場合の空間距離の計算は、現在の静止クリックの入力位置と前回の静止クリックの入力位置との間に、例えば動きクリックの入力位置が存在するか否かにかかわらずに行われる。
【０４０２】
次に、ステップＳ２０８の処理として、興味の変化判定部２３９では、ステップＳ２０６で計算された時間間隔と、ステップＳ２０７で計算された空間距離とを用いて、ユーザの興味対象が変化したか否かを判定する。すなわち、興味の変化判定部２３９では、上述したように、時間間隔と空間距離にそれぞれ所定の重み付け処理を行い、その重み付け処理後の時間間隔が所定のしきい値（時間）を超えたか否か、及び、重み付け処理後の空間距離が所定のしきい値（距離）を超えたか否かを調べ、重み付け処理後の時間間隔が所定のしきい値を超えた時、及び／又は、重み付け処理後の空間距離が所定のしきい値を超えた時に、ユーザの興味対象が変化したと判定する。このステップＳ２０８において、興味対象が変化したと判定した場合はステップＳ２０９の処理に進み、興味対象が変化していないと判定した場合はステップＳ２１１の処理に進む。
【０４０３】
ステップＳ２０８においてユーザの興味対象が変化していないと判定されてステップＳ２１１の処理に進むと、興味対象領域分類部２３６では、現時点で抽出した静止クリックのクリック周辺領域は、前回（過去に）抽出された静止クリックのクリック周辺領域に対応する興味対象領域と同じ画像領域に含まれると判断し、現時点で抽出した静止クリックのクリック周辺領域を、前回抽出された静止クリックのクリック周辺領域と同じ興味対象領域に分類（例えば同じ分類番号を付ける）する。すなわち、興味対象領域を例えばオブジェクト毎に分類するような場合には、上述の実施の形態同様に同じオブジェクト番号を付ける。このステップＳ２１１の処理後は、ステップＳ２１８に進む。
【０４０４】
一方、ステップＳ２０８においてユーザの興味対象が変化したと判定されてステップＳ２０９の処理に進むと、興味対象領域分類部２３６では、現時点で抽出した静止クリックのクリック周辺領域は、前回（過去に）抽出された静止クリックのクリック周辺領域に対応する興味対象領域には含まれないとして、現時点での静止クリックのクリック周辺画像に関する蓄積データを出力した後、過去に蓄積しているデータをリセットする。続いて、興味対象領域分類部２３６では、ステップＳ２１０において、現時点で抽出した静止クリックのクリック周辺領域を、前回抽出された静止クリックのクリック周辺領域とは異なる興味対象領域に分類（例えば異なる分類番号を付ける）する。すなわち、興味対象領域を例えばオブジェクト毎に分類するような場合には、上述の実施の形態同様に異なる新たなオブジェクト番号を付ける。このステップＳ２１１の処理後は、ステップＳ２１８に進む。
【０４０５】
これに対し、ステップＳ２０５において動きクリックと判定されてステップＳ２１２の処理に進むと、興味の変化判定部２３９では、前回の動きクリックの入力がなされた時刻と、現在の動きクリックの入力時刻との時間間隔を計算する。なおこの場合の時間間隔の計算は、現在の動きクリックの入力時刻と前回の動きクリックの入力時刻との間に、例えば静止クリックが存在したか否かにかかわらずに行われる。
【０４０６】
次に、ステップＳ２１３において、興味の変化判定部２３９は、前回の動きクリックの入力がなされたクリック位置と、現在の動きクリックの入力がなされてクリック位置との間の空間距離を計算する。なおこの場合の空間距離の計算は、現在の動きクリックの入力位置と前回の動きクリックの入力位置との間に、例えば静止クリックの入力位置が存在するか否かにかかわらずに行われる。
【０４０７】
次に、興味の変化判定部２３９は、ステップＳ２１４の処理として、ステップＳ２１２で計算された時間間隔と、ステップＳ２１３で計算された空間距離とを用いて、ユーザの興味対象が変化したか否か判定する。すなわち、興味の変化判定部２３９では、例えば時間間隔と空間距離にそれぞれ所定の重み付け処理を行い、その重み付け処理後の時間間隔が所定のしきい値（時間）を超えたか否か、及び、重み付け処理後の空間距離が所定のしきい値（距離）を超えたか否かを調べ、重み付け処理後の時間間隔が所定のしきい値を超えた時、及び／又は、重み付け処理後の空間距離が所定のしきい値を超えた時に、ユーザの興味対象が変化したと判定する。このステップＳ２１４において、興味対象が変化したと判定した場合はステップＳ２１５の処理に進み、興味対象が変化していないと判定した場合はステップＳ２１７の処理に進む。
【０４０８】
ステップＳ２１４においてユーザの興味対象が変化していないと判定されてステップＳ２１７の処理に進むと、興味対象領域分類部２３６は、上述したように現時点で抽出した動きクリックのクリック周辺領域は、前回（過去に）抽出された動きクリックのクリック周辺領域に対応する興味対象領域と同じ画像領域に含まれると判断し、現時点で抽出した動きクリックのクリック周辺領域を、前回抽出された動きクリックのクリック周辺領域に対応する興味対象領域に分類（例えば同じ分類番号を付ける）する。すなわち、興味対象領域を例えばオブジェクト毎に分類するような場合には、上述の実施の形態同様に同じオブジェクト番号を付ける。このステップＳ２１７の処理後は、ステップＳ２１８に進む。
【０４０９】
一方、ステップＳ２１４においてユーザの興味対象が変化したと判定されてステップＳ２１５の処理に進むと、興味対象領域分類部２３６は、現時点で抽出した動きクリックのクリック周辺領域は、前回（過去に）抽出された動きクリックのクリック周辺領域に対応する興味対象領域には含まれないとして、現時点での動きクリックのクリック周辺画像に関する蓄積データを出力した後、過去に蓄積しているデータをリセットする。続いて、興味対象領域分類部２３６は、ステップＳ２１６において、現時点で抽出した動きクリックのクリック周辺領域を、前回抽出された動きクリックのクリック周辺領域とは異なる興味対象領域に分類（例えば異なる分類番号を付ける）する。すなわち、興味対象領域を例えばオブジェクト毎に分類するような場合には、上述の実施の形態同様に異なる新たなオブジェクト番号を付ける。このステップＳ２１６の処理後は、ステップＳ２１８に進む。
【０４１０】
ステップＳ２１０、Ｓ２１１、Ｓ２１６、Ｓ２１７の処理後、ステップＳ２１８の処理に進むと、変化判定分類部２４０は、全ての処理が終了したか否か判定し、終了していないと判定した場合にはステップＳ２０１に戻り、終了したと判定した場合には、この図５０の処理を終える。
【０４１１】
次に、図５１のフローチャートを参照して、図５０のステップＳ２０８およびＳ２１４にて行われる興味対象の変化判定処理の詳細について説明する。
【０４１２】
興味の変化判定部２３９は、ステップＳ２２１として、時間間隔の情報を取得した後、ステップＳ２２２として、時間間隔に所定の重み付けを行う。また、興味の変化判定部２３９は、ステップＳ２２３として、空間距離の情報を取得した後、ステップＳ２２４として、空間距離に所定の重み付けを行う。なお、ステップＳ２２１及びＳ２２２と、ステップＳ２２３及びＳ２２４の処理は、何れを先に行っても良い。ここで、時間間隔に対して施される重み付けは、例えば時間単位を圧縮（一例としてｍｓ／１０のような圧縮）するような処理が考えられる。また、空間距離に対する重み付けは、例えば水平、垂直方向における画素間隔を圧縮するような処理が考えられる。
【０４１３】
次に、ステップＳ２２５の処理に進むと、興味の変化判定部２３９は、重み付け処理後の時間間隔（ｔ）と、水平、垂直方向における空間距離（ｘ座標とｙ座標）とを用いて３次元ベクトルを生成し、その３次元ベクトルの大きさを求める。ここでの３次元ベクトルの大きさとは、クリックデータによる入力位置のｘ座標軸とｙ座標軸に、時間軸（ｔ）を加えた３次元空間における現在の入力点と前回の入力点との間のユークリッド距離を求めることと同値である。このステップＳ２２５の処理後は、ステップＳ２２６に進む。
【０４１４】
ステップＳ２２６の処理に進むと、興味の変化判定部２３９は、ステップＳ２２５で求めた３次元ベクトルの大きさが、所定のしきい値以下か否かの判定を行う。このステップＳ２２６において、３次元ベクトルの大きさが所定のしきい値以下の場合は、ステップＳ２２７にて受信装置２のユーザの興味対象に変化は無いと判定し、しきい値より大きい場合はステップＳ２２８にてユーザの興味対象に変化が有ったと判定する。
【０４１５】
以上のようにして、変化判定分類部２４０では、受信装置２からのクリックデータに基づくユーザの興味対象の変化判定とその分類とを実現している。
【０４１６】
また、このように受信端末２のユーザの興味対象領域を分類可能とすることにより、その分類された興味対象領域毎に最適の処理を行うことが可能となる。すなわち、例えば、上述のように分類された、受信端末２のユーザの興味対象領域毎に、例えば、情報量を多く割り当てて伝送するようにしたり、優先的にその興味対象領域のデータから送信する等の処理を行うことが可能となる。
【０４１７】
また、興味対象領域２３６において、クリック周辺領域蓄積部２３５から読み出された（出力された）画像領域について、上述したような空間解像度を向上させるデータ伝送を行うことも可能となる。
【０４１８】
さらに、この例の場合、例えば、受信装置２のユーザが所望する興味対象領域以外の領域を誤ってクリックしたような場合でも、そのミスクリックによって誤った興味対象領域判定を行ってしまうようなことを防止できる。
【０４１９】
さらに、この実施の形態の場合、興味対象領域として、例えばある程度意味をもった一つのオブジェクトが、空間的或いは時間的に分離したものであったとしても、オブジェクトを一つのオブジェクトとして分類可能となり、また、例えば物体のようなオブジェクト以外の、ある程度意味をもった領域を抽出することも可能となる。
【０４２０】
なお、図３７から図４６までで説明した実施の形態と、図４９から図５１までで説明した実施の形態とを組み合わせることも可能であることは言うまでもない。この場合、ステップＳ２０６及びステップＳ２０７において、上述した静止クリックについての連続クリック判定を行い、同様に、ステップＳ２１２及びステップＳ２１３において、上述した動きクリックについての連続クリック判定を行えば良い。
【０４２１】
次に、図５２は、図１の画像伝送システムの第３の構成例を示している。なお、図中、図２８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図５２の画像伝送システムは、交換局３−３が、課金サーバ４を有している他は、図２８における場合と基本的に同様に構成されている。
【０４２２】
上述したような、受信装置２から送信装置１に対して、クリックデータ（あるいは、制御情報）を送信し、送信装置１から受信装置２に対して、そのクリックデータに基づいて、空間解像度の向上した画像を提供するサービス（以下、適宜、クリックサービスという）は、無料で行うことも可能であるが、有料で行うことも可能であり、課金サーバ４は、クリックサービスを有料で行う場合に、そのクリックサービスの提供に対する代金を徴収するための課金処理を行う。
【０４２３】
即ち、図５３は、図５２の課金サーバ４の構成例を示している。
【０４２４】
通信リンク確立検出部３０１には、交換局３−３から所定の情報が供給されるようになっており、通信リンク確立検出部３０１は、交換局３−３からの情報を参照することにより、送信装置としての端末１、および受信装置としての端末２等の端末どうしの間の通信リンクが確立されたことを検出し、端末認識部３０２に供給する。
【０４２５】
端末認識部３０２は、通信リンク確立検出部３０１から、送信装置１と受信装置２等の、端末どうしの間の通信リンクが確立された旨の情報（以下、適宜、通信リンク確立情報という）を受信すると、交換局３−３から供給される情報を参照することにより、その通信リンクが確立された端末を認識し、さらに、その端末に付されているＩＤ(Identification)（以下、適宜、端末ＩＤという）を認識して、クリック検出部３０３に供給する。
【０４２６】
クリック検出部３０３は、交換局３−３を経由するデータをモニタしており、端末認識部３０２から受信した端末ＩＤの端末から送信されたクリックデータを検出し、その検出結果を、クリックデータを送信してきた端末の端末ＩＤとともに、課金処理部３０４に供給する。
【０４２７】
ここで、例えば、受信装置２は、クリックデータを、自身の端末ＩＤを付加して、送信するようになっており、クリック検出部３０３は、交換局３−３を経由するクリックデータに付加されている端末ＩＤと、端末認識部３０２から供給される端末ＩＤとを比較することによって、通信リンクが確立された端末から送信されてくるクリックデータを認識、検出する。
【０４２８】
ここで、以下、適宜、クリック検出部３０３のクリックデータの検出結果と、端末ＩＤとの組を、クリック検出情報という。
【０４２９】
課金処理部３０４は、クリック検出部３０３からクリック検出情報を受信すると、そのクリック検出情報に基づいて、課金データベース３０５の記憶内容を更新する。さらに、課金処理部３０４は、課金データベース３０５の記憶内容に基づいて、例えば、定期的に（例えば、１ヶ月に１回など）、課金処理を行う。
【０４３０】
課金データベース３０５は、課金に必要な情報を記憶する。
【０４３１】
次に、図５４のフローチャートを参照して、図５３の課金サーバ４の処理について説明する。
【０４３２】
通信リンク確立検出部３０１は、交換局３−３から供給される情報に基づいて、端末どうしの間の通信リンクが確立されたかどうかを監視しており、例えば、送信装置１と受信装置２との間の通信リンクが確立されたことを検出すると、通信リンク確立情報を、端末認識部３０２に供給する。
【０４３３】
端末認識部３０２は、通信リンク確立検出部３０１から通信リンク確立情報を受信すると、ステップＳ３０１において、交換局３−３から供給される情報を参照することにより、その通信リンクが確立された端末としての、例えば、送信装置１と受信装置２それぞれの端末ＩＤを認識し、クリック検出部３０３に供給する。
【０４３４】
クリック検出部３０３は、端末認識部３０２から端末ＩＤを受信すると、その端末ＩＤが付加されているクリックデータの検出を開始する。
【０４３５】
そして、ステップＳ３０２に進み、課金処理部３０４は、通信リンクが確立されている端末からのクリックデータが検出されたかどうかを判定する。ステップＳ３０２において、通信リンクが確立されている端末からのクリックデータが検出されていないと判定された場合、即ち、クリック検出部３０３から課金処理部３０４に対して、クリック検出情報が供給されていない場合、ステップＳ３０３をスキップして、ステップＳ３０４に進む。
【０４３６】
また、ステップＳ３０２において、通信リンクが確立されている端末からのクリックデータが検出されたと判定された場合、即ち、クリック検出部３０３から課金処理部３０４に対して、クリック検出情報が供給された場合、ステップＳ３０３に進み、課金処理部３０４は、課金データベース３０５の記憶内容を更新する。
【０４３７】
即ち、課金データベース３０５は、端末から発呼を行って通信を開始した場合の通信時間の他、その端末で行われたクリックの回数や時間等のクリックに関する情報（以下、適宜、クリック情報という）を、その端末の端末ＩＤと対応付けて記憶しており、ステップＳ３０３では、課金処理部３０４は、クリック検出情報に基づいて、そのクリック検出情報に含まれる端末ＩＤに対応付けられているクリック情報を更新する。
【０４３８】
ステップＳ３０３の処理後は、ステップＳ３０４に進み、端末認識部３０２は、通信リンク確立検出部３０１からの通信リンク確立情報によって報知された通信リンクが切断されたかどうかを判定する。
【０４３９】
即ち、通信リンク確立検出部３０１は、端末どうしの間の通信リンクの確立だけでなく、確立された通信リンクが切断されたかどうかも監視しており、通信リンクが切断された場合には、その旨の情報としての通信リンク切断情報を、端末認識部３０２に供給するようになっている。そして、ステップＳ３０４では、端末認識部３０２は、この通信リンク切断情報に基づいて、通信リンクが切断されたかどうかを判定する。
【０４４０】
ステップＳ３０４において、通信リンクが切断されていないと判定された場合、ステップＳ３０２に戻り、以下、同様の処理が繰り返される。
【０４４１】
また、ステップＳ３０４において、通信リンクが切断されたと判定された場合、端末認識部３０２は、その切断された通信リンクがはられていた端末によるクリックデータの監視を終了するように、クリック検出部３０３を制御し、処理を終了する。
【０４４２】
その後、課金処理部３０４は、定期的に、課金データベース３０５を参照することにより、課金処理を行い、通信料とともに、クリックサービスに対する代金を計算し、例えば、ユーザの銀行口座等から引き落としする。
【０４４３】
なお、クリックサービスに対する代金は、例えば、１回のクリックあたりの単価を設定しておき、クリックの回数に応じて計算することができる。あるいは、クリックサービスに対する代金は、例えば、単位時間のクリックに対する単価を設定しておき、クリックの時間に応じて計算することができる。さらに、クリックの回数と時間の両方に応じて計算すること等も可能である。
【０４４４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての送信装置１や受信装置２等に組み込まれているコンピュータや、汎用のコンピュータ等にインストールされる。
【０４４５】
そこで、図５５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０４４６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【０４４７】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０４４８】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０４４９】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述した図４や、図６、図１０、図１４、図２１乃至図２４、図２７、図３０、図３２、図３４、図３６、図３８、図３９、図４１、図４３乃至図４５、図５０、図５１、図５４に示したフローチャートにしたがった処理、あるいは上述した図３、図５、図７、図８、図１１乃至図１３、図１７、図２５、図２９、図３１、図３３、図３５、図３７、図４７乃至図４９、図５３のブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０４５０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０４５１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４５２】
なお、本実施の形態では、送信装置１において階層符号化を行い、どの階層のデータまでを送信するかによって、受信装置２で表示される画像の時間解像度および空間解像度を変えるようにしたが、受信装置２で表示される画像の時間解像度および空間解像度の変更は、その他、例えば、送信装置１において、画像を離散コサイン変換するようにして、どの次数までの係数を送信するかや、あるいは、量子化を行うようにして、その量子化ステップを変更すること等によって行うことも可能である。
【０４５３】
また、時間解像度および空間解像度の変更は、送信装置１における画像の符号化方式を変更することによって行うことも可能である。即ち、通常の時間解像度で画像の表示を行う場合には、例えば、オブジェクトについては、送信装置１（の符号化部３１）において、その輪郭をチェイン符号化するとともに、オブジェクトを構成する画素値（色）の平均値を、その代表値として求め、それらをハフマン符号化等のエントロピー符号化を行い、受信装置２では、オブジェクトの領域内を、その代表値としての色で塗ったものを表示するようにし、時間解像度を犠牲にして、空間解像度を向上させた画像の表示を行う場合には、上述したように、階層符号化を用いるようにすることが可能である。
【０４５４】
さらに、本実施の形態では、画像の時間解像度を犠牲にして、その空間解像度を向上させるようにしたが、その逆に、空間解像度を犠牲にして、時間解像度を向上させるようにすることも可能である。なお、いずれの解像度を向上させるか（または犠牲にするか）は、例えば、クリックデータ等の制御情報に含めて、受信装置２から送信装置１に送信するようにすることができる。
【０４５５】
また、本実施の形態では、時間解像度と空間解像度を対象としたが、本発明は、その他、例えば、レベル方向の解像度（以下、適宜、レベル解像度という）を対象とすることも可能である。即ち、例えば、データに割り当てるビット数を増減することにより、時間解像度や空間解像度を増減することが可能である。この場合、例えば、画像については、時間解像度や空間解像度の変化に伴い、階調が変化することになる。なお、レベル解像度の変更は、例えば、上述したような量子化ステップの変更等によって行うことが可能である。
【０４５６】
さらに、本実施の形態では、時間解像度を犠牲にして、画像の一部の領域（優先範囲）内の空間解像度を向上させるようにしたが、画像全体の空間解像度を向上させるようにすることも可能である。
【０４５７】
また、時間解像度を犠牲にせず、即ち、時間解像度を維持したまま、画像の一部分の空間解像度を犠牲にして、他の部分の空間解像度を向上させることも可能である。
【０４５８】
さらに、本実施の形態では、画像を、背景とオブジェクトとに分離して処理を行うようにしたが、そのような分離を行わずに処理を行うことも可能である。
【０４５９】
その他、本発明は、画像データだけでなく、音声データにも適用可能である。なお、音声データについては、例えば、サンプリング周波数が時間解像度に対応し、音声データへの割り当てビット量がレベル解像度に対応することとなる。
【０４６０】
また、図４９に示した変化判定分類部２４０による処理は、例えば、音声信号に含まれるある基本周波数により、音声の特徴量（例えば、ピッチ、人の声の所望の部分、音楽における各楽器など）を抽出するような場合にも適用可能である。
【０４６１】
さらに、オブジェクト抽出部１４や１０１４、変化判定分類部２４０における処理は、いわゆるオブジェクト符号化に適用することができる。即ち、オブジェクト抽出部１４や１０１４、変化判定分類部２４０における処理によれば、オブジェクトを抽出することができるから、この処理によって抽出したオブジェクトは、そのオブジェクトの輪郭または領域を表す情報と、その動きを表す情報等を求めるオブジェクト符号化によって符号化し、伝送したり、あるいは記録したりすることが可能である。
【０４６２】
また、受信装置２では、クリックデータを用いて、オブジェクト抽出部１０１４の処理と同様の処理を行い、オブジェクトを抽出するようにすることが可能である。この場合、受信装置２において、抽出したオブジェクトを記憶しておくようにすることにより、オブジェクトのデータベースを構築することが可能となる。
【０４６３】
【発明の効果】
本発明の送信装置および送信方法、並びに第１の記録媒体によれば、受信装置から送信される制御情報が受信され、画像データが入力され、入力された画像データから背景画像データとオブジェクト画像データが抽出され、制御情報に応じて、受信装置に送信される画像データの伝送レートが所定伝送レート内に収まるように、背景画像データおよびオブジェクト画像データの時間、空間、レベル方向のうち少なくとも空間方向を含む２方向の解像度を対象とし、対象とされた２方向の解像度のうち一方の方向の解像度が劣化されるとともに、他方の方向の解像度が向上されるように制御され、解像度が制御された画像データが、伝送路を介して所定伝送レートで受信装置に送信される。そして、解像度を制御された背景画像データの空間方向の解像度が、送信済みの背景画像データの空間方向の解像度より高い場合、背景画像データが受信装置に送信し、低い場合、送信しない。従って、例えば、受信装置において表示される画像の空間方向の解像度を、より向上させること等が可能となる。
【０４６４】
本発明の受信装置および受信方法、並びに第２の記録媒体によれば、制御情報に基づいて画像データの時間、空間、レベル方向のうち少なくとも２方向の解像度を制御する送信装置に、制御情報が送信され、制御情報に基づいて解像度制御された、送信装置から送信される画像データが受信され、受信された画像データが一時記憶され、記憶された画像データが表示される。そして、受信された画像データの所定の方向の解像度が、受信された画像データに対応する、記憶された画像データの所定の方向の解像度より高い場合、受信された画像データが上書きされ、低い場合、上書きされない。従って、例えば、表示される画像の空間解像度を、より向上させること等が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した伝送システムの一実施の形態の構成例を示す図である。
【図２】図１の伝送システムの第１の詳細構成例を示す図である。
【図３】図１の送信装置（端末）１の構成例を示すブロック図である。
【図４】図３の送信装置の処理を説明するためのフローチャートである。
【図５】図１の受信装置（端末）２の構成例を示すブロック図である。
【図６】図５の受信装置２の処理を説明するためのフローチャートである。
【図７】図３の送信処理部１６の構成例を示すブロック図である。
【図８】図７の符号化部３１の構成例を示すブロック図である。
【図９】階層符号化／復号を説明するための図である。
【図１０】図７の送信処理部１６による送信処理を説明するためのフローチャートである。
【図１１】図５の受信処理部２１の構成例を示すブロック図である。
【図１２】図１１の復号部５３の構成例を示すブロック図である。
【図１３】図５の合成処理部２２の構成例を示すブロック図である。
【図１４】図１３の合成処理部２２による合成処理を説明するためのフローチャートである。
【図１５】図５の画像出力部２３における画像の表示例を示す図である。
【図１６】図１の送信装置１から受信装置２に送信される画像の空間解像度と時間解像度との関係を説明するための図である。
【図１７】図３のオブジェクト抽出部１４の構成例を示すブロック図である。
【図１８】図１７の初期領域分割部８３の処理を説明するための図である。
【図１９】図１７の領域併合部８４の処理を説明するための図である。
【図２０】図１７の融合領域処理部８５および分離領域処理部８６の処理を説明するための図である。
【図２１】図１７のオブジェクト抽出部１４によるオブジェクト抽出処理を説明するためのフローチャートである。
【図２２】図２１のステップＳ４３における領域併合処理の詳細を説明するためのフローチャートである。
【図２３】図２１のステップＳ４４における融合領域処理の詳細を説明するためのフローチャートである。
【図２４】図２１のステップＳ４４における分離領域処理の詳細を説明するためのフローチャートである。
【図２５】図７の制御部３５の構成例を示すブロック図である。
【図２６】オブジェクトの特徴量を説明するための図である。
【図２７】図２５の制御部３５の処理の詳細を説明するためのフローチャートである。
【図２８】図１の伝送システムの第２の詳細構成例を示す図である。
【図２９】図２８の送信装置１の構成例を示すブロック図である。
【図３０】図２９の送信装置１の処理を説明するためのフローチャートである。
【図３１】図２８の受信装置２の構成例を示すブロック図である。
【図３２】図３１の受信装置２の処理を説明するためのフローチャートである。
【図３３】図２９の送信処理部１０１６の構成例を示すブロック図である。
【図３４】図３３の送信処理部１０１６による送信処理を説明するためのフローチャートである。
【図３５】図３１の合成処理部１０２２の構成例を示すブロック図である。
【図３６】図３５の合成処理部による合成処理を説明するためのフローチャートである。
【図３７】図２９のオブジェクト抽出部１０１４の具体的構成例を示す図である。
【図３８】動きオブジェクト画像又は静止オブジェクト画像の抽出処理を説明するフローチャートである。
【図３９】静動判定処理を説明するフローチャートである。
【図４０】フレーム間差分の計算方法を説明する図である。
【図４１】連続クリック判定処理を説明するフローチャートである。
【図４２】オブジェクト番号の付け方を説明する図である。
【図４３】静止オブジェクト連結処理を説明するフローチャートである。
【図４４】動きオブジェクト連結処理を説明するフローチャートである。
【図４５】オブジェクト抽出処理を説明するフローチャートである。
【図４６】オブジェクト抽出方法を説明する図である。
【図４７】図３１の合成処理部１０２２の他の構成例を示すブロック図である。
【図４８】図２８の送信装置１の他の構成例を示すブロック図である。
【図４９】図４８の変化判定分類部２４０の構成例を示すブロック図である。
【図５０】変化判定分類部２４０での興味対象領域の変化、及び興味対象領域の分類処理を説明するフローチャートである。
【図５１】興味の変化判定処理を説明するフローチャートである。
【図５２】図１の伝送システムの第３の詳細構成例を示す図である。
【図５３】図５２の課金サーバ４の構成例を示すブロック図である。
【図５４】図５３の課金サーバ４の処理を説明するフローチャートである。
【図５５】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 端末（送信装置）， １−１ ビデオカメラ部， １−２ 表示部， １−３ キー部， １−４ スピーカ， １−５ マイク， ２ 端末（受信装置）， ２−１ ビデオカメラ部， ２−２ 表示部， ２−３ キー部， ２−４ スピーカ， ２−５ マイク， ３−１，３−２ 無線基地局， ３−３ 交換局， ４ 課金サーバ， １１ 画像入力部， １２ 前処理部， １３ 背景抽出部， １４ オブジェクト抽出部， １５ 付加情報算出部， １６ 送信処理部， ２１ 受信処理部， ２２ 合成処理部， ２３ 画像出力部，２４ 制御情報入力部， ２５ 制御情報送信部， ３１ 符号化部， ３２ＭＵＸ， ３３ 送信部， ３４ データ量計算部， ３５ 制御部， ４１Ｂ，４１Ｆ 差分計算部， ４２Ｂ，４２Ｆ 階層符号化部， ４３Ｂ，４３Ｆ記憶部， ４４Ｂ，４４Ｆ ローカルデコーダ， ４５ ＶＬＣ部， ５１ 受信部， ５２ ＤＭＵＸ， ５３ 復号部， ６１Ｂ，６１Ｆ 加算器， ６２Ｂ，６２Ｆ 記憶部， ６３ 逆ＶＬＣ部， ７１ 背景書き込み部， ７２オブジェクト書き込み部， ７３ 背景メモリ， ７４ 背景フラグメモリ，７５ オブジェクトメモリ， ７６ オブジェクトフラグメモリ， ７７ 合成部， ７８ 表示メモリ， ７９ サブウインドウメモリ， １４１ バス，１４２ ＣＰＵ， １４３ ＲＯＭ， １４４ ＲＡＭ， １４５ 入出力インタフェース， １４６ 表示部， １４７ 入力部， １４８ 通信部， １４９ ドライブ， ２０１ 画像用メモリ， ２０２ クリックデータ用メモリ， ２０３ 静動判定部， ２０４ 連続クリック判定部， ２０５ 処理判定部， ２０６乃至２０８ 切換選択スイッチ， ２０９ オブジェクト番号割り当て部， ２１０ 動きオブジェクト連結処理部， ２１１ 静止オブジェクト連結処理部， ２１２ オブジェクト番号用メモリ， ２１３ オブジェクト画像抽出部， ２１４ オブジェクト抽出結果用メモリ， ２３１ 入力画像記憶部， ２３２ クリックデータ記憶部， ２３３ クリック周辺領域抽出部， ２３４ 静動判定部， ２３５ クリック周辺領域蓄積部， ２３６ 興味対象領域分類部， ２３７ 入力間時間計算部， ２３８ 入力位置間距離計算部，２３９ 興味の変化判定部， ３０１ 通信リンク確立検出部， ３０２ 端末認識部， ３０３ クリック検出部， ３０４ 課金処理部， ３０５ 課金データベース， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１リムーバブル記録媒体， １０１３ 背景抽出部， １０１４ オブジェクト抽出部， １０１６ 送信処理部， １０２２ 合成処理部， １０２４ クリックデータ入力部， １０２５ クリックデータ送信部

Claims (39)

  1. 画像データを受信装置に送信する送信装置であって、
    前記受信装置から送信される制御情報を受信する受信手段と、
    画像データを入力する入力手段と、
    前記入力手段により入力された前記画像データから背景画像データとオブジェクト画像データを抽出する抽出手段と、
    前記制御情報に応じて、前記受信装置に送信される前記画像データの伝送レートが所定伝送レート内に収まるように、前記背景画像データおよび前記オブジェクト画像データの時間、空間、レベル方向のうち少なくとも空間方向を含む２方向の解像度を対象とし、対象とされた２方向の解像度のうち一方の方向の解像度を劣化させるとともに、他方の方向の解像度を向上させるように制御する制御手段と、
    前記制御手段により解像度が制御された前記画像データを、伝送路を介して前記所定伝送レートで前記受信装置に送信する送信手段と
    を備え、
    前記送信手段は、前記制御手段により解像度を制御された前記背景画像データの空間方向の解像度が、送信済みの前記背景画像データの空間方向の解像度より高い場合、前記背景画像データを前記受信装置に送信し、低い場合、送信しない
    ことを特徴とする送信装置。
  2. 前記制御手段は、前記制御情報に応じて、前記背景画像データおよび前記オブジェクト画像データの時間及び空間方向の解像度のうち一方の方向の解像度を劣化させるとともに、他方の方向の解像度を向上させるように制御する
    ことを特徴とする請求項１に記載の送信装置。
  3. 前記受信装置は、前記送信装置から送信される前記画像データを表示し、
    前記制御情報は、前記受信装置で表示される前記画像データの注目点として時空間位置を含み、
    前記制御手段は、前記制御情報に応じて、前記画像データの前記時空間位置を含む注目領域の空間解像度を向上させ、時間解像度を、前記画像データの伝送レートが前記所定伝送レートに収まるように、劣化させるように制御する
    ことを特徴とする請求項１に記載の送信装置。
  4. 前記制御手段は、前記制御情報に含まれる前記時空間位置が前記背景画像データを示すとき、前記背景画像データの前記空間解像度が向上するように制御する
    ことを特徴とする請求項３に記載の送信装置。
  5. 前記制御手段は、前記制御情報に含まれる前記時空間位置が前記オブジェクト画像データを示すとき、前記オブジェクト画像データの前記空間解像度が向上するように制御する
    ことを特徴とする請求項４に記載の送信装置。
  6. 前記背景画像データ及び前記オブジェクト画像データを合成する合成手段を備え、
    前記送信手段は、前記合成手段により合成された合成データを前記受信装置に送信する
    ことを特徴とする請求項５に記載の送信装置。
  7. 前記送信装置は、携帯電話（cellular phone）である
    ことを特徴とする請求項１に記載の送信装置。
  8. 前記受信装置のユーザの嗜好を分析する分析手段をさらに備え、
    前記制御手段は、前記分析手段の出力に応じて前記画像データの解像度を制御する
    ことを特徴とする請求項１に記載の送信装置。
  9. 前記受信装置は、前記送信装置から送信される前記画像データを表示し、
    前記制御情報は、前記受信装置で表示される前記画像データの注目点として時空間位置を含み、
    前記分析手段は、前記画像データの注目点を含む前記制御情報を分析し、
    前記制御手段は、前記分析手段の出力に応じて前記画像データの解像度を制御する
    ことを特徴とする請求項８に記載の送信装置。
  10. 前記分析手段は、
    前記画像データの前記注目点を含む注目領域の特徴量を抽出する特徴量抽出手段と、
    前記特徴量に基づいて前記画像データから所定領域を検出する検出手段と
    をさらに備え、
    前記制御手段は、前記検出手段により検出された前記所定領域の前記画像データの解像度を制御する
    ことを特徴とする請求項９に記載の送信装置。
  11. 前記分析手段は、
    前記特徴量を要素として構成される特徴量ベクトルの前記画像データ毎の頻度に基づいて構成されるヒストグラムを記憶する記憶手段をさらに備え、
    前記検出手段は、前記記憶手段に記憶される前記ヒストグラムの最高頻度の前記特徴量ベクトルに基づいて前記所定領域を検出する
    ことを特徴とする請求項１０に記載の送信装置。
  12. 前記制御手段は、前記所定領域の画像データの空間解像度を向上させ、時間解像度を、前記画像データの伝送レートが前記所定伝送レートに収まるように、劣化させるように制御する
    ことを特徴とする請求項１０に記載の送信装置。
  13. 前記検出手段は、前記記憶手段に記憶される前記ヒストグラムの最高頻度の前記特徴量ベクトルに基づく前記所定領域を自動的に検出する
    ことを特徴とする請求項１１に記載の送信装置。
  14. 前記制御手段は、前記検出手段により自動的に検出された前記所定領域の前記画像データの空間解像度を向上させ、時間解像度を、前記画像データの伝送レートが前記所定伝送レートに収まるように、劣化させるように制御する
    ことを特徴とする請求項１３に記載の送信装置。
  15. 前記特徴量抽出手段は、前記画像データの前記注目点を含む注目領域の動き情報、奥行き情報、位置情報、色情報、形状情報のうちいずれかを前記特徴量として抽出する
    ことを特徴とする請求項１２に記載の送信装置。
  16. 前記特徴量抽出手段は、前記画像データの前記注目点を含む注目領域の動き情報、奥行き情報、位置情報、色情報、形状情報のうち複数の前記特徴量を抽出し、特徴量ベクトルを生成する
    ことを特徴とする請求項１５に記載の送信装置。
  17. 前記分析手段は、
    前記画像データの前記注目点を含む注目領域が複数存在する場合、複数の前記注目領域のそれぞれを別々の領域として分類する分類手段をさらに備える
    ことを特徴とする請求項９に記載の送信装置。
  18. 前記制御情報は、前記ユーザによる前記注目点を指定する所定時間分の操作内容を蓄積した操作情報を含み、
    前記操作情報に基づいて前記注目領域の前記画像データの静動判定を行う静動判定手段と、
    前記操作情報に基づいて前記注目点の時間方向の連続的な操作の有無を判定する連続性判定手段と
    をさらに備え、
    前記分類手段は、前記静動判定手段及び連続性判定手段の出力に応じて前記画像データを分類する
    ことを特徴とする請求項１７に記載の送信装置。
  19. 前記静動判定手段により静止と判定され、前記連続性判定手段により連続性有りと判定される前記注目点の位置、及び、前記静動判定手段に動きと判定され、前記連続性判定手段により連続性有りと判定される前記注目点の位置を記憶する記憶手段と、
    前記記憶手段に記憶される前記注目点に対応する分類識別子を求めるとともに前記記憶手段に記憶する連結手段と
    をさらに備えることを特徴とする請求項１８に記載の送信装置。
  20. 前記連結手段は、現時点の前記注目点が、前記静動判定手段により静止と判定され、前記連続性判定手段により連続性有りと判定され、更に、前記記憶手段に記憶される前回の前記注目点が、前記静動判定手段により静止と判定され、前記連続性判定手段により連続性有りと判定されているとき、現時点の前記注目点の位置と前回の前記注目点が属する前記記憶手段に記憶される同分類領域との空間的位置関係により、現時点の前記注目点の分類識別子を求める
    ことを特徴とする請求項１９に記載の送信装置。
  21. 前記連結手段は、現時点の前記注目点が、前記静動判定手段により動きと判定され、前記連続性判定手段により連続性有りと判定され、更に、前記記憶手段に記憶される前回の前記注目点が、前記静動判定手段により動きと判定され、前記連続性判定手段により連続性有りと判定されているとき、現時点の前記注目点を含む注目領域と前回の前記注目点を含む注目領域内の特徴量の類似度に応じて、現時点の前記注目点の分類識別子を求める
    ことを特徴とする請求項１９に記載の送信装置。
  22. 前記分類手段は、前記記憶手段に記憶される前記注目点の位置の密集度に応じて、前記画像データの特定領域をオブジェクトとして分類する
    ことを特徴とする請求項１９に記載の送信装置。
  23. 前記分類手段は、前記記憶手段に記憶される、前記静動判定手段により静止と判定され、前記分類識別子が同じ前記注目点の位置の密集度に応じて前記画像データの特定領域をオブジェクトとして分類する
    ことを特徴とする請求項２２に記載の送信装置。
  24. 前記分類手段は、前記記憶手段に記憶される、前記静動判定手段により動きと判定され、動き補償されて前記記憶手段に記憶される前記分類識別子が同じ前記注目点の位置の密集度に応じて前記画像データの特定領域をオブジェクトとして分類する
    ことを特徴とする請求項２２に記載の送信装置。
  25. 前記静動判定手段は、現時点の前記注目点を含む前記注目領域の画像データと、時間的に前の前記注目点を含む前記注目領域の画像データとのフレーム間差分により前記注目点の静動判定を行う
    ことを特徴とする請求項１８に記載の送信装置。
  26. 前記連続性判定手段は、現時点の前記注目点と、時間的に前の前記注目点との時間差に基づいて連続性を判定する
    ことを特徴とする請求項１８に記載の送信装置。
  27. 前記制御手段は、前記分類手段により前記オブジェクトとして分類された前記特定領域の画像データの解像度を向上する
    ことを特徴とする請求項２２に記載の送信装置。
  28. 前記連続性判定手段は、現時点の前記注目点の画像データと、当該注目点より時間的に前であり且つ前記現時点の注目領域の前記静動判定手段による静動判定結果と同じ注目領域に属する前記注目点の画像データとの時間方向の距離に基づいて連続性を判定する
    ことを特徴とする請求項１８に記載の送信装置。
  29. 前記操作情報に基づいて、現時点の前記注目点と、時間的に前の前記注目点との空間距離を計算する距離計算手段をさらに備え、
    前記分類手段は、前記連続性判定手段により求められた前記時間方向の距離と前記距離計算手段により計算された前記空間方向の距離とが各々重み付けして足し合わされた評価値に基づいて前記注目点の画像データを分類する
    ことを特徴とする請求項２８に記載の送信装置。
  30. 前記連続性判定手段により、現時点の前記注目点の画像データが連続性ありと判定されるとき、現時点の前記注目点を含む注目領域の画像データを記憶する記憶手段をさらに備える
    ことを特徴とする請求項２８に記載の送信装置。
  31. 前記連続性判定手段により、現時点の前記注目点の画像データが連続性なしと判定されるとき、
    前記分類手段は、前記記憶手段に記憶される前記注目領域の画像データが出力された後、消去され、更に、現時点の前記注目点を含む注目領域の画像データが前記記憶手段に記憶されるように制御する
    ことを特徴とする請求項３０に記載の送信装置。
  32. 前記制御手段は、前記記憶手段より出力された前記注目領域の画像データの解像度を向上する
    ことを特徴とする請求項３１に記載の送信装置。
  33. 送信装置から送信される画像データを受信する受信装置であって、
    制御情報に基づいて前記画像データの時間、空間、レベル方向のうち少なくとも２方向の解像度を制御する前記送信装置に、前記制御情報を送信する送信手段と、
    前記制御情報に基づいて解像度制御された、前記送信装置から送信される前記画像データを受信する受信手段と、
    前記受信手段により受信された前記画像データを一時記憶する記憶手段と、
    前記記憶手段により記憶された前記画像データを表示する表示手段と
    を備え、
    前記記憶手段は、前記受信手段により受信された前記画像データの所定の方向の解像度が、受信された前記画像データに対応する、前記記憶手段により記憶された前記画像データの所定の方向の解像度より高い場合、前記受信手段により受信された前記画像データを上書きし、低い場合、上書きしない
    ことを特徴とする受信装置。
  34. 前記表示手段に表示される前記画像データのうち、ユーザが注目する注目点の位置データを検出する注目点検出手段をさらに備え、
    前記送信手段は、前記制御情報として前記注目点の位置データを前記送信装置に送信する
    ことを特徴とする請求項３３に記載の受信装置。
  35. 前記表示手段により表示される前記画像データの時間方向及び空間方向位置を指示可能な指示手段をさらに備え、
    前記注目点検出手段は、前記指示手段により指示された前記画像データの時間方向及び空間方向の位置を前記ユーザが注目する注目点の位置データとして検出する
    ことを特徴とする請求項３４に記載の受信装置。
  36. 画像データを受信装置に送信する送信方法であって、
    前記受信装置から送信される制御情報を受信する受信ステップと、
    画像データを入力する入力ステップと、
    前記入力ステップの処理により入力された前記画像データから背景画像データとオブジェクト画像データを抽出する抽出ステップと、
    前記制御情報に応じて、前記受信装置に送信される前記画像データの伝送レートが所定伝送レート内に収まるように、前記背景画像データおよび前記オブジェクト画像データの時間、空間、レベル方向のうち少なくとも空間方向を含む２方向の解像度を対象とし、対象とされた２方向の解像度のうち一方の方向の解像度を劣化させるとともに、他方の方向の解像度を向上させるように制御する制御ステップと、
    前記制御ステップの処理により解像度が制御された前記画像データを、伝送路を介して前記所定伝送レートで前記受信装置に送信する送信ステップと
    を含み、
    前記送信ステップの処理は、前記制御ステップの処理により解像度を制御された前記背景画像データの空間方向の解像度が、送信済みの前記背景画像データの空間方向の解像度より高い場合、前記背景画像データを前記受信装置に送信し、低い場合、送信しない
    ことを特徴とする送信方法。
  37. 送信装置から送信される画像データを受信する受信方法であって、
    制御情報に基づいて前記画像データの時間、空間、レベル方向のうち少なくとも２方向の解像度を制御する前記送信装置に、前記制御情報を送信する送信ステップと、
    前記制御情報に基づいて解像度制御された、前記送信装置から送信される前記画像データを受信する受信ステップと、
    前記受信ステップの処理により受信された前記画像データを一時記憶する記憶ステップと、
    前記記憶ステップの処理により記憶された前記画像データを表示する表示ステップと
    を含み、
    前記記憶ステップの処理は、前記受信ステップの処理により受信された前記画像データの所定の方向の解像度が、受信された前記画像データに対応する、前記記憶ステップの処理により記憶された前記画像データの所定の方向の解像度より高い場合、前記受信ステップの処理により受信された前記画像データを上書きし、低い場合、上書きしない
    ことを特徴とする受信方法。
  38. 画像データを受信装置に送信するためのコンピュータに制御可能なプログラムが記憶される記録媒体であって、
    前記受信装置から送信される制御情報を受信する受信ステップと、
    画像データを入力する入力ステップと、
    前記入力ステップの処理により入力された前記画像データから背景画像データとオブジェクト画像データを抽出する抽出ステップと、
    前記制御情報に応じて、前記受信装置に送信される前記画像データの伝送レートが所定伝送レート内に収まるように、前記背景画像データおよび前記オブジェクト画像データの時間、空間、レベル方向のうち少なくとも空間方向を含む２方向の解像度を対象とし、対象とされた２方向の解像度のうち一方の方向の解像度を劣化させるとともに、他方の方向の解像度を向上させるように制御する制御ステップと、
    前記制御ステップの処理により解像度が制御された前記画像データを、伝送路を介して前記所定伝送レートで前記受信装置に送信する送信ステップと
    を含み、
    前記送信ステップの処理は、前記制御ステップの処理により解像度を制御された前記背景画像データの空間方向の解像度が、送信済みの前記背景画像データの空間方向の解像度より高い場合、前記背景画像データを前記受信装置に送信し、低い場合、送信しない
    プログラムが記録されていることを特徴とする記録媒体。
  39. 送信装置から送信される画像データを受信するためのコンピュータに制御可能なプログラムが記憶される記録媒体であって、
    制御情報に基づいて前記画像データの時間、空間、レベル方向のうち少なくとも２方向の解像度を制御する前記送信装置に、前記制御情報を送信する送信ステップと、
    前記制御情報に基づいて解像度制御された、前記送信装置から送信される前記画像データを受信する受信ステップと、
    前記受信ステップの処理により受信された前記画像データを一時記憶する記憶ステップと、
    前記記憶ステップの処理により記憶された前記画像データを表示する表示ステップと
    を含み、
    前記記憶ステップの処理は、前記受信ステップの処理により受信された前記画像データの所定の方向の解像度が、受信された前記画像データに対応する、前記記憶ステップの処理により記憶された前記画像データの所定の方向の解像度より高い場合、前記受信ステップの処理により受信された前記画像データを上書きし、低い場合、上書きしない
    プログラムが記録されていることを特徴とする記録媒体。
JP2000214237A 1999-08-09 2000-07-14 送信装置および送信方法、受信装置および受信方法、並びに記録媒体 Expired - Fee Related JP4697500B2 (ja)

Priority Applications (14)

Application Number Priority Date Filing Date Title
JP2000214237A JP4697500B2 (ja) 1999-08-09 2000-07-14 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
EP20070024367 EP1906669A3 (en) 1999-08-09 2000-08-09 Transmitting and receiving apparatus and method with usage charging according to the resolution of the data
CN 200710142655 CN101106708B (zh) 1999-08-09 2000-08-09 发送设备及方法
EP20070024366 EP1906668B1 (en) 1999-08-09 2000-08-09 Transmitting and receiving apparatus and method with tracking of user's object of interest
CNB008020485A CN100366090C (zh) 1999-08-09 2000-08-09 发送、接收及发送和接收的设备及方法
US09/807,114 US7009579B1 (en) 1999-08-09 2000-08-09 Transmitting apparatus and method, receiving apparatus and method, transmitting and receiving apparatus and method, record medium and signal
EP20000951903 EP1120968B1 (en) 1999-08-09 2000-08-09 Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal
PCT/JP2000/005319 WO2001011889A1 (en) 1999-08-09 2000-08-09 Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal
EP20070024368 EP1906670B1 (en) 1999-08-09 2000-08-09 Receiving apparatus and method with storage of the high resolution versions of video objects
CN 200710142654 CN101106707B (zh) 1999-08-09 2000-08-09 发送设备及方法
KR1020017004484A KR100811572B1 (ko) 1999-08-09 2000-08-09 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신 장치 및 송수신 방법, 및 기록 매체
NO20011720A NO332792B1 (no) 1999-08-09 2001-04-05 Senderanordning, fremgangsmate sending, mottakeranordning, fremgangsmate for mottakning, sender- og mottakeranordning, fremgangsmate for sending og mottakning, registreringsmedium og signal
US11/125,781 US7486253B2 (en) 1999-08-09 2005-05-10 Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal
US11/590,554 US7760156B2 (en) 1999-08-09 2006-10-30 Transmitting apparatus, transmitting method, receiving apparatus, receiving method, transmitting and receiving apparatus, transmitting and receiving method, record medium, and signal

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP1999225020 1999-08-09
JP11-225020 1999-08-09
JP22502099 1999-08-09
JP2000-127657 2000-04-24
JP2000127657 2000-04-24
JP2000127657 2000-04-24
JP2000214237A JP4697500B2 (ja) 1999-08-09 2000-07-14 送信装置および送信方法、受信装置および受信方法、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2002016920A JP2002016920A (ja) 2002-01-18
JP2002016920A5 JP2002016920A5 (ja) 2007-05-10
JP4697500B2 true JP4697500B2 (ja) 2011-06-08

Family

ID=27330984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000214237A Expired - Fee Related JP4697500B2 (ja) 1999-08-09 2000-07-14 送信装置および送信方法、受信装置および受信方法、並びに記録媒体

Country Status (7)

Country Link
US (3) US7009579B1 (ja)
EP (4) EP1906668B1 (ja)
JP (1) JP4697500B2 (ja)
KR (1) KR100811572B1 (ja)
CN (1) CN100366090C (ja)
NO (1) NO332792B1 (ja)
WO (1) WO2001011889A1 (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4039654B2 (ja) * 1999-11-22 2008-01-30 株式会社東芝 携帯端末を用いたサービスシステム
WO2002056486A1 (fr) * 2001-01-16 2002-07-18 Matsushita Electric Industrial Co., Ltd. Recepteur, terminal mobile et systeme de reception
JP2003111040A (ja) 2001-09-28 2003-04-11 Matsushita Electric Ind Co Ltd 動画像通信方法及び動画像通信装置
GB2401441B (en) * 2002-04-05 2005-08-10 Mitsubishi Electric Corp Motor control device
JP4006628B2 (ja) * 2002-07-03 2007-11-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
DE10230812B4 (de) * 2002-07-08 2004-11-25 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von zusätzlichen Informationen bei Verwendung eines Verfahrens zur Komprimierung von Daten mittels einer priorisierenden Pixelübertragung
DE10231286B4 (de) 2002-07-10 2004-05-19 T-Mobile Deutschland Gmbh Verfahren zur Übertragung von zusätzlichen Daten innerhalb einer Videodatenübertragung
JP3760903B2 (ja) * 2002-08-22 2006-03-29 セイコーエプソン株式会社 画像表示装置
KR100582784B1 (ko) * 2002-10-17 2006-05-23 엘지전자 주식회사 화상통신 시스템의 영상 처리 방법
US7195588B2 (en) 2004-03-01 2007-03-27 Olympus Corporation Endoscope image pick-up apparatus
KR100501173B1 (ko) * 2003-08-07 2005-07-18 에스케이 텔레콤주식회사 이동 통신 단말기에서 고해상도 화상을 디스플레이하기위한 방법과 이를 위한 이동 통신 단말기 및 화상 포맷변환 시스템
FR2864407B1 (fr) * 2003-12-22 2006-03-10 Canon Kk Procede et dispositif de transmission continue d'une video dans un reseau de communication
EP1652465B1 (en) * 2004-03-04 2014-06-25 Olympus Corporation Endoscope image pickup device
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP4501508B2 (ja) * 2004-04-07 2010-07-14 沖電気工業株式会社 映像配信方法および映像配信装置並びに映像配信システム
EP1746580B1 (en) * 2004-05-10 2010-03-24 Nippon Telegraph and Telephone Corporation Acoustic signal packet communication method, transmission method, reception method, and device and program thereof
JP2006103100A (ja) 2004-10-04 2006-04-20 Noritsu Koki Co Ltd 画像受付装置
KR100608835B1 (ko) * 2004-12-09 2006-08-08 엘지전자 주식회사 휴대단말기의 이미지 전송방법
KR100647957B1 (ko) * 2004-12-14 2006-11-23 엘지전자 주식회사 사전 기반 압축 방법을 이용한 연속된 이미지 압축 및복원 방법
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
KR100777518B1 (ko) * 2006-02-10 2007-11-16 올림푸스 가부시키가이샤 내시경 촬상 장치
US8019171B2 (en) * 2006-04-19 2011-09-13 Microsoft Corporation Vision-based compression
US7760140B2 (en) * 2006-06-09 2010-07-20 Intel Corporation Multiband antenna array using electromagnetic bandgap structures
JP4257347B2 (ja) * 2006-07-11 2009-04-22 株式会社東芝 通信装置、表示端末および通信プログラム
US8775452B2 (en) 2006-09-17 2014-07-08 Nokia Corporation Method, apparatus and computer program product for providing standard real world to virtual world links
EP2105019A2 (en) * 2006-09-29 2009-09-30 Avinity Systems B.V. Method for streaming parallel user sessions, system and computer software
NL1032594C2 (nl) * 2006-09-29 2008-04-01 Avinity Systems B V Werkwijze voor het streamen van parallelle gebruikerssessies, systeem en computerprogrammatuur.
WO2008078736A1 (ja) * 2006-12-27 2008-07-03 Nec Corporation 同一性判定装置、同一性判定方法および同一性判定用プログラム
US9355681B2 (en) 2007-01-12 2016-05-31 Activevideo Networks, Inc. MPEG objects and systems and methods for using MPEG objects
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
JP2008171292A (ja) * 2007-01-15 2008-07-24 Toshiba Corp 画像生成装置，表示端末，通信システム，通信方法，およびプログラム
KR101280443B1 (ko) 2007-01-23 2013-06-28 삼성테크윈 주식회사 영역 영상을 처리하는 장치 및 그 제어방법
JP4309921B2 (ja) * 2007-02-07 2009-08-05 株式会社東芝 通信装置、通信方法、通信システム及びプログラム
GB2447245B (en) * 2007-03-05 2011-12-28 Snell & Wilcox Ltd Video transmission
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US20080267521A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5116017B2 (ja) * 2007-08-31 2013-01-09 Ｋｄｄｉ株式会社 動画検索方法およびシステム
US8045799B2 (en) * 2007-11-15 2011-10-25 Sony Ericsson Mobile Communications Ab System and method for generating a photograph with variable image quality
US8120621B1 (en) * 2007-12-14 2012-02-21 Nvidia Corporation Method and system of measuring quantitative changes in display frame content for dynamically controlling a display refresh rate
US8334857B1 (en) 2007-12-14 2012-12-18 Nvidia Corporation Method and system for dynamically controlling a display refresh rate
US9508111B1 (en) 2007-12-14 2016-11-29 Nvidia Corporation Method and system for detecting a display mode suitable for a reduced refresh rate
JP5337969B2 (ja) * 2008-04-08 2013-11-06 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
US8447128B2 (en) 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
JP2011234018A (ja) * 2010-04-26 2011-11-17 Sony Corp 情報処理装置および方法、並びにプログラム
JP5573349B2 (ja) * 2010-05-17 2014-08-20 パナソニック株式会社 パノラマ展開画像撮影システムおよび方法
CN101883284B (zh) * 2010-06-21 2013-06-26 北京大学 基于背景建模和可选差分模式的视频编/解码方法及系统
US8410994B1 (en) 2010-08-23 2013-04-02 Matrox Graphics Inc. System and method for remote graphics display
AU2011315950B2 (en) 2010-10-14 2015-09-03 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
EP2695388B1 (en) 2011-04-07 2017-06-07 ActiveVideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US8406470B2 (en) * 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
US9001276B2 (en) * 2011-06-30 2015-04-07 Tata Consultancy Services Limited System and method for multiplexing video contents from multiple broadcasting channels into single broadcasting channel
JP2013137417A (ja) * 2011-12-28 2013-07-11 Panasonic Liquid Crystal Display Co Ltd 液晶表示装置
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US10648803B2 (en) 2012-02-29 2020-05-12 Nec Corporation Movement line information generation system, movement line information generation method and movement line information generation program
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
WO2014115387A1 (ja) * 2013-01-28 2014-07-31 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
JP6049024B2 (ja) 2014-08-11 2016-12-21 株式会社チャオ 画像伝送装置、画像伝送方法および画像伝送プログラム
EP3432587A4 (en) * 2016-03-31 2019-02-27 Huawei Technologies Co., Ltd. METHOD FOR PROCESSING AN APPLICATION PROGRAM AND MOBILE DEVICE
CN109644284B (zh) * 2016-08-30 2022-02-15 索尼公司 发送设备、发送方法、接收设备与接收方法
US10748244B2 (en) * 2017-06-09 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for stereo content detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62108686A (ja) * 1985-11-06 1987-05-19 Fujitsu Ltd 受信側符号化制御による画像信号伝送制御方式
JPH0937260A (ja) * 1995-07-14 1997-02-07 Sharp Corp 動画像符号化装置及び動画像復号装置
JPH0937259A (ja) * 1995-07-21 1997-02-07 Sony Corp 画像信号処理装置および方法
JPH10112856A (ja) * 1996-10-04 1998-04-28 Agency Of Ind Science & Technol 画像伝送装置および方法
JPH11187371A (ja) * 1997-12-24 1999-07-09 Kyocera Corp テレビ電話システムにおけるリアルタイム画像伝送方式

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4347618A (en) * 1980-06-30 1982-08-31 Stephen P. Kavouras Apparatus for processing weather radar information
US5475421A (en) 1992-06-03 1995-12-12 Digital Equipment Corporation Video data scaling for video teleconferencing workstations communicating by digital data network
JPH06291732A (ja) * 1993-02-03 1994-10-18 Hitachi Ltd 情報伝送処理装置
FR2711026B1 (fr) * 1993-10-04 1995-12-08 France Telecom Système de gestion de la consommation de consultations de données sur un réseau de télécommunications.
JPH07288806A (ja) 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JP3120664B2 (ja) * 1994-10-19 2000-12-25 松下電器産業株式会社 画像符号化装置、画像復号化装置
US5913170A (en) * 1994-11-16 1999-06-15 Highwaymaster Communications, Inc. Locating system and method using a mobile communications network
JP3351653B2 (ja) * 1995-03-30 2002-12-03 株式会社東芝 無線通信システムの再送制御方式および端末装置
US5684715A (en) * 1995-06-07 1997-11-04 Canon Information Systems, Inc. Interactive video system with dynamic video object descriptors
JP3359185B2 (ja) * 1995-06-30 2002-12-24 キヤノン株式会社 通信装置及び通信システム
US6999438B2 (en) * 1996-01-18 2006-02-14 Kabushiki Kaisha Toshiba Radio communication system
FI113224B (fi) * 1996-11-11 2004-03-15 Nokia Corp Laskutuksen toteuttaminen tietoliikennejärjestelmässä
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
US6340978B1 (en) * 1997-01-31 2002-01-22 Making Everlasting Memories, Ltd. Method and apparatus for recording and presenting life stories
EP0856829B1 (en) * 1997-01-31 2008-09-24 Hitachi, Ltd. Image displaying system and information processing apparatus with control of display attributes specific for a defined display region
US6002803A (en) * 1997-03-11 1999-12-14 Sharp Laboratories Of America, Inc. Methods of coding the order information for multiple-layer vertices
US6384862B1 (en) * 1997-03-12 2002-05-07 Telefoaktiebolaget L M Ericsson Imaging system and method for interactive control of image quality
US6104704A (en) * 1997-03-20 2000-08-15 At&T Corp. Methods and apparatus for gathering and processing billing information for internet telephony
JP3771989B2 (ja) * 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US6035281A (en) * 1997-06-16 2000-03-07 International Business Machines Corporation System and method of multiparty billing for Web access
JP4086344B2 (ja) * 1997-07-31 2008-05-14 キヤノン株式会社 画像送信装置及び制御方法
FI105993B (fi) * 1997-08-20 2000-10-31 Nokia Mobile Phones Ltd Menetelmä ja järjestelmä radiotiedonsiirtoverkon hallitsemiseksi ja radioverkko-ohjain
US6700587B1 (en) * 1997-08-28 2004-03-02 Canon Kabushiki Kaisha Picture display apparatus
JP3048986B2 (ja) * 1997-11-04 2000-06-05 静岡日本電気株式会社 無線通信システム
US6023499A (en) * 1997-11-26 2000-02-08 International Business Machines Corporation Real time billing via the internet for advanced intelligent network services
FI110658B (fi) * 1998-01-15 2003-02-28 Nokia Corp Parannettu paikannusgeometria ja solupohjainen paikannusjärjestelmä
JPH11341533A (ja) * 1998-05-27 1999-12-10 Nec Shizuoka Ltd 個別選択呼出受信機
US6847334B2 (en) * 1998-06-29 2005-01-25 William Hayhurst Mobile telecommunication device for simultaneously transmitting and receiving sound and image data
US7966565B2 (en) * 2002-06-19 2011-06-21 Eastman Kodak Company Method and system for sharing images over a communication network between multiple users

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62108686A (ja) * 1985-11-06 1987-05-19 Fujitsu Ltd 受信側符号化制御による画像信号伝送制御方式
JPH0937260A (ja) * 1995-07-14 1997-02-07 Sharp Corp 動画像符号化装置及び動画像復号装置
JPH0937259A (ja) * 1995-07-21 1997-02-07 Sony Corp 画像信号処理装置および方法
JPH10112856A (ja) * 1996-10-04 1998-04-28 Agency Of Ind Science & Technol 画像伝送装置および方法
JPH11187371A (ja) * 1997-12-24 1999-07-09 Kyocera Corp テレビ電話システムにおけるリアルタイム画像伝送方式

Also Published As

Publication number Publication date
US20070103387A1 (en) 2007-05-10
EP1120968A4 (en) 2006-10-18
CN1322445A (zh) 2001-11-14
EP1906668B1 (en) 2011-06-15
US7009579B1 (en) 2006-03-07
EP1120968A1 (en) 2001-08-01
CN100366090C (zh) 2008-01-30
EP1906669A2 (en) 2008-04-02
US7760156B2 (en) 2010-07-20
EP1120968B1 (en) 2011-06-15
NO20011720L (no) 2001-06-05
JP2002016920A (ja) 2002-01-18
US7486253B2 (en) 2009-02-03
EP1906670A3 (en) 2009-04-29
NO20011720D0 (no) 2001-04-05
NO332792B1 (no) 2013-01-14
EP1906669A3 (en) 2009-04-29
US20050206581A1 (en) 2005-09-22
EP1906670A2 (en) 2008-04-02
EP1906668A3 (en) 2009-04-29
EP1906670B1 (en) 2011-06-15
KR20010085905A (ko) 2001-09-07
EP1906668A2 (en) 2008-04-02
KR100811572B1 (ko) 2008-03-10
WO2001011889A1 (en) 2001-02-15

Similar Documents

Publication Publication Date Title
JP4697500B2 (ja) 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
JP4560897B2 (ja) 通信装置、通信方法及び媒体
US7298905B2 (en) Image processing apparatus and method, communication apparatus, communication system and method, and recording medium
KR101791919B1 (ko) 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝
US6798834B1 (en) Image coding apparatus with segment classification and segmentation-type motion prediction circuit
KR100738241B1 (ko) 이미지 처리 장치
CA2149683A1 (en) Method and apparatus for motion field estimation, segmantation and coding
US20120183075A1 (en) Processing of video image
JP4943586B2 (ja) 効率的な映像処理のための方法および装置
JP3844030B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
EP0993194A2 (en) Method and apparatus for embedding an additional signal into an image signal
CN100584003C (zh) 发送设备及方法
JP4518727B2 (ja) 画像符号化装置および方法、記録媒体、並びにプログラム
JP2003219429A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2001086388A (ja) 画像処理装置および画像処理方法、並びに媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110216

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees