JP2009194595A - 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 - Google Patents

放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2009194595A
JP2009194595A JP2008032674A JP2008032674A JP2009194595A JP 2009194595 A JP2009194595 A JP 2009194595A JP 2008032674 A JP2008032674 A JP 2008032674A JP 2008032674 A JP2008032674 A JP 2008032674A JP 2009194595 A JP2009194595 A JP 2009194595A
Authority
JP
Japan
Prior art keywords
content
information
data
presentation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008032674A
Other languages
English (en)
Other versions
JP2009194595A5 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008032674A priority Critical patent/JP2009194595A/ja
Priority to CN2009801072485A priority patent/CN101960849A/zh
Priority to PCT/JP2009/052364 priority patent/WO2009101998A1/ja
Priority to EP09710743A priority patent/EP2242270A1/en
Priority to US12/866,684 priority patent/US20100325678A1/en
Publication of JP2009194595A publication Critical patent/JP2009194595A/ja
Publication of JP2009194595A5 publication Critical patent/JP2009194595A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13—Arrangements for device control affected by the broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/48—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising items expressed in broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Environmental Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】コンテンツの提示を、柔軟に行う。
【解決手段】送受信システムは、データを送信する送信装置１２と、データを受信する受信装置１３とから構成される。送信装置１２は、コンテンツに用いられるオブジェクトごとのオブジェクト情報を送信する。一方、受信装置１３は、送信装置１２からのオブジェクト情報を受信し、そのオブジェクト情報に基づいて、コンテンツを生成する。本発明は、例えば、放送を行う放送システム等に適用することができる。
【選択図】図１

Description

本発明は、放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体に関し、特に、例えば、画像等のコンテンツの提示を、柔軟に行うことができるようにする放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体に関する。
例えば、現行の、アナログ放送やディジタル放送の放送システムでは、送信側である放送局において、素材データとしての画像や音声が、番組としてのコンテンツを制作するコンテンツ制作者によって編集され、その編集後の画像及び音声からなるコンテンツが、番組として放送される。
一方、受信側である、例えば、各家庭では、TV(テレビジョン受像機)等によって、放送局からの番組としてのコンテンツの画像が表示されるとともに、音声が出力される。
なお、送信側から、視点の異なる複数の画像の素材を放送し、受信側で、ユーザが、任意の視点の画像を選択することができる放送システムが提案されている（例えば、特許文献１を参照）。
特開2006-217662号公報
受信側のTVでは、上述のように、放送局で編集がされた、編集後のコンテンツが提示（表示や出力等）される。
したがって、ユーザは、放送局において、コンテンツ制作者が、ある意図をもって編集したコンテンツを鑑賞（視聴）することになる。
その結果、例えば、コンテンツに、ユーザが嫌いな対象（オブジェクト）が含まれていても、ユーザは、そのオブジェクトを鑑賞することになる。
このため、ユーザが嫌いなオブジェクトを鑑賞せずに済むように、そのオブジェクトをコンテンツから削除すること等の加工を、ユーザが行うことができるようにすることが要請されている。
一方、例えば、セカンドライフ等の仮想空間（仮想的な空間）においては、ユーザは、仮想空間として提供されるコンテンツ（を構成するオブジェクト）を加工すること、すなわち、例えば、ユーザの好みの家を建てること等が可能である。
しかしながら、セカンドライフ等の仮想空間においては、各ユーザが、コンテンツを加工することはできても、その加工後のコンテンツは、ユーザ全員で共有することになる。
したがって、ユーザは、他のユーザが加工したコンテンツが気に入らなくても、そのコンテンツを鑑賞しなければならない。
また、上述のような放送システムや仮想空間において、ユーザが鑑賞することができるのは、画像及び音声という、視覚及び聴覚で鑑賞することができるコンテンツ（を構成するオブジェクト）だけであり、視覚及び聴覚以外の感覚で鑑賞することができるコンテンツ、すなわち、例えば、料理の匂いを鑑賞する（嗅ぐ）ことは困難であった。
さらに、放送システムや仮想空間では、上述のように、ユーザは、視覚及び聴覚の２つの感覚で、コンテンツを鑑賞するが、３つ以上の感覚で鑑賞することができるコンテンツの提示が要請されている。
また、特許文献１に記載の放送システムでは、各オブジェクトごとに分離された各オブジェとに固有の情報を放送することはしないため、ユーザがコンテンツを加工する自由度が低い。
本発明は、このような状況に鑑みてなされたものであり、例えば、ユーザが、各ユーザ固有のコンテンツを鑑賞することや、ユーザが、視覚及び聴覚以外の感覚でコンテンツを鑑賞すること、ユーザが、３つ以上の感覚でコンテンツを鑑賞すること等ができるように、コンテンツの提示を、柔軟に行うことができるようにするものである。
本発明の第１の側面の放送システムは、データを送信する送信装置と、前記データを受信する受信装置とから構成される放送システムであり、前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段を有し、前記受信装置が、前記オブジェクト情報に基づいて、コンテンツを生成する生成手段を有する放送システムである。
以上のような第１の側面においては、前記送信装置において、コンテンツに用いられるオブジェクトごとのオブジェクト情報が放送データとして送信され、前記受信装置において、前記オブジェクト情報に基づいて、コンテンツが生成される。
本発明の第２の側面の送信装置、又は、プログラムは、データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置であり、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段を備える送信装置、又は、送信装置として、コンピュータを機能させるためのプログラムである。
本発明の第２の側面の送信方法は、データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置の送信方法であり、前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信するステップを含む送信方法である。
以上のような第２の側面においては、コンテンツに用いられるオブジェクトごとのオブジェクト情報が放送データとして送信される。
本発明の第３の側面の受信装置、又は、プログラムは、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置であり、前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、前記オブジェクト情報に基づいて、コンテンツを生成する生成手段を備える受信装置、又は、受信装置として、コンピュータを機能させるためのプログラムである。
本発明の第３の側面の受信方法は、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置の受信方法であり、前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、前記受信装置が、前記オブジェクト情報に基づいて、コンテンツを生成するステップを含む受信方法である。
以上のような第３の側面においては、前記オブジェクト情報に基づいて、コンテンツが生成される。
本発明の第４の側面の提示装置、又はプログラムは、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置であり、前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、前記オブジェクト情報に基づいて生成されるコンテンツを提示する提示手段を備える提示装置、又は、提示装置として、コンピュータを機能させるためのプログラムである。
本発明の第４の側面の提示方法は、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置の提示方法であり、前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、前記提示装置が、前記オブジェクト情報に基づいて生成されるコンテンツを提示するステップを含む提示方法である。
以上のような第４の側面においては、前記オブジェクト情報に基づいて生成されるコンテンツが提示される。
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
また、送信装置や、受信装置、提示装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本発明の第１ないし第４の側面によれば、コンテンツの提示を、柔軟に行うことが可能となる。
図１は、本発明を適用した送受信システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
図１において、送受信システムは、例えば、番組としてのコンテンツの放送を行う放送システムであり、送信側の装置としてのセンシング装置１１、及び送信装置１２、並びに、受信側の装置としての受信装置１３、及び提示装置１４から構成されている。
センシング装置１１は、コンテンツを構成する（コンテンツに用いられる）各種のオブジェクトをセンシングし、そのセンシングの結果得られるデータを、送信装置１２に供給する。
送信装置１２は、センシング装置１１からのデータから、コンテンツの提示に必要な各種のデータ（情報）を生成し、放送用の放送データとして送信する。
また、送信装置１２は、コンテンツ制作者の意図を反映したコンテンツ、つまり、コンテンツ制作者による編集後のコンテンツの提示に必要なデータを生成し、放送データとして送信する。
放送データは、例えば、地上波や、衛星回線、インターネット、CATV(Cable Television)網等の伝送媒体を介して送信される。
受信装置１３は、送信装置１２から送信されてくるデータを受信し、そのデータから、提示装置１４で提示を行うための提示データ（コンテンツとなる提示データ）を生成して、提示装置１４に供給する。
なお、受信装置１３は、必要に応じて、ユーザからの指示に基づき、提示データを生成する。
提示装置１４は、受信装置１３からの提示データに従い、ユーザに対して、コンテンツの提示を行う。
図２は、図１のセンシング装置１１を説明する図である。
センシング装置１１としては、提示装置１４でコンテンツの提示に必要な任意の物理量をセンシングする各種のセンサを採用することができる。
すなわち、センシング装置１１としては、例えば、力をセンシングする力センサ、速度をセンシングする速度センサ、回転数をセンシング（計測）する回転数センサ、液体をセンシングする液センサ、ガス濃度やイオン濃度等をセンシングする化学センサ、変位をセンシング（計測）する変位センサ、加速度をセンシングする加速度センサ、距離をセンシングする距離センサ、磁気をセンシングする磁気センサ、位置をセンシングする位置センサ、角速度をセンシングする角速度センサ、光をセンシングする光センサ、温度をセンシングする温度センサ等を採用することができる。
なお、光センサには、光の検出や、明るさの検出を行うセンサの他、撮影を行い、画像を出力するイメージャ（カメラ）が含まれる。
また、センシング装置１１としては、上述したセンサの他、時間、電場、電流、放射線（X線）、流量、湿度、振動、匂い、赤外線、音（音声）、その他の物理量をセンシングするセンサを採用することができる。
次に、センシング装置１１によるセンシングの形態について説明する。
センシング装置１１は、上述したように、コンテンツに用いられる各種のオブジェクトをセンシングするが、そのセンシングの形態としては、第１、第２、及び、第３の形態がある。
図３は、センシング装置１１によるセンシングの第１の形態を示している。
なお、図３では（後述する図４、及び図５でも同様）、背景となるオブジェクトと、背景以外のオブジェクトである２つの物体（例えば、俳優である人物や、自動車、その他の有体物等）A及びBとからなるコンテンツを対象として、オブジェクトのセンシングを行うこととする。
ここで、背景は、その背景全体が１つのオブジェクトであることとし、物体A及びBは、その物体A及びBのそれぞれが１つのオブジェクトであることとする。
第１の形態では、センシング装置１１として、背景となるオブジェクトをセンシングするセンサである背景用センサと、物体A及びBのそれぞれをセンシングするセンサである物体用センサとを、別個に用意して、コンテンツを構成している状態の背景と、２つの物体A及びBのそれぞれとが、同時にセンシングされる。
すなわち、背景は、背景用センサで、物体Aは、物体用センサで、物体Bは、他の物体用センサで、それぞれセンシングされる。
なお、背景用センサとしては、光をセンシングして画像を出力するカメラや、音をセンシングするマイク、温度をセンシングする温度センサ、湿度をセンシングする湿度センサ、イオン密度をセンシングするイオン密度センサ、匂いをセンシングする匂いセンサ、位置をセンシングする位置センサ（例えば、GPS(Global Positioning System)）、距離をセンシングする距離センサ等が用いられる。
また、物体用センサしては、上述のカメラや、マイク、温度センサ、匂いセンサ、位置センサ、さらには、味をセンシングする味覚センサ、角速度をセンシングする角速度センサ、X線をセンシングするセンサ等が用いられる。
ここで、物体用センサは、１つのオブジェクトに複数割り当て、その複数の物体用センサによって、１つのオブジェクトのセンシングを行うことができる。背景用センサについても同様である。
なお、複数の物体用センサや背景センサによって、オブジェクトをセンシングする場合の、その複数の物体用センサや背景センサの配置としては、例えば、特開2004-266511号公報に記載されているカメラ配置を採用することができる。
図４は、センシング装置１１によるセンシングの第２の形態を示している。
第２の形態では、図３の第１の形態と同様に、センシング装置１１として、背景となるオブジェクトをセンシングするセンサである背景用センサと、物体A及びBのそれぞれをセンシングするセンサである物体用センサとを、別個に用意して、コンテンツに用いられる背景と、２つの物体A及びBそれぞれとが、同時にセンシングされる。
但し、第２の形態では、背景と物体A及びBのセンシングは、背景と物体A及びBがコンテンツを構成している状態で行われるのではなく、背景、物体A、及び物体Bのそれぞれが別々になっている状態で行われる。
すなわち、例えば、レース場を背景として、物体A及びBとしての２台の自動車が、カーレースを行っているコンテンツを例にすれば、第１形態では、物体A及びBとしての２台の自動車が、背景としてのレース場で、実際にカーレースを行っている状態で、背景としてのレース場と、物体A及びBとしての２台の自動車の撮影等のセンシングが行われる。
一方、第２の形態では、カーレースが行われていない状態のレース場の撮影等のセンシングが行われ、レース場のセンシングとは無関係な場所や時間に、物体Aとしての自動車のセンシングが行われる。物体Bとしての自動車のセンシングも、レース場のセンシングや、物体Aのセンシングと無関係に行われる。
図５は、センシング装置１１によるセンシングの第３の形態を示している。
第３の形態では、背景をセンシングするセンサ、物体Aをセンシングするセンサ、及び物体Bをセンシングするセンサが兼用されている。
ここで、背景をセンシングするセンサと、物体Aをセンシングするセンサ、及び物体Bをセンシングするセンサとを兼用するセンサを、兼用センサという。
兼用センサによれば、背景、物体A、及び、物体Bそれぞれの物理量が合成した状態でセンシングがされる。
なお、センシング装置１１での物理量のセンシングの結果得られたデータ（以下、センシング情報ともいう）は、後述するように、送信装置１２において、オブジェクトごとのオブジェクト情報を生成するのに用いられる。
オブジェクトごとのオブジェクト情報の生成にあたっては、オブジェクトごとのセンシング情報が必要であり、そのため、兼用センサでセンシングする物理量は、兼用センサが出力するセンシング情報を、オブジェクトごとのセンシング情報に分離することができる物理量である必要がある。
例えば、カメラが出力するセンシング情報としての画像は、オブジェクト画像抽出の技術によって、オブジェクトごとの画像に分離することができる。また、例えば、マイクが出力するセンシング情報としての音は、音源分離の技術によって、オブジェクトごとの音に分離することができる。したがって、カメラやマイクは、兼用センサとして使用することができる。
一方、X線や、温度、匂い等をセンシングするセンサで、複数のオブジェクトをセンシングした場合、そのセンサが出力するセンシング情報を、オブジェクトごとに分離することは困難である。
このように、オブジェクトごとのセンシング情報に分離することが困難な物理量については、その物理量をセンシングするセンサを、オブジェクトごとに用意してセンシングを行う必要がある。
次に、図６は、図１の送信装置１２の構成例を示している。
図６において、送信装置１２は、オブジェクト情報生成部３１、コンテンツデフォルト情報生成部３２、及び、送信部３３から構成される。
オブジェクト情報生成部３１には、センシング装置１１から、センシング情報が供給される。さらに、オブジェクト情報生成部３１には、コンテンツ制作者が、図示せぬ操作部を操作することにより行った編集の指示を表す指示情報も供給される。
オブジェクト情報生成部３１は、例えば、指示情報によって編集の指示がされたオブジェクト等について、センシング装置１１からのセンシング情報から、オブジェクトごとのオブジェクト情報を生成する。さらに、オブジェクト情報生成部３１は、オブジェクトを識別するためのユニークなオブジェクトID(idenfitication)を生成し、そのオブジェクトIDが表すオブジェクトのオブジェクト情報とともに、送信部３３に供給する。
なお、オブジェクトIDは、オブジェクト情報生成部３１から、コンテンツデフォルト情報生成部３２にも供給される。
また、オブジェクト情報生成部３１が生成するオブジェクト情報には、背景のオブジェクトのオブジェクト情報と、背景以外の物体のオブジェクトのオブジェクト情報とがある。以下、適宜、背景のオブジェクト情報を、背景オブジェクト情報ともいい、背景以外の物体のオブジェクト情報を、物体オブジェクト情報ともいう。
ここで、オブジェクト情報とは、オブジェクトを鑑賞したときに得られる感覚を再現するための情報でもある。
オブジェクトを鑑賞したときに得られる感覚には、いわゆる五感で感じることができるもの、すなわち、例えば、視覚で認識（知覚）されるオブジェクトの画像（オブジェクトが反射する光）、聴覚で認識される、オブジェクトが発する音（音声）、嗅覚で認識されるオブジェクトの匂い、味覚で認識されるオブジェクトの味、触覚で認識されるオブジェクトの温度等がある。
オブジェクト情報は、以上のような、オブジェクト、ひいては、オブジェクトを用いて構成されるコンテンツを鑑賞したときに得られる感覚を再現するための情報であり、かつ、オブジェクトごとの情報である。
ここで、オブジェクト（コンテンツ）を鑑賞したときに得られる感覚を再現するための情報を、感覚情報ともいう。
感覚情報であるオブジェクト情報としては、オブジェクトを鑑賞したときに得られる感覚を再現するための物理シミュレーションに必要な物理モデルを同定するためのパラメータ（以下、モデルパラメータともいう）を採用することができる。
モデルパラメータとしては、例えば、オブジェクトを剛体としたときの運動をシミュレートするための、オブジェクトに固有の第１のパラメータや、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための、オブジェクトに固有の第２のパラメータがある。
オブジェクトを剛体としたときの運動をシミュレートするための第１のパラメータとしては、例えば、オブジェクトの質量や、慣性モーメント、ジオメトリ形状（オブジェクトどうしの相互作用（衝突や摩擦など）において用いられるオブジェクト境界形状）、反発係数、摩擦係数、実世界での大きさ（例えば、メッシュ座標の単位尺度が実世界のどの程度の距離に対応しているか）等がある。
なお、背景のオブジェクトについての第１のパラメータとしては、その他、例えば、その場の風速（空気中）や、流速（水中）、重力等がある。
また、モデルパラメータに、第１のパラメータが含まれる場合、受信装置１３（図１）では、その第１のパラメータを用いて、オブジェクトを剛体としたときの運動をシミュレートするシミュレーションが行われる。
オブジェクトを剛体としたときの運動をシミュレートするシミュレーション方法としては、例えば、動力学シミュレータを使った運動シミュレーション(ODE(Open Dynamics Engine)（商標）)がある。ODEについては、例えば、ODEのwebページ(URL:http://www.ode.org/)に記載されている。
一方、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための第２のパラメータとしては、例えば、色情報、メッシュ情報などの外形形状モデル、照明情報、オブジェクト材質情報（照明反射率、反射特性に関連する）がある。
なお、背景のオブジェクトについての第２のパラメータとしては、その他、例えば、特開2004-015106号公報に記載されている中間データを採用することができる。中間データは、例えば、オブジェクトを様々な方向から見たときに視覚に映る画像のデータであり、以下、適宜、光線空間表現データベースともいう。
また、モデルパラメータに、第２のパラメータが含まれる場合、受信装置１３（図１）では、その第２のパラメータを用いて、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするシミュレーションが行われる。
様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするシミュレーション方法としては、例えばOpenGL(R)(Open Graphics Library)を使ったCG(Computer Graphics)視点変更や照明条件の設定等を行った条件の下で、CGを生成する方法がある。OpenGL(R)については、例えば、URL:http://ja.wikipedia.org/wiki/OpenGLに記載されている。
ここで、モデルパラメータとして理想的な情報は、オブジェクトが実世界（現実世界）で起こすあらゆる状態の変化をシミュレーションするために必要な情報である。
モデルパラメータに、理想的な情報が含まれる場合、受信装置１３（図１）では、その理想的な情報を用いて、例えば、剛体の運動をシミュレートする剛体シミュレーションの他、流体等の物体変形をもシミュレートする、ある程度汎用的な力学シミュレーション（例えば、格子法や粒子法等）や、光の拡散をシミュレートするシミュレーション、温度の変化をシミュレートするシミュレーション、そして、究極的には、原子のシミュレーションが行われ、このようなシミュレーションを行うための多数のシミュレータが必要となる。
なお、シミュレーションが困難な物理量、その他、オブジェクトの特定の物理量については、オブジェクト情報としては、モデルパラメータではなく、オブジェクト固有情報を採用することができる。
オブジェクト固有情報とは、例えば、センシング装置１１でオブジェクトのセンシングを行うことにより得られるセンシング情報と、オブジェクトの擬似的な物理量をシミュレートするための情報である。
オブジェクト固有情報としてのセンシング情報としては、例えば、オブジェクトが発する音（音声）や、オブジェクトの温度、（X線により撮影される）オブジェクトの内部構造、オブジェクトの匂い、オブジェクトの味等を表す情報がある。
また、オブジェクト固有情報としての、オブジェクトの擬似的な物理量をシミュレートするための情報としては、例えば、物体の見た目から音をつくり出すクロスクリエーションに必要な情報（例えば、オブジェクトどうしが衝突したきに発生する音等のテンプレート）等がある。
オブジェクト情報には、上述のモデルパラメータや、オブジェクト固有情報の他に、コンテンツのエンターテイメント性を向上させるための情報（以下、エンタメ情報ともいう）や、エネルギ情報、トリガ情報を含めることができる。
エンタメ情報とは、例えば、物理シミュレーションでは不可能なオブジェクトの状態変化を創造するための情報であり、例えば、オブジェクトのスケッチ画（スケッチ画のような画像）（スケッチ調の画像）の情報である。
エネルギ情報とは、例えば、受信装置１３側の視聴環境（例えば、ディスプレイの大きさ）を考慮したリアリティを実現するために必要な情報であり、例えば、オブジェクトの大きさである。
すなわち、受信装置１３では、例えば、画像のコンテンツが、大画面のディスプレイに表示された場合に、その大画面のディスプレイにおいて、コンテンツを構成するオブジェクト（例えば、人物）が、実世界での大きさよりも大きく表示されることがある。
そして、例えば、ディスプレイに表示された人物が、実世界で実際に見た場合の大きさよりも大きい場合には、臨場感が薄れ、いわゆるリアリティが損なわれる。
そこで、受信装置１３では、オブジェクトが、実世界での大きさよりも大きく表示されないように、すなわち、ユーザが、実世界のオブジェクトを見ているかのように認識するように、ディスプレイに表示されるオブジェクトの大きさを調整するリアリティ処理が行われる。
エネルギ情報は、受信装置１３において、以上のようなリアリティ処理に用いられる。
トリガ情報とは、例えば、上述のクロスクリエーションに必要な情報である。
コンテンツデフォルト情報生成部３２には、コンテンツ制作者が、図示せぬ操作部を操作することにより行った編集の指示を表す指示情報が供給される。
コンテンツデフォルト情報生成部３２は、オブジェクト情報生成部３１から供給されるオブジェクトIDが表す各オブジェクトについて、そのオブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を、コンテンツ制作者からの指示情報に従って生成し、送信部３３に供給する。
すなわち、例えば、いま、コンテンツ制作者が制作しようとしている番組としてのコンテンツについて、仮想的な空間（仮想空間）を想定し、その仮想空間を、コンテンツ世界ということとすると、コンテンツ制作者は、オブジェクト情報生成部３１からのオブジェクトIDが表す、コンテンツ世界の各オブジェクトの配置や向き等の、オブジェクトの状態に関する情報、コンテンツ世界の照明条件（コンテンツ世界のオブジェクトを照明する光源の位置や、その光源の明るさ等）、コンテンツ世界でオブジェクトを鑑賞する鑑賞者（ユーザ）の位置や向き等の情報を、操作部を操作することにより指示する。
コンテンツデフォルト情報生成部３２は、コンテンツ制作者の指示を表す指示情報に従い、オブジェクトの状態に関する時系列データ、照明条件の時系列データ、鑑賞者の位置や向き等の時系列データを生成し、これらの時系列データを、コンテンツデフォルト情報として、送信部３３に供給する。
ここで、受信装置１３（図１）では、後述するように、ユーザからの指示が特にない場合には、コンテンツデフォルト情報に基づいて、コンテンツ世界の各オブジェクトの配置（位置）や向き、コンテンツ世界の照明条件、鑑賞者の位置、及び向きの設定を行い、その設定に従い、鑑賞者から見た画像等が、番組としてのコンテンツとして生成される。
送信部３３は、オブジェクト情報生成部３１から供給されるオブジェクト情報（物体オブジェクト情報、及び、背景オブジェクト情報）と、オブジェクトID、並びに、コンテンツデフォルト情報生成部３２から供給されるコンテンツデフォルト情報を、放送データとして送信（放送）する。
なお、オブジェクト情報生成部３１において生成するオブジェクト情報は、五感すべてについての感覚情報であっても良いし、五感のうちの一部の感覚についての感覚情報、すなわち、例えば、五感のうちの、１，２，３、又は４つについての感覚情報や、視覚及び聴覚以外の感覚、つまり、嗅覚、味覚、又は、触覚のうちの１以上についての感覚情報であっても良い。
次に、図７を参照して、図６の送信装置１２の処理について説明する。
ステップＳ１１において、オブジェクト情報生成部３１は、センシング装置１１から供給されるセンシング情報から、オブジェクトごとのオブジェクト情報を生成するとともに、オブジェクトを識別するためのオブジェクトIDを生成する。さらに、オブジェクト情報生成部３１は、オブジェクトIDをコンテンツデフォルト情報生成部３２に供給するとともに、オブジェクトIDと、そのオブジェクトIDが表すオブジェクトのオブジェクト情報とを対応付けて、送信部３３に供給する。
また、ステップＳ１１では、コンテンツデフォルト情報生成部３２が、コンテンツ制作者からの指示情報に従い、オブジェクト情報生成部３１からのオブジェクトIDが表す各オブジェクトについて、コンテンツデフォルト情報を生成し、送信部３３に供給する。
そして、処理は、ステップＳ１１からステップＳ１２に進み、送信部３３は、オブジェクト情報生成部３１からのオブジェクトIDが対応付けられたオブジェクト情報と、コンテンツデフォルト情報生成部３２からのコンテンツデフォルト情報を、放送データとして送信する。
次に、図８は、図６のオブジェクト情報生成部３１の構成例を示している。
図８において、オブジェクト情報生成部３１は、背景オブジェクト情報生成部４１、物体オブジェクト情報生成部４２、及びID付与部４３から構成される。
背景オブジェクト情報生成部４１、及び、物体オブジェクト情報生成部４２には、センシング装置１１（図１）から、センシング情報が供給される。
背景オブジェクト情報生成部４１は、センシング装置１１からのセンシング情報（のうちの背景のセンシング情報）から、背景オブジェクト（コンテンツの生成に必要となる、物体オブジェクト以外のオブジェクト）の背景オブジェクト情報を生成し、ID付与部４３に供給する。
ここで、背景オブジェクト情報（オブジェクト情報）としては、図６で説明したように、オブジェクトを鑑賞したときに得られる感覚を再現するための物理シミュレーションに必要な物理モデルを同定するためのモデルパラメータを採用することができ、モデルパラメータとしては、例えば、オブジェクトを剛体としたときの運動をシミュレートするための第１のパラメータや、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための第２のパラメータがある。
背景オブジェクトについては、例えば、背景オブジェクトの様々な位置における風速や、流速、重力等が、背景オブジェクト情報としての第１のパラメータとなる。
また、例えば、複数のアングル（方向）から背景オブジェクトを見たときに得られる、背景オブジェクトのみの画像（以下、背景画像ともいう）から作成することができる、背景オブジェクトの光線空間表現データベース等が、背景オブジェクト情報としての第２のパラメータとなる。
なお、センシング装置１１（図１）において、センシングとしての撮影を、第２の形態で行った場合（図４）には、センシング装置１１が出力するセンシング情報としての画像には、背景オブジェクトのみが映っており、したがって、背景画像を得ることができる。
一方、センシング装置１１において、センシングとしての撮影を、第１、又は第３の形態で行った場合（図３、又は図５）には、センシング装置１１が出力するセンシング情報としての画像には、背景オブジェクトの他、物体オブジェクトも映っている。
この場合、背景オブジェクト情報生成部４１は、背景オブジェクトと物体オブジェクトの両方が映っている画像から、背景メモリを利用して、背景画像、つまり、背景オブジェクトのみが映っている画像を抽出する。
背景メモリを利用して背景画像を抽出する方法については、例えば、特開1995-038858号公報や、特開1995-046533号公報、特開1999-164264号公報等に記載されている。
また、複数のアングルの背景画像からの、背景オブジェクトの光線空間表現データベースの作成は、例えば、特開2004-015106号公報に記載の技術によって行うことができる。
すなわち、背景オブジェクト情報生成部４１は、複数のアングルの背景画像から、背景オブジェクトから所定の方向に放たれる光線の色情報を抽出し、その色情報を、背景オブジェクトを所定の方向の無限遠から見た場合の画像データとして、所定の方向ごとに保持する。このように、所定の方向ごとに保持された画像データが、光線空間表現データベースである。
なお、特開2004-015106号公報に記載されているように、所定の方向ごとに保持された画像データの画素の中には、背景画像から、画素値を直接取得することができない画素があり、この場合、画素値を取得することができなかった画素については、その画素の近傍の画素の画素値や、所定方向と隣接する方向の画像データの画素の画素値等を用いて、画素値の補間を行うことができる。
画素値の補間の方法としては、例えば、補間に用いる画素値の平均値を、補間の対象の画素の画素値とする方法や、クラス分類適応処理によって、補間前の画像データを、補間後の画像データに変換する方法等がある。
クラス分類適応処理については、例えば、特開2007-235312号公報等に記載されている。
以上のようにして得られる、背景オブジェクトの光線空間表現データベースによれば、特開2004-015106号公報に記載されているように、任意の方向から背景オブジェクトを見たときに得られる画像（任意のアングルの背景オブジェクトの画像）を生成することができる。
なお、図６で説明したように、背景オブジェクト情報（オブジェクト情報）としては、モデルパラメータではなく、（オブジェクト固有情報としての）センシング情報を採用することができる。
背景オブジェクト情報となるセンシング情報としては、例えば、背景オブジェクトが発する音（背景オブジェクトの音声）や、背景オブジェクトの温度、背景オブジェクトの湿度、背景オブジェクトの匂い、背景オブジェクトの大きさ（実世界での大きさ（空間の広さ等））を表す情報がある。
なお、センシング装置１１（図１）において、センシングとしての集音を、第２の形態で行った場合（図４）には、センシング装置１１が出力するセンシング情報としての音声は、背景オブジェクトの音声のみであり、したがって、背景オブジェクトのみの音声を得ることができる。
一方、センシング装置１１において、センシングとしての集音を、第１、又は第３の形態で行った場合（図３、又は図５）には、センシング装置１１が出力するセンシング情報としての音声には、背景オブジェクトの音声の他、物体オブジェクトの音声も含まれていることがある。
この場合、背景オブジェクト情報生成部４１は、背景オブジェクトと物体オブジェクトの両方の音声が含まれる音声から、音源分離の技術によって、背景オブジェクトの音声のみを抽出し、背景オブジェクト情報とする。
物体オブジェクト情報生成部４２は、センシング装置１１からのセンシング情報（のうちの物体のセンシング情報）から、物体オブジェクトごとに、物体オブジェクトの物体オブジェクト情報を生成し、ID付与部４３に供給する。
ここで、物体オブジェクト情報（オブジェクト情報）としては、図６で説明したように、オブジェクトを鑑賞したときに得られる感覚を再現するための物理シミュレーションに必要な物理モデルを同定するためのモデルパラメータを採用することができ、モデルパラメータとしては、例えば、オブジェクトを剛体としたときの運動をシミュレートするための第１のパラメータや、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための第２のパラメータがある。
物体オブジェクトについては、例えば、物体オブジェクトの質量や、大きさ、ジオメトリ形状、慣性モーメント、摩擦係数等が、物体オブジェクト情報としての第１のパラメータとなる。
ここで、物体オブジェクトの質量については、センシング装置１１（図１）において、物体オブジェクトの重さを測定するセンシングを行い、物体オブジェクト情報生成部４２は、そのセンシングの結果得られるセンシング情報から、物体オブジェクトの質量を取得する。
また、物体オブジェクトの大きさ、及びジオメトリ形状については、センシング装置１１において、例えば、レーザ光によって、物体オブジェクトを360度の各方向から測距するセンシングを行い、物体オブジェクト情報生成部４２は、そのセンシングの結果得られるセンシング情報から、物体オブジェクトの大きさ、及びジオメトリ形状を算出する。
さらに、慣性モーメントについては、物体オブジェクト情報生成部４２は、物体オブジェクトのジオメトリ形状、大きさ、及び、密度を用いて、慣性モーメントを算出する。
また、物体オブジェクト情報生成部４２において、反発係数、及び摩擦係数は、物体オブジェクトの種類ごとに、値をあらかじめ用意しておき、その値の中から、物体オブジェクトの種類に対応する値を選択する。
なお、反発係数、及び摩擦係数は、センシング装置１１（図１）において、センシングとしての計測を行うことが可能であれば、計測してもよい。
次に、物体オブジェクト情報生成部４２が生成する物体オブジェクト情報としての第２のパラメータについて説明する。
物体オブジェクト情報としての第２のパラメータは、様々な照明条件で、様々な位置及び方向から物体オブジェクトを見たときに視覚に映る物体オブジェクトの画像をシミュレートするためのパラメータであり、例えば、CGの作成に用いられるワイヤフレーム（３次元形状）とテクスチャ情報とを採用することができる。
この場合、物体オブジェクト情報生成部４２は、センシング装置１１において、センシングとしての撮影を行うことにより得られる、物体オブジェクトを２以上の方向から見て得られる画像（例えば、ステレオ画像等）から、第２のパラメータとしてのワイヤフレームとテクスチャ情報を求める。
ステレオ画像から、ワイヤフレームとテクスチャ情報を求める方法、及び、そのワイヤフレームとテクスチャ情報から、画像(CG)を作成する方法については、例えば、特開2005-165468号公報に記載されている。
以上のようにして得られる、ワイヤフレームとテクスチャ情報によれば、様々な照明条件で、様々な位置及び方向から物体オブジェクトを見たときに視覚に映る物体オブジェクトの画像をシミュレートすることができる。
なお、図６で説明したように、物体オブジェクト情報（オブジェクト情報）としては、モデルパラメータではなく、（オブジェクト固有情報としての）センシング情報を採用することができる。
物体オブジェクト情報となるセンシング情報としては、例えば、物体オブジェクトが発する音（物体オブジェクトの音声）や、物体オブジェクトの温度、物体オブジェクトの味、物体オブジェクトの匂い、（X線により撮影される）物体オブジェクトの内部構造、物体オブジェクトの大きさを表す情報がある。
なお、センシング装置１１（図１）において、センシングとしての集音を、第２の形態で行った場合（図４）には、センシング装置１１が出力するセンシング情報としての音声は、１つの物体オブジェクトの音声のみであり、したがって、１つの物体オブジェクトのみの音声を得ることができる。
一方、センシング装置１１において、センシングとしての集音を、第１、又は第３の形態で行った場合（図３、又は図５）には、センシング装置１１が出力するセンシング情報としての音声には、１つの物体オブジェクトの音声の他、他の物体オブジェクトや背景オブジェクトの音声も含まれていることがある。
この場合、物体オブジェクト情報生成部４２は、１つの物体オブジェクトの音声と、他の物体オブジェクトや背景オブジェクトの音声とが含まれる音声から、音源分離の技術によって、１つの物体オブジェクトの音声のみを抽出し、その物体オブジェクトの物体オブジェクト情報とする。
ID付与部４３は、背景オブジェクト情報生成部４１からの背景オブジェクトの背景オブジェクト情報に、その背景オブジェクトを識別するオブジェクトIDを付加し、送信部３３（図６）に供給するとともに、物体オブジェクト情報生成部４２からの物体オブジェクトの物体オブジェクト情報に、その物体オブジェクトを識別するオブジェクトIDを付加し、送信部３３に供給する。
次に、上述したように、図８において、物体オブジェクト情報生成部４２は、特開2005-165468号公報に記載の技術を利用して、ワイヤフレームとテクスチャ情報を求める。
図９は、特開2005-165468号公報に記載の技術を利用して、ワイヤフレームとテクスチャ情報を求め、さらに、そのワイヤフレームとテクスチャ情報から、画像を作成する画像処理装置の構成例を示している。
図９の画像処理装置は、最低２枚以上の複数撮影された画像から、ステレオ画像を構成する左右２枚の画像を１単位として、測定対象物１０１の立体的な形状を算出するとともに、測定対象物１０１の全体を３Ｄ（３次元）計測もしくは取得された３Ｄデータを用いて、測定対象物１０１の２次元画像に立体感を表現するテクスチャ（texture）を貼り付ける。ここで、テクスチャとはグラフィックスなどにおいて、図形の表面に付けられた模様や、質感を表すための描き込みをいう。
図９において、測定対象物１０１は、施工対象物・製作対象物となる有体物で、例えば建築物等の各種工作物や人物・風景等が該当する。
画像撮影装置１１０は、例えばステレオカメラや汎用のデジタルカメラとこのデジタルカメラで撮影された測定対象物１０１の左右画像に対してレンズ収差の補償を行う装置を組合せた機器である。
ステレオ画像データ記憶部１１２は、測定対象物１０１のステレオ画像を記憶する。すなわち、ステレオ画像データ記憶部１１２は、画像撮影装置１１０で撮影された測定対象物１０１の左右画像を記憶する。
３次元位置測定装置１１４は、測量の対象となる標点位置をレーザ等を用いて自動的に測定する機器で、トータルステーション、３次元スキャナ等が含まれる。
測定対象物位置データ記憶部１１６は、絶対標定に必要とされる３点の基準点となる測定対象物１０１の位置データを記憶する。すなわち、測定対象物位置データ記憶部１１６は、３次元位置測定装置１１４で測定された基準点の位置データを記憶する。なお、絶対標定を行わないで、モデル座標系を用いた相互標定で充分な用途では、測定対象物位置データ記憶部１１６を設けるに及ばない。
対応点指示部１２２は、標定部１２４で用いる対応点を指示する。対応点指示部１２２は、例えば、表示装置４０に表示される測定対象物１０１に関して、指示位置近傍の特徴点を示すように構成されている。指示位置近傍の特徴点には、例えば測定対象物１０１の中心位置、重心位置、コーナ位置などがある。対応点指示部１２２により対応点を指示すると、操作者が厳格に特徴点を指示しなくても、操作者が本来意図した特徴点に引き込まれるため、標定部１２４による標定作業が容易に行える。
標定部１２４は、ステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める。
表示画像形成部１３０は、３次元座標データ部１３１、モデル形成部１３２、モデル記憶部１３３、画像対応部１３４、モデル表示部１３５、姿勢指示部１３６、画像変換部１３７を備えている。
３次元座標データ部１３１は、標定部１２４で求められた対応点関係から、測定対象物１０１の対応点の３次元座標データを求める。
モデル形成部１３２は、対応点の３次元座標データから測定対象物１０１のモデルを形成する。
モデル記憶部１３３は、モデル形成部１３２で形成された測定対象物１０１のモデルを記憶する。
画像対応部１３４は、ステレオ画像データ記憶部１１２に記憶された測定対象物のステレオ画像とモデル形成部１３２で形成されたモデルとを、標定部１２４で求められた対応点関係を用いて対応付ける。
モデル表示部１３５は、画像対応部１３４によりモデルと対応付けられたステレオ画像を用いて、測定対象物１０１を、立体感のある２次元画像で表示装置１４０に表示する。なお、モデル表示部１３５は、放送局側で、オブジェクトのモデルの画像を確認するための表示部とすることができる。
姿勢指示部１３６は、例えば、操作者がマウス等のカーソル入力装置を操作することに応じて、表示装置１４０に表示される測定対象物１０１のモデルの姿勢を指示する。
画像変換部１３７は、モデルに対する姿勢指示に応じて、対応点の座標変換を行う。
表示装置１４０は、液晶表示装置等の画像表示装置である。
以上のように構成される画像処理装置では、まず、デジタルカメラ等の画像撮影装置１１０を用いて撮影した測定対象物１０１の２枚以上の画像が、ステレオ画像データ記憶部１１２に登録される。
次に、ステレオ画像データ記憶部１１２に登録された画像のうち、ステレオペアとなる左右画像の組が設定される。
次に、３次元位置測定装置１１４や３Ｄスキャナを用いて取得した、測定対象物１０１の３次元座標が存在しているかが判断され、存在していると判断された場合、測定対象物位置データ記憶部１１６に、測定対象物１０１の３次元座標を用いた位置データが読み込まれる。
一方、測定対象物１０１の３次元座標が存在していないと判断された場合、相対座標系で処理が可能なので、測定対象物位置データ記憶部１１６に、測定対象物１０１の３次元座標を用いた位置データを読み込む上述の処理は、スキップされる。
その後、標定部１２４は、標定作業を行い、ステレオ画像データ記憶部１１２に記憶された測定対象物１０１のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める。この標定作業には、マニュアルと半自動、全自動の三つのモードがある。
ここで、標定作業とは、２枚以上の画像のそれぞれの対応点（同一点）を各画像上で対応点指示部１２２により、マウスカーソルなどで指示し、その画像座標を読み取る作業である。この対応点は通常各画像毎に６点以上必要である。また、測定対象物位置データ記憶部１１６に基準点座標が記憶されていれば、基準点座標と画像の対応付けして、絶対標定を実行する。
その後、標定作業により求めた対応点の座標を用いて、標定部１２４により標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることが出来る。もし基準点座標があれば、測定対象物位置データ記憶部１１６から読み出して絶対標定計算処理も行う。もし基準点座標がなければ、相対（モデル）座標にて計算する。標定計算処理は、ステレオモデルの対応付けに関しては相互標定で行い、全画像間の標定に関してはバンドル調整にて行う。
次に、３次元座標データ部１３１にてステレオ計測を行い、測定対象物１０１の３次元座標を求める。あるいは、ステレオ計測を行わない場合でも、測定対象物位置データ記憶部１１６にステレオ画像の対応点の３次元座標を予め読み込んである場合には、３次元座標データ部１３１は測定対象物位置データ記憶部１１６から対応点の３次元座標を読み込む。ステレオ計測には、例えば、特開2003-284098号公報に記載されているように、マニュアル計測、半自動計測、自動計測の各種モードが存在している。そこで、標定計算処理結果に応じて、ステレオ計測では、立体視可能なステレオ（左右）画像を作成表示して、上述モードを利用して対応点の３次元座標を求める。自動計測モードで行う場合は、自動計測を行う計測領域を指定して自動計測を行う。マニュアル、半自動計測の場合は、左右のステレオ画面を観察しながら左右画像上の対応点を半自動もしくは、マニュアルにて対応している点をマウスにて確定しながら計測する。
その後、求められた３次元座標、あるいは読み込まれた３次元座標から、モデル形成部１３２にて測定対象物１０１のモデルである、例えば、ワイヤフレームが作成される。
そして、画像対応部１３４により、テクスチャマッピングしたい面を指定する。テクスチャマッピングとは、測定対象物１０１の２次元画像に立体感を表現するテクスチャを貼り付けることをいう。
次に、画像対応部１３４は、測定対象物１０１のステレオ画像とモデル形成部１３２によって形成されたモデルとを、標定部１２４で求められた対応点関係を用いてテクスチャマッピングする。
次に、モデル表示部１３５により、テクスチャマッピングされた画像をモデル画面上に表示する。モデル画面は、ステレオ画像から形成された立体感テクスチャ付き画像やテクスチャを除去した画像のように、斜視状態を表す測定対象物１０１の２次元画像である。
その後、操作者が、マウスやキーボード等を利用して、姿勢指示部１３６により、測定対象物１０１の表示の向きを指示すると、画像変換部１３７が表示装置１４０に表示される測定対象物１０１の表示の向きを、姿勢指示部１３６により指示された向きに座標変換する。
次に、図１０は、図１の受信装置１３の構成例を示すブロック図である。
図１０において、受信装置１３は、送信データ受信部２０１、オブジェクト情報DB(Database)２０２、生成部２０３、コマンド受信部２０６、及び、加工情報DB２０７から構成される。
送信データ受信部２０１は、送信装置１２（の送信部３３（図６））から送信されてくるデータを受信し、オブジェクトIDが対応付けられたオブジェクト情報と、コンテンツデフォルト情報とに分離する。さらに、送信データ受信部２０１は、オブジェクトIDが対応付けられたオブジェクト情報（以下、オブジェクトID付きのオブジェクト情報ともいう）を、オブジェクト情報DB２０２に供給し、コンテンツデフォルト情報を、生成部２０３に供給する。
オブジェクト情報DB２０２は、送信データ受信部２０１から供給される、オブジェクトID付きのオブジェクト情報を記憶する。
生成部２０３は、オブジェクト情報DB２０２に記憶されたオブジェクト情報に基づいて、コンテンツを生成する。
また、生成部２０３は、コマンド受信部２０６や加工情報DB２０７から供給される、コンテンツを鑑賞するユーザ（受信装置１３のユーザ）の指示に従った、コンテンツに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成する。
さらに、生成部２０３は、必要に応じて、送信データ受信部２０１から供給されるコンテンツデフォルト情報にも基づいて、コンテンツを生成する。
すなわち、生成部２０３は、シミュレーション部２０４、及び、提示データ生成部２０５から構成される。
シミュレーション部２０４は、例えば、オブジェクト情報DB２０２に記憶されたオブジェクト情報としてのモデルパラメータに基づいて物理シミュレーションを行うことにより、コンテンツ（コンテンツ世界）を生成し、そのコンテンツ（のデータ）を、提示データ生成部２０５に供給する。
なお、シミュレーション部２０４では、コマンド受信部２０６や加工情報DB２０７から供給される加工情報や、送信データ受信部２０１から供給されるコンテンツデフォルト情報に基づき、コンテンツを構成するオブジェクトに、加工を加える。
但し、シミュレーション部２０４では、コマンド受信部２０６や加工情報DB２０７から供給される加工情報と、送信データ受信部２０１から供給されるコンテンツデフォルト情報とのうちの、加工情報が優先される。
したがって、シミュレーション部２０４では、コマンド受信部２０６や加工情報DB２０７から、加工情報が供給される場合には、その加工情報に基づき、オブジェクト（ひいては、そのオブジェクトから構成するコンテンツ）に加工を加える。
一方、シミュレーション部２０４に対して、コマンド受信部２０６や加工情報DB２０７から、加工情報が供給されていない場合には、物理シミュレーション部２０４では、送信データ受信部２０１から供給されるコンテンツデフォルト情報に基づき、オブジェクトに加工を加える。
提示データ生成部２０５は、シミュレーション部２０４からの、感覚情報でもあるオブジェクト情報に基づいて生成されたコンテンツに基づいて、その感覚情報に対応する感覚を与えるための提示を行う提示装置１４で提示を行うための提示データを生成し、提示装置１４に供給する。
なお、提示データ生成部２０５には、コマンド受信部２０６や加工情報DB２０７から、加工情報が供給される。提示データ生成部２０５は、コマンド受信部２０６や加工情報DB２０７から供給される加工情報にも基づいて、提示データを生成する。
コマンド受信部２０６は、リモートコマンダ２１０から送信されてくる、ユーザの指示を表すコマンドを受信する。
すなわち、リモートコマンダ２１０は、オブジェクト（コンテンツ）に対する加工等を指示する場合に、ユーザによって操作され、その操作に対応するコマンド、つまり、ユーザの指示を表すコマンドを、赤外線等で送信する。コマンド受信部２０６は、以上のようにしてリモートコマンダ２１０から送信されてくるコマンドを受信する。
さらに、コマンド受信部２０６は、リモートコマンダ２１０からのコマンドが表すユーザの指示に従った、コンテンツに対する加工に関する情報である加工情報を生成し、シミュレーション部２０４、提示データ生成部２０５、及び、加工情報DB２０７に供給する。
加工情報DB２０７は、コマンド受信部２０６から供給される加工情報を、順次記憶する。すなわち、これにより、加工情報DB２０７には、いわば、ユーザの指示の履歴が記憶される。
次に、生成部２０３のシミュレーション部２０４についてさらに説明する。
シミュレーション部２０４は、少なくとも、オブジェクト情報と、コンテンツデフォルト情報に基づいて、コンテンツ世界をシミュレートする。
なお、シミュレーション部２０４では、ユーザがコンテンツ世界を鑑賞したときに、視覚で認識（知覚）されるオブジェクトの画像（オブジェクトが反射する光）が、少なくとも、シミュレーションの対象とされる。
また、図６で説明したように、コンテンツデフォルト情報は、コンテンツ制作者によって指示された、オブジェクトの状態に関する時系列データ、照明条件の時系列データ、鑑賞者の位置や向き等の時系列データであり、シミュレーション部２０４は、コンテンツデフォルト情報に基づいて、オブジェクトの配置や向き、照明条件、ユーザ（コンテンツの鑑賞者）の鑑賞位置や向き等の設定を行い、その設定に従い、コンテンツを生成する。
この場合、コンテンツ制作者が意図したとおりのコンテンツ（例えば、現行のテレビジョン放送の番組と同様の番組）が生成される。
また、シミュレーション部２０４は、必要であれば、オブジェクトの状態の変化をシミュレートする。
すなわち、コンテンツ制作者の指示に従ったオブジェクトの状態の変化（配置、向きなどの変化）が、シミュレート可能な物理法則に支配された状態の変化である場合、つまり、オブジェクトの状態が物理シミュレーションにより算出可能である場合には、送信装置１２では、オブジェクトの状態に関するデータを、コンテンツデフォルト情報に含めずに、コンテンツデフォルト情報を送信すること、つまり、コンテンツデフォルト情報として、オブジェクトの状態に関する時系列データに代えて、オブジェクトの状態の初期値を送信することができる。
この場合、シミュレーション部２０４では、コンテンツデフォルト情報としての、オブジェクトの状態の初期値からの、オブジェクトの状態の変化をシミュレートする物理シミュレーションを行うことにより、コンテンツを生成する。
ここで、「シミュレート可能な物理法則に支配された状態の変化」の具体例としては、例えば、オブジェクトの自由落下による位置（速度）変化等がある。物理シミュレータの性能次第では（例えば物体同士の衝突シミュレートも可能なシミュレータ）、必要なパラメータが既知のオブジェクト同士の衝突による位置変化等も「シミュレート可能な物理法則に支配された状態の変化」とみなすことができる。また、シミュレーション部２０４では、運動シミュレーションに限らず熱伝導等の様々な物理現象に伴う状態の変化の物理シミュレーション等も、オブジェクトの状態の初期値を用いて行うことが可能である。
以上のように、送信装置１２において、オブジェクトの状態に関するデータ（時系列データ）を含まないコンテンツデフォルト情報を送信し、受信装置１３において、オブジェクトの状態の変化をシミュレートすることにより、オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を送信する場合に比較して、送信装置１２から送信するデータのデータ量を減少させることができる。
また、シミュレーション部２０４は、ユーザによるコンテンツ世界への介入があった場合には、ユーザからの介入情報にも基づいて、コンテンツ世界をシミュレートする。
すなわち、ユーザが、リモートコマンダ２１０を操作することにより、コマンド受信部２０６から、シミュレーション部２０４に対して、コンテンツに対する加工に関する加工情報が供給された場合、シミュレーション部２０４は、コンテンツデフォルト情報よりも、加工情報を優先して用いて、コンテンツを生成する。
ここで、加工情報は、コンテンツに対する加工に関する情報であり、ここでは、例えば、オブジェクトの位置を操作する等の、オブジェクトごとの加工に関する情報になっている。
すなわち、ユーザが、リモートコマンダ２１０を操作して、例えば、物体オブジェクトの位置を指示すると、コマンド受信部２０６は、その指示に応じて、物体オブジェクトの位置を操作する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４は、コマンド受信部２０６からの加工情報に基づいて、コンテンツを構成する物体オブジェクトの位置を操作（設定）する。
また、ユーザは、リモートコマンダ２１０を操作して、例えば、物体オブジェクトの削除や、別のオブジェクトへの入れ替え、力（撃力）作用（たたくなど）、温度等を指示することができる。さらに、ユーザは、リモートコマンダ２１０を操作して、例えば、背景オブジェクトにおける風速や、流速、重力、温度等を指示することができる。
コマンド受信部２０６は、ユーザの指示に応じて、コンテンツ（を構成するオブジェクト）の加工に関する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４では、コマンド受信部２０６からの加工情報に基づいて、コンテンツを構成する物体オブジェクトや背景オブジェクトの加工が行われる。
さらに、ユーザは、リモートコマンダ２１０を操作して、所定のオブジェクトの所定の感覚に関するデータの削除を指示することができる。
この場合、コマンド受信部２０６は、ユーザの指示に応じて、所定のオブジェクトの所定の感覚に関するデータを削除するための加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４では、コマンド受信部２０６からの加工情報に基づいて、コンテンツを構成する所定のオブジェクトの所定の感覚に関するデータが削除される。
したがって、例えば、コンテンツを構成するオブジェクトに、ピーナッツが含まれている場合において、ユーザが、ピーナッツの味覚に関するデータの削除を指示すると、シミュレーション部２０４では、コンテンツを構成するピーナッツの味覚に関するデータが削除される。この場合、例えば、ピーナッツアレルギのユーザに、ピーナッツの味覚が提示されることを防止することができる。
また、ユーザは、リモートコマンダ２１０を操作して、所定のオブジェクトの所定の感覚に関するデータを、別のオブジェクトの所定の感覚に関するデータに変換することを指示することができる。
この場合、コマンド受信部２０６は、ユーザの指示に応じて、所定のオブジェクトの所定の感覚に関するデータを、別のオブジェクトの所定の感覚に関するデータに変換するための加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４では、コマンド受信部２０６からの加工情報に基づいて、コンテンツを構成する所定のオブジェクトの所定の感覚に関するデータが、別のオブジェクトの所定の感覚に関するデータに変換される。
したがって、例えば、コンテンツを構成するオブジェクトに、ピーナッツが含まれている場合において、ユーザが、ピーナッツの味覚に関するデータを、別のオブジェクトとしてのイチゴの味覚に関するデータに変換することを指示すると、シミュレーション部２０４では、コンテンツを構成するピーナッツの味覚に関するデータが、イチゴの味覚に関するデータに変換される。この場合、例えば、イチゴの味覚を感じるピーナッツが提示される。
また、ユーザは、リモートコマンダ２１０を操作して、コンテンツ世界を鑑賞する鑑賞者であるユーザの位置（鑑賞位置）や向きを指示することができる。
この場合、コマンド受信部２０６は、ユーザの指示に応じて、鑑賞者の鑑賞位置や向きを操作する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４では、コマンド受信部２０６からの加工情報に基づいて、鑑賞者の鑑賞位置や向きを設定した物理シミュレーションを行うことにより、コンテンツが生成される。
さらに、ユーザは、リモートコマンダ２１０を操作して、コンテンツのエンターテイメント性を向上させる処理（以下、エンターテイメント処理という）を行うことを指示することができる。
この場合、コマンド受信部２０６は、エンターテイメント処理を行うことを要求する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４は、コマンド受信部２０６からの加工情報に基づいて、エンターテイメント処理を行う。
すなわち、シミュレーション部２０４は、オブジェクト情報DB２０２に記憶されたオブジェクト情報に含まれる、図６で説明したエンタメ情報を用い、オブジェクトの画像を、そのオブジェクトのスケッチ画とする。
また、ユーザは、リモートコマンダ２１０を操作して、リアリティ処理を行うことを指示することができる。
この場合、コマンド受信部２０６は、リアリティ処理を行うことを要求する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４は、コマンド受信部２０６からの加工情報に基づいて、リアリティ処理を行う。
すなわち、シミュレーション部２０４は、提示装置１４のうちの、画像を提示（表示）するディスプレイのサイズ（大きさ）に応じた、リアリティを損ねないコンテンツを生成する。
具体的には、シミュレーション部２０４は、例えば、提示装置１４にアクセスして、提示装置１４のうちのディスプレイのサイズを認識する。さらに、シミュレーション部２０４は、オブジェクト情報DB２０２に記憶されたオブジェクト情報に含まれる、図６で説明したエネルギ情報から、コンテンツを構成するオブジェクトのサイズ（大きさ）を認識する。
そして、シミュレーション部２０４は、提示装置１４のうちのディスプレイのサイズ、及び、コンテンツを構成するオブジェクトのサイズに基づいて、ディスプレイで表示されるオブジェクトが、実世界における、そのオブジェクトのサイズ（オブジェクトを実世界で見たときに認識される、そのオブジェクトのサイズ）になるように、オブジェクトのサイズを調整（拡大又は縮小）したコンテンツを生成する。
なお、コマンド受信部２０６は、加工情報を、シミュレーション部２０４に供給する他、加工情報DB２０７にも供給する。
加工情報DB２０７は、コマンド受信部２０６から加工情報が供給されると、その加工情報がコマンド受信部２０６から供給されたときの状況を表す状況情報を生成し、加工情報に対応付けて記憶する。
そして、加工情報DB２０７は、状況情報が表す状況と一致する状況となると、その状況情報に対応付けられた加工情報を、シミュレーション部２０４に供給する。シミュレーション部２０４は、加工情報DB２０７から加工情報が供給されると、その加工情報に基づき、コマンド受信部２０６から加工情報が供給された場合と同様の処理を行う。
すなわち、例えば、提示装置１４において、ピーナッツを含むコンテンツが提示された場合に、ユーザが、上述したように、リモートコマンダ２１０を操作して、ピーナッツの味覚に関するデータの削除を指示し、コマンド受信部２０６が、ピーナッツの味覚に関するデータを削除するための加工情報を生成すると、その加工情報は、ピーナッツを含むコンテンツが提示される状況を表す状況情報と対応付けられて、加工情報DB２０７に記憶される。
その後、ピーナッツを含むコンテンツが提示される状況となると、加工情報DB２０７は、その状況を表す状況情報に対応付けられている加工情報、つまり、ピーナッツの味覚に関するデータを削除するための加工情報を、シミュレーション部２０４（及び、提示データ生成部２０５）に供給する。
シミュレーション部２０４では、加工情報DB２０７からの加工情報に基づき、コマンド受信部２０６から加工情報が供給された場合と同様に、コンテンツを構成するピーナッツの味覚に関するデータが削除される。
したがって、ユーザは、リモートコマンダ２１０を操作して、一度行った指示については、同様の指示を、再度行う必要がない。
また、シミュレーション部２０４では、上述したように、コマンド受信部２０６（又は加工情報DB２０７）からの加工情報の供給がない場合には、コンテンツデフォルト情報に基づいて、コンテンツが生成され、これにより、コンテンツ制作者が意図したとおりのコンテンツ（例えば、コンテンツ制作者が意図したとおりにオブジェクトが配置されたコンテンツ世界を、コンテンツ制作者が意図したとおりの視点から見た画像）が提示される。
一方、ユーザが、リモートコマンダ２１０を操作し、これにより、シミュレーション部２０４に対して、コマンド受信部２０６からの加工情報の供給があると、シミュレーション部２０４では、コンテンツデフォルト情報よりも、加工情報を優先して用いて、コンテンツが生成される。
この場合、ユーザの指示に従って加工がされた、ユーザ固有のコンテンツ（例えば、コンテンツ制作者が意図したコンテンツが、ピーナッツの味覚を提示する（感じさせる）コンテンツである場合に、ピーナッツの味覚に関するデータを削除するための加工情報に基づいて、ピーナッツの味覚に関するデータを削除する加工が行われ、ピーナッツの味覚の提示がないコンテンツ）が提示される。
シミュレーション部２０４は、以上のように、ユーザの指示に従ったオブジェクト（コンテンツ）の加工の後に、ユーザが特に指示をしない限り、オブジェクトの状態を徐々にコンテンツデフォルト情報に基づく状態へと遷移させる。
すなわち、シミュレーション部２０４は、コンテンツ世界が徐々にコンテンツデフォルト情報に基づく状態へと戻っていくようにシミュレートする。
これにより、例えば、ユーザが、リモートコマンダ２１０を操作して、ある物体オブジェクトの向きを、所定の方向とすることを指示した場合、シミュレーション部２０４では、物体オブジェクトが所定の方向を向いているコンテンツが生成される。
その後、ユーザが、リモートコマンダ２１０の操作を停止（解除）すると、シミュレーション部２０４では、所定の方向を向いていた物体オブジェクトが、コンテンツデフォルト情報によって指定されている方向に徐々に向いていくコンテンツが生成される。
次に、上述のようにしてシミュレーション部２０４で生成されたコンテンツは、提示データ生成部２０５に供給され、提示データ生成部２０５では、上述したように、シミュレーション部２０４からのコンテンツに基づいて、提示データが生成され、提示装置１４（図１）に供給される。
すなわち、提示データ生成部２０５は、シミュレーション部２０４によりシミュレートされたコンテンツ世界の情報から、提示装置１４の構成に適した情報を抽出し、提示装置１４の構成に最適なデータ構成に変換して、提示装置１４に供給する。
具体的には、例えば、提示装置１４が、音（音声）を提示（出力）するスピーカ、画像（光）を提示（表示）するディスプレイ、匂いを提示する（発する）匂い発生装置、温度を提示（調整）するエアコン（エアコンディショナ）、及び、湿度を提示（調整）する加湿器である場合に、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツを構成する各オブジェクトの音声を合成した音声情報を、提示データとして生成し、提示装置１４のスピーカに供給する。
また、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツのコンテンツ世界の画像情報を、提示データとして生成し、提示装置１４のディスプレイに供給する。
さらに、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツを構成する各オブジェクトの匂いを合成した匂い情報を、提示データとして生成し、提示装置１４の匂い発生装置に供給する。
また、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツを構成する背景オブジェクトの温度を表す温度情報を、提示データとして生成し、提示装置１４のエアコンに供給する。
さらに、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツを構成する背景オブジェクトの湿度を表す湿度情報を、提示データとして生成し、提示装置１４の加湿器に供給する。
なお、提示データ生成部２０５は、例えば、コマンド受信部２０６、又は加工情報DB２０７から供給される加工情報が、所定のオブジェクトの所定の感覚に関するデータを削除するための情報である場合において、その削除の対象のデータが、シミュレーション部２０４からのコンテンツに基づいて生成された提示データに含まれるときには、その削除の対象のデータを削除する（提示装置１４に供給しない）。
次に、図１１を参照して、図１０の受信装置１３の処理について説明する。
受信装置１３では、ステップＳ６１において、送信データ受信部２０１が、送信装置１２（図６）から送信されてくるデータを受信し、オブジェクトID付きのオブジェクト情報と、コンテンツデフォルト情報とに分離する。さらに、ステップＳ６１では、送信データ受信部２０１が、オブジェクト情報を、オブジェクト情報DB２０２に供給して記憶させ、コンテンツデフォルト情報を、生成部２０３に供給して、処理は、ステップＳ６２に進む。
ステップＳ６２では、生成部２０３が、オブジェクト情報DB２０２に記憶されたオブジェクト情報、並びに、必要なコンテンツデフォルト情報、及び加工情報に基づいて、コンテンツを生成する。
すなわち、生成部２０３では、シミュレーション部２０４が、オブジェクト情報DB２０２に記憶されたオブジェクト情報、並びに、必要なコンテンツデフォルト情報、及び加工情報に基づいてシミュレーションを行うことにより、コンテンツを生成し、提示データ生成部２０５に供給する。提示データ生成部２０５は、シミュレーション部２０４からのコンテンツに基づいて、提示データを生成し、提示装置１４に供給する。
次に、図１２は、図１の提示装置１４の構成例を示している。
提示装置１４は、五感に刺激を与え、これにより、コンテンツを構成するオブジェクトを、実世界で鑑賞したならば得られるであろう感覚を再現するデバイスで構成することができる。
すなわち、提示装置１４は、例えば、音を出力（提示）することで聴覚を刺激するスピーカや、画像表示（提示）することで視覚を刺激するディスプレイ、匂いを発する（提示する）ことで嗅覚を刺激する匂い発生装置等で構成することができる。
その他、提示装置１４は、マイナスイオンを発生するマイナスイオン発生器や、着席しているユーザに動揺を与えるアクチュエータ付きの椅子、味を再現する味覚再現装置、温度を調整するエアコン、湿度を調整する加湿器等の、各種の提示を行うデバイスで構成することができる。
以上のように、図１の送受信システムでは、送信装置１２において、オブジェクトごとのオブジェクト情報を送信し、受信装置１３において、送信装置１２からのオブジェクト情報に基づいて、コンテンツを生成するので、コンテンツの提示（音の出力や、画像の表示、匂いの発生、味覚の再現等）を、柔軟に行うことが可能となる。
すなわち、放送局で制作されたコンテンツを受動的に鑑賞する従来の放送とは異なり、送信装置１２において、オブジェクトごとのオブジェクト情報を送信し、受信装置１３において、そのオブジェクト情報に基づいて、コンテンツを生成することにより、ユーザにコンテンツを加工（操作）する余地が与えられ、これにより、各ユーザは、ユーザ固有のコンテンツを鑑賞することが可能となる。
送信装置１２において、オブジェクトごとのオブジェクト情報を送信することにより、送信側において、複数のオブジェクトのオブジェクト情報を含む情報（例えば、複数の物体オブジェクトが映った画像や、複数の物体オブジェクトのそれぞれが発する音が混ざった音等）を送信した場合に、受信側での、コンテンツ（オブジェクト）の加工において必須となるオブジェクト抽出（例えば、個々の物体オブジェクトの画像の抽出や、個々の音の分離（音声分離）等）をする必要がなくなる。
また、送信装置１２において、コンテンツデフォルト情報をさらに送信し、受信装置１３において、オブジェクト情報及びコンテンツデフォルト情報に基づいて、コンテンツを生成するので、コンテンツ制作者の意図（例えば、コンテンツ制作者が意図したオブジェクトの配置等）をコンテンツに付加することができる。
さらに、受信装置１３では、ユーザの指示に従った加工情報に基づいて、コンテンツの生成を行うので、上述したように、ユーザは、ユーザ固有のコンテンツを鑑賞することができる。また、ユーザによるコンテンツの加工とコンテンツ制作者の意図を融合させることができる。
また、オブジェクト情報は、オブジェクトを鑑賞したときに五感で得られる感覚を再現するための感覚情報でもあるため（図１の送受信システムで行われる放送が、五感のうちの、視覚（画像）、及び聴覚（音声）以外の感覚を（も）刺激する多感覚放送であるため）、ユーザは、視覚で認識される画像や、聴覚で認識される音声の他に、嗅覚や、味覚、触覚で認識される物理量を享受することができ、したがって、ユーザは、例えば、視覚及び聴覚以外の感覚でコンテンツを鑑賞することや、３つ以上の感覚でコンテンツを鑑賞すること等ができる。
なお、オブジェクトを鑑賞したときに五感で得られる感覚を再現するための感覚情報が、視覚で認識される画像（文字等を含む）、及び、聴覚で認識される音声のみの、受動的な（受信側でのコンテンツ（オブジェクト）の加工が不可能な）現行の放送システムで放送された場合、コンテンツに対するユーザの好き嫌いが激しくなる。例えば、ピーナッツの味覚を再現する感覚情報が、全ユーザに画一的に放送され、ピーナッツアレルギのユーザにピーナッツの味覚を提示してしまうことは、好ましいことではない。
そこで、受信装置１３において、上述したように、加工情報に基づいて、コンテンツの生成（提示データの生成）を行い、例えば、ピーナッツの味覚に関するデータを削除することで、ピーナッツアレルギのユーザにピーナッツの味覚が提示されることを防止することができる。
また、送信装置１２では、上述したように、オブジェクトごとのオブジェクト情報が送信されるので、受信装置１３では、味覚や、嗅覚、触覚に関するデータ（味覚や、聴覚、触覚を刺激するデータ）の加工を、容易に行うことが可能となる。
すなわち、送信装置１２において、例えば、イチゴとピーナッツ等の複数のオブジェクトの匂いが混ざった状態の匂いを再現するための感覚情報を送信すると、受信装置１３では、その感覚情報から、イチゴとピーナッツのそれぞれの嗅覚に関するデータを分離することは困難である。一方、送信装置１２において、オブジェクトごとのオブジェクト情報を送信する場合には、そのようなデータの分離が不要であるため、メリットが大きい。
図１３は、図１の提示装置１４の詳細な構成例を示すブロック図である。
図１３において、提示装置１４は、センシング部２２１、提示データ受信部２２２、及び提示部２２３から構成され、受信装置１３の生成部２０３において、オブジェクト情報に基づいて生成されるコンテンツ（モデルパラメータに基づいて物理シミュレーションを行うことにより生成されるコンテンツ）（感覚情報に基づいて生成されるコンテンツ）を提示する。
センシング部２２１は、提示装置１４において提示されるコンテンツが鑑賞される環境（以下、鑑賞環境ともいう）をセンシングし、そのセンシングの結果得られる、鑑賞環境に関する鑑賞環境情報を出力する。
ここで、センシング部２２１が出力する鑑賞環境情報は、受信装置１３のシミュレーション部２０４に供給される。
受信装置１３のシミュレーション部２０４（生成部２０３）では、オブジェクト情報（モデルパラメータ）（感覚情報）、並びに、必要なコンテンツデフォルト情報、及び加工情報の他、センシング部２２１からの必要な鑑賞環境情報にも基づいて、コンテンツが生成され、提示装置１４では、そのようにして生成されたコンテンツの提示が行われる。
なお、センシング部２２１は、例えば、提示装置１４自体と、その提示装置１４が提示するコンテンツを鑑賞するユーザ（鑑賞者）との間の位置関係をセンシングし、その位置関係を表す情報を、鑑賞環境情報として出力する。また、センシング部２２１は、例えば、鑑賞環境において存在する物体をセンシングし、その物体に関する情報を、鑑賞環境情報として出力する。さらに、センシング部２２１は、例えば、鑑賞環境における照明条件（明るさ等）をセンシングし、その照明条件を表す情報を、鑑賞環境情報として出力する。
提示データ受信部２２２は、受信装置１３の生成部２０３（の提示データ生成部２０５）からの提示データを受信し、提示部２２３に供給する。
提示部２２３は、五感に刺激を与え、これにより、コンテンツを構成するオブジェクトを、実世界で鑑賞したならば得られるであろう感覚を再現するデバイス、すなわち、例えば、音声を出力する音声出力部や、画像を表示する画像表示部等の各種のデバイスで構成され、提示データ受信部２２２からの提示データに従い、コンテンツの提示を行う。
図１４は、図１３の提示部２２３を構成するデバイスの配置の例を模式的に示している。
図１４では、提示部２２３を構成するデバイスとして、音声を出力する音声出力部としてのスピーカや、画像を表示する画像表示部としてのディスプレイ、温度を調整するエアコン、湿度を調整する加湿器、匂いを提示する匂い発生装置、等が配置されている。
次に、図１５を参照して、図１３の提示装置１４の処理について説明する。
提示装置１４では、センシング部２２１が、鑑賞環境をセンシングし、そのセンシングの結果得られる鑑賞環境情報を、受信装置１３のシミュレーション部２０４に供給している。
そして、ステップＳ７１において、提示データ受信部２２２が、受信装置１３の提示データ生成部２０５から提示データが供給されるのを待って、その提示データを受信し、提示部２２３に供給して、処理は、ステップＳ７２に進む。
ステップＳ７２では、提示部２２３が、提示データ受信部２２２からの提示データに従い、コンテンツの提示を行う。
次に、図１６は、図１の提示装置１４の、他の詳細な構成例を示すブロック図である。
なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図１６の提示装置１４は、移動機構２３１が新たに設けられていることを除き、図１３の場合と同様に構成される。
但し、上述の場合には、受信装置１３の生成部２０３において、コンテンツを構成する各オブジェクトの音声を合成した提示データや、各オブジェクトの匂いを合成した提示データ等の、コンテンツを構成する各オブジェクトの情報を合成した提示データを生成し、提示装置１４に供給するようにしたが、図１６では、受信装置１３の生成部２０３において、コンテンツを構成するオブジェクトごとに、そのオブジェクトの提示データが生成され、提示装置１４に供給されるようになっている。
さらに、図１６では、提示装置１４が、コンテンツを構成するオブジェクトごとに個別に用意されている。なお、図１６では、提示装置１４は、１つだけ図示してある。
また、図１６では、センシング部２２１は、鑑賞環境情報を、シミュレーション部２０４の他、移動機構２３１にも供給する。
さらに、図１６では、提示データ生成部２０５が、シミュレーション部２０４から、オブジェクト情報、及び、コンテンツデフォルト情報を取得し、提示データとともに、提示データ受信部２２２に供給するようになっている。
提示データ受信部２２２は、提示データ生成部２０５からの提示データ、並びに、オブジェクト情報、及び、コンテンツデフォルト情報を受信し、提示データを、提示部２２３に供給するとともに、オブジェクト情報、及び、コンテンツデフォルト情報を、移動機構２３１に供給する。
移動機構２３１は、センシング部２２１からの鑑賞環境情報や、提示データ受信部２２２からのオブジェクト情報、及び、コンテンツデフォルト情報に基づき、提示装置１４を移動させ、提示装置１４によるオブジェクトの情報の提示を制御する。
図１７は、図１６の提示装置１４の構成例を模式的に示す図である。
図１７では、提示装置１４は、提示部２２３を構成するデバイスとして、音声を出力する音声出力部としてのスピーカや、画像を表示する画像表示部としてのディスプレイ、温度を調整するエアコン、湿度を調整する加湿器、匂いを提示する匂い発生装置、等を搭載しており、移動機構２３１によって移動する。
すなわち、図１７では、移動機構２３１は、車輪を含んで構成され、その車輪を回転駆動することによって、提示装置１４を移動させる。
なお、移動機構２３１としては、その他、例えば、可動レール（移動可能なレール）に沿って、提示装置１４を移動させる機構等を採用することが可能である。
ここで、コンテンツを構成するオブジェクトごとに個別に用意された提示装置１４のうちの注目する１つが提示するオブジェクトを、注目オブジェクトともいう。
注目オブジェクトの提示を行う提示装置１４では、移動機構２３１が、受信装置１３の生成部２０３で生成されるコンテンツ上での、注目オブジェクトの位置を表す情報に基づいて、注目オブジェクトの提示を行う提示装置１４を移動させる。
すなわち、提示装置１４では、移動機構２３１が、提示データ受信部２２２からのコンテンツデフォルト情報で設定されている注目オブジェクトの位置情報と鑑賞者（ユーザ）の位置情報とから、オブジェクトと鑑賞者の、コンテンツ上での位置関係を求める。
さらに、提示装置１４では、移動機構２３１が、センシング部２２１からの鑑賞環境情報により把握される、その提示装置１４自体（自機）と鑑賞者との実際の位置関係が、コンテンツデフォルト情報から求められた、コンテンツ上での位置関係と一致するように、提示装置１４を移動させる（提示装置１４の移動を制御する）。
但し、鑑賞者が、視点の位置を変更する指示を行うように、リモートコマンダ２１０を操作し、これにより、その視点の位置を変更する指示に対応する加工情報が、コマンド受信部２０６から生成部２０３に供給された場合、生成部２０３の提示データ生成部２０５は、コマンド受信部２０６からの加工情報を、提示装置１４の提示データ受信部２２２に供給する。
提示データ受信部２２２は、提示データ生成部２０５からの加工情報を受信して、移動機構２３１に供給する。
移動機構２３１は、提示データ受信部２２２からの加工情報から把握される、視点の変更後の注目オブジェクトと鑑賞者のコンテンツ上での位置関係を表す情報に基づいて、提示装置１４を移動させる。
なお、提示装置１４が有する提示部２２３としてのデバイスが、例えば、平面ディスプレイや、指向性があるスピーカ等のように、提示に際して指向性を有するデバイス（以下、指向性デバイスともいう）である場合には、移動機構２３１は、指向性デバイスの指向性が、鑑賞者に対する方向と一致するように、提示装置１４（自機）の向きの制御を行う。
また、提示装置１４では、センシング部２２１は、その提示装置１４自体（自機）と鑑賞者との位置や向きの関係を表す情報を、鑑賞環境情報としてセンシングし、受信装置１３のシミュレーション部２０４に供給する。
シミュレーション部２０４では、コンテンツ世界において、注目オブジェクトとの間で、センシング部２２１からの鑑賞環境情報が表す位置や向きの関係を有する鑑賞者から鑑賞されるべき注目オブジェクトの提示内容がシミュレートされ、そのシミュレートの結果に対応する提示データが、提示データ生成部２０５から、注目オブジェクトに対応する提示装置１４（注目オブジェクトの提示を行う提示装置１４）に供給される。
なお、提示装置１４には、より鑑賞環境との相互作用を強調した動作（以下、相互作用動作ともいう）を行わせることができる。
すなわち、提示装置１４が相互作用動作を行う場合には、例えば、提示装置１４のセンシング部２２１が、周辺（鑑賞環境）に存在する物体（鑑賞者含む）をセンシングし、その物体の情報を、鑑賞環境情報として、受信装置１３のシミュレーション部２０４に供給する。
受信装置１３のシミュレーション部２０４では、センシング部２２１からの鑑賞環境情報に基づいて、衝突によるオブジェクトの動き変化や変形をシミュレートして、その結果を、提示データ生成部２０５を介して、提示装置１４に供給する。
これにより、提示装置１４には、周辺に存在する物体（鑑賞者含む）と相互作用（衝突など）を行わせることができる。
また、例えば、提示装置１４のセンシング部２２１は、鑑賞環境における照明条件をセンシングし、その照明条件を表す情報を、鑑賞環境情報として、受信装置１３のシミュレーション部２０４に供給する。
受信装置１３のシミュレーション部２０４では、センシング部２２１からの鑑賞環境情報に基づいて、鑑賞環境における照明条件でのオブジェクトの画像を生成し、提示データ生成部２０５を介して、提示装置１４に供給する。
これにより、提示装置１４には、鑑賞環境における照明条件でオブジェクトを提示させることができる。
以上のように、オブジェクトごとに個別に用意された提示装置１４によりコンテンツを提示し、また、ぞれぞれの提示装置１４が、鑑賞環境をセンシングして得られる鑑賞環境情報にも基づいてコンテンツを提示する場合には、鑑賞環境中にいる鑑賞者や鑑賞環境中に実在する物体（家具など）とコンテンツとが物理的にも相互作用することができるようになる。
なお、センシング部２２１は、提示装置１４ではなく、受信装置１３に設けることが可能である。
また、本実施の形態では、受信装置１３を、提示装置１４とは別に設けるようにしたが、受信装置１３は、提示装置１４とは別に設けるのではなく、オブジェクトごとに個別に用意される提示装置１４のそれぞれに、受信装置１３の機能を内蔵させるようにすることが可能である。
さらに、提示装置１４の画像を表示する画像表示部としてのディスプレイとしては、平面（略平面）上に画像を表示するディスプレイの他、半球状のスクリーンに画像を表示するディスプレイ（以下、半球状ディスプレイともいう）を採用することが可能である。
ここで、半球状ディスプレイについては、例えば、特開2005-070963号公報に記載されている。
図１８は、半球状ディスプレイの構成例を模式的に示す斜視図である。
半球状ディスプレイは、スクリーン２５１、画像発生部２５２、及び、魚眼レンズ２５３から構成される。
画像発生部２５２は、画像に対応する光を発生する。画像発生部２５２が発生した光は、魚眼レンズ２５３を介して、スクリーン２５１に照射される。
スクリーン２５１は、半球状の大きなスクリーンで、画像発生部２５２、及び魚眼レンズ２５３を覆うように設置されている。スクリーン２５１では、魚眼レンズ２５３を介して照射される光が散乱され、これにより、スクリーン２５１の全体に、例えば、ある物体を、その周囲から見たときに見える画像が表示される。
以上のような半球状ディスプレイでは、スクリーン２５１の表示領域のうちの、そのスクリーン２５１の周囲のある位置にいるユーザ（鑑賞者）Ａに対向する位置の表示領域である表示部２６１には、ユーザＡの位置から実際に物体を見たならば見えるであろう画像が表示される。
また、例えば、スクリーン２５１を挟んで、ユーザＡの位置と反対側の位置にいるユーザＢの位置に対向する、スクリーン２５１の一部の表示領域である表示部２６２には、ユーザＢの位置から実際に物体を見たならば見えるであろう画像が表示される。
以上のような半球状ディスプレイによれば、複数の鑑賞者が、コンテンツの鑑賞を容易に行うことができる。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やROM３０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本実施の形態では、図１の送受信システムを、放送システムとしたが、本発明は、放送以外のデータの送受信に適用可能である。
本発明を適用した送受信システムの一実施の形態の構成例を示すブロック図である。 センシング装置１１の構成例を示すブロック図である。 センシング装置１１によるセンシングの第１の形態を説明する図である。 センシング装置１１によるセンシングの第２の形態を説明する図である。 センシング装置１１によるセンシングの第３の形態を説明する図である。 送信装置１２の構成例を示すブロック図である。 送信装置１２の処理を説明するフローチャートである。 オブジェクト情報生成部３１の構成例を示すブロック図である。 ワイヤフレームとテクスチャ情報を求める画像処理装置の構成例を示すブロック図である。 受信装置１３の構成例を示すブロック図である。 受信装置１３の処理を説明するフローチャートである。 提示装置１４の構成例を示すブロック図である。 提示装置１４の詳細な構成例を示すブロック図である。 提示部２２３を構成するデバイスの配置の例を模式的に示す図である。 提示装置１４の処理を説明するフローチャートである。 提示装置１４の他の詳細な構成例を示すブロック図である。 提示装置１４の構成例を模式的に示す図である。 半球状ディスプレイの構成例を模式的に示す斜視図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１１ センシング装置， １２ 送信装置， １３ 受信装置， １４ 提示装置， ３１ オブジェクト情報生成部， ３２ コンテンツデフォルト情報生成部， ３３ 送信部， ４１ 背景オブジェクト情報生成部， ４２ 物体オブジェクト情報生成部， ４３ ID付与部， ２０１ 送信データ受信部， ２０２ オブジェクト情報DB， ２０３ 生成部， ２０４ シミュレーション部， ２０５ 提示データ生成部， ２０６ コマンド受信部， ２０７ 加工情報DB， ２１０ リモートコマンダ， ２２１ センシング部， ２２２ 提示データ受信部， ２２３ 提示部， ２３１ 移動機構， ２５１ スクリーン， ２５２ 画像発生部， ２５３ 魚眼レンズ， ２６１，２６２ 表示部， ３０１ バス， ３０２ CPU， ３０３ ROM， ３０４ RAM， ３０５ ハードディスク， ３０６ 出力部， ３０７ 入力部， ３０８ 通信部， ３０９ ドライブ， ３１０ 入出力インタフェース， ３１１ リムーバブル記録媒体

Claims (30)

  1. データを送信する送信装置と、前記データを受信する受信装置とから構成される放送システムにおいて、
    前記送信装置は、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段を有し、
    前記受信装置は、前記オブジェクト情報に基づいて、コンテンツを生成する生成手段を有する
    放送システム。
  2. 前記送信手段は、前記オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を放送データとしてさらに送信し、
    前記生成手段は、前記オブジェクト情報及び前記コンテンツデフォルト情報に基づいて、コンテンツを生成する
    請求項１に記載の放送システム。
  3. 前記生成手段は、コンテンツを鑑賞するユーザの指示に従った、前記オブジェクトに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成し、前記ユーザの指示に従った前記オブジェクトの加工の後に、前記オブジェクトの状態を徐々に前記コンテンツデフォルト情報に基づく状態へと遷移させる
    請求項２に記載の放送システム。
  4. 前記生成手段は、前記コンテンツデフォルト情報に基づいて、少なくとも前記オブジェクトの配置、向き、又は照明条件の設定を行い、その設定に従い、コンテンツを生成する
    請求項２に記載の放送システム。
  5. 前記生成手段は、前記コンテンツデフォルト情報に基づいて、少なくともユーザの、コンテンツに対する鑑賞位置又は向きの設定を行い、その設定に従い、コンテンツを生成する
    請求項２に記載の放送システム。
  6. 前記生成手段は、コンテンツを鑑賞するユーザの指示に従った、前記オブジェクトに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成する
    請求項１に記載の放送システム。
  7. 前記生成手段は、コンテンツを提示するための提示装置のサイズに応じたコンテンツを生成する
    請求項１に記載の放送システム。
  8. 前記生成手段は、前記提示装置のサイズ及び前記オブジェクトのサイズに基づいて、前記提示装置で提示されるオブジェクトが、実世界におけるオブジェクトのサイズになるように、コンテンツを生成する
    請求項７に記載の放送システム。
  9. データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置において、
    コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段を備える
    送信装置。
  10. 前記送信手段は、前記オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を放送データとしてさらに送信する
    請求項９に記載の送信装置。
  11. データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置の送信方法において、
    前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信するステップを含む
    送信方法。
  12. データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置として、コンピュータを機能させるプログラムにおいて、
    コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段
    として、コンピュータを機能させるためのプログラム。
  13. データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置において、
    前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
    前記オブジェクト情報に基づいて、コンテンツを生成する生成手段を備える
    受信装置。
  14. 前記送信装置は、前記オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を放送データとしてさらに送信し、
    前記生成手段は、前記オブジェクト情報及び前記コンテンツデフォルト情報に基づいて、コンテンツを生成する
    請求項１３に記載の受信装置。
  15. 前記生成手段は、コンテンツを鑑賞するユーザの指示に従った、前記オブジェクトに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成し、前記ユーザの指示に従った前記オブジェクトの加工の後に、前記オブジェクトの状態を徐々に前記コンテンツデフォルト情報に基づく状態へと遷移させる
    請求項１４に記載の受信装置。
  16. 前記生成手段は、前記コンテンツデフォルト情報に基づいて、少なくとも前記オブジェクトの配置、向き、又は照明条件の設定を行い、その設定に従い、コンテンツを生成する
    請求項１４に記載の受信装置。
  17. 前記生成手段は、前記コンテンツデフォルト情報に基づいて、少なくともユーザの、コンテンツに対する鑑賞位置又は向きの設定を行い、その設定に従い、コンテンツを生成する
    請求項１４に記載の受信装置。
  18. 前記生成手段は、コンテンツを鑑賞するユーザの指示に従った、前記オブジェクトに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成する
    請求項１３に記載の受信装置。
  19. 前記生成手段は、コンテンツを提示するための提示装置のサイズに応じたコンテンツを生成する
    請求項１３に記載の受信装置。
  20. 前記生成手段は、前記提示装置のサイズ及び前記オブジェクトのサイズに基づいて、前記提示装置で提示されるオブジェクトが、実世界におけるオブジェクトのサイズになるように、コンテンツを生成する
    請求項１９に記載の受信装置。
  21. データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置の受信方法において、
    前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
    前記受信装置が、前記オブジェクト情報に基づいて、コンテンツを生成するステップを含む
    受信方法。
  22. データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置として、コンピュータを機能させるプログラムにおいて、
    前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
    前記オブジェクト情報に基づいて、コンテンツを生成する生成手段
    として、コンピュータを機能させるためのプログラム。
  23. データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置において、
    前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
    前記オブジェクト情報に基づいて生成されるコンテンツを提示する提示手段を備える
    提示装置。
  24. 提示されるコンテンツが鑑賞される鑑賞環境をセンシングするセンシング手段をさらに備え、
    前記提示手段は、前記オブジェクト情報及び前記センシング手段によりセンシングされた前記鑑賞環境に関する鑑賞環境情報に基づいて生成されるコンテンツを提示する
    請求項２３に記載の提示装置。
  25. 前記提示装置を移動させる移動手段をさらに備え、
    前記提示装置は、前記オブジェクトごとに個別に用意され、
    前記移動手段は、生成されるコンテンツ上での前記オブジェクトの位置を表す情報に基づいて前記提示装置を移動させる
    請求項２４に記載の提示装置。
  26. 前記センシング手段は、前記鑑賞環境において存在する物体をセンシングする
    請求項２５に記載の提示装置。
  27. 前記センシング手段は、前記鑑賞環境における照明条件をセンシングする
    請求項２５に記載の提示装置。
  28. データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置の提示方法において、
    前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
    前記提示装置が、前記オブジェクト情報に基づいて生成されるコンテンツを提示するステップを含む
    提示方法。
  29. データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置として、コンピュータを機能させるプログラムにおいて、
    前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
    前記オブジェクト情報に基づいて生成されるコンテンツを提示する提示手段
    として、コンピュータを機能させるためのプログラム。
  30. 請求項１２、請求項２２、又は請求項２９に記載のプログラムが記録されている記録媒体。
JP2008032674A 2008-02-14 2008-02-14 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 Pending JP2009194595A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008032674A JP2009194595A (ja) 2008-02-14 2008-02-14 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
CN2009801072485A CN101960849A (zh) 2008-02-14 2009-02-13 广播系统、发射设备、发射方法、接收设备、接收方法、表现设备、表现方法、程序和存储介质
PCT/JP2009/052364 WO2009101998A1 (ja) 2008-02-14 2009-02-13 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
EP09710743A EP2242270A1 (en) 2008-02-14 2009-02-13 Broadcast system, transmission device, transmission method, reception device, reception method, presentation device, presentation method, program, and recording medium
US12/866,684 US20100325678A1 (en) 2008-02-14 2009-02-13 Broadcast system, transmission device, transmission method, reception device, reception method, presentation device, presentation method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008032674A JP2009194595A (ja) 2008-02-14 2008-02-14 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2009194595A true JP2009194595A (ja) 2009-08-27
JP2009194595A5 JP2009194595A5 (ja) 2011-03-24

Family

ID=40957029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008032674A Pending JP2009194595A (ja) 2008-02-14 2008-02-14 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体

Country Status (5)

Country Link
US (1) US20100325678A1 (ja)
EP (1) EP2242270A1 (ja)
JP (1) JP2009194595A (ja)
CN (1) CN101960849A (ja)
WO (1) WO2009101998A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307292A (zh) * 2011-09-01 2012-01-04 宇龙计算机通信科技(深圳)有限公司 一种可视通话方法及可视终端
JP2023509805A (ja) * 2020-01-06 2023-03-09 ソースピクチャー インコーポレイテッド コンテンツディスプレイに再生デバイスを適応させるシステム及び方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197030A (ja) * 1998-12-24 2000-07-14 Toshiba Corp 対話型視聴装置および方法および記憶媒体
WO2007069189A2 (en) * 2005-12-15 2007-06-21 Koninklijke Philips Electronics N.V. Method and processing unit for processing a video transport stream
JP2007178644A (ja) * 2005-12-27 2007-07-12 Pioneer Electronic Corp 表示装置、表示制御装置、表示方法、表示プログラム、および記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
IL109487A (en) * 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
JP3569992B2 (ja) * 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
DE19619090A1 (de) * 1996-04-30 1997-11-13 Cfb Gmbh Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes
US5917553A (en) * 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
US6754905B2 (en) * 1998-07-23 2004-06-22 Diva Systems Corporation Data structure and methods for providing an interactive program guide
US6396473B1 (en) * 1999-04-22 2002-05-28 Webtv Networks, Inc. Overlay graphics memory management method and apparatus
JP3802322B2 (ja) * 2000-07-26 2006-07-26 株式会社東芝 動画像内オブジェクト抽出方法及び装置
KR100372092B1 (ko) * 2001-02-06 2003-02-14 주식회사 우리기술 바탕화면 동영상 매체재생기 및 이를 이용한 바탕화면의동영상 처리방법과 상기 매체재생기 또는 방법을실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수있는 기록매체
JP2003060996A (ja) * 2001-08-17 2003-02-28 Hiroyuki Tarumi 放送装置、受信装置、および記録媒体
JP4295470B2 (ja) * 2002-05-08 2009-07-15 日本放送協会 コンテンツ提供システム、コンテンツ受信装置、コンテンツ提供方法、コンテンツ受信方法、コンテンツ提供プログラムおよびコンテンツ受信プログラム
JP2005531971A (ja) * 2002-07-01 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ信号処理システム
JP4181473B2 (ja) * 2003-10-15 2008-11-12 日本放送協会 映像オブジェクト軌跡合成装置、その方法及びそのプログラム
JP2005159592A (ja) * 2003-11-25 2005-06-16 Nippon Hoso Kyokai <Nhk> コンテンツ送信装置およびコンテンツ受信装置
US7872688B2 (en) * 2005-11-30 2011-01-18 Broadcom Corporation Selectively applying spotlight and other effects using video layering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197030A (ja) * 1998-12-24 2000-07-14 Toshiba Corp 対話型視聴装置および方法および記憶媒体
WO2007069189A2 (en) * 2005-12-15 2007-06-21 Koninklijke Philips Electronics N.V. Method and processing unit for processing a video transport stream
JP2007178644A (ja) * 2005-12-27 2007-07-12 Pioneer Electronic Corp 表示装置、表示制御装置、表示方法、表示プログラム、および記録媒体

Also Published As

Publication number Publication date
CN101960849A (zh) 2011-01-26
US20100325678A1 (en) 2010-12-23
WO2009101998A1 (ja) 2009-08-20
EP2242270A1 (en) 2010-10-20

Similar Documents

Publication Publication Date Title
US11450071B2 (en) Adapting acoustic rendering to image-based object
JP2009194597A (ja) 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
JP2023021243A (ja) 複合現実空間オーディオ
WO2018086224A1 (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
CN103258339A (zh) 基于实况记录和基于计算机图形的媒体流的实时合成
JP2019526133A (ja) 拡張された仮想現実
US20140176607A1 (en) Simulation system for mixed reality content
JP2018527655A (ja) ユーザ・ハプティック空間（ＨａｐＳｐａｃｅ）に基づくハプティック・フィードバックおよびインタラクティブ性を提供する方法および装置
US20060114251A1 (en) Methods for simulating movement of a computer user through a remote environment
KR20130010424A (ko) 콘텐츠 재생 방법 및 장치
CN114401414B (zh) 沉浸式直播的信息显示方法及系统、信息推送方法
US11656682B2 (en) Methods and systems for providing an immersive virtual reality experience
JP2016045814A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
CN112150885A (zh) 基于混合现实的驾驶舱系统及场景构建方法
CN102262705A (zh) 实景虚拟现实方法
WO2009101998A1 (ja) 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
WO2013041152A1 (en) Methods to command a haptic renderer from real motion data
JP2006040053A (ja) 画像処理方法及びプログラム
JP2009194596A (ja) 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
EP3776405A1 (en) Generating a mixed reality
JP7365132B2 (ja) 情報処理装置、表示方法およびコンピュータプログラム
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템
CN206023911U (zh) 虚拟现实系统
WO2023199815A1 (ja) 音響処理方法、プログラム、及び音響処理システム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130516