CN1666525A - 图像数据分发系统及其图像数据发送装置及图像数据接收装置 - Google Patents

图像数据分发系统及其图像数据发送装置及图像数据接收装置 Download PDF

Info

Publication number
CN1666525A
CN1666525A CN038153718A CN03815371A CN1666525A CN 1666525 A CN1666525 A CN 1666525A CN 038153718 A CN038153718 A CN 038153718A CN 03815371 A CN03815371 A CN 03815371A CN 1666525 A CN1666525 A CN 1666525A
Authority
CN
China
Prior art keywords
image data
data
image
unit
solicited message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN038153718A
Other languages
English (en)
Other versions
CN100342733C (zh
Inventor
野村敏男
坚田裕之
伊藤典男
内海端
渡部秀一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN1666525A publication Critical patent/CN1666525A/zh
Application granted granted Critical
Publication of CN100342733C publication Critical patent/CN100342733C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

服务器(1)，由请求解析部4来解析从客户机(11)发送的请求信息，从多视点图像数据(2)中选择必要的图像数据并向图像生成部(3)输出，内插生成所请求的视点的图像数据，并向图像合成部(5)输出。在图像合成部(5)，按适合编码的形式来合成多个图像数据，编码部(6)以适当的位速率对图像数据编码，并向网络(7)发送。客户机(11)接收编码了的图像数据，由解码部(12)来解码，向图像处理部(13)输出，按立体显示形式来变换成适当的形式，并由显示部(14)来显示。客户机(11)具有用于变更视点的输入部(16)，经由请求输出部(15)，向网络(7)发送视点变更的请求信息。这样，即使在便携终端等，也可观察从任意视点观看的立体图像。

Description

图像数据分发系统及其图像数据发送装置及图像数据接收装置
技术领域
本发明涉及分发图像数据的图像数据分发系统及其图像数据发送装置及图像数据接收装置。
背景技术
长久以来人们一直考虑一种利用由多个摄像机摄影的多视点图像，来显示从任意视点观看的立体图像的装置。比如图16所示的便是这样一种显示装置。它包括用于设定左右视点的输入装置95；与输入装置95连接，并作成成为从左右视点观看的2个图像的图像数据的计算机91；与计算机91连接，接收成为2个图像的图像数据，由内部电路对其合成并进行立体显示的立体显示显示器98。
计算机91包括：用于存储多视点图像数据的存储器92；用于执行成为2个图像的图像数据的作成处理的CPU93；与立体显示显示器98及输入装置95连接，并控制来自输入装置95的输入值及图像数据的输入输出的输入输出接口94；互相连接CPU93、存储器92及输入输出接口94的总线96。
由输入装置95，选择存储于存储器92的多视点图像数据中所希望的1个，同时设定用于进行立体显示的左右视点。在该场合下，判断多视点图像数据内是否存在从左视点观看的图像数据，如果存在，便经由输入输出接口94来输出该图像数据。如果不存在，利用成为从左视点附近的视点摄影的规定的多个图像的图像数据，来进行内插处理，由此作成从左视点观看的图像数据，并经由输入输出接口94来输出。对右视点也同样。
然而在传统技术中，由于必须采用具有足够容量的存储器及大处理能力的CPU，因而存在着在便携终端之类的只具有有限容量的存储器及有限处理能力的CPU的终端中不能实现的问题点。
此外由于假设特定的立体显示显示器与计算机直接连接，因而不考虑图像数据的有效传送，所以存在着不能应付通过网络来连接各种立体显示显示器的场合的问题点。
本发明鉴于这种状况，其课题是：提供一种即使在便携终端等中，也可观察从任意视点观看的立体图像的图像数据分发系统及其图像数据发送装置及图像数据接收装置。
另一个课题是：可实现立体图像数据的有效传送，并利用相同的原图像数据，在经由网络连接的各种立体显示显示器上观察从任意视点观看的立体图像。
发明内容
为解决上述课题，本发明涉及的图像数据分发系统及图像数据发送装置及图像数据接收装置，采用以下手段。
即，本发明的图像数据分发系统的特征在于，具有：请求信息接收单元，其接收经由网络发送的客户机的请求信息；请求信息解析单元，其解析由请求信息接收单元接收到的请求信息；多视点图像供给单元，其供给多视点图像数据；图像生成单元，其基于由请求信息解析单元所解析的请求信息的视点信息，从多视点图像供给单元输入必要的图像数据，以生成与请求信息一致的规定视点的图像数据；图像合成单元，其基于请求信息的显示部信息来合成由图像生成单元生成的多个图像数据；编码单元，其编码由图像合成单元合成的图像数据；发送单元，其向网络发送由编码单元编码过的图像数据；接收单元，其经由网络接收已编码的图像数据；解码单元，其解码由接收单元所接收的已编码的图像数据；图像处理单元，其将由解码单元解码的图像数据处理成可在显示单元显示出来；显示单元，其显示由图像处理单元所处理的图像数据；请求信息输入单元，其输入客户机的请求信息；请求信息发送单元，其向网络发送请求信息。
本发明的图像数据发送装置的特征在于，具有：请求信息接收单元，其接收经由网络发送的客户机的请求信息；请求信息解析单元，其解析由请求信息接收单元接收到的请求信息；多视点图像供给单元，其供给多视点图像数据；图像生成单元，其基于由请求信息解析单元解析的请求信息的视点信息，从多视点图像供给单元输入必要的图像数据，以生成与请求信息一致的规定视点的图像数据；图像合成单元，其基于请求信息的显示部信息来合成由图像生成单元生成的多个图像数据；编码单元，其编码由图像合成单元合成的图像数据；发送单元，其向网络发送由编码单元编码的图像数据。
本发明的图像数据接收装置的特征在于，具有：接收单元，其经由网络接收已编码的图像数据；解码单元，其解码由接收单元接收到的已编码的图像数据；图像处理单元，其将由解码单元解码的图像数据处理成可在显示单元显示出来；显示单元，其显示由图像处理单元所处理的图像数据；请求信息输入单元，其输入客户机的请求信息；请求信息发送单元，其向网络发送请求信息。
本发明的图像数据分发系统及图像数据发送装置的特征在于，具有：管理信息附加单元，其在多视点图像数据中，附加用于使对各视点图像数据的访问及随机访问成为可能的管理信息。
本发明的图像数据分发系统及图像数据接收装置的特征在于，具有：判定单元，其判定所接收的图像数据是二维图像数据还是立体图像数据。
本发明的图像数据分发系统、图像数据发送装置及图像数据接收装置的特征在于，具有：识别信息附加单元，其在发送或接收的图像数据中，附加用于识别是二维图像数据还是立体图像数据的信息。
如上所述，由于本发明具有上述构成，因而不必在客户机侧配置具有足够容量的存储器及大处理能力的CPU，所以具有即使在便携终端等中，也可观察从任意视点观看的立体图像的效果。
还具有可利用相同的原图像数据，在经由网络连接的各种立体显示显示器上观察从任意视点观看的立体图像的效果。
附图说明
图1是表示本发明涉及的图像数据分发系统的实施方式的框图。
图2是表示用于作成多视点图像数据的多个摄像机的配置的附图。
图3是表示内插生成的图像数据的左视点L及右视点R的附图。
图4是表示由显示部的分辨度，从所生成的图像数据切出的区域的附图。
图5是成为客户机的便携型终端的图片附图。
图6是表示多视点图像数据的存储数据方式示例的附图。
图7是表示所生成的图像数据方式示例的附图。
图8是表示多视点图像数据的存储及抽出的附图。
图9是表示服务器内的处理顺序的流程图。
图10是表示客户机内的处理顺序的流程图。
图11是表示对多视点运动图像数据进行MPEG-4编码的一例的附图。
图12是表示附加有管理信息的多视点图像数据的附图。
图13是表示管理信息一例的附图。
图14是在本实施方式中设想的服务器与客户机的连接方式。
图15是表示图像生成部的处理详情的流程图。
图16是表示传统示例的附图。
具体实施方式
以下基于附图，对本发明涉及的图像数据分发系统的实施方式作以说明。
图1是表示本发明涉及的图像数据分发系统的实施方式的框图。
服务器1(图像数据发送装置)与客户机11(图像数据接收装置)经由网络7来连接。服务器1存储(记录)有多视点图像数据2，通过客户机11对服务器1发送请求信息，可在显示部14上立体显示出从所希望的视点观看的图像。
此外多视点图像数据不必一定预先存储(记录)到服务器1内，也可以从外部实时输入。
服务器1由请求解析部4(请求信息解析单元(包含请求信息接收单元))来解析从客户机11发送的请求信息，从多视点图像数据2(多视点图像供给单元)中选择必要的图像数据，并向图像生成部3(图像生成单元)输出，在图像生成部3中内插生成所请求的视点(视点信息)的图像数据，并向图像合成部5(图像合成单元)输出，在图像合成部5中，以适合编码的形式(基于显示部信息的形式)对所输入的多个图像数据进行合成，并向编码部6(编码单元)输出，在编码部6中，以适当的位速率对所输入的图像数据编码，并向网络7发送(发送单元)。
客户机11接收编码了的图像数据(接收单元)，由解码部12(解码单元)来解码，将解码了的图像数据向图像处理部13(图像处理单元)输出，根据立体显示形式，将图像数据变换成适当形式，并由显示部14(显示单元)来显示。此外客户机11具有用于变更视点的输入部16(请求信息输入单元)，经由请求输出部15(请求信息发送单元)，向网络7发送视点变更的请求信息。
以下，对服务器1及客户机11的详情作以说明。
多视点图像数据2是利用多个摄像机摄影的图像数据的组。多个摄像机比如如图2(a)所示，一般被配置成多个摄像机的光轴在1点集中。作为特殊示例，也可以如图2(b)所示配置到圆周上，从而使摄像机的光轴分别指向圆心。在任意一种场合下，摄像机均不必等间隔地配置，其分布可以有疏有密。将表示摄像机如何配置的信息与图像数据一起来记录。该配置信息用于判断在图像生成部3基于来自客户机11的请求信息来内插生成规定视点的图像数据时，最好基于来自哪个摄像机的图像数据来作成。
接下来，对在内插生成所请求的视点图像时所必需的摄像机图像数据作以说明。在图3(a)的示例中，对摄像机C1～C4按图示来设定左视点L及右视点R，在该场合下，在生成左视点L的图像数据时采用C1与C2的图像数据，在生成右视点R的图像数据时采用C2与C3的图像数据。同样，在图3(b)所示的示例中，摄像机C1～C4的配置与所请求的左视点L、右视点R的关系如图所示，在该场合下，左视点L的图像数据及右视点R的图像数据均利用C1及C2的图像数据来生成。尽管图3所表示的是采用4台摄像机的示例，但摄像机数不限定4台。
基于内插的中间视点图像的生成是众所周知的技术，在比如「纲岛等著：来自考虑了封闭的2眼立体图像数据的中间图像数据的作成，3D Image Conference′95，pp.174-177(1995)」以及「吾妻等著：采用了用于中间图像生成的边沿信息的视差估算，3D ImageConference′95，pp.190-194(1995)」等中有详细介绍。
在图像生成部3中生成了必要视点的图像数据后，图像合成部5进行具有所请求的分辨度的图像数据的抽出处理。在图4(a)中，假设所生成的图像数据21的大小与由摄像机摄影的图像的大小相等，并由区域2 2表示在客户机11中显示时所需的分辨度。在图4(a)中只切出所生成的图像数据的一部分。或者也可以如图4(b)所示，不是在客户机11中显示时所需的分辨度本身，而是从所生成的图像数据23(假设与由摄像机摄影的图像相同大小)切出可保持显示状态而能切出的最大区域24，然后缩小到必要的分辨度。此外也可以在图像生成部3中预先只生成必要分辨度的图像数据。
图5是成为客户机11的便携型终端50的图片附图。其具有立体显示器54，还具有用于使视点上下左右移动的十字键51、用于使视点前后移动的键52、53。还具有用于与服务器通信的通信单元，这一点未图示。
图6表示多视点图像数据2的存储方式示例。由于由多个摄像机摄影的运动图像数据有必要在时间上同步，因而有一种下列方式：即如图6(a)所示，使由各摄像机摄影的多个图像数据C1～C4横向并列，由此作为成为1个图像的图像数据来存储。这样，可保证成为1个图像的图像数据中包含的C1～C4是被同一时刻摄影的数据，可便于时间管理。排列的形式不限定于图6(a)所示的一个横列，也可以如比如图6(b)所示来排列。
另一方面，如图6(c)所示，还可考虑一种对由各摄像机摄影的图像数据C1～C4分离存储的方式。基于如此存储的长处在于：比如如图3(b)所示，在生成请求视点的图像数据所必需的摄像机图像只有C1及C2的场合下，可容易地将其取出。
多视点图像数据2可以压缩存储，也可以在非压缩状态下存储，但在这里，利用图8，对图6(c)所示的各摄像机图像数据互相分离的图像数据压缩后来存储的场合作说明。在该场合下，如图8(a)所示，由各摄像机摄影的图像数据C1～C4被输入到编码部31。编码部31对各图像数据编码，并将生成管理信息所必需的信息(帧类型及发生比特数等)向管理信息生成部32输出。在记录部33中，将管理信息与编码了的图像数据一起作为存储数据来记录(管理信息附加单元)。对管理信息的详情及存储方式在后文记述。
在将利用图8(a)所示的方法来记录的存储数据作为多视点图像数据的场合下，为用于图像生成部3，有必要对其解码，但如图8(b)所示，根据来自客户机的请求，选择部34从所存储的数据只选择必要的图像数据，并向解码部35输出以进行解码，由此可得到必要足够的原图像数据(图像生成部3所采用的图像数据)。此时，为尽快抽出必要的部分，与图像数据一起来利用所记录的管理信息。
图7表示图像合成部5所生成的图像数据方式示例。如图7(b)所示，尽管可以将左视点用图像数据L与右视点用图像数据R作为分离的图像数据来编码，但最好如图7(a)所示，使两者横向(或上下)排列，合成为成为1个图像的图像数据来编码。通过如图7(a)所示合成为成为1个图像的图像数据，可以保证左视点用图像数据L与右视点用图像数据R的同步，因而可便于时间管理。尤其在采用MPEG-4之类的发生跳帧的编码方式的场合下，可以防止在某一时刻，存在左视点用图像数据L的帧而不存在右视点用图像数据R的帧这种情况的发生。此外，由于对成为1个图像的图像数据进行速率控制，因而可使左视点用图像L与右视点用图像R的画质大致保持相同。在作为分离的图像数据来编码的场合下，根据速率控制的结果，会发生在取出了某个时刻的帧时，左视点用图像L的画质良好，而右视点用图像R的画质却不好的情况，在这种场合下，立体显示质量便降低。即，通过采用图7(a)所示的形式，可提高立体显示的质量。
根据客户机11的立体显示形式，尽管最终在显示部14上显示出的图像数据如图7(c)所示，会成为左视点用图像数据L与右视点用图像数据R的条纹在每1行上交互并列的状态(透镜方式及平行栅方式等)，但即使在这种场合下，也希望编码的图像数据成为图7(a)所示的形式。其原因在于：在进行DCT之类的基于块的编码的场合下，图7(c)所示形式的图像数据的邻接像素相关性变弱，空间频率增高，因而压缩效率恶化。所请求的视点数大于2的场合也可适用同样的设想。
在如图7(a)所示来排列多个视点的图像数据，以形成成为1个图像的图像数据的场合下，不再能区分出它在形式上是普通的二维图像数据还是立体图像数据。尽管在采用图1所示的系统来进行实时流动的场合下，由于根据来自客户机的请求来实时发送图像数据，因而不会发生问题，但在客户机11局部记录如此发送的图像数据，以后再观看它等的场合下，不再能区分出它是二维图像数据还是立体图像数据。为防止这一现象，可在记录图7(a)所示形式的图像数据时，附加用于识别图像数据是二维图像数据还是立体图像数据的标记(识别信息附加单元)。该识别标记的附加可以在服务器1中进行，也可以在客户机11中进行。此外在客户机11中，设有判定是二维图像数据还是立体图像数据的判定单元。
此外在客户机11局部记录图像数据的场合下，记录单元被设置到解码之前(解码部12的前段)或图像处理之后(图像处理部的后段)。
图9是表示服务器1内的处理顺序的流程图。首先，解析来自客户机的请求(步骤S1)。接着从多视点图像数据选择必要的图像数据(步骤S2)。这样，利用它来生成所请求的视点的图像(步骤S3)。接下来，进行显示所需大小的图像数据的切出(必要时缩小)(步骤S4)。接着对所切出的左视点用图像数据与右视点用图像数据进行合成(步骤S5)。接下来编码合成图像数据(步骤S6)。最后作为位流来输出(步骤S7)。
图10是表示客户机11内的处理顺序的流程图。首先进行初始化，以设定初始状态的视点位置(视点信息)及不取决于视点的信息(立体显示形式及分辨度等(显示部信息))(步骤S11)。其次将这些信息作为请求向服务器1发送(步骤S12)。接着经由网络，从服务器发送满足请求的位流(图像数据)(步骤S13)。接下来对其解码(步骤S14)。解码了的图像数据，不是图7(a)所示可按原样进行立体显示的形式，因而通过对其重新排列，如图7(c)所示成为符合立体显示形式的形式(步骤S15)。接下来，在显示部14上进行显示(步骤S16)。接着判定是否进行继续显示(步骤S17)。在继续显示的场合下，判定是否有视点的变更请求(步骤S18)。接着，在有视点变更的场合下，向服务器1再次输出请求，由此返回到步骤S12。在步骤S18不继续显示的场合下，返回到步骤S13。
图14是在本实施方式中所设想的服务器与客户机的连接方式。终端A～终端C是客户机，经由网络7与服务器41连接。由于各终端的立体显示形式及显示分辨度各异，而且观察视点的位置也各异，因而服务器41根据来自各终端的请求，对各终端发送不同的图像数据。如果将服务器41所存储(记录)的全部多视点图像数据发送给网络，而且各终端对其取舍选择来显示，则所传送的图像数据只有一种即可，然而由于多视点图像数据具有极大的信息量，以及受网络的带宽限制，因而实际上这种做法是不可能的。因此，本发明的这种根据来自客户机的请求而由服务器发送适当的图像数据的系统，必需一种不同种类的终端与网络连接的环境。
图15是表示图像生成部3的处理详情的流程图。首先，对客户机所请求的视点的位置进行解析(步骤S21)。接着，判定所存储的多视点图像数据中是否有其位置与该视点一致的图像(步骤S22)。在有该图像的场合下，可按原样来采用该图像数据，在没有的场合下，生成内插图像(步骤S23)。接下来将其作为图像数据来输出(步骤S24)。
以下对管理信息作以说明。
图11表示对多视点运动图像进行MPEG-4编码场合下的一例。由于MPEG-4中可采用跳帧，因而在编码了的帧中，其帧号可如LTf0，LTf3，LTf5及LTf10那样不连续。在该例中，将LTf0作为帧内编码帧(1帧)来编码，将LTf10作为从LTf0的解码帧进行预测编码的帧(P帧)来编码，将LTf3，LTf5作为从LTf0、LTf10的解码帧进行双向预测编码的帧(B帧)来编码。
图13表示由图8(a)的管理信息生成部32附加的管理信息一例。各摄像机图像的编码数据可与管理信息一起，如图12所示来结合并存储，但此时，旨在使对各摄像机图像数据的访问成为可能的信息是管理信息。在多视点运动图像的场合下，还包含使对各摄像机图像数据的访问、以及对各摄像机图像数据内指定时刻的编码数据的随机访问均成为可能的信息。
图13(a)是用于进行对各摄像机图像的编码数据的访问的管理信息一例。它表示比如摄像机图像C2的编码数据，存在于从图12的数据前端开始的第B2个字节。图13(a)中还记载提供给用于进行对摄像机图像数据内指定时刻的编码数据的访问的信息的指示符。它表示在C2编码数据的场合下，对指定时刻的编码数据的访问表位于管理信息内的地址P2。
图13(b)是对指定时刻的编码数据的访问表一例。时刻t1，t2，t3...可以等间隔设定，也可以是任意的时间间隔。它表示比如对应于时刻t3的编码数据，存在于从摄像机图像编码数据的前端开始的第Bt3个字节，而且I帧编码数据存在于从该位置上It3个字节的位置。在解码器欲从时刻t3开始显示的场合下，首先，对从前端开始的(Bt3-It3)个字节处的I帧编码数据解码。接下来，依次解码P帧及B帧，并计数解码了的字节数，如果在只解码了It3个字节的时点开始显示，便显示出指定的时刻t3的图像数据。
接下来，对其它的访问方法作以说明。
(イ)编码数据被分组，各分组的报头信息中，具有表示是否包含I帧的前端的信息。图13(b)中，记载了指定时刻及直至与其对应的分组为止的字节数。解码器访问了指定时刻t3的分组后，检查分组是否包含I帧的前端，从包含I帧的分组来开始解码·显示(舍弃这之前的分组)。
(ロ)在(イ)中，不明示直至分组为止的字节数，而只将分组号写入到图13(b)。使一个编码数据内的分组长度固定，并在编码数据的报头信息中写入分组的字节数。解码器从分组号及分组的字节数，来计算直至指定时刻的分组为止的字节数(以后与(イ)相同)。
接下来，对其它存储方式作以说明。
(ハ)图12中，管理信息与编码信息被结合在一起来存储，但管理信息也可以作为其它文件来分离并存储。
(ニ)管理信息中，用于指定时刻的访问的信息，也可以不被包含到管理信息中，而被包含到各摄像机图像编码数据的报头信息中。在该场合下，不需要图13(a)的第3列(用于进行摄像机图像内指定时刻访问的信息的指示符)。
(ホ)也可以将管理信息及各摄像机图像的编码数据作为完全不同的文件。此时，在比如图13(a)的第2列中，取代从前端开始的字节数，而写入各摄像机图像编码数据的文件名。对各摄像机图像的访问基于文件名来进行。
产业上的可利用性
本发明涉及的图像数据分发系统及其图像数据发送装置及图像数据接收装置，在客户机侧不需要具有足够容量的存储器及大处理能力的CPU，适用于可观察从任意视点观看的立体图像的便携终端等。

Claims (10)

1.一种图像数据分发系统，其特征在于：具有
请求信息接收单元，其接收经由网络发送的客户机的请求信息；
请求信息解析单元，其解析由请求信息接收单元接收到的请求信息；
多视点图像供给单元，其供给多视点图像数据；
图像生成单元，其基于由请求信息解析单元所解析的请求信息的视点信息，从多视点图像供给单元输入必要的图像数据，以生成与请求信息一致的规定视点的图像数据；
图像合成单元，其基于请求信息的显示部信息来合成由图像生成单元生成的多个图像数据；
编码单元，其编码由图像合成单元合成的图像数据；
发送单元，其向网络发送由编码单元编码过的图像数据；
接收单元，其经由网络接收已编码的图像数据；
解码单元，其解码由接收单元所接收的已编码的图像数据；
图像处理单元，其将由解码单元解码的图像数据处理成可在显示单元显示出来；
显示单元，其显示由图像处理单元所处理的图像数据；
请求信息输入单元，其输入客户机的请求信息；
请求信息发送单元，其向网络发送请求信息。
2.一种图像数据发送装置，其特征在于：具有
请求信息接收单元，其接收经由网络发送的客户机的请求信息；
请求信息解析单元，其解析由请求信息接收单元接收到的请求信息；
多视点图像供给单元，其供给多视点图像数据；
图像生成单元，其基于由请求信息解析单元解析的请求信息的视点信息，从多视点图像供给单元输入必要的图像数据，以生成与请求信息一致的规定视点的图像数据；
图像合成单元，其基于请求信息的显示部信息来合成由图像生成单元生成的多个图像数据；
编码单元，其编码由图像合成单元合成的图像数据；
发送单元，其向网络发送由编码单元编码的图像数据。
3.一种图像数据接收装置，其特征在于：具有
接收单元，其经由网络接收已编码的图像数据；
解码单元，其解码由接收单元接收到的已编码的图像数据；
图像处理单元，其将由解码单元解码的图像数据处理成可在显示单元显示出来；
显示单元，其显示由图像处理单元所处理的图像数据；
请求信息输入单元，其输入客户机的请求信息；
请求信息发送单元，其向网络发送请求信息。
4.权利要求1中记载的图像数据分发系统，其特征在于：具有
管理信息附加单元，其在多视点图像数据中，附加用于使对各视点图像数据的访问及随机访问成为可能的管理信息。
5.权利要求2中记载的图像数据发送装置，其特征在于：具有
管理信息附加单元，其在多视点图像数据中，附加用于使对各视点图像数据的访问及随机访问成为可能的管理信息。
6.权利要求1或4中记载的图像数据分发系统，其特征在于：具有
判定单元，其判定所接收的图像数据是二维图像数据还是立体图像数据。
7.权利要求3中记载的图像数据接收装置，其特征在于：具有
判定单元，其判定所接收的图像数据是二维图像数据还是立体图像数据。
8.权利要求1、4、6之一中记载的图像数据分发系统，其特征在于：具有
识别信息附加单元，其在发送的图像数据中，附加用于识别是二维图像数据还是立体图像数据的信息。
9.权利要求2或5中记载的图像数据发送装置，其特征在于：具有
识别信息附加单元，其在发送的图像数据中，附加用于识别是二维图像数据还是立体图像数据的信息。
10.权利要求3或7中记载的图像数据接收装置，其特征在于：具有
识别信息附加单元，其在接收到的图像数据中，附加用于识别是二维图像数据还是立体图像数据的信息。
CNB038153718A 2002-06-28 2003-06-30 图像数据分发系统及其图像数据发送装置及图像数据接收装置 Expired - Fee Related CN100342733C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP189470/2002 2002-06-28
JP2002189470 2002-06-28

Publications (2)

Publication Number Publication Date
CN1666525A true CN1666525A (zh) 2005-09-07
CN100342733C CN100342733C (zh) 2007-10-10

Family

ID=29996848

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038153718A Expired - Fee Related CN100342733C (zh) 2002-06-28 2003-06-30 图像数据分发系统及其图像数据发送装置及图像数据接收装置

Country Status (7)

Country Link
US (1) US7734085B2 (zh)
EP (1) EP1519582A4 (zh)
JP (1) JP4346548B2 (zh)
KR (1) KR100742674B1 (zh)
CN (1) CN100342733C (zh)
AU (1) AU2003244156A1 (zh)
WO (1) WO2004004350A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472190A (zh) * 2007-12-28 2009-07-01 深圳华为通信技术有限公司 多视角摄像及图像处理装置、系统及方法与解码处理方法
CN101536529B (zh) * 2006-09-20 2011-08-31 日本电信电话株式会社 图像编码方法和解码方法、其装置
CN102402412A (zh) * 2010-09-19 2012-04-04 联想(北京)有限公司 显示功能处理模块，服务器和显示处理方法
CN102572472A (zh) * 2010-12-24 2012-07-11 日立民用电子株式会社 接收装置
CN103179302A (zh) * 2011-12-22 2013-06-26 腾讯科技（深圳）有限公司 开放平台中的图片处理方法及系统
CN105898212A (zh) * 2014-12-16 2016-08-24 罗伯特·博世有限公司 转码装置以及具有转码装置的服务器-客户端设备
CN105939469A (zh) * 2010-09-03 2016-09-14 索尼公司 编码装置和编码方法以及解码装置和解码方法
CN106797459A (zh) * 2014-09-22 2017-05-31 三星电子株式会社 三维视频的传输
CN108055324A (zh) * 2017-12-13 2018-05-18 济南汇通远德科技有限公司 一种基于智能穿戴产品实现数据交互的方法
CN110913202A (zh) * 2019-11-26 2020-03-24 深圳英伦科技股份有限公司 一种三维显示云渲染方法和系统
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
JP2006165878A (ja) * 2004-12-06 2006-06-22 Shigeru Handa コンテンツ配信システム、及びデータ構造
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP4687279B2 (ja) * 2005-06-29 2011-05-25 ソニー株式会社 画像再生装置、画像再生方法、および画像再生用プログラム
JP4665166B2 (ja) * 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
JP4665167B2 (ja) * 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
KR20070008289A (ko) * 2005-07-13 2007-01-17 삼성전자주식회사 디스플레이 장치 및 그것을 구비한 정보 처리 시스템,그리고 그것의 구동 방법
KR100755457B1 (ko) * 2005-08-16 2007-09-05 홍길철 인터넷 통신망을 이용한 다중 또는 입체 화상 서비스 방법
US20090201992A1 (en) * 2005-10-07 2009-08-13 Jeong-Il Seo Method and apparatus for encoding and decoding hopping default view for multiple cameras system
WO2007122907A1 (ja) * 2006-03-29 2007-11-01 Matsushita Electric Industrial Co., Ltd. 画像コーデック装置
US8184692B2 (en) * 2006-09-25 2012-05-22 Framecaster, Inc. Distributed and automated video encoding and delivery system
JP5029062B2 (ja) * 2007-02-26 2012-09-19 富士通株式会社 多視点動画像伝送システム
WO2009027923A1 (en) * 2007-08-31 2009-03-05 Koninklijke Philips Electronics N.V. Conveying auxiliary information in a multiplexed stream
JP2010169777A (ja) * 2009-01-21 2010-08-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP5627860B2 (ja) 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
US8953017B2 (en) 2009-05-14 2015-02-10 Panasonic Intellectual Property Management Co., Ltd. Source device, sink device, communication system and method for wirelessly transmitting three-dimensional video data using packets
KR20100131061A (ko) 2009-06-05 2010-12-15 삼성전자주식회사 스테레오 영상 처리 장치 및 방법
KR101234495B1 (ko) * 2009-10-19 2013-02-18 한국전자통신연구원 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
KR101320350B1 (ko) * 2009-12-14 2013-10-23 한국전자통신연구원 보안관제서버 및 보안관제서버의 영상데이터 관리 방법
KR101329057B1 (ko) * 2010-03-29 2013-11-14 한국전자통신연구원 다시점 입체 동영상 송신 장치 및 방법
JP5515988B2 (ja) * 2010-04-05 2014-06-11 ソニー株式会社 信号処理装置、信号処理方法、表示装置及びプログラム
JP2012235308A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP2015506621A (ja) * 2012-01-06 2015-03-02 ウルトラ−デー・コーペラティーフ・ユー・アー ３ｄディスプレイ用ディスプレイプロセッサ
JP2014007648A (ja) * 2012-06-26 2014-01-16 Sony Corp 画像処理装置と画像処理方法およびプログラム
EP2893436B1 (en) * 2012-09-10 2020-08-05 UTC Fire & Security Americas Corporation, Inc. Systems and methods for security panel content management
EP2908519A1 (en) * 2014-02-14 2015-08-19 Thomson Licensing Method for displaying a 3D content on a multi-view display device, corresponding multi-view display device and computer program product
KR101521890B1 (ko) * 2014-03-28 2015-05-22 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법
USD748196S1 (en) 2014-08-27 2016-01-26 Outerwall Inc. Consumer operated kiosk for sampling products
JP6452429B2 (ja) * 2014-12-18 2019-01-16 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2016220113A (ja) * 2015-05-22 2016-12-22 株式会社ソシオネクスト 映像配信装置、映像配信方法、及び映像配信システム
US10129579B2 (en) 2015-10-15 2018-11-13 At&T Mobility Ii Llc Dynamic video image synthesis using multiple cameras and remote control
JP6770939B2 (ja) * 2017-09-28 2020-10-21 Kddi株式会社 映像配信サーバ、映像配信方法および映像配信プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01107247A (ja) 1987-10-21 1989-04-25 Matsushita Electric Ind Co Ltd ３次元映像表示装置
JPH07274211A (ja) 1994-03-30 1995-10-20 Sanyo Electric Co Ltd ２次元画像を３次元画像に変換する方法
JPH09200715A (ja) 1996-01-19 1997-07-31 Canon Inc 通信装置、通信方法及び通信システム
KR100348922B1 (ko) 1996-02-28 2002-11-18 마쯔시다덴기산교 가부시키가이샤 고해상도및입체영상기록용광디스크,광디스크재생장치및광디스크기록장치
EP0931420A4 (en) * 1996-10-11 2002-06-26 Sarnoff Corp METHOD AND DEVICE FOR CODING AND DECODING STEREOSCOPIC VIDEO SIGNALS
JPH10178594A (ja) 1996-12-19 1998-06-30 Sanyo Electric Co Ltd ３次元映像伝送方法、デジタル放送システムおよびデジタル放送システムにおけるユーザ側端末
US5864337A (en) * 1997-07-22 1999-01-26 Microsoft Corporation Mehtod for automatically associating multimedia features with map views displayed by a computer-implemented atlas program
GB9800397D0 (en) * 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
JPH11225160A (ja) 1998-02-05 1999-08-17 Chokosoku Network Computer Gijutsu Kenkyusho:Kk 動画転送方法及びサーバ
KR100345235B1 (ko) * 1998-11-08 2005-07-29 엘지전자 주식회사 디지털데이터스트림기록방법및그장치
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
US6631205B1 (en) * 1999-01-13 2003-10-07 Canon Kabushiki Kaisha Stereoscopic imaging in a portable document format
JP2001008232A (ja) * 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
AU1208101A (en) * 1999-10-15 2001-04-30 Kewazinga Corp. Method and system for comparing multiple images utilizing a navigable array of cameras
US6525732B1 (en) * 2000-02-17 2003-02-25 Wisconsin Alumni Research Foundation Network-based viewing of images of three-dimensional objects
WO2001065854A1 (en) * 2000-03-01 2001-09-07 Innovue, Inc. Interactive navigation through real-time live video space created in a given remote geographic location
KR20010100539A (ko) 2000-05-03 2001-11-14 박승준 다시점 입체 영상 표시기를 이용한 2차원 입체 영상제작방법
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
US6573912B1 (en) * 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
US6803912B1 (en) * 2001-08-02 2004-10-12 Mark Resources, Llc Real time three-dimensional multiple display imaging system
US20030117395A1 (en) * 2001-08-17 2003-06-26 Byoungyi Yoon Method and system for calculating a photographing ratio of a camera
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP3922543B2 (ja) * 2002-06-05 2007-05-30 ソニー株式会社 撮像装置、および画像表示装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536529B (zh) * 2006-09-20 2011-08-31 日本电信电话株式会社 图像编码方法和解码方法、其装置
CN101472190A (zh) * 2007-12-28 2009-07-01 深圳华为通信技术有限公司 多视角摄像及图像处理装置、系统及方法与解码处理方法
CN101472190B (zh) * 2007-12-28 2013-01-23 华为终端有限公司 多视角摄像及图像处理装置、系统
CN105939469A (zh) * 2010-09-03 2016-09-14 索尼公司 编码装置和编码方法以及解码装置和解码方法
CN102402412A (zh) * 2010-09-19 2012-04-04 联想(北京)有限公司 显示功能处理模块，服务器和显示处理方法
CN102572472A (zh) * 2010-12-24 2012-07-11 日立民用电子株式会社 接收装置
CN103179302A (zh) * 2011-12-22 2013-06-26 腾讯科技（深圳）有限公司 开放平台中的图片处理方法及系统
CN103179302B (zh) * 2011-12-22 2017-10-10 腾讯科技（深圳）有限公司 开放平台中的图片处理方法及系统
CN106797459A (zh) * 2014-09-22 2017-05-31 三星电子株式会社 三维视频的传输
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US10313656B2 (en) 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
CN105898212A (zh) * 2014-12-16 2016-08-24 罗伯特·博世有限公司 转码装置以及具有转码装置的服务器-客户端设备
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN108055324A (zh) * 2017-12-13 2018-05-18 济南汇通远德科技有限公司 一种基于智能穿戴产品实现数据交互的方法
CN110913202A (zh) * 2019-11-26 2020-03-24 深圳英伦科技股份有限公司 一种三维显示云渲染方法和系统
CN110913202B (zh) * 2019-11-26 2022-01-07 深圳英伦科技股份有限公司 一种三维显示云渲染方法和系统

Also Published As

Publication number Publication date
KR100742674B1 (ko) 2007-07-25
KR20050014893A (ko) 2005-02-07
WO2004004350A1 (ja) 2004-01-08
US20050248802A1 (en) 2005-11-10
EP1519582A4 (en) 2007-01-31
CN100342733C (zh) 2007-10-10
US7734085B2 (en) 2010-06-08
AU2003244156A1 (en) 2004-01-19
EP1519582A1 (en) 2005-03-30
JP4346548B2 (ja) 2009-10-21
JPWO2004004350A1 (ja) 2005-11-04

Similar Documents

Publication Publication Date Title
CN100342733C (zh) 图像数据分发系统及其图像数据发送装置及图像数据接收装置
CN100428804C (zh) 3d立体/多视图视频处理系统及其方法
CN100473157C (zh) 基于运动图像专家组-4的立体视频因特网广播系统和方法
KR100488804B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
KR100475060B1 (ko) 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
EP3668092A1 (en) Method and device for transmitting or receiving 6dof video using stitching and re-projection related metadata
US20210227236A1 (en) Scalability of multi-directional video streaming
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
CN112219403B (zh) 沉浸式媒体的渲染视角度量
KR100576544B1 (ko) 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
KR20160142626A (ko) 공통 홀로그래픽 데이터 포맷 및 부복호화 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071010

Termination date: 20180630

CF01 Termination of patent right due to non-payment of annual fee