CN102349303A - 影像转换装置、影像输出装置、影像转换系统、影像、记录介质、影像转换方法及影像输出方法 - Google Patents

影像转换装置、影像输出装置、影像转换系统、影像、记录介质、影像转换方法及影像输出方法 Download PDF

Info

Publication number
CN102349303A
CN102349303A CN2010800112844A CN201080011284A CN102349303A CN 102349303 A CN102349303 A CN 102349303A CN 2010800112844 A CN2010800112844 A CN 2010800112844A CN 201080011284 A CN201080011284 A CN 201080011284A CN 102349303 A CN102349303 A CN 102349303A
Authority
CN
China
Prior art keywords
image
pixel
information
viewpoint
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800112844A
Other languages
English (en)
Inventor
吉田健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN102349303A publication Critical patent/CN102349303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明的目的是在硬件设备上实现影像的立体影像显示用的像素配置转换。本发明的影像转换装置设置有从影像输出装置将多视点影像作为影像信号接收的接收装置，将由该接收装置接收的该多视点影像一帧一帧地存储到存储元件的存储装置，对根据预先设定的转换控制信息将由该存储装置存储到该存储元件中的该多视点影像的像素配置转换成立体影像显示用的像素配置的指示进行控制的转换控制装置，根据从该转换控制装置得到的指示即时转换该像素配置的转换装置，以及将由该转换装置转换了该像素配置的影像作为影像信号发送到立体影像显示装置的发送装置，由此，在硬件设备上实现多视点影像的立体影像显示用的像素配置转换。

Description

影像转换装置、影像输出装置、影像转换系统、影像、记录介质、影像转换方法及影像输出方法
技术领域
本发明涉及一种影像转换装置，其用于将多视点影像的像素配置转换成立体影像显示用的像素配置。
背景技术
通过使用视差屏障方式、双面凸透镜方式等令使用者产生视差，从而实现影像的立体感的立体影像显示装置，如专利文献1等所述，一直以来就是众所周知的。
这里，对于影像的立体感，需要向立体影像显示装置发送立体显示用的影像。具体来说就是，需要发送根据与想要显示立体影像的立体影像显示装置对应的像素配置预先制作的影像，或者将现有影像的像素配置转换成与立体影像显示装置对应的像素配置。
作为用于将影像的像素配置转换成与立体影像显示装置对应的像素配置的现有技术，专利文献1的0088段及图1中公开了一种将影像的像素配置转换成与视差屏障方式的立体影像显示装置对应的像素配置的技术。作为在装置内将影像的像素配置转换成立体显示用的技术解决手段，该0088段及图1中公开了一种具备图像合成电路的立体影像显示装置。
已有技术文献
专利文献
【专利文献1】日本特开2004-179806(2004年6月24日公布)
非专利文献
【非专利文献1】Visumotion GMBH提供的软件“DisplayConfigurator”及“3D Movie Center”的手册
发明内容
发明所要解决的课题
但是，专利文献1中的立体影像显示装置，如上所述，由于其装置内设置有将影像的像素配置转换成立体显示用的装置，所以造价很高。
而且，因为要将影像的像素配置转换成立体显示用的，所以在与视差屏障的调整上要精确，也很不容易校准。
此外，即使在向立体影像显示装置输出影像的装置内，即在通过地面波、卫星广播、来自网络上的流播放或下载来获取影像的机顶盒，或者独立的DVD播放机、Blu-ray(注册商标)播放器等播放机器(也包含具有录像功能的)的装置内，设置有将影像的像素配置转换成立体显示用的装置，上述问题也同样会发生。
另外，用个人电脑运行非专利文献1所述软件，并将影像的像素配置转换成立体显示用的话，高速的CPU、大容量的存储器、高性能的显卡等资源的消耗很大且昂贵，供应也很困难。而且，从个人电脑特有的软件的安装到内容的登记、OS、软件的启动、软件的关闭、OS关机、死机、故障等，现场操作很费力，难以稳定地运作。
所以，实际上还需要有运行非专利文献1所述软件的专用个人电脑。
上述问题都已成为了立体影像显示技术普及的障碍。
因此，本发明为了扫除上述障碍，其课题就是提供一种廉价且实用性高的立体影像显示技术。具体来说就是，在硬件设备上实现影像的与立体影像显示装置对应的像素配置转换。
课题的解决方案
为了解决上述课题，本发明的影像转换装置的特征在于，其设置有：从影像输出装置将多视点影像作为影像信号接收的接收装置，将由该接收装置接收的该多视点影像一帧一帧地存储到存储元件的存储装置，对根据预先设定的转换控制信息将由该存储装置存储到该存储元件中的该多视点影像的像素配置转换成立体影像显示用的像素配置的指示进行控制的转换控制装置，根据从该转换控制装置得到的指示即时转换该像素配置的转换装置，以及将由该转换装置转换了该像素配置的影像作为影像信号发送到立体影像显示装置的发送装置。
根据上述特征，本发明的影像转换装置与影像输出装置及立体影像显示装置是另外的装置，因此，可以直接沿用现有的影像输出装置及立体影像显示装置来提供立体影像。
所述多视点影像是用于生成立体图像的多个中间图像，其中该立体图像是从在第1视点至第N视点的多个视点上拍摄及/或描画的多个视点图像转换而来的，RGB阶梯配置像素区块，将沿斜方向在拐角处使子像素相连并排列成3行的RGB阶梯配置像素单元，在水平方向上从该第1视点至第N视点连接并排列，为了将该RGB阶梯配置像素区块重复配置并生成该立体图像，在与构成该RGB阶梯配置像素单元的子像素的配置位置对应的、该多个视点图像上的对应位置附近，配置了至少一个以上的像素单元，从构成该些像素单元的子像素的RGB值进行插值，求出构成该RGB阶梯配置像素单元的子像素的各个R值、G值、B值，将构成该RGB阶梯配置像素单元的子像素在水平方向上按照R、G、B的顺序并排的RGB并列配置像素单元，按照在该多个视点的每一个上集中配置的配置规则进行配置，并生成该多个视点的每一个视点的该中间图像，由此，该立体图像的该RGB阶梯配置像素单元与该多个中间图像的该RGB并列配置像素单元的总数，或者分别构成这两者的子像素的总数，最好是相同数目。
根据上述特征，不使用高速的特殊电脑，通过构成每个视点的图像的像素数的总数与立体图像的像素数相同的最低限度的必要分辨率，就可以实现可压缩的中间图像的生成，以及，仅通过构成所述中间图像的子像素的配置变更(映射)，就可以生成可实现立体感的立体图像。
所述RGB阶梯配置像素单元最好是，各行的子像素为一列，且由具有R值、G值、B值的3个该子像素构成；所述RGB并列配置像素单元最好是，在一行上，将该3个子像素按照R、G、B的顺序并排成3列。
由此，在子像素是以1比3的比率纵长的长方形的情况下，将可以最适合实现立体感的3个子像素沿斜方向在拐角处连接并排列成3行1列，能够生成可转换成具有这种子像素的配置的立体图像的多个中间图像。
所述RGB阶梯配置像素单元最好是，各行的子像素为两列，该两列的每一列都是由具有R值、G值、B值的3个该子像素构成的；所述RGB并列配置像素单元最好是，在一行上，将在该RGB阶梯配置像素单元的第一列上配置成3行的3个子像素按照R、G、B的顺序并排成3列，在水平方向上与该排列连接，将在该RGB阶梯配置像素单元的第二列上排列成3行的3个子像素按照R、G、B的顺序并排成3列。
另外，所述RGB阶梯配置像素单元最好是，各行的子像素为3列，该3列的每一列都是由具有R值、G值、B值的3个该子像素构成的；所述RGB并列配置像素单元最好是，在一行上，将在该RGB阶梯配置像素单元的第一列上配置成3行的3个子像素按照R、G、B的顺序并排成3列，在水平方向上与该排列连接，将在该RGB阶梯配置像素单元的第二列上排列成3行的3个子像素按照R、G、B的顺序并排成3列，与该排列进一步连接，将在该RGB阶梯配置像素单元的第三列上排列的3个子像素按照R、G、B的顺序并排。
另外，通过将所述多个中间图像配置成由作为图像帧至少在纵方向上三等分的第一行至第三行构成的多个瓷砖状，构成所述RGB阶梯配置像素单元的子像素与构成所述RGB并列配置像素单元的子像素，在配置有所述立体图像与该多个中间图像的该图像帧上，最好纵横方向上都是相同数目。
通过将各视点的图像配置成瓷砖状，中间图像与裸眼立体显示器(立体图像)的分辨率/纵横比相同，可以非常廉价地提供一种富有实用性的立体图像显示系统，该立体图像显示系统可以通过立体图像生成装置(转换器)，将由蓝光(Blue Ray)或STB等标准的图像输出装置或图像发布服务器以标准格式输出或发送的中间图像，简便地生成立体图像的。
另外，在所述多个视点为两个视点的情况下，最好在所述第一行的瓷砖上配置第1视点的所述中间图像的2/3，在与所述第二行的第1瓷砖上的第1视点的该中间图像的1/3相连接的第2瓷砖上，配置第2视点的该中间图像的1/3，在所述第三行的瓷砖上配置第2视点的该中间图像的2/3；在所述多个视点为3个视点的情况下，最好在各行的瓷砖上配置各视点的中间图像；在所述多个视点为4～6个视点的情况下，最好在各行的第一块的瓷砖上配置第1～3视点的该中间图像，在与第1～3视点的该中间图像连接的第一行至第三行上所配置的瓷砖上，配置剩余视点的该中间图像；在所述多个视点为7～9个视点的情况下，最好在各行的第一块的瓷砖上配置第1～3视点的该中间图像，在与第1～3视点的该中间图像连接的第一行至第三行的瓷砖上，配置第4～6视点的该中间图像，在与第4～6视点的该中间图像连接的第一行至第三行上所配置的瓷砖上，配置剩余视点的该中间图像；在所述多个视点为10个以上的视点的情况下，最好也同样从第1视点开始，依次在各行的瓷砖上配置该中间图像的一部分或全部。
另外，最好将所述多视点影像作为影像信号接收，该多视点影像是根据将所述多个中间图像在帧内分割配置成了瓷砖状的图像形成的一个影像。
所述发送装置最好向所述立体影像显示装置发送与所述接收装置从所述影像输出装置接收的影像信号为同一标准的影像信号。
根据上述特征，即使通过所述影像转换装置，影像信号的标准也不会变化，因此，影像输出装置相对于本发明的影像转换装置，假如不通过影像转换装置的话，无需对直接发送到立体影像显示装置的影像信号施加任何改变，就可以发送同一标准的影像信号，因此，可以直接沿用现有的影像输出装置及立体影像显示装置。
所述接收装置最好通过电气连接或无线通信从所述影像输出装置接收影像信号；所述发送装置最好通过电气连接或无线通信向所述立体影像显示装置发送影像信号。
根据上述特征，本发明的影像转换装置仅通过电气连接或无线通信的简单设定，就可以实现立体影像显示。
所述接收装置最好将所述多视点影像作为影像信号接收，该多视点影像是根据将形成各视点用影像的图像在帧内分割配置成了瓷砖状的图像形成的一个影像。
所述接收装置最好将所述多视点影像作为影像信号接收，该多视点影像是将非可逆性压缩的影像通过所述影像输出装置解压缩后的影像。
所述接收装置最好将所述多视点影像作为影像信号接收，该多视点影像是，根据将形成各视点用影像(k视点影像)的图像(kFt、t＝1～1)在同一时间一帧一帧地按照视点影像顺序(k＝1～n)排列并进一步在时间方向上排列的图像(F’t’、t’＝1～n·1)，形成的影像。
所述接收装置最好将所述多视点影像作为影像信号接收，该多视点影像是，根据将形成各视点用影像(k视点影像)的图像的同一扫描线图像信息(Si、i＝1～j)按照视点影像顺序(k＝1～n)排列并将该扫描线图像信息的全部都配置在一帧的图像上的图像(S’i’、i＝1～n·j)，形成的影像。
根据上述特征，本发明的影像转换装置可以直接使用现有的影像文件的标准，来实现立体影像显示。
<影像信息识别装置>
所述接收装置最好进一步将通过电气连接或无线通信存储到外部存储装置中的转换控制信息作为控制信号接收；所述转换控制装置最好在该接收装置接收该控制信号时，代替所述预先设定的转换控制信息，根据该外部存储装置中存储的转换控制信息，对将由所述存储装置存储到所述存储元件中的所述多视点影像的像素配置转换成立体影像显示用的像素配置的指示进行控制。
根据上述特征，通过外部存储装置，可以将新的转换控制信息附加到影像转换装置。
所述接收装置最好进一步从所述影像输出装置将平面影像作为影像信号接收，除了该影像信号外，还接收控制信号；所述转换控制装置最好对基于该控制信号的、关于该接收装置从影像输出装置接收的影像是所述多视点影像还是该平面影像又或者是该多视点影像与该平面影像混杂的影像的辨别，进行控制，只有在辨别该影像是该多视点影像还是该多视点影像与该平面影像混杂的影像时，才对向该多视点影像的立体影像显示用的像素配置转换的指示进行控制；所述发送装置最好进一步将该平面影像作为影像信号发送到所述立体影像显示装置。
根据上述特征，可以根据来自影像输出装置的控制信号，将与该多视点影像对应的新的转换控制信息附加到影像转换装置。
所述影像转换装置最好进一步设置有影像信息解析装置；所述接收装置最好代替所述控制信号及所述多视点影像，将根据预先确定的配置模式嵌入有作为影像信息在所述多视点影像的第一帧或全帧的预先确定的位置上定义的多个像素信息的影像作为影像信号接收；该影像信息解析装置最好根据该预先确定的配置模式特定该像素信息的嵌入位置，辨别有无用于核对该影像信息的表头，在有表头时解析该影像信息；所述转换控制装置最好根据该表头的有无，进一步对该影像是多视点影像还是平面影像的辨别进行控制，只有在辨别该影像是否是该多视点影像时，才根据由该影像解析装置解析的该影像信息，对将该多视点影像转换成立体影像显示用的像素配置的指示进行控制；所述发送装置最好将由该转换装置转换了该像素配置的影像或平面影像作为影像信号，发送到所述立体影像显示装置。
根据上述特征，根据嵌入到影像中的影像信息，可以将与该多视点影像对应的新的转换控制信息附加到影像转换装置。
所述接收装置最好将所述多视点影像与平面影像作为一个影像混杂的影像作为影像信号来接收；所述影像信息解析装置最好解析该混杂的影像的全帧的该影像信息，只有在辨别该混杂的影像的帧是否是该多视点影像时，才对向该多视点影像的立体影像显示用的像素配置转换的指示进行控制；所述发送装置最好进一步将该平面影像作为影像信号发送到所述立体影像显示装置。
根据上述特征，本发明的影像转换装置即使在一个影像文件中混杂有多视点影像与平面影像，也可以只转换多视点影像的帧。特别是，虽然以往即使是平面影像的帧也会存在需要准备平铺配置多个相同影像，为平面影像时的分辨率降低的问题，但是，在平面影像上可以使用像普通平面影像那样将一个影像配置在帧整体上的影像，在为平面影像时已经不需要再准备平铺配置多个相同影像了。
所述转换控制装置最好根据由所述影像信息解析装置解析的所述影像信息，控制识别至少所述多视点影像的扫描方式、该多视点影像的分辨率、该多视点影像的视点数、以及所述立体影像显示装置的视点数中的一个，代替所述预先设定的转换控制信息，根据该扫描方式、该多视点影像的分辨率、该多视点影像的视点数以及该立体影像显示装置的视点数，对将该多视点影像转换成立体影像显示用的像素配置的指示进行控制。
根据上述特征，本发明的影像转换装置，使用者无需将嵌入在影像文件中的影像信息另行输入就可以自行识别，然后可以根据该影像信息将多视点影像转换成立体影像显示用的像素配置。
所述接收装置最好将根据预先确定的配置模式嵌入有多个像素矩阵的影像作为影像信号接收，该像素矩阵将作为同一影像信息定义的像素信息在XY方向上连接并多个配置；所述影像信息解析装置最好根据该预先确定的配置模式特定该像素矩阵的嵌入位置，解析该像素矩阵的预先确定的位置上的该影像信息。
根据上述特征，本发明的影像转换装置通过影像信息解析装置解析像素矩阵预先确定的位置上的影像信息，即使从嵌入位置周围的像素受到了影响，也可以解析原本所定义的影像信息。
所述影像信息解析装置最好根据中心位置的像素信息或中心位置周边的多个像素信息的平均值来解析影像信息。
根据上述特征，影像信息解析装置根据从嵌入位置周围的像素特别难以受到影响的中心位置的像素信息或中心位置周边的多个像素信息的平均值来解析影像信息，由此，可以更准确地解析影像信息。
所述接收装置最好将沿所述多视点影像的上端嵌入有所述像素矩阵的影像作为影像信号接收。
根据上述特征，像素矩阵嵌入在使用者看来并不起眼的多视点影像的上端，因此，可以防止由于嵌入像素矩阵所造成的影像品质的降低。
所述接收装置最好将根据预先确定的配置模式嵌入有多个所述像素矩阵的影像作为影像信号接收，在该像素矩阵的外周部分，代替所述像素信息，配置了邻接该像素矩阵的像素与该像素信息之间的中间值的像素，或者对两个像素进行了预先确定的加权并插值的像素。
根据上述特征，可以降低由于嵌入像素矩阵所造成的对影像的影响。
所述接收装置最好将仅有所述像素信息的预先确定的位数的前面的位作为影像信息定义的影像作为影像信号来接收；所述影像信息解析装置最好仅参照该多个像素信息的该预先确定的位数的前面的位来解析影像信息。
根据上述特征，像素信息仅将前面的位作为影像信息来定义，影像信息解析装置仅参照前面的位来解析影像信息，由此，即使像素信息的值发生变化，也不会对解析结果造成影响。
所述接收装置最好从所述立体影像显示装置接收控制信号；所述转换控制装置最好根据该控制信号，控制识别至少该立体影像显示装置的扫描方式、该立体影像显示装置的分辨率、该立体影像显示装置的视点数、以及该立体影像显示装置的像素配置方法中的一个，代替所述预先设定的转换控制信息，而根据该立体影像显示装置的扫描方式、该立体影像显示装置的分辨率、该立体影像显示装置的视点数、以及该立体影像显示装置的转换方法，对将该多视点影像转换成立体影像显示用的像素配置的指示进行控制。
根据上述特征，根据来自立体影像显示装置的控制信号，可以将与该多视点影像对应的新的转换控制信息附加到影像转换装置。
所述像素配置方法最好通过对一个以上的像素的组合进行重复而形成的，由构成一个像素的行数、构成该一个像素的子像素数、在该像素的组合内连接的像素数、以及每个该像素的连接位置摄动子像素数构成。
所述接收装置最好通过在显示器前面留有一定空隙地粘贴了视差屏障的所述立体影像显示装置，其中该视差屏障是根据不可视区域和多个配置成从上到下以一定倾斜度使狭缝或孔连续的狭缝状的透射区域形成的，将构成像素的子像素的尺寸、该透射区域的平均倾斜度、与该狭缝或该孔的水平方向的该透射区域的平均宽度相当的子像素数、与相邻的该狭缝或该孔的中心间的平均距离相当的子像素数、以及显示装置的分辨率，作为控制信号接收；所述转换控制装置最好根据该控制信号，选择转换成可以将多视点影像最有效地实现立体影像显示的像素配置的像素配置转换法，对根据该像素配置转换法转换的指示进行控制。
根据上述特征，仅通过向影像转换装置提供一些与立体影像显示装置有关的信息，就可以实现最佳的像素配置的转换。
所述影像转换装置最好进一步设置有转换控制信息存储装置；所述接收装置最好接收进一步定义了索引信息的所述控制信号，或者，将根据预先确定的配置模式嵌入有进一步定义了索引信息的多个像素信息的影像作为影像信号接收；该转换控制信息存储装置最好在所述转换控制装置根据所述控制信号或所述影像信号指示所述转换装置进行所述多视点影像的像素配置的转换时，将转换指示作为新的转换控制信息，并使其与该索引信息相对应存储；该转换控制装置最好在与该接收装置接收的该控制信号或该影像信号的该索引信息相对应的转换控制信息存储在该转换控制信息存储装置中时，根据该转换控制信息存储装置中存储的转换控制信息，对将该多视点影像的像素配置转换成立体影像显示用的像素配置的指示进行控制。
根据上述特征，通过在控制信号或影像信息中定义索引信息，并且转换控制信息存储装置将转换控制信息与索引信息相对应着存储，转换控制装置在再次使用已用过一次的转换控制信息时，无需再次取得控制信号或影像信息，根据转换控制信息存储装置中存储的转换控制信息，就可以指示转换装置进行影像的转换。
所述接收装置最好进一步通过外部输入装置接收定义了索引信息的输入信号；所述转换控制装置最好代替所述控制信号或所述影像信号，在与该接收装置接收的该输入信号的该索引信息相对应的转换控制信息存储在所述转换控制信息存储装置中时，根据该转换控制信息存储装置中存储的转换控制信息，对将该多视点影像的像素配置转换成立体影像显示用的像素配置的指示进行控制。
本发明的影像输出装置的特征在于，其是由拍摄各视点用影像的多个摄像装置，在将形成该多个摄像装置所拍摄的该各视点用影像的图像在帧内分割配置成了瓷砖状的图像上即时配置并形成一个影像的影像配置装置，以及，对于将构成该一个影像的像素的配置进行转换的所述影像转换装置，将该一个影像作为影像信号向其发送的发送装置构成的。
根据上述特征，可以实时拍摄多视点影像，并即时输出立体影像。
本发明的影像转换系统的特征在于，其设置有，将多视点影像作为影像信号发送的影像输出装置，通过该影像输出装置将该多视点影像作为影像信号接收的接收装置，将由该接收装置接收的影像一帧一帧地存储到存储元件中的存储装置，对将该存储装置中存储的影像的像素配置转换成预先确定的立体影像显示用的像素配置指示进行控制的转换控制装置，根据从该转换控制装置得到的指示即时转换该像素配置的转换装置，将由该转换装置转换了该像素配置的影像作为影像信号发送的发送装置，以及接收由该发送装置发送的影像信号，显示立体影像的显示装置。
根据上述特征，影像转换装置与影像输出装置及立体影像显示装置是不同的装置，因此，可以直接沿用现有的影像输出装置及立体影像显示装置来提供立体影像。
所述影像转换系统最好进一步设置有拍摄各视点用影像的多个拍摄装置，以及，在将形成该多个摄像装置所拍摄的该各视点用影像的图像在帧内分割配置成了瓷砖状的图像上即时配置并形成一个影像，然后发送到所述影像播放装置的影像配置装置；该影像输出装置最好将该影像配置装置转换的影像作为影像信号发送。
所述显示装置最好是在显示器前面留有一定空隙地粘贴了视差屏障的所述立体影像显示装置，其中该视差屏障是根据不可视区域和多个配置成从上到下以一定倾斜度使狭缝或孔连续的狭缝状的透射区域形成的；所述接收装置最好将该透射区域的平均倾斜度、与该狭缝或该孔的水平方向的该透射区域的平均宽度相当的子像素数、与相邻的该狭缝或该孔的中心间的平均距离相当的子像素数、构成像素的子像素的尺寸、以及显示装置的分辨率，作为控制信号接收；所述转换控制装置最好根据该控制信号，选择转换成可以将多视点影像最有效地实现立体影像显示的像素配置的像素配置转换法，对所述转换装置使用该像素配置转换法转换的指示进行控制。
本发明的影像的特征在于，在多视点影像的第一帧或全帧的预先确定的位置上，根据预先确定的配置模式，嵌入有将用于核对影像信息的表头和转换控制信息作为影像信息定义的多个像素信息。
本发明的影像最好将多视点影像与平面影像作为一个影像混杂的影像，最初的影像在该多视点影像中时，在第一帧的预先确定的位置上，在所述影像信息中进一步设置有用于辨别该混杂的影像的辨别信息；最初的影像在该平面影像中时，在第一帧的预先确定的位置上，根据预先确定的配置模式，嵌入有将用于核对影像信息的表头和用于辨别该混杂的影像的辨别信息作为影像信息定义的多个像素信息。
本发明的影像最好超过预先确定的帧数以上，根据同一配置模式嵌入有作为同一影像信息定义的所述像素信息。
本发明的影像的特征在于根据预先确定的配置模式嵌入有多个像素矩阵，该像素矩阵将用于核对影像信息的表头和转换控制信息作为影像信息定义，在XY方向上连续配置了多个同一像素信息。
所述影像最好根据预先确定的配置模式在所述像素矩阵的外周部分嵌入有多个像素矩阵，该像素矩阵，代替所述像素信息，在邻接该像素矩阵的像素信息与定义所述影像信息的像素信息上，配置了具有以预先确定的加权进行了线性插值的像素信息的像素。
所述影像信息最好至少是，用于辨别是否是将所述多视点影像与平面影像作为一个影像混杂的影像的辨别信息、该影像的扫描方式的辨别信息、影像的分辨率、以及所述影像的视点数中的一个。
所述影像最好记录在记录介质中。
本发明的影像转换方法的特征在于，从影像输出装置将多视点影像作为影像信号接收，将接收的该多视点影像一帧一帧地存储到存储元件，指示根据预先设定的转换控制信息，将该存储元件中存储的该多视点影像的像素配置转换成立体影像显示用的像素配置，根据该指示，即时转换该像素配置，将转换了该像素配置的影像作为影像信号发送到立体影像显示装置。
本发明的影像输出方法的特征在于，通过多个摄像装置拍摄各视点用影像，从在由该多个摄像装置拍摄的第1视点至第N视点的多个视点上所拍摄的多个视点图像，通过影像配置装置生成权利要求2所述的多个中间图像，在将该多个中间图像在帧内分割配置成瓷砖状的图像上即时配置形成一个影像，对于将构成该一个影像的像素的配置进行转换的影像转换装置，通过发送装置将该一个影像作为影像信号发送。
本发明通过在硬件设备上实现与影像的立体影像显示装置对应的像素配置转换，可以提供一种廉价且富有实用性的立体影像显示技术。
附图说明
【图1】表示本发明的影像转换装置1的实施方式的一个示例的外观图。
【图2】表示本发明的影像转换装置1的实施方式的一个示例的外观图。
【图3】表示本发明的影像转换装置1的实施方式的一个示例的外观图。
【图4】表示本发明的影像转换装置1的实施方式的一个示例的外观图。
【图5】表示本发明的影像转换装置1的实施方式的一个示例的外观图。
【图6】表示本发明的影像转换装置1的实施方式的一个示例的外观图。
【图7】表示本发明的影像转换装置1的实施方式的一个示例的框图。
【图8】表示本发明的影像转换装置1的实施方式的一个示例的框图。
【图9】表示本发明的影像转换装置1的实施方式的一个示例的框图。
【图10】表示本发明的影像转换装置1的实施方式的一个示例的框图。
【图11】表示本发明的影像转换装置1的实施方式的一个示例的框图。
【图12】表示本发明的影像转换装置1的实施方式的一个示例的框图。
【图13】表示在本发明的影像转换装置1上使用的立体影像显示装置的视差屏障的形状的一个示例。
【图14】表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第一实施例。
【图15】表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第二实施例。
【图16】表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第三实施例。
【图17】表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第四实施例。
【图18】表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第五实施例。
【图19】表示由本发明的影像转换装置1将其作为影像信号来接收的，嵌入有定义了影像信息的像素信息21的多视点影像的第一实施例。
【图20】表示由本发明的影像转换装置1将其作为影像信号来接收的，嵌入有定义了影像信息的像素信息21的多视点影像的第二实施例。
【图21】表示由本发明的影像转换装置1将其作为影像信号来接收的，嵌入有定义了影像信息的像素信息21的多视点影像的第三实施例。
【图22】表示由本发明的影像转换装置1将其作为影像信号来接收的，嵌入有定义了影像信息的像素信息21的多视点影像的第四实施例。
【图23】八色的原始影像文件23的示意图。
【图24】嵌入有7个像素矩阵22的像素嵌入式影像文件24的示意图。
【图25】说明影像信息实际上表示什么样的信息。
【图26】说明影像信息实际上表示什么样的信息。
【图27】表示通过在多视点影像上嵌入常作为影像信息定义的像素信息21来进行平面影像与多视点影像的辨别的方法的流程图。
【图28】表示通过仅在多视点影像开始及结束的瞬间的影像上嵌入作为影像信息定义的像素信息21来进行平面影像与多视点影像的辨别的方法的流程图。
【图29】大致表示中间图像生成装置、立体图像生成装置及立体图像生成系统的结构的框图。
【图30】表示通过中间图像生成装置、立体图像生成系统运行的信息处理的流程图。
【图31】关于中间图像的生成方法的实施方式的说明图。
【图32】关于中间图像的生成方法的实施方式的说明图。
【图33】关于中间图像的生成方法的实施方式的说明图。
【图34】关于中间图像的生成方法的实施方式的说明图。
【图35】关于中间图像生成一览表的说明图。
【图36】表示中间图像的图像帧的配置的示例。
【图37】图像帧的差异的说明图。
【图38】表示由多个中间图像构成的图像帧的示例。
【图39】表示RGB阶梯配置像素单元的配置例。
【图40】表示裸眼立体图像显示装置上的子像素的形状的示例。
附图标记
1  影像转换装置
2  影像输出装置
3  影像显示装置
4  影像数据线
5  控制数据线
6  第一一览表
7  遥控
8  USB存储器
9  第二一览表
10  第三一览表
11  照相机
12  接收部
13  存储部
14  转换控制部
15  转换部
16  影像转换装置的发送部
17  影像信息解析部
18  转换控制信息存储部
19  影像配置部
20  影像输出装置的发送部
21  像素信息
22  像素矩阵
23  原始影像文件
24  像素嵌入影像文件
26  对象物
27  视点图像
28  注视点
29  立体图像
30  RGB阶梯配置像素单元
31  中间图像生成装置
33  中央处理装置
35  存储装置
36  RGB并列配置像素单元
37  中间图像
38  图像帧
41  第一信息处理装置
43  压缩装置
45  发送装置
47  第二信息处理装置
49  解压缩装置
51  接收装置
61  立体图像生成装置
65  立体图像显示装置
具体实施方式
关于本发明的实施方式，说明如下。
<整体概要>
通过外观图及框图，对本发明的影像转换装置1的整体概要进行如下说明。
<外观>
图1是表示本发明的影像转换装置1的实施方式的一个示例的外观图。
如该图所示，第一实施方式的影像转换装置1与一般的影像输出装置2、一般的立体影像显示装置3(显示器)之间通过影像数据线4电气连接使用，从影像输出装置2接收作为影像信号(影像输入信号)发送的多视点影像，然后根据预先设定的转换控制信息(扫描方式、视点数、分辨率、像素配置法等信息。详见后述。)转换成立体影像显示用的像素配置，再将像素配置转换后的影像作为影像信号(影像输出信号)发送到立体影像显示装置3。
这里的将影像转换装置1、影像输出装置2、立体影像显示装置3电气连接的影像数据线4，具体来说，可以使用一直以来广泛使用的，将RGB、VDI、HMVI等标准的影像输出装置2与立体影像显示装置3电气连接并发送影像信号的数据线。
图2是表示本发明的影像转换装置1的实施方式的一个示例的外观图。
另外，如该图所示，影像转换装置1也可以通过与影像输出装置2和立体影像显示装置3中的任意一方或双方由控制数据线5进一步电气连接，接收控制信号。
控制信号，详见后述，是指向影像转换装置1提供扫描方式、分辨率、视点数、显示配置方法等影像以外的转换控制信息的信号。
这里的控制数据线5，具体来说，可以使用一直以来广泛使用的，将i·LINK、串行等标准的影像输出装置2与立体影像显示装置3电气连接的控制数据线5。
但是，为了便于说明，在该图中是将影像数据线4与控制数据线5作为不同的数据线进行说明的，但是也可以将这些数据线束成一根数据线。
图3是表示本发明的影像转换装置1的实施方式的一个示例的外观图。
如该图所示，该实施方式中的影像转换装置1通过未图示出的无线通信装置从影像输出装置2接收作为影像信号(影像输入信号)发送的多视点影像，然后转换成立体影像显示用的像素配置，再将像素配置转换后的影像作为影像信号(影像输出信号)发送到立体影像显示装置3。
这里的无线通信装置，可以使用一直以来广泛使用的无线LAN(无线局域网)、Bluetooth(注册商标)、UWB等标准的无线通信装置。
图4是表示本发明的影像转换装置1的实施方式的一个示例的外观图。
如该图所示，该实施方式中的影像转换装置1预先存储多个转换控制信息作为与索引信息相关联的第一一览表6，通过输入机器，如遥控7，输入索引信息，这样就能输出与所述索引信息对应的转换控制信息。
此外，该图中表示了扫描方式与视点数作为转换控制信息存储，分辨率、像素配置方法等信息自然也可以存储。
另外，转换控制信息除了预先存储在影像转换装置1中的，也可以使用在外部存储介质如USB存储器8中作为与索引信息相关联的第二一览表9存储的转换控制信息。此外，虽然没有图示出，但是不仅从外部存储介质，还可以从网络上下载，从地面波和卫星广播中获取数据。
而且，在影像转换装置1获取预先未存储的转换控制信息时，也可以重新生成附加了所获取的转换控制信息的第三一览表10。这种情况下，从下次开始，仅输入索引信息就能进行转换控制信息的切换了。
图5是表示本发明的影像转换装置1的实施方式的一个示例的外观图。
如该图所示，该实施方式中的影像转换装置1接收由影像输出装置2将多个视点用照相机11实时拍摄的各视点用影像转换成配置成瓷砖状的多视点影像并输出的影像，然后转换成立体影像显示用的像素配置，再将像素配置转换后的影像作为影像信号(影像输出信号)发送到立体影像显示装置3。
图6是表示本发明的影像转换装置1的实施方式的一个示例的外观图。
如该图所示，该实施方式中的影像转换装置1与多个视点用照相机11直接连接，将照相机11实时拍摄的各视点用影像直接作为多视点影像分别接收，然后转换成立体影像显示用的像素配置，再将像素配置转换后的影像作为影像信号(影像输出信号)发送到立体影像显示装置3。
此外，本发明的影像转换装置1和影像输出装置2、立体影像显示装置3总称为影像转换系统。
<框图>
图7是表示本发明的影像转换装置1的实施方式的一个示例的框图。
如该图所示，该实施方式中的影像转换装置1是由：将多视点影像作为影像信号从影像输出装置2接收的接收部12，和将通过该接收部12(接收装置)接收的该多视点影像一帧一帧地存储到存储元件的存储部13(存储装置)，和指示将通过该存储部13存储到该存储元件的该多视点影像的像素配置根据预先设定的转换控制信息转换成立体影像显示用的像素配置，对该指示进行控制的转换控制部14(转换控制装置)，和根据从该转换控制部14得到的指示，即时转换该像素配置的转换部15(转换装置)，以及，将通过该转换部15转换了该像素配置的影像作为影像信号发送到立体影像显示装置3的影像转换装置的发送部16(发送装置)构成的。
图8是表示本发明的影像转换装置1的实施方式的一个示例的框图。
如该图所示，该实施方式中的影像转换装置1在存储部13与转换控制部14之间进一步设置有影像信息解析部17(影像信息解析装置)。
图9是表示本发明的影像转换装置1的实施方式的一个示例的第三框图。
如该图所示，该实施方式中的影像转换装置1中进一步与转换控制部14连接有转换控制信息存储部18(转换控制信息存储装置)。
图10是表示本发明的影像转换装置1的实施方式的一个示例的框图。
如该图所示，该实施方式中的影像转换装置1设置有上述的影像信息解析部17与转换控制信息存储部18。
图11是表示本发明的影像转换装置1的实施方式的一个示例的框图。
如该图所示，该实施方式中的影像转换装置1与设置有多个视点用照相机11(摄像装置)、影像配置部19(影像配置装置)、影像输出装置的发送部20的影像输出装置2相连接。
图12是表示本发明的影像转换装置1的实施方式的一个示例的框图。
如该图所示，该实施方式中的影像转换装置1与多个视点用照相机11相连接。
<影像输出装置>
关于本发明的影像转换装置1接收影像信号(影像输入信号)的影像输出装置2，进行如下说明。
按照本发明的宗旨，影像输出装置2最好直接沿用现有的影像输出技术。即，影像输出装置2最好是现有的通过地面波、卫星广播、来自网络上的流播放或下载来获取影像的机顶盒，或者独立的DVD播放机、Blu-ray(注册商标)播放器等播放机器(也包含具有录像功能的)。
另外，如图5所示，影像输出装置2也可以设置有多个视点用照相机11。这种情况下，就能将照相机11拍摄的多个影像实时转换成通过影像配置部19配置成瓷砖状的多视点影像。
<立体影像显示装置3>
关于本发明的影像转换装置1发送影像信号(影像输出信号)的立体影像显示装置3(显示器)，进行以下说明。
按照本发明的宗旨，立体影像显示装置3无需对现有的立体影像显示装置施加任何改良，最好直接沿用。即，立体影像显示装置3最好是现有的采用视差屏障方式、光栅方式等的液晶显示器、等离子显示器、有机EL显示器等立体影像显示装置。但是，除了上述立体影像显示装置以外，当然也能使用本发明的影像转换装置1。
<视差屏障的具体示例>
此外，立体影像显示装置3具有的视差屏障的狭缝的形状，如图13(a)所示，为斜直线状的狭缝，图13(b)为斜阶梯状的狭缝，(c)为使椭圆弧连接的团状的狭缝，(d)为将灯笼状的孔分别沿斜方向配置的视差屏障，(e)为将平行四边形的孔分别沿斜方向配置的视差屏障，使用哪种都可以。
<本发明中所用的影像>
本发明的影像转换装置1转换的影像如下所述。
<八瓷砖影像>
图14表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第一实施例。该影像是众所周知的，可以通过将多视点影像配置成瓷砖状的瓷砖格式来制作。通常，配置成瓷砖格式后再生成预先确定的动画压缩文件。分辨率是任意的，通常使用非可逆性压缩的动画压缩标准MPG2的情况比较多。虽然未图示出，但是，最好形成与任意的视点数(例如，4～9个视点)对应的瓷砖格式作为多视点影像。
<标准化六瓷砖影像>
图15表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第二实施例。其为本发明推荐的多视点影像的标准化瓷砖格式，为了转换成立体影像显示用的像素配置而只配置有从多视点影像读出的像素。虽然未图示出，但是，最好形成与任意的视点数(例如，4～9个视点)对应的瓷砖格式作为多视点影像。特别是根据将构成一个像素的RGB的3个子像素斜配置成3行3列的像素配置方法，最好以16∶9的纵横比将任意分辨率的图像标准化为水平960像素、垂直360像素后作为各视点的图像，然后再转换成立体影像显示用的像素配置。由此，6个视点的瓷砖影像的分辨率可以为1920×1080，可以作为高清影像来接收瓷砖影像，然后根据转换成画质最无缺损的立体影像并接收的同一影像信号标准来输出。此外，即使不是标准化瓷砖格式，如果如图36所示形成瓷砖格式的话，即使是两个视点以上的任一视点数，各视点的中间图像配置成瓷砖状的图像帧与裸眼立体显示器(立体图像)的分辨率/纵横比也会变成相同的，通过蓝光(Blue Ray)或STB等一般的图像输出装置或图像发布系统，可以接收根据RGB、VDI、HMVI等典型的影像信号标准输出或发送的影像信号，然后根据转换成画质最无缺损的立体影像并接收的同一标准的影像信号来输出。由此，可以在目前的显示器上粘贴视差屏障，或者更换成裸眼立体显示器，并在这些显示器与现在使用的一般的图像输出装置或图像发布系统之间安装影像转换装置1，这样就可以非常廉价地提供一种富有实用性的立体图像显示系统。
<多流影像>
图16表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第三实施例。该影像是众所周知的，可以通过动画压缩标准MPG4的多流来制作。在一个动画文件中可以记录同步的多个动画。将所接收的第1视点至第n视点的图像以预先确定的配置存储到存储装置中，转换成立体影像显示用的像素配置。
<将多视点影像沿时间方向重复分配>
图17表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第四实施例。多视点影像分配在连接各视点的影像的各帧上，沿时间方向重复形成。将所接收的第1视点至第n视点的图像依次存储到存储装置中，转换成立体影像显示用的像素配置。
<将多视点影像在每条扫描线上重复分配>
图18表示由本发明的影像转换装置1将其作为影像信号来接收的多视点影像的第五实施例。多视点影像分配在连接各视点的影像的各扫描线上，沿扫描线方向重复形成。将所接收的图像存储到存储装置中，从形成各视点的图像的扫描线上的像素转换成立体影像显示用的像素配置。
此外，也可以制作一个使上述多视点影像与平面影像混在一起的影像文件。
<影像格式>
图19表示由本发明的影像转换装置1将其作为影像信号来接收的，嵌入有定义了影像信息的像素信息21的多视点影像的第一实施例。
该图(a)表示影像上的像素信息21的嵌入位置。如该图(a)所示，像素信息21嵌入在影像的左上端部。但是，像素信息21的嵌入位置是基于预先定义的配置模式的，因此，虽然没有必要常位于左上端部，但是影像的端部是与立体影像显示装置3的监控帧重叠的部分，使用者看不见，因此，具有即使嵌入像素信息21也不影响对于使用者的立体影像显示的优点。
该图(b)是表示所嵌入的像素信息21的扩大图。如该图(b)所示，像素信息21无间隙地嵌入在一横行中。但是，虽然未图示出，但也可以保持预先确定的间隔嵌入。
图20表示由本发明的影像转换装置1将其作为影像信号来接收的，嵌入有定义了影像信息的像素信息21的多视点影像的第二实施例。
该图(a)表示影像上的像素信息21的嵌入位置。
该图(b)是嵌入像素信息21的部分的扩大图。在第二实施例中，作为同一影像信息定义的像素信息21在XY方向上连续不断，嵌入有多个配置的像素矩阵22。
该图(c)是表示该图(b)的一个像素矩阵22的扩大图。中央的由粗线框所包围的3×3的矩阵是像素矩阵22，配置有9个定义了同一影像信息的像素信息Cm·n。在本发明的影像转换装置1中，从用圆印章表示的像素矩阵22中央的像素信息21解析影像信息。此外，该像素矩阵22中央的像素信息21的位置，适合根据预先定义的配置模式，通过特定像素信息21的XY坐标来特定位置。但是，也可以从像素矩阵22中的多个像素信息21的平均值求出影像信息。
图21表示由本发明的影像转换装置1将其作为影像信号来接收的，嵌入有定义了影像信息的像素信息21的多视点影像的第三实施例。
该图(a)表示影像上的像素信息21的嵌入位置。
该图(b)是嵌入像素信息21的部分的扩大图。
该图(c)表示该图(b)的一个像素矩阵22的扩大图。在第三实施例中，作为影像信息定义的像素信息21配置在像素矩阵22的中央，在像素矩阵22的外周部分，嵌入了邻接像素矩阵22的像素与像素信息21之间的中间值的像素信息21。
图22表示由本发明的影像转换装置1将其作为影像信号来接收的，嵌入有定义了影像信息的像素信息21的多视点影像的第四实施例。
该图(a)表示影像上的像素信息21的嵌入位置。
该图(b)是嵌入像素信息21的部分的扩大图。在第四实施例中，像素矩阵22由2×3构成，与第三实施例的像素矩阵22相比去掉了上面一行的像素信息21，配置在影像的上端部。因为如果像素矩阵22所占面积变小，则对影像的影响也变小，所以该实施例为优选。
该图(c)是表示该图(b)的一个像素矩阵22的扩大图。定义了影像信息的像素信息21配置在像素矩阵22的上面一行的中央部分，在像素矩阵22的外周部分，配置了邻接像素矩阵22的像素与像素信息21之间的中间值的像素，或者对两个像素进行了预先确定的加权并插值的像素。
这里的加权是指，为了更准确地解析像素信息21定义的影像信息，在求出中间值时将像素信息21的值增大到预先确定的数倍。如该图(c)所示，加权是将像素信息21的值增大到了两倍，但是如有必要，也可以是3倍、4倍。此外，在第三实施例中也补充了可以加权这一点。
在将上述第二至第四的实施例的多视点影像进行mpeg2压缩时，关于研究定义了影像信息的像素信息21的RGB值的变化的实验方法，说明如下。
首先，本实验的第一行程就是，准备一个其用作背景的图像全部为黑(Black)、红(R)、绿(G)、蓝(B)、青(C)、品红(M)、黄(Y)、白(White)的八色的原始影像文件23(AVI形式)。图23为原始影像文件23的示意图，该原始影像文件23的RGB值如表1所示。
【表1】
  原始影像文件   R值   G值   B值
  Black   0   0   0
  R   255   0   0
  G   0   255   0
  B   0   0   255
  C   0   255   255
  M   255   0   255
  Y   255   255   0
  White   255   255   255
其次，本实验的第二行程就是，在上述八色的原始影像文件23中嵌入像素矩阵22。在本实施例中，对于第一行程的原始影像文件23的制作与第二行程的像素矩阵22的嵌入，使用的是视频复合工具“Adobe(注册商标)After Effects(注册商标)CS3 Professional”。
在本实验中，在邻接于该影像信息的周围5个方向上，即像素信息21的左、右、下、左下、右下的位置上，配置了与红(R)、绿(G)、蓝(B)、青(C)、品红(M)、黄(Y)、白(White)7种不同颜色的像素信息21相同的像素信息21的，或者，取得所述7种不同颜色的像素信息21与原始影像文件23的RGB值之间的中间值或根据预先确定的比率加权后的值的RGB，并配置了取得所述中间值或加权后的值的RGB的像素的，2×3的像素矩阵，嵌入在八色的原始影像文件23的左上端。像素信息21的值如表2所示。
【表2】
Figure BDA0000090319850000261
Figure BDA0000090319850000271
由此，如图24所示，嵌入了7个像素矩阵22的像素嵌入影像文件24可以分为八色。
此外，像素信息21，像“11011111(223)”、“10011111(159)”、“01011111(95)”、“00011111(31)”这样，前面第3位的值必定为“0”。这是为了在通过mpeg2压缩使值发生了变化时，不影响前面第1位及第2位的值。例如，像素信息21的值为“01111111”的情况下，通过mpeg2压缩，值仅增量1，像素信息整体的值就会变成“10000000(128)”，前面第1位及第2位的值就会发生变化。与此相对的，如果像素信息21的值为“01011111(95)”的话，通过mpeg2压缩，值即使增量1，因为值变成了“01100000(96)”，所以前面第1位及第2位的值不发生变化。
特别是，像素信息21的RGB值最好是允许由mpeg2压缩导致的值的变化的上限值与下限值之间的中间值。即，前面第1位及第2位的值为“10”的情况下，上限值为“10111111(191)”，下限值为“10000000(128)”，通过将这两者的中间值“10011111(159)”设定为初期的RGB值，通过mpeg2压缩即使RGB值不变化，前面第1位及第2值的值也很难发生变化。
但是，像素信息21的值也可以是“11111111(255)”或“00000000(0)”。因为该值为RGB值的上限值(下限值)，所以通过mpeg2压缩，值仅向下方向(上方向)变化，所以前面第3位的值没有必要为“0”。
本实验的第三行程就是对像素嵌入影像文件24进行mpeg2压缩。压缩时使用“TMPGEnc Plus 2.5”。
本实验的第四行程就是，使用“Adobe(注册商标)After Effects(注册商标)CS3 Professional”对压缩后的mpeg2影像文件进行解压缩，测定与压缩前的像素嵌入影像文件24的像素信息21相对应的坐标的像素的RGB值。
表3至表7对本实验的结果进行了说明。
【表3】
【表4】
Figure BDA0000090319850000282
Figure BDA0000090319850000291
表3中，通过使像素信息21的R值、G值、B值分别为“223”或“0”，作为七色的像素信息21，在原始影像文件23中嵌入将具有与各像素信息21相同RGB值的像素配置在像素信息21的周围5个方向上的像素矩阵22，然后进行mpeg2压缩，表示压缩后的mpeg2影像文件的像素信息21的RGB的测定值。
表4表示表3的RGB的测定值中，各像素信息的RGB值的最大值与最小值。
这里的像素信息21还可以仅通过R值定义影像信息(像素信息21的颜色为红)、通过G值与B值定义影像信息(像素信息21的颜色为青)、使用全部的R值、G值、B值定义影像信息(像素信息21的颜色为白)。
例如，该像素信息21将前面第1～2位的值“11”作为影像信息定义。这种情况下，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1～2位的值为“11”的“11000000”～“11111111”之间，即“192”～“255”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
如表3及表4所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，任何一个都是从“192”～“255”之间取值的，因此，影像信息解析部17可以从压缩后的像素信息21中将前面第1～2位作为影像信息来进行解析。
另外，如果像素信息21将前面第1位的值“1”作为影像信息定义的话，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1位的值为“1”的“10000000”～“11111111”之间，即“128”～“255”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
如表3及表4所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，任何一个都是从“128”～“255”之间取值的，因此，影像信息解析部17可以从压缩后的像素信息21中将前面第1位作为影像信息来进行解析。
【表5】
【表6】
表5中，通过使像素信息21的R值、G值、B值分别为“159”或“0”，作为七色的像素信息21，在原始影像文件23中嵌入将具有与各像素信息21相同RGB值的像素配置在像素信息21的周围5个方向上的像素矩阵22，然后进行mpeg2压缩，表示压缩后的mpeg2影像文件的像素信息21的RGB的测定值。
表6表示表5的RGB的测定值中，各像素信息的RGB值的最大值与最小值。
例如，该像素信息21将前面第1～2位的值“10”作为影像信息定义。这种情况下，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1～2位的值为“10”的“10000000”～“10111111”之间，即“128”～“191”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
如表5及表6所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，任何一个都是从“128”～“191”之间取值的，因此，影像信息解析部17可以从压缩后的像素信息21中将前面第1～2位作为影像信息来进行解析。
另外，如果像素信息21将前面第1位的值“1”作为影像信息定义的话，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1位的值为“1”的“10000000”～“11111111”之间，即“128”～“255”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
如表5及表6所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，任何一个都是从“128”～“255”之间取值的，因此，影像信息解析部17可以从压缩后的像素信息21中将前面第1位作为影像信息来进行解析。
【表7】
Figure BDA0000090319850000321
【表8】
Figure BDA0000090319850000322
表7中，通过使像素信息21的R值、G值、B值分别为“95”或“0”，作为七色的像素信息21，在原始影像文件23中嵌入将具有与各像素信息21相同RGB值的像素配置在像素信息21的周围5个方向上的像素矩阵22，然后进行mpeg2压缩，表示压缩后的mpeg2影像文件的像素信息21的RGB的测定值。
表8表示表7的RGB的测定值中，各像素信息的RGB值的最大值与最小值。
例如，该像素信息21将前面第1～2位的值“01”作为影像信息定义。这种情况下，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1～2位的值为“01”的“01000000”～“01111111”之间，即“64”～“127”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
如表7及表8所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，任何一个都是从“64”～“127”之间取值的，因此，影像信息解析部17可以从压缩后的像素信息21中将前面第1～2位作为影像信息来进行解析。
另外，如果像素信息21将前面第1位的值“0”作为影像信息定义的话，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1位的值为“0”的“00000000”～“01111111”之间，即“0”～“127”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
如表7及表8所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，任何一个都是从“0”～“127”之间取值的，因此，影像信息解析部17可以从压缩后的像素信息21中将前面第1位作为影像信息来进行解析。
【表9】
Figure BDA0000090319850000331
Figure BDA0000090319850000341
【表10】
Figure BDA0000090319850000342
表9中，通过使像素信息21的R值、G值、B值分别为“31”或“0”，作为七色的像素信息21，在原始影像文件23中嵌入将具有与各像素信息21相同RGB值的像素配置在像素信息21的周围5个方向上的像素矩阵22，然后进行mpeg2压缩，表示压缩后的mpeg2影像文件的像素信息21的RGB的测定值。
表10表示表9的RGB的测定值中，各像素信息的RGB值的最大值与最小值。
例如，该像素信息21将前面第1～2位的值“00”作为影像信息定义。这种情况下，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1～2位的值为“00”的“00000000”～“00111111”之间，即“0”～“63”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
如表9及表10所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，任何一个都是从“0”～“63”之间取值的，因此，影像信息解析部17可以从压缩后的像素信息21中将前面第1～2位作为影像信息来进行解析。
另外，如果像素信息21将前面第1位的值“0”作为影像信息定义的话，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1位的值为“0”的“00000000”～“01111111”之间，即“0”～“127”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
如表9及表10所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，任何一个都是从“0”～“127”之间取值的，因此，影像信息解析部17可以从压缩后的像素信息21中将前面第1位作为影像信息来进行解析。
【表11】
Figure BDA0000090319850000351
【表12】
Figure BDA0000090319850000362
表11中，通过使像素信息21的R值、G值、B值分别为“255”或“0”，作为七色的像素信息21，各像素信息21的RGB值与原始影像文件23的像素的RGB值以2∶1的比率进行加权后求出RGB值，在原始影像文件23中嵌入将具有该求出的RGB值的像素配置在像素信息21的周围5个方向上的像素矩阵22，然后进行mpeg2压缩，表示压缩后的mpeg2影像文件的像素信息21的RGB的测定值。
表12表示表11的RGB的测定值中，各像素信息的RGB值的最大值与最小值。
例如，该像素信息21将前面第1～2位的值“11”作为影像信息定义。这种情况下，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1～2位的值为“11”的“11000000”～“11111111”之间，即“192”～“255”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
但是，如表11及表12所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，有一部分不是从“192”～“255”之间取值的，因此，只有前面第1位可以作为影像信息定义。
如果像素信息21将前面第1位的值“1”作为影像信息定义的话，即使压缩后的RGB值发生变化，只要变化后的值是从前面第1位的值为“1”的“10000000”～“11111111”之间，即“128”～“255”之间取值，即使是从压缩后的像素信息21中也能读取影像信息。
如表11及表12所示，作为影像信息定义的像素信息21的压缩后的R值、G值以及B值，任何一个都是从“128”～“255”之间取值的，因此，影像信息解析部17可以从压缩后的像素信息21中将前面第1位作为影像信息来进行解析。
表11及表12的实验结果是，将像素信息21的RGB值与原始影像文件23的像素的RGB值以2∶1的比率进行加权后求出RGB值，在像素信息21周围配置具有该求出的RGB值的像素，从而构成像素矩阵22，这一构成是有理由的。即，通过加权，来自原始影像文件23的对于作为影像信息定义的像素信息21的影响变大，mpeg2压缩后的RGB值发生很大变化。但是，嵌入像素矩阵22对原始影像文件23造成的影响相对变小，即具有像素矩阵22变得不显眼的优点，因此，适合想抑制对原始影像文件的影响的情况。与此相对的，由表3～6的实验结果可知，不进行加权的优点变得很明显，即，通过使构成像素矩阵22的像素全部与像素信息21相同，可以防止mpeg2压缩对像素信息21的RGB值造成的影响，嵌入很多信息。
图25、图26说明上述实施例中影像信息实际上表示什么样的信息。如图25所示，代码C0～C23作为判定代码(表头)使用。由于该判定代码的RGB值的组合作为自然界中不太可能有的组合，影像信息解析部17可以识别出，像素信息是作为定义影像信息的信息而被嵌入的。
代码C24～C29用于图25所示的奇偶校验。代码C30～C89，具体如图26所示，表示转换控制信息及像素配置方法。关于转换控制信息及像素配置方法，详见后述。代码C90～C95，如图26所示，用于奇偶校验。
<转换控制信息>
关于本发明的影像转换装置1上使用的转换控制信息，进行详细说明。
转换控制信息是指，用于将影像转换装置1接收的多视点影像发送到立体影像显示装置进行立体显示的必要信息。转换控制信息包括影像转换装置1预先设定并具有的信息、通过前述控制信号输入的信息、通过前述影像信息输入的信息，影像转换装置1为了最佳地实现立体显示，基于这些信息转换成多视点影像的像素配置。
转换控制信息的含义详细来说就是，NTSC和PAL的扫描方式、隔行扫描和逐行扫描的发送方式、视点数、分辨率、像素配置方法等。
<像素配置方法>
像素配置方法的含义详细来说就是，构成一个像素的行数、构成该一个像素的子像素数、在该像素的组合内连接的像素数、以及每个该像素的连接位置摄动子像素数。
<各部件的功能>
关于本发明的影像转换装置1的各部件的功能，进行以下详细说明。
<接收部>
接收部12具有从影像输出装置2接收作为影像信号发送的影像的功能。另外，还具有从影像输出装置2或立体影像显示装置3接收作为控制信号发送的转换控制信息的功能。接收部12如果接收影像的话，则将其发送到存储部13，如果接收转换控制信息的话，则将其发送到转换控制部14。
<存储部>
存储部13具有使接收部12接收的作为影像信号的影像存储到存储元件(帧缓冲区)中的功能。
<影像信息解析部>
影像信息解析部17具有参照存储部13存储到存储元件中的影像，解析影像信息的功能。在影像中嵌入有作为影像信息定义的像素信息21的情况下，也需要影像信息解析部17。
此外，像素信息21通常只嵌入在立体影像中。那是为了节省在已有大量内容存在的平面影像中重新嵌入像素信息21的工夫。但是，在平面影像中嵌入像素信息21当然也是可以的。
影像信息解析部17的最基本用途在于，对用于辨别接收部12接收的作为影像信号的影像是平面影像还是多视点影像(立体影像)的影像信息进行解析。这是因为，在接收部12接收的影像是平面影像的情况下，像素配置的转换等所有立体影像显示用的处理均不进行，需要将平面影像保持原样输出到立体影像显示装置3。
此外，像素信息21的RGB值会如上所述通过非可逆性压缩发生变化，因此，最好仅参照预先确定的位数的前面的位来解析影像信息。
影像信息解析部17根据预先确定的配置模式特定像素信息21的嵌入位置，辨别有无用于核对影像信息的表头，在有表头时解析影像信息。
<转换控制部>
转换控制部14，第一，具有根据预先设定的转换控制信息，指示转换部15将多视点影像转换成立体影像显示用的像素配置(控制指示)的功能。
转换控制部14，第二，具有根据影像信息或控制信号，对接收部12从影像输出装置2接收的影像是所述多视点影像还是该平面影像，又或者是该多视点影像与该平面影像混杂的影像进行辨别(控制辨别)的功能。
转换控制部14，第三，具有根据代替预先设定的转换控制信息的，基于影像信息或控制信号识别的转换控制信息，或者后述的转换控制信息存储部18存储的转换控制信息，指示转换部15将多视点影像转换成立体影像显示用的像素配置的功能。
<转换控制信息存储部>
转换控制信息存储部18的功能是，在转换控制部14根据代替预先设定的转换控制信息的，基于影像信息或控制信号识别的转换控制信息，指示转换部15将多视点影像转换成立体影像显示用的像素配置时，存储该新的转换控制信息。
<转换部>
转换部15具有接收来自转换控制部14的指示，将多视点影像的像素配置转换成立体影像显示用的像素配置的功能。即，具有混合的功能。关于混合方法，详见后述。
<转换控制流程图>
通过本发明的影像转换装置1对混杂着平面影像与多视点影像的一个影像文件进行转换时，如果需要识别影像文件内的平面影像部分与多视点影像部分，在根据影像信息进行平面影像与多视点影像的辨别的情况下有两种方法，即，在多视点影像中常嵌入作为影像信息定义的像素信息21的方法，和仅在多视点影像开始及结束的瞬间的影像中嵌入作为影像信息定义的像素信息21的方法。
图27的流程图表示通过在多视点影像中常嵌入作为影像信息定义的像素信息21，辨别平面影像与多视点影像的方法。
但是，为了防止非可逆性压缩造成的来自时间方向的影响，也可以在多视点影像开始瞬间的帧的前后帧以及多视点影像结束瞬间的帧的前后帧上，分别嵌入作为同一影像信息定义的像素信息21。
如该图所示，接收部12接收影像后，影像信息解析部17根据预先定义的预先确定的像素配置模式，一帧一帧的解析预先确定的位置上有无表头。(1)有表头时，该帧为多视点影像的帧，因为该帧上定义了影像信息，所以影像信息解析部17解析影像信息。(2)没有表头时，该帧为平面影像的帧，因为该帧上没有定义影像信息，所以影像信息解析部17不解析影像信息。上述解析结束后，影像信息解析部17转向下一个帧的解析。
图28的流程图表示通过仅在多视点影像开始及结束的瞬间的影像上嵌入作为影像信息定义的像素信息21，辨别平面影像与多视点影像的方法。
在该图中，影像信息解析部17通过参照多视点影像标识符i3D及前一个影像状态标识符j3D，可以辨别没有嵌入像素信息21的影像的帧是多视点影像的帧还是平面影像的帧。
<关于混合>
混合，即如何将各视点用像素配置到立体影像显示装置3的表面上，是为了抑制视点数及多视点造成的水平分辨率的降低和缓和跳转点，用于形成视差屏障的狭缝的形状、宽度、倾斜度和狭缝间的间隔的重要设计条件。
图29的框图大致表示本发明的中间图像生成装置的结构、立体图像(立体影像)生成装置的结构、以及应用于立体图像生成系统的信息处理装置的结构。
图29(a)的中间图像生成装置31具备中央处理装置33、存储装置35。
存储装置35存储在第1视点至第N视点的多个视点上拍摄及/或描画的多视点图像。关于视点图像的生成，除了使用多台照相机从不同的视点拍摄对象物之外，还可以用电脑图像工具描画。中央处理装置33从存储装置35存储的多视点图像进行多次运算处理，生成中间图像。
图29(b)的立体图像生成装置61具备中央处理装置33、存储装置35。
中央处理装置33使已输入的多个中间图像存储到存储装置35(帧缓冲区)，然后进行像素配置转换，生成立体图像。
图29(c)的立体图像生成系统由第一信息处理装置41、第二信息处理装置47构成，其中，第一信息处理装置41具备中央处理装置33、存储装置35、压缩装置43、发送装置45；而第二信息处理装置47具备中央处理装置33、存储装置35、解压缩装置49、接收装置51。
压缩装置43以预先确定的方式进行多个中间图像的非可逆性压缩。关于压缩方式，在静止图像中通过JPEG来进行，在动图中通过MPEG-2、MPEG-4等代表性的方式来进行。发送装置45将由压缩装置43压缩的多个中间图像发送到第二信息处理装置47。关于发送方式，除了经由USB接口的有线方式发送之外，还可以考虑使用光导通讯、BLUETOOTH(注册商标)、无线LAN等无线方式发送。接收装置51接收由发送装置45发送的多个中间图像。解压缩装置49对由压缩装置43压缩的多个中间图像进行解压缩。
图30(a)是通过图29(a)的中间图像生成装置31运行的信息处理的流程图。
图30(a)中，首先，中间图像生成装置31所具备的中央处理装置33根据使用者的操作(从第1视点至第N视点的多个视点通过照相机对对象物进行拍摄，或者从第1视点至第N视点的多个视点通过电脑图像工具进行描画)，将已输入的多个视点图像存储到中间图像生成装置31具备的存储装置35中(步骤S201)。
其次，中央处理装置33对是否有控制信息输入进行辨别(步骤S202)。控制信息是指NTSC和PAL的扫描方式、隔行扫描和逐行扫描的发送方式、视点数、分辨率、像素配置方法等。控制信息的输入是使用中间图像生成装置31进一步具备的键盘、鼠标等，通过使用者的操作来进行的。由此，格式就会确定。
如果步骤S202的辨别结果是有控制信息输入，那么该中央处理装置33根据控制信息生成立体图像(步骤S203)。这里的立体图像可以是具有可实现向使用者最终展示的立体感的子像素配置的图像，在使用视差屏障等实现裸眼立体感的情况下，最好将RGB阶梯配置像素区块重复配置从而构成立体图像，其中，该RGB阶梯配置像素区块，将沿斜方向在拐角处使子像素相连并排列成3行的RGB阶梯配置像素单元，在水平方向上从第1视点至第N视点连接排列。关于构成RGB阶梯配置像素单元的子像素的代表性配置，可以是例如图39所示。基于控制信息的立体图像的生成就是，例如在预定了立体图像显示的显示器的分辨率为1980×1080的情况下，可以生成适合输出的分辨率的立体图像，即具有1980×1080的分辨率的立体图像。此外，关于步骤S203所进行的立体图像的生成，详见后述。
接着，中央处理装置33从所生成的立体图像生成多个中间图像(步骤S204)。中间图像用于生成立体图像的图像，多个中间图像分别在多个视点的每一个上，集中配置了将构成RGB阶梯配置像素单元的子像素在水平方向上按照R、G、B的顺序并列排列的RGB并列配置像素单元。本发明中，从在多个视点拍摄或描画的多个视点图像中预先生成或设想立体图像，然后根据该立体图像生成中间图像。关于步骤S204所进行的中间图像的生成，也和步骤S203一样详见后述。
接着，中央处理装置33将在步骤S204生成的中间图像存储到存储装置35(步骤S205)。
在步骤S205存储中间图像之后，本处理结束。
处理结束之后，也可以再次返回到步骤S203。例如，在根据同一控制信息重复生成立体图像、中间图像的情况下(视点图像依次输入到中间图像生成装置中的情况下)，不需要每次都输入控制信息，可以预期可用性(usability)的提高。这种情况下，为了使中间图像生成装置31识别连续进行的立体图像、中间图像的生成，也可以通过键盘等的特定动作来进行方式变更，与重复生成立体图像、中间图像的处理相关联。
此外，如图30(b)的图示例所示，在步骤S204中，实际上不生成立体图像也可以设想立体图像来进行以下处理。
图30(c)是通过图29(b)的立体图像生成系统运行的信息处理的流程图。
图30(c)的构成与图30(a)的到步骤S204为止的处理基本相同，关于同一构成要素，将省略重复说明，仅对不同部分进行如下说明。
第一信息处理装置41及第二信息处理装置47是在图29(a)中所用的中间图像生成装置31中进一步分别具备了压缩装置43、发送装置45或者解压缩装置49、发送装置51的信息处理装置。
首先，第一信息处理装置41的中央处理装置33通过压缩装置43对在步骤S204生成的多个中间图像进行压缩(步骤S205)。
其次，将在步骤S205压缩的多个中间图像存储到存储装置35(步骤S206)。
接着，该中央处理装置33将所压缩存储的多个中间图像从发送装置45发送到第二信息处理装置47(步骤S207)。
第二信息处理装置47的中央处理装置33通过接收装置51接收在步骤S207从第一信息处理装置41发送出的多个中间图像(步骤S208)。
接着，该中央处理装置33通过解压缩装置49对所接收的多个中间图像进行解压缩(步骤S209)。
接着，该中央处理装置33从解压缩后的多个中间图像生成最终向使用者输出的立体图像(步骤S210)。步骤S210的立体图像与步骤S203的立体图像是相同的。关于在步骤S210所进行的中间图像的生成，也和步骤S203、步骤S204一样详见后述。
在步骤S210生成立体图像之后，本处理结束。
处理结束之后，也可以将所生成的中间图像输出到立体图像显示装置65。另外，如果从第一信息处理装置41继续发送中间图像的话，也可以将步骤S208至步骤S210的处理连续进行。根据本图示例(c)中的系统，例如在任一地点设置多个照相机进行连续拍摄，可以将中间图像以现有格式在世界范围内发布，使很多使用者同时且实时地视觉认识立体图像，其中该中间图像是将由第一信息处理装置41依次生成的每个视点的图像配置成瓷砖状的。
即，为了实时进行多个中间图像的生成处理，在第一信息处理装置41中配备了高价的显卡和高速的CPU等，如果使用者使用的多个第二信息处理装置47中配备了比较低速的CPU的话，仅通过像素的配置变更就能以现有格式实现至今没有的，发挥了可生成立体图像的多个中间图像的特性的立体图像视听环境。也就是说，不使用高速的特殊电脑，通过构成每个视点的图像的像素数的合计与立体图像的像素数相同的最低限度的必要分辨率，就可以实现可压缩的中间图像的生成，以及，仅通过构成所述中间图像的子像素的配置变更(映射)，就可以生成可实现立体感的立体图像。
参照图31～图34，关于本发明的多个中间图像的生成方法的实施方式，进行以下说明。
图31的示例表示，从多个不同视点用照相机11拍摄某对象物26，生成每个视点的视点图像27。用照相机11从6个视点拍摄注视点28，因此得到6个视点图像27。此外，这个时候的视点图像的分辨率是任意的。另外，照相机11也可以配置为水平排列，每个照相机11的光轴对着注视点28。而且，也可以将每个照相机11水平排列，使各照相机11的光轴并排，任意设定视差，使用并列法实现立体感。
图32的示例表示，从图31所拍摄的多个视点图像27，生成具有用于最终输出到显示器上的子像素配置的立体图像29。图33的示例表示，从子像素的RGB值插值，求出RGB阶梯配置像素单元30的RGB值，其中该子像素是构成配置在对应位置附近的至少一个以上的像素单元的子像素。
参照图33，对图30的步骤S203所进行的立体图像生成，进行以下详细说明。
生成立体图像29时，所述中央处理装置33首先根据进行图30的步骤S202所输入的最终输出的显示器的分辨率，决定立体图像29的子像素配置。关于立体图像的子像素配置，使用例如图39所图示的。本图示例中，在子像素是以1∶3的比率纵长的长方形的情况下，设想立体图像29，该立体图像29所具有的子像素的配置为，可最恰当地实现立体感的3个子像素沿斜方向在拐角处连接并排列成3行1列。
接着，设想与图33的图示例(a)所示的视点数相对应的RGB阶梯配置像素区块。RGB阶梯配置像素区块是指，将沿斜方向在拐角处连接子像素并排列成3行的RGB阶梯配置像素单元，在水平方向上从第1视点至第N视点连接排列的RGB阶梯配置像素区块。图33的图示例(a)中，因为图31中是从6个视点拍摄对象物26，所以是将由18个子像素构成的像素的集合作为RGB阶梯配置像素区块的。
接着，将RGB阶梯配置像素区块重复配置从而构成立体图像29，取得构成RGB阶梯配置像素单元的子像素的各个RGB值。RGB值的取得最好以RGB阶梯配置像素区块内的任一RGB阶梯配置像素单元为基准来进行，从与构成RGB阶梯配置像素单元的子像素的立体图像7上的坐标值相对应的视点图像上的坐标值上所配置的子像素的RGB值取得。如图33(a)图示，立体图像29上的坐标值是，作为子像素坐标系，以立体图像29上的横轴为U、纵轴为V，在本实施例中作为基准的第一视点的最上段上所配置的子像素，可以如图所示表示为(U，V)。
接着，算出从第1视点拍摄的视点图像对应的坐标值。
视点图像上的坐标值是，作为像素坐标系，以横轴为x、纵轴为y，在本实施例中作为基准的第一视点的视点图像上的像素的坐标值，可以如图所示表示为(x，y)。
通常，在立体图像与多个视点图像中，用以分别构成立体图像与视点图像的子像素数不同，另外，立体图像上使用子像素坐标系，而视点图像上使用像素坐标系，因此，需要预先确定的转换式。
于是，如果构成立体图像的子像素的水平方向上的总数为W，垂直方向上的总数为H，而在第一视点上构成视点图像的像素的水平方向上的总数为a，垂直方向上的总数为b的话，则从子像素坐标系向像素坐标系的转换可以通过[式1]求出。
[式1]
[ x = U W &times; a , y = V H &times; b ]
通过用子像素坐标系表示立体图像上的坐标值，可以以一个一个的子像素单位求出RGB值，与以像素单位求出RGB值相比，可以生成更高精细的立体图像。
这时，最好将a及b设定为W∶H＝a∶b。当然，即使变形也想最大限度地表示视点图像的情况例外。
但是，如图33(c)所示，因为在像素坐标系中仅定义了各个像素的中心点，所以，例如(x，y)在图示的位置的话，就不能直接求出立体图像上的子像素的RGB值。因此，从配置在该(x，y)所属的像素附近的像素单元插值求出。
首先，α＝x-x1，β＝x2-x，γ＝y-y1，δ＝y3-y，将视点图像的像素的中心点即P1～4的RGB值分别作为C1～4，则P的RGB值可以通过线性插值用下式表示。
[式2]
C = &gamma; ( &beta;C 1 + &alpha;C 2 &alpha; + &beta; ) + &delta; ( &beta;C 3 + &alpha;C 4 &alpha; + &beta; ) &gamma; + &delta;
这里，求出作为计算对象的立体图像的子像素所表示的R、G、B中的任意一个的RGB值即可。此外，如果α+β＝γ+δ＝1的话，则变成[式3]C＝γ(βC1+αC2)+δ(βC3+αC4)。
其次，构成同一RGB阶梯配置像素单元的其他子像素的RGB值也同样从附近的像素单元插值求出。此外，插值方法有很多，只要是恰当的插值方法，那么使用哪种都可以。
接着，算出构成除了作为基准的第一视点的RGB阶梯配置像素单元以外的RGB阶梯配置像素单元的子像素的RGB值。这种情况下，最好将构成作为基准的RGB阶梯配置像素单元的子像素的坐标值作为基准来计算出数值。即，例如，在生成由使用了视差屏障的6个视点构成的立体图像时，通过图像展示对象者从同一狭缝或孔中窥视到的多个视点的图像需要分别对应着，因此，从与视点图像上的坐标值相同位置上的其他视点图像的像素中算出RGB值，其中，该视点图像上的坐标值是与构成作为基准的RGB阶梯配置像素单元的子像素的坐标值相对应的。多个视点图像与立体图像的对应关系变成了例如图32的图示例所示的关系。
如上所述通过插值计算取得构成立体图像的子像素的RGB值，生成或设想立体图像。设想立体图像的情况下，从多个视点图像不生成立体图像，而是直接生成中间图像(步骤S204)，因此，需要对构成由用于取得RGB值的插值计算得到的立体图像的RGB阶梯配置像素单元的子像素进行排序，从而求出多个中间图像的RGB并列配置像素单元。
这样，通过以构成RGB阶梯配置像素单元的任一子像素为基准求出其他子像素的RGB值，可以显示基于现实的清楚的立体图像。另外，在不选定代表点而是分别求出所有子像素的RGB值的情况下，可以得到视点变化流畅的立体图像。这些最好与展示立体图像的状况、目的配合着来适当变更。
接着，对于步骤S204所进行的中间图像的生成进行详细说明。
图34表示从立体图像生成多个中间图像的示例。
在本图示例中，在多个视点的每一个上，集中配置了将构成图32中所生成的立体图像的RGB阶梯配置像素单元30的子像素沿水平方向按照R、G、B的顺序并列排列的RGB并列配置像素单元36，生成了6个中间图像37。
RGB并列配置像素单元36将从如图所示排列成阶梯状的狭缝或排列成阶梯状的孔中窥视到的子像素集中排列。对于所有的RGB阶梯配置像素单元30进行此配置。此外，从立体图像29生成多个中间图像37，最好使用中间图像生成一览表来进行。
图35是关于中间图像生成一览表的说明图。
图35(a)的一览表表示，立体图像上的子像素表示哪个视点图像或表示R、G、B中的哪个，以及立体图像上的子像素坐标系上的坐标值，例如，最左上角的子像素位于从左上端数第一行的第一列，因此为(1 I 1)。
图35(b)表示，在立体图像上的子像素坐标系中，构成中间图像的子像素是与配置在哪个地点的子像素相对应的。例如，第一视点的最左上角的子像素是与位于立体图像的最左上角的1、(1 I 1)、R的子像素相对应的，而且该子像素变成配置在中间图像上。同样地，第二视点的中间图像的最左上角的子像素是与位于立体图像上的(2C1)的子像素相对应的，而且配置在立体图像上的第二行的第一列的子像素变成配置在中间图像上。此外，在具有该子像素的RGB阶梯配置像素单元中不存在具有B值的子像素，因此，在构成配置在第二视点的最左上角的中间图像的RGB并列配置像素单元中，同样也没有配置具有B值的子像素。
这样，将从第一视点到第六视点的RGB阶梯配置像素单元在水平方向上排序，构成RGB并列配置像素单元，如果位于最左上角的RGB阶梯配置像素区块的配置变更结束了，那么构成相邻的RGB阶梯配置像素区块的子像素的配置也继续如图所示进行变更。
这样，如果将构成立体图像的RGB阶梯配置像素单元的子像素的位置与构成每个视点的中间图像的RGB并列配置像素单元的子像素的位置进行相关联的中间图像生成一览表预先制作好的话，那么只进行构成立体图像的子像素的配置变更，不需要进行用于复杂的插值的运算处理，就可以生成每个视点的中间图像。
此外，该中间图像生成一览表最好存储在中间图像生成装置的存储装置中。由此，在使用中间图像生成装置来进行立体图像生成的情况下，无需再次制作一览表，就可以将该一览表作为立体图像生成一览表来使用。
图36表示在本发明的实施例中，特别符合期望的中间图像的图像帧的配置的示例。在该图像帧38中，每个视点的中间图像37呈瓷砖状配置，例如，第一行的第一列配置第一视点的图像、第二行的第一列配置第二视点的图像、第三行的第一列配置第三视点的图像、第一行的第二列配置第四视点的图像、第二行的第二列配置第五视点的图像、第三行的第二列配置第六视点的图像。
由此，构成立体图像的子像素的总数与中间图像配置成瓷砖状的图像帧上的子像素的总数在纵横方向上都是相同的，不存在多余的像素，而且集中配置每个视点的像素，因此，没有不同视点间的干扰，可以使用非可逆性压缩。像这样将中间图像配置成瓷砖状的图像帧与裸眼立体显示器(立体图像)的分辨率/纵横比是相同的，从这一点来看，可以通过立体图像生成装置(转换器)，将由蓝光(Blue Ray)或STB等一般的影像播放装置或影像发布系统以标准的RGB、VDI、HMVI等标准的影像信号标准来输出或发送的中间图像，简便地生成立体图像。由此，可以在现有显示器上粘贴视差屏障，或者更换成裸眼立体显示器，并在这些显示器与现在使用的一般的图像输出装置或图像发布系统之间安装影像转换装置1，这样就可以非常廉价地提供一种富有实用性的立体图像显示系统。
图37表示将多个视点图像27保持原样配置在瓷砖状的图像帧上的示例，是与所述中间图像的图像帧进行对比的图。
如果最终进行输出的显示器的分辨率为16∶9的话，图37(a)上的一个视点对应的视点图像的纵横比也就变成了16∶9，在图像帧整体上则变成32∶27。
另一方面，如果在瓷砖状的图像帧38上配置了多个中间图像的话(图37(b))，在立体图像上，将构成RGB阶梯配置像素单元的3行子像素在水平方向上排列从而构成RGB并列配置像素单元，因此，垂直方向的总像素数变成1/3。而且，视点数例如为6的话，水平方向的总像素数则变成[式4]
W 6 &times; 3 = W 2 .
如果将立体图像的纵横分别定为H、W，与图36的图示例一样在具有3行×2列的瓷砖的图像帧上配置有中间图像的话，则在纵方向上变成[式5]
1 3 H + 1 3 H + 1 3 H = H ,
在横方向上变成[式6]
1 2 W + 1 2 W = W ,
可以生成具有在纵横方向上与立体图像相同的分辨率的图像帧。如果像以往一样，将多个视点图像保持原样在瓷砖状的图像帧上配置成与立体图像的纵横比及分辨率都相同的话，那么在每个视点的图像的两侧添加附加范围，使纵横比相同，而且在降低各视点的图像的分辨率并配置成瓷砖状时，需要使分辨率相同。这个结果就是，用于生成立体图像的视点图像变成低分辨率，立体图像的画质明显降低。而另一方面，在本发明中，因为从高画质的各视点图像生成有中间图像，所以在立体图像生成上可以完全保证必要的不可欠缺的分辨率。
图38表示由多个中间图像构成的图像帧的示例。表示了分别由2个视点～5个视点、7个视点～11个视点生成立体图像的情况下的图像帧，如果在该帧上将各视点的像素配置成瓷砖状的话，则可以制作纵横比与立体图像相同的图像文件。
即，立体图像由两个视点构成的情况下，在第一行的瓷砖上配置第1视点的中间图像的2/3，在与第二行的第1瓷砖上的第1视点的中间图像的1/3相连接的第2瓷砖上，配置第2视点的中间图像的1/3，在第三行的瓷砖上配置第2视点的该中间图像的2/3。另外，立体图像由3个视点构成的情况下，在各行的瓷砖上配置各视点的中间图像。另外，立体图像由4～6个视点构成的情况下，在各行的第一块的瓷砖上配置第1～3视点的中间图像，在与第1～3视点的中间图像连接的第一行至第三行上所配置的瓷砖上，配置剩余视点的中间图像。立体图像由7～9个视点构成的情况下，在各行的第一块的瓷砖上配置第1～3视点的中间图像，在与第1～3视点的中间图像连接的第一行至第三行的瓷砖上，配置第4～6视点的中间图像，在与第4～6视点的中间图像连接的第一行至第三行上所配置的瓷砖上，配置剩余视点的中间图像。同样地，立体图像由10个以上的视点构成的情况下，也是从第1视点开始，依次在各行的瓷砖上配置中间图像的一部分或全部。
由此，可以生成具有在纵横方向上与立体图像相同的分辨率的图像帧。
图39表示RGB阶梯配置像素单元的配置示例。
图39(a)表示，沿斜方向在拐角处连接构成第1视点至第6视点的视点图像的像素单元的子像素，并将其排列成阶梯状的RGB阶梯配置像素单元的示例，以3行1列由3个子像素构成。在将具有该RGB阶梯配置像素单元的立体图像转换成中间图像的情况下，将构成RGB阶梯配置像素单元的子像素在水平方向上排列，构成RGB并列配置像素单元。然后，关于与该RGB阶梯配置像素单元在拐角处相连并排列成阶梯状的同一视点的RGB阶梯配置像素单元，如图所示，也是在水平方向上排列，构成RGB并列配置像素单元，将所述RGB并列配置像素单元沿斜方向在拐角处连接并排列成阶梯状，构成中间图像。
图39(b)表示以3行2列由6个子像素构成的RGB阶梯配置像素单元的示例。将具有该RGB阶梯配置像素单元的立体图像转换成中间图像的情况下，首先将构成RGB阶梯配置像素单元的第1列子像素的集合在水平方向上排列，构成RGB并列配置像素单元，为了与所述RGB并列配置像素单元进一步在水平方向上连接，排列第2列子像素的集合。然后，关于与该RGB阶梯配置像素单元在拐角处连接并排列成阶梯状的同一视点的RGB阶梯配置像素单元，如图所示，首先将第1列子像素的集合在水平方向上排列，构成RGB并列配置像素单元，为了与所述RGB并列配置像素单元进一步在水平方向上连接，排列第2列子像素的集合。
图39(c)表示以3行3列由9个子像素构成的RGB阶梯配置像素单元的示例。关于将具有该RGB阶梯配置像素单元的立体图像转换成中间图像的情况，同样地，首先将构成RGB阶梯配置像素单元的第1列子像素的集合在水平方向上排列，构成RGB并列配置像素单元，为了与所述RGB并列配置像素单元在水平方向上连接，排列第2列构成RGB阶梯配置像素单元的子像素的集合，为了进一步与第2列的RGB并列配置像素单元在水平方向上连接，排列第3列构成RGB阶梯配置像素单元的子像素的集合。
在图39所示的RGB阶梯配置像素单元的排列示例中，最好如图33所示，在各个子像素上从多个视点图像取得RGB值。由此，可以防止以用像素单位计算并取得RGB值为起因的分辨率的降低(例如，在图39(b)中，相对于图39(a)水平分辨率变成1/2)，可以向使用者提供清晰的立体图像。子像素通常是以1比3的比率纵长的长方形居多，但是子像素的形状也有圆形、ㄑ字型、V字型、使W90度旋转后的形状(参照图51的图示例)等各种形状，根据其形状，会有在3个子像素排成1列的RGB阶梯配置像素单元上难以看到立体的情况出现。那种情况最好是，制作将用于窥视立体图像的视差屏障的狭缝或孔的宽度和其配置间隔扩大了的掩膜，为了随之可以恰当地实现立体显示，生成将3个子像素如(b)所示排列成两列，或如(c)所示排列成3列的RGB阶梯配置像素单元。
接着，关于图30的步骤S210所进行的，从多个视点中的每一个视点的中间图像生成最终输出的立体图像，进行详细说明。
立体图像的生成是通过将构成从BLU-RAY DISC(注册商标)等光盘、服务器或者所述第一信息处理装置发送来的中间图像的RGB并列配置像素单元的子像素的配置，变更为用于立体显示的配置来进行的。即，通过将构成RGB并列配置像素单元的子像素再次排序成阶梯状从而构成RGB阶梯配置像素单元来进行，但是，这种情况最好使用与那些子像素的位置相关联的立体图像生成一览表。图35所示的中间图像生成一览表，将构成RGB并列配置像素单元的子像素的位置与构成RGB阶梯配置像素单元的子像素的位置相关联，因此，可以作为立体图像生成一览表来使用。
按照与中间图像生成一览表中所示的配置规则相反的规则，再次生成RGB阶梯配置像素单元，生成立体图像。
<与选择等相关的参数>
此外，在选择混合方法时，本发明的影像转换装置1参照已设置的视差屏障的种类，例如参照记述了预先制作并分布的视差屏障与混合方法的组合的一览表，选择混合方法。
将视差屏障制造成特定的立体影像显示装置3用的情况下，以立体影像显示装置3的分辨率、像素宽度、及多视点的视点数作为参数，制造视差屏障薄片。
<发送部>
影像转换装置的发送部16具有的功能是，将由转换部15进行了像素配置转换的影像作为影像信号发送到立体影像显示装置3。
如上所述，在本发明的影像转换装置的基础上，可以提供一种廉价且富有实用性的立体影像显示技术。
此外，本发明并不限定于以上说明的各实施方式，可以是权利要求表示的范围内的各种组合，提供适当地组合分别公开于不同实施方式中的技术手段而得到的实施方式也包含在本发明的技术范围内。
产业上应用的可行性
本发明的影像转换装置通过将多视点影像转换成与现有影像输出装置及立体影像显示装置对应的像素配置，能够在该立体影像显示装置上实现最佳的立体显示。

Claims (43)

1.一种影像转换装置，其特征在于，其设置有：
从影像输出装置将多视点影像作为影像信号接收的接收装置，
将由该接收装置接收的该多视点影像一帧一帧地存储到存储元件的存储装置，
对根据预先设定的转换控制信息将由该存储装置存储到该存储元件中的该多视点影像的像素配置转换成立体影像显示用的像素配置的指示进行控制的转换控制装置，
根据从该转换控制装置得到的指示即时转换该像素配置的转换装置，以及
将由该转换装置转换了该像素配置的影像作为影像信号发送到立体影像显示装置的发送装置。
2.根据权利要求1所述的影像转换装置，其特征在于，
所述多视点影像是用于生成立体图像的多个中间图像，其中该立体图像是从在第1视点至第N视点的多个视点上拍摄及/或描画的多个视点图像转换而来的，
RGB阶梯配置像素区块，将沿斜方向在拐角处使子像素相连并排列成3行的RGB阶梯配置像素单元，在水平方向上从该第1视点至第N视点连接并排列，为了将该RGB阶梯配置像素区块重复配置并生成该立体图像，
在与构成该RGB阶梯配置像素单元的子像素的配置位置对应的、该多个视点图像上的对应位置附近，配置了至少一个以上的像素单元，从构成该些像素单元的子像素的RGB值进行插值，求出构成该RGB阶梯配置像素单元的子像素的各个R值、G值、B值，
将构成该RGB阶梯配置像素单元的子像素在水平方向上按照R、G、B的顺序并排的RGB并列配置像素单元，按照在该多个视点的每一个上集中配置的配置规则进行配置，并生成该多个视点的每一个视点的该中间图像，
由此，该立体图像的该RGB阶梯配置像素单元与该多个中间图像的该RGB并列配置像素单元的总数，或者分别构成这两者的子像素的总数，是相同数目。
3.根据权利要求2所述的影像转换装置，其特征在于，
所述RGB阶梯配置像素单元是，各行的子像素为一列，且由具有R值、G值、B值的3个该子像素构成；
所述RGB并列配置像素单元是，在一行上，将该3个子像素按照R、G、B的顺序并排成3列。
4.根据权利要求2所述的影像转换装置，其特征在于，
所述RGB阶梯配置像素单元是，各行的子像素为两列，该两列的每一列都是由具有R值、G值、B值的3个该子像素构成的；
所述RGB并列配置像素单元是，在一行上，将在该RGB阶梯配置像素单元的第一列上配置成3行的3个子像素按照R、G、B的顺序并排成3列，在水平方向上与该排列连接，将在该RGB阶梯配置像素单元的第二列上排列成3行的3个子像素按照R、G、B的顺序并排成3列。
5.根据权利要求2所述的影像转换装置，其特征在于，
所述RGB阶梯配置像素单元是，各行的子像素为3列，该3列的每一列都是由具有R值、G值、B值的3个该子像素构成的，
所述RGB并列配置像素单元是，在一行上，将在该RGB阶梯配置像素单元的第一列上配置成3行的3个子像素按照R、G、B的顺序并排成3列，在水平方向上与该排列连接，将在该RGB阶梯配置像素单元的第二列上排列成3行的3个子像素按照R、G、B的顺序并排成3列，与该排列进一步连接，将在该RGB阶梯配置像素单元的第三列上排列的3个子像素按照R、G、B的顺序并排。
6.根据权利要求2所述的影像转换装置，其特征在于，通过将所述多个中间图像配置成由作为图像帧至少在纵方向上三等分的第一行至第三行构成的多个瓷砖状，
构成所述RGB阶梯配置像素单元的子像素与构成所述RGB并列配置像素单元的子像素，在配置有所述立体图像与该多个中间图像的该图像帧上，纵横方向上都是相同数目。
7.根据权利要求6所述的影像转换装置，其特征在于，
在所述多个视点为两个视点的情况下，在所述第一行的瓷砖上配置第1视点的所述中间图像的2/3，在与所述第二行的第1瓷砖上的第1视点的该中间图像的1/3相连接的第2瓷砖上，配置第2视点的该中间图像的1/3，在所述第三行的瓷砖上配置第2视点的该中间图像的2/3；
在所述多个视点为3个视点的情况下，在各行的瓷砖上配置各视点的中间图像；
在所述多个视点为4～6个视点的情况下，在各行的第一块瓷砖上配置第1～3视点的该中间图像，在与第1～3视点的该中间图像连接的第一行至第三行上所配置的瓷砖上，配置剩余视点的该中间图像；
在所述多个视点为7～9个视点的情况下，在各行的第一块瓷砖上配置第1～3视点的该中间图像，在与第1～3视点的该中间图像连接的第一行至第三行的瓷砖上，配置第4～6视点的该中间图像，在与第4～6视点的该中间图像连接的第一行至第三行上所配置的瓷砖上，配置剩余视点的该中间图像；
在所述多个视点为10个以上的视点的情况下，也同样是从第1视点开始，依次在各行的瓷砖上配置该中间图像的一部分或全部。
8.根据权利要求2所述的影像转换装置，其特征在于，将所述多视点影像作为影像信号接收，该多视点影像是根据将所述多个中间图像在帧内分割配置成了瓷砖状的图像形成的一个影像。
9.根据权利要求1所述的影像转换装置，其特征在于，所述发送装置向所述立体影像显示装置发送与所述接收装置从所述影像输出装置接收的影像信号为同一标准的影像信号。
10.根据权利要求1所述的影像转换装置，其特征在于，
所述接收装置通过电气连接或无线通信从所述影像输出装置接收影像信号；
所述发送装置通过电气连接或无线通信向所述立体影像显示装置发送影像信号。
11.根据权利要求1所述的影像转换装置，其特征在于，所述接收装置将所述多视点影像作为影像信号接收，该多视点影像是根据将形成各视点用影像的图像在帧内分割配置成了瓷砖状的图像形成的一个影像。
12.根据权利要求1所述的影像转换装置，其特征在于，所述接收装置将所述多视点影像作为影像信号接收，该多视点影像是将非可逆性压缩的影像通过所述影像输出装置解压缩后的影像。
13.根据权利要求1所述的影像转换装置，其特征在于，所述接收装置将所述多视点影像作为影像信号接收，该多视点影像是，根据将形成各视点用影像(k视点影像)的图像(kFt、t＝1～1)在同一时间一帧一帧地按照视点影像顺序(k＝1～n)排列并进一步在时间方向上排列的图像(F’t’、t’＝1～n·1)，形成的影像。
14.根据权利要求1所述的影像转换装置，其特征在于，所述接收装置将所述多视点影像作为影像信号接收，该多视点影像是，根据将形成各视点用影像(k视点影像)的图像的同一扫描线图像信息(Si、i＝1～j)按照视点影像顺序(k＝1～n)排列并将该扫描线图像信息的全部都配置在一帧的图像上的图像(S’i’、i＝1～n·j)，形成的影像。
15.根据权利要求1所述的影像转换装置，其特征在于，
所述接收装置进一步将通过电气连接或无线通信存储到外部存储装置中的转换控制信息作为控制信号接收；
所述转换控制装置，在该接收装置接收该控制信号时，代替所述预先设定的转换控制信息，根据该外部存储装置中存储的转换控制信息，对将由所述存储装置存储到所述存储元件中的所述多视点影像的像素配置转换成立体影像显示用的像素配置的指示进行控制。
16.根据权利要求1所述的影像转换装置，其特征在于，
所述接收装置进一步从所述影像输出装置将平面影像作为影像信号接收，除了该影像信号外，还接收控制信号；
所述转换控制装置，对基于该控制信号的、关于该接收装置从影像输出装置接收的影像是所述多视点影像还是该平面影像又或者是该多视点影像与该平面影像混杂的影像的辨别，进行控制，只有在辨别该影像是该多视点影像还是该多视点影像与该平面影像混杂的影像时，才对向该多视点影像的立体影像显示用的像素配置转换的指示进行控制；
所述发送装置进一步将该平面影像作为影像信号发送到所述立体影像显示装置。
17.根据权利要求16所述的影像转换装置，其特征在于，
所述影像转换装置进一步设置有影像信息解析装置；
所述接收装置，代替所述控制信号及所述多视点影像，将根据预先确定的配置模式嵌入有作为影像信息在所述多视点影像的第一帧或全帧的预先确定的位置上定义的多个像素信息的影像作为影像信号接收；
该影像信息解析装置根据该预先确定的配置模式特定该像素信息的嵌入位置，辨别有无用于核对该影像信息的表头，在有表头时解析该影像信息；
所述转换控制装置根据该表头的有无，进一步对该影像是多视点影像还是平面影像的辨别进行控制，只有在辨别该影像是否是该多视点影像时，才根据由该影像解析装置解析的该影像信息，对将该多视点影像转换成立体影像显示用的像素配置的指示进行控制；
所述发送装置将由该转换装置转换了该像素配置的影像或平面影像作为影像信号，发送到所述立体影像显示装置。
18.根据权利要求17所述的影像转换装置，其特征在于，
所述接收装置将所述多视点影像与平面影像作为一个影像混杂的影像作为影像信号来接收；
所述影像信息解析装置解析该混杂的影像的全帧的该影像信息，只有在辨别该混杂的影像的帧是否是该多视点影像时，才对向该多视点影像的立体影像显示用的像素配置转换的指示进行控制；
所述发送装置进一步将该平面影像作为影像信号发送到所述立体影像显示装置。
19.根据权利要求17所述的影像转换装置，其特征在于，
所述转换控制装置根据由所述影像信息解析装置解析的所述影像信息，控制识别至少所述多视点影像的扫描方式、该多视点影像的分辨率、该多视点影像的视点数、以及所述立体影像显示装置的视点数中的一个，
代替所述预先设定的转换控制信息，根据该扫描方式、该多视点影像的分辨率、该多视点影像的视点数、以及该立体影像显示装置的视点数，对将该多视点影像转换成立体影像显示用的像素配置的指示进行控制。
20.根据权利要求17所述的影像转换装置，其特征在于，
所述接收装置将根据预先确定的配置模式嵌入有多个像素矩阵的影像作为影像信号接收，该像素矩阵将作为同一影像信息定义的像素信息在XY方向上连接并多个配置；
所述影像信息解析装置根据该预先确定的配置模式特定该像素矩阵的嵌入位置，解析该像素矩阵的预先确定的位置上的该影像信息。
21.根据权利要求20所述的影像转换装置，其特征在于，所述影像信息解析装置根据中心位置的像素信息或中心位置周边的多个像素信息的平均值来解析影像信息。
22.根据权利要求20所述的影像转换装置，其特征在于，所述接收装置将沿所述多视点影像的上端嵌入有所述像素矩阵的影像作为影像信号接收。
23.根据权利要求20所述的影像转换装置，其特征在于，所述接收装置将根据预先确定的配置模式嵌入有多个所述像素矩阵的影像作为影像信号接收，在该像素矩阵的外周部分，代替所述像素信息，配置了邻接该像素矩阵的像素与该像素信息之间的中间值的像素，或者对两个像素进行了预先确定的加权并插值的像素。
24.根据权利要求17～23中的任意一项所述的影像转换装置，其特征在于，
所述接收装置将仅在所述像素信息的预先确定的位数的前面的位上定义了影像信息的影像作为影像信号来接收；
所述影像信息解析装置仅参照该多个像素信息的该预先确定的位数的前面的位来解析影像信息。
25.根据权利要求1所述的影像转换装置，其特征在于，
所述接收装置从所述立体影像显示装置接收控制信号；
所述转换控制装置根据该控制信号，控制识别至少该立体影像显示装置的扫描方式、该立体影像显示装置的分辨率、该立体影像显示装置的视点数、以及该立体影像显示装置的像素配置方法中的一个，
代替所述预先设定的转换控制信息，根据该立体影像显示装置的扫描方式、该立体影像显示装置的分辨率、该立体影像显示装置的视点数、以及该立体影像显示装置的转换方法，对将该多视点影像转换成立体影像显示用的像素配置的指示进行控制。
26.根据权利要求25所述的影像转换装置，其特征在于，
所述像素配置方法是通过对一个以上的像素的组合进行重复而形成的，
由构成一个像素的行数、构成该一个像素的子像素数、在该像素的组合内连接的像素数、以及每个该像素的连接位置摄动子像素数构成。
27.根据权利要求1所述的影像转换装置，其特征在于，
所述接收装置，通过在监视器前面留有一定空隙地粘贴了视差屏障的所述立体影像显示装置，其中该视差屏障是根据不可视区域和多个配置成从上到下以一定倾斜度使狭缝或孔连续的狭缝状的透射区域形成的，
将构成像素的子像素的尺寸、该透射区域的平均倾斜度、与该狭缝或该孔的水平方向的该透射区域的平均宽度相当的子像素数、与相邻的该狭缝或该孔的中心间的平均距离相当的子像素数、以及显示装置的分辨率，作为控制信号接收；
所述转换控制装置根据该控制信号，选择转换成可以将多视点影像最有效地实现立体影像显示的像素配置的像素配置转换法，对根据该像素配置转换法转换的指示进行控制。
28.根据权利要求15～27中的任意一项所述的影像转换装置，其特征在于，
所述影像转换装置进一步设置有转换控制信息存储装置；
所述接收装置接收进一步定义了索引信息的所述控制信号，或者，
将根据预先确定的配置模式嵌入有进一步定义了索引信息的多个像素信息的影像作为影像信号接收；
该转换控制信息存储装置，在所述转换控制装置根据所述控制信号或所述影像信号指示所述转换装置进行所述多视点影像的像素配置的转换时，将转换指示作为新的转换控制信息，并使其与该索引信息相对应存储；
该转换控制装置，在与该接收装置接收的该控制信号或该影像信号的该索引信息相对应的转换控制信息存储在该转换控制信息存储装置中时，根据该转换控制信息存储装置中存储的转换控制信息，对将该多视点影像的像素配置转换成立体影像显示用的像素配置的指示进行控制。
29.根据权利要求28所述的影像转换装置，其特征在于，
所述接收装置进一步通过外部输入装置接收定义了索引信息的输入信号；
所述转换控制装置，代替所述控制信号或所述影像信号，在与该接收装置接收的该输入信号的该索引信息相对应的转换控制信息存储在所述转换控制信息存储装置中时，根据该转换控制信息存储装置中存储的转换控制信息，对将该多视点影像的像素配置转换成立体影像显示用的像素配置的指示进行控制。
30.一种影像输出装置，其特征在于，其是由
拍摄各视点用影像的多个摄像装置，
在从该多个摄像装置在第1视点至第N视点的多个视点上所拍摄的多个视点图像生成权利要求2所述的多个中间图像，并将该多个中间图像在帧内分割配置成了瓷砖状的图像上，即时配置并形成一个影像的影像配置装置，以及，
对于将构成该一个影像的像素的配置进行转换的所述影像转换装置，将该一个影像作为影像信号向其发送的发送装置构成的。
31.一种影像转换系统，其特征在于，其设置有，
将多视点影像作为影像信号发送的影像输出装置，
通过该影像输出装置将该多视点影像作为影像信号接收的接收装置，
将由该接收装置接收的影像一帧一帧地存储到存储元件中的存储装置，
对将该存储装置中存储的影像的像素配置转换成预先确定的立体影像显示用的像素配置指示进行控制的转换控制装置，
根据从该转换控制装置得到的指示即时转换该像素配置的转换装置，
将由该转换装置转换了该像素配置的影像作为影像信号发送的发送装置，以及
接收由该发送装置发送的影像信号，显示立体影像的显示装置。
32.根据权利要求31所述的影像转换系统，其特征在于，
所述影像转换系统进一步设置有拍摄各视点用影像的多个拍摄装置，以及
在从该多个摄像装置在第1视点至第N视点的多个视点上所拍摄的多个视点图像生成权利要求2所述的多个中间图像，并将该多个中间图像在帧内分割配置成了瓷砖状的图像上，即时配置并形成一个影像，然后发送到所述影像播放装置的影像配置装置；
该影像输出装置将该影像配置装置转换的影像作为影像信号发送。
33.根据权利要求31所述的影像转换系统，其特征在于，
所述显示装置是在显示器前面留有一定空隙地粘贴了视差屏障的所述立体影像显示装置，其中该视差屏障是根据不可视区域和多个配置成从上到下以一定倾斜度使狭缝或孔连续的狭缝状的透射区域形成的；
所述接收装置，将该透射区域的平均倾斜度、与该狭缝或该孔的水平方向的该透射区域的平均宽度相当的子像素数、与相邻的该狭缝或该孔的中心间的平均距离相当的子像素数、构成像素的子像素的尺寸、以及显示装置的分辨率，作为控制信号接收；
所述转换控制装置根据该控制信号，选择转换成可以将多视点影像最有效地实现立体影像显示的像素配置的像素配置转换法，对所述转换装置使用该像素配置转换法转换的指示进行控制。
34.一种影像，其特征在于，在多视点影像的第一帧、或该第一帧及最后一帧、或全帧的预先确定的位置上，根据预先确定的配置模式，嵌入有将用于核对影像信息的表头和转换控制信息作为影像信息定义的多个像素信息。
35.根据权利要求34所述的影像，其特征在于，其是将多视点影像与平面影像作为一个影像混杂的影像，
最初的影像在该多视点影像中时，在第一帧的预先确定的位置上，在所述影像信息中进一步设置有用于辨别该混杂的影像的辨别信息；
最初的影像在该平面影像中时，在第一帧的预先确定的位置上，根据预先确定的配置模式，嵌入有将用于核对影像信息的表头和用于辨别该混杂的影像的辨别信息作为影像信息定义的多个像素信息。
36.根据权利要求34所述的影像，其特征在于，超过预先确定的帧数以上，根据同一配置模式嵌入有作为同一影像信息定义的所述像素信息。
37.一种影像，其特征在于，根据预先确定的配置模式嵌入有多个像素矩阵，该像素矩阵将用于核对影像信息的表头和转换控制信息作为影像信息定义，在XY方向上连续配置了多个同一像素信息。
38.根据权利要求37所述的影像，其特征在于，所述影像根据预先确定的配置模式在所述像素矩阵的外周部分嵌入有多个像素矩阵，该像素矩阵，代替所述像素信息，在邻接该像素矩阵的像素信息与定义所述影像信息的像素信息上，配置了具有以预先确定的加权进行了线性插值的像素信息的像素。
39.根据权利要求34～38中的任意一项所述的影像，其特征在于，嵌入有所述影像信息的所述多视点影像是非可逆性压缩的影像解压缩之后的影像，
在所述像素信息中，仅在该非可逆性压缩前后都不变动的预先确定的位数的前面的位上定义有影像信息。
40.根据权利要求34～39中的任意一项所述的影像，其特征在于，所述影像信息至少是，用于辨别是否是将所述多视点影像与平面影像作为一个影像混杂的影像的辨别信息、该影像的扫描方式的辨别信息、影像的分辨率、以及所述影像的视点数中的一个。
41.一种记录介质，其特征在于，记录了权利要求34～40中的任意一项所述的影像。
42.一种影像转换方法，其特征在于，
从影像输出装置将多视点影像作为影像信号接收，
将接收的该多视点影像一帧一帧地存储到存储元件，
指示根据预先设定的转换控制信息，将该存储元件中存储的该多视点影像的像素配置转换成立体影像显示用的像素配置，
根据该指示，即时转换该像素配置，
将转换了该像素配置的影像作为影像信号发送到立体影像显示装置。
43.一种影像输出方法，其特征在于，
通过多个摄像装置拍摄各视点用影像，
从在由该多个摄像装置拍摄的第1视点至第N视点的多个视点上所拍摄的多个视点图像，通过影像配置装置生成权利要求2所述的多个中间图像，在将该多个中间图像在帧内分割配置成瓷砖状的图像上即时配置形成一个影像，
对于将构成该一个影像的像素的配置进行转换的影像转换装置，通过发送装置将该一个影像作为影像信号发送。
CN2010800112844A 2009-03-12 2010-03-12 影像转换装置、影像输出装置、影像转换系统、影像、记录介质、影像转换方法及影像输出方法 Pending CN102349303A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009060138 2009-03-12
JP2009-060138 2009-03-12
PCT/JP2010/001807 WO2010103860A2 (ja) 2009-03-12 2010-03-12 映像変換装置、映像出力装置、映像変換システム、映像、記録媒体、映像変換方法および映像出力方法

Publications (1)

Publication Number Publication Date
CN102349303A true CN102349303A (zh) 2012-02-08

Family

ID=42728898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800112844A Pending CN102349303A (zh) 2009-03-12 2010-03-12 影像转换装置、影像输出装置、影像转换系统、影像、记录介质、影像转换方法及影像输出方法

Country Status (5)

Country Link
EP (1) EP2448280A2 (zh)
JP (1) JP5707315B2 (zh)
KR (1) KR20110136851A (zh)
CN (1) CN102349303A (zh)
WO (1) WO2010103860A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4712898B1 (ja) * 2010-03-05 2011-06-29 健治 吉田 中間画像生成方法、中間画像ファイル、中間画像生成装置、立体画像生成方法、立体画像生成装置、裸眼立体画像表示装置、立体画像生成システム
JP2012108316A (ja) * 2010-11-17 2012-06-07 Sony Corp 立体表示装置
EP2461238B1 (en) 2010-12-02 2017-06-28 LG Electronics Inc. Image display apparatus including an input device
JP5881959B2 (ja) * 2011-03-07 2016-03-09 グリッドマーク株式会社 中間画像生成方法、中間画像生成装置、立体画像生成方法、立体画像生成装置、立体画像生成システム
TWI420152B (zh) * 2011-04-26 2013-12-21 Unique Instr Co Ltd A Method of Multi - view Three - dimensional Image Display
US9420268B2 (en) * 2011-06-23 2016-08-16 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
JP5367846B2 (ja) * 2011-08-24 2013-12-11 株式会社東芝 画像処理装置、方法およびプログラム、並びに、立体画像表示装置
EP2887653A4 (en) * 2012-08-17 2016-03-30 Nec Corp PORTABLE TERMINAL DEVICE AND PROGRAM
US10616566B2 (en) 2016-07-22 2020-04-07 Korea Institute Of Science And Technology 3D image display system and method
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH104567A (ja) * 1996-06-18 1998-01-06 Sony Corp ３次元立体映像信号変換装置並びに該装置の撮影用のビデオカメラ装置及び光学アダプター装置
JP2000244946A (ja) * 1999-02-24 2000-09-08 Sanyo Electric Co Ltd 立体映像信号変換装置
CN1655012A (zh) * 2004-02-10 2005-08-17 株式会社东芝 三维图象显示装置
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
CN1892808A (zh) * 2005-07-05 2007-01-10 三星Sdi株式会社 立体图像显示设备
CN101233766A (zh) * 2005-08-31 2008-07-30 株式会社东芝 立体图像数据结构、立体图像数据记录方法、再生方法、记录程序以及再生程序
CN101374244A (zh) * 2007-08-21 2009-02-25 株式会社东芝 立体图像显示装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004179806A (ja) 2002-11-26 2004-06-24 Matsushita Electric Ind Co Ltd 立体画像表示装置、およびその製造方法
EP1617370B1 (en) * 2004-07-15 2013-01-23 Samsung Electronics Co., Ltd. Image format transformation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH104567A (ja) * 1996-06-18 1998-01-06 Sony Corp ３次元立体映像信号変換装置並びに該装置の撮影用のビデオカメラ装置及び光学アダプター装置
JP2000244946A (ja) * 1999-02-24 2000-09-08 Sanyo Electric Co Ltd 立体映像信号変換装置
CN1655012A (zh) * 2004-02-10 2005-08-17 株式会社东芝 三维图象显示装置
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
CN1892808A (zh) * 2005-07-05 2007-01-10 三星Sdi株式会社 立体图像显示设备
CN101233766A (zh) * 2005-08-31 2008-07-30 株式会社东芝 立体图像数据结构、立体图像数据记录方法、再生方法、记录程序以及再生程序
CN101374244A (zh) * 2007-08-21 2009-02-25 株式会社东芝 立体图像显示装置

Also Published As

Publication number Publication date
KR20110136851A (ko) 2011-12-21
JPWO2010103860A1 (ja) 2012-09-13
EP2448280A2 (en) 2012-05-02
WO2010103860A2 (ja) 2010-09-16
WO2010103860A3 (ja) 2010-11-18
JP5707315B2 (ja) 2015-04-30

Similar Documents

Publication Publication Date Title
CN102349303A (zh) 影像转换装置、影像输出装置、影像转换系统、影像、记录介质、影像转换方法及影像输出方法
EP1587329B1 (en) Three-dimensional video providing method and three-dimensional video display device
CN102792701A (zh) 中间图像生成方法、中间图像文件、中间图像生成装置、立体图像生成方法、立体图像生成装置、裸眼立体图像显示装置、立体图像生成系统
KR102609776B1 (ko) 포인트 클라우드 데이터 처리 방법 및 장치
CN111837392A (zh) 处理点云
CN104081768B (zh) 异视点图像生成装置以及异视点图像生成方法
CN111630571A (zh) 处理点云
CN101189643A (zh) 3d图像生成和显示系统
CN102638691A (zh) 动画图像解码方法和装置、动画图像编码方法和装置
US11601675B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN102099831A (zh) 通过平滑块伪影改进压缩视频信号的质量的系统和方法
EP3547703A1 (en) Method, apparatus and stream for volumetric video format
CN104737539A (zh) 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置
Monteiro et al. Light field image coding with flexible viewpoint scalability and random access
JP4478992B1 (ja) 映像変換装置、映像出力装置、映像変換システム、映像、記録媒体、映像変換方法
CN113615199A (zh) 处理点云的缺失点
CN104853208A (zh) 一种视频编码方法和装置
JP5881959B2 (ja) 中間画像生成方法、中間画像生成装置、立体画像生成方法、立体画像生成装置、立体画像生成システム
CN113632486A (zh) 处理点云的中间点
RU2767775C1 (ru) Обработка облака точек
US20220109882A1 (en) Processing a point cloud
WO2023198426A1 (en) Dynamic block decimation in v-pcc decoder
KR20240047385A (ko) 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
WO2022073816A1 (en) A method and an apparatus for reconstructing an occupancy map of a point cloud frame
CN113556550A (zh) 显示方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120208