CN102342114A - 三维图像处理装置及其控制方法 - Google Patents

三维图像处理装置及其控制方法 Download PDF

Info

Publication number
CN102342114A
CN102342114A CN2010800099746A CN201080009974A CN102342114A CN 102342114 A CN102342114 A CN 102342114A CN 2010800099746 A CN2010800099746 A CN 2010800099746A CN 201080009974 A CN201080009974 A CN 201080009974A CN 102342114 A CN102342114 A CN 102342114A
Authority
CN
China
Prior art keywords
image
mentioned
picture
view
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800099746A
Other languages
English (en)
Inventor
大喜智明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102342114A publication Critical patent/CN102342114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Abstract

三维图像处理装置及其控制方法。作为本发明的一形态的三维图像处理装置(100)具备通过对主画面图像(110)进行格式变换处理而生成主画面处理图像(150)的主画面图像处理部(102)、通过对副画面图像(111)进行格式变换处理而生成副画面处理图像(151)的副画面图像处理部(103)、和通过将主画面处理图像(150)及副画面处理图像(151)合成而生成合成图像(152)的合成部(104)。此外,主画面图像处理部(102)通过对作为三维图像(112)的一部分的左画面输入图像(112L)进行格式变换处理,生成左画面输出图像(153L),副画面图像处理部(103)通过对作为三维图像(112)的一部分的右画面输入图像(112R)进行格式变换处理,生成右画面输出图像(153R)。

Description

三维图像处理装置及其控制方法
技术领域
本发明涉及三维图像处理装置及其控制方法,特别涉及将第1格式的三维图像变换为第2格式的三维图像的三维图像处理装置。
背景技术
已知有显示三维图像的三维图像显示装置(例如参照专利文献1),该三维图像是视听者立体地感知的二维图像。此外,近年来,正在实现具有显示这样的三维图像的功能的家庭用电视机。
该三维图像显示装置通过显示相互具有视差的右眼用图像和左眼用图像,显示视听者立体地感知的图像。例如,三维图像显示装置将右眼用图像和左眼用图像按照每1帧交替地显示。
专利文献1:日本特开2000-293155号公报
发明概要
发明要解决的问题
但是,在想要在维持与以往的二维图像同等的画质的同时实现三维图像的情况下,因为在三维图像中需要显示右眼用和左眼用的两种图像,所以需要以例如以往的二维图像(例如60fps)的2倍的帧速率(例如120fps)显示图像。
由此,三维图像显示装置需要具备例如能够处理2倍的帧速率的图像的图像处理电路。在想要实现这样的高性能的图像处理电路的情况下,发生成本的增加、以及需要从以往的图像显示装置的大幅的电路变更的问题。
另一方面,在专利文献1中,通过使多个图形处理部并行动作,不具备高性能的图像处理电路而实现高速的图像处理。
但是,在使用多个图像处理电路(图形处理部)的情况下,也通过该图像处理电路的数量增加,发生成本的增加。
发明内容
所以,本发明的目的是提供一种能够在抑制成本的增加的同时生成高画质的三维图像的三维图像处理装置及其控制方法。
用于解决问题的手段
为了达到上述目的,有关本发明的一技术方案的一种三维图像处理装置,具有生成在1个画面内包括第1图像及第2图像的合成图像的2画面处理模式、和将第1格式的第1输入三维图像变换为第2格式的输出三维图像的三维图像处理模式,其特征在于,具备:第1图像处理部,在上述2画面处理模式时,通过对上述第1图像进行第1格式变换处理,生成第1处理图像;第2图像处理部,在上述2画面处理模式时,通过对上述第2图像进行第2格式变换处理,生成第2处理图像;合成部,通过将上述第1处理图像及上述第2处理图像合成,生成上述合成图像;上述第1图像处理部在上述三维图像处理模式时,通过对作为上述第1输入三维图像的一部分的第1输入图像进行第3格式变换处理,生成作为上述输出三维图像的一部分的第1输出图像;上述第2图像处理部在上述三维图像处理模式时,通过对作为上述第1输入三维图像的一部分的第2输入图像进行第4格式变换处理,生成作为上述输出三维图像的一部分的第2输出图像。
根据该结构,在作为有关本发明的一技术方案的三维图像处理装置中,在三维图像处理模式时,第1图像处理部处理作为第1输入三维图像的一部分的第1输入图像,第2图像处理部处理作为第1输入三维图像的一部分的第2输入图像。通过进行这样的并行处理,与用1个图像处理部对输入三维图像进行处理的情况相比,能够使第1图像处理部及副第2图像处理部的处理能力成为约一半。
进而,在作为有关本发明的一技术方案的三维图像处理装置中,在2画面处理模式时,通过将处理第1图像的第1图像处理部和处理第2图像的第2图像处理部在该并行处理中使用,能够抑制对以往的图像处理装置的电路追加。由此,作为有关本发明的一技术方案的三维图像处理装置能够在抑制成本的增加的同时、生成高画质的三维图像。
此外,也可以是,上述第1、第2、第3及第4格式变换处理包括图像尺寸的变更处理、帧速率变换处理、以及从隔行方式向逐行方式的变换处理中的至少一个。
此外,也可以是,上述第3格式变换处理及上述第4格式变换处理包括使帧速率增加的处理。
根据该结构,有关本发明的一技术方案的三维图像处理装置能够生成帧速率较高的高画质的三维图像,并且能够抑制成本的增加。
此外,也可以是,上述第1输入三维图像及上述输出三维图像包括视听者的左眼用的左眼用图像和视听者的右眼用的右眼用图像;上述第3格式变换处理及上述第4格式变换处理还包括变更上述左眼用图像和上述右眼用图像的配置模式的处理。
此外,也可以是,上述第1、第2、第3及第4格式变换处理包括从隔行方式向逐行方式的变换处理。
此外,也可以是,上述三维图像处理装置还具备存储器;上述第1图像处理部具备第1前处理部,该第1前处理部在上述三维图像处理模式时,通过对上述第1输入图像进行包含在上述第3格式变换处理中的、包括将图像尺寸缩小的处理在内的第1前处理而生成第3处理图像,并将该第3处理图像保存到上述存储器中;上述第2图像处理部具备第2前处理部,该第2前处理部在上述三维图像处理模式时,通过对上述第2输入图像进行包含在上述第4格式变换处理中的、包括将图像尺寸缩小的处理在内的第2前处理而生成第4处理图像,并将该第4处理图像保存到上述存储器中;上述第1图像处理部还具备:第1后处理部,在上述三维图像处理模式时,通过对第5处理图像进行包含在上述第3格式变换处理中的、包括将图像尺寸扩大的处理在内的第1后处理,生成上述第1输出图像,其中该第5处理图像包含保存在上述存储器中的上述第3处理图像及上述第4处理图像中的至少一方;以及第2后处理部,在上述三维图像处理模式时,通过对第6处理图像进行包含在上述第4格式变换处理中的、包括将图像尺寸扩大的处理在内的第2后处理,生成上述第2输出图像,其中该第6处理图像包含保存在上述存储器中的上述第3处理图像及上述第4处理图像中的至少一方。
根据该结构,有关本发明的一技术方案的三维图像处理装置例如通过将压缩了图像尺寸后的图像保存到存储器中,能够削减存储器的容量。
此外,也可以是,上述第1后处理及上述第2后处理还包括变更上述左眼用图像和上述右眼用图像的配置模式的处理;上述第1后处理部将上述第5处理图像读出,通过对该第5处理图像进行上述第1后处理,生成上述第1输出图像,其中上述第5处理图像包含了保存于上述存储器中的上述第3处理图像及上述第4处理图像中所包含的多个像素之中的、与上述第1输出图像相对应的多个像素;上述第2后处理部将上述第6处理图像读出,通过对该第6处理图像进行上述第2后处理,生成上述第2输出图像,其中上述第6处理图像包含了保存于上述存储器中的上述第3处理图像及上述第4处理图像中所包含的多个像素之中的、与上述第2输出图像相对应的多个像素。
根据该结构,有关本发明的一技术方案的三维图像处理装置即使在对应于第1输出图像的像素包含在第4处理图像中的情况下,也能够适当地进行左眼用图像与右眼用图像的模式变换。同样,有关本发明的一技术方案的三维图像处理装置即使在对应于第2输出图像的像素包含在第3处理图像中的情况下,也能够适当地进行左眼用图像和右眼用图像的模式变换。
此外,也可以是,上述第1前处理及上述第2前处理包括将扫描方式从隔行方式向逐行方式变换的处理。
此外,也可以是,上述第1、第2、第3及第4格式变换处理包括图像尺寸的变更、及帧速率变换中的至少一个;上述三维图像处理装置还具备:第1IP变换部,在上述2画面处理模式时,通过将第3图像从隔行方式变换为逐行方式,生成上述第1图像;以及第2IP变换部,在上述2画面处理模式时,通过将第4图像从隔行方式变换为逐行方式,生成上述第2图像;上述第1IP变换部在上述三维图像处理模式时,通过将第2输入三维图像从隔行方式变换为逐行方式,生成上述第1输入三维图像。
此外,也可以是,上述第1图像处理部在上述三维图像处理模式时,通过对上述第1输入图像进行上述第1格式变换处理,生成作为上述输出三维图像的左半部分及右半部分中的一方的上述第1输出图像;上述第2图像处理部在上述三维图像处理模式时,通过对上述第2输入图像进行上述第1格式变换处理,生成作为上述输出三维图像的左半部分及右半部分中的另一方的第2输出图像。
此外,也可以是,上述三维图像处理装置还具备输入选择部,该输入选择部在上述三维图像处理模式时,将上述第1输入三维图像分割为上述第1输入图像和上述第2输入图像。
另外,本发明不仅能够作为这样的三维图像处理装置实现,还能够作为以包含在三维图像处理装置中的特征性的单元为步骤的三维图像处理装置的控制方法、或三维图像处理方法实现,或作为使计算机执行这样的特征性的步骤的程序实现。并且,这样的程序当然可以经由CD-ROM等的记录介质及因特网等的传输介质流通。
进而,本发明可以作为实现这样的三维图像处理装置的功能的一部分或全部的半导体集成电路(LSI)实现、或作为具备这样的三维图像处理装置的数字电视机等的三维图像显示装置实现、或作为包括这样的三维图像显示装置的三维图像显示系统实现。
发明效果
根据以上,本发明能够提供一种在抑制成本的增加的同时能够生成高画质的三维图像的三维图像处理装置。
附图说明
图1是表示有关本发明的实施方式1的三维图像显示系统的结构的框图。
图2A是表示有关本发明的实施方式1的三维图像处理装置进行的格式变换处理的一例的图。
图2B是表示有关本发明的实施方式1的三维图像处理装置进行的格式变换处理的一例的图。
图3A是表示有关本发明的实施方式1的三维图像的配置模式的一例的图。
图3B是表示有关本发明的实施方式1的三维图像的配置模式的一例的图。
图4A是表示有关本发明的实施方式1的三维图像的配置模式的一例的图。
图4B是表示有关本发明的实施方式1的三维图像的配置模式的一例的图。
图5A是表示有关本发明的实施方式1的三维图像的配置模式的一例的图。
图5B是表示有关本发明的实施方式1的三维图像的配置模式的一例的图。
图6A是表示有关本发明的实施方式1的三维图像的配置模式的一例的图。
图6B是表示有关本发明的实施方式1的三维图像的配置模式的一例的图。
图7是表示有关本发明的实施方式1的左眼用图像及右眼用图像的一例的图。
图8是表示有关本发明的实施方式1的三维图像处理装置的2画面处理模式时的动作例的图。
图9是表示有关本发明的实施方式1的三维图像处理装置的结构的框图。
图10是表示有关本发明的实施方式1的主画面图像处理部及副画面图像处理部的结构的框图。
图11是表示有关本发明的实施方式1的三维图像处理装置的三维图像处理模式时的动作例的图。
图12是表示有关本发明的实施方式1的三维图像处理装置的三维图像处理模式时的动作例的图。
图13是表示有关本发明的实施方式1的三维图像处理装置的三维图像处理模式时的动作例的图。
图14是表示有关本发明的实施方式1的三维图像处理装置的三维图像处理模式时的动作例的图。
图15是表示有关本发明的实施方式1的三维图像处理装置的三维图像处理模式时的动作例的图。
图16是表示有关本发明的实施方式1的三维图像处理装置的三维图像处理模式时的动作例的图。
图17是表示有关本发明的实施方式2的主画面图像处理部及副画面图像处理部的结构的框图。
图18是表示本发明的实施方式2的三维图像处理装置的三维图像处理模式时的动作例的图。
具体实施方式
以下,参照附图对有关本发明的三维图像处理装置的实施方式详细地说明。
(实施方式1)
有关本发明的实施方式1的三维图像处理装置将三维图像分割为两个图像,将分割后的两个图像用两个图像处理部并行处理。进而,在有关本发明的实施方式1的三维图像处理装置中,当在1画面内显示主画面图像及副画面图像时,将用于该主画面图像的处理的图像处理部、和用于该副画面图像的处理的图像处理部在该并行处理中使用。由此,有关本发明的实施方式1的图像处理装置能够抑制电路追加,所以能够在抑制成本的增加的同时生成高画质的三维图像。
首先,说明包括有关本发明的实施方式1的三维图像处理装置的三维图像显示系统的结构。
图1是表示有关本发明的实施方式1的三维图像显示系统的结构的框图。
图1所示的三维图像显示系统10包括数字电视机20、数字视频录像机30、和闸门(shutter)眼镜43。数字电视机20与数字视频录像机30经由HDMI(High-Definition Multimedia Interface:高清多媒体接口)线缆40连接。
数字视频录像机30对记录在BD(蓝光光盘)等的光盘41中的三维图像的格式进行变换,将变换后的三维图像经由HDMI线缆40向数字电视机20输出。
数字电视机20将由数字视频录像机30输出的三维图像以及包含在广播波42中的三维图像的格式变换后加以显示。例如,广播波42是地面数字电视广播、以及卫星数字电视广播等。
另外,数字视频录像机30也可以将记录在光盘41以外的记录介质(例如硬盘驱动器及非易失性存储器等)中的三维图像的格式变换。此外,数字视频录像机30也可以变换包含在广播波42中的三维图像、或者经由因特网等的通信网取得的三维图像的格式。此外,数字视频录像机30也可以变换由外部的装置输入到外部输入端子(未图示)等中的三维图像的格式。
同样,数字电视机20也可以变换记录在光盘41及其他的记录介质中的三维图像的格式。此外,数字电视机20也可以变换经由因特网等的通信网取得的三维图像的格式。此外,数字电视机20也可以变换由数字视频录像机30以外的外部的装置输入到外部输入端子(未图示)等中的三维图像的格式。
此外,数字电视机20和数字视频录像机30既可以通过HDMI线缆40以外的规格的线缆连接,也可以通过无线通信网连接。
数字视频录像机30具备输入部31、解码器32、三维图像处理装置100B、和HDMI通信部33。
输入部31取得记录在光盘41中的编码三维图像51。
在解码器32中,通过将由输入部31取得的编码三维图像51解码,生成输入三维图像52。
三维图像处理装置100B通过对输入三维图像52的格式进行变换,生成输出三维图像53。
HDMI通信部33将由三维图像处理装置100B生成的输出三维图像53经由HDMI线缆40向数字电视机20输出。
另外,数字视频录像机30既可以将生成的输出三维图像53存储到该数字视频录像机30具备的存储部(硬盘驱动器及非易失性存储器等)中,也可以记录到可相对于该数字视频录像机30拆装的记录介质(光盘等)中。
数字电视机20具备输入部21、解码器22、HDMI通信部23、三维图像处理装置100、左画面驱动部24L、右画面驱动部24R、显示面板26、和发射器27。
输入部21取得包含在广播波42中的编码三维图像55。
在解码器22中,通过将由输入部21取得的编码三维图像55解码,生成输入三维图像56。
HDMI通信部23取得由HDMI通信部33输出的输出三维图像53,作为输入三维图像57进行输出。
三维图像处理装置100通过对输入三维图像56或输入三维图像57的格式进行变换,生成输出三维图像58。这里,输出三维图像58包括左画面图像58L和右画面图像58R。
左画面驱动部24L将左画面图像58L显示在显示面板26的左画面26L上。右画面驱动部24R将右画面图像58R显示在显示面板26的右画面26R上。
发射器27使用无线通信控制闸门眼镜43。
以下,对由三维图像处理装置100进行的格式变换处理进行说明。另外,以下以由三维图像处理装置100进行的、对输入三维图像56的格式变换处理为例进行说明,但由三维图像处理装置100进行的对输入三维图像57的格式变换处理、以及由三维图像处理装置100B进行的对输入三维图像52的格式变换处理也是同样的。
这里,所谓格式,包括各帧(场)中的左眼用图像和右眼用图像的配置模式(pattern)(以下仅记作“配置模式”)、帧速率、扫描方式(逐行及隔行)、和图像尺寸。
即,三维图像处理装置100通过对输入三维图像56的配置模式、帧速率、扫描方式、及图像尺寸中的某1个以上进行变换,生成输出三维图像58。
图2A及图2B是表示三维图像处理装置100的格式变换处理的一例的图。
例如,如图2A所示,输入三维图像56在各场内包括左眼用图像56l和右眼用图像56r。三维图像处理装置100通过对该输入三维图像56的配置模式进行变换,生成交替地配置仅包括左眼用图像58l的帧和仅包括右眼用图像58r的帧的输出三维图像58。
此外,三维图像处理装置100将60i(帧速率为60fps的隔行方式)的输入三维图像56变换为120p(帧速率为120fps的逐行方式)的输出三维图像58。
此外,闸门眼镜43例如是视听者佩戴的液晶闸门眼镜,具备左眼用液晶闸门和右眼用液晶闸门。发射器27按照左眼用图像58l和右眼用图像58r的显示定时,控制左眼用液晶闸门及右眼用液晶闸门的开闭。具体而言,发射器27在显示左眼用图像58l的期间中,将闸门眼镜43的左眼用液晶闸门打开、并且将右眼用液晶闸门关闭。此外,发射器27在显示右眼用图像58r的期间中,将闸门眼镜43的左眼用液晶闸门关闭、并且将右眼用液晶闸门打开。这样,分别有选择地使左眼用图像58l入射到视听者的左眼中、使右眼用图像58r入射到右眼中。
另外,有选择地使左眼用图像58l及右眼用图像58r入射到视听者的左眼及右眼中的方法并不限定于该方法,也可以使用其以外的方法。
例如,如图2B所示,输入三维图像56在各场内包括左眼用图像56l和右眼用图像56r。三维图像处理装置100B将该输入三维图像52配置模式变换为在各帧内左眼用图像58l和右眼用图像58r以棋盘格状配置的输出三维图像58。
在此情况下,通过显示面板26具备形成在左眼用的像素上的左眼用偏光膜、和形成在右眼用的像素上的右眼用偏光膜,对左眼用图像58l和右眼用图像58r施加不同的偏振光(直线偏光或圆偏光等)。此外,通过代替闸门眼镜43而使用具备分别对应于上述偏振光的左眼用及右眼用的偏光过滤器的偏光眼镜,能够使左眼用图像58l及右眼用图像58r入射到视听者的左眼及右眼中。
此外,在此情况下,输出三维图像58的配置模式与上述偏光膜的配置模式一致。
另外,输入三维图像56及输出三维图像58的配置模式只要是以下所示的配置模式的某种就可以。
图3A、图3B、图4A、图4B、图5A、图5B、图6A及图6B是表示三维图像的配置模式的图。
在图3A所示的配置模式中,在1帧内沿垂直方向排列配置左眼用图像60l和右眼用图像60r。以下,将该配置模式称作帧顺序(frame sequential)。
在图3B所示的格式中,在1帧内沿水平方向排列配置左眼用图像60l和右眼用图像60r。以下,将该配置模式称作并排(side by side)。
此外,图3A及图3B所示的例子表示1帧由1920列×1080行的像素构成的、所谓全高清图像的例子,但包含在1帧中的像素也可以是该数以外。例如,也可以是1帧由1270列×720行的像素构成的、所谓高清图像。
此外,在图3A及图3B所示的例子中,在各帧中包括分别在垂直方向或水平方向上被压缩为1/2的左眼用图像60l及右眼用图像60r,但也可以包括没有被压缩的分别为1920列×1080行的左眼用图像60l及右眼用图像60r。此外,既可以用1/2以外的压缩率压缩,也可以在垂直方向及水平方向的两方向上压缩。
此外,三维图像的扫描方式既可以是逐行方式,也可以是交替地配置顶场和底场的隔行方式。
此外,三维图像的帧速率可以是任意的值。
在图4A及图4B所示的配置模式中,左眼用图像60l和右眼用图像60r以棋盘格状配置。以下,将该配置模式称作棋盘格模式。另外,在图4A、图4B、图5A、图5B、图6A及图6B中,为了说明的简单化,仅显示10列×6行的像素,但实际上配置有上述像素数的像素。
此外,图4A及图4B所示的L0及R1等的标记表示左眼用图像60l及右眼用图像60r的像素的水平方向的位置。即,像素L0是左眼用图像60l的第0列的像素,像素R1是右眼用图像60r的第1列的像素。
另外,左眼用图像60l和右眼用图像60r既可以以1像素单位按棋盘格状配置,也可以配置为将多个像素单位、例如2列×2行的像素群作为1单位的棋盘格状。
在图5A及图5B所示的配置模式中,左眼用图像60l和右眼用图像60r配置为纵条纹状。以下,将该配置模式称作垂直交错(interleave)。另外,图5A及图5B所示的L0及R1等的标记表示左眼用图像60l及右眼用图像60r的像素的水平方向的位置。即,像素L0是左眼用图像60l的第0列的像素,像素R1是右眼用图像60r的第1列的像素。
另外,左眼用图像60l和右眼用图像60r既可以按照每1列交替地配置,也可以按照每多列交替地配置。
在图6A及图6B所示的配置模式中,左眼用图像60l和右眼用图像60r以横条纹状配置。以下,将该配置模式称作行顺序(line sequential)。另外,图6A及图6B所示的L0及R1等的表述表示左眼用图像60l及右眼用图像60r的像素的垂直方向的位置。即,像素L0是左眼用图像60l的第0行的像素,像素R1是右眼用图像60r的第1行的像素。
另外,左眼用图像60l和右眼用图像60r既可以按照每1行交替地配置,也可以按照每多行交替地配置。
此外,在上述图2A~图6B所示的各配置模式中,左眼用图像和右眼用图像也可以相反地配置。
图7是表示左眼用图像58l及右眼用图像58r的一例的图。
如图7所示,包含在左眼用图像58l和右眼用图像58r中的对象具有对应于从摄影位置到对象的距离的视差。
另外,在数字视频录像机30具备的三维图像处理装置100B中进行上述格式变换的情况下,例如,三维图像处理装置100B如图2B所示,将输入三维图像52的配置模式变换为预先设定的配置模式(例如棋盘格模式),并变换为120p。在此情况下,数字电视机20具备的三维图像处理装置100仅进行该120p的输入三维图像57的配置模式的变换(例如,变换为将左眼用图像58l和右眼用图像58r交替地配置)。
另外,也可以是,三维图像处理装置100B进行图2A所示的格式变换,三维图像处理装置100不进行格式变换。此外,也可以是,三维图像处理装置100B进行配置模式、帧速率、扫描方式、及图像尺寸的变换中的一部分,三维图像处理装置100进行该一部分以外的变换。此外,三维图像处理装置100和三维图像处理装置100B的处理的一部分也可以重复。
以下,对三维图像处理装置100详细地说明。
三维图像处理装置100具有生成在1画面内包括两个作为二维图像的主画面图像(相当于本发明的第1图像)及副画面图像(相当于本发明的第2图像)的合成图像的2画面处理模式、和如上述那样将第1格式的输入三维图像56或57变换为第2格式的输出三维图像58的三维图像处理模式。
首先,说明2画面处理模式时的三维图像处理装置100进行的动作的概略。
图8是表示三维图像处理装置100进行的2画面处理模式时的动作例的图。
如图8所示,在2画面处理模式时,三维图像处理装置100生成在主画面上重叠配置缩小了的副画面的合成图像。另外,2画面处理模式时的动作的详细情况在后面叙述。
接着,说明三维图像处理装置100的结构。
图9是表示三维图像处理装置100的结构的框图。
如图9所示,三维图像处理装置100具备输入选择部101、主画面图像处理部102、副画面图像处理部103、合成部104、和输出部105。
输入选择部101在2画面处理模式时将主画面图像110向主画面图像处理部102输出,将副画面图像111向副画面图像处理部103输出。
此外,输入选择部101在三维图像处理模式时,将三维图像112分割为左画面输入图像112L(相当于本发明的第1输入图像)和右画面输入图像112R(相当于本发明的第2输入图像),将左画面输入图像112L向主画面图像处理部102输出,将右画面输入图像112R向副画面图像处理部103输出。
另外,也可以是,输入选择部101在三维图像处理模式时,将三维图像112向主画面图像处理部102及副画面图像处理部103分别输出,主画面图像处理部102从三维图像112提取左画面输入图像112L,副画面图像处理部103从三维图像112提取右画面输入图像112R。
这里,主画面图像110及副画面图像111是分别不同的二维图像。例如,主画面图像110及副画面图像111是包含在广播波42中的第1频道的图像、包含在广播波42中的第2频道的图像、和通过HDMI通信部23取得的图像中的两个图像。
此外,三维图像112是上述输入三维图像56或57。此外,例如左画面输入图像112L是三维图像112的左半部分的图像,右画面输入图像112R是三维图像112的右半部分的图像。
主画面图像处理部102(相当于本发明的第1图像处理部)在2画面处理模式时,通过对由输入选择部101输出的主画面图像110进行格式变换,生成主画面处理图像150(相当于本发明的第1处理图像)。此外,主画面图像处理部102在三维图像处理模式时,通过对由输入选择部101输出的左画面输入图像112L进行格式变换,生成左画面输出图像153L(相当于本发明的第1输出图像)。
副画面图像处理部103(相当于本发明的第2图像处理部)在2画面处理模式时,通过对由输入选择部101输出的副画面图像111进行格式变换,生成副画面处理图像151(相当于本发明的第2处理图像)。此外,副画面图像处理部103在三维图像处理模式时,通过对由输入选择部101输出的右画面输入图像112R进行格式变换,生成右画面输出图像153R(相当于本发明的第2输出图像)。
合成部104通过将由主画面图像处理部102生成的主画面处理图像150、与由副画面图像处理部103生成的副画面处理图像151合成,生成合成图像152。
输出部105在2画面处理模式时,将由合成部104生成的合成图像152分割为左画面图像58L和右画面图像58R。此外,输出部105将分割后的左画面图像58L向左画面驱动部24L输出,将分割后的右画面图像58R向右画面驱动部24R输出。
此外,输出部105在三维图像处理模式时,将由主画面图像处理部102生成的左画面输出图像153L作为左画面图像58L向左画面驱动部24L输出,将由副画面图像处理部103生成的右画面输出图像153R作为右画面图像58R向右画面驱动部24R输出。
以下,说明主画面图像处理部102及副画面图像处理部103的详细的结构。
图10是表示主画面图像处理部102及副画面图像处理部103的结构的框图。
如图10所示,主画面图像处理部102具备主画面前处理部120和主画面后处理部121。此外,三维图像处理装置100还具备存储器140和存储器控制器141。
主画面前处理部120(相当于本发明的第1前处理部)通过将主画面图像110或左画面输入图像112L的图像尺寸缩小、并变换扫描方式,生成左画面处理图像160L(相当于本发明的第3处理图像)。该主画面前处理部120具备水平缩小部122、IP变换部123、和垂直缩小部124。
水平缩小部122将主画面图像110或左画面输入图像112L的水平方向的图像尺寸缩小而输出。
IP变换部123将由水平缩小部122输出的图像的扫描方式从隔行方式变换为逐行方式(以下记作“IP变换”)并输出。这里,所谓IP变换,是对隔行方式的图像中的不存在的行的像素进行插补的处理。例如,在IP变换中,使用同一场的周边的像素、或者在时间上最近或紧接着的后面的场判断信号不同的场的相同或周边的像素,对不存在的行的像素进行插补。此外,使用哪个像素进行插补根据图像的运动来决定。此外,所谓场判断信号,是表示该场是顶场还是底场的信号。
垂直缩小部124通过将由IP变换部123输出的图像的垂直方向的图像尺寸缩小而生成左画面处理图像160L并输出。
此外,作为图像尺寸的缩小方法,可以使用将像素间隔剔除的方法、或者计算多个像素的平均值的方法等。
另外,图10所示的水平缩小部122、IP变换部123、及垂直缩小部124的处理的顺序是一例,各处理部的处理可以以任意的顺序进行。
存储器控制器141进行向存储器149的数据的写入及读出。
此外,主画面前处理部120将生成的左画面处理图像160L经由存储器控制器141保存到存储器140中。
主画面后处理部121(相当于本发明的第1后处理部)经由存储器控制器141将包含保存在存储器140中的左画面处理图像160L及右画面处理图像160R的至少其一在内的左画面处理图像161L(相当于本发明的第5处理图像)读出。具体而言,左画面处理图像161L包括在保存于存储器140中的左画面处理图像160L及右画面处理图像160R中包含的像素之中的、与显示面板26的左画面26L对应的像素。
此外,主画面后处理部121通过将左画面处理图像161L的图像尺寸扩大、并变换配置模式及帧速率,生成主画面处理图像150或左画面输出图像153L。该主画面后处理部121具备模式变换部125、垂直扩大部126、和水平扩大部127。
模式变换部125将左画面处理图像161L的配置模式及帧速率变换并输出。另外,模式变换部125也可以在将左画面处理图像161L读出后变换配置模式及帧速率,也可以通过在将左画面处理图像161L读出时以配置顺序将像素读出、从而与读出同时地进行模式变换及帧速率变换。
垂直扩大部126将由模式变换部125输出的图像的垂直方向的图像尺寸扩大并输出。
水平扩大部127将由垂直扩大部126输出的图像的水平方向的图像尺寸扩大并输出。
此外,作为图像尺寸的扩大方法,可以使用单纯拷贝像素的方法、或者对不存在的像素进行插补的方法等。
另外,图10所示的模式变换部125、垂直扩大部126、及水平扩大部127的处理的顺序是一例,各处理部的处理可以以任意的顺序进行。
接着,说明副画面图像处理部103的结构。另外,副画面图像处理部103的结构与主画面图像处理部102是同样的。
具体而言,如图10所示,副画面图像处理部103具备副画面前处理部130和副画面后处理部131。
副画面前处理部130(相当于本发明的第2前处理部)通过将副画面图像111或右画面输入图像112R的图像尺寸缩小、并进行IP变换,生成右画面处理图像160R(相当于本发明的第4处理图像)。该副画面前处理部130具备水平缩小部132、IP变换部133、和垂直缩小部134。
水平缩小部132将副画面图像111或右画面输入图像112R的水平方向的图像尺寸缩小并输出。
IP变换部133将由水平缩小部132输出的图像进行IP变换并输出。
垂直缩小部134通过将由IP变换部133输出的图像的垂直方向的图像尺寸缩小而生成右画面处理图像160R并输出。
另外,图10所示的水平缩小部132、IP变换部133、及垂直缩小部134的处理的顺序是一例,各处理部的处理可以以任意的顺序进行。
此外,副画面前处理部130将所生成的右画面处理图像160R经由存储器控制器141保存到存储器140中。
副画面后处理部131(相当于本发明的第2后处理部)经由存储器控制器141将包括保存在存储器140中的左画面处理图像160L及右画面处理图像160R的至少其一在内的右画面处理图像161R(相当于本发明的第6处理图像)读出。具体而言,右画面处理图像161R包括在保存于存储器140中的左画面处理图像160L及右画面处理图像160R中包含的像素之中的、与右画面输出图像153R(显示面板26的右画面26R)对应的像素。
此外,副画面后处理部131通过将右画面处理图像160R的图像尺寸扩大并变换配置模式及帧速率,生成副画面处理图像151或右画面输出图像153R。该副画面后处理部131具备模式变换部135、垂直扩大部136、和水平扩大部137。
模式变换部135将右画面处理图像161R的配置模式及帧速率变换并输出。另外,模式变换部135既可以在将右画面处理图像161R读出后变换配置模式及帧速率,也可以通过在将右画面处理图像161R读出时以配置顺序将像素读出、从而与读出同时地进行模式变换及帧速率变换。
垂直扩大部136将由模式变换部135输出的图像的垂直方向的图像尺寸扩大并输出。
水平扩大部137将由垂直扩大部136输出的图像的水平方向的图像尺寸扩大并输出。
另外,图10所示的模式变换部135、垂直扩大部136、及水平扩大部137的处理的顺序是一例,各处理部的处理可以以任意的顺序进行。
以下,说明如上述那样构成的三维图像处理装置100的动作例。
首先,说明2画面处理模式时的三维图像处理装置100的动作例。
这里,如图8所示,假设主画面图像110及副画面图像111是480i、并且帧速率是60fps。
首先,输入选择部101将主画面图像110向主画面图像处理部102输出,将副画面图像111向副画面图像处理部103输出。
接着,主画面图像处理部102通过将主画面图像110进行IP变换、并将图像尺寸从高清扩大为全高清,生成1080p且60fps的主画面处理图像150。
具体而言,IP变换部123通过将主画面图像110进行IP变换而生成720p且60fps的变换图像。接着,垂直扩大部126及水平扩大部127通过将该变换图像扩大而生成1080p且60fps的主画面处理图像150。
另一方面,副画面图像处理部103通过将副画面图像111的扫描方式从隔行方式变换为逐行方式并将图像尺寸缩小,生成例如400p且60fps的副画面处理图像151。
具体而言,通过水平缩小部132将副画面图像111的水平方向的图像尺寸缩小、IP变换部133将缩小后的图像的扫描方式从隔行方式变换为逐行方式,生成720p且60fps的变换图像。接着,垂直缩小部134通过将该变换图像的垂直方向的图像尺寸缩小,生成400p且60fps的副画面处理图像151。
接着,合成部104通过将由主画面图像处理部102生成的主画面处理图像150与由副画面图像处理部103生成的副画面处理图像151合成,生成1080p且60fps的合成图像152。
接着,输出部105将由合成部104生成的合成图像152分割为左画面图像58L和右画面图像58R。此外,输出部105将分割后的左画面图像58L向左画面驱动部24L输出,将分割后的右画面图像58R向右画面驱动部24R输出。
通过以上,三维图像处理装置100能够生成在主画面上叠加显示缩小了的副画面的合成图像。
另外,在输入的主画面图像110的图像尺寸比能够由显示面板26显示的图像尺寸(以下称作显示图像尺寸)大的情况下,在主画面图像处理部102中进行图像尺寸的缩小处理。
此外,这里叙述了生成在主画面上叠加副画面的合成图像的例子,但也可以将1个画面分割为两个子画面、生成在各子画面上分别配置了主画面和副画面的合成图像。
在此情况下,在主画面图像110比上述子画面的尺寸大的情况下,主画面图像处理部102进行图像尺寸的缩小处理。另外,三维图像处理装置100在2画面处理模式时,也可以取代生成在主画面上叠加副画面的合成图像、而生成在分割后的子画面上配置主画面和副画面的合成图像,也可以具有生成在主画面上叠加副画面的合成图像的模式、和生成在分割的子画面上配置主画面和副画面的合成图像的模式。
此外,也可以是,主画面图像110的图像尺寸与显示面板26的显示图像尺寸无关,主画面前处理部120先将主画面图像110的图像尺寸缩小后,主画面后处理部121将图像尺寸扩大,以使缩小的图像尺寸恢复为原来的图像尺寸。例如,也可以是,在主画面图像110的图像尺寸与显示面板26的显示图像尺寸一致的情况下(不需要图像尺寸的缩小及扩大的情况下),主画面前处理部120将主画面图像110的图像尺寸在垂直方向上缩小为1/2,主画面后处理部121将缩小的图像尺寸在垂直方向上扩大为2倍。
由此,能够削减保存在存储器140中的数据量,所以能够削减存储器140的容量。进而,能够减少IP变换部123及模式变换部125等的处理量。
另外,在副画面图像处理部103中,也与主画面图像处理部102同样,也可以是,副画面图像111的图像尺寸与显示面板26的显示图像尺寸无关,副画面前处理部130先将副画面图像111的图像尺寸缩小后,副画面后处理部131将图像尺寸扩大,以将缩小的图像尺寸恢复为原来的图像尺寸。
此外,主画面图像处理部102及副画面图像处理部103也可以进行使帧速率增加或减小的处理。
另外,三维图像处理装置100除了2画面处理模式和三维图像处理模式以外,还具有仅将通常的1个图像显示在1画面上的通常模式。在该通常模式时,在主画面图像处理部102中,进行该1个图像的格式变换。
接着,说明三维图像处理模式时的三维图像处理装置100的动作例。
图11~图16是表示三维图像处理装置100的三维图像处理模式时的动作例的图。
这里,在图11所示的例子中,三维图像112是全尺寸的1080i的帧顺序且60fps的图像。即,三维图像112在1个场中包括1080i(1920列×540行)的左眼用图像60l、和1080i(1920列×540行)的右眼用图像60r。
即,三维图像112的点时钟(dot clock)是148.5MHz。这里,所谓点时钟,是大致用图像尺寸(行数×列数)与帧速率的乘积表示的值。即,点时钟越高,意味着在1像素的处理中能够使用的时间越短,换言之,是指每单位时间应处理的数据量越多。
此外,在显示面板26上,显示交替地配置左眼用图像60l和右眼用图像60r的1080p且120fps的图像。
在此情况下,首先,输入选择部101将三维图像112分割为左画面输入图像112L和右画面输入图像112R,将左画面输入图像112L向主画面图像处理部102输出,将右画面输入图像112R向副画面图像处理部103输出。
这里,左画面输入图像112L及右画面输入图像112R是三维图像112的一半的图像尺寸。由此,左画面输入图像112L及右画面输入图像112R的点时钟是三维图像112的点时钟的一半的74.25MHz。
具体而言,左画面输入图像112L在1个场中包括1080i/2(960列×540行)的左眼用图像60l、和1080i/2(960列×540行)的右眼用图像60r。此外,右画面输入图像112R在1个场中包括1080i/2(960列×540行)的左眼用图像60l、和1080i/2(960列×540行)的右眼用图像60r。
即,左画面输入图像112L及右画面输入图像112R的图像尺寸分别为960列×1080行。
接着,主画面前处理部120通过将左画面输入图像112L进行I/P变换,生成1080p且60fps的左画面处理图像160L。通过该I/P变换,垂直方向的图像尺寸成为2倍。由此,左画面处理图像160L的点时钟是左画面输入图像112L的2倍的148.5MHz。
具体而言,左画面处理图像160L在1帧中包括1080p/2(960列×1080行)的左眼用图像60l、和1080p/2(960列×1080行)的右眼用图像60r。由此,左画面处理图像160L的图像尺寸为960列×2160L行。
接着,主画面前处理部120经由存储器控制器141将左画面处理图像160L保存到存储器140中。
接着,主画面后处理部121经由存储器控制器141将左画面处理图像160L读出。此时,主画面后处理部121通过进行左画面处理图像160L的模式变换及倍速化,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的左画面输出图像153L。通过该模式变换,图像尺寸成为1/2,通过倍速化,帧速率成为2倍。由此,左画面输出图像153L的点时钟是与左画面处理图像160L的点时钟相同的148.5MHz。
另一方面,副画面图像处理部103对右画面输入图像112R进行与主画面图像处理部102同样的处理。
具体而言,副画面前处理部130通过将右画面输入图像112R进行I/P变换,生成1080p且60fps的右画面处理图像160R。通过该I/P变换,垂直方向的图像尺寸成为2倍。由此,右画面处理图像160R的点时钟是右画面输入图像112R的2倍的148.5MHz。
具体而言,右画面处理图像160R在1帧中包括1080p/2(960列×1080行)的左眼用图像60l、和1080p/2(960列×1080行)的右眼用图像60r。由此,右画面处理图像160R的图像尺寸成为960列×2160L行。
接着,副画面前处理部130经由存储器控制器141将右画面处理图像160R保存到存储器140中。
接着,副画面后处理部131经由存储器控制器141将右画面处理图像160R读出。此时,副画面后处理部131通过进行右画面处理图像160R的模式变换及倍速化,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的右画面输出图像153R。通过该模式变换,图像尺寸成为1/2,通过倍速化,帧速率成为2倍。由此,右画面输出图像153R的点时钟是与右画面处理图像160R的点时钟相同的148.5MHz。
接着,输出部105将由主画面图像处理部102生成的左画面输出图像153L作为左画面图像58L向左画面驱动部24L输出,将由副画面图像处理部103生成的右画面输出图像153R作为右画面图像58R向右画面驱动部24R输出。
接着,左画面驱动部24L将左画面图像58L显示在显示面板26的左画面26L上。此外,右画面驱动部24R将右画面图像58R显示在显示面板26的右画面26R上。
通过以上,将包括左画面图像58L及右画面图像58R的合计1080p且120fps的图像显示在显示面板26上。即,显示在显示面板26上的图像的点时钟为297MHz。
这样,在有关本发明的实施方式1的三维图像处理装置100中,通过由主画面图像处理部102及副画面图像处理部103分别处理点时钟最大为148.5MHz的图像,能够生成点时钟为297MHz的图像。
接着,使用图12,说明三维图像112是720p的图像的情况下的动作例。
具体而言,在图12所示的例子中,三维图像112是全尺寸的720p的帧顺序且60fps的图像。即,三维图像112在1帧中包括720p(1270列×720行)的左眼用图像60l、和720p(1270列×720行)的右眼用图像60r。即,三维图像112的点时钟是148.5MHz。
此外,在显示面板26上,显示交替地配置左眼用图像60l和右眼用图像60r的1080p且120fps的图像。
在此情况下,首先,输入选择部101将三维图像112分割为左画面输入图像112L和右画面输入图像112R,将左画面输入图像112L向主画面图像处理部102输出,将右画面输入图像112R向副画面图像处理部103输出。
这里,左画面输入图像112L及右画面输入图像112R是三维图像112的一半的图像尺寸。由此,左画面输入图像112L及右画面输入图像112R的点时钟是三维图像112的点时钟的一半的74.25MHz。
具体而言,左画面输入图像112L在1帧中包括720p/2(635列×720行)的左眼用图像60l、和720p/2(635列×720行)的右眼用图像60r。此外,右画面输入图像112R在1帧中包括720p/2(635列×720行)的左眼用图像60l、和720p/2(635列×720行)的右眼用图像60r。
即,左画面输入图像112L及右画面输入图像112R的图像尺寸分别为635列×1440行。
接着,主画面前处理部120经由存储器控制器141将左画面输入图像112L(左画面处理图像160L)保存到存储器140中。
接着,主画面后处理部121经由存储器控制器141将左画面处理图像160L读出。此时,主画面后处理部121通过进行左画面处理图像160L的模式变换及倍速化,生成交替地配置左眼用图像60l和右眼用图像60r的720p/2(635列×720行)、且120fps的左画面处理图像163L。通过该模式变换,图像尺寸成为1/2,通过倍速化,帧速率成为2倍。由此,左画面处理图像163L的点时钟是与左画面处理图像160L的点时钟相同的74.25MHz。
接着,主画面后处理部121通过将左画面处理图像163L的图像尺寸扩大,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的左画面输出图像153L。通过该扩大处理,图像尺寸成为2倍。由此,左画面输出图像153L的点时钟成为左画面处理图像163L的点时钟的2倍的148.5MHz。
另一方面,副画面图像处理部103通过与主画面图像处理部102同样进行右画面处理图像160R的模式变换及倍速化,生成交替地配置左眼用图像60l和右眼用图像60r的720p/2(635列×720行)、且120fps的右画面处理图像163R。接着,副画面后处理部131通过将右画面处理图像163R的图像尺寸扩大,生成1080p/2(960列×1080行)、且120fps的右画面输出图像153R。
接着,输出部105将由主画面图像处理部102生成的左画面输出图像153L作为左画面图像58L向左画面驱动部24L输出,将由副画面图像处理部103生成的右画面输出图像153R作为右画面图像58R向右画面驱动部24R输出。
接着,左画面驱动部24L将左画面图像58L显示在显示面板26的左画面26L上。此外,右画面驱动部24R将右画面图像58R显示在显示面板26的右画面26R上。
通过以上,将包括左画面图像58L及右画面图像58R的合计1080p且120fps的图像显示在显示面板26上。即,显示在显示面板26上的图像的点时钟为297MHz。
接着,使用图13及图14说明三维图像112的配置模式为并排的情况下的动作例。
在图13及图14所示的动作例中,相对于上述图11及图12所示的动作例,主要有以下的不同点。在图13及图14所示的动作例中,主画面后处理部121不能仅根据由主画面前处理部120生成的左画面处理图像160L生成左画面输出图像153L。由此,主画面后处理部121使用由主画面前处理部120生成的左画面处理图像160L、和由副画面前处理部130生成的右画面处理图像160R,生成左画面输出图像153L。
同样,副画面后处理部131不能仅根据由副画面前处理部130生成的右画面处理图像160R生成右画面输出图像153R。由此,副画面后处理部131使用由主画面前处理部120生成的左画面处理图像160L和由副画面前处理部130生成的右画面处理图像160R生成右画面输出图像153R。
具体而言,在图13所示的例子中,三维图像112是全尺寸的1080i的并排且60fps的图像。即,三维图像112在1个场中包括1080i(1920列×540行)的左眼用图像60l、和1080i(1920列×540行)的右眼用图像60r。即,三维图像112的点时钟是148.5MHz。
此外,在显示面板26上,显示交替地配置左眼用图像60l和右眼用图像60r的1080p且120fps的图像。
在此情况下,首先,输入选择部101将三维图像112分割为左画面输入图像112L和右画面输入图像112R,将左画面输入图像112L向主画面图像处理部102输出,将右画面输入图像112R向副画面图像处理部103输出。
这里,左画面输入图像112L及右画面输入图像112R是三维图像112的一半的图像尺寸。由此,左画面输入图像112L及右画面输入图像112R的点时钟是三维图像112的点时钟的一半的74.25MHz。
具体而言,左画面输入图像112L在1个场中包括1080i(1920列×540行)的左眼用图像60l。此外,右画面输入图像112R在1个场中包括1080i(1920列×540行)的右眼用图像60r。即,左画面输入图像112L及右画面输入图像112R的图像尺寸分别为1920列×540行。
接着,主画面前处理部120通过将左画面输入图像112L进行I/P变换,生成1080p且60fps的左画面处理图像160L。通过该I/P变换,垂直方向的图像尺寸成为2倍。由此,左画面处理图像160L的点时钟是左画面输入图像112L的2倍的148.5MHz。
具体而言,左画面处理图像160L在1帧中包括1080p(1920列×1080行)的左眼用图像60l。由此,左画面处理图像160L的图像尺寸为1920列×1080行。
接着,主画面前处理部120经由存储器控制器141将左画面处理图像160L保存到存储器140中。
另一方面,副画面前处理部130通过将右画面输入图像112R进行I/P变换,生成1080p且60fps的右画面处理图像160R。通过该I/P变换,垂直方向的图像尺寸成为2倍。由此,右画面处理图像160R的点时钟是右画面输入图像112R的2倍的148.5MHz。
具体而言,右画面处理图像160R在1帧中包括1080p(1920列×1080行)的右眼用图像60r。由此,右画面处理图像160R的图像尺寸为1920列×1080行。
接着,副画面前处理部130经由存储器控制器141将右画面处理图像160R保存到存储器140中。
接着,主画面后处理部121经由存储器控制器141将左画面处理图像161L读出,该左画面处理图像161L包含如下像素,即:在左画面处理图像160L及右画面处理图像160R中包含的多个像素之中的、与显示面板26的左画面26L对应的多个像素。此外,主画面后处理部121通过进行左画面处理图像161L的模式变换及倍速化,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的左画面输出图像153L。
具体而言,主画面后处理部121通过将左画面处理图像160L的左半部分及右画面处理图像160R的左半部分读出、并将所读出的左画面处理图像160L的左半部分和右画面处理图像160R的左半部分交替地配置,生成左画面输出图像153L。
通过该模式变换,图像尺寸成为1/2,通过倍速化,帧速率成为2倍。由此,左画面输出图像153L的点时钟是与左画面处理图像160L的点时钟相同的148.5MHz。
另一方面,副画面后处理部131与主画面后处理部121同样,经由存储器控制器141,将包含如下像素的右画面处理图像161R读出,这些像素是:在左画面处理图像160L及右画面处理图像160R中包含的多个像素之中的、对应于显示面板26的右画面26R的多个像素。此外,副画面后处理部131通过进行右画面处理图像161R的模式变换及倍速化,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的右画面输出图像153R。
具体而言,副画面后处理部131通过将左画面处理图像160L的右半部分及右画面处理图像160R的右半部分读出、并且将所读出的左画面处理图像160L的右半部分和右画面处理图像160R的右半部分交替地配置,生成右画面输出图像153R。
通过该模式变换,图像尺寸成为1/2,通过倍速化,帧速率成为2倍。由此,右画面输出图像153R的点时钟是与左画面处理图像160L的点时钟相同的148.5MHz。
接着,输出部105将由主画面图像处理部102生成的左画面输出图像153L作为左画面图像58L向左画面驱动部24L输出,将由副画面图像处理部103生成的右画面输出图像153R作为右画面图像58R向右画面驱动部24R输出。
接着,左画面驱动部24L将左画面图像58L显示在显示面板26的左画面26L上。此外,右画面驱动部24R将右画面图像58R显示在显示面板26的右画面26R上。
通过以上,将包括左画面图像58L及右画面图像58R的合计1080p且120fps的图像显示在显示面板26上。即,显示在显示面板26上的图像的点时钟为297MHz。
接着,说明图14所示的动作例。
这里,在图14所示的例子中,三维图像112是全尺寸的720p的并排且60fps的图像。即,三维图像112在1帧中包括720p(1270列×720行)的左眼用图像60l、和720p(1270列×720行)的右眼用图像60r。即,三维图像112的点时钟是148.5MHz。
此外,在显示面板26上,显示交替地配置左眼用图像60l和右眼用图像60r的1080p且120fps的图像。
在此情况下,首先,输入选择部101将三维图像112分割为左画面输入图像112L和右画面输入图像112R,将左画面输入图像112L向主画面图像处理部102输出,将右画面输入图像112R向副画面图像处理部103输出。
这里,左画面输入图像112L及右画面输入图像112R是三维图像112的一半的图像尺寸。由此,左画面输入图像112L及右画面输入图像112R的点时钟是三维图像112的点时钟的一半的74.25MHz。
具体而言,左画面输入图像112L在1帧中包括720p(1270列×720行)的左眼用图像60l。此外,右画面输入图像112R在1帧中包括720p(1270列×720行)的右眼用图像60r。即,左画面输入图像112L及右画面输入图像112R的图像尺寸分别为1270列×720行。
接着,主画面前处理部120经由存储器控制器141将左画面输入图像112L(左画面处理图像160L)保存到存储器140中。
另一方面,副画面前处理部130经由存储器控制器141将右画面输入图像112R(右画面处理图像160R)保存到存储器140中。
接着,主画面后处理部121经由存储器控制器141将包含如下像素的左画面处理图像161L读出,这些像素是:在左画面处理图像160L及右画面处理图像160R中包含的多个像素之中的、对应于显示面板26的左画面26L的多个像素。此外,主画面后处理部121通过进行左画面处理图像161L的模式变换及倍速化,生成交替地配置左眼用图像60l和右眼用图像60r的720p/2(635列×720行)、且120fps的左画面处理图像163L。
具体而言,主画面后处理部121通过将左画面处理图像160L的左半部分及右画面处理图像160R的左半部分读出、并且将所读出的左画面处理图像160L的左半部分和右画面处理图像160R的左半部分交替地配置,生成左画面输出图像153L。
通过该模式变换,图像尺寸成为1/2,通过倍速化,帧速率成为2倍。由此,左画面处理图像163L的点时钟是与左画面处理图像160L的点时钟相同的74.25MHz。
接着,主画面后处理部121通过将左画面处理图像163L的图像尺寸扩大,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的左画面输出图像153L。通过该扩大处理,图像尺寸成为2倍。由此,左画面输出图像153L的点时钟成为左画面处理图像163L的点时钟的2倍的148.5MHz。
另一方面,副画面后处理部131通过进行与主画面后处理部121同样的处理,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的右画面输出图像153R。
接着,输出部105将由主画面图像处理部102生成的左画面输出图像153L作为左画面图像58L向左画面驱动部24L输出,将由副画面图像处理部103生成的右画面输出图像153R作为右画面图像58R向右画面驱动部24R输出。
接着,左画面驱动部24L将左画面图像58L显示在显示面板26的左画面26L上。此外,右画面驱动部24R将右画面图像58R显示在显示面板26的右画面26R上。
通过以上,将包括左画面图像58L及右画面图像58R的合计1080p且120fps的图像显示在显示面板26上。即,显示在显示面板26上的图像的点时钟为297MHz。
接着,使用图15,说明三维图像112的帧速率是120fps的情况下的动作例。
具体而言,在图15所示的例子中,三维图像112是1080i的帧顺序的且120fps的图像。即,三维图像112在1个场中包括1080i(1920列×540行)的左眼用图像60l、和1080i(1920列×540行)的右眼用图像60r。即,三维图像112的点时钟是148.5MHz。
此外,在显示面板26上,显示交替地配置左眼用图像60l和右眼用图像60r的1080p且120fps的图像。
在此情况下,首先,输入选择部101将三维图像112分割为左画面输入图像112L和右画面输入图像112R,将左画面输入图像112L向主画面图像处理部102输出,将右画面输入图像112R向副画面图像处理部103输出。
这里,左画面输入图像112L及右画面输入图像112R是三维图像112的一半的图像尺寸。由此,左画面输入图像112L及右画面输入图像112R的点时钟是三维图像112的点时钟的一半的74.25MHz。
具体而言,左画面输入图像112L在1个场中包括1080i/2(960列×540行)的左眼用图像60l、和1080i/2(960列×540行)的右眼用图像60r。此外,右画面输入图像112R在1个场中包括1080i/2(960列×540行)的左眼用图像60l、和1080i/2(960列×540行)的右眼用图像60r。
即,左画面输入图像112L及右画面输入图像112R的图像尺寸分别为480列×1080行。
接着,主画面前处理部120通过将左画面输入图像112L进行I/P变换,生成1080p/2且120fps的左画面处理图像160L。通过该I/P变换,垂直方向的图像尺寸成为2倍。由此,左画面处理图像160L的点时钟是左画面输入图像112L的2倍的148.5MHz。
具体而言,左画面处理图像160L在1帧中包括1080p/2(960列×1080行)的左眼用图像60l、和1080p/2(960列×1080行)的右眼用图像60r。由此,左画面处理图像160L的图像尺寸为960列×2160L行。
接着,主画面前处理部120经由存储器控制器141将左画面处理图像160L保存到存储器140中。
接着,主画面后处理部121经由存储器控制器141将左画面处理图像160L读出。此时,主画面后处理部121通过进行左画面处理图像160L的模式变换,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的左画面处理图像163L。例如,主画面后处理部121生成交替地仅包括在左画面处理图像160L的各帧中包含的左眼用图像60l和右眼用图像60r的其一的左画面处理图像163L。
通过该模式变换,图像尺寸成为1/2。由此,左画面输出图像153L的点时钟是左画面处理图像160L的点时钟的一半的74.25MHz。
接着,主画面后处理部121通过将左画面处理图像163L的图像尺寸扩大,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的左画面输出图像153L。通过该扩大处理,图像尺寸成为2倍。由此,左画面输出图像153L的点时钟成为左画面处理图像163L的点时钟的2倍的148.5MHz。
另一方面,副画面图像处理部103通过对右画面输入图像112R进行与主画面图像处理部102同样的处理,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且120fps的左画面输出图像153L。
接着,输出部105将由主画面图像处理部102生成的左画面输出图像153L作为左画面图像58L向左画面驱动部24L输出,将由副画面图像处理部103生成的右画面输出图像153R作为右画面图像58R向右画面驱动部24R输出。
接着,左画面驱动部24L将左画面图像58L显示在显示面板26的左画面26L上。此外,右画面驱动部24R将右画面图像58R显示在显示面板26的右画面26R上。
通过以上,将包括左画面图像58L及右画面图像58R的合计1080p且120fps的图像显示在显示面板26上。即,显示在显示面板26上的图像的点时钟为297MHz。
这样,在有关本发明的实施方式1的三维图像处理装置100中,通过由主画面图像处理部102及副画面图像处理部103分别处理点时钟最大为148.5MHz的图像,能够生成点时钟为297MHz的图像。
接着,使用图16,说明将三维图像112格式变换为行顺序的图像的情况下的动作例。
这里,在图16所示的例子中,三维图像112与图13所示的例子同样,是全尺寸的1080i的并排且60fps的图像。此外,在显示面板26上,显示行顺序的1080p且60fps的图像。
另外,主画面前处理部120及副画面前处理部130的动作与图13的情况是同样的,所以省略说明。
在此情况下,主画面后处理部121经由存储器控制器141,将包含如下像素的左画面处理图像161L读出,这些像素是:在左画面处理图像160L及右画面处理图像160R中包含的多个像素之中的、对应于显示面板26的左画面26L的多个像素。此外,主画面后处理部121通过进行左画面处理图像161L的模式变换,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且60fps的左画面输出图像153L。
具体而言,主画面后处理部121通过将左画面处理图像160L的左半部分及右画面处理图像160R的左半部分读出、并将所读出的左画面处理图像160L的左半部分和右画面处理图像160R的左半部分以横条纹状配置,进行模式变换。
通过该模式变换,图像尺寸成为1/2。由此,左画面输出图像153L的点时钟是左画面处理图像160L的点时钟的一半的74.25MHz。
另一方面,副画面后处理部131通过进行与主画面后处理部121同样的处理,生成交替地配置左眼用图像60l和右眼用图像60r的1080p/2(960列×1080行)、且60fps的右画面输出图像153R。
另外,输出部105将由主画面图像处理部102生成的左画面输出图像153L作为左画面图像58L向左画面驱动部24L输出,将由副画面图像处理部103生成的右画面输出图像153R作为右画面图像58R向右画面驱动部24R输出。
接着,左画面驱动部24L将左画面图像58L显示在显示面板26的左画面26L上。此外,右画面驱动部24R将右画面图像58R显示在显示面板26的右画面26R上。
通过以上,将包括左画面图像58L及右画面图像58R的合计1080p且60fps的图像显示在显示面板26上。即,显示在显示面板26上的图像的点时钟为148.5MHz。
另外,三维图像112的配置模式只要是图3A、图3B、图4A、图4B、图5A、图5B、图6A及图6B所示的模式的某种就可以。同样,左画面输出图像153L及右画面输出图像153R(显示在显示面板26上的图像)的配置模式只要是图3A、图3B、图4A、图4B、图5A、图5B、图6A及图6B所示的模式的某种就可以。
此外,三维图像112、左画面输出图像153L及右画面输出图像153R的扫描方式、帧速率及图像尺寸也可以是上述以外的情况。
此外,上述所示的图像尺寸的缩小、图像尺寸的扩大、IP变换、模式变换、及帧速率变换的处理的顺序是一例,这些处理可以以任意的顺序进行。
此外,在包含在三维图像112中的左眼用图像60l的图像尺寸及右眼用图像60r的图像尺寸比显示面板26的显示图像尺寸大的情况下,在主画面图像处理部102及副画面图像处理部103中进行图像尺寸的缩小处理。
此外,也可以是,包含在三维图像112中的左眼用图像60l的图像尺寸及右眼用图像60r的图像尺寸与显示面板26的显示图像尺寸无关,主画面前处理部120先将左画面输入图像112L的图像尺寸缩小后,主画面后处理部121将图像尺寸扩大,以使缩小的图像尺寸恢复为原来的图像尺寸。例如,也可以是,在包含在三维图像112中的左眼用图像60l的图像尺寸及右眼用图像60r的图像尺寸与显示面板26的显示图像尺寸一致的情况下(不需要图像尺寸的缩小及扩大的情况下),主画面前处理部120将左画面输入图像112L的图像尺寸在垂直方向上缩小为1/2,主画面后处理部121将缩小的图像尺寸在垂直方向上扩大为2倍。
由此,能够削减保存在存储器140中的数据量,所以能够削减存储器140的容量。进而,能够减少IP变换部123及模式变换部125等中的处理量。
如以上这样,有关本发明的实施方式1的三维图像处理装置100将三维图像112分割为左画面输入图像112L和右画面输入图像112R,将左画面输入图像112L用主画面图像处理部102处理,将右画面输入图像112R用副画面图像处理部103处理。通过进行这样的并行处理,与用1个图像处理部处理三维图像112的情况相比,能够使主画面图像处理部102及副画面图像处理部103的处理能力为一半。
进而,在三维图像处理装置100中,在2画面处理模式时,通过在该并行处理中使用处理主画面图像的主画面图像处理部102、和处理副画面图像的副画面图像处理部103,能够抑制对以往的图像处理装置的电路追加。由此,有关本发明的实施方式1的三维图像处理装置100能够在抑制成本的增加的同时生成高画质的三维图像。
此外,一般副画面图像处理部103的处理能力比主画面图像处理部102的处理能力低。在这样的情况下,在左画面输出图像153L和右画面输出图像153R的画质中产生差别。为了避免该状况,只要使主画面图像处理部102的处理能力匹配于副画面图像处理部103的处理能力就可以。由此,虽然左画面输出图像153L的画质下降,但能够消除左画面输出图像153L和右画面输出图像153R的画质的不均一。
另外,也可以使副画面图像处理部103的处理能力与主画面图像处理部102的处理能力相同。在此情况下,需要对以往的图像处理装置提高副画面图像处理部103的处理能力,但与新追加图像处理部的情况相比,能够抑制三维图像处理装置100的成本的增加。
(实施方式2)
在上述实施方式1中,说明了在将三维图像112分割为左画面输入图像112L和右画面输入图像112R后、对其分别并行地进行全部的格式变换处理的例子。在本发明的实施方式2中,说明在对三维图像112进行格式变换处理的一部分后、分割为左画面图像和右画面图像的例子。
另外,以下省略与实施方式1重复的说明,主要说明与实施方式1的不同点。
图17是表示有关本发明的实施方式2的主画面图像处理部102及副画面图像处理部103的结构的框图。另外,对于与图10同样的元素赋予相同的标号。此外,有关本发明的实施方式2的三维图像处理装置100的结构与图9是同样的。
有关本发明的实施方式2的三维图像处理装置100与有关实施方式1的三维图像处理装置100相比在以下的方面不同。
输入选择部101在三维图像处理模式时,将三维图像112向主画面图像处理部102输出。
主画面前处理部120在三维图像处理模式时,在对三维图像112进行水平方向的图像尺寸的缩小及IP变换后,将该处理后的图像分割为左画面输入图像162L和右画面输入图像162R。此外,主画面前处理部120通过对分割后的左画面输入图像162L进行垂直方向的图像尺寸的缩小,生成左画面处理图像160L。
副画面前处理部130在三维图像处理模式时,通过对分割后的右画面输入图像162R进行垂直方向的图像尺寸的缩小,生成右画面处理图像160R。
以下,说明有关本发明的实施方式2的三维图像处理装置100的三维图像处理模式时的动作例。
图18是表示有关本发明的实施方式2的三维图像处理装置100的三维图像处理模式时的动作例的图。
在有关本发明的实施方式2的三维图像处理装置100中,在三维图像处理模式时,主画面前处理部120通过将三维图像112进行I/P变换而生成变换图像162,并且将该变换图像162分割为左画面输入图像162L和右画面输入图像162R。
这里,在图18所示的例子中,三维图像112是全尺寸的1080i的帧顺序且60fps的图像。即,三维图像112在1帧中包括1080i(1920列×540行)的左眼用图像60l和1080i(1920列×540行)的右眼用图像60r。即,三维图像112的点时钟是148.5MHz。
此外,在显示面板26上,显示交替地配置左眼用图像60l和右眼用图像60r的1080p且120fps的图像。
在此情况下,首先,输入选择部101将三维图像112向主画面图像处理部102输出。
接着,主画面前处理部120通过将三维图像112进行I/P变换,生成1080p×2且60fps的变换图像162。通过该I/P变换,垂直方向的图像尺寸成为2倍。由此,变换图像162的点时钟是三维图像112的2倍的297MHz。
具体而言,变换图像162在1帧中包括1080p(1920列×1080行)的左眼用图像60l、和1080p(1920列×1080行)的右眼用图像60r。由此,变换图像162的图像尺寸为1920列×2160L行。
接着,主画面前处理部120将变换图像162分割为左画面输入图像162L和右画面输入图像162R。
这里,左画面输入图像162L及右画面输入图像162R是变换图像162的一半的图像尺寸。由此,左画面输入图像162L及右画面输入图像162R的点时钟是变换图像162的点时钟的一半的148.5MHz。
具体而言,左画面输入图像162L在1帧中包括1080p/2(960列×1080行)的左眼用图像60l、和1080p/2(960列×1080行)的右眼用图像60r。此外,右画面输入图像162R在1帧中包括1080p/2(960列×1080行)的左眼用图像60l、和1080p/2(960列×1080行)的右眼用图像60r。
即,左画面输入图像162L及右画面输入图像162R的图像尺寸分别为1920列×1080行。
另外,该IP变换处理和分割处理优选的是同时进行。即,实际上不生成相当于变换图像162的图像。换言之,主画面前处理部120通过对三维图像112进行IP变换及分割,生成左画面输入图像162L及右画面输入图像162R。由此,能够使各处理部处理的图像的点时钟的最大值不是297MHz而为148.5MHz。
接着,主画面前处理部120经由存储器控制器141将左画面输入图像162L(左画面处理图像160L)保存到存储器140中。
此外,主画面前处理部120将右画面输入图像162R向副画面前处理部130输出。
接着,副画面前处理部130经由存储器控制器141将右画面输入图像162R(右画面处理图像160R)保存到存储器140中。
另外,主画面后处理部121及副画面后处理部131的处理与实施方式1是同样的,省略说明。
此外,在本发明的实施方式2的例子中,垂直缩小部124及主画面后处理部121相当于本发明的第1图像处理部,垂直缩小部134及副画面后处理部131相当于本发明的第2图像处理部。此外,IP变换部123及IP变换部133分别相当于本发明的第1IP变换部及第2IP变换部。此外,变换图像162、左画面输入图像162L及右画面输入图像162R分别相当于本发明的第1输入三维图像、第1输入图像及第2输入图像。此外,主画面图像110、副画面图像111、及三维图像112分别相当于本发明的第3图像、第4图像及第2输入三维图像。此外,在2画面处理模式时,由IP变换部123及IP变换部133生成的图像分别相当于本发明的第1图像及第2图像。
通过以上,将包括左画面图像58L及右画面图像58R的合计1080p且120fps的图像显示在显示面板26上。即,显示在显示面板26上的图像的点时钟为297MHz。
这样,在有关本发明的实施方式2的三维图像处理装置100中,通过用主画面图像处理部102及副画面图像处理部103分别处理点时钟最大为148、5MHz的图像,能够生成点时钟为297MHz的图像。
如以上这样,有关本发明的实施方式2的三维图像处理装置100与有关实施方式1的三维图像处理装置100同样,能够在抑制成本的增加的同时、生成高品质的三维图像。
此外,上述说明中所示出的图像尺寸的缩小、图像尺寸的扩大、IP变换、模式变换、及帧速率变换的处理的顺序是一例,这些处理可以以任意的顺序进行。在这样的情况下,也只要三维图像处理装置100将IP变换后的图像分割为左画面图像和右画面图像就可以。
另外,三维图像处理装置100也可以将刚刚IP变换之后之外的图像分割为左画面图像和右画面图像。即,三维图像处理装置100只要在处理后的图像的点时钟变为比规定的频率(在上述例子中是148.5MHz)大的时刻将该图像分割为左画面图像和右画面图像就可以。
此外,三维图像处理装置100也可以在处理后的图像的点时钟变为比规定的频率(在上述例子中是148.5MHz)大之前、将已处理的图像分割为左画面图像和右画面图像。在此情况下,也能够将由主画面图像处理部102及副画面图像处理部103分别处理的图像的点时钟的最大值抑制为148.5MHz。例如,三维图像处理装置100也可以将由水平缩小部122输出的图像分割为左画面图像和右画面图像。
以上,对有关本发明的实施方式1及2的三维图像处理装置100进行了说明,本发明并不限定于该实施方式。
例如,在上述说明中,以使用专用眼镜(闸门眼镜43)的情况为例进行了叙述,但在不使用专用眼镜的方式中也能够采用本发明。
此外,在上述说明中,叙述了在三维图像中包含相互具有视差的两个图像(左眼用图像及右眼用图像)的例子,但也可以在三维图像中包括相互具有视差的3个以上的图像。
此外,在上述说明中,主画面图像处理部102处理左画面图像、副画面图像处理部103处理右画面图像,但也可以是主画面图像处理部102处理右画面图像、副画面图像处理部103处理左画面图像。
此外,在上述说明中,输入选择部101通过将三维图像112在左右方向上2等分而生成左画面输入图像112L和右画面输入图像112R,但左画面输入图像112L及右画面输入图像112R只要分别是三维图像112的一部分就可以。例如,输入选择部101也可以将三维图像112在上下方向上2等分。
此外,左画面输入图像112L和右画面输入图像112R的图像尺寸也可以不同。
此外,输入选择部101也可以将三维图像112分割为3个以上的图像。在此情况下,三维图像处理装置100将分割后的3个图像并行处理。此外,在进行该并行处理的3个图像处理部中包括上述主画面图像处理部102及副画面图像处理部103。在此情况下,也需要对以往的图像处理装置新设置图像处理部,但由于通过使用副画面图像处理部103能够减少新追加的图像处理部的数量,所以能够抑制三维图像处理装置100的成本的增加。
此外,输入选择部101也可以将三维图像112分割为左画面输入图像112L和右画面输入图像112R,以使其相互包含一部分重复的区域。由此,例如,在数字电视机20具备将左画面图像58L(左画面输入图像112L)和右画面图像58R(右画面输入图像112R)分别单独地进行画质修正的两个画质修正部的情况下,能够提高该画质修正部的端点处理(分割的边界附近的画质修正处理)的精度。
此外,因为同样的理由,左画面处理图像161L及右画面处理图像161R也可以相互包含一部分重复的区域。
此外,同样,左画面输出图像153L及右画面输出图像153R只要是输出三维图像58(显示在显示面板26上的图像)的一部分就可以。
此外,在上述说明中,三维图像处理装置100将左画面图像58L和右画面图像58R分别单独地输出,但也可以在将左画面图像58L和右画面图像58R合成后输出。此外,三维图像处理装置100也可以不将合成图像152分割而原样输出。
此外,上述三维图像处理装置100的结构是为了具体地说明本发明而用来例示的,有关本发明的三维图像处理装置并不需要具备上述结构的全部。
例如,在上述说明中,主画面图像处理部102及副画面图像处理部103具有图像尺寸的缩小、图像尺寸的扩大、IP变换、模式变换、及帧速率变换的全部的功能,但只要具有它们的至少1个功能就可以。
此外,在上述说明中,叙述了三维图像处理装置100具备由主画面图像处理部102及副画面图像处理部103共同使用的存储器140及存储器控制器141的例子,但主画面图像处理部102及副画面图像处理部103也可以分别单独具备存储器。
此外,在上述说明中,叙述了将有关本发明的三维图像处理装置100应用到数字电视机及数字视频录像机中的例子,但有关本发明的三维图像处理装置100能够在数字电视机以外的显示三维图像的三维图像显示装置(例如便携电话设备、个人计算机等)中使用。此外,有关本发明的三维图像处理装置100能够在数字视频录像机以外的输出三维图像的三维图像输出装置(例如BD播放器等)中使用。
此外,有关上述实施方式1~2的三维图像处理装置100典型地可以作为集成电路即LSI实现。它们既可以单独形成一个芯片,也可以包括一部分或全部而形成一个芯片。
此外,集成电路化并不限于LSI,也可以由专用电路或通用处理器实现。也可以使用在LSI制造后能够编程的FPGA(Field Programmable GateArray:现场可编程门阵列)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。
进而,如果因半导体技术的进步或派生的其他技术出现代替LSI的集成电路化的技术,则当然也可以使用该技术进行各处理部的集成化。
此外,也可以将有关本发明的实施方式1~2的三维图像处理装置100及100B的功能的一部分或全部通过CPU等的处理器执行程序来实现。
进而,本发明也可以是上述程序,也可以是记录有上述程序的记录介质。此外,上述程序当然可以经由因特网等的传输介质流通。
此外,也可以将有关上述实施方式1~2的三维图像处理装置100及100B、及其变形例的功能中的至少一部分组合。
此外,在上述中使用的数字都是为了具体地说明本发明而例示的,本发明并不限制于例示的数字。
进而,只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的范围内的变更的各种变形例也包含在本发明中。
工业实用性
本发明能够在三维图像处理装置中使用,特别能够在数字电视机及数字视频录像机等中使用。
标号说明
10 三维图像显示系统
20 数字电视机
21、31 输入部
22、32 解码器
23、33 HDMI通信部
24L 左画面驱动部
24R 右画面驱动部
26 显示面板
26L 左画面
26R 右画面
27 发射器
30 数字视频录像机
40 HDMI线缆
41 光盘
42 广播波
43 闸门眼镜
51、55 编码三维图像
52、56、57 输入三维图像
53、58 输出三维图像
56l、58l、60l 左眼用图像
56r、58r、60r 右眼用图像
58L 左画面图像
58R 右画面图像
100、100B 三维图像处理装置
101 输入选择部
102 主画面图像处理部
103 副画面图像处理部
104 合成部
105 输出部
110 主画面图像
111 副画面图像
112 三维图像
112L、162L 左画面输入图像
112R、162R 右画面输入图像
120 主画面前处理部
121 主画面后处理部
122、132 水平缩小部
123、133 IP变换部
124、134 垂直缩小部
125、135 模式变换部
126、136 垂直扩大部
127、137 水平扩大部
130 副画面前处理部
131 副画面后处理部
140 存储器
141 存储器控制器
150 主画面处理图像
151 副画面处理图像
152 合成图像
153L 左画面输出图像
153R 右画面输出图像
160L、161L、163L 左画面处理图像
160R、161R、163R 右画面处理图像
162 变换图像

Claims (12)

1.一种三维图像处理装置,具有生成在1个画面内包括第1图像及第2图像的合成图像的2画面处理模式、和将第1格式的第1输入三维图像变换为第2格式的输出三维图像的三维图像处理模式,其特征在于,
具备:
第1图像处理部,在上述2画面处理模式时,通过对上述第1图像进行第1格式变换处理,生成第1处理图像;
第2图像处理部,在上述2画面处理模式时,通过对上述第2图像进行第2格式变换处理,生成第2处理图像;
合成部,通过将上述第1处理图像及上述第2处理图像合成,生成上述合成图像;
上述第1图像处理部在上述三维图像处理模式时,通过对作为上述第1输入三维图像的一部分的第1输入图像进行第3格式变换处理,生成作为上述输出三维图像的一部分的第1输出图像;
上述第2图像处理部在上述三维图像处理模式时,通过对作为上述第1输入三维图像的一部分的第2输入图像进行第4格式变换处理,生成作为上述输出三维图像的一部分的第2输出图像。
2.如权利要求1所述的三维图像处理装置,其特征在于,
上述第1、第2、第3及第4格式变换处理包括图像尺寸的变更处理、帧速率变换处理、以及从隔行方式向逐行方式的变换处理中的至少一个。
3.如权利要求2所述的三维图像处理装置,其特征在于,
上述第3格式变换处理及上述第4格式变换处理包括使帧速率增加的处理。
4.如权利要求2或3所述的三维图像处理装置,其特征在于,
上述第1输入三维图像及上述输出三维图像包括视听者的左眼用的左眼用图像和视听者的右眼用的右眼用图像;
上述第3格式变换处理及上述第4格式变换处理还包括变更上述左眼用图像和上述右眼用图像的配置模式的处理。
5.如权利要求2~4中任一项所述的三维图像处理装置,其特征在于,
上述第1、第2、第3及第4格式变换处理包括从隔行方式向逐行方式的变换处理。
6.如权利要求5所述的三维图像处理装置,其特征在于,
上述三维图像处理装置还具备存储器;
上述第1图像处理部具备第1前处理部,该第1前处理部在上述三维图像处理模式时,通过对上述第1输入图像进行包含在上述第3格式变换处理中的、包括将图像尺寸缩小的处理在内的第1前处理而生成第3处理图像,并将该第3处理图像保存到上述存储器中;
上述第2图像处理部具备第2前处理部,该第2前处理部在上述三维图像处理模式时,通过对上述第2输入图像进行包含在上述第4格式变换处理中的、包括将图像尺寸缩小的处理在内的第2前处理而生成第4处理图像,并将该第4处理图像保存到上述存储器中;
上述第1图像处理部还具备:
第1后处理部,在上述三维图像处理模式时,通过对第5处理图像进行包含在上述第3格式变换处理中的、包括将图像尺寸扩大的处理在内的第1后处理,生成上述第1输出图像,其中该第5处理图像包含保存在上述存储器中的上述第3处理图像及上述第4处理图像中的至少一方;以及
第2后处理部,在上述三维图像处理模式时,通过对第6处理图像进行包含在上述第4格式变换处理中的、包括将图像尺寸扩大的处理在内的第2后处理,生成上述第2输出图像,其中该第6处理图像包含保存在上述存储器中的上述第3处理图像及上述第4处理图像中的至少一方。
7.如权利要求6所述的三维图像处理装置,其特征在于,
上述第1后处理及上述第2后处理还包括变更上述左眼用图像和上述右眼用图像的配置模式的处理;
上述第1后处理部将上述第5处理图像读出,通过对该第5处理图像进行上述第1后处理,生成上述第1输出图像,其中上述第5处理图像包含了保存于上述存储器中的上述第3处理图像及上述第4处理图像中所包含的多个像素之中的、与上述第1输出图像相对应的多个像素;
上述第2后处理部将上述第6处理图像读出,通过对该第6处理图像进行上述第2后处理,生成上述第2输出图像,其中上述第6处理图像包含了保存于上述存储器中的上述第3处理图像及上述第4处理图像中所包含的多个像素之中的、与上述第2输出图像相对应的多个像素。
8.如权利要求6或7所述的三维图像处理装置,其特征在于,
上述第1前处理及上述第2前处理包括将扫描方式从隔行方式向逐行方式变换的处理。
9.如权利要求1~4中任一项所述的三维图像处理装置,其特征在于,
上述第1、第2、第3及第4格式变换处理包括图像尺寸的变更、及帧速率变换中的至少一个;
上述三维图像处理装置还具备:
第1IP变换部,在上述2画面处理模式时,通过将第3图像从隔行方式变换为逐行方式,生成上述第1图像;以及
第2IP变换部,在上述2画面处理模式时,通过将第4图像从隔行方式变换为逐行方式,生成上述第2图像;
上述第1IP变换部在上述三维图像处理模式时,通过将第2输入三维图像从隔行方式变换为逐行方式,生成上述第1输入三维图像。
10.如权利要求1~9中任一项所述的三维图像处理装置,其特征在于,
上述第1图像处理部在上述三维图像处理模式时,通过对上述第1输入图像进行上述第1格式变换处理,生成作为上述输出三维图像的左半部分及右半部分中的一方的上述第1输出图像;
上述第2图像处理部在上述三维图像处理模式时,通过对上述第2输入图像进行上述第1格式变换处理,生成作为上述输出三维图像的左半部分及右半部分中的另一方的第2输出图像。
11.如权利要求1~10中任一项所述的三维图像处理装置,其特征在于,
上述三维图像处理装置还具备输入选择部,该输入选择部在上述三维图像处理模式时,将上述第1输入三维图像分割为上述第1输入图像和上述第2输入图像。
12.一种三维图像处理装置的控制方法,该三维图像处理装置具有生成在1个画面内包括第1图像及第2图像的合成图像的2画面处理模式、和将第1格式的第1输入三维图像变换为第2格式的输出三维图像的三维图像处理模式,并且具备第1图像处理部和第2图像处理部,其特征在于,该三维图像处理装置的控制方法包括:
上述第1图像处理部在上述2画面处理模式时,通过对上述第1图像进行第1格式变换处理而生成第1处理图像的步骤;
上述第2图像处理部在上述2画面处理模式时,通过对上述第2图像进行第2格式变换处理而生成第2处理图像的步骤;
通过将上述第1处理图像及上述第2处理图像合成而生成上述合成图像的步骤;
上述第1图像处理部在上述三维图像处理模式时,通过对作为上述第1输入三维图像的一部分的第1输入图像进行第3格式变换处理而生成作为上述输出三维图像的一部分的第1输出图像的步骤;以及
上述第2图像处理部在上述三维图像处理模式时,通过对作为上述第1输入三维图像的一部分的第2输入图像进行第4格式变换处理而生成作为上述输出三维图像的一部分的第2输出图像的步骤。
CN2010800099746A 2009-09-29 2010-07-28 三维图像处理装置及其控制方法 Pending CN102342114A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP225590/2009 2009-09-29
JP2009225590A JP4740364B2 (ja) 2009-09-29 2009-09-29 三次元画像処理装置及びその制御方法
PCT/JP2010/004786 WO2011039920A1 (ja) 2009-09-29 2010-07-28 三次元画像処理装置及びその制御方法

Publications (1)

Publication Number Publication Date
CN102342114A true CN102342114A (zh) 2012-02-01

Family

ID=43825774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800099746A Pending CN102342114A (zh) 2009-09-29 2010-07-28 三维图像处理装置及其控制方法

Country Status (4)

Country Link
US (1) US8441527B2 (zh)
JP (1) JP4740364B2 (zh)
CN (1) CN102342114A (zh)
WO (1) WO2011039920A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376483A (zh) * 2015-10-27 2016-03-02 京东方科技集团股份有限公司 一种图像重建方法及装置、眼镜装置及显示系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5525201B2 (ja) 2009-07-28 2014-06-18 パナソニック株式会社 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
JP4875127B2 (ja) * 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
US20110126160A1 (en) * 2009-11-23 2011-05-26 Samsung Electronics Co., Ltd. Method of providing 3d image and 3d display apparatus using the same
CN102682465B (zh) * 2011-02-14 2015-09-02 宏达国际电子股份有限公司 3d格式转换系统和方法
JP2012227842A (ja) * 2011-04-21 2012-11-15 Sharp Corp 映像供給装置、および、映像供給方法
EP2597876A1 (en) 2011-11-24 2013-05-29 Koninklijke Philips Electronics N.V. Interlaced 3D video
JP5880165B2 (ja) * 2012-03-13 2016-03-08 株式会社Jvcケンウッド 映像信号処理装置、映像信号処理方法、映像信号処理プログラム
US8781237B2 (en) * 2012-08-14 2014-07-15 Sintai Optical (Shenzhen) Co., Ltd. 3D image processing methods and systems that decompose 3D image into left and right images and add information thereto
TWI510055B (zh) * 2012-11-13 2015-11-21 Realtek Semiconductor Corp 立體影像格式轉換器及其立體影像格式轉換方法
JP6177548B2 (ja) * 2013-03-11 2017-08-09 株式会社メガチップス 画像データ処理装置
JP6232778B2 (ja) * 2013-06-27 2017-11-22 セイコーエプソン株式会社 画像処理装置、画像表示装置、および画像処理装置の制御方法
KR101483052B1 (ko) * 2013-07-11 2015-01-16 연세대학교 산학협력단 3d 동영상을 코딩/디코딩하기 위한 장치 및 그 방법
JP6351382B2 (ja) * 2014-05-30 2018-07-04 キヤノン株式会社 映像処理装置、その制御方法、およびプログラム
US10373582B2 (en) * 2014-10-24 2019-08-06 Nec Display Solutions, Ltd. Display control device and control method therewith

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319417A (ja) * 2002-04-25 2003-11-07 Sharp Corp 立体画像作成装置、立体画像表示装置およびそれらの方法
JP2005134663A (ja) * 2003-10-30 2005-05-26 Asahi Glass Co Ltd 多機能表示装置および同装置に用いられるスリットマスク形成用のスイッチング液晶パネル
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
CN101198074A (zh) * 2006-12-08 2008-06-11 广达电脑股份有限公司 立体图像格式转换方法及应用该方法的显示系统
JP2008306540A (ja) * 2007-06-08 2008-12-18 Sharp Corp 画像信号処理装置、受像装置、画像信号処理方法、及び受像方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293155A (ja) 1999-04-12 2000-10-20 Mr System Kenkyusho:Kk 立体視表示システム
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
KR100716982B1 (ko) 2004-07-15 2007-05-10 삼성전자주식회사 다차원 영상 포맷의 변환장치 및 방법
EP1617370B1 (en) * 2004-07-15 2013-01-23 Samsung Electronics Co., Ltd. Image format transformation
US9124870B2 (en) * 2008-08-20 2015-09-01 Samsung Electronics Co., Ltd. Three-dimensional video apparatus and method providing on screen display applied thereto
KR20100040563A (ko) * 2008-10-10 2010-04-20 삼성전자주식회사 방송 표시장치 및 그의 2차원 영상 표시 방법
JP2010098479A (ja) * 2008-10-15 2010-04-30 Sony Corp 表示装置、表示方法及び表示システム
US8643698B2 (en) * 2009-08-27 2014-02-04 Broadcom Corporation Method and system for transmitting a 1080P60 video in 1080i format to a legacy 1080i capable video receiver without resolution loss

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319417A (ja) * 2002-04-25 2003-11-07 Sharp Corp 立体画像作成装置、立体画像表示装置およびそれらの方法
JP2005134663A (ja) * 2003-10-30 2005-05-26 Asahi Glass Co Ltd 多機能表示装置および同装置に用いられるスリットマスク形成用のスイッチング液晶パネル
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
CN101198074A (zh) * 2006-12-08 2008-06-11 广达电脑股份有限公司 立体图像格式转换方法及应用该方法的显示系统
JP2008306540A (ja) * 2007-06-08 2008-12-18 Sharp Corp 画像信号処理装置、受像装置、画像信号処理方法、及び受像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376483A (zh) * 2015-10-27 2016-03-02 京东方科技集团股份有限公司 一种图像重建方法及装置、眼镜装置及显示系统
CN105376483B (zh) * 2015-10-27 2018-11-27 京东方科技集团股份有限公司 一种图像重建方法及装置、眼镜装置及显示系统

Also Published As

Publication number Publication date
JP4740364B2 (ja) 2011-08-03
US20110285706A1 (en) 2011-11-24
WO2011039920A1 (ja) 2011-04-07
JP2011077729A (ja) 2011-04-14
US8441527B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
CN102342114A (zh) 三维图像处理装置及其控制方法
KR101840308B1 (ko) 3차원 콘텐츠에 관한 영상들을 조합하기 위한 방법
KR101676504B1 (ko) 스테레오플렉스화 필름 및 비디오 애플리케이션의 역다중화 방법
KR101549274B1 (ko) 비디오 및 필름 응용을 위한 스테레오플렉싱
KR101594372B1 (ko) 비디오 및 필름 응용을 위한 스테레오플렉싱
CN102342119B (zh) 三维影像解码装置及三维影像解码方法
TWI416938B (zh) 用於產生,傳送和接收立體影像之方法及相關裝置
JP4875127B2 (ja) 三次元画像処理装置
US20110249091A1 (en) Video signal processing apparatus and video signal processing method
JP6019520B2 (ja) 立体画像を生成、送信、および、受信するための方法、および関連するデバイス
CN102342121B (zh) 三维影像处理装置及三维影像处理方法
EP2309766A2 (en) Method and system for rendering 3D graphics based on 3D display capabilities
JP5296140B2 (ja) 三次元画像処理装置及びその制御方法
JPWO2011114633A1 (ja) 映像信号処理装置及び映像信号処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120201