CN107925792A - 信息处理系统、信息处理装置、输出装置、程序和记录介质 - Google Patents

信息处理系统、信息处理装置、输出装置、程序和记录介质 Download PDF

Info

Publication number
CN107925792A
CN107925792A CN201680050436.9A CN201680050436A CN107925792A CN 107925792 A CN107925792 A CN 107925792A CN 201680050436 A CN201680050436 A CN 201680050436A CN 107925792 A CN107925792 A CN 107925792A
Authority
CN
China
Prior art keywords
pixel
sub
image
data
output device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680050436.9A
Other languages
English (en)
Inventor
滝泽笃史
荒木孝昌
宫崎礼
只正太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN107925792A publication Critical patent/CN107925792A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Geometry (AREA)

Abstract

该信息处理装置配备有被配置为包括用于每个像素的多个子像素的显示单元,信息处理装置连接到输出装置,该输出装置通过镜头向用户呈现显示在所述显示单元上的图像,并且该信息处理装置生成要在显示单元上显示的图像。信息处理装置接收要显示的源图像数据,并且通过针对构成校正图像数据的每个像素中包括的每个子像素,通过关于所述子像素的位置的信息和预定转换公式,计算源图像数据中的相应像素,并且通过基于为每个子像素计算的源图像像素的像素值来确定子像素的亮度,生成校正图像数据。

Description

信息处理系统、信息处理装置、输出装置、程序和记录介质
技术领域
本发明涉及信息处理系统、信息处理装置、输出装置、程序和记录介质。
背景技术
近年来,例如,像头戴式显示器或智能眼镜那样,存在用户戴在他/她的头上以供使用的输出装置。这样的输出装置设置有一对显示器,其分别布置在用户的左眼和右眼的前方,并将显示器上显示的图像呈现给用户。因为这样的输出装置使得用户能够在视觉上识别具有真实感觉的画面,所以该输出装置用于虚拟现实技术等中。
发明内容
[技术问题]
利用这样的输出装置,为了扩大其视角,敢于通过各自具有强烈的畸变镜头将在显示器上显示的图像形成在用户眼睛的前方。当使用这样的镜头时,显示器上显示的图像不是呈现给用户的图像本身。也就是说,产生校正图像,对于校正图像与镜头畸变相反的畸变预先给予原始图像(源图像),并且显示校正图像。结果,用户通过镜头视觉识别的图像变成与源图像对应的图像。
这里,显示器通常由多个像素构成。在这种情况下,每个像素还由发射三原色(红色(R);绿色(G);和蓝色(B))光的三个子像素构成。然而,迄今为止,虽然各个子像素的位置已经分散在一个像素占据的表面内,但是已经在在像素内的一个预定点(在像素通常占据的表面的中心)处发射R、G和B的每种颜色的假设下执行校正。
另一方面,随着视角进一步增大,每单位视角的像素数量减少。因此,即使校正存在轻微的误差,也会影响外观图像。例如,在靠近显示器的周边部分的像素中,显示器上的位置上的细微差别对源图像上的对应位置的差异产生很大影响。在显示器上的这种位置误差(由于参考源图像上的假像素而导致的像素值差异)成为色差方面的问题。
本发明是鉴于上述实际情况而完成的,其目的之一是提供一种信息处理系统、信息处理装置、输出装置、程序和记录介质,其中每一个能够执行考虑子像素的图像校正。
[问题的解决方案]
解决上述过去例子的问题的本发明是信息处理系统。信息处理系统包括输出装置和信息处理装置。输出装置具有包括每个像素的多个子像素的显示部分,并且通过镜头将显示部分上显示的图像呈现给用户。信息处理装置连接到输出装置并产生要在显示部分上显示的图像。该信息处理装置包括用于接收成为显示对象的源图像数据的部件、校正部件和输出部件。校正部件根据接收到的源图像数据,通过预定的转换表达式产生校正图像数据,校正图像数据对设置在输出装置中的镜头的畸变进行校正。校正部件通过关于每个子像素的子像素的位置和包括在该像素中的关于构成校正图像数据的各个像素的转换表达式的信息,通过算术运算获得源图像数据上的相应像素,并且通过基于每个子像素获得的源图像上的像素的像素值来确定各个子像素的亮度来产生校正图像数据。输出装置将产生的校正图像数据输出到输出装置。
附图说明
图1是表示根据本发明实施例的信息处理系统的示例的配置框图。
图2是表示根据本发明实施例的输出装置的示例的配置框图。
图3描绘了根据本发明实施例的输出装置的显示部分的子像素的布置位置的示例的说明图。
图4是表示根据本发明实施例的信息处理装置的示例的功能框图。
图5是表示根据本发明实施例的信息处理装置的处理示例的流程图。
具体实施方式
将参照附图描述本发明的实施例。如图1所示例的,根据本发明实施例的信息处理系统10包括信息处理装置11和输出装置12。
在本实施例的示例中,信息处理装置11例如是基于计算机的设备,诸如家用视频游戏系统。具体来说,如图1所示,信息处理装置11包括控制部分21、存储器部分22和接口部分23。另外,输出装置12例如是头戴式显示器。如在图2中示意性地示例的,输出装置12包括控制部分31、存储器部分32、输入/输出(I/O)接口部分33、一对显示部分34L和34R以及一对镜头35L和35R。
在此,信息处理装置11的控制部分21是程序控制设备,诸如根据存储在存储器部分22中的程序运行的中央处理单元(CPU)或者作为图像处理模块的图形处理单元(GPU)。本实施例的控制部分21在输出装置12中接收成为显示对象的源图像数据,并产生校正图像数据,该校正图像数据是基于这样接收到的源图像数据,通过预定转换表达式校正包括在输出装置12中的镜头35的畸变而获得的。另外,控制部分21将得到的校正图像数据输出到输出装置12。稍后将详细描述控制部分21的操作。
存储器部分22是存储器设备、盘设备等。将要由控制部分21执行的程序存储在存储器部分22中。该程序可以是存储在诸如数字多功能盘只读存储器(DVD-ROM)的计算机可读和非暂时性记录介质中以便被呈现的程序。并且可以被存储在存储器部分22中。另外,存储器部分22可以操作为控制部分21的工作存储器。并且其中存储变为处理的对象的图像数据的帧缓冲区域例如可以被设置在存储器部分22中。
接口部分23例如是高清多媒体接口(HDMI)(注册商标)端口、通用串行总线(USB)端口等,并且连接到输出装置12。另外,接口部分23根据从控制部分21输入的指令将数据(诸如图像数据)输出到输出装置12。另外,接口部分23将从输出装置12输入的信息输出到控制部分21。
输出装置12的控制部分31是根据存储在存储器部分32中的程序运行的程序控制设备,例如CPU。在本实施方式中,控制部分31执行输出校正图像的处理,通过I/O接口部分33将从信息处理装置11输入的校正图像输出到显示部分34。另外,控制部分31可以执行用于从外部接收对存储在存储器部分32中的数据的请求,并且从存储器部分32读出所请求的数据以将如此读出的所请求的数据发送到请求源的处理。稍后将描述控制部分31的操作。
存储器部分32是存储器设备等,并且要由控制部分31执行的程序被存储在存储器部分32中。该程序可以是存储在例如DVD-ROM的计算机可读和非暂时记录介质中以便呈现的程序,并且可以存储在存储器部分32中。另外,存储器部分32可以操作为控制部分31的工作存储器,并且例如可以是可以在存储器部分32中设置要存储用于显示的校正图像数据的区域。
I/O接口部分33例如是HDMI(注册商标)端口、USB端口等,并且连接到信息处理装置11等。
一对显示部分34L和34R例如是液晶显示器等,并且如图2所示例,与用户的左右眼的每个分别对应地设置(以下,在不需要区别的情况下,统一写为显示部分34)。每个显示部分34包括多个像素341。每个像素341还设置有发射R光、G光和B光的子像素342。每个像素341。子像素342布置在如图3(a)或图3(b)所示例的位置。在该示例中,在此情况下,R的子像素342r的中心位于位置(Cx+Rx,Cy+Ry),其在图3(a)和图3(b)中与像素342的中心坐标(Cx,Cy)分离(Rx,Ry)。另外,G的子像素342g的中心也位于位置(Cx+Gx,Cy+Gy),其在图3(a)和图3(b)中与像素342的中心坐标(Cx,Cy)分离(Gx,Gy)。另一方面,B的子像素342b的中心位于位置(Cx+Bx1,Cy+By1),其在图3(a)中与像素342的中心坐标(Cx,Cy)分离(Bx1,By1)。在图3(b)中,B的子像素342b的中心位于位置(Cx+Bx2,Cy+By2),其与像素342的中心坐标(Cx,Cy)分离(Bx2,By2)(在图3(a)和图3(b)的示例中,Bx1=Bx2,By1≠By2)。应该注意,在此中心坐标被预先确定为像素341或者子像素342内的点,像像素341或者子像素342的边界矩形的对角线彼此交叉的点那样。
在相应的显示部分34L和34R之间布置一对镜头35L和35R,并且观看显示部分34L和34R上显示的图像的用户的眼睛(在下文中,当不需要区分时共同写为镜头35)。镜头35使得在相应的显示部分34上显示的图像(与校正图像数据相对应的图像)中生成预定畸变(例如,在显示网格表面时以枕形形状向中心部分收缩的枕形失真),并且使得用户的眼睛识别所得到的图像。
这里,将给出关于信息处理装置11的控制部分21的操作的描述。如在图5中功能性示例的,控制部分21包括源图像接收部分41、校正图像产生部分42和输出部分42。这里,源图像接收部分41接收左眼和右眼的一对源图像数据的输入。在本实施例的一个示例中,控制部分21还并行(以时分方式)执行与图像的校正不同的处理(其他处理),诸如对于游戏的处理。因此,源图像接收部分41也可以从其他相关处理接收源图像数据。
校正图像产生部分42使一对源图像数据中的每一个经历由预定转换表达式确定的转换(例如,用于提供桶形畸变的转换的算术表达式),以消除镜头35的畸变,并产生校正图像数据。具体而言,针对左眼用和右眼用的一对校正图像数据中的每一个,校正图像生成部42通过关于包括在构成校正图像数据的各个像素中的子像素的位置的信息以及上述关于每个子像素转换表达式,通过算术运算来获得与子像素对应的源图像数据上的像素。然后,校正图像产生部分42基于每个子像素获得的关于源图像上的像素的像素值来确定各个子像素的亮度,由此产生校正图像数据。输出部分43输出在校正图像产生部分42中产生的校正图像数据。
接下来,将描述校正图像产生部分42的操作。校正图像产生部分42执行用于针对一对源图像数据中的每一个产生校正图像数据的下一个处理。当校正图像产生部分42开始用于产生关于任何源图像数据的校正图像数据的处理时,如图5所示,校正图像产生部分42确保将校正图像数据存储在存储器部分22中的区域(S1)。该区域对应于输出装置12的显示部分34中的像素的数量来确保。
校正图像产生部分42选择校正图像数据的像素341之一(S2)。例如,仅需要该选择按照左上角的像素的扫描线的顺序进行。换句话说,仅需要在位于最上侧的一行像素中从左到右顺序选择像素,并且接下来,选择移动到下面的下一行(下面的一行),以及再次从左到右顺序选择像素,等等。当然,像素的选择决不限于该顺序,并且可以以任意顺序选择像素。另外,通过利用GPU,并行选择多个像素以执行下一个处理。
当校正图像产生部分42选择对应于校正图像数据的像素341中的一个时,校正图像产生部分42顺序选择包括在如此选择的像素中的子像素342(S3)。具体而言,仅需要按照诸如R、G和B的顺序的预定顺序来选择子像素。校正图像产生部分42通过使用在处理S2中选择的像素341的中心坐标(Cx,Cy),计算在处理S3中选择的子像素342的中心坐标的位置(S4)。
如果在所有像素341中子像素342的布置彼此相同,则可以通过参考代表每个子像素342的中心坐标位于距离像素341的中心坐标多远并且预先存储在存储部22中的信息,计算子像素342的中心坐标。
另外,当至少一个子像素342的中心坐标取决于像素341而不同时(例如,如图3(a)和3(b)中所例示的,当存在两种布置时,等等),表示每个子像素342的中心坐标位于距离像素341的中心坐标多远的信息被存储在存储器部分22中。另外,指定像素341的信息和表示子像素342在由该信息指定的像素341中采用的哪种布置的信息被存储在与每个像素341相互组装的存储器部分22中。校正图像产生部分42基于相关的信息,指定在处理S2中选择的像素341中的布置的种类。另外,校正图像产生部分42通过参考关于在具有如此指定的种类的布置中各个子像素342的中心坐标的信息(代表子像素342的中心坐标位于距离像素341的中心坐标多远的关于子像素342的位置的信息),计算各个子像素342的中心坐标的位置。
此外,当至少一个子像素342的中心坐标取决于像素341而不同时(例如,如图3(a)和3(b)中所例示的,当存在两种布置时,等等),表示每个子像素342的中心坐标相对于每个像素341位于距离像素341的中心坐标多远的信息可以被平均,以获得各个子像素342的平均中心坐标。子像素342的所得平均中心坐标可以预先存储在存储器部分22中。在这种情况下,校正图像产生部分42从存储器部分22中读出表示位于距离处理S2中选择的像素341的中心坐标多远的信息(平均信息),并且参考该信息,由此计算各个子像素342的中心坐标的位置。
校正图像产生部分42通过在处理S4中计算的算术运算,获得与子像素342的中心坐标对应的源图像数据上的对应坐标(S5)。在该算术运算的情况下,通过使用用于从源图像数据获得校正图像数据抵消镜头35的畸变的预定的转换表达式,以及在处理S4中计算的子像素342的中心坐标,通过算术运算获得转换为通过预定转换表达式选择的子像素342的中心坐标的源图像数据上的坐标作为对应坐标。由于具体计算方法一般是已知的,所以在此省略其详细描述。
校正图像产生部分42基于落入具有获得作为中心的源图像数据上对应坐标的源图像数据上的预定范围的像素(可以是多个像素)中的像素值(与在处理S3中选择的子像素342的颜色相对应的像素值的分量),确定在处理S3中选择的子像素342的亮度(S6)。通常,从处理S5获得的对应坐标的值不位于任何像素的中心。因此,此处的亮度的确定是通过对落入具有作为中心的源图像数据上的得到的对应像素的预定范围内的像素中的像素值进行内插来获得的。通常已知的插值(诸如最近邻插值,双线性插值和双三次插值)可用作此插值方法。作为示例,与处理S5和S6相关的算术运算可以通过利用诸如Open CV的软件的镜头畸变校正处理来执行。
校正图像产生部分42针对各个子像素342重复执行从S3到S6的处理。结果,包括在处理S2中选择的像素341中的子像素342的亮度被单独地确定,并确定相关像素341的像素值。也就是说,本实施例的特征之一是使得通过转换源图像数据获得的校正图像数据是基于像素(不是每个像素而是每个子像素)内的位置获得的。
校正图像产生部分42针对各个像素341重复执行从处理S2到处理S6的处理。结果,校正图像产生部分42连续获得包含在校正图像数据中各个像素341的像素值。另外,校正图像产生部分42针对于左眼和右眼执行上述处理,由此产生用于左眼和右眼的一对校正图像数据。
考虑镜头组装误差的处理
另外,在本实施例的示例中,校正图像产生部分42可以进一步获得关于输出装置12设置的一对显示部分34L和34R以及一对镜头35的组装误差的信息,并且可以进一步执行用于基于该信息并行地移动校正图像数据的处理。
也就是说,对于本实施例的输出装置12,在出厂时测量显示部分34L和34R(在下文中,当不必要区分时共同写为显示部分34)和镜头35(对应于在左眼侧的镜头35L和右眼侧的镜头35R中的每一个)的组装误差。测量可以使用通常已知的方法进行。具体来说,该测量如下进行。首先,在组装之后分别显示左眼用图像和右眼用图像的显示部分34L和34R以及镜头35,将在各个显示部分34L和34R的中心位置c处交叉的一对线段(十字)的图像(标记)显示在各个显示部分34L和34R的中心。
接下来,通过使用安装在照相机的光轴与显示部分34L和镜头35L以及显示部分34R和镜头35R的理想组装位置的中心轴A的每个对准的状态下的测量用相机,拍摄显示在各个显示部分34L和34R上的标记。
然后,测量由此拍摄的标记的图像表示的交叉点c从与测量用相机的光轴对应的位置偏移多远。
结果,测量通过镜头35L和35R视觉识别的显示在相应显示部分34L和34R上的图像和视点之间的位置偏移(由显示部分34的坐标表示)。然后,将相关测量结果(关于左眼侧的镜头35L和显示部分34L的集合以及右眼侧的镜头35R和显示部分34R的集合的测量结果)作为关于组装误差的信息存储在存储器部分32中。
另外,输出装置12的控制部分31可以执行用于从外部(诸如信息处理装置11)接收对关于组装误差的信息的请求。然后,响应于该请求,控制部分31读出存储器部分32中存储的关于的组装误差的信息,并将如此读出的关于组装误差的信息发送到作为请求源的信息处理装置11等。
在本实施例的一个例子中,通过以这种方式配置输出装置12,在信息处理装置11中,校正图像产生部分42向输出装置12发送关于组装误差的信息的请求。然后,校正图像产生部分42接收输出装置12响应于有关请求而输出的关于组装误差的信息,并且将关于装配误差的信息存储在存储器部分22中。
然后,校正图像产生部分42从存储器部分22读出关于镜头35L和左眼侧显示部分34L的组装误差的信息,并且将左眼上的校正图像数据并行移动对应于如此读出的误差的信息的量。也就是说,校正图像产生部分42以此方式并行地移动整个用于左眼的校正图像数据,使得要被显示在校正图像数据的显示部分34L的中心的像素变为在用户视线的光轴上的显示部分34L的像素在通过镜头35L视觉识别的位置。因此,校正图像产生部分42获得用于左眼的第二校正图像数据。另外,校正图像产生部分42从存储器部分22读出关于镜头35R和右眼侧显示部分34R的组装误差的信息,并且将右眼上的校正图像数据并行移动对应于如此读出的误差的信息的量。换句话说,校正图像产生部分42以此方式并行地移动整个用于右眼的校正图像数据,使得要被显示在校正图像数据的显示部分34R的中心的像素变为在用户视线的光轴上的显示部分34R的像素在通过镜头35R视觉识别的位置。因此,校正图像产生部分42获得用于右眼的第二校正图像数据。
顺便提及,在此,进一步并行移动通过基于每个子像素的像素内的位置从源图像数据转换而获得的校正图像数据。然而,通过基于各个像素的中心的位置从源图像数据转换而获得的校正图像数据也可以并行移动。
另外,虽然在这里获得校正图像数据之后执行用于并行移动的处理,但是用于并行移动的处理也可以在用于产生校正图像数据的处理的过程中一起执行。
操作
本实施例的信息处理系统包括上述配置,并且如下操作。信息处理装置11的控制部分21确保在存储器部分22中存储对应于游戏处理中产生的用于左眼和右眼的一对源图像数据的校正图像数据的区域。
控制部分21对于一对校正图像数据中的每一个执行以下处理。也就是说,控制部分21连续地选择包含在校正图像数据中的像素内的子像素。控制部分21计算如此选择的子像素的中心坐标。顺便提及,在至少一部分子像素的中心坐标取决于像素而不同的情况下(例如,在如图3(a)和3(b)所例示的情况下,存在两种排列等等),表示各个子像素的中心坐标位于距离像素的中心坐标多远的信息相对于像素被平均化,并且获得各个子像素的平均中心坐标。然后,使用得到的平均中心坐标。
通过算术运算,控制部分21通过用于抵消镜头35的畸变的转换表达式获得将被转换成有关的子像素的中心坐标的源图像数据上的坐标作为对应的坐标。所选择的子像素的亮度基于落入对应的坐标作为源图像数据的中心的预定范围内像素(可以有多个像素)中的像素值(与所选像素的颜色相对应的像素值的分量)来确定。控制部分21对每个子像素或每个像素执行该处理,由此获得校正图像数据中包含的像素的每个子像素的亮度(像素值)。另外,控制部21针对左眼用处理和右眼用处理执行这些处理,由此产生用于左眼和右眼的一对校正图像数据。
控制部分21通过接口部分23将这样产生的一对校正图像数据输出到输出装置12。在输出装置12中,如此输入的用于左眼的校正图像数据显示在用于左眼的显示部分34L上,如此输入的用于右眼的校正图像数据显示在用于右眼的显示部分34R上。
如此显示的这些校正图像数据是通过这样的校正以如上所述消除镜头35的畸变而获得的。如此显示的这些第二校正图像数据通过相应的镜头35L和35R经受镜头35的畸变,使得由校正引起的变形和由畸变引起的变形相互抵消。因此,与源图像数据相对应的图像进入用户的眼睛。
在由本实施例的信息处理装置11产生的校正图像数据中,当子像素的布置例如是图3(a)或图3(b)中描绘的一个时,由于R和G的子像素沿纵向布置,所以R和G的子像素的布置相对于水平线不对称。因此,当将相对于水平线对称的一对图像设置作为源图像数据时,由此得到的校正图像数据成为彼此不同的结果。
此外,信息处理装置11的控制部分21可以执行考虑镜头的组装误差的处理。在这种情况下,控制部分21在产生校正图像数据时向输出装置12发送关于组装误差的信息的请求。控制部分21接收响应于该请求从输出装置12输出的关于组装误差的信息,并且将相关信息存储在存储器部分22中。
然后,控制部分21从存储器部分22中读出关于镜头35L和左眼侧的显示部分34L的组装误差的信息,并且并行移动左眼的校正图像数据对应于关于所读出的误差的信息的量以获得左眼的第二校正图像数据。另外,控制部分21从存储器部分22中读出关于镜头35R和右眼侧的显示部分34R的组装误差的信息,并且并行移动右眼的校正图像数据对应于关于所读出的误差的信息的量以获得右眼的第二校正图像数据。
然后,控制部分21通过接口部分23将如此产生的一对第二校正图像数据输出到输出装置12。在输出装置12中,如此输入的用于左眼的第二校正图像数据显示在用于左眼的显示部分上34L,并且如此输入的用于右眼的第二校正图像数据显示在用于右眼的显示部分34R上。
如此显示的这些第二校正图像数据是通过校正以如上所述消除镜头35的畸变而获得的。如此显示的这些第二校正图像数据通过相应的镜头35L和35R经受镜头35的畸变,使得由校正引起的变形和由畸变引起的变形相互抵消。因此,与源图像数据相对应的图像进入用户的眼睛。另外,在该示例中,即使在组装时显示部分34和镜头35布置在期望位置之外,显示在显示部分34上的图像也以这样的方式被校正,使得原始源图像数据通过镜头35位于用户视线的光轴上。因此,可以为用户提供预期的视角。
修改的改变
在本实施例中,关于输出装置12的显示部分34中的各个像素内的子像素的位置的信息被存储在存储器部分22中。然而,关于子像素的位置的信息,例如也可以在安装输出装置12的驱动器时存储。
在本实施例的另一示例中,当输出装置12被连接时,信息处理装置11可从输出装置12获取关于子像素的位置的信息,并且可将关于子像素的位置的信息存储在存储器部分22。在这个示例中,表示像素内子像素的位置的信息(表示各个子像素342的中心坐标位于距离各个像素341的中心坐标多远的信息,或者表示各个子像素342的中心坐标平均位于距离像素341的中心坐标多远的信息)被存储在输出装置12的显示部分34中。例如,该信息在出厂时等被写入存储器部分32。
然后,当输出装置12的控制部分31从外部(诸如信息处理装置11)接收到对于关于子像素的位置的信息的请求时,响应于相关请求,控制部分31输出关存储在存储器部分32中关于子像素的位置的信息到作为请求源的信息处理装置11。
在该示例中,在输出装置12被连接等的定时信息处理装置11在用于产生校正图像数据的处理被执行之前的阶段中,从输出装置12获取关于子像素的位置的信息,并且将关于子像素的位置的信息存储在存储器部分22中。信息处理装置11使用关于用于产生校正图像数据的处理中的子像素的位置的信息。
顺便提及,即使在该示例中,即使该请求被输出到输出装置12,也可能没有获取关于子像素的位置的信息,用于产生校正图像数据的处理可以在所有子像素的中心坐标位于源图像数据的各个像素的中心的假设下执行。在这种情况下,具体而言,由于可以使用过去已经普遍的图像变形处理,因此在此省略详细描述。
另外,在到目前为止的描述中,当执行考虑显示器或镜头的组装误差的处理时,输出装置12响应于该请求,将在出厂时已经写入的关于镜头35的组装误差的信息发送到信息处理装置11。然而,本实施例决不限于此。
也就是说,在本实施例中,输出装置12可以设置有用于测量镜头35的光轴和相应的显示部分34的中心之间的位置偏移的装置。具体地,一般已知的自动准直器可用作此设备。顺便提及,在本实施例中,组装误差的测量可以是用于测量相对于理想光轴的位置偏移的测量,或者可以是用于测量镜头的光轴与显示部分34的中心之间的相对位置偏移的测量。
在该示例中,替代响应于来自外部(例如信息处理装置11)的对于关于组装误差的信息的请求,读出存储在存储器部分32中的关于组装误差的信息,输出装置12的控制部分31测量镜头35L和35R的光轴和相应的显示部分34L和34R的中心之间的位置偏移,并将关于如此测量的组装误差的信息输出到作为请求源的信息处理装置11等。
[附图标记列表]
10信息处理系统,11信息处理装置,12输出装置,21、31控制部分,22、32存储器部分,23接口部分,33I/O接口部分,34显示部分,35镜头,41源图像接收部分,42校正图像产生部分,43输出部分,341像素,342子像素。

Claims (6)

1.一种信息处理系统,包括:
输出装置,其具有包括每个像素的多个子像素的显示部分,所述输出装置用于通过镜头将所述显示部分上显示的图像呈现给用户;以及
信息处理装置,连接到所述输出装置,用于产生要在所述显示部分上显示的图像;
其中,所述信息处理装置包括
用于接收成为显示对象的源图像数据的部件,
用于产生校正图像数据的校正部件,所述校正图像数据是通过基于接收到的所述源图像数据,通过以预定的转换表达式校正包括在所述输出装置中的镜头的畸变而获得的,所述校正部件用于对于构成所述校正图像数据的各个像素,通过关于包含在所述像素中的每个子像素的子像素的位置的信息以及所述转换表达式,通过算术运算获得所述源图像数据上的对应像素,并且通过基于每个子像素获得的源图像上的像素的像素值确定各个子像素的亮度,产生所述校正图像数据,以及
输出部件,用于将产生的校正图像数据输出到所述输出装置。
2.一种信息处理装置,其设置有包括每个像素的多个子像素的显示部分,所述信息处理装置连接到输出装置,所述输出装置通过镜头将在所述显示部分上显示的图像呈现给用户,并且所述信息处理装置用于产生要被显示在所述显示部分上的图像,所述信息处理装置包括:
用于接收成为显示对象的源图像数据的部件,
用于产生校正图像数据的校正部件,所述校正图像数据是通过基于接收到的所述源图像数据,通过以预定的转换表达式校正包括在所述输出装置中的镜头的畸变而获得的,所述校正部件用于对于构成所述校正图像数据的各个像素,通过关于包含在所述像素中的每个子像素的子像素的位置的信息以及所述转换表达式,通过算术运算获得所述源图像数据上的对应像素,并且通过基于每个子像素获得的源图像上的像素的像素值确定各个子像素的亮度,产生所述校正图像数据,以及
输出部件,用于将产生的校正图像数据输出到所述输出装置。
3.根据权利要求2所述的信息处理装置,
其中,包括在所述输出装置中的所述显示部分的像素包括子像素的位置彼此不同的多种像素,并且
所述校正部件利用表示所述多种像素的每个子像素的位置的平均位置的信息作为关于所述子像素的位置的信息,产生所述校正图像数据。
4.一种输出装置,包括:
显示部分,其包括每个像素的多个子像素;
布置在所述显示部分和用户的眼睛之间的镜头;
用于保存表示所述像素内的子像素的位置的信息的部件;以及
用于响应于请求发送表示保存的所述子像素的位置的信息的部件。
5.一种程序,信息处理装置设置有包括每个像素的多个子像素的显示部分,所述信息处理装置连接到输出装置,所述输出装置通过镜头将所述显示部分上显示的图像呈现给用户,并且所述信息处理装置用于产生要在所述显示部分上显示的图像,根据所述程序所述信息处理装置用作:
用于接收成为显示对象的源图像数据的部件,
用于产生校正图像数据的校正部件,所述校正图像数据是通过基于接收到的所述源图像数据,通过以预定的转换表达式校正包括在所述输出装置中的镜头的畸变而获得的,所述校正部件用于对于构成所述校正图像数据的各个像素,通过关于包含在所述像素中的每个子像素的子像素的位置的信息以及所述转换表达式,通过算术运算获得所述源图像数据上的对应像素,并且通过基于每个子像素获得的源图像上的像素的像素值确定各个子像素的亮度,产生所述校正图像数据,以及
输出部件,用于将产生的校正图像数据输出到所述输出装置。
6.一种用于存储程序的计算机可读记录介质,信息处理装置设置有包括每个像素的多个子像素的显示部分,所述信息处理装置连接到输出装置,所述输出装置通过镜头将所述显示部分上显示的图像呈现给用户,并且所述信息处理装置用于产生要在所述显示部分上显示的图像,根据所述程序所述信息处理装置用作:
用于接收成为显示对象的源图像数据的部件,
用于产生校正图像数据的校正部件,所述校正图像数据是通过基于接收到的所述源图像数据,通过以预定的转换表达式校正包括在所述输出装置中的镜头的畸变而获得的,所述校正部件用于对于构成所述校正图像数据的各个像素,通过关于包含在所述像素中的每个子像素的子像素的位置的信息以及所述转换表达式,通过算术运算获得所述源图像数据上的对应像素,并且通过基于每个子像素获得的源图像上的像素的像素值确定各个子像素的亮度,产生所述校正图像数据,以及
输出部件,用于将产生的校正图像数据输出到所述输出装置。
CN201680050436.9A 2015-09-07 2016-05-19 信息处理系统、信息处理装置、输出装置、程序和记录介质 Pending CN107925792A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-175861 2015-09-07
JP2015175861 2015-09-07
PCT/JP2016/064869 WO2017043125A1 (ja) 2015-09-07 2016-05-19 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
CN107925792A true CN107925792A (zh) 2018-04-17

Family

ID=58239383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680050436.9A Pending CN107925792A (zh) 2015-09-07 2016-05-19 信息处理系统、信息处理装置、输出装置、程序和记录介质

Country Status (5)

Country Link
US (1) US10930185B2 (zh)
EP (1) EP3349475B1 (zh)
JP (1) JP6424277B2 (zh)
CN (1) CN107925792A (zh)
WO (1) WO2017043125A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113454702A (zh) * 2019-02-14 2021-09-28 脸谱科技有限责任公司 多投影仪显示架构

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020014881A1 (zh) * 2018-07-17 2020-01-23 华为技术有限公司 一种图像校正方法和终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049831A (ja) * 2007-08-22 2009-03-05 Funai Electric Co Ltd 表示出力装置
CN101467140A (zh) * 2006-06-06 2009-06-24 微软公司 遥控分辨子像素的字符
JP2010103886A (ja) * 2008-10-27 2010-05-06 Seiko Epson Corp 画像処理装置、画像表示装置及び画像処理方法
JP2010230898A (ja) * 2009-03-26 2010-10-14 Brother Ind Ltd カラー画像表示装置
JP2011139158A (ja) * 2009-12-25 2011-07-14 Canon Inc 画像処理装置および画像処理方法
CN103313079A (zh) * 2012-03-15 2013-09-18 索尼公司 显示装置、图像处理装置、图像处理方法和计算机程序

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3120767B2 (ja) 1998-01-16 2000-12-25 日本電気株式会社 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体
JP2001147486A (ja) 1999-11-19 2001-05-29 Olympus Optical Co Ltd 映像表示装置
KR100341149B1 (ko) 1999-11-24 2002-06-20 이준욱 헤드 마운트 디스플레이용 광학 시스템
JP2004233869A (ja) 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
US7813585B2 (en) * 2003-07-28 2010-10-12 Olympus Corporation Image processing apparatus, image processing method, and distortion correcting method
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
JP4657367B2 (ja) * 2007-05-09 2011-03-23 富士通セミコンダクター株式会社 画像処理装置、撮像装置、および画像歪み補正方法
JP4987810B2 (ja) 2008-07-09 2012-07-25 株式会社東芝 三次元画像表示装置の検査装置及び三次元画像表示装置の製造方法
JP5341462B2 (ja) 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
CN102053367B (zh) 2010-09-28 2012-07-04 中航华东光电有限公司 双目头盔显示器图像校准方法
EP2819402A4 (en) 2012-02-22 2016-02-24 Sony Corp DISPLAY DEVICE, IMAGE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND COMPUTER PROGRAM
JP5907250B2 (ja) 2012-03-22 2016-04-26 ソニー株式会社 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP5990998B2 (ja) 2012-04-23 2016-09-14 セイコーエプソン株式会社 虚像表示装置
KR102247831B1 (ko) 2014-02-06 2021-05-04 삼성전자 주식회사 변형 가능한 디스플레이를 포함하는 전자 장치 및 그의 운용 방법
TWI511086B (zh) * 2014-04-18 2015-12-01 Altek Semiconductor Corp 鏡頭失真校正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467140A (zh) * 2006-06-06 2009-06-24 微软公司 遥控分辨子像素的字符
JP2009049831A (ja) * 2007-08-22 2009-03-05 Funai Electric Co Ltd 表示出力装置
JP2010103886A (ja) * 2008-10-27 2010-05-06 Seiko Epson Corp 画像処理装置、画像表示装置及び画像処理方法
JP2010230898A (ja) * 2009-03-26 2010-10-14 Brother Ind Ltd カラー画像表示装置
JP2011139158A (ja) * 2009-12-25 2011-07-14 Canon Inc 画像処理装置および画像処理方法
CN103313079A (zh) * 2012-03-15 2013-09-18 索尼公司 显示装置、图像处理装置、图像处理方法和计算机程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113454702A (zh) * 2019-02-14 2021-09-28 脸谱科技有限责任公司 多投影仪显示架构
CN113454702B (zh) * 2019-02-14 2024-07-16 元平台技术有限公司 多投影仪显示架构

Also Published As

Publication number Publication date
EP3349475A1 (en) 2018-07-18
EP3349475A4 (en) 2019-01-09
EP3349475B1 (en) 2023-11-15
WO2017043125A1 (ja) 2017-03-16
JP6424277B2 (ja) 2018-11-14
US10930185B2 (en) 2021-02-23
US20180247579A1 (en) 2018-08-30
JPWO2017043125A1 (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
CN111869202B (zh) 用于减少自动立体显示器上的串扰的方法
AU2018389234A1 (en) Method for calibrating an augmented reality device
JPWO2013073028A1 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
JP6545270B2 (ja) 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体
US11721062B2 (en) Method for processing images, near-eye display device, computer device, and storage medium
EP3929900A1 (en) Image generation device, head-mounted display, and image generation method
US10650507B2 (en) Image display method and apparatus in VR device, and VR device
CN110662012A (zh) 一种裸眼3d显示效果优化的排图方法、系统及电子设备
US20220113543A1 (en) Head-mounted display and image display method
CN108307185B (zh) 裸眼3d显示设备及其显示方法
CN107925792A (zh) 信息处理系统、信息处理装置、输出装置、程序和记录介质
US11659157B2 (en) Systems for measuring naked-eye stereoscopic image, methods and apparatuses for processing image and display devices
CN116527860A (zh) 用于校准双目显示设备的方法
CN111869203B (zh) 用于减少自动立体显示器上的莫尔图案的方法
KR20130051709A (ko) 스테레오 카메라 모듈
JPWO2020170456A1 (ja) 表示装置および画像表示方法
JP6887824B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2014119555A1 (ja) 画像処理装置、表示装置及びプログラム
JP6932526B2 (ja) 画像表示装置、画像表示方法及びプログラム
KR20170098235A (ko) 자동 입체영상 디스플레이들의 크로스토크를 감소시키기 위한 방법, 장치, 및 시스템
TWI503788B (zh) 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
CN116793642A (zh) 成像测试方法、装置及计算机可读存储介质
CN118411968A (zh) 一种灰阶值补偿方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180417

RJ01 Rejection of invention patent application after publication