CN101810004A - 显示装置 - Google Patents

显示装置 Download PDF

Info

Publication number
CN101810004A
CN101810004A CN200880109621A CN200880109621A CN101810004A CN 101810004 A CN101810004 A CN 101810004A CN 200880109621 A CN200880109621 A CN 200880109621A CN 200880109621 A CN200880109621 A CN 200880109621A CN 101810004 A CN101810004 A CN 101810004A
Authority
CN
China
Prior art keywords
image
rectangular area
unit
mentioned
subregion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880109621A
Other languages
English (en)
Inventor
都丸义广
原田雅之
藤本仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN101810004A publication Critical patent/CN101810004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

设置:在通过宽视场照相机(1)拍摄的摄像区域中,确定与通过照相机(2a~2f)拍摄的部分区域对应的区域的多个匹配部(15);将通过照相机(2a~2f)拍摄的部分区域的图像投影到通过匹配部(15)确定的区域的图像空间的投影变换部(17);对通过投影变换部(17)投影的多个部分区域的图像的重复区域进行合成的重复区域合成部(19);以及将合成后的图像分割成多个矩形区域的矩形区域分割部(20),多个失真校正部(22)与通过矩形区域分割部(20)分割的矩形区域对应地,对通过照相机(2a~2f)拍摄的部分区域的图像的失真进行校正,将校正后的图像显示在显示器(5a~5f)中。

Description

显示装置
技术领域
本发明涉及显示高分辨率的宽视场图像的显示装置。
背景技术
随着大画面显示器的发展,需要大画面的影像内容。
在以往的显示装置中,使用多个照相机,以使各个摄像区域重复的方式拍摄广域,从而生成宽视场并且高分辨率的图像,并将该图像显示在显示器中。
作为生成宽视场并且高分辨率的图像的方法,例如,进行利用鱼眼(fisheye)照相机那样的宽视场照相机拍摄的图像、与利用多个一般照相机详细拍摄的图像(拍摄了宽视场照相机的摄像区域的部分区域的图像)的匹配,将利用多个一般照相机拍摄的图像合入到利用宽视场照相机拍摄的图像那样地进行变形(例如,参照专利文献1)。
由此,可以高分辨率地生成与宽视场图像等同的图像。
但是,以往的显示装置将宽视场并且高分辨率的图像显示在1个显示器中,而并非显示在由多个显示器构成的多显示器(multi-display)中。
因此,在对图像进行大画面显示的情况下,画面区域显示在大的显示器中,但由于在显示器的分辨率中存在技术性界限(当前市场中出现的显示器的分辨率一般顶多以1920×1080为基准),在高分辨率显示存在界限。
专利文献1:日本特开2004-135209号公报(段落号码[0008]、图1)
由于以往的显示装置如上所述构成,所以可以生成宽视场并且高分辨率的图像并显示在显示器中。但是,该图像显示在1个显示器中,而并非显示在由多个显示器构成的多显示器中。因此,在对图像进行大画面显示的情况下,画面区域显示在大的显示器中,但由于在显示器的分辨率中存在技术性界限,所以具有在高分辨率显示中存在界限等课题。
发明内容
本发明是为了解决上述那样的课题而完成的,其目的在于得到一种可以对宽视场并且高分辨率的图像进行大画面显示的显示装置。
本发明的显示装置具备:多个区域确定单元,在通过宽视场摄像单元拍摄的摄像区域中,确定与通过部分摄像单元拍摄的部分区域对应的区域;图像投影单元,将通过多个部分摄像单元拍摄的部分区域的图像投影到通过区域确定单元确定的区域的图像空间;以及矩形区域分割单元,对通过图像投影单元投影的多个部分区域的图像的重复区域进行合成,将合成后的图像分割成多个矩形区域,多个失真校正单元与通过矩形区域分割单元分割的矩形区域对应地,对通过部分摄像单元拍摄的部分区域的图像的失真进行校正,将校正后的图像显示在显示器中。
由此,具有可以对宽视场并且高分辨率的图像进行大画面显示等效果。
附图说明
图1是示出本发明的实施方式1的显示装置的结构图。
图2是示出本发明的实施方式1的显示装置的处理内容的流程图。
图3是示出照相机2a~2f、第2图像处理装置4a~4f以及显示器5a~5f的位置关系的说明图。
图4是示出将利用照相机2a~2f拍摄的部分区域的图像投影变换成利用匹配部15确定的区域的图像空间(在利用宽视场照相机1拍摄的摄像区域中,与该部分区域对应的区域的图像空间)的样子的说明图。
图5是示出重复区域的一个例子的说明图。
图6是示出合成行方向的重复区域的样子的说明图。
图7是示出重复区域的交叉区域的说明图。
图8是示出制作矩形区域的样子的说明图。
图9是示出本发明的实施方式2的显示装置的结构图。
图10是示出本发明的实施方式2的显示装置的处理内容的流程图。
图11是示出可以成为基准点的点的说明图。
图12是示出矩形搜索处理中的扫描结束的说明图。
具体实施方式
以下,为了更详细地说明本发明,按照附图,对用于实施本发明的最佳方式进行说明。
(实施方式1)
图1是示出本发明的实施方式1的显示装置的结构图,在图中,宽视场照相机1相当于例如赋予了广角透镜的一般的数字摄像机等,以宽视场对规定的摄像区域进行拍摄。另外,宽视场照相机1构成宽视场摄像单元。
照相机2a、2b、2c、2d、2e、2f相当于视场比宽视场照相机1窄的一般的数字摄像机,对通过宽视场照相机1拍摄的摄像区域中的各个部分区域进行拍摄。另外,照相机2a、2b、2c、2d、2e、2f构成部分摄像单元。
第1图像处理装置3取得通过宽视场照相机1拍摄的摄像区域的图像,实施规定的图像处理。
第2图像处理装置4a、4b、4c、4d、4e、4f实施如下处理:取得通过照相机2a、2b、2c、2d、2e、2f拍摄的部分区域的图像,校正该部分区域的图像的失真并显示在显示器5a、5b、5c、5d、5e、5f中的处理。
在图1的例子中,示出了第2图像处理装置4a的内部结构,但第2图像处理装置4b、4c、4d、4e、4f的内部结构与第2图像处理装置4a的内部结构相同。
另外,第1图像处理装置3以及第2图像处理装置4a、4b、4c、4d、4e、4f的各结构要素也可以通过专用的硬件构成,但也可以设为通过一般的通用个人计算机构成第1图像处理装置3以及第2图像处理装置4a、4b、4c、4d、4e、4f,将记述有各结构要素的处理内容的程序存储在通用个人计算机的存储器中,通用个人计算机的CPU执行该程序。
第1图像处理装置3的图像取得部11实施取得通过宽视场照相机1拍摄的摄像区域的图像,并将该图像写入到图像存储器12的处理。
第1图像处理装置3的图像存储器12是存储通过宽视场照相机1拍摄的摄像区域的图像的存储器。
第2图像处理装置4a的图像取得部13实施取得通过照相机2a拍摄的部分区域的图像,并将该图像写入到图像存储器14的处理。
第2图像处理装置4a的图像存储器14是存储通过照相机2a拍摄的部分区域的图像的存储器。
第2图像处理装置4a的匹配部15实施在通过宽视场照相机1拍摄的摄像区域中确定与通过照相机2a拍摄的部分区域对应的区域的匹配处理,即实施从存储在图像存储器12中的摄像区域的图像以及存储在图像存储器14中的部分区域的图像中分别抽出特征点,搜索存在对应关系的特征点,从而确定与该部分区域对应的区域的匹配处理。
第2图像处理装置4a的投影变换信息计算部16实施计算在将通过照相机2a拍摄的部分区域的图像投影到通过匹配部15确定的区域的图像空间时使用的投影变换信息的处理。
另外,由匹配部15以及投影变换信息计算部16构成区域确定单元。
第1图像处理装置3的投影变换部17实施使用通过第2图像处理装置4a、4b、4c、4d、4e、4f的投影变换信息计算部16计算的投影变换信息,将多个部分区域的图像投影到对应的区域的图像空间的处理。另外,投影变换部17构成图像投影单元。
第1图像处理装置3的重复区域搜索部18实施搜索通过投影变换部17投影的多个部分区域的图像的重复区域的处理。
第1图像处理装置3的重复区域合成部19实施合成通过重复区域搜索部18搜索到的多个部分区域的图像的重复区域的处理。
第1图像处理装置3的矩形区域分割部20实施将通过重复区域合成部19合成后的图像分割成多个矩形区域的处理。
另外,由重复区域搜索部18、重复区域合成部19以及矩形区域分割部20构成矩形区域分割单元。
第2图像处理装置4a的失真校正参数表制作部21实施根据通过矩形区域分割部20分割的矩形区域,从通过投影变换信息计算部16计算的投影变换信息制作失真校正参数表的处理。
第2图像处理装置4a的失真校正部22实施参照通过失真校正参数表制作部21制作的失真校正参数表,对存储在图像存储器14中的部分区域的图像的失真进行校正,将校正后的图像显示在显示器5a中的处理。
另外,由失真校正参数表制作部21以及失真校正部22构成失真校正单元。
图2是示出本发明的实施方式1的显示装置的处理内容的流程图。
接下来对动作进行说明。
本实施方式1中的宽视场照相机1是对一般的数字摄像机附加了广角透镜的照相机,假设分辨率是例如1920×1080。
照相机2a、2b、2c、2d、2e、2f如图3所示,配置成对宽视场照相机1的摄像区域中的各个部分区域进行拍摄,该配置设定成例如以纵2×横3粗略地排列。假设照相机2a、2b、2c、2d、2e、2f的分辨率是1920×1080。
另外,显示器5a、5b、5c、5d、5e、5f如图3所示,配置成以纵2×横3格子状地排列,该配置与通过照相机2a、2b、2c、2d、2e、2f拍摄的部分区域的位置相对地一致。假设显示器5a、5b、5c、5d、5e、5f的分辨率是1920×1080。
但是,即使不相关地设定了照相机2a~2f的分辨率与显示器5a~5f的分辨率,也没有问题。
在本实施方式1中,示出了照相机、第2图像处理装置以及显示器的台数分别是6台的情况,但只要不破坏相互的位置关系,则没有限制而还可以增加台数而构成。
在初始状态中,由于没有制作对通过照相机2a~2f拍摄的图像的失真进行校正的校正参数(步骤ST1),所以开始校正参数的制作处理。
首先,宽视场照相机1以宽视场对规定的摄像区域进行拍摄(步骤ST2),并将该摄像区域的图像输出给第1图像处理装置3。
第1图像处理装置3的图像取得部11实施取得从宽视场照相机1输出的摄像区域的图像,将该图像写入到图像存储器12中的处理。
照相机2a~2f也与宽视场照相机1同时,对各个部分区域进行拍摄(步骤ST2),将该部分区域的图像输出给第2图像处理装置4a~4f。
第2图像处理装置4a~4f的图像取得部13实施取得从照相机2a~2f输出的部分区域的图像,将该图像写入到图像存储器14中的处理。
第2图像处理装置4a~4f的匹配部15从第1图像处理装置3的图像存储器12中收集通过宽视场照相机1拍摄的摄像区域的图像(步骤ST3)。
另外,匹配部15实施在通过宽视场照相机1拍摄的摄像区域中确定与通过照相机2a~2f拍摄的部分区域对应的区域的匹配处理,即实施从通过宽视场照相机1拍摄的摄像区域的图像以及存储在图像存储器14中的部分区域的图像中分别抽出特征点,搜索存在对应关系的特征点,从而确定与该部分区域对应的区域的匹配处理(步骤ST4)。
匹配处理是从各个图像抽出特征点,将具有相似的信息的特征点彼此视为同一点的方法。
例如,通过SIFT(Scale-invariant feature transform)这样的方法,抽出通过宽视场照相机1拍摄的摄像区域的图像以及通过照相机2a~2f拍摄的部分区域的图像的特征点作为128维的矢量,将欧几里得距离小的特征点彼此视为同一点,从而进行匹配。
另外,特征点的抽出方法也可以不是SIFT,而例如,既可以利用使用Harris算子的检测法,也可以通过“Speeded up robust features”等特征点抽出法来代替。
第2图像处理装置4a~4f的投影变换信息计算部16计算出在将通过照相机2a~2f拍摄的部分区域的图像投影到通过匹配部15确定的区域的图像空间(在通过宽视场照相机1拍摄的摄像区域中,与该部分区域对应的区域的图像空间)时使用的投影变换信息(步骤ST5)。即,计算从照相机2a~2f的图像空间向宽视场照相机1的图像空间的坐标变换信息(投影变换信息)。例如,计算通过平面投影变换进行的坐标变换信息(投影变换信息)。
平面投影变换可以用3×3的矩阵表现,已知如果变换前的坐标与变换后的坐标的对应是4组以上,则可以计算坐标变换信息(投影变换信息)。
因此,如果可以从匹配部15取得4点以上的匹配信息(被视为同一点的特征点的组),则可以计算从照相机2a~2f的图像空间向宽视场照相机1的图像空间的坐标变换信息(投影变换信息)。
另外,从匹配部15输出的匹配信息有时包含大量误差,如果将该匹配信息应用于平面投影变换的计算,则坐标变换的精度有时恶化。
因此,在投影变换信息计算部16通过平面投影变换计算坐标变换信息(投影变换信息)时,优选的是通过加上Robust的方法(例如,最小二乘法、M推测法、“Random Sample Consensus”)进行计算,而提高坐标变换的精度。
此处,虽然示出了通过平面投影变换计算坐标变换信息(投影变换信息)的情况,但不限于此,例如,也可以通过欧几里得空间中的放大缩小或平行移动等线性变换、或者仿射变换等一般的变换,来计算坐标变换信息(投影变换信息)。
第1图像处理装置3的投影变换部17收集通过第2图像处理装置4a、4b、4c、4d、4e、4f的投影变换信息计算部16计算的投影变换信息(步骤ST6)。
另外,投影变换部17使用通过第2图像处理装置4a、4b、4c、4d、4e、4f的投影变换信息计算部16计算的投影变换信息,将多个部分区域的图像投影到对应的区域的图像空间(步骤ST7)。
图4是示出将通过照相机2a~2f拍摄的部分区域的图像投影变换到通过匹配部15确定的区域的图像空间(在通过宽视场照相机1拍摄的摄像区域中,与该部分区域对应的区域的图像空间)的样子的说明图。
对于投影,如果通过所发送的6个投影变换分别对照相机2a~2f的图像空间的端点的4坐标、即(0、0)、(1919、0)、(0、1079)、(1919、1079)进行变换,则可以求出宽视场照相机1的图像空间中的坐标值。
另外,将图像的最左上方设为(0、0),越向水平右方、垂直下方移行,则坐标值越增加。
如果投影变换部17将多个部分区域的图像投影到对应的区域的图像空间,则第1图像处理装置3的重复区域搜索部18搜索投影后的多个部分区域的图像(6个区域的图像)中的重复区域(步骤ST8)。
图5是示出重复区域的一个例子的说明图。
针对上下左右相邻的每两个区域,搜索重复区域。
如图5(a)所示,在2个区域上下重复的情况下,将如下区域作为重复区域进行搜索:从在上矩形的下侧的边中位于最上方的点的y坐标,到在下矩形的上侧的边中位于最下方的点的y坐标之间。
另外,如图5(b)所示,在2个区域左右重复的情况下,将如下区域作为重复区域进行搜索:从在左矩形的右侧的边中位于最左侧的点的x坐标,到在右矩形的左侧的边中位于最右侧的点的x坐标之间。
如果重复区域搜索部18搜索出所有重复区域,则第1图像处理装置3的重复区域合成部19合成纵横排列的重复区域彼此(步骤ST9)。针对重复区域的每行或每列,实施重复区域彼此的合成。
图6是示出合成行方向的重复区域的样子的说明图。
如果重复区域合成部19合成了重复区域,则第1图像处理装置3的矩形区域分割部20将合成后的图像分割成多个矩形区域(步骤ST10)。
矩形区域分割部20的具体的处理内容如下所述。
首先,矩形区域分割部20如图7所示,求出通过重复区域合成部19合成的重复区域的交叉区域,选出任意的相邻的2个交叉区域。
交叉区域在纵2×横3面的显示器结构的情况下,仅有2个,而一般在纵m×横n面的显示器结构的情况下,有(m-1)×(n-1)个交叉区域,所以在其中选出2个相邻的区域。
从选出的2个交叉区域各自中分别选出1个点,以这些点为基准点。
对于该基准点,在交叉区域横向相邻的情况下,需要y坐标相同,在纵向相邻的情况下,需要x坐标相同。
接下来,矩形区域分割部20根据基准点制作出显示器数的量的矩形区域。
图8是示出制作矩形区域的样子的说明图。
在该矩形区域的制作中,将2个基准点间的线段作为1边,与显示器5a~5f的长宽比相应地制作矩形区域,将该矩形区域配置成与显示器5a~5f的配置同样地铺满。
此处,由于显示器5a~5f的分辨率是1920×1080,所以以保持16∶9的方式确保矩形。
在矩形区域分割部20中,在制作了多个矩形区域时,如果满足4个矩形交叉的点全都包含在交叉区域中,并且,矩形区域的整体不从照相机区域超出的条件,则将这些矩形区域作为最终的分割矩形信息而输出。
在不满足上述条件的情况下,再次重新选出2个基准点而进行同样的处理。
将这样得到的分割的矩形信息发送到第2图像处理装置4a~4f(步骤ST11)。
另外,分割的矩形信息是矩形的左上方的坐标值与右下方的坐标值这2个。
第2图像处理装置4a~4f的失真校正参数表制作部21如果从矩形区域分割部20接收到分割的矩形信息,则使用该矩形信息,根据通过投影变换信息计算部16计算的投影变换信息制作失真校正参数表(步骤ST12)。
失真校正参数表制作部21的具体的处理内容如下所述。
首先,失真校正参数表制作部21使用从矩形区域分割部20发送的矩形信息与显示器5a~5f的4个角部的坐标信息,求出从显示器5a~5f的坐标系向宽视场照相机1的图像坐标系的投影变换P。
具体而言,将显示器5a~5f的4点(0、0)、(1919、0)、(0、1079)、(1919、1079)、与分割矩形区域的4点(dsx、dsy)、(dex、dsy)、(dsx、dey)、(dex、dey)作为分别对应的点而求出投影变换P。
接下来,失真校正参数表制作部21求出通过投影变换信息计算部16计算的投影变换信息的逆变换,求出从宽视场照相机1的图像坐标系向照相机2a~2f的图像坐标系的投影变换invH。
接下来,失真校正参数表制作部21求出投影变换invH与投影变换P的合成变换invH·P。
另外,合成变换invH·P相当于从显示器5a~5f的坐标系向照相机2a~2f的图像坐标系的投影变换。
通过使用该合成变换invH·P,可以校正通过照相机2a~2f拍摄的图像的失真,并显示在显示器5a~5f中。
用表制作校正参数,使合成变换invH·P针对(0、0)~(1919、1079)的显示器5a~5f的所有坐标发挥作用,从而可以得知显示器5a~5f的所有像素应参照照相机2a~2f的哪个像素。
如果失真校正参数表制作部21制作了失真校正参数表,则第2图像处理装置4a~4f的失真校正部22参照该失真校正参数表,对存储在图像存储器14中的部分区域的图像的失真进行校正(步骤ST13、ST14),并将校正后的图像显示在显示器5a~5f中(步骤ST15)。
由此,可以在显示器5a~5f中以高分辨率显示与通过宽视场照相机1拍摄的图像等同的内容的图像。
另外,如果制作了一次校正参数表,则只要没有改变照相机1、2a~2f、显示器5a~5f的设定,就可以继续使用相同的校正参数表,所以以后,无需每当照相机2a~2f对部分区域进行拍摄就实施制作校正参数表的处理,而可以将失真校正后的图像显示在显示器5a~5f中。
如上所述,根据本实施方式1,构成为设置:在通过宽视场照相机1拍摄的摄像区域中,确定与通过照相机2a~2f拍摄的部分区域对应的区域的多个匹配部15;将通过照相机2a~2f拍摄的部分区域的图像投影到通过匹配部15确定的区域的图像空间的投影变换部17;对通过投影变换部17投影的多个部分区域的图像的重复区域进行合成的重复区域合成部19;以及将合成后的图像分割成多个矩形区域的矩形区域分割部20,多个失真校正部22与通过矩形区域分割部20分割的矩形区域对应地,对通过照相机2a~2f拍摄的部分区域的图像的失真进行校正,将校正后的图像显示在显示器5a~5f中,所以起到可以对宽视场并且高分辨率的图像进行大画面显示的效果。
即,不限制显示器的结构、个数,而可以容易地进行失真校正后的图像的显示,起到可以进行对显示器的分辨率没有限制的高分辨率显示的效果。
(实施方式2)
图9是示出本发明的实施方式2的显示装置的结构图,在图中,与图1相同的标号表示同一或相当部分,所以省略说明。
矩形区域积蓄部23积蓄通过矩形区域分割部20分割的矩形区域。另外,矩形区域积蓄部23构成矩形区域积蓄单元。
矩形区域选择部24从通过矩形区域积蓄部23积蓄的矩形区域中,选择与规定的条件(例如,选择最大的矩形区域的条件、选择最小的矩形区域的条件、选择最接近通过宽视场照相机1拍摄的摄像区域的中心的矩形区域的条件)符合的矩形区域,将该矩形区域的矩形信息输出给第2图像处理装置4a~4f的失真校正参数表制作部21。另外,矩形区域选择部24构成矩形区域选择单元。
图10是示出本发明的实施方式2的显示装置的处理内容的流程图。
接下来,对动作进行说明。
其中,除了设置矩形区域积蓄部23以及矩形区域选择部24以外,与上述实施方式1相同,所以主要对矩形区域积蓄部23以及矩形区域选择部24的动作进行说明。
在上述实施方式1中,矩形区域分割部20从2个交叉区域分别选出1点即合计2个基准点,判断可否分割矩形,但在本实施方式2中,以1个交叉区域的最左上方的点为第1个基准点,对可以成为第2个相邻的交叉区域上的基准点的点全部进行扫描,针对每个点判断可否分割矩形。
对于可以成为基准点的点,与上述实施方式1同样地,在交叉区域横向相邻的情况下,需要y坐标相同,在纵向相邻的情况下,需要x坐标相同。
图11是示出可以成为基准点的点的说明图。
矩形区域分割部20在扫描的过程中,如果可以进行矩形分割,则作为进行分割的矩形区域的矩形信息,将该矩形区域的坐标值存储在矩形积蓄部23中。可否分割矩形的判断与上述实施方式1相同,所以省略详细的说明。
如果在可以取第2个基准点的范围内的扫描结束,可否分割矩形的判断结束,则接下来进行使第1个基准点移动1个像素,使第2个基准点移动这样的同样的处理。
如果依次实施上述处理而在第1个基准点所属的交叉区域内的所有点中矩形分割的判断结束,则矩形区域分割部20中的矩形搜索处理结束(参照图12)。
如果矩形区域分割部20中的矩形搜索处理结束(步骤ST21),则在矩形区域积蓄部23中,积蓄多个矩形区域的矩形信息(步骤ST22)。
矩形区域选择部24从通过矩形区域积蓄部23积蓄的矩形区域中,选择例如与选择最大的矩形区域的条件符合的矩形区域(步骤ST23),将该矩形区域的矩形信息输出给第2图像处理装置4a~4f的失真校正参数表制作部21(步骤ST11)。
作为最大的矩形区域的选择方法,考虑在多个矩形区域中,对矩形区域的横向的长度进行比较,而选出最大的区域等。
此处,示出了选择最大的矩形区域的情况,但不限于此,例如,也可以设定选择最小的矩形区域的条件、选择最接近通过宽视场照相机1拍摄的摄像区域的中心的矩形区域的条件,从而选择最小的矩形区域、最接近上述摄像区域的中心的矩形区域。
另外,也可以设为选择确保为最左端的矩形区域、确保为最右端的矩形区域等。
(产业上的可利用性)
如上所述,本发明的显示装置适合于在大画面上显示高分辨率的宽视场图像等。

Claims (5)

1.一种显示装置,其特征在于,具备:
宽视场摄像单元,对规定的摄像区域进行拍摄;
多个部分摄像单元,对通过上述宽视场摄像单元拍摄的摄像区域中的各个部分区域进行拍摄;
多个区域确定单元,在通过上述宽视场摄像单元拍摄的摄像区域中,确定与通过上述部分摄像单元拍摄的部分区域对应的区域;
图像投影单元,将通过上述多个部分摄像单元拍摄的部分区域的图像投影到通过上述区域确定单元确定的区域的图像空间;
矩形区域分割单元,对通过上述图像投影单元投影的多个部分区域的图像的重复区域进行合成,将合成后的图像分割成多个矩形区域;以及
多个失真校正单元,与通过上述矩形区域分割单元分割的矩形区域对应地,对通过上述部分摄像单元拍摄的部分区域的图像的失真进行校正,将校正后的图像显示在显示器中。
2.根据权利要求1所述的显示装置,其特征在于,
图像投影单元在将通过多个部分摄像单元拍摄的部分区域的图像投影到对应的区域的图像空间时,针对上述部分区域的图像,向对应的区域的图像空间进行平面投影变换、线性变换或仿射变换。
3.根据权利要求1所述的显示装置,其特征在于,
区域确定单元在通过宽视场摄像单元拍摄的摄像区域中,确定与通过部分摄像单元拍摄的部分区域对应的区域时,从上述摄像区域的图像以及上述部分区域的图像中分别抽出特征点,并搜索存在对应关系的特征点,从而确定与上述部分区域对应的区域。
4.根据权利要求1所述的显示装置,其特征在于,设有:
矩形区域积蓄单元,积蓄通过矩形区域分割单元分割的矩形区域;以及
矩形区域选择单元,从通过上述矩形区域积蓄单元积蓄的矩形区域中,选择与条件符合的矩形区域,将上述矩形区域输出给失真校正单元。
5.根据权利要求4所述的显示装置,其特征在于,
矩形区域选择单元使用:选择最大的矩形区域的条件、选择最小的矩形区域的条件、或者选择最接近通过宽视场摄像单元拍摄的摄像区域的中心的矩形区域的条件。
CN200880109621A 2008-01-15 2008-01-15 显示装置 Pending CN101810004A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/050351 WO2009090727A1 (ja) 2008-01-15 2008-01-15 表示装置

Publications (1)

Publication Number Publication Date
CN101810004A true CN101810004A (zh) 2010-08-18

Family

ID=40885138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880109621A Pending CN101810004A (zh) 2008-01-15 2008-01-15 显示装置

Country Status (5)

Country Link
US (1) US20100253861A1 (zh)
EP (1) EP2187638A4 (zh)
JP (1) JP4906930B2 (zh)
CN (1) CN101810004A (zh)
WO (1) WO2009090727A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110402454A (zh) * 2017-03-28 2019-11-01 富士胶片株式会社 图像修正装置、图像修正方法及程序

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108154A (zh) * 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
AU2014200754A1 (en) * 2013-03-08 2014-09-25 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
JP7081142B2 (ja) * 2017-12-26 2022-06-07 富士通株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019220887A (ja) * 2018-06-21 2019-12-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2769203B2 (ja) * 1989-09-01 1998-06-25 日本電信電話株式会社 複数画面合成方法
JP3735158B2 (ja) * 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
US6483537B1 (en) * 1997-05-21 2002-11-19 Metavision Corporation Apparatus and method for analyzing projected images, singly and for array projection applications
US6456339B1 (en) * 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
US6310650B1 (en) * 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
US6377306B1 (en) * 1998-09-23 2002-04-23 Honeywell International Inc. Method and apparatus for providing a seamless tiled display
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP2003199092A (ja) * 2001-12-28 2003-07-11 Sony Corp 表示装置および制御方法、プログラムおよび記録媒体、並びに表示システム
JP2004135209A (ja) * 2002-10-15 2004-04-30 Hitachi Ltd 広視野高解像度映像の生成装置及び方法
JP2005175620A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像処理方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110402454A (zh) * 2017-03-28 2019-11-01 富士胶片株式会社 图像修正装置、图像修正方法及程序
CN110402454B (zh) * 2017-03-28 2023-06-13 富士胶片株式会社 图像修正装置、图像修正方法及记录介质

Also Published As

Publication number Publication date
EP2187638A4 (en) 2013-04-17
WO2009090727A1 (ja) 2009-07-23
JPWO2009090727A1 (ja) 2011-05-26
JP4906930B2 (ja) 2012-03-28
EP2187638A1 (en) 2010-05-19
US20100253861A1 (en) 2010-10-07

Similar Documents

Publication Publication Date Title
CN102592124B (zh) 文本图像的几何校正方法、装置和双目立体视觉系统
CN101810004A (zh) 显示装置
US6810152B2 (en) Image processing apparatus, method of processing images, and storage medium
US6560375B1 (en) Video image stabilization and registration
US10151664B2 (en) Method and system for measuring lens distortion
US6628820B2 (en) Image forming method and apparatus
US20120147224A1 (en) Imaging apparatus
WO2012063594A1 (ja) オブジェクト表示装置及びオブジェクト表示方法
CN110415269B (zh) 一种动静态背景下的目标跟踪算法
CN108171735A (zh) 基于深度学习的十亿像素视频对齐方法及系统
JP2011165045A (ja) 画像処理装置
US11017262B2 (en) Method and device to determine image features using multi-resolution gradient analysis
CN105426844A (zh) 一种答题卡识别方法
CN106780297A (zh) 场景和光照变化条件下的图像高精度配准方法
CN112991456A (zh) 拍摄定位方法、装置、计算机设备和存储介质
CN113269671A (zh) 一种基于局部和全局特征的桥梁表观全景图生成方法
CN110880159A (zh) 图像拼接方法、装置、存储介质及电子装置
KR101998318B1 (ko) 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법
CN111630840B (zh) 一种超分辨图像的获取方法及获取装置、图像传感器
US20180131921A1 (en) Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program
JP2018137667A (ja) カメラキャリブレーション方法、プログラムおよび装置
CN112580499A (zh) 文本识别方法、装置、设备及存储介质
CN109544455B (zh) 一种超长高清实景长卷无缝融合方法
CN113436279B (zh) 一种图像处理方法、装置及设备
JP2016218849A (ja) 平面変換パラメータ推定装置、方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100818