CN102812419A - 立体图像显示设备及其控制方法 - Google Patents

Abstract

公开了一种三维图像显示设备，其检测左眼图像和右眼图像中的指定位置。当输入了优势眼图像并且观察者指定了一个位置时，在左眼图像和右眼图像中计算指定位置的坐标。从优势眼图像中检测出模板图像，并且从非优势眼图像中检测出与所检测的模板图像相似的图像。在模板图像和匹配图像的每一个中的位置成为指定位置。从优势眼图像中检测出的模板图像与从非优势眼图像中检测出的图像之间的距离差就是视差；对指定位置进行视差调节。

Description

立体图像显示设备及其控制方法

技术领域

本发明涉及立体图像显示设备和控制该设备的方法。

背景技术

立体图像由通过用户左眼观察到的左眼图像和通过用户右眼观察到的右眼图像构成。左眼图像和右眼图像具有左右偏移，并且由于该偏移才立体地呈现。在要对立体图像中包含的某个图像部分的视差进行调节的情况下，对该图像部分进行指定。指定的图像部分的视差被调节(日本专利申请公开No.10-105735)。另外，在使用光标指定立体图像的情况下，将优势眼纳入考虑之内(日本专利申请公开No.2004-362218)。

然而，还没有任何人想到在用户已经指定了立体图像中包含的图像部分的情况下精确地检测构成立体图像的左眼图像和右眼图像各自的位置。

发明内容

本发明的一个目的是在已经指定了立体图像中包含的图像部分的情况下检测左眼图像和右眼图像的各个图像中的位置。

本发明的第一方面的特征在于一种立体图像显示设备，其用于通过在显示屏幕上显示由用户的左眼观察到的左眼图像和由用户的右眼观察到的右眼图像来使得用户能够观看立体图像，所述立体图像显示设备包括：优势眼设置装置(优势眼设置部件)，其用于设置用户的优势眼；位置指定装置(位置指定部件)，其用于在显示屏幕上指定正显示要被调节视差的部分的位置；模板图像检测装置(模板图像检测手段)，其用于：在作为由所述优势眼设置装置所设置的优势眼所观察到的图像的左眼图像或右眼图像中，检测出存在于与图像指定装置在显示屏幕上所指定的位置相对应的位置处的图像部分，以作为模板图像；以及模板匹配装置(模板匹配部件)，其用于：在作为由与所述优势眼设置装置所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中，检测出匹配图像的位置，所述匹配图像是与所述模板图像检测装置所检测出的模板图像相同的图像。(匹配图像可以是看起来与模板图像基本相同的图像，比如最相似的图像，而不必是完全相同的图像。另外，它还可以是诸如被认为与模板图像相对应的图像。)

本发明的第一方面还提供了一种控制上述立体图像显示设备的方法。具体地说，作为对用于通过在显示屏幕上显示由用户的左眼观察到的左眼图像和由用户的右眼观察到的右眼图像来使得用户能够观看立体图像的立体图像显示设备进行控制的方法，所述方法包括：设置用户的优势眼；在显示屏幕上指定正显示要被调节视差的部分的位置；在作为由所设置的优势眼所观察到的图像的左眼图像或右眼图像中，检测出存在于与在显示屏幕上的指定位置相对应的位置处的图像部分，以作为模板图像；以及在作为由与所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中，检测出匹配图像的位置，所述匹配图像是与检测出的模板图像相同的图像。

根据本发明的第一方面，设置了用户的优势眼，并且指定了显示屏幕上的正在显示要被调节视差的部分的位置。在指定了构成立体图像的图像部分的情况下，认为通常被指定的位置是优势眼所观看的图像的图像部分(其是左眼图像或者右眼图像)。因此，将优势眼所观察到的图像中的对应图像部分检测为来自用户指定位置的模板图像，并且从与优势眼不同的眼睛所观察到的图像中检测出作为与模板图像相同的图像的匹配图像的位置。模板图像的检测位置和匹配图像的检测位置成为优势眼图像上的指定位置和非优势眼图像上的指定位置。当检测出模板图像和匹配图像时，例如对由模板图像与匹配图像之间的距离所表示的视差进行调节。检测出在左眼图像和右眼图像中各自与用户指定的位置相对应的位置，并且能够相当精确地调节这些位置的视差。

作为示例，模板图像检测装置包括：边缘成分量确定装置(边缘成分量确定部件)，其用于：在作为由所述优势眼设置装置所设置的优势眼所观察到的图像的左眼图像或右眼图像中，确定位于规定尺寸的模板图像候选区域之内的图像的边缘成分量是否等于或大于规定阈值，所述模板图像候选区域的中心位于与所述位置指定装置所指定的显示屏幕上的位置相对应的位置上；扩大装置(扩大部件)，其用于根据所述边缘成分量确定装置作出的边缘成分量不等于或不大于规定阈值这一确定结果，来扩大模板图像候选区域的尺寸；控制装置(控制部件)，其用于控制所述边缘成分量确定装置，以确定被所述扩大装置扩大后的模板图像候选区域之内的图像的边缘成分量是否等于或大于规定阈值；以及模板图像判定装置(模板图像判定手段)，其用于根据所述边缘成分量确定装置作出的边缘成分量等于或大于规定阈值这一确定结果，来判定处在所述模板图像候选区域之内的图像是模板图像。

该设备还可以包括交点位置检测装置(交点位置检测部件)，其用于检测用户的左眼视线与右眼视线之间的交点是在显示屏幕的前方还是后方。在该情况下，所述模板匹配装置根据所述交点位置检测装置作出的交点在显示屏幕前方这一确定结果，来在与所述位置指定装置在显示屏幕上所指定的位置相对应的位置的优势眼侧的方向上从由不同的眼睛观察到的图像中检测匹配图像的位置，并且，根据所述交点位置检测装置作出的交点在显示屏幕后方这一确定结果，来在与所述位置指定装置在显示屏幕上所指定的位置相对应的位置的非优势眼侧的方向上从由所述不同的眼睛观察的图像中检测匹配图像的位置。

在显示屏幕上已经形成了触摸板的情况下，作为示例，所述位置指定装置包括压力确定装置(压力确定部件)，所述压力确定装置用于确定在触摸板上触摸的位置处的压力是否等于或大于规定参考值。此外，所述模板匹配装置根据所述压力确定装置作出的压力等于或大于规定参考值这一确定结果，来在与所述位置指定装置在显示屏幕上所指定的位置相对应的位置的优势眼侧的方向上从由所述不同的眼睛观察到的图像中检测匹配图像的位置，并且，根据所述压力确定装置作出的压力小于规定参考值这一确定结果，来在与所述位置指定装置在显示屏幕上所指定的位置相对应的位置的非优势眼侧的方向上从由所述不同的眼睛观察到的图像中检测匹配图像的位置。

作为示例，在作为由所述优势眼设置装置所设置的优势眼所观察到的图像的左眼图像或右眼图像中，所述模板图像检测装置检测出这样的特征点：其处在存在于与所述位置指定装置在显示屏幕上所指定的位置相对应的位置处的图像部分的附近。作为示例，在作为由与所述优势眼设置装置所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中，所述模板匹配装置检测出与所述模板图像检测装置所检测出的特征点相对应的特征点。

本发明的第二方面的特征在于一种立体图像显示设备，其用于通过在显示屏幕上显示由用户的左眼观察到的左眼图像和由用户的右眼观察到的右眼图像来使得用户能够观看立体图像，所述立体图像显示设备包括：优势眼设置装置(优势眼设置部件)，其用于设置用户的优势眼；位置指定装置(位置指定部件)，其用于在显示屏幕上指定正显示要被调节视差的部分的位置；指定位置坐标检测装置(指定位置坐标检测部件)，其用于：在作为由所述优势眼设置装置所设置的优势眼所观察的图像的左眼图像或右眼图像中，检测出与所述图像指定装置在显示屏幕上所指定的位置相对应的指定位置坐标；对应位置坐标存在/不存在确定装置(对应位置坐标存在/不存在确定部件)，其用于确定存储器中是否已存储了如下数据项：所述数据项表示在作为由与所述优势眼设置装置所设置的优势眼不同的眼睛所观察的图像的左眼图像或右眼图像中的下列两个位置：即处于从所述指定位置坐标检测装置所检测出的指定位置坐标延伸的规定范围之内的位置、和与处于该规定范围之内的位置相对应的位置；读出装置(读出部件)，其响应于所述对应位置坐标存在/不存在确定装置作出的在存储器中已经存储了表示上述两个位置的数据项这一确定结果，来从存储器中读出表示上述两个位置的数据项；模板图像检测装置(模板图像检测部件)，其响应于所述对应位置坐标存在/不存在确定装置作出的在存储器中没有存储表示上述两个位置的数据项当中的至少一个数据项这一确定结果，在作为由所述优势眼设置装置所设置的优势眼所观察的图像的左眼图像或右眼图像中，检测出存在于与所述图像指定装置在显示屏幕上所指定的位置相对应的位置处的图像部分，以作为模板；模板匹配装置(模板匹配部件)，其在作为由与所述优势眼设置装置所设置的优势眼不同的眼睛所观察的图像的左眼图像或右眼图像中，检测出匹配图像的位置，所述匹配图像是与所述模板图像检测装置所检测出的模板图像相同的图像；以及存储控制装置(存储控制部件)，其用于在存储器中存储如下数据：表示所述模板图像检测装置所检测出的并且包含在优势眼所观察到的图像中的模板图像的位置的数据，以及表示所述模板匹配装置所检测出的并且包含在由与优势眼不同的眼睛所观察到的图像中的匹配图像的位置的数据。

本发明的第二方面还提供了一种用于控制上述立体图像显示设备的方法。具体地说，作为对用于通过在显示屏幕上显示由用户的左眼观察到的左眼图像和由用户的右眼观察到的右眼图像来使得用户能够观看立体图像的立体图像显示设备进行控制的方法，所述方法包括：设置用户的优势眼；在显示屏幕上指定正显示要被调节视差的部分的的位置；在作为由所设置的优势眼所观察到的图像的左眼图像或右眼图像中，检测出与在显示屏幕上的指定位置相对应的指定位置坐标；确定存储器中是否已存储了如下数据项：所述数据项表示在作为由与所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中处于从检测出的指定位置坐标延伸的规定范围之内的位置、和与处于该规定范围之内的位置相对应的位置；响应于在存储器中已经存储了表示上述两个位置的数据项这一确定结果，来从存储器中读出表示上述两个位置的数据项；响应于在存储器中没有存储表示上述两个位置的数据项当中的至少一个数据项这一确定结果，在作为由所设置的优势眼所观察到的图像的左眼图像或右眼图像中，检测出存在于与显示屏幕上的指定位置相对应的位置处的图像部分，以作为模板；在作为由与所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中，检测出匹配图像的位置，所述匹配图像是与检测出的模板图像相同的图像；以及在存储器中存储如下数据：表示被检测出的并且包含在优势眼所观察到的图像中的模板图像的位置的数据，以及表示被检测出的并且包含在由与优势眼不同的眼睛所观察到的图像中的匹配图像的位置的数据。

根据本发明的第二方面，当以上文所述的方式指定了构成立体图像的图像部分时，执行检查以确定存储器中是否已经存储了处于优势眼图像(左眼图像或者右眼图像)中指定的位置附近的位置以及非优势眼图像的与该位置相对应的位置。如果存储器中已经存储了处于指定的位置附近的位置以及与附近的该位置对应的位置，则读出存储器中已经存储的左眼图像中的位置和右眼图像中的位置。如果存储器中既没有存储处于指定的位置附近的位置又没有存储与附近的该位置相对应的位置，则以上文所述的方式来执行模板图像的检测和匹配图像的检测，并且基于检测到的模板图像与匹配图像之间的偏移来执行视差调节。在能够使用存储器中已存储的位置的情况下，可以相当快捷地执行视差调节。

附图说明

图1是示出立体图像显示设备的电气构造的框图；

图2是示出立体图像显示设备的处理过程的流程图；

图3是立体图像显示设备的外视图；

图4是右眼图像的一个示例；

图5是左眼图像的一个示例；

图6是示出模板设置单元的电气构造的框图；

图7是示出模板图像检测处理过程的流程图；

图8是示出立体图像显示设备的电气构造的框图；

图9示出了用户指定的图像部分、显示屏幕、右眼图像和左眼图像之间的关系；

图10示出了用户指定的图像部分、显示屏幕、右眼图像和左眼图像之间的关系；

图11是示出立体图像显示设备的处理过程的流程图；

图12是示出立体图像显示设备的电气构造的框图；

图13是示出立体图像显示设备的处理过程的流程图；

图14是示出立体图像显示设备的处理过程的流程图；

图15是示出立体图像显示设备的电气构造的框图；

图16是右眼图像的一个示例；

图17是左眼图像的一个示例；

图18是示出立体图像显示设备的处理过程的流程图；

图19是示出立体图像显示设备的电气构造的框图；

图20是历史信息表格的一个示例；

图21是示出立体图像显示设备的处理过程的流程图；以及

图22是示出立体图像显示设备的处理过程的流程图。

具体实施方式

图1是示出立体图像显示设备的电气构造的框图，其示出了本发明的一个实施例。

立体图像显示设备通过在立体显示单元7的显示屏幕上显示由观察者的右眼观察到的右眼图像和由观察者的左眼观察到的左眼图像来使得观察者能够观看立体图像。在该实施例中，在正被显示于立体显示单元7的显示屏幕上的对象的图像中精确地测量与观察者指定的位置相对应的右眼图像的位置以及左眼图像中的位置。

首先，从优势眼信息输入单元1输入观察者(用户，操作者)的优势眼。优势眼信息输入单元1可以是对指示优势眼为左眼还是右眼的命令进行输出的优势眼信息输入按钮，或者可以采用这样的装置：其中在立体显示单元7的显示屏幕上显示用于输入优势眼信息的菜单，并且利用该菜单来设置优势眼。将已从优势眼信息输入单元1输出的表示观察者的优势眼的数据输入到选择器2中。

表示左眼图像的左眼图像数据和表示右眼图像的右眼图像数据两者均被输入到选择器2和视差调节单元6。基于已从优势眼信息输入单元1输入的优势眼信息，选择器2进行切换，以向模板设置单元4输入作为优势眼观察到的图像数据(即优势眼图像数据)的左眼图像或右眼图像，并且向匹配单元5输入不同于优势眼的眼睛观察到的图像数据(即非优势眼图像数据)。

经由视差调节单元6将左眼图像数据和右眼图像数据供给立体显示单元7。在立体显示单元7的显示屏幕上显示左眼图像和右眼图像，从而观察者能够看到立体图像。

观察者使用位置输入单元3来在立体图像中指定期望对其视差进行调节的部分(不是必须进行视差调节)。如果立体显示单元7的显示屏幕上已经形成有触摸板，则通过触摸该触摸板来指定位置。在没有形成触摸板的情况下，作为示例，在显示屏幕上显示根据鼠标操作移动的光标，并且可以通过使用鼠标进行点击操作来指定位置。

将从位置输入单元3输出的表示所指定的位置的数据输入到模板设置单元4。在优势眼图像中，处于观察者指定的位置附近的图像部分被设置为模板图像。从模板设置单元4向匹配单元5输入表示所设置的模板图像的数据以及表示模板图像在优势眼图像中的位置(例如，模板图像的中心位置或重心位置等)的数据。表示模板图像在优势眼图像中的位置的数据简单地经过匹配单元5而进入视差调节单元6。

匹配单元5根据进入的非优势眼图像数据和模板图像数据在非优势眼图像中检测出与模板图像相同的图像部分(匹配图像)的位置。在完成该操作时，将表示了与模板图像相同的图像部分在非优势眼图像上的位置的数据从匹配单元5供给视差调节单元6。

用于检测与模板图像相同的图像的匹配处理可以被执行如下：用于判断右眼图像上的点p(x，y)与左眼图像上的点q(u，v)之间的相互关系的最基本的标准是处于以点p和q为各自中心的窗口之内的残差的绝对值之和。残差的绝对值之和由下面的公式(1)表达。

$R(x,y,u,v)=\underset{(i,j)\∈\mathrm{Template}}{\mathrm{\Σ}}|P(x+i,y+j)-Q(u+i,v+j)|$ 公式(1)

在公式(1)中，i和j表示当将(x，y)和(u，v)用作各自原点时处于各窗口之内的像素位置。另外，P(x，y)和Q(u，v)分别表示右眼图像上的像素(x，y)的亮度值和左眼图像上的像素(x，y)的亮度值。可以说，公式(1)中的值R(u，v)越小，则p(x，y)和q(u，v)的相关值越高。如果假设优势眼为右眼并且已经从右眼图像提取了中心为点p(x，y)的模板图像，则在与p(x，y)在左眼图像上的水平线相同的水平线上的每个像素q(u，v)处计算公式(1)的值，并且采用这些像素当中其值最小的点作为与点p(x，y)重合的点。因此，精确地检测了左眼图像的与右眼图像上的模板图像相对应的图像部分。

由于将表示模板图像在优势眼图像中的位置的数据以及表示与模板图像相同的图像(匹配图像)在非优势眼图像中的位置的数据输入到视差调节单元6，因此可以相当精确地调节左眼图像与右眼图像之间的视差。将表示视差已进行了调节的左眼图像和右眼图像的图像数据供给立体显示单元7，从而在立体显示单元7上显示视差调节后的左眼图像和右眼图像，使得观察者能够观察到立体图像。例如，通过使得指定图像部分的视差为零或者通过强调图像突出的程度，可以使得立体地观看指定图像部分更加容易，并且可以增强三维效果。

图2是示出立体显示系统的处理过程的流程图。

如上所述，输入观察者的优势眼(步骤11)。接着，确定观察者是否对立体图像作出了位置指定(步骤12)。

图3示出立体显示系统的概况。

当将左眼图像数据和右眼图像数据供给立体显示系统时，如上所述，在立体显示单元的显示屏幕21上显示左眼图像和右眼图像，从而能够观察到立体图像。观察者通过手指u在该立体图像中触摸期望校正视差的图像部分22。由于对图像部分进行了这种触摸，认为已经进行了位置指定，并且触摸的位置成为指定位置23。不用说，可以在显示屏幕21上形成触摸板(未示出)并且可以检测触摸位置。当然，在没有提供触摸板的情况下可以利用鼠标进行位置指定。

再次参照图2，将指定位置转换为优势眼图像上(左眼图像或右眼图像上)的坐标位置(步骤13)。

图4是右眼图像的一个示例。

假设设置的优势眼是右眼。在优势眼是右眼的情况下，认为观察者(用户，操作者)通过观看优势眼图像来指定位置。因此，认为观察者已经在右眼图像30中指定了右眼图像30中包括的图像部分31中所包含的位置32。指定位置23在显示屏幕21上的位置坐标与将右眼图像30照其原样显示在显示屏幕21上的情况下的位置32的坐标相对应。

图5是左眼图像的一个示例。

在优势眼是右眼的情况下，在立体图像中指定的位置23不同于在显示屏幕21上显示左眼图像40的情况下得到的位置。例如，与在立体图像中指定的位置23相对应的位置42位于构成立体图像的指定图像部分22的图像部分41的左侧。

因此，如果图像为优势眼图像，则指定位置与图像上的位置将会重合，但是在非优势眼图像的情况下，指定位置与图像上的位置之间将会存在偏移。

再次参照图2，从优势眼图像中检测模板图像(步骤14)。

参照图4，假设处在从与在立体图像21中指定的位置23相对应位置31开始的规定范围内的矩形区域33(该区域不是必须为矩形)是模板图像区域33，如上所述。通过使用边缘检测处理等从模板图像区域33内检测模板图像31。自然地，可以使用模板图像区域33内的图像本身作为模板图像。

再次参照图2，当从优势眼图像检测出模板图像31时，执行匹配处理以用于从非优势眼图像40检测出与模板图像31相同的图像(步骤15)。

参照图5，在该实施例中，执行匹配处理以用于确定在水平搜索区50中是否包含与模板图像31相同的图像，水平搜索区50的中心是非优势眼图像40中的位置42，如上所述，位置42与立体图像21中的指定位置23相对应。其原因在于，在使用右眼图像30和非优势眼图像40形成立体图像的情况下，认为右眼图像30与非优势眼图像40之间仅在左右方向上而没有在上下方向上出现偏移。作为该匹配处理的结果，从非优势眼图像40检测到与模板图像31相同的图像部分(匹配图像)41。结果是，检测到右眼图像30中的指定位置和非优势眼图像40中的指定位置。

从右眼图像30检测到的模板图像31与从非优势眼图像40检测到的与模板图像31相同的图像41之间的位置偏移量代表视差。如上所述，可以通过测量图像31的中心和图像41的中心或者通过测量图像31的重心和图像41的重心，来找到位置偏移量。

再次参照图2，通过计算视差来执行所计算的视差的调节(步骤16)。通过执行指定位置23的部分的视差调节，可以使得观察者在立体图像中指定的位置23处的图像部分22看起来更深或更浅。

尽管上述实施例针对的是优势眼为右眼的情况，然而，即便优势眼为左眼，也能以类似方式调节视差。

图6和图7属于用于从优势眼图像检测模板图像的处理。在该处理中，将这样的图像假设为模板图像：该图像中处于上述模板区域内的图像具有等于或大于规定阈值的值。

图6是示出模板设置单元4的电气构造的框图。

将表示优势眼图像的图像数据和表示指定位置的数据输入到模板提取单元61。中心为指定位置的一个规定矩形区域被用作模板候选区域。将表示包含于模板候选区域中的图像的图像数据输入到方差计算单元62。在方差计算单元62中，基于公式(2)来计算输入的图像数据的亮度值的方差VAR，其中p(x，y)是模板候选区域内每个像素的亮度值，m是模板候选区域内所有像素的平均亮度值，并且N是模板候选区域内像素的总数。

VAR＝∑(p(x，y)-m)²/(N-1)    公式(2)

方差的大小对应于模板候选区域内的纹理(texture)的多少。如果方差大，则模板候选区域将包括更多的纹理。如果方差小，则很可能模板候选区域的内部会是平坦、光滑的部分，并且在使用该模板图像的匹配处理中很可能会发生错误检测。自然，除了使用方差以外，还可以利用高通滤波器和带通滤波器来针对模板候选区域内的每个像素提取模板候选区域内图像的高频信号，并且可以使用高频信号量。此外，可以布置为检测模板候选区域内的边缘成分的量，并将边缘成分的量等于或大于参考值的模板候选区域判定为模板区域。

将表示在方差计算单元62中计算出的方差的数据输入到模板判定单元63。

如果已被输入到模板判定单元63中的数据所表示的方差小于规定阈值，则模板判定单元63输出用于扩大模板候选区域尺寸的命令，并将该命令输入到模板尺寸设置单元64。模板尺寸设置单元64以使得模板候选区域尺寸扩大的方式来控制模板提取单元61。在模板提取单元61中设置尺寸已被扩大的模板候选区域，并如上所述将表示模板候选区域内的图像的图像数据从模板提取单元61输入到方差计算单元62。方差计算单元62以类似于前述的方式来计算方差。重复上述用于扩大模板候选区域尺寸的处理，直到方差超过规定阈值为止。自然，可以采用这样的布置，其中，一条边为图像水平宽度的比如20％的矩形被判定为最大尺寸，并且重复用于扩大模板候选区域尺寸的处理到模板候选区域的尺寸不会被超过的程度。

如果已被输入到模板判定单元63的数据所表示的方差等于或大于规定阈值，则将此时主要呈现的(prevailing)矩形区域判定为模板区域，并将所判定的模板区域内的图像判定为模板图像。将表示所判定的模板图像的数据供给模板输出单元65。

还从模板提取单元61向模板输出单元65提供表示从优势眼图像提取的模板图像的图像数据。当从模板提取单元61提供表示在模板判定单元63中判定的模板区域内的图像的图像数据时，该图像数据从模板输出单元65输出为模板图像数据。如上所述，模板图像数据被输入到匹配单元5。

图7是示出用于检测模板图像的处理过程(图2中步骤14的处理过程)的流程图。

如上所述，将模板候选区域的尺寸进行初始化(步骤71)。例如，将一条边的长度与图像的横向宽度的10％相对应的正方形的尺寸用作初始化尺寸。从优势眼图像提取模板候选区域内的图像(步骤72)。计算从模板候选区域提取的图像的方差(步骤73)。如果所计算出的方差不等于或不大于规定阈值(步骤74处的“否”)，则如上所述放大模板候选区域的尺寸(步骤75)，并且重复步骤72至74的处理。

如果所计算出的方差等于或大于规定阈值(步骤74处的“是”)，则将该模板候选区域判定为模板区域，并将该区域内的图像判定为模板图像(步骤76)。

图8至图13示出了另一个实施例。在该实施例中，检测了观察者的视线方向，并且根据视线方向来判定用于在非优势眼图像中检测与模板图像相同的图像的搜索区。

图8是示出立体显示系统的电气构造的框图。与图1中所示的部件相同的部件以相同的附图标记表示，并且不再对其进行描述。

立体显示系统包括视线检测单元80。视线检测单元80包括成像装置81。由成像装置81对观察者的左眼和右眼成像。将通过对左眼成像而得到的图像数据和通过对右眼成像而得到的图像数据输入到信号处理单元82。信号处理单元82执行规定的图像处理并且将结果输入到视线估计单元83。视线估计单元83从左眼图像检测左眼虹膜，并从右眼图像检测右眼虹膜。基于检测到的虹膜来检测观察者的视线。将表示视线方向的数据输入到搜索区设置单元84。对于检测视线方向的方法，还可以采用“Iris Detection Method using LMedS forLine-of-Sight Measurement”(“Image Recognition&Comprehension Symposium(MIRU2004)”，April 2004)等。

在搜索区设置单元84中基于视线方向来判定用于执行模板图像匹配处理的搜索区。将表示所判定的搜索区的数据从搜索区设置单元84输入到匹配单元5。执行匹配处理，以在已判定的搜索区中从非优势眼图像内检测出与模板图像相同的图像。

图9和图10示出观察者视线、观察者观察的立体图像的图像部分以及构成立体图像的右眼图像和左眼图像之间的关系。

图9示出了当观察者观看立体图像中的看起来位于立体图像设备的显示屏幕21前方的图像部分95时主要呈现的状态。

在观察者以左眼101和右眼102观察看起来位于显示屏幕21前方的构成立体图像的图像部分(交点)95的情况下，构成该图像部分95的右眼图像91的图像部分92与构成该图像部分95的左眼图像93的图像部分94之间的位置关系是：构成右眼图像91的图像部分92位于构成左眼图像93的图像部分94的左侧。

图10示出了当观察者观看立体图像中的看起来位于立体图像设备的显示屏幕21的后方的图像部分115时通常呈现的状态。

在观察者的左眼101和右眼102对构成立体图像的看起来位于显示屏幕21后方的图像部分(交点)115进行观察的情况下，构成该图像部分115的右眼图像111的图像部分112与构成该图像部分115的左眼图像113的图像部分114之间的位置关系是：构成右眼图像111的图像部分112位于构成左眼图像113的图像部分114的右侧，其与图像看起来位于立体图像设备的显示屏幕21的前方的情况相反。

如果通过视线检测确定了图像部分95正看起来位于显示屏幕21的前方这一事实，如图9所示，则认为在优势眼为右眼的情况下，当指定图像部分95时，指定了右眼图像91中的图像部分92。构成左眼图像93的对应于该图像部分95的图像部分94位于右眼图像91中的图像部分92的右侧。因此，将会理解，将作为非优势眼图像的左眼图像93中的搜索区向指定位置的右侧移位(视差d1)就行。

如果通过视线检测确定了图像部分115正看起来位于显示屏幕21的后方这一事实，如图10所示，则认为在优势眼为右眼的情况下，当指定图像部分115时，指定了右眼图像111中的图像部分112。构成左眼图像113的对应于该图像部分115的图像部分114位于右眼图像111中的图像部分112的左侧。因此，将会理解，将作为非优势眼图像的左眼图像113中的搜索区向指定位置的左侧移位(视差d2)就行。

在上述示例中，假设优势眼是右眼。然而，将会理解，即便优势眼是左眼，也能够基于视线方向类似地限定搜索区[即，无论观察者观察的立体图像中的图像部分(交点)是位于显示屏幕21的前方还是后方]。

图11是示出立体图像显示系统的处理过程的流程图。在图11中，与图2中所示的步骤相同的处理步骤以相同步骤编号指示，并且不再对其进行描述。

以上文所述的方式来检测观察者的视线方向(步骤121)。基于检测到的视线你来检查视线的交点是位于显示屏幕的前方还是后方(步骤122)。如上所述，如果观察者正观察的图像部分位于显示屏幕前方，则视线的交点位于显示屏幕的前方，并且如果观察者正观察的图像部分位于显示屏幕后方，则视线的交点位于显示屏幕的后方。

如果视线的交点位于显示屏幕的前方(步骤122处的“是”)，则将用于对与模板图像相同的图像进行检测的匹配处理的搜索区设置在非优势眼方向侧(步骤123)。例如，如果优势眼为右眼，则非优势眼的方向位于左侧，并且如果优势眼为左眼，则非优势眼的方向位于右侧。如果视线的交点位于显示屏幕的后方(步骤122处的“否”)，则将匹配处理的搜索区设置在优势眼方向侧(步骤124)。

图12至图14示出了另一个实施例。

图12是示出立体图像显示设备的电气构造的框图。与图1所示的部件相同的部件由相同的附图标记指定，并且不再对其进行描述。

在该实施例中，已经在立体显示屏幕上形成了触摸板(未示出)为了检测在触摸板被按压以指定位置时的压力，立体显示系统已经装配有压力感测单元131。

如果在面板上按压触摸板以指定位置，则当按压如图9所示的出现在显示屏21前方的图像部分95时，认为压力会小于参考值。因此，这样按压时的压力小。另一方面，当按压如图10所示的出现在显示屏幕21后方的图像部分时，认为压力会大于参考值。因此，这样按压时的压力大。参考值是在立体图像的缺乏视差的图像部分被显示在显示屏幕上的情况下，观察者触摸面板时主要呈现的压力。因此，当缺乏视差的图像部分被显示并且该图像部分被触摸时主要呈现的压力就是参考值。优选地，对当观察者在缺乏视差的立体图像部分被显示在显示屏幕上的情况下触摸面板时主要呈现的压力进行多次检测，并且采用其平均值、最频值(mode)或中值作为参考值。

在压力感测单元131感测的压力等于或大于规定的参考值的情况下，认为观察者试图按压的图像部分将位于显示屏幕21的后方。因而，搜索区设置单元132如上所述将用于匹配处理的搜索区设置在非优势眼方向侧。在压力感测单元131感测的压力小于规定的参考值的情况下，认为观察者试图按压的图像部分将位于显示屏幕21的前方。因而，搜索区设置单元132如上所述将用于匹配处理的搜索区设置在优势眼方向侧。

图13和图14是示出立体显示系统的处理过程的流程图。在图13和图14中，与图2所示的步骤相同的处理步骤以相同的步骤编号指定，并且不再对其进行描述。

如果观察者执行触摸操作(步骤141处的“是”)，则计算触摸位置处的左眼图像和右眼图像各自的位置坐标(步骤142)。检测触摸之时得到的压力P(步骤143)。

如果压力P等于或大于参考值(步骤144处的“是”)，则将用于匹配处理的搜索区设置在非优势眼方向侧(步骤123)。如果压力P小于参考值(步骤144处的“否”)，则将用于匹配处理的搜索区设置在优势眼方向侧(步骤124)。对非优势眼图像进行匹配处理(步骤15)并且调节触摸位置的视差(步骤145)。重复步骤141及其后续的步骤的处理，直到触摸操作处理结束(步骤146)为止。

图15至图18示出另一个实施例。

在前述实施例中，从优势眼图像检测模板图像，并且执行匹配处理以从非优势眼图像检测与所检测的模板图像相同的图像。然而，在本实施例中，从优势眼图像检测特征点，并且从非优势眼图像检测对应特征点(其为与特征点相对应的点)。基于已检测到的特征点与对应特征点之间的距离差异来执行视差调节。作为示例，特征点是在多个方向上具有强信号梯度并且可以使用Harris法或Shi-Tomasi法提取的点(像素)。检测与特征点(xi，yi)相对应的对应特征点(Xi，Yi)的方法例如是Lucas-Kanade法。可以根据d＝Xi-xi来计算特征点处的视差d。在存在多个特征点的情况下，根据如下公式(3)来计算左眼图像上的对象位置xt2，该对象位置与出现在右眼图像上的指定位置xt1处的图像部分相对应。

xt2＝∑di/N+xt1    公式(3)

其中N是特征点的数量，∑di是各个特征点具有的视差的总和。尽管在公式(3)中对多个特征点的视差进行了平均，然而采用中值或者使用与指定位置最接近的特征点的视差也是可以的。

图15是示出立体显示系统的电气构造的框图。与图2所示的部件相同的部件以相同附图标记指定，并且不再对其进行描述。

将表示优势眼图像的图像数据和从位置输入单元3输出的表示指定位置的数据输入到特征点提取单元151。

图16是右眼图像的一个示例(假设右眼图像是优势眼图像)。

假设对应于指定位置的位置是右眼图像160中的位置162。假设源自位置162的规定范围是特征点提取区域163。对存在于特征点提取区域163内的图像161的特征点164进行检测。

如图16所示，将与从优势眼图像检测到的特征点有关的信息从特征点提取单元151提供到对应点检测单元152。除了特征点信息之外，还将优势眼图像数据和非优势眼图像数据从选择器2提供到对应点检测单元152。对应点检测单元152基于优势眼图像数据和非优势眼图像数据来检测对应特征点。

图17是左眼图像的一个示例。

以上文所述的方式在左眼图像170中检测与图像161相对应的图像171周围的对应特征点174，其中图像161包含右眼图像160中的指定位置162。

图18是示出立体显示系统的处理过程的流程图。在图18中，与图2所示的步骤相同的处理步骤以相同的步骤编号指定，并且不再对其进行描述。

以上文所述的方式在优势眼图像上设置特征点提取区域(步骤181)。从所设置的特征点提取区域内的图像中提取特征点(步骤182)。从非优势眼图像中检测对应特征点(步骤183)。根据检测到的特征点与对应特征点之间的偏移来检测对象的移位(步骤184)。基于检测到的移位来执行视差调节(步骤16)。

图19至图22示出了又一个实施例。在历史表格中事先存储了右眼图像中的指定位置与左眼图像中的对应于这些指定位置的对应位置之间(或者左眼图像中的指定位置与右眼图像中的对应于这些指定位置的对应位置之间)的对应关系。如果在历史表格中已经存储了在指定位置附近的对应关系，则使用所存储的该对应关系。

图19是示出立体图像显示设备的电气构造的框图。与图1中所示的部件相同的部件以相同的附图标记指定，并且不再对其进行描述。

从匹配单元5输出与所输入的指定位置和检测到的对应位置各自有关的信息，并将其输入到历史存储单元191。已经存储在历史存储单元191中的信息被输入到历史比较单元192。从位置输入单元3输出的指定位置信息也被输入到历史比较单元192。在已经指定了与存储在历史存储单元191中的指定位置的对应关系相接近的位置的情况下，在历史比较单元192中采用历史存储单元191中已经存储的位置信息，而不执行用于检测模板图像的处理。

图20是历史表格的一个示例。

已经针对每一个历史编号存储了右眼图像上的位置和左眼图像上的与右眼图像上的位置相对应的位置。如果指定了右眼图像，则将右眼图像上的指定位置存储为右眼图像上的位置，并且将左眼图像上的与右眼图像上的指定位置相对应的对应位置存储为左眼图像上的位置。相反，如果指定了左眼图像，则将左眼图像上的指定位置存储为左眼图像上的位置，并且将右眼图像上的与左眼图像上的指定位置相对应的对应位置存储为右眼图像上的位置。针对每个图像来产生并存储这样的历史表格。

图21和图22是示出立体显示系统的处理过程的流程图。在图21和图22中，与图2中所示的步骤相同的处理步骤以相同的步骤编号来指示，并且不再对其进行描述。

当检测到所输入的指定位置的坐标位置时，确定历史表格中是否已经存储了处在相对于指定位置(其为优势眼图像上的指定位置)的规定半径r之内的指定位置(步骤202)。

如果已经存储了这样的指定位置(步骤202处的“是”)，则从历史信息表格读取对应位置(步骤203)。此外，还读取已经存储的处在相对于指定位置的规定半径r之内的位置。从而，从历史信息表格读取右眼图像上的位置和左眼图像上的位置。例如，如果在右眼图像上指定的位置的坐标是(300，110)，则确定是否已经存储了处在相对于该指定位置的半径r(例如20像素)之内的右眼图像上的位置。例如，由于存在以历史编号3指定的在右眼图像上的位置(310，100)，则读取以历史编号3指定的坐标(310，100)(右眼图像上的位置)以及坐标(310，100)(左眼图像上的位置)。利用读取的坐标来执行视差调节(步骤16)。

如果在历史表格中没有存储处在相对于指定位置的规定半径r之内的指定位置(步骤202处的“否”)，则检测模板图像，并且执行用于以检测到的模板图像来进行匹配的处理(步骤14、15)。将检测到的指定位置与对应位置各自的坐标之间的对应关系存储在历史表格中作为历史信息(步骤204)。

Claims (8)

1.一种立体图像显示设备，其用于通过在显示屏幕上显示由用户的左眼观察到的左眼图像和由用户的右眼观察到的右眼图像来使得用户能够观看立体图像，所述立体图像显示设备包括：

优势眼设置装置，其用于设置用户的优势眼；

位置指定装置，其用于显示屏幕上指定正显示要被调节视差的部分的位置；

模板图像检测装置，其用于：在作为由所述优势眼设置装置所设置的优势眼所观察到的图像的左眼图像或右眼图像中，检测出存在于与所述位置指定装置在显示屏幕上所指定的位置相对应的位置处的图像部分，来作为模板图像；以及

模板匹配装置，其用于：在作为由与所述优势眼设置装置所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中，检测出匹配图像的位置，所述匹配图像是与所述模板图像检测装置所检测出的模板图像相同的图像。

2.根据权利要求1所述的立体图像显示设备，其中所述模板图像检测装置包括：

边缘成分量确定装置，其用于：在作为由所述优势眼设置装置所设置的优势眼所观察到的图像的左眼图像或右眼图像中，确定位于规定尺寸的模板图像候选区域之内的图像的边缘成分量是否等于或大于规定阈值，所述模板图像候选区域的中心位于与所述位置指定装置在显示屏幕上所指定的位置相对应的位置上；

扩大装置，其用于根据所述边缘成分量确定装置作出的边缘成分量不等于或不大于规定阈值这一确定结果，来扩大模板图像候选区域的尺寸；

控制装置，其用于控制所述边缘成分量确定装置，以确定被所述扩大装置扩大后的模板图像候选区域之内的图像的边缘成分量是否等于或大于规定阈值；以及

模板图像判定装置，其用于根据所述边缘成分量确定装置作出的边缘成分量等于或大于规定阈值这一确定结果，来判定处在所述模板图像候选区域之内的图像是模板图像。

3.根据权利要求2所述的立体图像显示设备，还包括交点位置检测装置，其用于检测用户的左眼视线与右眼视线之间的交点是在显示屏幕的前方还是后方；

其中，所述模板匹配装置根据所述交点位置检测装置作出的交点在显示屏幕前方这一确定结果，来在与所述位置指定装置在显示屏幕上所指定的位置相对应的位置的优势眼侧的方向上从由不同的眼睛观察到的图像中检测匹配图像的位置，并且，根据所述交点位置检测装置作出的交点在显示屏幕后方这一确定结果，来在与所述位置指定装置在显示屏幕上所指定的位置相对应的位置的非优势眼侧的方向上从由所述不同的眼睛观察到的图像中检测匹配图像的位置。

4.根据权利要求3所述的立体图像显示设备，其中在显示屏幕上已经形成了触摸板；

所述位置指定装置包括压力确定装置，所述压力确定装置用于确定在触摸板上触摸的位置处的压力是否等于或大于规定参考值；并且

所述模板匹配装置根据所述压力确定装置作出的压力等于或大于规定参考值这一确定结果，来在与所述位置指定装置在显示屏幕上所指定的位置相对应的位置的优势眼侧的方向上从由所述不同的眼睛观察到的图像中检测匹配图像的位置，并且，根据所述压力确定装置作出的压力小于规定参考值这一确定结果，来在与所述位置指定装置在显示屏幕上所指定的位置相对应的位置的非优势眼侧的方向上从由所述不同的眼睛观察到的图像中检测匹配图像的位置。

5.根据权利要求4所述的立体图像显示设备，其中，在作为由所述优势眼设置装置所设置的优势眼所观察到的图像的左眼图像或右眼图像中，所述模板图像检测装置检测出这样的特征点：其处在存在于与所述位置指定装置在显示屏幕上所指定的位置相对应的位置处的图像部分的附近；并且

在作为由所述优势眼设置装置所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中，所述模板匹配装置检测出与所述模板图像检测装置所检测出的特征点相对应的特征点。

6.一种立体图像显示设备，其用于通过在显示屏幕上显示由用户的左眼观察到的左眼图像和由用户的右眼观察到的右眼图像来使得用户能够观看立体图像，所述立体图像显示设备包括：

优势眼设置装置，其用于设置用户的优势眼；

位置指定装置，其用于在显示屏幕上指定正显示要被调节视差的部分的位置；

指定位置坐标检测装置，其用于：在作为由所述优势眼设置装置所设置的优势眼所观察到的图像的左眼图像或右眼图像中，检测出与所述图像指定装置在显示屏幕上所指定的位置相对应的指定位置坐标；

对应位置坐标存在/不存在确定装置，其用于确定存储器中是否已存储了如下数据项：所述数据项表示在作为由所述优势眼设置装置所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中的下列两个位置，即处于从所述指定位置坐标检测装置所检测出的指定位置坐标延伸的规定范围之内的位置、和与处于该规定范围之内的位置相对应的位置；

读出装置，其响应于所述对应位置坐标存在/不存在确定装置作出的在存储器中已经存储了表示上述两个位置的数据项这一确定结果，来从存储器中读出表示上述两个位置的数据项；

模板图像检测装置，其响应于所述对应位置坐标存在/不存在确定装置作出的在存储器中没有存储表示上述两个位置的数据项当中的至少一个数据项这一确定结果，在作为由所述优势眼设置装置所设置的优势眼所观察到的图像的左眼图像或右眼图像中，检测出存在于与所述图像指定装置在显示屏幕上所指定的位置相对应的位置处的图像部分，以作为模板；

模板匹配装置，其在作为由与所述优势眼设置装置所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中，检测出匹配图像的位置，所述匹配图像是与所述模板图像检测装置所检测出的模板图像相同的图像；以及

存储控制装置，其用于在存储器中存储如下数据：表示所述模板图像检测装置所检测出的并且包含在优势眼所观察到的图像中的模板图像的位置的数据，以及表示所述模板匹配装置所检测出的并且包含在由与所述优势眼不同的眼睛所观察到的图像中的匹配图像的位置的数据。

7.一种控制立体图像显示设备的方法，所述立体图像显示设备用于通过在显示屏幕上显示由用户的左眼观察到的左眼图像和由用户的右眼观察到的右眼图像来使得用户能够观看立体图像，所述方法包括：

设置用户的优势眼；

在显示屏幕上指定正显示要被调节视差的部分的位置；

在作为由所设置的所述优势眼观察到的图像的左眼图像或右眼图像中，检测出存在于与在显示屏幕上的指定位置相对应的位置处的图像部分，以作为模板图像；以及

在作为由与所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中，检测出匹配图像的位置，所述匹配图像是与检测出的模板图像相同的图像。

8.一种控制立体图像显示设备的方法，所述立体图像显示设备用于通过在显示屏幕上显示由用户的左眼观察到的左眼图像和由用户的右眼观察到的右眼图像来使得用户能够观看立体图像，所述方法包括：

设置用户的优势眼；

在显示屏幕上指定正显示要被调节视差的部分的位置；

在作为由所设置的优势眼观察到的图像的左眼图像或右眼图像中，检测出与显示屏幕上的指定位置相对应的指定位置坐标；

确定已将如下数据项存储到了存储器中：所述数据项表示在作为由与所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中处于从检测出的指定位置坐标延伸的规定范围之内的位置、和与处于该规定范围之内的位置相对应的位置；

响应于在存储器中已经存储了表示上述两个位置的数据项这一确定结果，来从存储器中读出表示上述两个位置的数据项；

响应于在存储器中没有存储表示上述两个位置的数据项当中的至少一个数据项这一确定结果，在作为由所设置的优势眼所观察到的图像的左眼图像或右眼图像中，检测出存在于与显示屏幕上的指定位置相对应的位置处的图像部分，以作为模板；

在作为由与所设置的优势眼不同的眼睛所观察到的图像的左眼图像或右眼图像中，检测出匹配图像的位置，所述匹配图像是与通过模板图像检测步骤检测出的模板图像相同的图像；以及

在存储器中存储如下数据：表示被检测出的并且包含在优势眼所观察到的图像中的模板图像的位置的数据，以及表示被检测出的并且包含在由与所述优势眼不同的眼睛所观察到的图像中的匹配图像的位置的数据。

Images