CN102638697B - 图像处理设备和图像处理方法及其程序 - Google Patents

Abstract

本发明涉及图像处理设备和图像处理方法及其程序。一种设备包括重叠检测器和显示修改单元。重叠检测器被构造为确定与第二图像叠加的第一图像是否与第二图像中的对象重叠大于阈值。显示修改单元被构造为当重叠检测器检测到第一图像与第二图像中的所述对象重叠大于所述阈值时改变与第二图像叠加的第一图像的内容以使得第一图像不再与第二图像中的所述对象重叠大于所述阈值。

Description

图像处理设备和图像处理方法及其程序

相关申请的交叉引用

本申请基于并要求于2011年2月14日提交给日本专利局的日本在先专利申请JP2011-028197的优先权的利益，通过引用将该申请的全部内部包含于此。

技术领域

本公开涉及图像处理设备和图像处理方法及其程序。更具体地讲，本公开涉及一种图像处理设备和图像处理方法及其程序，通过该图像处理设备和图像处理方法及其程序实现如下的显示：当在三维图像显示中执行诸如消息、叠加字幕或图标的附加信息在另一三维图像对象上的重叠显示时抑制不适感。

背景技术

当前，已开发并使用能够显示三维图像(3D图像)的显示设备(诸如，电视机和PC)以及能够记录三维图像(3D图像)的摄像机、静止照相机等。通过使用从不同视点拾取的图像(在这种情况下为左眼用图像和右眼用图像)，对3D图像执行显示处理。

在执行三维图像的上述显示的情况下，当附加信息(诸如，消息、叠加字幕、错误显示、菜单或图标)重叠在要显示的三维图像上时，根据三维显示的状态，当附加信息重叠时可能产生不适感，并且在三维图像的视觉识别方面发生问题。

例如，在就三维深度位置而言附加信息显示在刚好0的位置(显示图像的深度方向(远侧)/弹出方向(近侧)的中心)的情况下，在相对于该0位置显示在近侧的进行弹出显示的对象部分与附加信息的显示位置重叠的情况下，形成如下情况：朝着近侧弹出的对象(显示对象)的一部分看起来向后退缩，这导致观看者具有不适感。

公开用于解决上述情况的结构的现有技术包括专利申请No.W2008/41313的PCT国际公开的日本再公开：Imagedisplayapparatus(Pioneer)，其将被称为专利文件1。

关于重叠在原始三维图像上的附加信息，专利文件1提出一种方法：改变附加信息在深度方向上的相对位置，把附加信息设置在具有最大视差的最近侧显示，另外，改变显示位置以改变重叠位置。

然而，类似于专利文件1中公开的结构，如果在紧挨着三维运动图像显示中具有最强弹出效果的对象之前规则地放置附加信息的情况下执行动态控制，则可见性变差，因为附加信息自身的显示位置改变。

为了避免这一点，例如，可设想固定附加信息的显示位置的设置，从而使附加信息规则地位于构成一系列运动图像的三维图像的所有对象前面。然而，在这种设置中，附加信息显示在具有最大左右视差的位置前面。在三维图像在深度方向上位于较深位置的情况下，由于三维图像和附加信息之间的深度的差变大，所以可见性变差。

另外，提出了把附加信息贴附在具有预定范围的深度的对象上的结构，但对象可能不具有能够显示附加信息的区域(例如，能够容纳文字的区域)。在执行上述应对措施的情况下，会发生可能无法显示附加信息的问题。

发明内容

鉴于例如上述情况而提出本公开，并且希望提供一种在三维图像显示处理时执行附加信息(诸如，各种消息)的重叠显示的情况下可以防止可见性降低的图像处理设备和图像处理方法及其程序。

本公开广泛地包括设备、方法和编码有使处理器执行所述方法的程序的计算机可读介质。在一个实施例中，所述设备包括重叠检测器和显示修改单元。重叠检测器被构造为确定与第二图像叠加的第一图像是否与第二图像中的对象重叠大于阈值。显示修改单元被构造为当重叠检测器检测到第一图像与第二图像中的所述对象重叠大于所述阈值时改变与第二图像叠加的第一图像的内容以使得第一图像不再与第二图像中的所述对象重叠大于所述阈值。

附图说明

图1是用于描述附加信息的显示处理例子的说明图；

图2是用于描述在遵循处理例子1的同时控制的附加信息的显示处理例子的说明图；

图3是用于描述在遵循处理例子2的同时控制的附加信息的显示处理例子的说明图；

图4是用于描述在遵循处理例子3的同时控制的附加信息的显示处理例子的说明图；

图5是用于描述在遵循处理例子4的同时控制的附加信息的显示处理例子的说明图；

图6是用于描述在遵循处理例子5的同时控制的附加信息的显示处理例子的说明图；

图7是用于描述附加信息的显示控制处理序列的流程图；

图8示出图像处理设备的结构例子；

图9示出根据本公开的实施例的图像处理设备的框图；以及

图10示出根据本公开的实施例的图像处理方法的流程图。

具体实施方式

以下，参照附图，将描述根据本公开实施例的图像处理设备和图像处理方法及其程序的细节。将根据下面的项目给出描述。

1、关于由图像处理设备执行的处理的细节

1-(1)调整附加信息的显示字符数的处理例子(处理例子1)

1-(2)调整附加信息的显示字符尺寸的处理例子(处理例子2)

1-(3)把附加信息的显示改变为图标的处理例子(处理例子3)

1-(4)执行附加信息的字符串的换行调整的处理例子(处理例子4)

1-(5)组合了处理例子1至4的处理例子(处理例子5)

2、关于由图像处理设备执行的处理序列的细节

3、关于图像处理设备的硬件结构例子

1、关于由图像处理设备执行的处理的细节

在显示三维图像时，要显示的附加信息包括例如消息、叠加字幕、错误显示、菜单、图标等。将描述在不引起不适感的情况下显示这些附加信息的处理的细节。

以下，作为具体的多个处理例子，附加信息与要显示的三维图像重叠，将顺序地描述下面的处理例子(1)至(5)。

(1)调整附加信息的显示字符数的处理例子(处理例子1)

(2)调整附加信息的显示字符尺寸的处理例子(处理例子2)

(3)把附加信息的显示改变为图标的处理例子(处理例子3)

(4)执行附加信息的字符串的换行调整的处理例子(处理例子4)

(5)组合了处理例子1至4的处理例子(处理例子5)

1-(1)调整附加信息的显示字符数的处理例子(处理例子1)

作为处理例子1，将描述调整附加信息的显示字符数的处理例子。

根据本处理例子，首先，附加信息显示在深度被设置为规定值的固定位置。例如，在三维图像的深度位置设置为0(显示图像的深度方向(远侧)/弹出方向(近侧)的中心)时执行显示。应该注意的是，附加信息的显示位置被设置为深度位置＝0的例子仅是一个例子，显示位置可固定在另一深度位置。

以这种方式，处理例子1是在附加信息的显示位置固定在预定深度位置的情况下(例如，在包括其位置与附加信息显示位置重叠并且还在附加信息前面显示的被显示对象(显示对象)的情况下)的有效处理例子。

在上述情况下，执行把附加信息的字符数减小到先前规定的数量的处理，从而使附加信息的意义仍然可理解，以避免显示在附加信息前面的对象(显示对象)与附加信息重叠。

将参照图1和图2描述附加信息的这种显示控制处理例子。

如图1中所示，本处理例子1是在重叠在要显示的三维图像100上的附加信息111是字符串(诸如错误、消息、叠加字幕或菜单)的情况下的有效处理。

如图1中所示，在原本希望显示为附加信息111的字符串是12个字符“BATTERYCHECK”的情况下，如果要显示全部这些字符，则字符串与看起来从深度0的位置(该位置是附加信息的显示位置)弹出的三维显示对象(在这种情况下为右侧的显示对象105(路标))重叠。

如果上述重叠发生，则仅重叠的部分看起来凹进到深度0。

在期望显示的附加信息采用图1中示出的模式的情况下，根据本公开实施例的图像处理设备执行图2中示出的附加信息显示控制。

也就是说，如图2中所示，减少附加信息的显示字符数，并且调整附加信息的显示区域。更具体地讲，显示为附加信息121的字符的位置和尺寸不改变，要显示的字符串从“BATTERYCHECK”改变为“BATTERY”并且显示字符数减少。

在图2中表示的例子中，12字符显示改变为七字符显示。通过这种处理，附加信息的显示区域减小，结果，能够避免右侧的显示对象105(路标)和附加信息121的重叠区域的产生。

以这种方式，通过在避免与看起来弹出的显示对象105(路标)重叠的区域的同时显示附加信息121，看起来弹出的显示对象105(路标)能够被观测为具有自然弹出效果的对象，并且在深度位置＝0的位置能够自然地观测到附加信息121。

1-(2)调整附加信息的显示字符尺寸的处理例子(处理例子2)

接下来，作为处理例子2，将描述调整附加信息的显示字符尺寸的处理例子。

类似于处理例子1，在本处理例子中，附加信息也显示在预定深度位置。例如，作为三维图像的深度位置，在0的位置(显示图像的深度方向(远侧)/弹出方向(近侧)的中心)执行显示。

类似于处理例子1，处理例子2也是例如在包括其位置与深度固定的附加信息的显示位置重叠并且还显示在附加信息前面的被显示对象(显示对象)的情况下的有效例子。

根据本处理例子，在存在显示位置与附加信息的显示位置重叠并且显示在例如附加信息前面的显示对象的情况下，减小附加信息的字符字体尺寸以避免重叠部分。

类似于先前描述的处理例子1，在期望显示的附加信息采用图1中示出的模式的情况下，根据本公开实施例的图像处理设备执行图3中示出的对附加信息的显示控制。

也就是说，如图3中所示，减小附加信息的显示字符尺寸以调整附加信息的显示区域。更具体地讲，显示为附加信息122的字符的位置不改变，显示字符尺寸被减小以减小附加信息的显示区域。

类似于处理例子1，本处理例子2也是避免附加信息和显示对象的重叠的方法，但通过减小字符尺寸而不减少显示信息。在图3示出的例子中，即使在相同字符“BATTERYCHECK”的情况下，通过改变字符尺寸以减小字符尺寸，也可以避免与三维图像的弹出部分重叠。

根据本处理例子，同样地，通过在避免与看起来弹出的显示对象105(路标)重叠的区域的同时显示附加信息122，看起来弹出的显示对象105(路标)能够被观测为具有自然弹出效果的对象，并且在深度位置＝0的位置能够自然地观测到附加信息122。

1-(3)把附加信息的显示改变为图标的处理例子(处理例子3)

接下来，作为处理例子3，将描述把附加信息的显示改变为图标的处理例子。

类似于处理例子1和2，在本处理例子中，附加信息显示在预定深度位置。例如，作为三维图像的深度位置，在0的位置(显示图像的深度方向(远侧)/弹出方向(近侧)的中心)执行显示。

类似于处理例子1，处理例子3也是例如在包括其位置与深度固定的附加信息的显示位置重叠并且还显示在附加信息前面的被显示对象(显示对象)的情况下的有效例子。

根据本处理例子，在存在显示位置与附加信息的显示位置重叠并且显示在例如附加信息前面的显示对象的情况下，通过把附加信息的显示改变为图标来避免重叠部分。也就是说，字符串显示被改变为图标显示。

类似于先前描述的处理例子1，在期望显示的附加信息采用图1中示出的模式的情况下，根据本公开实施例的图像处理设备如图4中所示改变附加信息的显示模式。更具体地讲，例如，执行把模式从字符串显示改变为图标显示的显示模式改变处理。

也就是说，如图4中所示，图1中示出的由字符串“BATTERYCHECK”构成的附加信息111被改变为由提示电池检查的“图标”构成的附加信息123。

类似于处理例子1和2，本处理例子3也是避免附加信息和显示对象的重叠的方法，但例如通过把模式改变为使用图标的显示模式，即使在显示字符的数量大的情况下也可以显著减小显示区域。在图4示出的例子中，通过把图1中示出的“BATTERYCHECK”的字符串显示改变为基于图4示出的图标的附加信息123，附加信息的显示区域显著减小，并且能够避免附加信息和三维图像的弹出对象105的重叠。

如果在显示由字符信息(诸如错误、消息、叠加字幕或菜单)构成的附加信息的情况下通过使用字符信息减小显示区域，则采用像上述处理例子1和2那样把字符数减少为能够传达信息的最大字符数的方法或者减小字符尺寸的方法。然而，关于要减少的字符数，能够减少的数据均根据不同的显示字符串而不同。另外，针对每个字符串信息，要减少的一个或多个规定字符数被保持为单独的数据，并且在重叠确定时，关于相关数据的确定变得有些复杂。另外，如果字符尺寸过度减小，则可见性变差，并且还存在对字符尺寸减小的限制。

与此相比，通过像图4中示出的处理例子3那样把字符显示改变为图标显示，与基于字符串的显示信息相比可以显著减小显示区域。此外，不会根据信息而存在面积的差异，另外，可以为一条字符信息准备替换字符信息的一种类型的图标，从而可以减少使用的存储器容量或者处理负荷。

1-(4)执行附加信息的字符串的换行调整的处理例子(处理例子4)

接下来，作为处理例子4，将描述执行附加信息的字符串的换行调整的处理例子。

类似于上述处理例子1至3，在本处理例子中，附加信息也显示在预定深度位置。例如，作为三维图像的深度位置，在0的位置(显示图像的深度方向(远侧)/弹出方向(近侧)的中心)执行显示。

类似于处理例子1至3，处理例子4也是例如在包括其位置与深度固定的附加信息的显示位置重叠并且还显示在附加信息前面的被显示对象(显示对象)的情况下的有效例子。

根据本处理例子，在存在显示位置与附加信息的显示位置重叠并且显示在附加信息前面的显示对象的情况下，对附加信息的字符串换行以变更行，并且附加信息的显示区域的形状改变，从而避免与其它三维显示对象重叠的部分。

类似于先前描述的处理例子1，在期望显示的附加信息采用图1中示出的模式的情况下，根据本公开实施例的图像处理设备执行图5中示出的对附加信息的显示控制。

也就是说，如图5中所示，对附加信息124的字符串换行以变更段落。通过上述处理，附加信息124的显示区域改变，并且消除显示在附加信息前面的与显示对象的重叠区域。

类似于其它处理例子，本处理例子4也是避免附加信息和显示对象的重叠的方法，但在不减小字符尺寸的情况下，可以在能够显示所有字符信息的同时避免与三维图像的弹出部分重叠。

根据本处理例子，同样地，通过在避免与看起来弹出的显示对象105(路标)重叠的区域的同时显示附加信息124，看起来弹出的显示对象105(路标)能够被观测为具有自然弹出效果的对象，并且在深度位置＝0的位置能够自然地观测到附加信息124。

1-(5)组合了处理例子1至4的处理例子(处理例子5)

虽然上述处理例子1至4能够单独使用，但是也能够通过任意组合两个或更多个处理例子来使用这些处理例子。例如，如果在单独使用上述处理例子1至4的情况下附加信息和三维显示对象的重叠区域比较大地保留，则通过组合各方法以及另外通过减小或改变附加信息的显示区域，避免与其它三维显示对象的重叠区域。

例如，图6中示出的附加信息125是在组合上述处理例子2和处理例子4的同时执行的处理例子。也就是说，示出了组合了这两个处理例子的处理例子：

(处理例子2)调整附加信息的显示字符尺寸的处理例子；

(处理例子4)执行附加信息的字符串的换行调整的处理例子。

也就是说，图6中示出的附加信息125是通过减小字符尺寸并且还执行换行以具有两行显示而获得的附加信息。

这是即使在遵循处理例子2的同时减小字符串尺寸也未实现消除与其它显示对象105的重叠的情况，此时，进一步应用处理例子4以换行从而改变字符显示区域的形状。通过这些组合的处理，避免与其它三维显示对象的重叠。

如上所述，根据通过显示字符串的操作、尺寸改变、转换成图标等减小附加信息的显示面积的方法，可以避免与存在于近侧的三维图像的重叠。然而，应该注意的是，在作为显示目标的三维图像是运动图像的情况下，即使基于某个时刻的图像执行关于重叠的确定并改变显示，在近侧弹出的图像在下一时刻改变并产生重叠的情况下，该显示会进一步改变。

在该时刻，如果立即切换显示，则发生显示模式的烦杂改变，这可能相当程度地降低可见性。

由于这个原因，执行通过评价重叠区域和它的深度量之间的差、以及重叠时长来确定切换定时的处理。以下将参照图7中示出的流程图具体地描述该处理的细节。通过该处理，在避免频繁的显示改变的同时能够增加附加信息相对于观测者的可见性。

2、关于由图像处理设备执行的处理顺序的细节

图7是用于描述由图像处理设备执行的对附加信息的显示控制处理的序列的例子的流程图。

在遵循图7中示出的流程的该处理中，计算与构成期望显示的附加信息的显示区域的每个像素对应的评价值。也就是说，设置根据与附加信息重叠的对象和深度之间的差的评价值，并且在该评价值的基础上控制附加信息的显示模式。

例如，在图像处理设备的控制单元的控制下执行图7中示出的流程，该控制单元设置有具有程序执行功能的CPU等。将描述图7的流程图的每个步骤中的处理。

首先，在步骤S101中执行初始设置。在初始设置中，构成期望显示的附加信息的显示区域的每个像素的评价值被如下设置。

评价值＝0

在步骤S102中，确定对构成附加信息的显示预计区域的所有像素的处理(即，评价值计算处理)是否结束。在确定该处理结束的情况下，流程前进至步骤S105。

在对构成期望显示的附加信息的显示区域的每个像素的评价值设置处理未结束的情况下，流程前进至步骤S103。

步骤S103中的处理是对构成附加信息的显示区域的每个像素顺序地执行的确定处理，并且确定是否存在与设置为处理目标的像素重叠的三维显示对象。在本例子中，将在附加信息的显示位置在深度位置恰好设置为0的位置(显示图像的深度方向(远侧)/弹出方向(近侧)的中心)时给出描述。在这种情况下，执行步骤S103中的重叠确定，作为关于是否存在在深度位置＝0的显示位置处的附加信息的像素前面(相对于深度位置＝0的显示位置处的附加信息的像素在近侧)的位置显示的三维对象的确定处理。

在步骤S103中，在确定在处理目标像素的像素位置处存在在近侧的位置显示的三维对象的情况下，流程前进至步骤S104，并且在确定不存在相关三维对象的情况下，流程返回到步骤S102。

在步骤S103中，在确定在处理目标像素的像素位置存在在近侧的位置显示的三维对象的情况下，流程前进至步骤S104，并且在步骤S104中，执行对评价值的更新处理。

在执行的处理中获得评价值，在该处理中，深度位置＝0的显示位置处的附加信息和三维显示对象的显示位置经受重叠显示，也就是说，把深度信息的差与计算的评价值相加。

也就是说，评价值E变为如下计算的值。

在附加信息的显示位置(＝0)被设置为Ip时，

当与附加信息重叠并显示在附加信息前面的对象的显示位置被设置为Op时，

关于期望显示的附加信息的每个构成像素，计算

|Ip-Op|，

关于附加信息的显示区域的所有构成像素把这些值相加。也就是说，基于下面的表达式计算评价值E。

评价值E＝∑|Ip-Op|

当对附加信息显示预计区域的所有像素的处理结束并且计算出最终评价值时，流程前进至步骤S105。

在步骤S105中，把计算的评价值与先前规定的阈值进行比较。

评价值＞阈值

在满足上述判定表达式的情况下，在该例子中，在计算的评价值大于先前规定的阈值的情况下，流程前进至步骤S121。另一方面，在计算的评价值不大于先前规定的阈值的情况下，流程前进至步骤S106。

在步骤S105中，确定计算的评价值不大于先前规定的阈值，并且当流程前进至步骤S106时，确定为附加信息的显示切换控制设置的切换定时器是否正在计时。

切换定时器是用于测量为执行附加信息的显示切换而在先前规定的时间段的定时器。如果与评价值相加的结果超过阈值，则切换定时器启动以执行时间评价。

例如，在本例子中，执行附加信息的显示切换的最短时间间隔设置为两秒(2sec)。这是防止附加信息的频繁显示改变的措施。如果频繁执行附加信息的显示切换，则产生闪烁。这是用于防止由于这种闪烁使观测者难以检查附加信息的情况的措施。

切换定时器在产生附加信息的切换条件的情况下开始计时，并且在消除附加信息的切换条件的情况下，计时暂时中断。

该中断时间由中断定时器测量。在中断时间超过先前规定的时长(在本例子中，0.5秒)的时间点未产生附加信息的显示切换条件的情况下，切换定时器被清零，即复位。

在中断时间超过先前规定的时长(在本例子中，0.5秒)的时间点产生附加信息的显示切换条件的情况下，切换定时器从停止的时间重新开始计时。

当切换定时器的该计时(测量的时间)总计超过两秒(2sec)时，执行附加信息的显示切换。

在步骤S106中，在切换定时器未在计时的情况下，流程前进至步骤S124，在步骤S124中，确定用于测量切换定时器的计时的中断时间的中断定时器是否正在计时。

在步骤S124中，在确定中断定时器未在计时的情况下，流程前进至步骤S142。

在步骤S142中，执行附加信息的显示。该显示处理是原本期望显示的附加信息的显示。

也就是说，这个处理是在执行以下显示的情况下的处理：附加信息和其它三维显示对象的重叠小并且即使当附加信息按原样显示时也不发生视觉问题。

另一方面，在步骤S105中确定计算的评价值不大于先前规定的阈值并且在步骤S106中确定为附加信息的显示切换控制而设置的切换定时器正在计时的情况下，流程前进至步骤S107。

在步骤S107中，切换定时器停止。

接下来，流程前进至步骤S108，在步骤S108中，中断定时器启动。中断定时器是用于对切换定时器停止的时长进行计时的定时器。

接下来，流程前进至步骤S109，在步骤S109中，确定中断定时器的计时时间是否超过先前规定的时长(例如，0.5秒)。在计时时间未超过先前规定的时长的情况下，流程返回到步骤S101。

在步骤S109中，当确定中断定时器的计时时间超过先前规定的时长(例如，0.5秒)时，流程前进至步骤S110，在步骤S110中，中断定时器被清零，并且流程前进至步骤S141。

在步骤S141中，切换定时器被清零，并且流程前进至步骤S142。

在步骤S142中，执行附加信息的显示。该显示处理是原本期望显示的附加信息的显示。

也就是说，这个处理是在执行以下显示的情况下的处理：附加信息和其它三维显示对象的重叠小并且即使当附加信息按原样显示时也不发生视觉问题。

接下来，将描述在不满足步骤S105中的确定处理(即，不满足上述确定表达式：评价值＞阈值)的情况下的处理。

在步骤S105中，在计算的评价值大于先前规定的阈值的情况下，流程前进至步骤S121。

在步骤S121中，确定为附加信息的显示切换控制而设置的切换定时器是否正在计时。

在切换定时器未在计时的情况下，流程前进至步骤S122，在步骤S122中，确定用于测量切换定时器的计时的中断时间的中断定时器是否正在计时。

在步骤S122中，当确定中断定时器未在计时时，流程前进至步骤S123。

在步骤S123中，切换定时器启动，并且流程前进至步骤S131。

在步骤S131中，执行切换定时器的计时的重新开始，另外，执行对中断定时器的清零处理。

其后，流程前进至步骤S132，在步骤S132中，确定切换定时器的计时时间是否超过先前设置的时长(2秒)。在确定该计时时间未超过先前设置的时长(2秒)的情况下，流程返回到步骤S101。

在步骤S132中，在确定切换定时器的计时时间超过先前设置的时长(2秒)的情况下，流程前进至步骤S133。

在步骤S133中，执行切换应该显示的附加信息的处理。例如，通过遵循上述处理例子1至5之一，执行对应该切换并显示的附加信息的设置。这里，将在假设执行处理例子1中的字符数的减少的同时给出描述。

在执行步骤S133中基于字符数减少的应该切换并显示的附加信息的设置处理之后，流程前进至步骤S134。

在步骤S134中，确定切换之后的附加信息的字符串是否大于先前规定的字符数。

在步骤S134中，在确定切换之后的附加信息的字符串大于先前规定的字符数的情况下，流程前进至步骤S135。另外，字符数减少，并且流程前进至步骤S134。

另一方面，在步骤S134中，在确定切换之后的附加信息的字符串不大于先前规定的字符数的情况下，流程前进至步骤S141。

在步骤S141中，切换定时器被清零，并且流程前进至步骤S142。

在步骤S142中，执行附加信息的显示。执行这个显示处理，作为替代于原本期望显示的附加信息由上述处理例子1至5之一控制的附加信息的显示处理。

也就是说，为了消除或设置以减小附加信息和其它三维显示对象的重叠，执行作为执行的控制(诸如，字符数减少)的结果的附加信息显示。

如参照图7中示出的流程所述，在根据本公开实施例的处理中，通过使用用于测量从附加信息的切换条件的产生时间开始的时间段的切换定时器和用于测量从附加信息的切换条件的消除开始的时间段的中断定时器，执行时间测量。把各测量的时间与预定阈值时间进行比较，并且基于比较结果执行附加信息的切换控制。这个处理是为了抑制附加信息的频繁切换以执行稳定的显示切换。

例如，在微妙显示条件的情况(比如在由切换定时器测量的两秒的切换时间期间稍微不满足该条件的情况等)下，不执行切换。也就是说，在某一程度上准备滞后(hysteresis)，作为显示切换处理的时间条件。

例如，如在运动图像的再现显示中，在附加信息和弹出对象的重叠区域频繁改变的情况下，防止由附加信息的频繁显示切换的重复引起的闪烁显示的情况，并且可以使观测者稳定地检查附加信息。

通过执行根据本公开实施例的处理，当附加信息(诸如字符串、图标或图像)与三维图像重叠时，可以执行附加信息与图像的重叠显示，通过该重叠显示，在相对于三维图像的近侧存在弹出的图像部分的情况下可见性未变差，并且希望由规定的附加信息传达的意义能够被充分传达给用户。

此外，在三维图像是运动图像的情况下，当附加信息(诸如字符串、图标或图像)重叠时，可以重叠附加信息以使得在实现信息的传递的同时避免根据图像的改变的附加信息的显示模式的烦杂改变并且把对图像的影响抑制到最小程度。

3、关于图像处理设备的硬件结构例子

接下来，将参照图8描述执行上述处理的图像处理设备的硬件结构例子。图8是示出根据本公开实施例的图像处理设备的结构例子的框图。该图像处理设备是通过对附加信息执行上述显示控制来执行产生输出图像的处理的设备。更具体地讲，例如，该图像处理设备是诸如电视机、再现设备、摄像机或PC的设备。

CPU(中央处理单元)201用作在遵循存储在ROM(只读存储器)202或存储单元208中的程序的同时执行各种处理的控制单元(数据处理单元)。例如，CPU201执行上述实施例中描述的对附加信息的显示控制。

RAM(随机存取存储器)203适当地存储由CPU201执行的程序、数据等。CPU201、ROM202和RAM203通过总线204互相连接。

CPU201经由总线204连接到输入输出接口205，并且由各种开关、键盘、鼠标、麦克风等构成的输入单元206和由显示器、扬声器等构成的输出单元207连接到输入输出接口205。CPU201执行与从输入单元206输入的指令对应的各种处理并把处理结果输出给例如输出单元207。

连接到输入输出接口205的存储单元208由例如硬盘等构成并存储由CPU201执行的程序和各种数据。通信单元209经由网络(诸如互联网或局域网)与外部设备执行通信。

连接到输入输出接口205的驱动器210驱动可移动介质211，诸如磁盘、光盘、磁光盘或半导体存储器，并获得各种数据，诸如记录的内容和程序。

定时器221用作参照图7中示出的流程图描述的切换定时器和中断定时器。

接下来，将参照图9描述图像处理设备的另一结构示例。在图9中，示出了图像处理设备900。图像处理设备900包括重叠检测器910和显示修改单元920。

重叠检测器910被构造为确定与第二图像叠加的第一图像是否与第二图像中的对象重叠大于阈值。这里，第一图像是二维图像，并且第一图像的内容可以是消息、标题、错误显示、菜单或图标等；第二图像是三维图像，诸如图1-7中所示的三维图像。第二图像中的对象的例子是图1-7中的路标105。重叠检测器910被构造为基于第一图像中的每个像素计算评价值，并把该评价值与所述阈值进行比较以确定第一图像是否与所述对象重叠。重叠检测器910被构造为确定是第一图像在第二图像前面还是第二图像在第一图像前面。为了这样做，重叠检测器被构造为基于第一图像的深度位置确定是第一图像在第二图像前面还是第二图像在第一图像前面。

显示修改单元920被构造为当重叠检测器910检测到第一图像与第二图像中的所述对象重叠大于所述阈值时，改变与第二图像叠加的第一图像的内容以使得第一图像不再与第二图像中的所述对象重叠大于所述阈值。此外，显示修改单元920被构造为在切换时间改变第一图像的内容，所述显示修改单元测量从所述评价值超过所述阈值的时间到通过显示修改单元改变内容的时间的所述切换时间。

显示修改单元920可以通过去除第一图像中的文本的至少一部分改变第一图像的内容(处理例子1)。显示修改单元920可以通过改变第一图像中的文本的字体尺寸改变第一图像的内容(处理例子2)。显示修改单元920可以通过用图标替换第一图像中的文本改变第一图像的内容(处理例子3)。显示修改单元920可以通过把第一图像中的文本的格式改变为在至少一个附加行上显示所述文本来改变第一图像的内容(处理例子4)。

图10示出了根据本公开的实施例的图像处理方法的流程图。该图像处理方法包括重叠检测步骤1010和显示修改步骤1020。在重叠检测步骤1010中，确定与第二图像叠加的第一图像是否与第二图像中的对象重叠大于阈值。在显示修改步骤1020中，当检测到第一图像与第二图像中的所述对象重叠大于所述阈值时，使用处理器改变与第二图像叠加的第一图像的内容以使得第一图像不再与第二图像中的所述对象重叠大于所述阈值。

在上面，参照具体实施例详细描述了本公开。然而，本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。也就是说，本公开借助示例被公开并且不应该以限制的方式进行解释。

此外，说明书中执行的一系列处理能够由硬件、软件或它们的组合结构执行。在处理由软件执行的情况下，在记录处理序列的程序被安装在专用硬件中所包括的计算机中的存储器中或者该程序被安装在能够执行各种处理的通用计算机中时，能够执行处理。例如，该程序能够在先前记录在记录介质中。除了从记录介质安装到计算机之外，能够经由网络(诸如LAN(局域网)或互联网)接收该程序并把该程序安装在诸如内置硬盘的记录介质中。

应该注意的是，在遵循说明书的同时按照时间顺序方式执行说明书中描述的各种处理，但也可以根据执行处理的设备的处理能力或者在必要时，并行或单独地执行所述各种处理。此外，本说明书中的系统是多个设备的逻辑集合结构并且不限于各结构的设备位于同一壳体中的结构。

应该注意的是，本公开还能够采用下面的结构。

1.一种包括执行三维图像的显示处理的控制单元的图像处理设备，

其中该控制单元

执行在先前规定的规定深度位置处显示与所述三维图像重叠的附加信息的处理，

基于附加信息的显示预计区域中包括的显示对象的深度位置和用于显示附加信息的规定深度位置之间的差，计算评价值，以及

根据所述评价值执行附加信息的显示模式的改变处理。

2.如权利要求1所述的图像处理设备，

其中所述控制单元执行附加信息的字符数的减少处理，作为附加信息的显示模式改变处理。

3.如权利要求1所述的图像处理设备，

其中所述控制单元执行附加信息的字符尺寸的改变处理，作为附加信息的显示模式改变处理。

4.如权利要求1所述的图像处理设备，

其中所述控制单元执行把附加信息的字符改变成图标的处理，作为附加信息的显示模式改变处理。

5.如权利要求1所述的图像处理设备，

其中所述控制单元执行对附加信息的字符串设置换行的处理，作为附加信息的显示模式改变处理。

6.如权利要求1所述的图像处理设备，

其中所述控制单元

以附加信息的显示预计区域中包括的像素为单位计算与重叠的显示对象的深度位置的差，并针对附加信息的显示预计区域中的所有像素以像素为单位把所述差相加以计算所述评价值，以及

基于计算的评价值和先前规定的阈值之间的比较结果，决定是否改变附加信息的显示模式。

7.如权利要求1所述的图像处理设备，

其中所述控制单元在评价值满足附加信息的切换条件的时间段持续了先前规定的规定时长以上的情况下，执行改变附加信息的显示模式的处理。

8.一种图像处理设备中执行三维图像的显示处理的图像处理方法，该方法包括：

在先前规定的规定深度位置处显示与所述三维图像重叠的附加信息；

基于附加信息的显示预计区域中包括的显示对象的深度位置和用于显示附加信息的规定深度位置之间的差来计算评价值，以及

根据所述评价值，执行附加信息的显示模式的改变处理。

9.一种用于在图像处理设备中执行三维图像的显示处理的程序，该程序使得执行：

在先前规定的规定深度位置处显示与所述三维图像重叠的附加信息；

基于附加信息的显示预计区域中包括的显示对象的深度位置和用于显示附加信息的规定深度位置之间的差来计算评价值，以及

根据所述评价值，执行附加信息的显示模式的改变处理。

Claims (11)

1.一种图像处理设备，包括：

重叠检测器，被构造为确定与第二图像叠加的第一图像是否与第二图像中的对象重叠大于阈值；和

显示修改单元，被构造为当重叠检测器检测到第一图像与第二图像中的所述对象重叠大于所述阈值时，改变与第二图像叠加的第一图像的内容以使得第一图像不再与第二图像中的所述对象重叠大于所述阈值，

其中，所述重叠检测器被构造为基于第一图像中的每个像素计算评价值，并把该评价值与所述阈值进行比较以确定第一图像是否与所述对象重叠，并且

其中，所述显示修改单元被构造为在切换时间改变第一图像的内容，所述显示修改单元测量从所述评价值超过所述阈值的时间到通过显示修改单元改变内容的时间的所述切换时间。

2.如权利要求1所述的设备，其中所述显示修改单元通过去除第一图像中的文本的至少一部分改变第一图像的内容。

3.如权利要求1所述的设备，其中所述显示修改单元通过改变第一图像中的文本的字体尺寸改变第一图像的内容。

4.如权利要求1所述的设备，其中所述显示修改单元通过用图标替换第一图像中的文本改变第一图像的内容。

5.如权利要求1所述的设备，其中所述显示修改单元通过把第一图像中的文本的格式改变为在至少一个附加行上显示所述文本来改变第一图像的内容。

6.如权利要求1所述的设备，其中所述第一图像是二维图像。

7.如权利要求1所述的设备，其中所述第二图像是三维图像。

8.如权利要求1所述的设备，其中所述第一图像的内容是消息、标题、错误显示、菜单或图标。

9.如权利要求1所述的设备，其中所述重叠检测器被构造为确定是第一图像在第二图像前面还是第二图像在第一图像前面。

10.如权利要求9所述的设备，其中所述重叠检测器被构造为基于第一图像的深度位置确定是第一图像在第二图像前面还是第二图像在第一图像前面。

11.一种图像处理方法，包括：

确定与第二图像叠加的第一图像是否与第二图像中的对象重叠大于阈值；以及

当检测到第一图像与第二图像中的所述对象重叠大于所述阈值时，使用处理器改变与第二图像叠加的第一图像的内容以使得第一图像不再与第二图像中的所述对象重叠大于所述阈值，

其中，所述确定包括基于第一图像中的每个像素计算评价值，并把该评价值与所述阈值进行比较以确定第一图像是否与所述对象重叠，并且

其中，所述改变包括在切换时间改变第一图像的内容，所述切换时间是从所述评价值超过所述阈值的时间到所述内容被改变的时间测量得到的。