CN103415882B - 视频显示装置 - Google Patents

Abstract

在具有可显示三维活动图像的显示部（10）的装置中，装入摄像机（15）和图像处理装置（100），通过摄像机（15）拍摄位于显示部（10）前的用户。生成的图像被输入到图像处理装置（100），由前处理部（102）以及面部检测部（103）从图像检测用户的面部。图像选择处理（104）通过分析检测出的面部的特征来估计用户的利用状况，并基于该估计结果来选择二维以及三维的活动图像中的一个。该选择结果被提供给视频信号处理电路（12），被选择的活动图像的视频信号输出到显示部（10）。

Description

视频显示装置

技术领域

本发明涉及具有切换显示三维的活动图像以及二维的活动图像中的任一个的显示部的视频显示装置。

背景技术

近年来，开发出不使用附带偏光滤波器的眼镜就能够对三维图像进行视觉辨认的视频显示装置，且开始以在电视装置或游戏机等中的形式进行实用化。

作为这种视频显示装置的现有例，例如在专利文献1中，公开了采用了在视频显示面的前面配置由柱面透镜（cylindricallens）构成的透镜阵列，通过各透镜来划分左眼用的图像和右眼用的图像，将前者入射到左眼、将后者入射到右眼的方式（lenticular方式）的装置。此外，在专利文献2中，公开了如下结构的装置：将右眼用的图像和左眼用的图像在显示面板的面内有规则地混合，在各图像的前方设置用于设定向分别不同的方向的偏光状态的相位元件，且在各相位元件的边界位置形成了凸状的遮光部。

此外，在专利文献3中，公开了具有切换显示三维图像和二维图像的功能且设置了用于拍摄观察显示的观察者的摄像装置的视频显示装置。此外，在专利文献3中，记载了从由摄像装置生成的图像中检测观察者的两眼的排列，在两眼的排列倾斜预定的角度以上的情况下，从三维图像的显示切换为二维图像的显示。

现有技术文献

专利文献1：特开2001－133727号公报

专利文献2：特开2010－32677号公报

专利文献3：特开平11－234703号公报

发明内容

发明要解决的课题

三维活动图像能够对观看的人带来大的冲击，获得在二维活动图像中得不到的乐趣，但对眼睛或脑部的负担大成为问题。因此，期望不让低年龄（尤其是小于10岁）的小孩看三维显示，即使是大人也期望在疲劳时不看。

此外，即使是在显示了三维活动图像的情况下，若观看该显示的用户的位置或姿势不适当，则不能充分体验立体识别。此外，也增加用户的疲劳。因此，在观看三维活动图像时，推荐从显示部离一定的距离的地点观看显示。此外，在用户没有采取对三维的活动图像的显示将面部或视线正面相向的姿势的情况下，存在对立体识别产生障碍的可能性。

这样，由于考虑不适合观看三维活动图像的状况，所以期望根据观看图像的用户的状况来选择显示三维活动图像以及二维活动图像中的哪个。但是，若使一般的用户进行用于选择显示的操作，则会带来麻烦的感觉。此外，虽然不是适合显示三维的状况但选择三维的显示，其结果，存在产生损害健康等的问题的顾虑。

在专利文献3中记载的发明根据两眼的排列方向是否沿着显示部的水平线来切换三维的显示和二维的显示，但在这样的方法中，只能应对在上述记载的各种问题中与用户的面部或视线的方向有关的问题。并且，在专利文献3的方法中，若两眼的排列方向为水平，则即使相对显示部用户将面部朝向横向，也会进行三维的显示。因此，难以认为充分获得了对应于用户的姿势的显示的切替的精度。

本发明着眼于上述的问题，其课题在于，高精度地估计观看活动图像的显示的用户的利用状况，并基于该估计结果来自动地选择适合用户的当前的状况的方式的图像而显示。

用于解决课题的手段

本发明的视频显示装置包括：显示部，切换显示三维活动图像以及二维活动图像中的任一个；拍摄部件，用于拍摄位于显示部的前方的用户；面部检测部件，从通过摄像部件生成的图像中检测用户的面部；图像选择部件，通过分析由面部检测部件检测出的面部的特征而估计用户的利用状况，并基于该估计结果而选择要显示三维以及二维中的哪个活动图像；以及显示控制部件，将由图像选择部件所选择的活动图像输出到显示部。

根据上述的结构，基于分析了用户的面部的特征的结果来估计用户的利用状况，在估计为是也可以显示三维的活动图像的利用状况的情况下显示三维活动图像，在估计为是不适合显示三维活动图像的利用状况的情况下显示二维活动图像。因此，不会对用户带来负担，能够进行适合利用状况的显示。

在上述视频显示装置的第1实施方式中，图像选择部件基于由面部检测部件检测出的面部的大小以及各面部器官之间的距离中的至少一个，估计用户相对于显示部的位置，且在估计出的位置包含在预先确定的基准的范围的情况下选择三维活动图像，在估计出的位置脱离所述基准范围的情况下选择二维活动图像。根据这个结构，当用户在适合体验立体识别的地点观看显示部的情况下，显示三维活动图像，但当用户过度接近显示部的情况下或者离显示部很远的情况下，显示二维的活动图像。

在上述视频显示装置的第2实施方式中，图像选择部件基于面部检测部件的面部器官的检测结果，估计用户是否正视显示部，在估计为正视的情况下选择三维活动图像，在估计为没有正视的情况下选择二维活动图像。根据这个结构，在用户的面部或眼睛朝向适合体验立体识别的方向的情况下，显示三维活动图像，在除此之外的情况下，显示二维活动图像。

在上述视频显示装置的第3实施方式中，图像选择部件根据由面部检测部件检测出的面部的特征来估计用户的年龄，在估计出的年龄为预先决定的基准的年龄以上的情况下选择三维活动图像，在估计出的年龄小于基准的年龄的情况下选择二维活动图像。根据这个结构，能够防止在低年龄的小孩观看显示的情况下显示三维活动图像的情况。

在上述视频显示装置的第4实施方式中，图像选择部件基于在规定的时间内由面部检测部件检测出的面部的变化来估计用户是否疲劳，在估计为用户不疲劳的情况下选择三维活动图像，在估计为用户疲劳的情况下选择二维的活动图像。

根据该结构，在用户的面部出现了眨眼、眼球的运动的增加、哈欠等表示疲劳的变化时，能够不显示三维活动图像。

本发明的视频显示装置能够以电视装置、游戏机、个人计算机等的方式提供。

发明效果

根据本发明，由于根据用户的面部的特征来估计利用状况，并基于该估计结果来选择要显示三维以及二维中的哪一个活动图像，所以不会对用户带来负担，能够自动地选择显示适合利用状况的活动图像。此外，即使在利用状况变化的情况下，也能够与此相应地切换显示。

附图说明

图1是表示应用了本发明的电视装置的结构的方框图。

图2是表示图像选择处理的第一例的流程图。

图3是表示图像选择处理的第二例的流程图。

图4是表示图像选择处理的第三例的流程图。

图5是表示图像选择处理的第四例的流程图。

具体实施方式

图1是表示应用了本发明的电视装置的结构例。

该电视装置除了包括可显示三维的活动图像的显示部10之外，还将接收电路11、视频信号处理电路12、语音电路13、扬声器14等作为基本结构而包括。

接收电路11接受未图示的天线从广播站接收到的信号，并从该信号解调二维活动图像以及三维活动图像的视频信号或语音信号。各视频信号输入到视频信号处理电路12，在该电路12中选择任一个视频信号而输出到显示部10。语音信号从语音电路13输出到扬声器14。通过这些处理，接收到的节目的二维或者三维的活动图像显示在显示部10中的同时，从扬声器14输出与显示中的图像对应的语音。

在该实施例的电视装置中，作为选择使视频信号处理电路12处理的图像的部件，装入摄像机15以及图像处理装置100。

摄像机15是数字视频摄像机，其透镜固定在电视装置的主体的前面侧。图像处理装置100采取搭载了对于摄像机15的接口电路、微型计算机的基板的方式，并通过装入计算机的程序，设定图像输入部101、前处理部102、面部检测部103、图像选择处理部104等的功能。

图像输入部101在每个一定时间从摄像机15获取图像，并存储在未图示的存储器中。前处理部102根据被输入的图像中的色彩等，将包含用户的面部的范围作为处理对象区域来检测，并从该区域内的图像提取用于面部检测的特征点或特征量。面部检测部103基于前处理部102的处理结果，从处理对象区域检测用户的面部以及面部器官。另外，由于在前处理部102、面部检测部103的处理中能够应用现有的面部检测技术，所以省略详细的说明。

图像选择处理部104使用由面部检测部103检测出的面部的特征来估计视听过程中的用户的利用状况，并基于该估计结果，在二维活动图像以及三维活动图像中选择从用户的利用状况考虑认为适合显示的图像。选择结果被提供给视频信号处理电路12，所选择的活动图像的视频信号被输出到显示部10。

以下，作为由图像选择处理部104执行的处理的具体例，提示4个实施例，并分别参照图2～图5说明各实施例中的处理内容。

＜实施例1＞

该实施例的目的在于，在用户位于适合立体识别的地点时显示三维活动图像。具体而言，在该实施例中，将显示部10的画面的高度的3倍的距离设为适合观看三维活动图像的距离（以下，称为“标准观看距离”。），预先分析一定数的人物的图像，取得在用户位于离显示部标准观看距离的地点时获得的面部图像的大小以及各面部器官（眼、眉、鼻、口）之间的距离（包括左右眼之间的距离、左右眉之间的距离。）的基准数据。图2所示的流程图以这些基准数据注册在图像处理装置100中作为前提而实施。

在该处理的最初的步骤S11中，通过对由面部检测部103检测出的面部图像的像素数进行计数的方法，测量该面部图像的面积。此外，在步骤S12中，测量各面部器官之间的距离。

在步骤S13中，将通过步骤S11、S12的处理而获得的各测量值分别与对应的基准数据进行比对，提取与基准数据之差成为预定的容许值以内的测量数据。

在步骤S14中，基于通过步骤S13的处理而提取的数据的数量来估计用户的位置。例如，在提取数据数量超过预先决定的阈值的情况下，估计为用户位于适合立体识别的地点。此时，步骤S15成为“是”而进入步骤S16，选择三维活动图像。

另一方面，在提取数据数量为阈值以下的情况下，估计为用户位于不适合立体识别的地点。此时，步骤S15成为“否”而进入步骤S17，选择二维活动图像。

另外，在上述的实施例中，进行了使用了用户的面部的大小以及面部器官之间的距离的两种参数的估计处理，但也可以仅使用任一个参数。另一方面，为了提高估计的精度，除了用户的面部之外，也可以将体部分的尺寸等追加到估计处理的元素中。此外，在想要以更高的精度求出用户的地点的情况下，也可以将摄像机15作为立体像机，以面部的特征作为对象进行三维测量。

根据上述的处理，只有在用户位于对应于标准观看距离的地点附近时显示三维活动图像，在用户比对应于标准观看距离的地点接近了显示部10时或比对应于标准观看距离的地点远离时显示二维活动图像。因此，在显示三维活动图像的情况下，用户能够稳定地体验立体识别。

但是，即使是在估计为用户的位置不合适的情况下，如果能够通过图像的显示范围的调整而使得用户的位置成为适当的状态，则也可以进行该调整而显示三维活动图像。例如，虽然在步骤S13中提取出的数据数量为阈值以下，但各测量数据大于基准数据的情况下，也可以看做用户位于比对应于标准观看距离的地点接近显示部的地点，从而缩小图像在显示部中的显示范围，并在该范围内显示三维活动图像。

＜实施例2＞

为了在显示三维活动图像时用户体验立体识别，需要调整视线的方向或面部的朝向，使得对用户的右眼入射右眼用的图像对左眼入射左眼用的图像。鉴于这一点，在实施例2中，估计相对于显示部10的用户的视线的方向或面部的朝向，并基于该估计结果来选择显示对象的图像。

使用图3说明具体的处理步骤。在该处理的最初的步骤S21中，基于面部检测部103的处理结果，对每个面部器官测量包含该面部器官的范围的坐标。在步骤S22中，测量左右的黑眼珠的位置（例如重心的坐标）。

在步骤S23中，使用通过步骤S21、S22的处理而取得的测量数据来估计用户的视线的方向或面部的朝向。例如，测量左右眼或眉相对于鼻的距离，在左右距离大致相等的情况下，估计为用户的面部处于将正面朝向显示部10的状态，在左右距离不同的情况下，估计为面部朝向显示部10的侧面。此外，在估计为面部的正面朝向显示部10的情况下，根据黑眼珠相对于眼睛的整体范围的位置关系，估计视线朝向正面还是朝向斜面。

从估计结果，在估计为用户正视显示部10的情况下，步骤S24成为“是”而进入步骤S25，选择三维活动图像。另一方面，在获得了用户不正视显示部10的估计结果的情况下，步骤S24成为“否”而进入步骤S26，选择二维活动图像。

根据上述的实施例2，由于只有在用户的视线方向或面部的朝向处于适合获得立体识别的状态的情况下，显示三维的活动图像，所以用户自然采取准确的姿势进行视听。

另外，该实施例2也可以与实施例1合并实施。此时，当用户在适合立体识别的地点正视显示部10时显示三维活动图像，在除此之外的情况下显示二维活动图像。

＜实施例3＞

在该实施例中，从面部的检测结果来估计用户的年龄，并基于该估计结果来选择要显示的活动图像。

由于三维的活动图像的显示对眼睛或脑部带来负担，所以认为小于10岁的小孩不应该观看。鉴于这一点，在该实施例中，设为在用户的估计年龄小于10岁时使得选择二维活动图像。因此，在该实施例中，预先对0～9岁的小孩的面部的样本图像进行一定数分析，选择适合检测这些年龄段的小孩的面部的多种特征数据（例如，白眼珠或唇的色彩、整个面部中的皮肤的色差程度等），按数据的每个种类，求出该特征数据的值的概率分布曲线。

图4所示的处理是以这些概率分布曲线注册在图像处理装置100中为前提实施的处理，首先，在步骤S31中，对由面部检测部103检测出的面部图像详细进行处理，测量各种特征数据。在步骤S32中，将提取出的特征数据分别与注册的概率分布曲线进行比对，估计用户小于10岁的可能性。例如，按特征数据的每个种类，基于对应的概率分布曲线，求出该特征数据适合小于10岁的小孩的概率，并将各概率的平均值与预定的阈值进行比较。

通过上述的处理而估计为用户小于10岁的情况下，步骤S33成为“是”而进入步骤S35，选择二维活动图像。另一方面，在估计为用户为10岁以上的情况下，步骤S33成为“否”而进入步骤S34，选择三维活动图像。

根据上述的处理，由于能够防止在小于10岁的小孩视听时显示三维活动图像的情况，所以能够守护低年龄的小孩的健康。

另外，在面部检测部103的处理中检测出多人的面部的情况下，按检测出的每个面部执行步骤S31～S33，在至少一人被估计为小于10岁的情况下期望选择二维活动图像。若是这样，例如低年龄的小孩与父母一起视听的情况下，能够进行适合小孩的显示。

此外，在预先注册了不适合观看三维活动图像的用户的面部图像的情况下，也可以代替图4的处理，在检测出所注册的面部图像的情况下选择二维活动图像，在除此之外的情况下选择三维活动图像。

＜实施例4＞

如上所述，由于三维的活动图像的显示对眼睛或脑部带来负担，所以即使是成人，在疲劳的情况下也最好不要看。鉴于这一点，在该实施例中设为，基于由面部检测部103检测出的面部的移动来估计用户是否疲劳，并选择适合该估计结果的图像。

参照图5说明具体的处理的步骤。在该实施例中，分析一定长度的期间中的眼睛的检测结果的变化，并测量眼睛的睁闭次数以及眼球转动的次数（步骤S41）。眼睛的睁闭次数表示瞬间的频度，眼球转动的次数表示视线不稳定的程度。因此，在该实施例中，将上述的测量数据用作用于估计用户的疲劳的参数。

在步骤S42中，使用在步骤S41中求出的各计数数据来估计用户是否疲劳。例如，将各计数数据分别与预先注册的基准数据进行比较，在任一个计数数据超过基准数据的情况下，估计为用户疲劳。

此外，虽然在图5中未图示，但也可以与步骤S41的处理并行地执行检测表示用户的疲劳程度的动作的处理，进行加入了其检测结果的估计处理。例如，也可以将嘴张开规定时间以上的动作作为哈欠来检测或者将在眼睛的附近出现手指的特征作为揉眼睛的动作来检测，在检测出这些动作的情况下估计为用户疲劳。

通过上述的估计处理而估计为用户不疲劳的情况下，步骤S43成为“否”而进入步骤S44，选择三维活动图像。另一方面，在估计为用户疲劳的情况下，步骤S43成为“是”而进入步骤S45，选择二维活动图像。

根据上述的实施例，由于能够防止在用户疲劳的情况下显示三维活动图像的情况，所以能够守护用户的健康。另外，在该实施例中，也在检测出多个人的面部的情况下，按每个人执行步骤S41以及S42，期望在判定为疲劳的人至少有一个的情况下，选择二维活动图像。

上述图2～图5所示的处理都每隔一定时间重复实施。因此，即使最初显示三维活动图像，在之后的利用状况成为不适合三维活动图像的显示的状态的情况下，显示也切换到显示二维活动图像。因此，即使是在用户的位置或姿势改变或者用户被别人代替的情况下，也能够迅速地应对该变更。

其中，图像的显示的切换也可以不根据估计结果变动而立即进行，而是在变动后相同的估计结果持续规定次数以上时切换显示。若是这样，例如，在第一实施例或第二实施例中显示三维活动图像的情况下，用户稍微移动或者改变了面部的朝向的情况下，只要该动作的变更的期间微小，也能够维持三维活动图像的显示。

在第三实施例或第四实施例中，也可以在估计为从选择三维活动图像的状态变动为应选择二维活动图像的状态的情况下，通过与第二实施例（图3）的步骤S21～S23相同的处理来估计用户的面部或视线的朝向，在估计为用户不正视显示部10的情况下，维持三维活动图像的选择。

此外，也可以在任一个实施例中在检测出的面部的眼睛闭上的状态持续了规定时间以上的情况下，都可以判断为用户正在打盹，中止估计处理而维持选择中的图像的显示。

10显示部

12视频信号处理电路

15摄像机

100图像处理装置

101图像输入部

102前处理部

103面部检测部

104图像选择处理部

Claims (4)

1.一种视频显示装置，包括：

显示部，切换显示三维活动图像以及二维活动图像中的任一个；

面部检测部件，从通过摄像部件生成的图像中检测用户的面部；

图像选择部件，通过分析由面部检测部件检测出的面部的特征而估计用户的利用状况，并基于该估计结果而选择要显示三维以及二维中的哪个活动图像；以及

显示控制部件，将由图像选择部件所选择的活动图像输出到所述显示部，

所述图像选择部件基于由面部检测部件检测出的面部的大小以及各面部器官之间的距离中的至少一个，估计用户相对于显示部的位置，且在估计出的位置包含在预先决定的基准的范围的情况下选择三维活动图像，在估计出的位置脱离所述基准范围的情况下选择二维活动图像。

2.如权利要求1所述的视频显示装置，其中，

在所述图像选择部估计出的位置包含在预先决定的基准的范围的情况下，所述图像选择部件还基于面部检测部件的面部器官的检测结果，估计用户是否正视显示部，在估计为正视的情况下选择三维活动图像，在估计为没有正视的情况下选择二维活动图像。

3.如权利要求1所述的视频显示装置，其中，

在所述图像选择部估计出的位置包含在预先决定的基准的范围的情况下，所述图像选择部件还根据由面部检测部件检测出的面部的特征来估计用户的年龄，在估计出的年龄为预先决定的基准的年龄以上的情况下选择三维活动图像，在估计出的年龄小于基准的年龄的情况下选择二维活动图像。

4.如权利要求1所述的视频显示装置，其中，

在所述图像选择部估计出的位置包含在预先决定的基准的范围的情况下，所述图像选择部件还基于在规定的时间内由面部检测部件检测出的面部的变化来估计用户是否疲劳，在估计为用户不疲劳的情况下选择三维活动图像，在估计为用户疲劳的情况下选择二维的活动图像。