CN115398493A - 检测装置以及图像显示模块 - Google Patents

Abstract

检测装置具备摄像机和检测部。摄像机构成为对人的脸进行拍摄。检测部构成为通过模板匹配来从由摄像机输出的摄像图像检测人的眼睛的位置。

Description

检测装置以及图像显示模块

技术领域

本公开涉及检测装置以及图像显示模块。

背景技术

现有技术的一个例子记载于专利文献1。

在先技术文献

专利文献

专利文献1：JP特开2001-166259号公报

发明内容

本公开的一实施方式所涉及的检测装置具备摄像机和检测部。摄像机构成为对人的脸进行拍摄。检测部构成为通过模板匹配来从由所述摄像机输出的摄像图像检测人的眼睛的位置。

本公开的一实施方式所涉及的图像显示系统具备显示部、屏障部、摄像机、检测部和控制部。显示部构成为显示经由光学系统而对人的双眼投影的视差图像。屏障部构成为通过规定所述视差图像的图像光的行进方向来对所述双眼赋予视差。摄像机构成为对人的脸进行拍摄。检测部构成为通过模板匹配来从由所述摄像机输出的摄像图像检测人的双眼的位置。控制部根据通过所述检测部而检测到的人的双眼的位置，控制所述显示部。

附图说明

本发明的目的、特色以及优点根据下述的详细的说明和附图而变得更加明确。

图1是表示搭载有检测装置的移动体的概略结构的一个例子的图。

图2是用于说明模板匹配的示意图。

图3是表示三维投影系统的概略结构的一个例子的图。

图4是表示驾驶者的眼睛、显示部与屏障部的关系的示意图。

图5是用于说明检测装置的模板图像生成处理的一个例子的流程图。

图6是用于说明检测装置的模板匹配处理的一个例子的流程图。

图7是用于说明检测装置的模板匹配处理的其他例子的流程图。

图8是表示三维投影系统的概略结构的其他例子的图。

图9是用于说明检测装置的模板匹配处理的其他例子的流程图。

图10是用于说明检测装置的模板匹配处理的其他例子的流程图。

具体实施方式

在成为本公开的基础的结构中，在进行利用者的眼睛的位置检测的情况下，使用通过摄像机来拍摄利用者的眼睛的摄像图像，获取表示瞳孔的位置的位置数据。例如，在三维显示装置中，基于位置数据所表示的瞳孔的位置，使显示器显示图像，以使得利用者的左眼以及右眼分别视觉辨认对应的图像(例如专利文献1)。

以下，参考附图来详细说明本公开的实施方式。另外，以下的说明中所用的附图是示意性的。附图上的尺寸比率等不一定与现实一致。

如图1所示那样，本公开的一实施方式所涉及的检测装置50可以搭载于移动体10。检测装置50具备摄像机11和检测部15。移动体10可以具备三维投影系统100。三维投影系统100具备检测装置50和三维投影装置12。

本公开中的“移动体”例如可以包含车辆、船舶以及航空器等。车辆例如可以包含汽车、产业车辆、铁道车辆、生活车辆以及在跑道行驶的固定翼机等。汽车例如可以包含乘用车、卡车、巴士、二轮车以及无轨电车等。产业车辆例如可以包含面向农业以及建设的产业车辆等。产业车辆例如可以包含叉车以及高尔夫车等。面向农业的产业车辆例如可以包含拖拉机、耕耘机、移栽机、捆扎机、联合收割机以及割草机等。面向建设的产业车辆例如可以包含推土机、铲土机、铲车、起重车、翻斗车以及压路机等。车辆可以包含以人力行驶的车辆。车辆的分类并不限于上述的示例。例如，汽车可以包含能在道路行驶的产业车辆。可以在多个分类中包含相同车辆。船舶例如可以包含海上喷射器、小船以及油轮等。航空器例如可以包含固定翼机以及旋转翼机等。

以下，以移动体10为乘用车的情况为例来进行说明。移动体10并不限于乘用车，可以是上述示例的任一者。摄像机11可以安装于移动体10。摄像机11构成为对包含移动体10的驾驶者13的脸(人的脸)的图像进行拍摄。摄像机11的安装位置在移动体10的内部以及外部是任意的。例如，摄像机11可以位于移动体10的仪表盘内。

摄像机11可以是可见光摄像机或红外线摄像机。摄像机11可以具有可见光摄像机和红外线摄像机这两者的功能。摄像机11例如可以包含CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器。

通过摄像机11而拍摄的图像被输出到检测部15。检测部15构成为通过模板匹配来从摄像机11输出的摄像图像检测驾驶者13的眼睛5的位置。可以从摄像机11以全部帧输出给检测部15，检测部15可以在全部帧通过模板匹配来检测眼睛5的位置。驾驶者13的眼睛5的位置可以是瞳孔位置。模板匹配是从对象图像搜索最适合模板图像的位置的图像处理。在本公开的检测装置50中，对象图像是从摄像机11输出的摄像图像51。模板图像52包含驾驶者13的眼睛5或确定了与驾驶者13的眼睛5的相对位置关系的脸的部位。模板图像52所含的驾驶者13的眼睛5可以是双眼，也可以是仅右眼或仅左眼。所谓确定了与驾驶者13的眼睛5的相对位置关系的脸的部位，例如可以是眉毛或鼻子等。在图2所示的示例中，模板图像52包含双眼，作为驾驶者13的眼睛5。

成为本公开的基础的结构那样的从摄像图像的瞳孔位置检测中摄像图像必须包含利用者的瞳孔。若在摄像图像中不含瞳孔，就不能检测瞳孔位置。例如，不能从利用者因眨眼等闭上眼睛时拍摄的图像检测瞳孔位置。本公开的模板匹配由于搜索与模板图像52最适合的位置，因此即使在摄像图像51中不含瞳孔的情况下，也能利用模板图像52中所含的瞳孔以外的特征，来搜索摄像图像51的最适合的位置。模板图像52由于是比瞳孔大的图像，因此，在将相同大小的摄像图像51作为检测对象时，模板匹配所需的运算量比瞳孔检测所需的运算量减少。通过运算量的减少，与瞳孔检测相比，检测部15能使检测结果的输出所涉及的运算速度高速化。

模板图像52的形状可以是与摄像图像51的形状相应的形状。若摄像图像51是矩形形状，则模板图像52可以是矩形形状。模板图像52的形状并不需要与摄像图像51的形状是相似关系，但为相似关系为好。以下，如图2所示那样，说明摄像图像51以及模板图像52为矩形形状的示例。

基于检测装置50的检测结果可以是表示驾驶者13的眼睛5(双眼)的瞳孔位置的坐标信息。在模板匹配中，在摄像图像51中确定最适合模板图像52的位置的坐标。通过模板匹配而确定的适合位置的坐标例如可以是与模板图像52的代表位置的坐标对应的坐标。模板图像52的代表位置例如可以是任意1个顶点位置或模板图像52的中心位置。预先确定模板图像52中所含的瞳孔位置的坐标与例如模板图像52的代表位置的相对的坐标位置关系即可。由此，若通过模板匹配确定了摄像图像51中的适合位置的坐标，就能根据所确定的坐标与预先确定的坐标位置关系，确定摄像图像51中的瞳孔位置的坐标信息。例如，即使是驾驶者13闭上眼睛5而在摄像图像51中不含瞳孔的情况，也能确定推定为若睁开眼睛就会检测到的瞳孔位置的坐标信息。本公开的检测装置50由于即使在驾驶者13因眨眼等而闭上眼睛5的情况下也能确定瞳孔位置的坐标信息，因此，能没有中断而连续地输出坐标信息。

检测装置50例如可以包含传感器。传感器可以是超声波传感器或光传感器等。摄像机11能构成为由传感器检测驾驶者13的头部的位置，能构成为基于头部的位置来检测驾驶者13的眼睛5的位置。摄像机11能构成为通过2个以上的传感器，将驾驶者13的眼睛5的位置检测为三维空间的坐标。

检测装置50构成为将与检测到的眼睛5的瞳孔位置相关的坐标信息输出到三维投影装置12。三维投影装置12可以基于该坐标信息来控制所投影的图像。检测装置50可以构成为经由有线通信或无线通信将表示眼睛5的瞳孔位置的信息向三维投影装置12输出。有线通信例如能包含CAN(Controller Area Network，控制器局域网)等。

检测装置50的检测部15可以是外部装置。摄像机11可以构成为将摄像图像51输出到外部的检测部15。在该外部的检测部15中，可以构成为通过模板匹配来从由摄像机11输出的图像检测驾驶者13的眼睛5的瞳孔位置。该外部的检测部15可以构成为将与检测到的眼睛5的瞳孔位置相关的坐标信息输出到三维投影装置12。三维投影装置12可以构成为基于该坐标信息来控制所投影的图像。摄像机11可以构成为经由有线通信或无线通信将所拍摄的图像向外部的检测部15输出。外部的检测部15可以构成为经由有线通信或无线通信将坐标信息向三维投影装置12输出。有线通信例如能包含CAN等。

三维投影装置12的位置在移动体10的内部以及外部是任意的。例如，三维投影装置12可以位于移动体10的仪表盘内。三维投影装置12构成为向挡风玻璃25射出图像光。

挡风玻璃25构成为反射从三维投影装置12射出的图像光。被挡风玻璃25反射的图像光到达眼盒(eye box)16。眼盒16例如是考虑驾驶者13的体格、姿势以及姿势的变化等而设想为驾驶者13的眼睛5会存在的真实空间上的区域。眼盒16的形状是任意的。眼盒16可以包含平面或立体的区域。图1所示的实线的箭头表示从三维投影装置12射出的图像光的至少一部分到达至眼盒16的路径。图像光所前进的路径也被称作光路。在驾驶者13的眼睛5位于眼盒16内的情况下，驾驶者13能通过到达眼盒16的图像光来视觉辨认虚像14。虚像14位于将从挡风玻璃25到达眼睛5的路径向移动体10的前方延长的路径(图中以一点划线示出的直线)上。三维投影装置12通过使驾驶者13视觉辨认虚像14，能作为平视显示器发挥功能。在图1中，驾驶者13的眼睛5所并排的方向与x轴方向对应。铅垂方向与y轴方向对应。摄像机11的摄像范围包含眼盒16。

如图3所示那样，三维投影装置12具备三维显示装置17和光学元件18。三维投影装置12也能被称作图像显示模块。三维显示装置17能具备：背光灯19；具有显示面20a的显示部20；屏障部21；和控制部24。三维显示装置17可以还具备通信部22。三维显示装置17可以还具备存储部23。

光学元件18可以包含第1反射镜18a和第2反射镜18b。第1反射镜18a以及第2反射镜18b的至少一方可以具有光焦度。在本实施方式中，第1反射镜18a设为是具有光焦度的凹面镜。第2反射镜18b设为是平面镜。光学元件18可以作为将显示于三维显示装置17的图像放大的放大光学系统发挥功能。图3所示的一点划线的箭头表示从三维显示装置17射出的图像光的至少一部分被第1反射镜18a以及第2反射镜18b反射并向三维投影装置12的外部射出时的路径。向三维投影装置12的外部射出的图像光到达挡风玻璃25，被挡风玻璃25反射从而到达驾驶者13的眼睛5。其结果，驾驶者13能视觉辨认显示于三维显示装置17的图像。

光学元件18和挡风玻璃25构成为能使从三维显示装置17射出的图像光到达驾驶者13的眼睛5。光学元件18和挡风玻璃25可以构成光学系统。光学系统构成为使从三维显示装置17射出的图像光沿着以一点划线所示的光路到达驾驶者13的眼睛5。光学系统可以构成为控制图像光的行进方向，以使得使驾驶者13视觉辨认的图像放大或缩小。光学系统可以构成为控制图像光的行进方向，以使得基于给定的矩阵来让使驾驶者13视觉辨认的图像的形状变形。

光学元件18并不限于所例示的结构。反射镜可以是凹面镜，可以是凸面镜，可以是平面镜。在反射镜是凹面镜或凸面镜的情况下，其形状可以在至少一部分包含球面形状，可以在至少一部分包含非球面形状。构成光学元件18的要素的数量并不限于2个，可以是1个，可以是3个以上。光学元件18并不限于反射镜，可以包含透镜。透镜可以是凹面透镜，可以是凸面透镜。透镜的形状可以在至少一部分包含球面形状，可以在至少一部分包含非球面形状。

背光灯19在图像光的光路上位于从驾驶者13来看比显示部20以及屏障部21更远的一侧。背光灯19向屏障部21和显示部20射出光。背光灯19所射出的光的至少一部分沿着以一点划线示出的光路行进，到达驾驶者13的眼睛5。背光灯19可以包含LED(LightEmission Diode，发光二极管)、或者有机EL或无机EL等发光元件。背光灯19可以构成为能控制发光强度以及其分布。

显示部20包含显示面板。显示部20例如可以是LCD(Liquid Crystal Display，液晶显示器)等液晶设备。在本实施方式中，设为显示部20包含透射型的液晶显示面板。显示部20并不限于该示例，可以包含种种显示面板。

显示部20具有多个像素，构成为在各像素控制从背光灯19入射的光的透射率，将其作为到达驾驶者13的眼睛5的图像光而射出。驾驶者13视觉辨认从显示部20的各像素射出的图像光所构成的图像。

屏障部21构成为规定入射来的光的行进方向。如图3的示例所示那样，在屏障部21位于比显示部20更靠近背光灯19一侧的情况下，从背光灯19射出的光入射到屏障部21，进而入射到显示部20。在该情况下，屏障部21构成为将从背光灯19射出的光的一部分遮挡或使之衰减，使另一部分向显示部20透射。显示部20将在由屏障部21规定的方向行进的入射光作为在相同方向行进的图像光而原样不变地射出。在显示部20位于比屏障部21更靠近背光灯19一侧的情况下，从背光灯19射出的光入射到显示部20，进而入射到屏障部21。在该情况下，屏障部21构成为将从显示部20射出的图像光的一部分遮挡或使之衰减，使另一部分向驾驶者13的眼睛5透射。

屏障部21构成为能够与显示部20和屏障部21的哪一者位于驾驶者13的近处无关地控制图像光的行进方向。屏障部21构成为使从显示部20射出的图像光的一部分到达驾驶者13的左眼5L以及右眼5R(参考图4)的任一者，使图像光的另一部分到达驾驶者13的左眼5L以及右眼5R的另一者。即，屏障部21构成为将图像光的至少一部分的行进方向分成驾驶者13的左眼5L和右眼5R。左眼5L以及右眼5R也分别称作第1眼以及第2眼。在本实施方式中，屏障部21位于背光灯19与显示部20之间。即，从背光灯19射出的光先入射到屏障部21，接着入射到显示部20。

通过由屏障部21规定图像光的行进方向，能使不同的图像光分别到达驾驶者13的左眼5L以及右眼5R。其结果，驾驶者13能通过左眼5L以及右眼5R分别视觉辨认不同的图像。

如图4所示那样，显示部20在显示面20a上包含被驾驶者13的左眼5L视觉辨认的左眼视觉辨认区域201L和被驾驶者13的右眼5R视觉辨认的右眼视觉辨认区域201R。显示部20构成为显示包含使驾驶者13的左眼5L视觉辨认的左眼图像和使驾驶者13的右眼5R视觉辨认的右眼图像的视差图像。视差图像是分别投影于驾驶者13的左眼5L以及右眼5R的图像，设为给驾驶者13的双眼带来视差的图像。显示部20构成为在左眼视觉辨认区域201L显示左眼图像，在右眼视觉辨认区域201R显示右眼图像。即，显示部20构成为在左眼视觉辨认区域201L和右眼视觉辨认区域201R显示视差图像。左眼视觉辨认区域201L和右眼视觉辨认区域201R设为在表征视差方向的u轴方向上并排。左眼视觉辨认区域201L以及右眼视觉辨认区域201R可以沿着与视差方向正交的v轴方向延伸，也可以在相对于v轴方向以给定角度倾斜的方向上延伸。即，左眼视觉辨认区域201L以及右眼视觉辨认区域201R可以沿着包含视差方向的分量的给定方向交替并排。左眼视觉辨认区域201L和右眼视觉辨认区域201R交替并排的间距也称作视差图像间距。左眼视觉辨认区域201L和右眼视觉辨认区域201R可以空开间隔来设置，也可以相互相邻。显示部20可以在显示面20a上还具有显示平面图像的显示区域。平面图像设为不给驾驶者13的眼睛5带来视差、不呈现立体视觉的图像。

如图4所示那样，屏障部21具有开口区域21b和遮光面21a。在屏障部21在图像光的光路上位于从驾驶者13来看更靠近显示部20一侧的情况下，屏障部21构成为控制从显示部20射出的图像光的透射率。开口区域21b构成为使从显示部20入射到屏障部21的光透射。开口区域21b可以以第1给定值以上的透射率使光透射。第1给定值例如可以是100％，也可以是接近于100％的值。遮光面21a构成为遮挡从显示部20入射到屏障部21的光。遮光面21a可以以第2给定值以下的透射率使光透射。第2给定值例如可以是0％，也可以是接近于0％的值。第1给定值比第2给定值大。

开口区域21b和遮光面21a设为在表征视差方向的u轴方向上交替并排。开口区域21b与遮光面21a的边界可以如图4例示的那样，沿着与视差方向正交的v轴方向，可以沿着相对于v轴方向以给定角度倾斜的方向。换言之，开口区域21b和遮光面21a可以沿着包含视差方向的分量的给定方向交替并排。

在本实施方式中，屏障部21在图像光的光路上位于从驾驶者13来看比显示部20更远的一侧。屏障部21构成为控制从背光灯19向显示部20入射的光的透射率。开口区域21b构成为使从背光灯19向显示部20入射的光透射。遮光面21a构成为遮挡从背光灯19入射到显示部20的光。如此一来，入射到显示部20的光的行进方向被限定为给定方向。其结果，图像光的一部分能通过屏障部21控制成到达驾驶者13的左眼5L。图像光的另一部分能通过屏障部21控制成到达驾驶者13的右眼5R。

屏障部21可以由液晶快门构成。液晶快门能基于所施加的电压来控制光的透射率。液晶快门可以由多个像素构成，控制各像素中的光的透射率。液晶快门能将光的透射率高的区域或光的透射率低的区域形成为任意的形状。在屏障部21由液晶快门构成的情况下，开口区域21b可以具有第1给定值以上的透射率。在屏障部21由液晶快门构成的情况下，遮光面21a可以具有第2给定值以下的透射率。第1给定值可以设定为比第2给定值高的值。第2给定值相对于第1给定值的比率在一个例子中可以设定为1/100。第2给定值相对于第1给定值的比率在其他例子中也可以设定为1/1000。构成为开口区域21b和遮光面21a的形状能变更的屏障部21也被称作有源屏障。

控制部24构成为控制显示部20。在屏障部21是有源屏障的情况下，控制部24可以构成为控制屏障部21。控制部24可以构成为控制背光灯19。控制部24构成为从检测装置50获取与驾驶者13的眼睛5的瞳孔位置相关的坐标信息，基于该坐标信息来控制显示部20。控制部24能构成为基于坐标信息来控制屏障部21以及背光灯19的至少一者。控制部24可以接收从摄像机11输出的图像，从接收到的图像检测驾驶者13的眼睛5。换言之，控制部24可以构成为具有与检测部15同等的功能，兼作检测部15。控制部24可以构成为基于检测到的眼睛5的瞳孔位置来控制显示部20。控制部24能构成为基于检测到的眼睛5的瞳孔位置来控制屏障部21以及背光灯19的至少一者。控制部24以及检测部15例如构成为处理器。控制部24以及检测部15可以包含1个以上的处理器。处理器可以包含将特定的程序读入并执行特定的功能的通用的处理器、以及对特定的处理特别强化的专用的处理器。专用的处理器可以包含面向特定用途IC(ASIC：Application Specific Integrated Circuit)。处理器可以包含可编程逻辑器件(PLD：Programmable Logic Device)。PLD可以包含FPGA(Field-Programmable Gate Array，现场可编程门阵列)。控制部24以及检测部15可以是1个或多个处理器协作的SoC(System-on-a-Chip，片上系统)、以及SiP(System In a Package，系统级封装)的任一者。

通信部22可以包含能与外部装置通信的接口。外部装置例如可以包含检测装置50。外部装置可以构成为提供例如显示于显示部20的图像信息。通信部22可以从检测装置50等外部装置获取各种信息，并输出到控制部24。本公开中的“能通信的接口”例如可以包含物理连接器以及无线通信机。物理连接器可以包含与通过电信号进行的传输对应的电连接器、与通过光信号进行的传输对应的光连接器以及与通过电磁波进行的传输对应的电磁连接器。电连接器可以包含遵循IEC60603的连接器、遵循USB标准的连接器或与RCA端子对应的连接器。电连接器可以包含与EIAJ CP-121aA中规定的S端子对应的连接器、或与EIAJRC-5237中规定的D端子对应的连接器。电连接器可以包含遵循HDMI(注册商标)标准的连接器、或与包括BNC(British Naval Connector或Baby-series N Connector等)在内的同轴线缆对应的连接器。光连接器可以包含遵循IEC 61754的种种连接器。无线通信机可以包含Bluetooth(注册商标)以及遵循包括IEEE8021a在内的各标准的无线通信机。无线通信机包含至少1个天线。

存储部23可以构成为存放各种信息、或用于使三维显示装置17的各结构部动作的程序等。存储部23例如可以由半导体存储器等构成。存储部23可以作为控制部24的工作存储器发挥功能。存储部23可以含在控制部24中。

如图4所示那样，从背光灯19射出的光透射屏障部21和显示部20并到达驾驶者13的眼睛5。从背光灯19射出的光到达眼睛5为止的路径以虚线表征。透射屏障部21的开口区域21b并到达右眼5R的光透射显示部20的右眼视觉辨认区域201R。即，右眼5R能通过透射开口区域21b的光来视觉辨认右眼视觉辨认区域201R。透射屏障部21的开口区域21b并到达左眼5L的光透射显示部20的左眼视觉辨认区域201L。即，左眼5L通过透射开口区域21b的光来视觉辨认左眼视觉辨认区域201L。

显示部20构成为在右眼视觉辨认区域201R以及左眼视觉辨认区域201L分别显示右眼图像以及左眼图像。由此，屏障部21构成为使左眼图像所涉及的图像光到达左眼5L，使右眼图像所涉及的图像光到达右眼5R。即，开口区域21b构成为使左眼图像所涉及的图像光到达驾驶者13的左眼5L，使右眼图像所涉及的图像光到达驾驶者13的右眼5R。如此一来，三维显示装置17能对驾驶者13的双眼投影视差图像。驾驶者13能通过在左眼5L和右眼5R观察视差图像，来使图像呈现立体视觉。

透射屏障部21的开口区域21b并从显示部20的显示面20a射出的图像光的至少一部分经由光学元件18到达挡风玻璃25。图像光被挡风玻璃25反射而到达驾驶者13的眼睛5。由此，驾驶者13的眼睛5能视觉辨认位于比挡风玻璃25更靠z轴的负方向一侧的第2虚像14b。第2虚像14b与显示面20a所显示的图像对应。屏障部21的开口区域21b和遮光面21a在挡风玻璃25的前方、即第2虚像14b的z轴的负方向侧做出第1虚像14a。如图1所示那样，驾驶者13能视觉辨认图像，以使得看上去在第2虚像14b的位置存在显示部20，在第1虚像14a的位置存在屏障部21。

显示于显示面20a的图像所涉及的图像光从三维显示装置17向由屏障部21规定的方向射出。光学元件18构成为向挡风玻璃25射出。光学元件18能够成为使图像光反射或折射。挡风玻璃25构成为将图像光反射，使其向驾驶者13的眼睛5行进。通过图像光入射到驾驶者13的眼睛5，驾驶者13将视差图像视觉辨认为虚像14。驾驶者13通过视觉辨认虚像14，能呈现立体视觉。虚像14当中的与视差图像对应的图像也被称作视差虚像。视差虚像能说是经由光学系统投影的视差图像。虚像14当中的与平面图像对应的图像能被称作平面虚像。平面虚像能说是经由光学系统投影的平面图像。

检测部15可以在模板匹配中将摄像图像51整体作为搜索范围。检测部15可以在模板匹配中将摄像图像51的一部分区域作为搜索范围。成为搜索范围的一部分区域可以是包含摄像图像51中所含的驾驶者13的脸的区域。检测部15在基于模板图像52的搜索开始前，进行用摄像机11拍摄的摄像图像51中所含的驾驶者13的脸检测，设定包含检测到的脸的给定的大小(比摄像图像51整体小)的搜索范围。检测部15可以在模板图像52中搜索所设定的搜索范围内来进行模板匹配。由于基于模板图像52的搜索范围比是摄像图像51整体的情况小，因此能减少模板匹配所涉及的运算量。通过运算量的减少，检测部15能将检测结果的输出所涉及的运算速度高速化。

检测部15构成为在搜索开始前从由摄像机拍摄的摄像图像51生成模板图像52。检测部15可以以摄像图像51为对象来进行瞳孔检测，将包含检测到的瞳孔的给定的周边区域作为模板图像52。作为模板图像52而生成的给定的周边区域例如可以是与三维投影装置12中的眼盒16相应的区域。

使用流程图来说明模板图像生成处理。检测装置50例如可以执行表示图5的流程图的模板图像生成处理。检测装置50例如可以在三维投影系统100的启动时(电源接通时)开始模板图像生成处理。首先，在步骤A1，摄像机11进行拍摄来获取摄像图像51，并输出到检测部15。摄像机11的摄像图像51中例如包含坐在移动体10的座位的驾驶者13的脸。接下来，在步骤A2中，检测部15从摄像图像51裁出包含眼盒16的第1区域，在步骤A3中，以裁出的第1区域为对象进行脸检测，判断是否检测到驾驶者的脸。若检测到脸，则前进到步骤A4，若未检测到，则回到步骤A1，再次进行基于摄像机11的拍摄。

在步骤A4中，检测部15从第1区域裁出包含检测到的脸的第2区域，在步骤A5中，检测部15以第2区域为对象进行瞳孔检测，判断是否检测到瞳孔。若检测到瞳孔，则前进到步骤A6，若未检测到，则回到步骤A1，再次进行基于摄像机11的拍摄。在步骤A6中，检测部15将包含检测到的瞳孔的瞳孔周边区域提取为模板图像52，结束模板图像生成处理。检测部15可以将所提取的模板图像52例如存储到检测部15所具有的存储区域或存储部23。检测部15例如可以提取与瞳孔周边的眼盒16相同大小的区域，作为模板图像52。此外，检测部15可以将模板图像52的代表位置与瞳孔位置的相对的坐标位置关系和模板图像52一起进行存储。

模板图像52可以在三维投影系统100启动的期间暂时存储于检测部15的存储区域。模板图像52例如可以与所拍摄的驾驶者13建立关联地存储到存储部23。存储于存储部23的模板图像52例如通过在下次以后的三维投影系统100启动时由检测部15从存储部23读出，能省略模板图像生成处理。检测部15通过再次执行模板图像生成处理，能更新(改写)存储于存储部23的模板图像52。

使用流程图来说明模板匹配处理。检测装置50例如可以执行图6的流程图所示的模板匹配处理。检测装置50例如可以在三维投影系统100的启动时执行模板图像生成处理，在模板图像生成处理的完成后开始模板匹配处理。在使用预先存储于存储部23的模板图像52的情况下，检测装置50可以在三维投影系统100的启动时开始模板匹配处理。

首先，在步骤B1，检测部15从摄像机11获取摄像图像51。在步骤B2，检测部15将模板图像52被提取的位置周边的区域设为搜索范围，从摄像图像51裁出。模板图像52被提取的位置坐标与模板图像52建立关联存储即可。在步骤B3，检测部15使用模板图像52来对搜索范围进行模板匹配。检测部15通过模板匹配来确定在搜索范围内与模板图像52的适合度最高的位置和该适合度。在步骤B4，检测部15判断所确定的适合度是否是阈值以上。若为阈值以上，则前进到步骤B5，若小于阈值，则回到步骤B1，再次进行基于摄像机11的拍摄。在步骤B5，检测部15根据搜索范围内与模板图像52的适合度最高的位置的坐标与预先确定的相对的坐标位置关系，来确定摄像图像51中的瞳孔位置的坐标，结束模板匹配处理。将所确定的瞳孔位置的坐标信息从检测装置50输出到三维投影装置12。在三维投影装置12中，控制部24使用从检测装置50获取的瞳孔位置的坐标信息来控制显示于显示部20的视差图像。

移动体10的驾驶席例如构成为能在前后方向上移动。此外，在移动体10的驾驶中，驾驶者13的姿势有时也发生变化。考虑驾驶席的前后位置或驾驶者13的姿势发生变化、驾驶者13的脸在z方向上移动的情况。在驾驶者13的脸向z方向的正方向移动的情况下，在摄像图像51中，与移动前相比，驾驶者13的脸被较小地拍摄。在驾驶者13的脸向z方向的负方向移动的情况下，在摄像图像51中，与移动前相比，驾驶者13的脸被较大地拍摄。在该情况下，对模板图像52进行变倍处理，使用变倍处理后的模板图像52来进行模板匹配即可。例如，可以使用放大率不同的多个模板图像52来进行模板匹配。例如，可以使用缩小率不同的多个模板图像52来进行模板匹配。

使用流程图来说明其他例子的模板匹配处理。检测装置50例如可以执行图7的流程图所示的模板匹配处理。检测装置50例如可以在三维投影系统100的启动时执行模板图像生成处理，在模板图像生成处理的完成后开始模板匹配处理。在使用预先存储于存储部23的模板图像52的情况下，检测装置50可以在三维投影系统100的启动时开始模板匹配处理。

由于图6的步骤B1～B4和图7的步骤C1～C4执行相同的动作，因此省略说明。检测部15在步骤C5，将模板图像52的变倍率多次变更来对模板图像实施变倍处理。检测部15使用变倍处理后的模板图像52来进行模板匹配。检测装置50由于不检测驾驶者13的姿势怎样变化，因此，作为变倍处理，不管放大处理还是缩小处理都进行。由于变倍处理后的模板图像52被生成多个，因此，检测部15在多个模板图像52进行模板匹配，确定适合度最高的模板图像52。在步骤C6，检测部15基于适合度最高的模板图像52的变倍率来推定驾驶者的z方向的位置。在步骤C7，在与步骤B5同样地确定摄像图像51中的瞳孔位置的坐标后，基于所推定的z方向的位置来修正瞳孔位置的坐标，结束模板匹配处理。将所确定的瞳孔位置的坐标信息从检测装置50输出到三维投影装置12。

说明其他例子的三维投影系统100A。如图8所示那样，在三维投影系统100A中，检测装置50A具备摄像机11、检测部15A和预测部30。三维投影系统100A的检测装置50A以外的结构由于与前述的三维投影系统100同样，因此标注相同参考符号，省略详细的说明。预测部30构成为基于检测部15检测到的多个眼睛5的位置来预测当前时刻之后的时刻的眼睛5的位置。本实施方式的眼睛5的位置可以与上述同样地是表示驾驶者13的眼睛5的瞳孔位置的坐标信息。所谓多个眼睛5的位置，包含检测的时刻分别不同的眼睛5的位置。预测部30构成为使用多个检测时刻与坐标信息的组合即预测用数据来预测未来的眼睛5的位置，将其作为预测位置输出。检测部15A若检测到眼睛5的位置，则将坐标信息和检测时刻作为预测用数据，例如依次存储到检测部15所具有的存储区域、预测部30所具有的存储区域或存储部23中。所谓未来的眼睛5的位置，是指相对于所存储的多个预测用数据的未来。

基于预测部30的眼睛5的位置的预测方法例如可以是使用预测函数的方法。预测函数是从所存储的多个预测用数据导出的函数。预测函数可以将利用了预先通过实验等确定的系数的函数式存储在检测部15A所具有的存储区域、预测部30所具有的存储区域或存储部23。预测函数可以每当预测部30进行眼睛5的位置的预测就进行更新。

预测部30将应预测的未来的时刻输入到预测函数，输出所输入的时刻的眼睛5的位置(预测位置)的坐标信息。应预测的未来的时刻是接下来执行模板匹配的时刻，例如可以是从摄像机11输入下一帧的时刻。如前述那样，检测部15A可以在模板匹配中将摄像图像51的一部分区域作为搜索范围。检测部15A构成为将包含预测部30预测的眼睛5的位置的区域设为模板匹配中的搜索范围。检测部15A在摄像图像51中将包含预测部30输出的预测位置的区域设定为预测区域，将所设定的预测区域作为模板匹配中的搜索范围。包含预测位置的预测区域是比摄像图像51小且比模板图像52大的区域，在区域内包含预测位置即可。例如，预测区域的中心坐标可以是与预测位置的坐标一致的区域。本实施方式的模板匹配中的搜索范围的形状以及大小例如可以与模板图像具有相似关系。

检测部15A将这样的区域作为搜索范围来执行模板匹配。本实施方式的模板匹配除了搜索范围不同以外，其他都与前述的模板匹配同样。在模板匹配中，在作为搜索范围的预测区域中，搜索与模板图像52最适合的位置。检测结果可以是表示驾驶者13的眼睛5的瞳孔位置的坐标信息。成为本实施方式的搜索范围的预测区域由于包含预测部30输出的预测位置，因此即使更加减小搜索范围，在搜索范围内中包含眼睛5的瞳孔位置的可能性也高。通过更加减小搜索范围，模板匹配所需的运算量减少。通过运算量的减少，检测部15A能将检测结果的输出所涉及的运算速度高速化。

预测部30可以构成为基于检测部15A检测到的多个眼睛5的位置来进一步算出眼睛5的位置的变化速度。如上述那样，将坐标信息和检测时刻作为预测用数据存储，若使用多个预测数据，就能算出眼睛5的位置的变化速度。例如，由于通过2个预测用数据的差分，从坐标信息算出眼睛5的位置的移动距离，从检测时刻算出时间，因此，能算出眼睛5的位置的变化速度。此外，移动距离能分别算出x轴方向分量和y轴方向分量，眼睛5的位置的变化速度也能分别算出x轴方向分量和y轴方向分量。

检测部15A构成为根据预测部30算出的变化速度来变更模板匹配中的搜索范围的大小。预测部30算出的变化速度大，预测眼睛5的位置的移动距离大。例如，在比较所算出的变化速度的x轴方向分量和变化速度的y轴方向分量时，预测在变化速度的分量大的方向上眼睛5的位置的移动距离大。在本实施方式中，虽然能通过预测眼睛5的位置来将模板匹配中的搜索范围设定得小，但在变化速度的分量大的方向上，眼睛5的位置有可能由于从预测位置偏离而从搜索范围脱离。例如，检测部15A可以使包含预测位置的预测区域在变化速度的分量大的方向上扩大，以使得眼睛5的位置不会成为搜索范围外。检测部15A将如此扩大的区域作为搜索范围来执行模板匹配。

使用流程图来说明包含瞳孔位置的预测的模板匹配处理。检测装置50A例如可以执行图9的流程图所示的模板匹配处理。检测装置50A例如可以在三维投影系统100A的启动时执行模板图像生成处理，也可以在模板图像生成处理的完成后开始模板匹配处理。在使用预先存储于存储部23的模板图像52的情况下，检测装置50A可以在三维投影系统100A的启动时开始模板匹配处理。

首先，在步骤B11，检测部15A从摄像机11获取摄像图像51。在步骤B12，检测部15A从摄像图像51裁出搜索范围。步骤B12中裁出的搜索范围是后述的步骤B17中确定的搜索范围。在不执行步骤B17从而未预先确定搜索范围的情况下，可以将提取模板图像52的位置周边的区域作为搜索范围。在步骤B13，检测部15A使用模板图像52来对搜索范围进行模板匹配。检测部15A通过模板匹配来确定搜索范围内与模板图像52的适合度最高的位置和该适合度。在步骤B14，检测部15A判断所确定的适合度是否是阈值以上。若为阈值以上，则前进到步骤B15，若小于阈值，则回到步骤B1，新从摄像机11获取摄像图像51。在步骤B15，检测部15A根据搜索范围内与模板图像52的适合度最高的位置的坐标与预先确定的相对的坐标位置关系来确定摄像图像51中的瞳孔位置的坐标。将所确定的瞳孔位置的坐标信息从检测装置50输出到三维投影装置12。在三维投影装置12中，控制部24使用从检测装置50获取的瞳孔位置的坐标信息来控制显示于显示部20的视差图像。

在步骤B16，预测部30预测未来的瞳孔位置，作为预测位置输出。预测部30例如基于步骤B15中确定的瞳孔位置的坐标信息与检测时刻的组合即最新的预测用数据、和所存储的过去的预测用数据来更新预测函数。预测部30使用所更新的预测函数来预测瞳孔位置，输出预测位置。在步骤B17，检测部15A将包含从预测部30输出的预测位置的区域确定为搜索范围，回到步骤B11。

如前述那样，驾驶者13的脸有时前后移动。此外，在驾驶者13歪头等的情况下，有时驾驶者13的脸倾斜。若驾驶者13的脸前后移动，则摄像图像51的驾驶者13的脸拍得较大或较小，与进行了放大处理或缩小处理的情况类似。若驾驶者13的脸倾斜，则摄像图像的驾驶者13的脸与进行了旋转处理的情况类似。在预测部30预测瞳孔位置后，检测部15A将预测位置和刚刚之前的瞳孔位置进行比较。若比较的结果是例如眼间距离发生变化，则检测部15A将模板图像52更新成与眼间距离相应的变倍率的模板图像52。检测部15A例如可以预先作成基于变倍处理的放大率不同的多个模板图像52以及基于变倍处理的缩小率不同的多个模板图像52，作为模板图像52，选择与眼间距离相应的模板图像52。通过预测部30分别预测左眼的瞳孔位置和右眼的瞳孔位置，由此，检测部15A可以通过之前刚刚的左眼的瞳孔位置与右眼的瞳孔位置的比较来检测眼间距离的变化。

此外，若检测部15A比较预测位置和刚刚之前的瞳孔位置的结果是瞳孔位置倾斜，则检测部15A将模板图像52更新为与倾斜度变化相应的旋转角度的模板图像52。检测部15A例如可以预先作成基于旋转处理的旋转角度不同的多个模板图像52，作为模板图像52，选择与倾斜度变化相应的模板图像52。通过预测部30分别预测左眼的瞳孔位置和右眼的瞳孔位置，由此，检测部15A可以通过之前刚刚的左眼的瞳孔位置与右眼的瞳孔位置的比较来从y轴方向的位置变化检测倾斜度变化。在驾驶者13的脸倾斜的情况下，左眼的瞳孔位置和右眼的瞳孔位置各自的y轴方向的位置(y坐标)向相互不同的方向变化。例如，若左眼的瞳孔的y轴方向的位置向上方向变化，右眼的瞳孔的y轴方向的位置向下方向变化，就产生倾斜度变化。检测部15A可以基于左眼以及右眼的y轴方向的位置变化的大小来算出旋转角度。

使用流程图来说明包含模板图像的更新的模板匹配处理。检测装置50A例如可以执行图10的流程图所示的模板匹配处理。在步骤C11，检测部15A从摄像机11获取摄像图像51。在步骤C12，检测部15A从摄像图像51裁出搜索范围。步骤C12中裁出的搜索范围是后述的步骤C18中确定的搜索范围。在不执行步骤C18从而未预先确定搜索范围的情况下，可以将提取模板图像52的位置周边的区域作为搜索范围。在步骤C13，检测部15A使用更新的模板图像52来对搜索范围进行模板匹配。模板图像52是后述的步骤C17中更新的模板图像52。检测部15A通过模板匹配来确定搜索范围内与模板图像52的适合度最高的位置和该适合度。在步骤C14，检测部15A判断所确定的适合度是否是阈值以上。若是阈值以上，则前进到步骤C15，若小于阈值，则回到步骤C11，新从摄像机11获取摄像图像51。在步骤C15，检测部15A根据搜索范围内与模板图像52的适合度最高的位置的坐标与预先确定的相对的坐标位置关系，来确定摄像图像51中的瞳孔位置的坐标。将所确定的瞳孔位置的坐标信息从检测装置50输出到三维投影装置12。在三维投影装置12，控制部24使用从检测装置50获取的瞳孔位置的坐标信息来控制显示于显示部20的视差图像。

在步骤C16，预测部30预测未来的瞳孔位置，将其作为预测位置输出。在步骤C17，检测部15A更新模板图像52。检测部15A比较预测位置和刚刚之前的瞳孔位置，还让你家比较结果来更新为至少进行了变倍处理或旋转处理的模板图像52。在步骤C18，检测部15A将包含从预测部30输出的预测位置的区域确定为搜索范围，回到步骤C11。

本公开所涉及的结构并不仅限定于以上说明的实施方式，能进行许多变形或变更。例如，各结构部等中所含的功能等能逻辑上没有矛盾地再配置，能将多个结构部等组合成1个或进行分割。

说明本公开所涉及的结构的附图是示意性的。附图上的尺寸比率等不一定与现实一致。

本公开中“第1”以及“第2”等记载是用于区别该结构的识别符。本公开中的以“第1”以及“第2”等记载区别的结构能交换该结构中的编号。例如，第1眼能与第2眼交换识别符即“第1”和“第2”。识别符的交换是同时进行的。识别符的交换后也区别该结构。识别符可以删除。删除了识别符的结构以符号区别。不应当仅基于本公开中的“第1”以及“第2”等识别符的记载，利用于该结构的顺序的解释、存在小编号的识别符的依据。

在本公开中，x轴、y轴以及z轴为了说明的方便而设，可以相互替换。本公开所涉及的结构使用由x轴、y轴以及z轴构成的正交坐标系进行了说明。本公开所涉及的各结构的位置关系并不限定于处于正交关系。

本公开能是如下的实施方式。

本公开的一实施方式所涉及的检测装置具备摄像机和检测部。摄像机构成为对人的脸进行拍摄。检测部构成为通过模板匹配来从由所述摄像机输出的摄像图像检测人的眼睛的位置。

本公开的一实施方式所涉及的图像显示系统具备显示部、屏障部、摄像机、检测部和控制部。显示部构成为显示经由光学系统而对人的双眼投影的视差图像。屏障部构成为通过规定所述视差图像的图像光的行进方向来给所述双眼带来视差。摄像机构成为对人的脸进行拍摄。检测部构成为通过模板匹配来从由所述摄像机输出的摄像图像检测人的双眼的位置。控制部根据所述检测部中检测到的人的双眼的位置来控制所述显示部。

在本公开的一实施方式所涉及的检测装置以及图像显示系统中，能减少所需的运算量，能连续进行检测。

本公开能不脱离其精神或主要的特征地以其他各种形态来实施。因此，前述的实施方式在所有点上都只是单纯的例示，本公开的范围在权利要求书示出，不被说明书正文任何束缚。进而，属于权利要求书的变形、变更全都是本公开的范围内。

符号说明

5 眼睛(5L：左眼、5R：右眼)

10 移动体

11 摄像机

12 三维投影装置

13 驾驶者

14 虚像(14a：第1虚像、14b：第2虚像)

15、15A 检测部

16 眼盒

17 三维显示装置

18 光学元件(18a：第1反射镜、18b：第2反射镜)

19 背光灯

20 显示部(20a：显示面)

201L 左眼视觉辨认区域

201R 右眼视觉辨认区域

21 屏障部(21a：遮光面、21b：开口区域)

22 通信部

23 存储部

24 控制部

25 挡风玻璃

30 预测部

50、50A 检测装置

100、100A 三维投影系统(图像显示系统)。

Claims (11)

1.一种检测装置，具备：

摄像机，构成为对人的脸进行拍摄；和

检测部，构成为通过模板匹配来从由所述摄像机输出的摄像图像检测人的眼睛的位置。

2.根据权利要求1所述的检测装置，其中，

所述检测部构成为从所述摄像图像检测人的脸，将包含脸的区域设为模板匹配中的搜索范围。

3.根据权利要求1所述的检测装置，其中，

所述检测装置还具备：预测部，该预测部基于所述检测部检测到的多个眼睛的位置，预测当前时刻之后的时刻的眼睛的位置，

所述检测部构成为将包含所述预测部所预测的眼睛的位置的区域设为模板匹配中的搜索范围。

4.根据权利要求3所述的检测装置，其中，

所述预测部基于所述检测部检测到的多个眼睛的位置，算出眼睛的位置的变化速度，

所述检测部构成为将模板匹配中的搜索范围的大小设为与所述预测部算出的变化速度相应的大小。

5.根据权利要求3或4所述的检测装置，其中，

所述检测部构成为在模板匹配中使用进行过变倍处理的多个模板图像。

6.根据权利要求3～5中任一项所述的检测装置，其中，

所述检测部构成为在模板匹配中使用进行过旋转处理的多个模板图像。

7.根据权利要求1～6中任一项所述的检测装置，其中，

所述检测部构成为在模板匹配中使用包含人的眼睛或确定了与人的眼睛的相对位置关系的脸的其他部位的模板图像。

8.根据权利要求7所述的检测装置，其中，

所述检测部构成为从所述摄像图像生成所述模板图像。

9.根据权利要求7所述的检测装置，其中，

所述检测装置还具备：存储部，该存储部将预先生成的所述模板图像与利用者建立关联并进行存储。

10.一种图像显示系统，具备：

显示部，构成为显示经由光学系统而对人的双眼投影的视差图像；

屏障部，构成为通过规定所述视差图像的图像光的行进方向来对所述双眼赋予视差；

摄像机，构成为对人的脸进行拍摄；

检测部，构成为通过模板匹配来从由所述摄像机输出的摄像图像检测人的双眼的位置；和

控制部，根据通过所述检测部而检测到的人的双眼的位置，控制所述显示部。

11.根据权利要求10所述的图像显示系统，其中，

所述检测部构成为在模板匹配中将与眼盒相应的区域用于模板图像。

Images