具体实施方式
以下,参照附图说明本发明的实施例。
(实施例1)
本发明的实施例1中的信息显示装置10是在画面显示内容的装置,其中,按照用户对显示在画面的内容(以下,简称为“显示内容”)的关心度,使显示内容的鲜明度或公开度发生变化。
图1是本发明的实施例1中的信息显示装置的外观图。并且,图2是示出本发明的实施例1中的信息显示装置的功能结构的方框图。
信息显示装置10包括用户状态检测部11、关心度推定部12、显示控制部13、以及显示部14。
用户状态检测部11,检测用户状态,该用户状态是位于画面的前面的用户的物理状态的用户状态。具体而言,用户状态检测部11,例如,检测脑波等的生物信号、用户的位置、速度、脸或身体的朝向、视线方向、表情、发言内容、发言量、或声音的大小等,以作为用户状态。
关心度推定部12,根据由用户状态检测部11检测出的用户状态,推定关心度,该关心度表示用户对由显示部14显示在画面的内容的关心程度。
具体而言,例如,关心度推定部12,检测出的用户的移动方向越接近从用户向代表画面的位置的方向、或从用户向正在显示内容的位置的方向,就推定关心度越高。也就是说,关心度推定部12,若用户向画面或显示内容移动,则推定关心度高。
在此,代表画面的位置是指,画面上的位置、且例如画面的中心位置(以下,简称为“画面的中心”)或重心位置等。并且,正在显示内容的位置是指,正在显示内容的画面上的位置、且代表该内容的位置。具体而言,例如,正在显示内容的位置是,正在显示内容的区域的中心位置(以下,简称为“内容的中心”)或重心位置等。并且,例如,正在显示内容的位置也可以是,正在显示内容的一部分表示的图像(例如,广告对象商品的图像)的区域的中心位置或重心位置。
并且,例如,关心度推定部12,检测出的用户的移动速度越小,就推定关心度越高。也就是说,若用户在画面的前面缓慢移动,则推定关心度高。
并且,例如,关心度推定部12,检测出的用户的位置与正在显示内容的位置之间的距离越小,就推定关心度越高。
并且,例如,关心度推定部12,检测出的用户的视线方向越接近从用户向代表画面的位置的方向、或从用户向正在显示内容的位置的方向,就推定关心度越高。也就是说,关心度推定部12,若用户看画面或显示内容的方向,则推定关心度高。
并且,关心度推定部12也可以,根据检测出的生物信号、表情、发言内容、发言量、或声音的大小信息等,推定关心度。
显示控制部13,在由关心度推定部12推定的关心度的变化率的大小不足于第一阈值的情况下,以至少一部分的鲜明度或公开度低于预先规定的鲜明度或公开度的状态,使显示部14显示内容。
具体而言,显示控制部13,根据公式(1),计算表示关心度的时间上的变化程度的变化率的大小a(t)。k(t)是在时刻t的关心度。进而,显示控制部13,判断如此计算出的变化率的大小a(t)是否不足于第一阈值。
在此,在变化率的大小a(t)不足于第一阈值的情况下,显示控制部13,以一部分或全部的鲜明度或公开度低于正在显示在画面的内容的鲜明度或公开度的状态,使显示部14显示该内容。也就是说,显示控制部13,例如,按照规定的时间,降低正在显示在画面的内容的至少一部分的鲜明度或公开度。
(公式1)
在此,鲜明度表示内容的鲜明程度。也就是说,鲜明度表示内容所示的信息的鲜明程度。例如,在模糊效果或马赛克效果等的影像效果适用于内容的情况下,内容的鲜明度降低。
并且,公开度表示内容的公开程度。也就是说,公开度表示公开内容所示的信息的程度。例如,若与内容中包含的图像不同的图像被重叠并配置在内容中包含的图像的一部分或全部,则内容的公开度降低。
第一阈值是表示以下的情况的值,即,例如因用户对显示内容的兴趣降低等的理由,而用户对内容的关心度的变化变小了。
显示部14,例如具有等离子显示面板(PDP:Plasma Display Panel)或液晶面板(Liquid Crystal Panel)等的画面,在该画面显示内容。
图3是用于说明鲜明度的图。并且,图4是用于说明公开度的图。在图3以及图4中,将宣传销售单位“XXX Corporation”销售的品牌名“ABCD”的商品“电视机”的图像作为显示在画面的内容的一个例子,来进行说明。
图3(a)示出鲜明度降低之前的内容。并且,图3(b)示出对作为内容的一部分的表示商品的外观的区域执行马赛克处理后的内容。也就是说,图3(b)示出,以低于图3(a)的内容的鲜明度的状态来显示的内容。
如此,显示控制部13,在画面显示对内容的一部分适用了模糊效果或马赛克效果等的影像效果的内容,从而降低内容的一部分的鲜明度。
图4(a)示出公开度降低之前的内容。并且,图4(b)示出在作为内容的一部分的表示商品的外观的区域重叠与商品不同的图像的内容。也就是说,图4(b)示出,以低于图4(a)的内容的公开度的状态显示的内容。
如此,显示控制部13,在内容的一部分的区域重叠并显示与原来的图像不同的图像,从而降低内容的一部分的公开度。
而且,显示控制部13也可以,通过将原来的图像自然地变化为与该图像不同的图像的变形(morphing),降低内容的一部分的公开度。
并且,在图3以及图4中,说明了针对内容的一部分降低鲜明度或公开度,但也可以,显示控制部13,针对内容的全部降低鲜明度或公开度。
而且,优选的是,显示控制部13,降低表示作为将要给用户看的信息的本质信息的部分的鲜明度或公开度。据此,信息显示装置10,能够降低显示本质信息的区域的鲜明度或公开度,根据焦急效果,更能够吸引用户的注目。其结果为,信息显示装置10,能够高效率地提高用户的关心,并且,能够使将要给用户看的信息给用户留下深刻印象。
其次,说明如上构成的信息显示装置10的各种工作。
图5是示出本发明的实施例1中的信息显示装置执行的处理的流程的流程图。
首先,显示部14,在画面显示内容(S100)。其次,用户状态检测部11,检测用户状态(S101)。接着,关心度推定部12,根据检测出的用户状态推定关心度(S102)。进而,显示控制部13,计算关心度的变化率的大小(S104)。而且,显示控制部13,判断关心度的变化率的大小是否不足于第一阈值(S106)。
在此,在关心度的变化率的大小不足于第一阈值的情况下(S106的“是”),显示控制部13,降低显示在画面的内容的至少一部分的的鲜明度或公开度(S108),结束处理。也就是说,显示控制部13,按照用户的关心度,以至少一部分的鲜明度或公开度低于显示在画面的内容的鲜明度或公开度的状态,在画面显示内容。另一方面,在关心度的变化率的大小在第一阈值以上的情况下(S106的“否”),结束处理。
通过执行所述步骤S100至步骤S108的处理,信息显示装置10,按照用户的关心度,以至少一部分的鲜明度或公开度低于预先规定的鲜明度或公开度的状态,在画面能够显示内容。而且,信息显示装置10也可以,反复执行步骤S100至步骤S108的处理。
如上所述,本实施例中的信息显示装置10,按照用户对显示的内容的关心度的变化率的大小,以至少一部分的鲜明度或公开度低于预先规定的鲜明度或公开度的状态,能够显示内容。其结果为,信息显示装置10,根据焦急效果,能够吸引用户的注目,因此,能够高效率地提高用户的关心。
而且,在本实施例中,显示控制部13,在关心度的变化率的大小单纯地不足于第一阈值的情况下,以鲜明度或公开度低的状态,使显示部14显示内容,但也可以是,与此不同的情况。例如,显示控制部13也可以,在关心度的变化率的大小不足于第一阈值的状态持续了规定时间的情况下,以至少一部分的鲜明度或公开度低于预先规定的鲜明度或公开度的状态,使显示部14显示内容。据此,信息显示装置10,反应于用户的关心度的变化率的大小暂时变小,能够减少必要以上的内容的鲜明度或公开度的变更。
(实施例1的变形例1)
实施例1的变形例1中的信息显示装置10,与实施例1中的信息显示装置10不同之处是,在用户的关心度的变化率的大小为小时,在画面显示与正在显示在画面的内容不同的内容。以下,以与实施例1不同之处为中心,参照附图说明本变形例。
与图2示出的实施例1中的信息显示装置10相同,本变形例中的信息显示装置10也包括用户状态检测部11、关心度推定部12、显示控制部13、以及显示部14。而且,对于用户状态检测部11、关心度推定部12以及显示部14,与实施例1相同,因此省略说明。
本变形例中的显示控制部13,在由关心度推定部12推定的关心度的变化率的大小不足于第一阈值的情况下,以至少一部分的鲜明度或公开度低于预先规定的鲜明度或公开度的状态,使显示部14显示与正在显示在画面的内容不同的内容。
在此,预先规定的鲜明度或公开度是,例如内容的原来的鲜明度或公开度。也就是说,典型而言,预先规定的鲜明度或公开度是,未适用用于降低鲜明度或公开度的影像效果、或未执行用于降低鲜明度或公开度的图像处理的内容的鲜明度或公开度。
其次,说明如上构成的本变形例中的信息显示装置10的各种工作。
图6是示出本发明的实施例1的变形例1中的信息显示装置执行的处理的流程的流程图。而且,在图6中,对于与图5相同的处理,附上相同的符号,省略说明。
在关心度的变化率的大小不足于第一阈值的情况下(S106的“是”),显示控制部13,以至少一部分的鲜明度或公开度低于预先规定的鲜明度或公开度的状态,使显示部14显示与正在显示在画面的内容不同的内容(S112),结束处理。也就是说,显示控制部13,使显示部14显示预先降低了至少一部分的鲜明度或公开度且与正在显示在画面的内容不同的内容。
如上所述,本变形例中的信息显示装置10,在重新显示内容时,以降低了鲜明度或公开度的状态能够进行显示,因此,根据焦急效果,能够高效率地提高用户的关心。
(实施例1的变形例2)
在规定的期间一律地降低鲜明度或公开度的情况下,存在的问题是,令用户焦急的期间过长,反而降低用户的关心。于是,实施例1的变形例2中的信息显示装置10,其中,按照用户的关心度,动态地决定提高内容的鲜明度或公开度的定时。下,以与实施例1不同之处为中心,参照附图说明本变形例。
与图2示出的实施例1中的信息显示装置10相同,本变形例中的信息显示装置10也包括用户状态检测部11、关心度推定部12、显示控制部13、以及显示部14。而且,对于用户状态检测部11、关心度推定部12以及显示部14,与实施例1相同,因此省略说明。
本变形例中的显示控制部13,根据用户的关心度,提高显示在画面的内容的鲜明度或公开度。
具体而言,显示控制部13,例如,在由关心度推定部12推定的关心度的变化率的大小超过第二阈值时,提高显示在画面的内容的鲜明度或公开度。第二阈值是表示以下的情况的值,即,因降低内容的鲜明度或公开度,而用户的关心度的变化率变大了。而且,优选的是,第二阈值在第一阈值以上。
并且,例如,显示控制部13也可以,在由关心度推定部12推定的关心度超过第三阈值时,提高显示在画面的内容的鲜明度或公开度。第三阈值是表示以下的情况的值,即,因降低内容的鲜明度或公开度,而用户的关心度提高了。
其次,说明如上构成的本变形例中的信息显示装置10的各种工作。
图7是示出本发明的实施例1的变形例2中的信息显示装置执行的处理的流程的流程图。而且,在图7中,对于与图5相同的处理,附上相同的符号,省略说明。
在计算关心度的变化率的大小后,显示控制部13,判断是否已经降低正在显示在画面的内容的鲜明度或公开度(S122)。也就是说,显示控制部13,判断正在显示在画面的内容是否为以鲜明度或公开度低于预先规定的鲜明度或公开度的状态来正在显示在画面的内容。
在此,在还未降低鲜明度或公开度的情况下(S122的“否”),信息显示装置10,执行步骤S106至步骤S108的处理,返回到步骤S101的处理。
另一方面,在降低了鲜明度或公开度的情况下(S122的“是”),显示控制部13,根据用户的关心度,判断是否提高内容的鲜明度或公开度(S124)。
在此,在判断为提高内容的鲜明度或公开度的情况下(S124的“是”),显示控制部13,提高显示在画面的内容的鲜明度或公开度(S126),返回到步骤S101的处理。另一方面,在判断为不提高内容的鲜明度或公开度的情况下(S124的“否”),返回到步骤S101的处理。
如上所述,本变形例中的信息显示装置10,按照用户的关心度的变化率的大小或关心度的大小等,能够动态地提高显示在画面的内容的鲜明度或公开度。因此,信息显示装置10,能够按照用户状态,向用户动态地公开内容表示的信息。其结果为,信息显示装置10,能够更高效率地提高用户的关心,并且,能够使内容表示的信息给用户留下深刻印象。
(实施例2)
其次,对于本发明的实施例2,利用附图进行详细说明。
本发明的实施例2中的信息显示装置20,与实施例1中的信息显示装置10主要不同之处是,从位于画面的前面的用户中选定目标用户。
图8是示出本发明的实施例2中的信息显示装置的功能结构的方框图。
如图8示出,信息显示装置20包括:用户识别部21,从用户检测摄像机60获得图像信息;用户状态检测部22;关心度推定部23;目标用户选定部24;内容数据库25;显示控制部26;以及显示部27。
在显示部27的画面的周围设置至少两台用户检测摄像机60。也就是说,用户检测摄像机60包括第一用户检测摄像机60a和第二用户检测摄像机60b。而且,用户检测摄像机60包括,CCD(Charge Coupled Device:电荷耦合器件)或CMOS(Complementary Metal OxideSemiconductor:互补金属氧化半导体)等的图像传感器和光学系统。
并且,第一用户检测摄像机60a和第二用户检测摄像机60b同时拍摄存在于画面的前面的用户。而且,第一用户检测摄像机60a和第二用户检测摄像机60b将表示拍摄的图像的图像信息输出到用户识别部21以及用户状态检测部22。
用户识别部21,在从用户检测摄像机60得到的图像信息表示的图像中提取脸区域。而且,用户识别部21,按照提取的每个脸区域,输出用户识别信息,该用户识别信息是表示该脸区域的特征的信息,也是用于确定用户的信息。
用户状态检测部22,检测用户状态,该用户状态是位于画面的前面的用户的物理状态。
具体而言,用户状态检测部22,利用由第一用户检测摄像机60a以及第二用户检测摄像机60b拍摄的图像之间的拍摄了用户的区域(以下,简称为“用户区域”)的对应关系,按每个用户计算用户和画面的相对位置,以作为用户状态。也就是说,用户状态检测部22,利用由立体视的视差,按每个用户检测用户的位置,以作为用户状态。进而,用户状态检测部22,根据检测出的用户的位置的时间变化,检测用户的移动矢量(用户的移动方向以及用户的移动速度)。
图9A以及图9B是用于说明本发明的实施例2中的用户位置计算方法的图。
如图9A示出,第一用户检测摄像机60a和第二用户检测摄像机60b被设置,以便按照间隔B相隔、且平行于信息显示装置20的画面。具体而言,第一用户检测摄像机60a和第二用户检测摄像机60b被设置,以便各个用户检测摄像机的光轴相互平行、按照间隔B相隔、垂直于画面,并且,各个用户检测摄像机的光学中心被配置在包含画面的平面上。
而且,用户状态检测部22,提取由各个用户检测摄像机60拍摄的图像内的用户区域。而且,用户状态检测部22,根据图像间的对应的用户区域的位置的偏差,计算用户和信息显示装置20之间的距离D。具体而言,例如,用户状态检测部22,预先保存以用户不在的状态而由各个用户检测摄像机60拍摄的图像,求出用户出现在摄像范围(用户检测可能区域)时所拍摄的图像和保存的图像之间的差分,从而提取用户区域。并且,用户状态检测部22也可以,提取通过脸图像的检测以及脸图像的核对而得到的用户的脸区域,以作为用户区域。
图9B是示出用于根据两个图像上的对应的用户区域的位置关系求出用户和摄像机设置面(信息显示装置20的画面)之间的距离D的、由立体视的测距原理的图。如图9B示出,作为位置测量对象的用户的像被投影在第一用户检测摄像机60a以及第二用户检测摄像机60b的各个图像传感器的拍摄面。在将如此投影的位置测量对象的用户的像的图像上的偏差作为Z时,用户状态检测部22,如公式(2),利用摄像机的焦点距离f和摄像机的光轴间的距离B,能够计算用户和信息显示装置20的画面之间的距离D。
(公式2)
并且,用户状态检测部22,根据图像中的用户区域的位置和由公式(2)计算出的距离D,能够求出平行于信息显示装置20的画面的方向上的用户位置。用户状态检测部22,如此计算并输出对信息显示装置20的用户的相对位置。
进而,用户状态检测部22,根据如此计算出的位置的时间上的变化,计算用户的移动矢量。具体而言,用户状态检测部22,按每个用户保持计算出的用户的位置,利用保持的用户的位置,按每个用户计算用户的移动矢量。
而且,用户状态检测部22,并不需要根据立体视差计算用户的位置。例如,用户状态检测部22也可以,根据由光波测距(Time of Flight)的原理得到的距离信息,计算用户和信息显示装置20之间的相对位置。在此情况下,用户检测摄像机60包括利用光波测距的原理输出距离信息的距离图像传感器,且设置至少一台用户检测摄像机60。
并且,用户状态检测部22也可以,通过设置在信息显示装置20的画面的前面的地板面的地板压力传感器,获得对信息显示装置20的用户的相对位置。在此情况下,不需要设置用户检测摄像机60。
关心度推定部23,根据用户状态检测部22输出的用户的位置等,按由用户识别信息确定的每个用户,推定用户对显示内容的关心度。对于关心度的计算方法,在后面进行说明。
目标用户选定部24,根据关心度推定部23输出的各个用户的关心度,选定目标用户。例如,目标用户选定部24,在对显示内容的关心度在按每个显示内容预先规定的第四阈值以上的情况下,将与该关心度相对应的用户选定为目标用户。第四阈值是表示用户对显示内容表示某种程度的关心的值。也就是说,第四阈值是用于选定通过降低内容的鲜明度或公开度而更能够期待提高关心度的用户的值。
而且,目标用户选定部24也可以,用户的位置和显示内容的中心之间的距离不足于按每个显示内容预先规定的第五阈值的情况下,将该用户选定为目标用户。第五阈值是表示用户对显示内容表示某种程度的关心的距离。也就是说,第五四阈值是用于选定能够期待通过降低内容的鲜明度或公开度而更提高关心度的用户的距离。
内容数据库25是,按表示用户的关心度的水准的每个关心度级,记忆有内容、和适用于该内容的影像效果的种类以及适用区域的数据库。
图10是示出本发明的实施例2中的内容数据库的一个例子的图。如图10示出,在内容数据库25,按每个关心度级,将内容和影像效果以及适用区域相关联来存储。而且,在图10中,将内容数据库25所存储的内容是与商品名或品牌名“ABCD”的商品“电视机”的广告有关的内容的情况为一个例子,来进行说明。
关心度级“1”的内容是,商品“电视机”的印象人物被描述大的内容。并且,关心度级“2”的内容是,与比关心度级“1”相比,印象人物被描述略小,却在左上方描述有商品的图像的内容。并且,关心度级“3”的内容是,示出商品的阵容的内容。如此,存储用户的关心度越高就越出示商品的详细的信息的内容,信息显示装置20,用户的关心度越高,就越表示更详细的信息,从而能够使广告吸引用户的关心。
影像效果是,为了降低内容的鲜明度或公开度而适用于内容的效果。例如,影像效果是将内容掩盖“hiding”、或将内容模糊“blur”等的效果。“blur(30)”表示,模糊效果的强度为“30”。也就是说,“blur(75)”表示比“blur(30)”更强的模糊效果。如此,优选的是,在内容数据库25,除了存储影像效果的种类以外,还存储影像效果的强度。
适用区域,可以是内容的整体“all”,也可以是内容的一部分的区域。例如,“rectangle(20,50,500,300)”表示,坐标(20,50)是一个顶点、坐标(500,300)是位于该一个顶点的对角的顶点的长方形区域。具体而言,如图11示出,“rectangle(20,50,500,300)”表示,在以显示内容的左上为坐标原点的坐标系中,以坐标值x=20、y=50的点为左上的顶点、以x=500、y=300的点为右下的顶点的长方形区域。
在显示内容是商品的广告的情况下,若适用用于降低鲜明度或公开度的影像效果的适用区域是,表示商品名或商品的印象人物等对使商品吸引买主重要的信息的区域,则能够期待对用户的一种焦急效果,信息显示装置20,能够吸引用户的注意。也就是说,若适用区域是表示本质信息的区域,则根据焦急效果能够提高用户的关心。反而,即使适用用于降低鲜明度或公开度的适用影像效果的适用区域是表示重要的信息的区域以外的区域,信息显示装置20也能够,仅使重要的信息看清楚,而使整体不懂,从而能够吸引用户的注意。
显示控制部26,在由关心度推定部23推定的关心度的变化率的大小不足于第一阈值的情况下,以至少一部分的鲜明度或公开度低于预先规定的鲜明度或公开度的状态,使显示部14显示与正在显示的内容不同的内容。并且,显示控制部26具有应用程序控制部26a和画面描绘部26b。
应用程序控制部26a,在更新显示部27的画面的描绘细节时,将作为与该描绘细节的更新有关的信息的更新信息输出到画面描绘部26b。
画面描绘部26b,根据更新信息,描绘显示在显示部27的内容,将描绘了的内容输出到显示部27。
显示部27,具有画面,在画面显示由画面描绘部26b描绘的内容。
其次,说明如上构成的信息显示装置20的各种工作。特别是,以多个用户位于信息显示装置20的前面的状况为例子,说明信息显示装置20的各种工作。
图12是示出本发明的实施例2中的信息显示装置执行的处理的流程的流程图。图13是用于说明本发明的实施例2中的关心度的计算方法的图。图14A以及图14B是用于说明本发明的实施例2中的目标用户的选定方法的图。
首先,用户识别部21,通过从由用户检测摄像机60拍摄的图像中提取脸区域,从而生成用于确定用户的用户识别信息(S202)。
而且,用户状态检测部22,从由用户检测摄像机60拍摄的图像中提取用户区域,按提取的每个用户区域检测用户状态(S204)。具体而言,用户状态检测部22,按每个用户区域计算用户的位置。进而,用户状态检测部22,根据计算出的用户的位置的时间上的变化,计算用户的移动矢量。而且,关心度推定部23,根据公式(3),利用用户的移动矢量
从用户的移动矢量
和画面的交点到显示内容的中心为止的距离s、用户的位置和显示内容的中心的距离d,计算用户对显示内容的关心度k(S206)。
(公式3)
在此,g1、g2以及g3是增益,也是0以上的实数。
公式(3)的右边的第一项是与用户的移动方向有关的项,也是用于用户移动来越接近显示内容,使关心度就越大的项。
在图13中以实线表示的移位矢量表示,若在移动方向使该移位矢量延伸,则与画面或延长画面的面交叉的矢量。另一方面,在图13中以虚线表示的移位矢量表示,即使在移动方向使该移位矢量延伸,也不会与画面以及画面延伸的面交叉的矢量。
从用户的移动矢量
和画面的交点到显示内容的中心为止的距离s,用户向显示内容越移动,就越成为小的值,从而第一项成为大的值。因此,根据该第一项,用户的移动方向越朝向显示内容的中心,关心度就越大。而且,对于从用户的移动矢量
和画面的交点到显示内容的中心为止的距离s,虽然在图13中仅示出用户A以及用户C,但是,其它用户的距离s也是与用户A以及用户C相同计算的。并且,如用户B,即使在移动方向使移位矢量延伸,也不会与画面以及画面延伸的面交叉的用户的距离s成为无限大(∞),并且,与g1的值无关,而第一项成为0。
并且,在图13中,距离s是从用户的移动矢量和画面的交点到显示内容的中心为止的距离,但也可以是从用户的移动矢量和画面的交点到画面的中心为止的距离。在此情况下,用户移动来越接近画面的中心,关心度就越大。并且,距离s也可以是,从用户的移动矢量和画面的交点到显示内容的一部分表示的图像的中心为止的距离。在此情况下,用户移动来越接近显示内容的一部分表示的图像的中心,关心度就越大。
公式(3)的右边的第二项是与用户的速度有关的项,也是用于用户的移动越缓慢,使关心度就越大的项。
公式(3)的右边的第三项是与用户的位置和显示内容的中心的距离有关的项,也是用于用户的位置越接近显示内容的位置,使关心度就越大的项。
其次,目标用户选定部24,选定目标用户(S208)。具体而言,目标用户选定部24,例如,将关心度k在预先规定的第四阈值kTH以上的用户选定为目标用户。例如,在图14A中,在第四阈值kTH被设定为“0.4”的情况下,目标用户选定部24,将关心度为“0.7”的“用户A”和关心度为“0.4”的“用户D”设定为目标用户。
而且,目标用户选定部24也可以,将从显示内容的中心的距离d不足于预先规定的第五阈值的用户选定为目标用户。在此情况下,例如,在图14B中,目标用户选定部24,将从显示内容的中心的距离d不足于第五阈值dt的“用户A”和“用户B”选定为目标用户。
其次,显示控制部26,针对目标用户,计算关心度的变化率的大小的平均值(S210)。具体而言,显示控制部26,在当前时刻t,计算在规定的时间间隔Δt的各个目标用户的关心度的变化率的大小。例如,在步骤S208“用户A”和“用户B”被选定为目标用户的情况下,显示控制部26,如图15以及公式(4)示出,利用计算出的“用户A”的关心度k_a和“用户B”的关心度k_b,计算“用户A”的关心度的变化率的大小a_A(t)和“用户B”的关心度的变化率的大小a_B(t)。
(公式4)
而且,显示控制部26,计算如此计算出的用户A和用户B的各个关心度的变化率的大小(a_A和a_B)的平均值,以作为目标用户的关心度的变化率的大小的平均值a_all。
其次,显示控制部26,判断显示部27显示的内容的至少一部分的鲜明度或公开度是否低于预先规定的鲜明度或公开度(S212)。
在此,在鲜明度或公开度高于预先规定的鲜明度或公开度的情况下(S212的“否”),显示控制部26,判断关心度的变化率的大小的平均值a_all低于第一阈值的状态是否持续了规定时间以上(S214)。
在此,在关心度的变化率的大小的平均值a_all低于第一阈值的状态不持续了规定时间以上的情况下(S214的“否”),结束处理。另一方面,在关心度的变化率的大小的平均值a_all低于第一阈值的状态持续了规定时间以上的情况下(S214的“是”),显示控制部26,以至少一部分的鲜明度或公开度低于预先规定的鲜明度或公开度的状态,显示对应于计算出的关心度的内容(S216)。具体而言,显示控制部26,参考内容数据库25,获得对应于计算出的关心度的内容以及影像效果。而且,显示控制部26,在显示部27显示获得的内容,并且,将获得的影像效果适用于该内容。而且,在关心度的变化率的大小的平均值a_all低于第一阈值的状态持续了规定时间以上的情况下,降低内容的鲜明度或公开度,这是因为,处于提高用户的关心度的效果高(应该提高关心度)的状况的缘故。
另一方面,在鲜明度或公开度低于预先规定的鲜明度或公开度的情况下(S212的“是”),显示控制部26,判断是否应该提高鲜明度或公开度(S218)。具体而言,例如,显示控制部26,按照由关心度推定部23推定的关心度的变化率的大小是否超过第二阈值,判断是否应该提高鲜明度或公开度。或者,显示控制部26,例如,按照由关心度推定部23推定的关心度是否超过第三阈值,判断是否应该提高鲜明度或公开度。
在此,在判断为应该提高鲜明度或公开度的情况下(S218的“是”),显示控制部26,提高显示内容的鲜明度或公开度(S220),结束处理。具体而言,显示控制部26,解除适用于正在显示在画面的内容的影像效果。另一方面,在判断为不应该提高鲜明度或公开度的情况下(S218的“否”),结束处理。
通过执行所述步骤S202至步骤S220的处理,信息显示装置20,能够按照目标用户的关心度,使内容的至少一部分的鲜明度或公开度发生变化。而且,信息显示装置20,也可以反复执行步骤S202至步骤S220的处理。
以下,利用图16,更具体地说明图12示出的处理的流程。
图16是示出本发明的实施例2中的信息显示装置的工作的具体例的图。在图16,在画面的一部分显示商品“电视机”的广告。而且,信息显示装置20,按照“用户A”的关心度,在画面显示图10示出的内容数据库25所存储的内容。例如,在图16(a)中,由于“用户A”的关心度在0至k1的范围内,因此,显示关心度级“1”的内容。
图16(a)出的状况是,目标用户的关心度顺利提高后,关心度的提高变钝了的状况。也就是说,图16(a)出的状况是,目标用户的关心度的变化率小,且关心度的变化稳定的状况。这些状态表示,虽然目标用户对显示内容的关心提高了某种程度,但是关心不会更提高的状态。也就是说,可以认为,目标用户判断为由显示内容出示的信息不是更提高关心的信息。在这些状态下,通过对显示内容(广告)的整体或一部分施加影像效果,来给用户新的刺激,从而能够使显示内容(广告)更吸引关心。
在图16(a)中,由于目标用户的关心度的变化率的大小低于第一阈值pc的状态持续了规定时间,因此,显示控制部26,如图16(b)示出,以一部分的鲜明度或公开度低于预先规定的鲜明度或公开度的状态,显示内容数据库25所存储的内容。具体而言,显示控制部26,将显示内容切换为作为比当前的关心度级高一级的关心度级的关心度级“2”的内容,还将影像效果“hiding(20)”适用于显示内容的适用区域“rectangle(20,50,500,300)”。其结果为,由于显示内容的商品“电视机”被显示的部分的公开度降低,因此,用户关注视认性降低了的该部分。
而且,显示控制部26,在关心度的变化率的大小超过第二阈值pc2时,如图16(c)示出,提高已降低的公开度。也就是说,显示控制部26,解除适用于内容的影像效果。而且,显示控制部26也可以,例如,在关心度超过k1时,提高内容的公开度。
在图16(c)中,关心度在k1至k2的范围内,与图16(a)相同,目标用户的关心度的变化率的大小低于阈值pc的状态持续了规定时间。于是,显示控制部26,如图16(d)将显示内容切换为关心度级“3”的内容,并且,将适用效果“blur(30)”适用于内容的适用区域“all”。其结果为,显示内容整体暂时被模糊,鲜明度降低,因此,用户会重新关注该显示内容。
而且,在图16的例子中,在图16(a)至图16(d),显示控制部26,“用户A”越接近画面或显示内容,使显示内容(广告)的显示区域的大小就越小。据此,“用户A”容易看显示内容整体,“用户A”对显示内容的的关心会提高。
如此,优选的是,显示控制部26,按照至少一名目标用户的位置,控制显示内容的画面的区域的位置或大小。具体而言,优选的是,显示控制部26,例如,将内容显示,以便至少一名目标用户的位置越接近显示内容的位置,显示内容的区域的大小就越小。并且,例如,优选的是,显示控制部26,例如,将内容显示,以便至少一名目标用户的位置越接近显示内容的位置,显示内容的区域的位置就越接近用户。
如上所述,本实施例中的信息显示装置20,按照从位于画面的前面的用户中选定的目标用户的用户状态,能够变更内容的鲜明度或公开度,且能够高效率地提高选定为目标用户的用户的关心。
并且,信息显示装置20,能够将根据焦急效果能够吸引注目的可能性高的用户选定为目标用户,且能够高效率地提高用户的关心。
而且,影像效果不仅限于所述例子。只要是降低显示内容的鲜明度或公开度来令用户暂时焦急的效果,就可以是其它的影像效果。例如,影像效果也可以是利用了易吸引用户的注意的符号或素材的效果。
而且,在本实施例中,利用与广告有关的内容进行了说明,以作为显示内容的一个例子,但是,本发明的实施方案之一中的信息显示装置,并不需要显示与广告有关的内容。信息显示装置也可以显示其它的内容,该其它的内容是通过提高用户的关心,从而得到效果的。
并且,在本实施例中,内容被显示在画面的一部分的区域,但也可以,如图17A示出,内容被显示在画面整体。并且,在本实施例中,一个内容被显示在画面,但也可以,如图17B示出,两个以上的内容(显示内容A以及显示内容B)被显示在画面。在此情况下,优选的是,信息显示装置20,按每个内容执行图12示出的处理。
并且,在本实施例中,关心度推定部23,利用用户的移动方向、移动速度以及位置的全部来推定了关心度,但是,利用用户的移动方向、移动速度以及位置之中的至少一个来推定关心度即可。例如,在公式(3),在增益g1和增益g2为0的情况下,关心度推定部23,能够仅根据用户的位置和显示内容的中心的距离,计算关心度k。
(实施例2的变形例)
实施例2的变形例中的信息显示装置20,与实施例2中的信息显示装置20不同,还利用用户的视线方向来推定关心度。以下,以与实施例2不同之处为中心,参照附图说明本变形例。
与图8示出的实施例2中的信息显示装置20相同,本变形例中的信息显示装置20包括用户识别部21、用户状态检测部22、关心度推定部23、目标用户选定部24、内容数据库25、显示控制部26、以及显示部27。而且,对于除了用户状态检测部22以及关心度推定部23以外的构成要素,与实施例2相同,因此,省略说明。
用户状态检测部22,还检测用户的视线方向,以作为用户状态。对于检测视线方向的具体方法,在后面说明。
关心度推定部23,检测出的用户的视线方向越接近从用户向代表画面的位置的方向、或从用户向正在显示内容的位置的方向,就推定关心度越高。具体而言,关心度推定部23,利用对公式(3)的右边还加上与用户的视线方向有关的第四项的公式(5),来计算关心度。公式(5)的第四项是,对从作为用户的视线方向的单位矢量的视线方向矢量
和画面的交点到显示内容的中心为止的距离t加上1而得到的值的倒数,用户越看显示内容的中心的方向,该值就越大。
(公式5)
在此,与g1,g2以及g3相同,g4是增益,也是0以上的实数。
而且,距离t也可以,不是从视线方向矢量和画面的交点到显示内容的中心为止的距离,而是从视线方向矢量和画面的交点到画面的中心为止的距离。在此情况下,用户越看画面的中心的方向,关心度就越大。并且,距离t也可以是从视线方向矢量和画面的交点到显示内容的一部分表示的图像的中心为止的距离。在此情况下,用户越看显示内容的一部分表示的图像的中心的方向,关心度就越大。
其次,利用图18说明由用户状态检测部22的视线方向的检测方法。
图18是示出本发明的实施例2的变形例中的与视线方向的检测有关的处理的流程的流程图。也就是说,图18示出由用户状态检测部22的用户状态的检测处理(图12的步骤S204)的一部分。
如图18示出,用户状态检测部22,根据检测用户的脸的朝向的处理(S510)的结果、和检测作为与脸的朝向相对应的视线方向的相对视线方向的处理(S530)的结果,检测视线方向(S550)。
于是,首先,以下说明检测用户的脸的朝向的处理(S510)。
首先,用户状态检测部22,根据由用户检测摄像机60拍摄的、存在于画面的前方的用户的图像,进行脸区域的检测(S512)。其次,用户状态检测部22,针对检测出的脸区域,适用与各个基准脸朝向相对应的脸部位特征点的区域,剪出各个脸部位特征点的区域图像(S514)。
而且,用户状态检测部22,计算剪出的区域图像和预先保持的模板图像的相关度(S516)。接着,用户状态检测部22,求出按照计算出的相关度对各个基准脸朝向表示的角度进行加权并加法运算而得到的加权和,将其检测为与检测出的脸区域相对应的脸的朝向(S518)。
如上所述,用户状态检测部22,通过执行步骤S512至步骤S518的处理,从而检测用户的脸的朝向。
其次,说明检测相对视线方向的处理(S530)。
首先,用户状态检测部22,利用由用户检测摄像机60拍摄的图像,检测用户的左右的眼角的三维位置(S532)。接着,用户状态检测部22,利用由用户检测摄像机60拍摄的图像,检测用户的左右的黑眼珠中心的三维位置(S534)。而且,用户状态检测部22,利用根据左右的眼角的三维位置得到的视线方向基准面和左右的黑眼珠中心的三维位置,检测相对视线方向(S536)。
如上所述,用户状态检测部22,通过执行步骤S532至步骤S536的处理,从而检测相对视线方向。
而且,用户状态检测部22,利用如上检测出的用户的脸的朝向和相对视线方向,检测用户的视线方向。
其次,利用图19至图21B详细说明视线方向的检测处理。
图19是用于说明本发明的实施例2的变形例中的检测用户的脸的朝向的处理的图。
首先,用户状态检测部22,如图19(a)示出,从记忆有与各个基准脸朝向相对应的脸部位特征点的区域的脸部位区域DB中读出脸部位特征点的区域。接着,用户状态检测部22,如图19(b)示出,针对拍摄的图像的脸区域,按每个基准脸朝向,适用脸部位特征点的区域,按每个基准脸朝向,剪出脸部位特征点的区域图像。
而且,用户状态检测部22,如图19(c)示出,按每个基准脸朝向,计算剪出的区域图像和保持在脸部位区域模板DB的模板图像的相关度。并且,用户状态检测部22,按照如此计算出的相关度表示的相关程度的高低,计算每个基准脸朝向的权重。例如,用户状态检测部22,计算各个基准脸朝向的相关度对基准脸朝向的相关度的总和的比率,以作为权重。
接着,用户状态检测部22,如图19(d)示出,计算基准脸朝向表示的角度乘以计算出的权重而得到的值的总和,检测计算结果,以作为用户的脸的朝向。在图19(d)的例子中,针对基准脸朝向+20度的权重为“0.85”,针对0度的权重为“0.14”,针对-20度的权重为“0.01”,因此,用户状态检测部22,检测脸的朝向为16.8度(=20×0.85+0×0.14+(-20)×0.01)。
而且,在本变形例中,用户状态检测部22,以脸部位特征点的区域图像为对象来计算相关度,但是,并不需要以脸部位特征点的区域图像为对象。例如,用户状态检测部22也可以,以脸区域整体的图像为对象来计算相关度。
并且,对于检测脸的朝向的其它的方法有以下的方法,即,从脸图像检测眼睛、鼻子、嘴等的脸部位特征点,根据脸部位特征点的位置关系计算脸的朝向。对于根据脸部位特征点的位置关系计算脸朝向的方法有以下的方法,即,将预先准备的脸部位特征点的三维模型旋转、放大、缩小来进行匹配,以便与由一台摄像机得到的脸部位特征点最一致,并且,根据得到的三维模型的旋转量计算脸朝向。并且,对于根据脸部位特征点的位置关系计算脸朝向的其它的方法有以下的方法,即,基于由两台摄像机拍摄的图像,利用立体视的原理,根据左右的摄像机中的脸部位特征点位置的图像上的偏差,计算各个脸部位特征点的三维位置,并且,根据得到的脸部位特征点的位置关系计算脸的朝向。具体而言,例如有以下的方法,即,检测以双眼以及嘴这三维坐标点来张开的平面的法线方向,以作为脸朝向的方法等。
其次,利用图20、图21A以及图21B说明检测相对视线方向的方法。在本变形例中,用户状态检测部22,首先,检测视线方向基准面,其次,检测黑眼珠中心的三维位置,最后,检测相对视线方向。
首先,说明视线方向基准面的检测。
图20是用于说明视线方向基准面的图。在本变形例中,用户状态检测部22,通过检测左右的眼角(左眼以及右眼的鼻子一侧的端点)的三维位置,从而检测视线方向基准面。
视线方向基准面是在检测相对视线方向时成为基准的面,如图20示出,视线方向基准面与左右对称面相同。而且,眼角的位置,与眼梢、嘴角或眉毛等的其它的脸部位的位置相比,因表情而产生的变动少、且检测错误少。因此,在本变形例中,用户状态检测部22,利用眼角的三维位置检测作为脸的左右对称面的视线方向基准面。
具体而言,用户状态检测部22,对于由第一用户检测摄像机60a以及第二用户检测摄像机60b同时拍摄的两幅图像的每一幅,利用脸检测模块和脸部位检测模块,检测左右的眼角区域。而且,用户状态检测部22,利用检测出的眼角区域的图像间的位置的偏差(视差),检测左右的眼角的每一个的三维位置。进而,用户状态检测部22,如图20示出,检测将检测出的左右的眼角的三维位置作为端点的线段的垂直二等分面,以作为视线方向基准面。
其次,对黑眼珠中心的检测进行说明。
图21A以及图21B是用于说明黑眼珠中心的检测的图。
对于人而言,来自对象物的光,通过瞳孔达到视网膜,被转换为电信号,该电信号传递到脑,从而以视觉来识别对象物。因此,若利用瞳孔的位置,则能够检测视线方向。但是,由于日本人的虹彩为黑色或茶色,因此通过图像处理难以辨别瞳孔和虹彩。并且,瞳孔的中心和黑眼珠(包括瞳孔以及虹彩这两者)的中心大致一致。于是,在本变形例中,用户状态检测部22,在检测相对视线方向时,检测黑眼珠中心。
用户状态检测部22,首先,从拍摄的图像检测眼梢和眼角。而且,用户状态检测部22,从如图21A示出的包括眼梢和眼角的区域的图像检测亮度低的区域,以作为黑眼珠区域。具体而言,用户状态检测部22,例如,检测亮度在规定阈值以下的区域且大于规定的大小的区域,以作为黑眼珠区域。
其次,用户状态检测部22,在黑眼珠区域的任意的位置设定如图21B示出的由第一区域和第二区域而成的黑眼珠检测滤光器。而且,用户状态检测部22,搜索第一区域内的像素的亮度和第二区域内的像素的亮度的区域间分散成为最大的黑眼珠检测滤光器的位置,检测搜索结果表示的位置,以作为黑眼珠中心。用户状态检测部22,与所述相同,利用同时拍摄的两幅图像中的黑眼珠中心的位置的偏差,检测黑眼珠中心的三维位置。
最后,对相对视线方向的检测进行说明。
用户状态检测部22,利用检测出的视线方向基准面和黑眼珠中心的三维位置,检测相对视线方向。周知的是,对于成人的眼球直径,几乎没有个人差别,例如日本人的眼球直径大约24mm。因此,在已经知道朝向成为基准的方向(例如正面)时的黑眼珠中心的位置的情况下,通过求出从该位置到当前的黑眼珠中心位置为止的位移,从而能够计算并转换为视线方向。
在以往的方法中,由于未知道朝向成为基准的方向时的黑眼珠中心的位置,因此需要进行校准。但是,在本方法中,利用以下的情况,即,在朝向正面时,连结左右的黑眼珠中心的线段的中点存在于脸的中心即视线方向基准面上的情况。也就是说,用户状态检测部22,通过计算连结左右的黑眼珠中心的线段的中点与视线方向基准面之间的距离,从而检测相对视线方向。
具体而言,用户状态检测部22,利用眼球半径R以及连结左右的黑眼珠中心的线段的中点与视线方向基准面之间的距离d,如公式(6)示出,检测针对脸的朝向的左右方向的旋转角θ,以作为相对视线方向。
(公式6)
如上所述,用户状态检测部22,利用视线方向基准面和黑眼珠中心的三维位置,检测相对视线方向。而且,用户状态检测部22,利用检测出的脸的朝向和相对视线方向,检测用户的视线方向。
如上所述,本变形例中的信息显示装置20,能够容易检测用户的视线方向,利用检测出的视线方向,能够高精度地推定关心度。
而且,在本变形例中,关心度推定部23,利用用户的移动方向、移动速度、位置、以及视线方向的全部来推定了关心度,但是,并不需要利用全部来推定关心度。例如,在公式(5)中,若增益g1、增益g2、增益g3为0,关心度推定部23,则能够仅根据用户的视线方向计算关心度k。
而且,在所述实施例2或其变形例中,信息显示装置20,利用距离s或距离t,对移动方向或视线方向与从用户向正在显示内容的位置的方向的近度进行数值化,但也可以通过其它的方法进行数值化。例如,信息显示装置20也可以,利用由移动方向或视线方向与从用户向正在显示内容的位置的方向而成的角度(-180度至180度)的绝对值,对移动方向或视线方向与从用户向显示内容的位置的方向的近度进行数值化。
以上,对于本发明的实施方案之一中的信息显示装置,根据实施例以及其变形例进行了说明,但是,本发明不仅限于这些实施例或其变形例。只要不脱离本发明的宗旨,对本实施例或其变形例施行本领域的技术人员想到的各种变形的形态、或组合不同的实施例或其变形例中的构成要素而构成的形态,也包含在本发明的范围内。
例如,在所述实施例中,信息显示装置包括了等离子显示面板或液晶面板等的画面,但是,并不需要包括画面。例如,信息显示装置也可以是,在屏幕或墙壁等的投影面投影内容的投影机等。
进而,也可以是,如下将本发明变形。
(1)具体而言,所述的各个装置是,由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。所述RAM或所述硬盘单元记忆有计算机程序。根据所述计算机程序,所述微处理器工作,从而各个装置实现其功能。在此,为了实现规定的功能,组合表示对计算机的命令的多个指令码,从而构成计算机程序。而且,各个装置,不仅限于包括微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等全部的计算机系统,而可以是由它们的一部分构成的计算机系统。
(2)也可以是,构成所述的各个装置的构成要素的一部分或全部,由一个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是,将多个构成部集成在一个芯片上而制造的超多功能LSI,具体而言,由微处理器、ROM以及RAM等构成的计算机系统。所述RAM记忆有计算机程序。根据所述计算机程序,所述微处理器工作,从而系统LSI实现其功能。
而且,在此,设想了LSI,但是根据集成度不同,有时被称为IC、超(Super)LSI、特大(Ultra)LSI。并且,集成电路化的方法,不仅限于LSI,也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array:现场可编程门阵列)、或可重构LSI内部的电路单元的连接或设定的可重构处理器。
而且,当然,若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术,则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。
(3)也可以是,构成所述的各个装置的构成要素的一部分或全部,由与各个装置可装卸的IC卡或单体的模块构成。所述IC卡或所述模块是,由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包括所述的超多功能LSI。根据计算机程序,微处理器工作,从而所述IC卡或所述模块实现其功能。该IC卡或该模块,也可以具有防窜改性。
(4)本发明也可以是,将所述的信息显示装置包括的具有特征性的构成部的工作作为步骤的方法。并且,也可以是由计算机实现所述方法的计算机程序,还可以是由所述计算机程序而成的数字信号。
并且,本发明也可以,将所述计算机程序或所述数字信号,记录到计算机可读的记录介质,例如记录到软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(注册商标))、半导体存储器等。并且,也可以是,记录在这些记录介质的所述计算机程序或所述数字信号。
并且,本发明也可以,将所述计算机程序或所述数字信号,经由电通信电路、无线或有线通信电路、以互联网为代表的网络、数据广播等传输。
并且,也可以是,本发明是包括微处理器和存储器的计算机系统,所述存储器记忆有所述计算机程序,根据所述计算机程序,所述微处理器工作。
并且,将所述程序或所述数字信号记录到所述记录介质来传输,或者,将所述程序或所述数字信号经由所述网络等传输,从而由独立的其它的计算机系统执行。
(5)也可以将所述实施例以及所述变形例分别组合。
本发明的方案之一的信息显示装置,通过变更显示内容的公开度或鲜明度,从而能够提高用户对显示内容的关心度,因此,可以利用于显示广告等想要吸引用户的注意的内容的信息显示装置,例如,可以利用于室外电子广告(数字标牌)或大画面电视机等。
符号说明
10,20信息显示装置
11,22用户状态检测部
12,23关心度推定部
13,26显示控制部
14,27显示部
21用户识别部
24目标用户选定部
25内容数据库
26a应用程序控制部
26b画面描绘部
60用户检测摄像机
60a第一用户检测摄像机
60b第二用户检测摄像机