CN103946887B - 注视位置估计系统、注视位置估计装置及它们的控制方法 - Google Patents

注视位置估计系统、注视位置估计装置及它们的控制方法 Download PDF

Info

Publication number
CN103946887B
CN103946887B CN201280055269.9A CN201280055269A CN103946887B CN 103946887 B CN103946887 B CN 103946887B CN 201280055269 A CN201280055269 A CN 201280055269A CN 103946887 B CN103946887 B CN 103946887B
Authority
CN
China
Prior art keywords
information
user
attentively
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280055269.9A
Other languages
English (en)
Other versions
CN103946887A (zh
Inventor
酒卷隆治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co.,Ltd.
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of CN103946887A publication Critical patent/CN103946887A/zh
Application granted granted Critical
Publication of CN103946887B publication Critical patent/CN103946887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

本发明提供注视位置估计系统，其不用检测虹膜中心位置或者估计眼球中心的投影位置就能够估计用户的注视位置。摄影部(17)拍摄观看显示单元所显示的画面的用户的面部。区域检测部(32)从摄影部(17)的摄影图像检测用户的面部区域与用户的眼睛以外的规定部位区域的至少一方和用户的眼睛区域。面积/位置信息取得部(60)取得眼睛区域的面积信息和位置信息、面部区域与规定部位区域中的至少一方的面积信息和位置信息。注视位置估计部(62)根据由面积/位置信息取得部(60)取得的面积信息和位置信息，估计用户正在注视的画面内的位置。

Description

注视位置估计系统、注视位置估计装置及它们的控制方法
技术领域
本发明涉及注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质。
背景技术
公开有如下技术：根据由一个照相机拍摄的用户面部图像来估计用户正在注视的位置。例如，在专利文献1中公开了如下内容：从由一个照相机拍摄的图像检测用户的虹膜中心位置，还根据该图像估计用户的眼球中心的投影位置，并基于这些虹膜中心位置和眼球中心的投影位置来估计用户的视线方向。
现有技术文献
专利文献
专利文献1：日本特开2011-90702号公报
发明内容
发明所要解决的课题
但是，在专利文献1所记载的技术中，需要检测用户的虹膜中心位置或者估计用户的眼球中心的投影位置。为了检测虹膜中心位置或者估计眼球中心的投影位置，需要执行处理负荷重的处理，因此存在用于估计用户的注视位置的处理的处理负荷变重的情况。
本发明是鉴于上述问题而完成的，其目的在于，提供不用检测虹膜中心位置或者估计眼球中心的投影位置就能够估计用户的注视位置的注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质。
用于解决课题的手段
为了解决上述课题，本发明的注视位置估计系统，其特征在于，包括：摄影单元，其用于拍摄观看显示单元所显示的画面的用户的面部；区域检测单元，其从所述摄影单元的摄影图像检测所述用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域；面积/位置信息取得单元，其取得所述眼睛区域的面积信息和位置信息、所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息；基准面积/位置信息取得单元，其根据所述用户观看所述画面内的基准位置时的所述眼睛区域的面积信息和位置信息而取得所述眼睛区域的基准面积信息和基准位置信息，而且根据所述用户观看所述画面内的所述基准位置时的所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息，取得所述面部区域与所述规定部位区域中的所述至少一方的基准面积信息和基准位置信息；以及注视位置估计单元，其根据由所述面积/位置信息取得单元取得的面积信息和位置信息、与由所述基准面积/位置信息取得单元取得的基准面积信息和基准位置信息之间的差，估计所述用户正在注视的所述画面内的位置。
另外，本发明的注视位置估计系统的控制方法，其特征在于，包括：取得摄影单元的摄影图像的步骤，该摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；区域检测步骤，从所述摄影图像检测所述用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域；面积/位置信息取得步骤，取得所述眼睛区域的面积信息和位置信息、所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息；取得基准面积信息和基准位置信息的步骤，取得能够根据所述用户观看所述画面内的基准位置时的所述眼睛区域的面积信息和位置信息取得的所述眼睛区域的基准面积信息和基准位置信息、以及能够根据所述用户观看所述画面内的所述基准位置时的所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息取得的所述面部区域与所述规定部位区域中的所述至少一方的基准面积信息和基准位置信息；以及注视位置估计步骤，根据在所述取得面积信息和位置信息的步骤中取得的所述面积信息和所述位置信息、与在所述取得基准面积和基准位置信息的步骤中取得的所述基准面积信息和所述基准位置信息之间的差，估计所述用户正在注视的所述画面内的位置。
另外，本发明的注视位置估计装置，其特征在于，包括：取得面积信息和位置信息的单元，其取得从摄影单元的摄影图像检测到的、用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域的面积信息和位置信息，所述摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；基准面积/位置信息取得单元，其根据所述用户观看所述画面内的基准位置时的所述眼睛区域的面积信息和位置信息而取得所述眼睛区域的基准面积信息和基准位置信息，而且根据所述用户观看所述画面内的所述基准位置时的所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息，取得所述面部区域与所述规定部位区域中的所述至少一方的基准面积信息和基准位置信息；以及注视位置估计单元，其根据由所述面积/位置信息取得单元取得的面积信息和位置信息、与由所述基准面积/位置信息取得单元取得的基准面积信息和基准位置信息之间的差，估计所述用户正在注视的所述画面内的位置。
另外，本发明的注视位置估计装置的控制方法，其特征在于，包括：取得面积信息和位置信息的步骤，取得从摄影单元的摄影图像检测到的、用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域的面积信息和位置信息，所述摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；取得基准面积信息和基准位置信息的步骤，取得能够根据所述用户观看所述画面内的基准位置时的所述眼睛区域的面积信息和位置信息取得的所述眼睛区域的基准面积信息和基准位置信息、以及能够根据所述用户观看所述画面内的所述基准位置时的所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息取得的所述面部区域与所述规定部位区域中的所述至少一方的基准面积信息和基准位置信息；以及注视位置估计步骤，根据在所述取得面积信息和位置信息的步骤中取得的所述面积信息和所述位置信息、与在所述取得基准面积和基准位置信息的步骤中取得的所述基准面积信息和所述基准位置信息之间的差，估计所述用户正在注视的所述画面内的位置。
另外，本发明的程序，用于使计算机作为以下单元来发挥功能：取得面积信息和位置信息的单元，其取得从摄影单元的摄影图像检测到的、所述用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域的面积信息和位置信息，所述摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；以及注视位置估计单元，其根据所述面积信息和所述位置信息，估计所述用户正在注视的所述画面内的位置。
另外，本发明的计算机可读取的信息存储介质，其记录有用于使计算机作为以下单元来发挥功能的程序：取得面积信息和位置信息的单元，其取得从摄影单元的摄影图像检测到的、所述用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域的面积信息和位置信息，所述摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；以及注视位置估计单元，其根据所述面积信息和所述位置信息，估计所述用户正在注视的所述画面内的位置。
另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括计算由所述面积/位置信息取得单元取得的面积信息和位置信息、与由所述基准面积/位置信息取得单元取得的基准面积信息和基准位置信息之间的差的移动平均的单元，所述注视位置估计单元根据所述移动平均，估计所述用户正在注视的所述画面内的位置。
另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括：判定由所述区域检测单元进行的任意区域的检测是否失败的单元；以及在由所述区域检测单元进行的任意区域的检测失败时制止所述注视位置估计单元执行估计的单元。
另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括将表示由所述注视位置估计单元估计为所述用户正在注视的所述画面内的位置的图像显示到所述画面内的单元。
另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括信息处理装置，所述信息处理装置包括所述区域检测单元、所述面积/位置信息取得单元以及所述注视位置估计单元，所述摄影单元每隔第1规定时间拍摄所述用户的面部，将由所述摄影单元拍摄到的每隔所述第1规定时间的摄影图像中的、每隔比所述第1规定时间长的第2规定时间的摄影图像作为所述区域检测单元的检测对象，所述注视位置估计系统包括设定单元，该设定单元根据与所述信息处理装置的处理能力相关的信息，设定所述第2规定时间。
另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括信息处理装置，所述信息处理装置包括所述区域检测单元、所述面积/位置信息取得单元以及所述注视位置估计单元，所述注视位置估计单元根据由所述面积/位置信息取得单元取得的最新的规定数量的取得结果，计算由所述面积/位置信息取得单元取得的面积信息和位置信息、与由所述基准面积/位置信息取得单元取得的基准面积信息和基准位置信息之间的差的移动平均，所述注视位置估计系统包括设定单元，该设定单元根据与所述信息处理装置的处理能力相关的信息，设定所述规定数量。
另外，在本发明的一个方式中，也可以是，所述注视位置估计单元根据由所述面积/位置信息取得单元取得的面积信息和位置信息，按照一个或多个运算公式来执行运算，由此估计所述用户正在注视的所述画面内的位置，所述注视位置估计系统包括：指示位置取得单元，其取得由所述用户指示的所述画面内的位置；以及校正单元，其根据由所述用户指示的所述画面内的位置、由所述用户指示该位置时的所述眼睛区域的面积信息和位置信息、所述面部区域与所述规定部位区域中的至少一方的面积信息和位置信息，对所述一个或多个运算公式所包含的常数或/及系数进行校正。
另外，在本发明的一个方式中，也可以是，所述区域检测单元从所述摄影图像检测所述用户的面部区域、所述用户的双眼区域、所述用户的左眼区域、所述用户的右眼区域、所述用户的鼻区域以及所述用户的口区域，所述面积/位置信息取得单元取得所述面部区域、所述双眼区域、所述左眼区域、所述右眼区域、所述鼻区域以及所述口区域各自的面积信息和位置信息。
另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括与所述摄影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，所述信息处理装置包括将所述摄影图像发送至所述服务器的单元，所述服务器装置包括所述区域检测单元、所述面积/位置信息取得单元以及所述注视位置估计单元。
另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括与所述摄影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，所述信息处理装置包括：所述区域检测单元；以及将所述区域检测单元的检测结果发送至所述服务器装置的单元，所述服务器装置包括所述面积/位置信息取得单元和所述注视位置估计单元。
另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括与所述摄影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，所述信息处理装置包括：所述区域检测单元和所述面积/位置信息取得单元；以及将由所述面积/位置信息取得单元所取得的面积信息和位置信息发送至所述服务器装置的单元，所述服务器装置包括所述注视位置估计单元。
另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括与所述摄影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，所述信息处理装置包括：所述区域检测单元、所述面积/位置信息取得单元以及所述注视位置估计单元；以及将与所述注视位置估计单元的估计结果相关的注视位置数据发送至所述服务器装置的单元，所述服务器装置包括：接收所述注视位置数据的单元；以及根据所述注视位置数据，执行与所述用户正在注视的所述画面内的位置相关的合计处理的单元。
发明效果
根据本发明，例如不用检测虹膜中心位置或者估计眼球中心的投影位置就能够估计用户的注视位置。
附图说明
图1是示出本发明实施方式的注视位置估计系统的结构的一例的图。
图2是示出信息处理装置的外观的图。
图3是示出显示部所显示的画面的一例的图。
图4是注视位置估计系统的功能框图。
图5是示出初始设定画面的一例的图。
图6是示出摄影部的摄影图像的一例的示意图。
图7是用于对区域检测部的动作进行说明的图。
图8是示出基准面积/位置信息存储部的存储内容的一例的图。
图9是示出由注视位置估计系统执行的处理的一例的流程图。
图10是注视位置估计系统的功能框图。
图11是示出由注视位置估计系统执行的处理的一例的流程图。
图12是示出由注视位置估计系统执行的处理的一例的流程图。
图13是示出用于计算主成分评分的运算公式的图。
图14是示出用于计算用户的注视位置的运算公式的图。
图15是说明用于计算主成分评分的运算公式或用于计算用户注视位置的运算公式的确定方法的一例的图。
图16是注视位置估计系统的功能框图。
图17是示出由注视位置估计系统执行的处理的一例的流程图。
图18是示出对应关系信息的一例的图。
图19是示出对应关系信息的另一例的图。
图20是注视位置估计系统的功能框图。
图21是示出校正数据存储部的存储内容的一例的图。
图22是示出注视位置估计系统的结构的另一例的图。
具体实施方式
以下，根据附图来详细说明本发明的实施方式的例子。
[第1实施方式]首先，对本发明的第1实施方式进行说明。图1示出本发明第1实施方式的注视位置估计系统的结构。如图1所示，注视位置估计系统1构成为包含信息处理装置10(注视位置估计装置)。图2示出信息处理装置10的外观的一例。此外，图2所示的信息处理装置10是便携式计算机，但信息处理装置10并非仅限于便携式计算机。信息处理装置10例如可以是台式计算机、平板电脑或智能手机等。
信息处理装置10包含控制部11、主存储部12、辅助存储部13、光盘驱动部14、通信接口15、操作部16、摄影部17、显示部18以及声音输出部19。
控制部11例如包含一个或多个微处理器，根据存储在辅助存储部13中的操作系统或程序来执行信息处理。主存储部12例如是RAM，辅助存储部13例如是硬盘或固态驱动器。光盘驱动部14读取存储在光盘(信息存储介质)中的程序和数据。
通过光盘向辅助存储部13提供程序和数据。即，将存储有程序和数据的光盘安装到光盘驱动部14，利用光盘驱动部14从光盘中读出程序和数据并存储到辅助存储部13。此外，光盘驱动部14不是必须的构成要素。可取代光盘驱动部14而包含用于读取存储在光盘以外的信息存储介质(例如存储卡)中的程序或数据的构成要素。并且，可通过光盘以外的信息存储介质向辅助存储部13提供程序和数据。
通信接口15是用于使信息处理装置10与通信网络连接的接口。信息处理装置10可经由通信网络与其它装置(例如服务器装置等)收发数据。此外，也可以经由通信网络向辅助存储部13提供程序和数据。
操作部16用于由用户进行操作。在本实施方式的情况下，信息处理装置10具备键盘16A、触控板16B以及鼠标16C作为操作部16。触控板16B和鼠标16C是用于由用户对显示在显示部18中的画面内的位置进行指定的定位设备。此外，信息处理装置10也可以具备操纵杆(控制杆)或在显示部18上重叠设置的触摸面板等。
摄影部17构成为包含公知的数字照相机。摄影部17设置在能够拍摄观看显示部18所显示的画面的用户的面部的位置，摄影部17是为了拍摄观看显示部18所显示的画面的用户的面部的采用的。在图2所示的例子中，在使镜头朝向用户的状态下摄影部17设置在显示部18之上。每隔规定时间(例如1/30秒)进行摄影部17的摄影。即，利用摄影部17拍摄每一秒的帧数为规定数量(例如30)的动态图像。在辅助存储部13中保存由摄影部17拍摄的动态图像。
显示部18例如是液晶显示器等，声音输出部19例如是扬声器或耳机接口等。通过各种程序在显示部18中显示各种画面。
例如，当由信息处理装置10执行Web浏览器时，通过Web浏览器向Web服务器装置发送处理请求(HTTP请求)。在此情况下，从Web服务器装置向信息处理装置10回复与上述处理请求对应的网页数据(HTTP响应)，根据该网页数据在显示部18中显示Web网页(画面)。
图3示出在显示部18中显示的画面的一例。图3示出在访问可经由通信网络来购入商品和服务的电子商务网站(虚拟商店街网站)时显示在显示部18中的Web网页的一例。具体地说，图3示出在指定了“手提包”作为关键字时显示的商品一览网页的一例。
如图3所示，商品一览网页包含关键字栏20、检索按钮22以及一览区域24。在关键字栏20中显示由用户指定的关键字。此外，为了缩小商品的一览而使用关键字栏20和检索按钮22。
在一览区域24中显示与由用户指定的关键字相关的商品的一览。例如，在一览区域24中显示商品的名称以及价格和出售商品的店铺。此外，在一览区域24中，商品名成为链接按钮，用于购入商品的商品网页的链接信息(URL)与商品名相关联。当用户点击商品名时，在显示部18中显示商品网页。
另外，在商品一览网页上显示店铺或商品的广告26。广告26成为链接按钮，店铺网页或商品网页的链接信息(URL)与广告26相关联。当点击广告26时，在显示部18中显示店铺网页或商品网页。
但是，只要在显示部18中显示例如图3所示的商品一览网页时能够取得用户观看画面(商品一览网页)内的哪个位置的情况，就能够用作重新评估想要使用户注意到的信息(例如广告26)的显示位置时的决策信息。
关于这点，在注视位置估计系统1中，根据摄影部17的摄影图像来估计用户注视的画面(换言之，显示部18的显示区域)内的位置。更具体地说，在注视位置估计系统1中，根据摄影图像中的用户的眼睛区域、面部区域、眼睛以外的部位区域的面积和位置来估计用户的注视位置。以下，详细说明用于估计用户的注视位置的结构。
在注视位置估计系统1中，为了执行用户的注视位置的估计而需要先执行初始设定。因此，首先说明用于初始设定的结构。
图4是示出由注视位置估计系统1实现的功能块中的用于初始设定的功能块的功能框图。如图4所示，注视位置估计系统1包含基准面积/位置信息存储部30、区域检测部32、基准面积/位置信息取得部34作为用于初始设定的功能块。例如，通过辅助存储部13来实现基准面积/位置信息存储部30。另外，例如通过控制部11来实现区域检测部32和基准面积/位置信息取得部34。即，控制部11按照程序来执行处理，由此控制部11作为它们的功能块来发挥功能。
在进行初始设定时在显示部18中显示初始设定画面。图5示出初始设定画面的一例。在图5所示的初始设定画面上显示标记40和消息42。标记40表示用户应注视的画面内的位置。在图5所示的例子中，将画面的中心点设定为“用户应注视的画面内的位置”。此外，也可以将中心点以外的位置设定为“用户应注视的画面内的位置”。消息42的内容为向用户请求观看上述位置的内容。
在初始设定中，显示上述的初始设定画面，由此利用摄影部17来拍摄观看画面中心点的用户的面部图像，并保存到辅助存储部13内。图6是示出摄影部17的摄影图像的一例的示意图。
对区域检测部32进行说明。图7是用于对区域检测部32的动作进行说明的图。
区域检测部32从摄影图像检测与用户的眼睛对应的眼睛区域。这里，所谓“眼睛区域”例如是与用户的双眼对应的双眼区域52、与用户的左眼对应的左眼区域52L以及与用户的右眼对应的右眼区域52R中的至少一个。
在图7所示的例子的情况下，双眼区域52是与用户的双眼对应的矩形区域。另外，左眼区域52L是与用户的左眼对应的矩形区域，右眼区域52R是与用户的右眼对应的矩形区域。此外，在图7所示的例子的情况下，双眼区域52、左眼区域52L以及右眼区域52R为矩形区域，但这些区域也可以是矩形以外的形状的区域。
另外，区域检测部32从摄影图像检测与用户面部对应的面部区域和存在于用户面部的部位中的与眼睛以外的规定部位对应的规定部位区域的至少一方。这里，所谓“眼睛以外的规定部位”例如是鼻、口或耳等。
在图7所示的例子的情况下，面部区域50是与用户的面部对应的矩形区域。另外，鼻区域54是与用户的鼻子对应的矩形区域，口区域56是与用户的嘴对应的矩形区域。在图7所示的例子的情况下，鼻区域54和口区域56的至少一方相当于上述的“规定部位区域”。此外，在图7所示的例子的情况下，面部区域50、鼻区域54以及口区域56成为矩形区域，但这些区域也可以是矩形以外的形状。
此外，以下对通过区域检测部32来检测面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56的情况进行说明。
区域检测部32根据公知的图像识别算法来检测面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56。作为“图像识别算法”例如采用使用了OpenCV的面部识别算法。
对基准面积/位置信息取得部34进行说明。基准面积/位置信息取得部34取得眼睛区域的基准面积信息和基准位置信息。具体地说，基准面积/位置信息取得部34根据从用户观看画面内的基准位置时的摄影图像检测出的眼睛区域的面积信息和位置信息，取得眼睛区域的基准面积信息和基准位置信息。此外，在本实施方式的情况下，在初始设定画面中用户要求观看的位置(例如中心点)相当于“基准位置”。
另外，基准面积/位置信息取得部34取得面部区域和规定部位区域的至少一方的基准面积信息和基准位置信息。具体地说，基准面积/位置信息取得部34根据从用户观看画面内的基准位置时的摄影图像检测出的面部区域的面积信息和位置信息，取得面部区域的基准面积信息和基准位置信息。另外，基准面积/位置信息取得部34根据从用户观看画面内的基准位置时的摄影图像检测出的规定部位区域的面积信息和位置信息，取得规定部位区域的基准面积信息和基准位置信息。此外如上所述，所谓“规定部位区域”就是存在于用户面部的部位中的与眼睛以外的规定部位对应的区域。
在本实施方式的情况下，基准面积/位置信息取得部34取得下述信息。
(1)面部区域50的基准面积
(2)面部区域50的代表点的基准X座标和基准Y座标
(3)双眼区域52的基准面积
(4)双眼区域52的代表点的基准X座标和基准Y座标
(5)左眼区域52L的基准面积
(6)左眼区域52L的代表点的基准X座标和基准Y座标
(7)右眼区域52R的基准面积
(8)右眼区域52R的代表点的基准X座标和基准Y座标
(9)鼻区域54的基准面积
(10)鼻区域54的代表点的基准X座标和基准Y座标
(11)口区域56的基准面积
(12)口区域56的代表点的基准X座标和基准Y座标
这里，所谓“代表点”例如是区域的中心点。此外，在区域为矩形区域的情况下，“代表点”可以是矩形区域的某个顶点(例如左上顶点)。另外，通过XY座标系表示“代表点”的位置。此外，XY座标系例如是将摄影图像的左上顶点设为原点O、将右方向设为X轴正方向、将下方向设为Y轴正方向的座标系(参照图7)。
例如，基准面积/位置信息取得部34根据从用户观看初始设定画面的中心点时的摄影图像检测出的面部区域50的面积，取得面部区域50的基准面积。例如，基准面积/位置信息取得部34取得从用户观看初始设定画面的中心点时的摄影图像检测出的面部区域50的面积，作为面部区域50的基准面积。或者，基准面积/位置信息取得部34取得从用户观看初始设定画面的中心点时的多个摄影图像分别检测出的面部区域50的面积的统计值(例如平均值)，作为面部区域50的基准面积。
另外，基准面积/位置信息取得部34根据从用户观看初始设定画面的中心点时的摄影图像检测出的面部区域50的代表点的X座标和Y座标，取得面部区域50的基准X座标和基准Y座标。例如，基准面积/位置信息取得部34取得从用户观看初始设定画面的中心点时的摄影图像检测出的面部区域50的代表点的X座标和Y座标，作为面部区域50的基准X座标和基准Y座标。或者，基准面积/位置信息取得部34取得从用户观看初始设定画面的中心点时的多个摄影图像分别检测出的面部区域50的代表点的X座标的统计值(例如平均值)，作为面部区域50的基准X座标。另外，基准面积/位置信息取得部34取得从这些多个摄影图像分别检测出的面部区域50的代表点的Y座标的统计值(例如平均值)，作为面部区域50的基准Y座标。
基准面积/位置信息取得部34与面部区域50同样地取得面部区域50以外的区域的基准面积、基准X座标以及基准Y座标。
基准面积/位置信息存储部30存储由基准面积/位置信息取得部34取得的基准面积信息和基准位置信息。图8示出基准面积/位置信息存储部30的存储内容的一例。如图8所示，基准面积/位置信息存储部30对面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56的各个基准面积、基准X座标以及基准Y座标进行存储。
这里，事先说明为了实现以上说明的区域检测部32和基准面积/位置信息取得部34而在注视位置估计系统1中执行的处理。图9是示出该处理的一例的流程图。控制部11按照程序执行图9所示的处理，由此控制部11作为区域检测部32和基准面积/位置信息取得部34来发挥功能。
在初始设定画面显示规定时间之后再执行图9所示的处理。根据辅助存储部13所保存的动态图像数据(对观看初始设定画面内的中心点的用户的面部进行摄影而形成的动态图像数据)来执行图9所示的处理。
如图9所示，控制部11从动态图像数据取得一帧量的摄影图像(S101)。此外，从显示初始设定画面到用户识别消息42而盯着初始设定画面的中心点(标记40)之前需要一定的时间，因此控制部11无视此期间内的摄影图像，并取得该期间后的摄影图像。
然后，控制部11对摄影图像内的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56进行检测(S102)。例如，控制部11根据使用了OpenCV的面部识别算法对上述的各个区域进行检测。
然后，控制部11判定是否对至少一个区域的检测失败(S103)。当未判定为对至少一个区域的检测失败时、即全部区域的检测成功时，控制部11取得在步骤S102中检测出的各个区域的面积信息和位置信息(S104)。即，控制部11取得在步骤S102中检测出的各个区域的面积和在步骤S102中检测出的各个区域的代表点(例如中心点)的X座标和Y座标。然后，控制部11将在步骤S102中检测出的各个区域的面积信息和位置信息记录到辅助存储部13内。
然后，控制部11判定是否存在下一帧的摄影图像(S105)。当存在下一帧的摄影图像时，控制部11从动态图像数据取得下一帧的摄影图像(S106)。然后，控制部11再次执行步骤S102的处理。
另一方面，当不存在下一帧的摄影图像时、即当前帧的摄影图像是动态图像数据中的最终帧的图像时，控制部11将面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54、以及口区域56的各个基准面积信息和基准位置信息保存到辅助存储部13(基准面积/位置信息存储部30)中(S107)。
例如，控制部11将从各个帧的摄影图像检测出的双眼区域52的面积的统计值(例如平均值)保存为双眼区域52的基准面积。同样，控制部11将从各个帧的摄影图像检测出的双眼区域52的代表点的X座标的统计值(例如平均值)保存为双眼区域52的基准X座标。另外，控制部11将从各个帧的摄影图像检测出的双眼区域52的代表点的Y座标的统计值(例如平均值)保存为双眼区域52的基准Y座标。控制部11还与双眼区域52同样地取得双眼区域52以外的区域的基准面积、基准X座标以及基准Y座标。
此外，在步骤S103中，当判定为对至少一个区域的检测失败时，控制部11不执行步骤S104的处理，而执行步骤S105的处理。即，在图9所示的处理中，当至少一个区域的检测失败时，无视该帧的摄影图像。
如上所述，在初始设定中，根据用户观看初始设定画面的中心点时的面部区域50等的面积信息和位置信息，将面部区域50等的基准面积信息和基准位置信息保存到辅助存储部13(基准面积/位置信息存储部30)中。以上结束关于初始设定的说明。接着，对估计用户的注视位置的结构进行说明。
图10是示出由注视位置估计系统1实现的功能块中的估计用户的注视位置的功能块的功能框图。如图10所示，注视位置估计系统1包含基准面积/位置信息存储部30、区域检测部32、面积/位置信息取得部60、注视位置估计部62以及处理执行部64，作为估计用户的注视位置的功能块。基准面积/位置信息存储部30和区域检测部32与图4中的基准面积/位置信息存储部30和区域检测部32相同。例如，由控制部11实现面积/位置信息取得部60、注视位置估计部62以及处理执行部64。即，控制部11按照程序执行处理，由此控制部11作为这些功能块来发挥功能。
例如，当估计显示商品一览网页的期间中的用户的注视位置时，区域检测部32、面积/位置信息取得部60以及注视位置估计部62根据在显示商品一览网页的期间中由摄影部17拍摄的动态图像数据来工作。
对区域检测部32进行说明。如上所述，区域检测部32从摄影图像检测与用户的眼睛对应的眼睛区域。另外，区域检测部32从摄影图像检测与用户的面部对应的面部区域和存在于用户面部的部位中的与除了眼睛以外的规定部位对应的规定部位区域中的至少一方。
在本实施方式的情况下，区域检测部32对面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56进行检测。
对面积/位置信息取得部60进行说明。面积/位置信息取得部60取得由区域检测部32检测出的各个区域的面积信息和位置信息。例如，面积/位置信息取得部60取得眼睛区域的面积信息和位置信息。另外，面积/位置信息取得部60取得面部区域和规定部位区域的至少一方的面积信息和位置信息。
在本实施方式的情况下，面积/位置信息取得部60取得下述信息。
(1)面部区域50的面积
(2)面部区域50的代表点的X座标和Y座标
(3)双眼区域52的面积
(4)双眼区域52的代表点的X座标和Y座标
(5)左眼区域52L的面积
(6)左眼区域52L的代表点的X座标和Y座标
(7)右眼区域52R的面积
(8)右眼区域52R的代表点的X座标和Y座标
(9)鼻区域54的面积
(10)鼻区域54的代表点的X座标和Y座标
(11)口区域56的面积
(12)口区域56的代表点的X座标和Y座标
“代表点”例如是区域的中心点。此外，在区域为矩形区域时，“代表点”可以是矩形区域的任意一个顶点(例如，左上顶点)。另外，利用XY座标系(参照图7)表示各个区域的代表点的位置。
对注视位置估计部62进行说明。注视位置估计部62根据由面积/位置信息取得部60取得的各个区域的面积信息和位置信息，估计用户注视的画面内的位置。
例如，注视位置估计部62根据由面积/位置信息取得部60取得的各个区域的面积信息和位置信息与在基准面积/位置信息存储部30中存储的各个区域的基准面积信息和基准位置信息之间的差，估计用户的注视位置。例如，注视位置估计部62根据上述的差按照一个或多个运算公式进行运算，由此来估计用户的注视位置。下面，详细地叙述注视位置估计部62的动作(参照后述的图11和图12的步骤S205～S210)。
对处理执行部64进行说明。处理执行部64根据由注视位置估计部62估计出的用户的注视位置，执行规定的处理。所谓“规定的处理”例如是与用户的注视位置相关的合计处理或生成表示用户注视位置分布的分布数据的处理等。
这里，对为了实现以上说明的区域检测部32、面积/位置信息取得部60、注视位置估计部62以及处理执行部64而在注视位置估计系统1中执行的处理进行说明。图11和图12是示出该处理的一例的流程图。控制部11按照程序执行图11和图12所示的处理，由此控制部11作为区域检测部32、面积/位置信息取得部60、注视位置估计部62以及处理执行部64来发挥功能。
此外，根据在辅助存储部13中预先保存的动态图像数据(例如，在显示商品一览网页的期间拍摄的用户面部的动态图像数据)，执行图11和图12所示的处理。
如图11所示，首先，控制部11从动态图像数据取得一帧量的摄影图像(S201)。然后，控制部11对摄影图像内的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56进行检测(S202)。例如，控制部11根据使用了OpenCV的面部识别算法来检测上述的各个区域。
然后，控制部11判定是否对至少一个区域的检测失败(S203)。当未判定为对至少一个区域的检测失败时、即全部区域的检测成功时，控制部11取得在步骤S202中检测出的各个区域的面积信息和位置信息(S204)。即，控制部11取得在步骤S202中检测出的各个区域的面积和在步骤S202中检测出的各个区域的代表点(例如中心点)的X座标和Y座标。
然后，控制部11针对在步骤S202中检测出的各个区域计算面积差值(ΔS)(S205)。面积差值(ΔS)是在步骤S204中取得的面积与基准面积的差值。例如，控制部11通过从在步骤S204中取得的面部区域50的面积减去在辅助存储部13内存储的面部区域50的基准面积来计算面部区域50的面积差值(ΔS)。控制部11也与面部区域50同样地计算面部区域50以外的各个区域的面积差值(ΔS)。
另外，控制部11针对在步骤S202中检测出的各个区域计算X座标差值(ΔX)(S206)。X座标差值(ΔX)是在步骤S204中取得的X座标与基准X座标的差值。例如，控制部11通过从在步骤S204中取得的面部区域50的X座标减去存储在辅助存储部13内的面部区域50的基准X座标来计算面部区域50的X座标差值(ΔX)。控制部11也与面部区域50同样地计算面部区域50以外的各个区域的X座标差值(ΔX)。
此外，控制部11针对在步骤S202中检测出的各个区域计算Y座标差值(ΔY)(S207)。Y座标差值(ΔY)是在步骤S204中取得的Y座标与基准Y座标的差值。例如，控制部11通过从在步骤S204中取得的面部区域50的Y座标减去存储在辅助存储部13中的面部区域50的基准Y座标来计算面部区域50的Y座标差值(ΔY)。控制部11也与面部区域50同样地计算面部区域50以外的各个区域的Y座标差值(ΔY)。
通过上述步骤S205～S207的处理来取得下述18个差值。
(1)面部区域50的面积差值(ΔS)
(2)面部区域50的X轴差值(ΔX)
(3)面部区域50的Y轴差值(ΔY)
(4)双眼区域52的面积差值(ΔS)
(5)双眼区域52的X轴差值(ΔX)
(6)双眼区域52的Y轴差值(ΔY)
(7)左眼区域52L的面积差值(ΔS)
(8)左眼区域52L的X轴差值(ΔX)
(9)左眼区域52L的Y轴差值(ΔY)
(10)右眼区域52R的面积差值(ΔS)
(11)右眼区域52R的X轴差值(ΔX)
(12)右眼区域52R的Y轴差值(ΔY)
(13)鼻区域54的面积差值(ΔS)
(14)鼻区域54的X轴差值(ΔX)
(15)鼻区域54的Y轴差值(ΔY)
(16)口区域56的面积差值(ΔS)
(17)口区域56的X轴差值(ΔX)
(18)口区域56的Y轴差值(ΔY)
然后，控制部11针对上述18个差值分别计算加权移动平均(S208)。例如，控制部11计算面部区域50的面积差值(ΔS)的加权移动平均。即，控制部11计算最新的N个(例如10个)面部区域50的面积差值(ΔS)的加权平均。同样，控制部11还计算面部区域50的X座标差值(ΔX)的移动加权平均和面部区域50的Y座标差值(ΔY)的移动加权平均。另外同样，控制部11对面部区域50以外的各个区域的每个差值计算加权移动平均。此外，在步骤S208中，控制部11也可以针对上述18个差值分别计算单纯移动平均。
然后，控制部11针对上述18个差值的各个加权移动平均(或单纯移动平均)计算第1～第18主成分评分(S209)。即，控制部11将上述18个差值的各个加权移动平均转换为18个主成分评分。控制部11根据图13所示的运算公式来计算第1～第18主成分评分。
此外，在图13中，“zi”(i：1～18的自然数)表示第i主成分评分。即，“z1”表示第1主成分评分，“z18”表示第18主成分评分。
另外，在图13中，“d1”～“d18”表示上述18个差值的各个加权移动平均(或单纯移动平均)。例如“d1”～“d18”如下所示。
(1)d1、d2、d3：面部区域50的面积差值(ΔS)的加权移动平均、X座标差值(ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均
(2)d4、d5、d6：双眼区域52的面积差值(ΔS)的加权移动平均、X座标差值(ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均
(3)d7、d8、d9：左眼区域52L的面积差值(ΔS)的加权移动平均、X座标差值(ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均
(4)d10、d11、d12：右眼区域52R的面积差值(ΔS)的加权移动平均、X座标差值(ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均
(5)d13、d14、d15：鼻区域54的面积差值(ΔS)的加权移动平均、X座标差值(ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均
(6)d16、d17、d18：口区域56的面积差值(ΔS)的加权移动平均、X座标差值(ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均
另外，在图13中，“Li_j”(i、j：1～18的自然数)表示预定的系数。后面叙述系数Li_j的确定方法(参照后述的图15)。
在步骤S305中计算第1～第18主成分评分之后，控制部11根据第1～第18主成分评分来计算用户的注视位置(S210)。控制部11根据图14所示的运算公式来计算用户的注视位置。
此外，在图14中，“Gx”表示用户的注视位置的Xs座标，“Gy”表示用户的注视位置的Ys座标。Xs座标和Ys座标是用于表示画面内的位置的XsYs座标系中的座标值，XsYs座标系是例如将画面的左上顶点设为原点Os、将右方向设为Xs轴正方向、将下方向设为Ys轴正方向的座标系(参照图2)。另外，与图13同样，“zi”(i：1～18的自然数)表示第i主成分评分。另外，在图14中，“P”和“S”是预定的常数，“Qi”和“Ti”(i：1～18的自然数)是预定的系数。
但是，在图14所示的运算公式中，使用第1～第18主成分评分的全部来计算用户的注视位置的Xs座标和Ys座标，但实际上还有将系数Qi或系数Ti设定为零的情况。例如，在用于计算用户的注视位置的Xs座标的运算公式中，存在将系数Q16设定为零的情况，在此情况下，在用户的注视位置的Xs座标的计算中不使用第16主成分评分。这样，未必使用第1～第18主成分评分的全部来计算用户的注视位置的Xs座标，而是使用第1～第18主成分评分中的至少一个来进行计算。用户的注视位置的Ys座标也是同样的。后面叙述常数P、S和系数Qi以及Ti的确定方法(参照后述的图15)。
在步骤S210中如上所述计算用户的注视位置，控制部11将计算出的注视位置记录到辅助存储部13中(S211)。此外，在步骤S203中，当判定为对至少一个区域的检测失败时，控制部11不执行步骤S204～S211的处理而执行后述的步骤S212的处理。即，当至少一个区域的检测失败时，控制部11无视此帧的摄影图像，不计算用户的注视位置。
在将用户的注视位置记录到辅助存储部13之后，控制部11判定是否存在下一帧的摄影图像(S212)。当存在下一帧的摄影图像时，控制部11从动态图像数据取得下一帧的摄影图像(S213)。然后，控制部11再次执行步骤S202的处理。
另一方面，当不存在下一帧的摄影图像时、即当前帧的摄影图像是动态图像数据中的最终帧的图像时，控制部11生成分布数据，该分布数据表示记录在辅助存储部13中的用户注视位置的分布(S214)。以上结束图11和图12所示的处理的说明。
这里，对用于计算第1～第18主成分评分的运算公式(图13)和用于计算用户注视位置的运算公式(图14)中的常数和系数的确定方法进行说明。
关于这些系数和常数，通过以多个被实验者为对象收集如以下说明的数据且进行分析该数据来确定。图15是用于说明上述系数和常数的确定顺序的图。此外，用于计算第1～第18主成分评分的运算公式(图13)和用于计算用户注视位置的运算公式(图14)需要嵌入到用于估计用户注视位置的程序内，因此在开发该程序时实施下述说明的数据的收集和分析。另外例如，用于估计用户注视位置的程序的开发人员或其同事等成为上述的“被实验者”。
在确定上述系数和常数时，首先，取得被实验者观察画面内的规定位置(例如中心点)时的摄影部17的摄影图像，根据该摄影图像，取得被实验者观察画面内的规定位置时的被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56各自的面积信息和位置信息。然后，根据这些面积信息和位置信息，取得被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56的各个基准面积信息和基准位置信息(参照图15(A))。用于取得该基准面积信息和基准位置信息的处理与图9中所说明的处理相同。
接着，取得被实验者观看画面内的各个位置时的摄影部17的摄影图像。具体地说，请求被实验者使用定位设备来指示画面内的各个位置，取得被实验者指示了画面内的位置时的摄影部17的摄影图像。然后，根据该摄影图像，取得被实验者指示了画面内的位置时的被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56各自的面积信息和位置信息(参照图15(B))。
此外，人们在利用定位设备指示画面内的位置时具有注视该位置的倾向，因此这里所取得的面积信息和位置信息相当于被实验者观看使用定位设备指示的位置时的被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56各自的面积信息和位置信息。
接着，取得被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56的各个面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)(参照图15(C))。根据图15(A)所示的数据和图15(B)所示的数据来取得它们。
接着，将被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56的各个面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)作为对象来实施主成分分析。即，将18个差值(6个区域各自的3个差值)作为对象按照一般主成分分析的顺序来实施主成分分析，其结果，取得表示第1～第18主成分评分的运算公式(图13)。即，取得用于计算第1～第18主成分评分的运算公式中的系数Li_j(i、j：1～18的自然数)。
接着，按照用于计算第1～第18主成分评分的运算公式(图13)，计算第1～第18主成分评分(参照图15(D))。然后，将被实验者指定的画面内的位置(即，被实验者实际观看的位置)、被实验者指定该位置时(即，被实验者实际观看该位置时)的第1～第18主成分评分作为对象来实施线性回归分析。即，可按照一般的线性回归分析的顺序实施线性回归分析，其结果，取得表示用户的注视位置与第1～第18主成分评分之间的关系的运算公式(图14)。即，取得用于计算用户的注视位置的运算公式中的常数P、S和系数Qi、Ti(i：1～18的自然数)。
如以上说明，确定用于计算第1～第18主成分评分的运算公式(图13)和用于计算用户注视位置的运算公式(图14)。
根据以上说明的第1实施方式的注视位置估计系统1，能够根据由一个摄影部(照相机)拍摄的用户面部的图像来估计用户注视的画面内的位置。
但是，作为根据由一个摄影部拍摄的用户面部的图像来估计用户的注视位置的方法，例如公知有如下方法：检测图像内的用户的虹膜中心位置，还根据图像来估计用户眼球中心的投影位置，基于这些虹膜中心位置和眼球中心的投影位置来估计用户的注视位置(例如日本特开2011-90702号公报)。
但是，在采用该方法的情况下，需要检测虹膜中心位置或者估计眼球中心的投影位置。为了检测虹膜中心位置或者估计眼球中心的投影位置而需要执行处理负荷重的处理，在采用上述方法的情况下，有时用于估计用户注视位置的处理的处理负荷变重。与此相对，根据第1实施方式的注视位置估计系统1，不需要检测虹膜中心位置或者估计眼球中心的投影位置。其结果，根据第1实施方式的注视位置估计系统1，能够抑制用于估计用户注视位置的处理的处理负荷。
另外，在采用上述方法的情况下，为了检测虹膜中心位置或者估计眼球中心的投影位置，图像必须具有高分辨率，从而需要高分辨率的摄影部(照相机)。与此相对，在第1实施方式的注视位置估计系统1中，只要能够判别用户的面部、眼睛、鼻以及口就足够了，所以不需要高分辨率的照相机。
另外，根据上述方法，可判别用户观看上下左右的哪个方向(例如，参照日本特开2011-90702号公报的图22)，但对于为了实现判别用户注视比较窄的画面内的哪个位置这样的目的而言，精度不够充分。与此相对，根据第1实施方式的注视位置估计系统1，能够通过比上述方法高的精度来估计用户的注视位置。
此外，在第1实施方式的注视位置估计系统1中，计算面部区域50等各个区域的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的移动平均，根据这些移动平均来估计用户的注视位置(参照图12的步骤S208)。在从摄影图像检测双眼区域52等的情况下，有时误将眉毛区域检测为双眼区域52。但是，通过如上所述构成注视位置估计系统1，从而例如即使在某帧的摄影图像中产生区域的误检测，也能够抑制该误检测给注视位置的估计精度带来的影响。即，通过上述这样，可提高用户注视位置的估计精度。
另外，在第1实施方式的注视位置估计系统1中，当面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56中的至少一个检测失败时，无视该摄影图像，在用户注视位置的估计中不使用该摄影图像(参照图11的步骤S203)。通过这样，能够提高用户注视位置的估计精度。
另外，根据第1实施方式的注视位置估计系统1，能够取得显示规定画面(例如商品一览网页)时的用户的注视位置，因此能够得到例如重新评估想要使用户注意到的信息(例如广告26等)的显示位置时的决策信息。
[第2实施方式]接着，对本发明的第2实施方式进行说明。本发明第2实施方式的注视位置估计系统1的结构等与第1实施方式相同(参照图1、2)。
第2实施方式的注视位置估计系统1与第1实施方式的不同点在于，实时执行用户注视位置的估计。另外，第2实施方式的注视位置估计系统1与第1实施方式的不同点还在于，具备用于实时执行用户注视位置的估计的结构。
图16是示出利用第2实施方式的注视位置估计系统1实现的功能块中的、估计用户的注视位置的功能块的功能框图。如图16所示，第2实施方式的注视位置估计系统1包含基准面积/位置信息存储部30、区域检测部32、面积/位置信息取得部60、注视位置估计部62、处理执行部64以及设定部70。
如上所述，第2实施方式的注视位置估计系统1与第1实施方式的不同点在于，根据由摄影部17每隔规定时间(例如1/30秒)拍摄的图像来实时执行区域检测部32的区域的检测、面积/位置信息取得部60的面积信息和位置信息的取得、注视位置估计部62的注视位置的估计。除了实时执行处理这点之外，区域检测部32、面积/位置信息取得部60以及注视位置估计部62都与第1实施方式相同。
图17是示出利用第2实施方式的注视位置估计系统1执行的处理的一例的流程图。在应估计用户的注视位置的期间内，每隔规定时间(例如1/30秒)执行图17所示的处理。所谓“应估计用户的注视位置的期间”例如是显示规定画面(商品一览网页等)的期间。
如图17所示，首先，控制部11取得由摄影部17拍摄的最新摄影图像(S301)。然后，控制部11对摄影图像内的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56进行检测(S302)。步骤S302的处理与图11的步骤S202的处理相同。
另外，控制部11判定是否对至少一个区域的检测失败(S303)。在未判定为对至少一个区域失败时、即全部区域的检测成功时，控制部11取得在步骤S302中检测出的各个区域的面积信息和位置信息(S304)。步骤S303、S304的处理与图11的步骤S203、S204的处理相同。
然后，控制部11根据在步骤S302中检测出的各个区域的面积信息和位置信息来估计用户的注视位置(S305)，并将用户的注视位置记录到辅助存储部13中(S306)。步骤S305、S306的处理与图11和图12的步骤S205～S211的处理相同。
然后，控制部11将表示用户的注视位置的图像显示在画面内(S307)。例如，控制部11在估计为用户的注视位置的画面内的位置上显示规定图像(标记等)。
此外，在步骤S303中，当判定为至少一个区域的检测失败时，控制部11不执行步骤S304～S307的处理，而是结束本处理。在此情况下，无视摄影图像，不执行用户注视位置的估计等。以上结束图17所示的处理的说明。
在第2实施方式的注视位置估计系统1中，不需要检测虹膜中心位置或者估计眼球中心的投影位置，其结果，能够抑制用于估计用户注视位置的处理的处理负荷，因此能够实时估计用户的注视位置。另外，根据第2实施方式的注视位置估计系统1，可在画面上实时地显示用户的注视位置。由此，对用户实际正在注视的位置与估计为用户正在注视的位置之间的差一目了然。
此外，在第2实施方式的注视位置估计系统1中，能够实时地取得用户的注视位置，因此例如还能够实现用户根据注视位置对信息处理装置10给予各种指示这样的用户接口。例如，还能够实现在规定期间内用户持续注视设定于画面内的规定区域时信息处理装置10执行与该规定区域对应的处理(例如画面的滚动等)这样的用户接口。
但是，第2实施方式的注视位置估计系统1与第1实施方式的不同点还在于，包含设定部70。以下，对设定部70进行说明。
设定部70取得与信息处理装置10的处理能力相关的信息(处理能力信息)。所谓“处理能力信息”例如是与信息处理装置10的处理速度相关的信息。例如，设定部70在信息处理装置10中执行规定处理，信息处理装置10对为了执行该规定处理而所需的时间进行计测。然后，设定部70取得所计测的时间作为“处理能力信息”。在此情况下，上述时间越短，表示信息处理装置10的处理能力越高。
另外，设定部70根据处理能力信息来设定估计用户注视位置的处理(图17)的执行间隔。为了根据处理能力信息设定上述执行间隔，需要表示处理能力信息与执行间隔之间的对应关系的对应关系信息。图18示出该对应关系信息的一例。设定部70根据图18所示的对应关系信息和信息处理装置10的处理能力信息来设定估计用户注视位置的处理(图17)的执行间隔。
此外，在图18中，“p”是表示信息处理装置10的处理能力(处理速度)的指标值。指标值(p)的值越高，表示信息处理装置10的处理能力越高。例如，当将信息处理装置10为了执行规定处理而所需的时间设为“t”时，根据p＝1/t计算指标值(p)。
另外在图18中，“Pa”和“Pb”表示规定值，它们具有“Pa<Pb”的关系。另外，“Ta”、“Tb”以及“Tc”表示规定时间，它们具有“Ta>Tb>Tc”的关系。例如，“Ta”是1/10秒，“Tb”是1/15秒，“Tc”是1/30秒。
在图18所示的对应关系信息中，信息处理装置10的处理能力越高，估计用户注视位置的处理(图17)的执行间隔越短。另外，在图18所示的对应关系信息中，当指标值(p)满足“0<p≤Pa”的关系时，将上述执行间隔设定为比摄影部17的摄影间隔(1/30秒)长的时间(1/10秒)。同样，在指标值(p)满足“Pa<p≤Pb”的关系时，也将上述执行间隔设定为比摄影部17的摄影间隔(1/30秒)长的时间(1/15秒)。
根据第2实施方式的注视位置估计系统1，包含如上所述的设定部70，由此根据注视位置估计系统1(信息处理装置10)的处理能力来设定估计用户注视位置的处理(图17)的执行间隔。例如，当注视位置估计系统1(信息处理装置10)的处理能力低时，上述的执行间隔变长，其结果，能够减轻与用户注视位置的估计相关的处理负荷。另一方面，当注视位置估计系统1(信息处理装置10)的处理能力高时，上述的执行间隔变短，其结果，用户注视位置的估计频率变高。
此外，设定部70的方式不仅限于上述说明的方式。
例如，在图12的步骤S208中，例如说明了当计算在步骤S202中检测出的各个区域的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的各个加权移动平均时使用最新的N个值的情况。设定部70可根据处理能力信息来设定其个数(N)。
为了根据处理能力信息来设定上述个数(N)，需要表示处理能力信息与个数(N)之间的对应关系的对应关系信息。图19示出该对应关系信息的一例。设定部70根据图19所示的对应关系信息和信息处理装置10的处理能力信息来设定上述的个数(N)。
与图18相同，在图19中，“p”是表示信息处理装置10的处理能力(处理速度)的指标值。另外，“Pa”和“Pb”表示规定值，它们具有“Pa<Pb”的关系。此外在图19中，“Na”、“Nb”以及“Nc”表示规定的个数，它们具有“Na<Nb<Nc”的关系。例如，“Na”是3个，“Nb”是5个，“Nc”是10个。在图19所示的对应关系信息中，信息处理装置10的处理能力越高，上述的个数(N)越多。
根据上述这样的设定部70，例如当注视位置估计系统1(信息处理装置10)的处理能力低时上述的个数(N)变少，其结果，减轻与面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的各个加权移动平均的计算相关的处理负荷。另一方面，当注视位置估计系统1(信息处理装置10)的处理能力高时上述的个数(N)多，其结果，用户注视位置的估计精度提高。
[第3实施方式]接着，对本发明的第3实施方式进行说明。本发明第3实施方式的注视位置估计系统1的结构等与第1实施方式和第2实施方式相同(参照图1、2)。
例如，当用户采用鼠标16C等定位设备指示画面内的位置时，存在用户注视自己想要指示的位置的倾向。第3实施方式的注视位置估计系统1与第1实施方式和第2实施方式的不同点在于，考虑到这种用户的倾向，具备用于提高用户注视位置的估计精度的结构。
图20是示出利用第3实施方式的注视位置估计系统1实现的功能块中的、估计用户的注视位置的功能块的功能框图。如图20所示，第3实施方式的注视位置估计系统1包含基准面积/位置信息存储部30、区域检测部32、面积/位置信息取得部60、注视位置估计部62、处理执行部64、指示位置取得部80、校正数据存储部82以及校正部84。
第3实施方式的注视位置估计系统1与第1实施方式和第2实施方式的不同点在于，包含指示位置取得部80、校正数据存储部82以及校正部84。因此，以下对这些功能块进行说明。此外，因为其它功能块与第1实施方式或第2实施方式相同，所以这里省略说明。
指示位置取得部80取得由用户指示的画面内的位置。例如，指示位置取得部80取得用户使用触控板16B或鼠标16C等定位设备指示的画面内的位置。
校正数据存储部82存储用于校正常数或/及系数的校正数据，该常数或/及系数包含在用于计算用户注视位置的一个或多个运算公式(图13、14)中。
具体地说，校正数据存储部82将由用户指示的画面内的位置与由用户指示该位置时的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56各自的面积信息和位置信息对应起来进行存储。图21示出在校正数据存储部82中存储的校正数据的一例。
校正部84根据校正数据来对用于计算用户的注视位置的一个或多个运算公式(图13、14)所包含的常数或/及系数进行校正。
例如，校正部84根据校正数据执行与参照图15说明的处理相同的处理，由此重新确定用于计算第1～第18主成分评分的运算公式(图13)和用于计算用户注视位置的运算公式(图14)。在此情况下，基准面积/位置信息存储部30的存储内容(图8)相当于图15(A)所示的数据，校正数据存储部82所存储的校正数据(图21)相当于图15(B)所示的数据。此外，在重新确定用于计算第1～第18主成分评分的运算公式(图13)和用于计算用户注视位置的运算公式(图14)时，期望在校正数据中存储多个记录(例如10000件左右的记录)。
即，校正部84取得用户指示画面内的位置时的用户的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56的各个面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)。
然后，校正部84将用户指示画面内的位置时的用户的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56的各个面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)作为对象实施主成分分析。
即，校正部84将18个差值(6个区域各自的3个差值)作为对象按照一般的主成分分析的顺序来实施主成分分析，其结果，重新取得表示第1～第18主成分评分的运算公式(图13)。即，校正部84重新取得用于计算第1～第18主成分评分的运算公式中的系数Li_j(i，j：1～18的自然数)。在此情况下，当在之后计算第1～第18主成分评分时，采用重新取得的运算公式。
另外，校正部84按照用于计算第1～第18主成分评分的运算公式(图13)，计算用户指示画面内的位置时的第1～第18主成分评分。然后，将用户指示的画面内的位置(即，用户实际观看的位置)与用户指示该位置时(即，用户观看该位置时)的第1～第18主成分评分作为对象实施线性回归分析。
即，校正部84按照一般的线性回归分析的顺序实施线性回归分析，其结果，重新取得表示用户注视位置与第1～第18主成分评分之间的关系的运算公式(图14)。即，校正部84重新取得用于计算用户的注视位置的运算公式中的常数P、S以及系数Qi、Ti(i：1～18的自然数)。在此情况下，当在之后计算用户的注视位置时，使用重新取得的运算公式。
根据以上说明的第3实施方式的注视位置估计系统1，根据用户观看画面内的位置时的用户的面部区域50等的面积信息和位置信息来重新评估用于估计用户的注视位置的一个或多个运算公式(图13、14)中的常数或/及系数。即，根据第3实施方式的注视位置估计系统1，可将用于估计用户的注视位置的一个或多个运算公式中的常数或/及系数校正为反映用户的面部特征或用户习惯等的值。其结果，能够提高用户注视位置的估计精度。
此外，以上对校正数据存储部82存储用户指示画面内的位置时的用户的面部区域50等的面积和位置进行了说明(图21)。
但是，校正数据存储部82也可以存储用户指示画面内的位置时的用户的面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)，来取代存储用户指示画面内的位置时的用户的面部区域50等的面积和位置。
或者，校正数据存储部82也可以存储用户指示画面内的位置时的摄影图像，来取代用户指示画面内的位置时的用户的面部区域50等的面积和位置。
[第4实施方式]接着，对本发明的第4实施方式进行说明。图22示出本发明第4实施方式的注视位置估计系统1的结构的一例。如图22所示，第4实施方式的注视位置估计系统1构成为包含信息处理装置10和服务器装置90。在信息处理装置10与服务器装置90之间，例如能够经由互联网等通信网络2来收发数据。
信息处理装置10的结构与第1实施方式中的信息处理装置10相同。如图22所示，服务器装置90包含控制部91、主存储部92、辅助存储部93、光盘驱动部94以及通信接口95。控制部91、主存储部92、辅助存储部93、光盘驱动部94以及通信接口95与信息处理装置10的控制部11、主存储部12、辅助存储部13、光盘驱动部14以及通信接口15相同。
第4实施方式的注视位置估计系统1包含与第1实施方式相同的功能块(图10)。但是，在第4实施方式的注视位置估计系统1中，在服务器装置90中实现图10所示的功能块中的至少一个。换言之，在服务器装置90中执行图11和图12所示的处理中的至少一部分。以下，作为第4实施方式的注视位置估计系统1的具体例，说明第4-1实施方式、第4-2实施方式以及第4-3实施方式。
[第4-1实施方式]在第4-1实施方式中，在服务器装置90中实现处理执行部64，在信息处理装置10中实现处理执行部64以外的功能块。即，在该实施方式中，服务器装置90的控制部91按照程序执行处理，由此控制部91作为处理执行部64来发挥功能。
在此实施方式的情况下，在信息处理装置10中执行估计(算出)用户的注视位置之前的处理，在服务器装置90中执行之后的处理。即，在服务器装置90中执行图11和图12所示的处理中的、步骤S214的处理，在信息处理装置10中执行其它处理。
即，在该实施方式中，当在步骤S212中判定为不存在下一帧的摄影图像时，控制部11将与记录在辅助存储部13中的用户注视位置相关的数据(注视位置数据)发送至服务器装置90。
此外，在此情况下，为了能够在服务器装置90侧掌握将什么样的画面显示到显示部18中，将与显示部18所显示的画面相关的数据也发送至服务器装置90。作为“与显示部18所显示的画面相关的数据”，例如发送显示部18所显示的画面的识别数据和显示部18所显示的画面的图像数据。此外，当显示部18所显示的画面的状态根据用户的操作而变化时(例如，画面根据用户的操作进行滚动时)，将表示在开始画面的显示之后用户进行的操作历史的操作历史数据也发送到服务器装置90。
当接收到从信息处理装置10发送来的数据时，服务器装置90的控制部91根据该数据执行与步骤S214相同的处理。
[第4-2实施方式]在第4-2实施方式中，在服务器装置90(注视位置估计装置)中实现注视位置估计部62和处理执行部64，在信息处理装置10中实现注视位置估计部62和处理执行部64以外的功能块。即，在该实施方式中，服务器装置90的控制部91按照程序执行处理，由此控制部91作为注视位置估计部62和处理执行部64来发挥功能。
在该实施方式的情况下，在信息处理装置10中执行到计算面部区域50等各个区域的面积和位置为止的处理，在服务器装置90中执行之后的处理。即，在此实施方式的情况下，在服务器装置90中执行图11和图12所示的处理中的、步骤S205～S211、S214的处理，在信息处理装置10中执行其它处理。
即，在此实施方式的情况下，在信息处理装置10中执行从图11和图12所示的处理中去除了步骤S205～S211、S214的处理后的处理。另外，在此实施方式的情况下，从信息处理装置10向服务器装置90发送表示各个帧的摄影图像中的面部区域50等的面积和位置的数据。另外，将与显示部18所显示的画面相关的数据也发送至服务器装置90。然后，在服务器装置90中，根据从信息处理装置10接收到的数据，执行与图11和图12的步骤S205～S211、S214相同的处理。
此外，也可以在信息处理装置10中执行到计算面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)为止的处理，在服务器装置90中执行之后的处理。即，也可以在服务器装置90中执行图11和图12所示的处理中的、步骤S208～S211、S214的处理，在信息处理装置10中执行其它处理。
此时，在信息处理装置10中执行从图11和图12所示的处理中去除了步骤S208～S211、S214的处理之后的处理。并且，从信息处理装置10向服务器装置90发送表示各个帧的摄影图像中的面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的数据。另外，将与显示部18所显示的画面相关的数据也发送至服务器装置90。然后，服务器装置90根据从信息处理装置10接收到的数据，执行与图11和图12的步骤S208～S211、S214相同的处理。
或者，也可以在信息处理装置10中执行到计算面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的加权移动平均为止的处理，在服务器装置90中执行之后的处理。即，也可以在服务器装置90中执行图11和图12所示的处理中的、步骤S209～S211、S214的处理，在信息处理装置10中执行其它处理。
[第4-3实施方式]在第4-3实施方式中，在服务器装置90(注视位置估计装置)中实现区域检测部32、面积/位置信息取得部60、注视位置估计部62以及处理执行部64。即，在此实施方式的情况下，服务器装置90的控制部91按照程序执行处理，由此控制部91作为区域检测部32、面积/位置信息取得部60、注视位置估计部62以及处理执行部64来发挥功能。
在此实施方式的情况下，从信息处理装置10向服务器装置90发送摄影部17的摄影图像(动态图像数据)。另外，将与显示部18所显示的画面相关的数据也发送到服务器装置90。然后，在服务器装置90中，根据从信息处理装置10接收到的摄影图像(动态图像数据)，执行图11和图12所示的处理。
此外，根据上述第4-1实施方式和第4-2实施方式，与第4-3实施方式相比，从信息处理装置10向服务器装置90发送的数据量变小，因此能够减轻通信网络2的负荷。
但是，在第4实施方式的注视位置估计系统1中也与第2实施方式同样，也可以实时地执行用户的注视位置的估计。
例如，与第4-2实施方式同样，也可以在服务器装置90中执行图17所示的处理中的步骤S305，在信息处理装置10中执行步骤S305以外的处理。此时，在执行步骤S304的处理之后，从信息处理装置10向服务器装置90发送表示面部区域50等的面积和位置的数据。并且，服务器装置90根据从信息处理装置10接收到的数据，执行与步骤S305的处理相同的处理，并估计用户的注视位置。然后，从服务器装置90向信息处理装置10回复用户的注视位置，在信息处理装置10中执行步骤S306、S307的处理。
或者，也可以在服务器装置90中执行步骤S305的处理的一部分，在信息处理装置10中执行除此以外的处理。例如，此时，在算出面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)之后，从信息处理装置10向服务器装置90发送表示面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的数据。并且，在服务器装置90中，根据从信息处理装置10接收到的数据来估计用户的注视位置。之后，从服务器装置90向信息处理装置10回复用户的注视位置，在信息处理装置10中执行步骤S306、S307的处理。
或者，也可以在算出面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的加权移动平均之后，从信息处理装置10向服务器装置90发送表示面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的加权移动平均的数据。并且，在服务器装置90中，也可以根据从信息处理装置10接收到的数据来估计用户的注视位置。之后，从服务器装置90向信息处理装置10回复用户的注视位置，在信息处理装置10中，也可以执行步骤S306、S307的处理。
另外，例如与第4-3实施方式相同，也可以在服务器装置90中执行图17所示的处理中的步骤S302～S305的处理，在信息处理装置10中执行除此以外的处理。此时，从信息处理装置10向服务器装置90发送在步骤S301中取得的摄影图像。并且，在服务器装置90中，根据从信息处理装置10接收到的摄影图像，执行与步骤S302～S305的处理相同的处理，并估计用户的注视位置。之后，从服务器装置90向信息处理装置10回复用户的注视位置，在信息处理装置10中执行步骤S306、S307的处理。
此外，在以上说明的第4实施方式中，服务器装置90可以是将Web网页提供给信息处理装置10的Web服务器装置，也可以是与Web服务器装置不同的服务器装置(即，用于估计用户的注视位置的专用服务器装置)。例如，服务器装置90也可以是将如图3所示的商品一览网页提供给信息处理装置10这样的电子商务网站的Web服务器装置。此时，电子商务网站的Web服务器装置能够取得与自身提供给信息处理装置10的Web网页(例如商品一览网页)中的用户的注视位置相关的数据。即，Web服务器装置能够获得重新评估各Web网页中的、想要使用户注意到的各种信息(例如，广告等)的显示位置时的决策信息。
此外，本发明不被以上说明的第1实施方式～第4实施方式所限定。
例如，以上说明了为了估计用户的注视位置而使用面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56这6个区域的全部的情况，但也可以使用这6个区域中的一部分。例如，也可以仅使用面部区域50、双眼区域52以及鼻区域54。
另外例如，为了估计用户的注视位置，也可以使用面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口区域56以外的区域。
另外例如，也可以组合第2实施方式与第3实施方式。另外，也可以组合第2实施方式和第3实施方式的至少一方与第4实施方式。
此外，在组合第2实施方式与第4实施方式的情况下，可以在信息处理装置10中实现校正数据存储部82和校正部84，也可以在服务器装置90中实现校正数据存储部82和校正部84。另外，当在服务器装置90中实现校正数据存储部82时(即，在将所有用户的校正数据存储到服务器装置90中时)，校正部84也可以使用其它用户的校正数据。但是，此时，也可以使用户的校正数据的权重比其它用户的校正数据大。
另外例如，具有显示部的装置与具有摄影部和控制部的装置可以是单独的装置。例如，也可以在家庭用电视的上部或下部等中设置照相机(摄影部)，在信息处理装置(例如个人计算机)中，根据照相机(摄影部)的摄影图像来估计用户正在注视的家庭用电视的画面内的位置。

Claims (22)

1.一种注视位置估计系统，其特征在于，包括：
摄影单元，其用于拍摄观看显示单元所显示的画面的用户的面部；
区域检测单元，其从所述摄影单元的摄影图像检测所述用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域；
面积/位置信息取得单元，其取得所述眼睛区域的面积信息和位置信息、所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息；
基准面积/位置信息取得单元，其根据所述用户观看所述画面内的基准位置时的所述眼睛区域的面积信息和位置信息而取得所述眼睛区域的基准面积信息和基准位置信息，而且根据所述用户观看所述画面内的所述基准位置时的所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息，取得所述面部区域与所述规定部位区域中的所述至少一方的基准面积信息和基准位置信息；以及
注视位置估计单元，其根据由所述面积/位置信息取得单元取得的面积信息和位置信息、与由所述基准面积/位置信息取得单元取得的基准面积信息和基准位置信息之间的差，估计所述用户正在注视的所述画面内的位置。
2.根据权利要求1所述的注视位置估计系统，其特征在于，
所述注视位置估计系统包括计算由所述面积/位置信息取得单元取得的面积信息和位置信息、与由所述基准面积/位置信息取得单元取得的基准面积信息和基准位置信息之间的差的移动平均的单元，
所述注视位置估计单元根据所述移动平均，估计所述用户正在注视的所述画面内的位置。
3.根据权利要求1或2所述的注视位置估计系统，其特征在于，所述注视位置估计系统包括：
判定由所述区域检测单元进行的任意区域的检测是否失败的单元；以及
在由所述区域检测单元进行的任意区域的检测失败时制止所述注视位置估计单元执行估计的单元。
4.根据权利要求1或2所述的注视位置估计系统，其特征在于，
所述注视位置估计系统包括将表示由所述注视位置估计单元估计为所述用户正在注视的所述画面内的位置的图像显示到所述画面内的单元。
5.根据权利要求1或2所述的注视位置估计系统，其特征在于，
所述注视位置估计系统包括信息处理装置，
所述信息处理装置包括所述区域检测单元、所述面积/位置信息取得单元以及所述注视位置估计单元，
所述摄影单元每隔第1规定时间拍摄所述用户的面部，
将由所述摄影单元拍摄到的每隔所述第1规定时间的摄影图像中的、每隔比所述第1规定时间长的第2规定时间的摄影图像作为所述区域检测单元的检测对象，
所述注视位置估计系统包括设定单元，该设定单元根据与所述信息处理装置的处理能力相关的信息，设定所述第2规定时间。
6.根据权利要求2所述的注视位置估计系统，其特征在于，
所述注视位置估计系统包括信息处理装置，
所述信息处理装置包括所述区域检测单元、所述面积/位置信息取得单元以及所述注视位置估计单元，
所述注视位置估计单元根据由所述面积/位置信息取得单元取得的最新的规定数量的取得结果，计算由所述面积/位置信息取得单元取得的面积信息和位置信息、与由所述基准面积/位置信息取得单元取得的基准面积信息和基准位置信息之间的差的移动平均，
所述注视位置估计系统包括设定单元，该设定单元根据与所述信息处理装置的处理能力相关的信息，设定所述规定数量。
7.根据权利要求1或2所述的注视位置估计系统，其特征在于，
所述注视位置估计单元根据由所述面积/位置信息取得单元取得的面积信息和位置信息，按照一个或多个运算公式来执行运算，由此估计所述用户正在注视的所述画面内的位置，
所述注视位置估计系统包括：
指示位置取得单元，其取得由所述用户指示的所述画面内的位置；以及
校正单元，其根据由所述用户指示的所述画面内的位置、由所述用户指示该位置时的所述眼睛区域的面积信息和位置信息、所述面部区域与所述规定部位区域中的至少一方的面积信息和位置信息，对所述一个或多个运算公式所包含的常数或/及系数进行校正。
8.根据权利要求1或2所述的注视位置估计系统，其特征在于，
所述区域检测单元从所述摄影图像检测所述用户的面部区域、所述用户的双眼区域、所述用户的左眼区域、所述用户的右眼区域、所述用户的鼻区域以及所述用户的口区域，
所述面积/位置信息取得单元取得所述面部区域、所述双眼区域、所述左眼区域、所述右眼区域、所述鼻区域以及所述口区域各自的面积信息和位置信息。
9.根据权利要求1或2所述的注视位置估计系统，其特征在于，
所述注视位置估计系统包括与所述摄影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，
所述信息处理装置包括将所述摄影图像发送至所述服务器装置的单元，
所述服务器装置包括所述区域检测单元、所述面积/位置信息取得单元以及所述注视位置估计单元。
10.根据权利要求1或2所述的注视位置估计系统，其特征在于，
所述注视位置估计系统包括与所述摄影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，
所述信息处理装置包括：
所述区域检测单元；以及
将所述区域检测单元的检测结果发送至所述服务器装置的单元，
所述服务器装置包括所述面积/位置信息取得单元和所述注视位置估计单元。
11.根据权利要求1或2所述的注视位置估计系统，其特征在于，
所述注视位置估计系统包括与所述摄影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，
所述信息处理装置包括：
所述区域检测单元和所述面积/位置信息取得单元；以及
将由所述面积/位置信息取得单元所取得的面积信息和位置信息发送至所述服务器装置的单元，
所述服务器装置包括所述注视位置估计单元。
12.根据权利要求1或2所述的注视位置估计系统，其特征在于，
所述注视位置估计系统包括与所述摄影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，
所述信息处理装置包括：
所述区域检测单元、所述面积/位置信息取得单元以及所述注视位置估计单元；以及
将与所述注视位置估计单元的估计结果相关的注视位置数据发送至所述服务器装置的单元，
所述服务器装置包括：
接收所述注视位置数据的单元；以及
根据所述注视位置数据，执行与所述用户正在注视的所述画面内的位置相关的合计处理的单元。
13.一种注视位置估计系统的控制方法，其特征在于，包括：
取得摄影单元的摄影图像的步骤，该摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；
区域检测步骤，从所述摄影图像检测所述用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域；
面积/位置信息取得步骤，取得所述眼睛区域的面积信息和位置信息、所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息；
基准面积/位置信息取得步骤，根据所述用户观看所述画面内的基准位置时的所述眼睛区域的面积信息和位置信息而取得所述眼睛区域的基准面积信息和基准位置信息，而且根据所述用户观看所述画面内的所述基准位置时的所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息，取得所述面部区域与所述规定部位区域中的所述至少一方的基准面积信息和基准位置信息；以及
注视位置估计步骤，根据在所述面积/位置信息取得步骤中取得的面积信息和位置信息、与在所述基准面积/位置信息取得步骤中取得的基准面积信息和基准位置信息之间的差，估计所述用户正在注视的所述画面内的位置。
14.一种注视位置估计装置，其特征在于，包括：
取得面积信息和位置信息的单元，其取得从摄影单元的摄影图像检测到的、用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域的面积信息和位置信息，所述摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；
基准面积/位置信息取得单元，其根据所述用户观看所述画面内的基准位置时的所述眼睛区域的面积信息和位置信息而取得所述眼睛区域的基准面积信息和基准位置信息，而且根据所述用户观看所述画面内的所述基准位置时的所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息，取得所述面部区域与所述规定部位区域中的所述至少一方的基准面积信息和基准位置信息；以及
注视位置估计单元，其根据由所述取得面积信息和位置信息的单元取得的所述面积信息和所述位置信息、与由所述基准面积/位置信息取得单元取得的基准面积信息和基准位置信息之间的差，估计所述用户正在注视的所述画面内的位置。
15.一种注视位置估计装置的控制方法，其特征在于，包括：
取得面积信息和位置信息的步骤，取得从摄影单元的摄影图像检测到的、用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域的面积信息和位置信息，所述摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；
取得基准面积信息和基准位置信息的步骤，取得能够根据所述用户观看所述画面内的基准位置时的所述眼睛区域的面积信息和位置信息取得的所述眼睛区域的基准面积信息和基准位置信息、以及能够根据所述用户观看所述画面内的所述基准位置时的所述面部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息取得的所述面部区域与所述规定部位区域中的所述至少一方的基准面积信息和基准位置信息；以及
注视位置估计步骤，根据在所述取得面积信息和位置信息的步骤中取得的所述面积信息和所述位置信息、与在所述取得基准面积和基准位置信息的步骤中取得的所述基准面积信息和所述基准位置信息之间的差，估计所述用户正在注视的所述画面内的位置。
16.根据权利要求15所述的注视位置估计装置的控制方法，其特征在于，
在所述注视位置估计步骤中，根据所述面积信息和位置信息、与所述基准面积信息和基准位置信息之间的差的移动平均，估计所述用户正在注视的所述画面内位置。
17.根据权利要求15或16所述的注视位置估计装置的控制方法，其特征在于，
在任意一个区域的检测失败时，制止所述注视位置估计步骤的估计的执行。
18.根据权利要求15或16所述的注视位置估计装置的控制方法，其特征在于，
所述注视位置估计装置的控制方法包括如下步骤：将表示通过所述注视位置估计步骤估计为所述用户正在注视的所述画面内的位置的图像显示到所述画面内。
19.根据权利要求15或16所述的注视位置估计装置的控制方法，其特征在于，
所述摄影单元每隔第1规定时间拍摄所述用户的面部，
将由所述摄影单元拍摄到的每隔所述第1规定时间的摄影图像中的、每隔比所述第1规定时间长的第2规定时间的摄影图像作为区域检测的对象，
所述注视位置估计装置的控制方法包括如下步骤：根据与所述注视位置估计装置的处理能力相关的信息，设定所述第2规定时间。
20.根据权利要求16所述的注视位置估计装置的控制方法，其特征在于，
在所述注视位置估计步骤中，根据最新的规定数量的所述面积信息和位置信息，计算所述面积信息和位置信息与所述基准面积信息和基准位置信息之间的差的移动平均，
所述注视位置估计装置的控制方法包括如下步骤：根据与所述注视位置估计装置的处理能力相关的信息，设定所述规定数量。
21.根据权利要求15或16所述的注视位置估计装置的控制方法，其特征在于，
在所述注视位置估计步骤中，根据所述面积信息和位置信息，按照一个或多个运算公式来执行运算，由此估计所述用户正在注视的所述画面内的位置，
所述注视位置估计装置的控制方法包括以下步骤：
指示位置取得步骤，取得由所述用户指示的所述画面内的位置；和
校正步骤，根据由所述用户指示的所述画面内的位置、由所述用户指示该位置时的所述眼睛区域的面积信息和位置信息、所述面部区域与所述规定部位区域中的至少一方的面积信息和位置信息，对所述一个或多个运算公式所包含的常数或/及系数进行校正。
22.根据权利要求15或16所述的注视位置估计装置的控制方法，其特征在于，
从所述摄影图像检测所述用户的面部区域、所述用户的双眼区域、所述用户的左眼区域、所述用户的右眼区域、所述用户的鼻区域以及所述用户的口区域，
取得所述面部区域、所述双眼区域、所述左眼区域、所述右眼区域、所述鼻区域以及所述口区域各自的面积信息和位置信息。
CN201280055269.9A 2011-11-09 2012-07-30 注视位置估计系统、注视位置估计装置及它们的控制方法 Active CN103946887B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011245279A JP5602708B2 (ja) 2011-11-09 2011-11-09 注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体
JP2011-245279 2011-11-09
PCT/JP2012/069337 WO2013069344A1 (ja) 2011-11-09 2012-07-30 注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体

Publications (2)

Publication Number Publication Date
CN103946887A CN103946887A (zh) 2014-07-23
CN103946887B true CN103946887B (zh) 2017-05-17

Family

ID=48289733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280055269.9A Active CN103946887B (zh) 2011-11-09 2012-07-30 注视位置估计系统、注视位置估计装置及它们的控制方法

Country Status (5)

Country Link
US (1) US9619707B2 (zh)
EP (1) EP2779087A4 (zh)
JP (1) JP5602708B2 (zh)
CN (1) CN103946887B (zh)
WO (1) WO2013069344A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2389095B1 (en) * 2009-01-26 2014-10-01 Tobii Technology AB Detection of gaze point assisted by optical reference signals
KR102227284B1 (ko) * 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN104899306B (zh) * 2015-06-12 2019-06-28 百度在线网络技术（北京）有限公司 信息处理方法、信息显示方法及装置
WO2017079689A1 (en) * 2015-11-06 2017-05-11 Oculus Vr, Llc Eye tracking using optical flow
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
WO2019135313A1 (ja) * 2018-01-04 2019-07-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN112804504B (zh) * 2020-12-31 2022-10-04 成都极米科技股份有限公司 画质调整方法、装置、投影仪及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1669909A1 (en) * 1997-06-03 2006-06-14 AT&T Corp. Method and apparatus for detecting eye location in an image
CN101419664A (zh) * 2007-10-25 2009-04-29 株式会社日立制作所 视线方向计测方法和视线方向计测装置
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
CN102129554A (zh) * 2011-03-18 2011-07-20 山东大学 一种基于视线跟踪的密码输入控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3647376B2 (ja) * 2001-01-31 2005-05-11 キヤノン株式会社 視点位置検出装置、視点位置検出方法及び立体画像表示システム
JP3990619B2 (ja) * 2002-10-11 2007-10-17 株式会社東海理化電機製作所 顔の向き検知装置
JP2004213486A (ja) * 2003-01-07 2004-07-29 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP3673834B2 (ja) * 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
JP2006293786A (ja) * 2005-04-12 2006-10-26 Biophilia Kenkyusho Kk 視線入力装置を備えた市場調査用機器
JP4936491B2 (ja) 2006-07-18 2012-05-23 株式会社国際電気通信基礎技術研究所 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
JP2009237624A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 表情評価方法、印刷制御装置、表情評価装置および表情評価プログラム
JP4957711B2 (ja) * 2008-12-02 2012-06-20 オムロン株式会社 検出装置および方法、並びに、プログラム
WO2010133661A1 (en) * 2009-05-20 2010-11-25 Tessera Technologies Ireland Limited Identifying facial expressions in acquired digital images
US8996510B2 (en) * 2011-08-23 2015-03-31 Buckyball Mobile, Inc. Identifying digital content using bioresponse data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1669909A1 (en) * 1997-06-03 2006-06-14 AT&T Corp. Method and apparatus for detecting eye location in an image
CN101419664A (zh) * 2007-10-25 2009-04-29 株式会社日立制作所 视线方向计测方法和视线方向计测装置
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
CN102129554A (zh) * 2011-03-18 2011-07-20 山东大学 一种基于视线跟踪的密码输入控制方法

Also Published As

Publication number Publication date
US9619707B2 (en) 2017-04-11
JP5602708B2 (ja) 2014-10-08
JP2013101524A (ja) 2013-05-23
EP2779087A4 (en) 2016-02-24
EP2779087A1 (en) 2014-09-17
US20150010206A1 (en) 2015-01-08
WO2013069344A1 (ja) 2013-05-16
CN103946887A (zh) 2014-07-23

Similar Documents

Publication Publication Date Title
CN103946887B (zh) 注视位置估计系统、注视位置估计装置及它们的控制方法
Arabadzhiyska et al. Saccade landing position prediction for gaze-contingent rendering
Yu et al. Joint-level vision-based ergonomic assessment tool for construction workers
US9202121B2 (en) Liveness detection
US9761054B2 (en) Augmented reality computing with inertial sensors
US20210248356A1 (en) Method and apparatus for face recognition
CN103336576B (zh) 一种基于眼动追踪进行浏览器操作的方法及装置
CN107765842A (zh) 一种增强现实方法及系统
CN110826610A (zh) 一种用于智能检测人员着装是否规范的方法与系统
CN110298279A (zh) 一种肢体康复训练辅助方法及系统、介质、设备
Marinoiu et al. Pictorial human spaces: How well do humans perceive a 3d articulated pose?
Li et al. Evaluation of the fine motor skills of children with DCD using the digitalised visual‐motor tracking system
CN106504001A (zh) 一种vr环境中的支付方法及装置
Islam A deep learning based framework for detecting and reducing onset of cybersickness
CN106851240A (zh) 图像数据处理的方法及装置
CN110832438A (zh) 可穿戴终端显示系统、可穿戴终端显示方法以及程序
CN113331849A (zh) 一种尺骨骨龄等级评定系统及方法
Adiani et al. Evaluation of webcam-based eye tracking for a job interview training platform: Preliminary results
CN107817899A (zh) 一种用户观看内容实时分析方法
JP2019219988A (ja) 意味情報付与装置、意味情報付与方法、およびプログラム
Pourazar et al. A Comprehensive Framework for Evaluation of Stereo Correspondence Solutions in Immersive Augmented and Virtual Realities
TWI541732B (zh) 活動基礎成本制的支援方法與系統
Grob Mobile Smartphone Speed Test
CN117666792A (zh) 电子表格显示方法、装置、电子设备及可读存储介质
CN117930975A (zh) 一种视力保护方法、装置、护眼穿戴设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Rakuten, Inc.

CP01 Change in the name or title of a patent holder