CN114766027A - 信息处理方法、信息处理装置以及控制程序 - Google Patents

信息处理方法、信息处理装置以及控制程序 Download PDF

Info

Publication number
CN114766027A
CN114766027A CN202080080823.3A CN202080080823A CN114766027A CN 114766027 A CN114766027 A CN 114766027A CN 202080080823 A CN202080080823 A CN 202080080823A CN 114766027 A CN114766027 A CN 114766027A
Authority
CN
China
Prior art keywords
information
sight
line
user
users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080080823.3A
Other languages
English (en)
Inventor
大野寿和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanhatch Co ltd
Panasonic Holdings Corp
Original Assignee
Yanhatch Co ltd
Panasonic Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanhatch Co ltd, Panasonic Holdings Corp filed Critical Yanhatch Co ltd
Publication of CN114766027A publication Critical patent/CN114766027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Abstract

本发明涉及的信息处理方法，针对一个以上的用户的每个用户，获取包含各用户的眼睛的图像数据；基于在图像数据中所包含的表示各用户的眼睛的信息，检测表示各用户的视线的视线信息；基于在图像数据中所包含的表示各用户的眼睛的信息，对各用户进行个人认证；获取用于确定被个人认证的各用户的个人信息；生成将一个以上的用户的个人信息与一个以上的用户的视线信息相互对应的管理信息；输出管理信息。

Description

信息处理方法、信息处理装置以及控制程序
技术领域
本发明涉及一种生成将用户的个人信息与表示用户的视线的信息相互对应的信息的技术。
背景技术
视线检测技术被用于诸如人的感兴趣对象的推测、睡意等的人的状态的推测以及通过视线向设备进行输入的用户界面等各种用途。在基于视线信息推测人的状态以及行动时，可以利用将视线信息和与人相关的信息相互对应的信息。作为这样的例子，在专利文献1中公开了一种技术，该技术在推测店内的顾客的行动时，利用店内的顾客的视线信息和与年龄段、性别等顾客的属性信息以及顾客购买的商品相关的信息(POS(Point Of Sales)信息)相互对应的信息。
然而，专利文献1所公开的技术，由于设备规模大、难以将视线信息和与人相关的信息高精度地相互对应，需要进一步的改善。
现有技术文献
专利文献
专利文献1：日本专利公开公报特开2017-102564号
发明内容
本发明是为了解决上述的问题而做出的发明，其目的在于能够以更简单的构成高精度地生成将视线信息和与人相关的信息相互对应的信息。
本发明的一方面涉及的信息处理方法，是信息处理装置的信息处理方法，针对一个以上的用户的每个用户，获取包含各用户的眼睛的图像数据；基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，检测表示所述各用户的视线的视线信息；基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，对所述各用户进行个人认证；获取用于确定被所述个人认证的所述各用户的个人信息；生成将所述一个以上的用户的所述个人信息与所述一个以上的用户的所述视线信息相互对应的管理信息；输出所述管理信息。
附图说明
图1是表示本发明的第一实施方式涉及的图像处理系统的整体构成的一个例子的示意图。
图2是表示第一实施方式涉及的图像处理系统的详细构成的一个例子的方框图。
图3是表示眼睛区域的一个例子的示意图。
图4是表示认证信息表的一个例子的示意图。
图5是表示用户信息表的一个例子的示意图。
图6是表示第一实施方式涉及的图像处理装置的动作的一个例子的流程图。
图7是表示管理信息表的一个例子的示意图。
图8是表示管理信息表的另一个例子的示意图。
图9是表示第五实施方式涉及的图像处理装置的动作的一个例子的流程图。
图10是表示第五实施方式涉及的图像处理装置的动作的一个例子的流程图。
图11是表示临时管理信息表的一个例子的示意图。
图12是表示第六实施方式涉及的图像处理系统的详细构成的一个例子的方框图。
具体实施方式
本发明的基础知识
在上述专利文献1公开的技术中，为了生成表示顾客对商品的关注程度的热点图(HeatMap)，将店内分割为多个区域，利用将顾客的属性与顾客的移动路线(经过的区域等)相互对应的信息和将配置在每个区域的商品与顾客的视线朝向的位置相互对应的信息等。为了获取顾客的属性和与移动路线相关的信息，利用设置在店铺的顶棚以及墙面的无线传感摄像头。为了获取表示顾客的视线的信息，利用安装在商品的展示架上的视线传感器。
因此，在专利文献1公开的技术中，为了生成将顾客的视线信息与顾客的行动信息相互对应的信息，存在用于获取顾客的视线信息以及顾客的行动信息的设备规模大的问题。而且，专利文献1公开的技术是通过将用多个设备在不同时刻获取的信息阶段性地进行组合来获得将视线信息与行动信息相互对应的信息的。为此，组合信息的处理变得复杂，其结果存在视线信息与行动信息之间在时间上的对应关系的精度低的问题。
在此，本发明的发明人对这样的问题进行了详细的研究得出以下的见解，即，通过将包含用户的眼睛的图像不仅用于视线信息的检测还用于个人认证，能以更简单的构成高精度地生成将视线信息和与人相关的信息相互对应的信息，从而想到了以下所示的各个实施方式。
本发明的一实施方式涉及的信息处理方法，是信息处理装置的信息处理方法，针对一个以上的用户的每个用户，获取包含各用户的眼睛的图像数据；基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，检测表示所述各用户的视线的视线信息；基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，对所述各用户进行个人认证；获取用于确定被所述个人认证的所述各用户的个人信息；生成将所述一个以上的用户的所述个人信息与所述一个以上的用户的所述视线信息相互对应的管理信息；输出所述管理信息。
在该构成，针对一个以上的用户的每个用户，基于表示在包含各用户的眼睛的图像数据中所包含的各用户的眼睛的信息，进行视线信息的检测以及个人认证，获取各用户的个人信息。而且，在该构成，生成将以这种方式获取到的一个以上的用户的个人信息与一个以上的用户的视线信息相互对应的管理信息，并将其输出。
为此，在该构成，可以将用于生成将各用户的视线信息与个人信息相互对应的管理信息的图像数据限定在仅包含各用户的眼睛的图像数据。由此，该构成能够以更简单的构成生成将各用户的视线信息与各用户的个人信息相互对应的信息。
而且，该构成，因为用于各用户的视线信息的检测以及个人认证的图像数据相同，所以可以基于表示在同一时间点的各用户的眼睛的信息进行视线信息的检测以及个人认证。由此，可以获取关于该被个人认证的用户在时间上没有差异的视线信息以及个人信息，并生成将它们相互对应的信息。因此，该构成，与基于表示在彼此不同的时间点的各用户的眼睛的信息进行视线信息的检测以及个人认证的情况相比，可以更高精度地生成将各用户的视线信息与个人信息相互对应的信息。
在上述的实施方式，也可以是，所述个人信息包含表示所述各用户的性质或特征的一个以上的属性，在所述管理信息的输出，还基于所述管理信息，生成将所述视线信息按照所述一个以上的属性而分类的视线利用信息，并输出所述视线利用信息。
根据该构成，还基于管理信息生成将视线信息按照一个以上的属性而分类的视线利用信息，并输出视线利用信息。因此，该被输出的视线利用信息的观看者可以容易地掌握具有相同的一个以上的属性的用户的视线的倾向。
在上述的实施方式，也可以是，所述一个以上的属性包含年龄、性别、工作单位以及职业之中的一个以上。
根据该构成，生成将视线信息按照年龄、性别、工作单位以及职业之中的一个以上而分类的视线利用信息，并输出视线利用信息。因此，该被输出的视线利用信息的观看者可以容易地掌握年龄、性别、工作单位以及职业之中的一个以上的属性相同的用户的视线的倾向。
在上述的实施方式，也可以是，所述视线信息包含表示所述各用户的视线朝向的位置的视线位置信息，所述视线利用信息是表示所述视线位置信息所示的位置与用户的视线朝向所述视线位置信息所示的位置的频度之间的关系的热点图。
根据该构成，表示视线位置信息所示的位置与用户的视线朝向视线位置信息所示的位置的频度之间的关系的热点图作为视线利用信息而输出。因此，该被输出的热点图的观看者可以容易地掌握具有相同属性的用户的视线朝向哪个位置的频度较高。
在上述的实施方式，也可以是，所述视线信息包含表示所述各用户的视线朝向的位置的视线位置信息，所述视线利用信息是表示所述视线位置信息所示的位置、用户的视线朝向所述视线位置信息所示的位置的次数、用户的视线向所述视线位置信息所示的位置的移动路径之间的关系的眼动轨迹图。
根据该构成，表示视线位置信息所示的位置、用户的视线朝向视线位置信息所示的位置的次数、用户的视线向视线位置信息所示的位置的移动路径之间的关系的眼动轨迹图作为视线利用信息而输出。因此，该被输出的眼动轨迹图的观看者可以容易地掌握具有相同属性的用户的视线以哪一种移动路径朝向哪一个位置的次数较多。
在上述的实施方式，也可以是，在所述视线信息的检测中，从所述图像数据中检测表示所述各用户的眼睛的信息以及表示所述各用户的脸部的朝向的信息，并基于检测到的表示所述各用户的眼睛的信息以及表示所述各用户的脸部的朝向的信息检测所述视线信息。
根据该构成，从包含各用户的眼睛的图像数据中检测表示各用户的眼睛的信息以及表示各用户的脸部的朝向的信息，并基于该检测到的信息检测视线信息。因此，该构成，可以根据从图像数据得到的表示眼睛以及脸部的朝向的信息，高精度地检测各用户的视线。
在上述的实施方式，也可以是，在所述各用户的个人认证中，从所述图像数据检测表示所述各用户的眼睛的虹膜的虹膜信息，并基于检测到的所述虹膜信息对所述各用户进行个人认证。
根据该构成，从包含各用户的眼睛的图像数据中检测表示各用户的眼睛的虹膜的虹膜信息，并基于该检测到的虹膜信息对各用户进行个人认证。因此，该构成，可以基于各用户特有的虹膜对各用户高精度地进行个人认证。
在上述的实施方式，也可以是，所述一个以上的用户为展览会的参加人员，所述一个以上的属性包含所述参加人员的工作单位，所述视线信息包含表示存在于所述各用户的视线朝向的位置的所述展览会的展示物的展示物信息，所述视线利用信息是表示所述展示物信息所示的所述展览会的展示物与用户的视线朝向该展览会的展示物的频度之间的关系的热点图。
在该构成，一个以上的用户为展览会的参加人员，各用户的属性包含参加人员的工作单位。而且，将表示展示物信息所示的展览会的展示物与用户的视线朝向该展览会的展示物的频度之间的关系的热点图作为视线利用信息而输出。因此，该被输出的热点图的观看者可以容易地掌握例如在展览会上哪一个工作单位的参加人员将视线朝向哪一个展示物的频度较高。
在上述的实施方式，也可以是，所述一个以上用户为制造现场的作业人员，所述一个以上的属性包含所述作业人员的作业熟练程度，所述视线信息包含表示存在于所述各用户的视线朝向的位置的作业对象物的作业对象物信息，所述视线利用信息是表示所述作业对象物信息所示的所述作业对象物与用户的视线朝向该作业对象物的频度之间的关系的热点图。
在该构成，一个以上用户为制造现场的作业人员，各用户的属性包含作业人员的作业熟练程度。而且，将表示作业对象物信息所示的作业对象物与用户的视线朝向该作业对象物的频度之间的关系的热点图作为视线利用信息而输出。因此，该被输出的热点图的观看者可以容易地掌握例如在制造现场熟练程度较高的作业人员将视线朝向哪一个作业对象物的频度较高。
在上述的实施方式，也可以是，所述图像数据是通过红外光相机拍摄的图像数据。
用红外光相机拍摄的图像数据具有能分别明确地表示瞳孔的外缘以及虹膜的外缘的亮度变化的倾向。而且，在该构成，因为基于用红外光相机拍摄的图像数据所包含的表示各用户的眼睛的信息对各用户进行个人认证。因此，根据该构成，可以从图像数据准确地检测出表示各用户的虹膜的虹膜信息来作为进行个人认证所使用的表示各用户的眼睛的信息。其结果，该构成可以准确地进行对各用户的个人认证。
本发明，也可以作为让计算机执行该信息处理方法所包含的特征性的各构成要素的控制程序来实现，或作为通过该控制程序而动作的信息处理装置来实现。而且，不用说，也可以使该控制程序通过CD-ROM等的计算机可读取的非暂时性的记录介质或英特网等的通信网络进行流通。
另外，在以下说明的各实施方式都是表示本发明的具体例子的实施方式。在以下的实施方式所示的数值、形状、构成要素、步骤、步骤的顺序等只不过是一个具体例，并不用于限定本发明。而且，以下的实施方式中的构成要素之中、没有被记载在表示最上位概念的独立权利要求中的构成要素作为任意的构成要素而被说明。而且，对于所有的实施方式，可以任意地组合它们的内容。
第一实施方式
图1是表示本发明的第一实施方式涉及的图像处理系统1的整体构成的一个例子的示意图。图像处理系统1是拍摄人400并从所得到的人400的图像数据之中检测出表示人400的视线的视线信息的系统。在图1的例子中，图像处理系统1确定人400正在注视被显示在显示装置300上的多个目标301之中的哪一个目标301。但是，这仅仅是一个例子而已，图像处理系统1不仅可以确定被显示在显示装置300的显示画面上的目标301，还可以确定在实际空间内人400注视的目标301。
在图1的例子中，图像处理系统1被适用于数字标牌(digital signage)系统。因此，被显示在显示装置300上的目标301为广告等的标牌的图像。而且，图像处理系统1生成并输出将基于人400的图像数据获得的表示该人400的视线的信息和该人400的个人信息相互对应的信息。
图像处理系统1包含图像处理装置100(信息处理装置的一个例子)、相机200以及显示装置300。图像处理装置100经由规定的通信路与相机200以及显示装置300连接。规定的通信路例如是有线LAN等的有线通信路或者无线LAN以及蓝牙(注册商标)等的无线通信路。图像处理装置100例如由设置在显示装置300的周围的计算机构成。但是，这仅仅是一个例子而已，图像处理装置100也可以由云服务器构成。在这种情况下，图像处理装置100经由因特网与相机200以及显示装置300连接。图像处理装置100，根据用相机200拍摄到的人400的图像数据，检测人400的视线信息，并将其输出到显示装置300。而且，图像处理装置100也可以作为硬件被组装在相机200或显示装置300中。而且，也可以是相机200或显示装置300具备处理器，图像处理装置100作为软件被组装在其中。
相机200，例如通过以规定的帧频(frame rate)拍摄显示装置300的周围的环境，获取位于显示装置300的周围的人400的图像数据。相机200以规定的帧频依次将所获取的图像数据输出到图像处理装置100。相机200既可以是可见光相机也可以是红外光相机。
显示装置300例如由液晶面板或有机EL面板等显示装置构成。在图1的例子中，显示装置300是标牌显示器。另外，在图1的例子中，对图像处理系统1包含显示装置300进行了说明，但是，这仅仅是一个例子而已，也可以采用其它的设备代替显示装置300。例如，当图像处理系统1被用作受理通过视线向设备进行输入的用户界面时，图像处理系统1也可以采用例如冰箱、电视以及洗衣机等家用电器来代替显示装置300。例如，当图像处理系统1被搭载在车辆上时，可以采用汽车等车辆来代替显示装置300。此外，还可以采用硬盘驱动器、固态硬盘驱动器(solid state drive)等存储装置来代替显示装置300。
图2是表示第一实施方式涉及的图像处理系统1的详细构成的一个例子的方框图。图像处理装置100包含处理器120以及存储器140。
处理器120是CPU、FPGA等的电路。处理器120包含图像获取部121、眼睛检测部122、虹膜认证部123(认证部的一个例子)、脸部特征检测部124、视线检测部125、管理信息生成部126(个人信息获取部的一个例子)以及输出部127。另外，处理器120所具备的各模块既可以通过让处理器120执行使计算机作为图像处理装置而发挥功能的控制程序来实现，也可以由专用的电路构成。
图像获取部121获取相机200拍摄的图像数据。在此，所获取的图像数据中包含显示装置300的周围的人400(用户的一个例子)的脸部。另外，图像获取部121获取的图像数据既可以是例如发布在网站上的图像数据，也可以是外部存储装置存储的图像数据。
眼睛检测部122从图像获取部121获取的图像数据之中检测包含人400的眼睛的眼睛区域。具体而言，眼睛检测部122可以利用为了检测眼睛区域而预先创建的分类器来检测眼睛区域。在此利用的分类器例如是为了在开放源码的图像处理库(open-source imageprocessing library)检测眼睛区域而预先创建的哈尔式级联分类器(Haar-like cascadeclassifier)。
眼睛区域是具有在眼睛的大小加上规定的外缘的程度的尺寸的矩形区域。但是，这仅仅是一个例子而已，眼睛区域的形状也可以是矩形以外的例如三角形、五角形、六角形或八角形等。而且，将眼睛区域的边界相对于眼睛设定在哪一个位置取决于分类器的性能。
图3是表示眼睛区域50的一个例子的示意图。如图3所示，在本实施方式，眼睛是指被上眼睑的边界53和下眼睑的边界54包围的包含白眼珠和黑眼珠等有颜色的部分的区域。如图3所示，瞳是指包含瞳孔55和包围瞳孔55的环状的虹膜56的有颜色的部分。在本实施方式，为了便于说明，右眼是指从正面看人400时位于右侧的眼睛，左眼是指从正面看人400时位于左侧的眼睛。图3表示了眼睛检测部122检测包含右眼的眼睛区域50和包含左眼的眼睛区域50的例子。但是，这仅仅是一个例子而已，也可以是从人400看去位于右侧的眼睛作为右眼，从人400看去位于左侧的眼睛作为左眼。而且，在本实施方式，将纸面的右侧的方向作为右方，纸面的左侧的方向作为左方。
虹膜认证部123，在通过眼睛检测部122检测到的眼睛区域50，检测表示人400的眼睛的虹膜56的虹膜信息，并利用检测到的虹膜信息以及认证信息存储部141进行对人400的个人认证。
虹膜信息包含例如表示虹膜56的外缘的坐标数据或表示虹膜56的外缘的半径或直径等长度(例如，像素(pixel))的信息、虹膜56的中心的坐标数据。在此，坐标数据是指图像获取部121获取的图像数据的二维坐标数据。另外，虹膜信息包含例如用道格曼算法(DaugmanAlgorithm)等规定的算法将虹膜56的图像编码化而得到的虹膜数据。道格曼算法被公开在“High Confidence Visual Recognition of Persons by a Test ofStatistical Independence：John G.Daugman(1993)”的文献中。另外，虹膜数据并不局限于此，也可以是用规定的文件形式(例如，PNG)表示虹膜56的图像的图像数据(二进制数据)。
在采用红外光相机作为相机200的情况下，瞳孔55和虹膜56之间的亮度变化被清楚地体现。为此，虹膜认证部123，在采用红外光相机作为相机200的情况下，还可以将例如表示瞳孔55的外缘的坐标数据或表示瞳孔55的外缘的半径或直径等的长度(例如，像素)的信息、瞳孔55的中心的坐标数据作为虹膜信息进行检测。另一方面，在采用可见光相机作为相机200的情况下，由于有时不能清楚地体现瞳孔55和虹膜56之间的亮度变化，难以区分瞳孔55和虹膜56。因此，在采用可见光相机作为相机200的情况下，虹膜认证部123也可以不检测与上述的瞳孔55相关的坐标数据以及信息。关于利用虹膜信息以及和认证信息存储部141进行对人400的个人认证的详细情况将后述。
脸部特征检测部124从图像获取部121获取的图像数据中检测人400的脸部的特征点。脸部的特征点是指在构成例如外眼角、内眼角、脸部的轮廓、鼻梁、嘴角以及眉毛等的脸部的多个部位之中的每一个部分位于特征位置的一个或多个点。
具体而言，脸部特征检测部124，首先，从图像获取部121获取的图像数据中检测表示人400的脸部的脸部区域。例如，脸部特征检测部124可以利用为了检测脸部区域而预先创建的分类器来检测脸部区域。在此使用的分类器例如是为了在开放源码的图像处理库(open-source image processing library)检测脸部区域而预先创建的哈尔式级联分类器(Haar-like cascade classifier)。脸部区域例如是具有包含整个脸部的尺寸的矩形的区域。但是，这仅仅是一个例子而已，脸部区域的形状也可以是矩形以外的例如三角形、五角形、六角形或八角形等。另外，脸部特征检测部124也可以通过模式匹配(patternmatching)检测脸部区域。
其次，脸部特征检测部124从检测到的脸部区域检测脸部的特征点。特征点也称为界标(landmark)。脸部特征检测部124可以通过执行利用了例如机器学习的框架的模型文件(model file of a framework)的界标检测处理来检测脸部的特征点。
视线检测部125，基于通过脸部特征检测部124检测到的脸部的特征点和表示通过眼睛检测部122检测到的眼睛区域50所包含的人400的眼睛的信息，检测表示人400的视线的信息(以后，称为视线信息)。
具体而言，视线检测部125通过进行公知的脸部朝向检测处理，根据脸部特征检测部124检测到的脸部的特征点的配置图案(arrangement pattern)，检测表示人400的脸部的朝向的脸部朝向信息。脸部朝向信息例如包含表示脸部的正面方向相对于相机200的光轴的角度等。
其次，视线检测部125，通过进行根据三维眼球模型检测视线的公知的视线检测处理，基于上述检测到的脸部朝向信息和表示通过眼睛检测部122检测到的眼睛区域50所包含的人400的眼睛的信息，检测视线信息。表示眼睛的信息包含例如瞳、内眼角、外眼角以及眼睛的重心的位置。而且，表示眼睛的信息包含例如通过虹膜认证部123从眼睛区域50检测到的虹膜信息等。视线信息包含被用于该视线信息的检测的图像数据的拍摄日期时间和在规定的对象面(例如，显示装置300)上的注视点的坐标数据。注视点是人400的视线朝向的位置，例如是对象面与表示视线的矢量交叉的位置。另外，视线信息还可以代替注视点的坐标数据或者除了注视点的坐标数据之外还包含表示人400的视线的方向的矢量。该矢量例如可以用相对于相机200的光轴方向等的基准方向的水平分量的角度和相对于该基准方向的垂直方向的角度来表示。
管理信息生成部126可以在每次通过相机200拍摄图像处理系统1的用户、通过虹膜认证部123对该用户进行个人认证之际，从用户信息存储部142获取用于确定该被个人认证的用户的个人信息。而且，如果通过视线检测部125从拍摄了该被个人认证的用户的图像数据检测到视线信息，管理信息生成部126就生成将该被检测到的视线信息与该被获取到的个人信息相互对应的信息(以后称为视线管理信息)。关于利用用户信息存储部142获取个人信息以及生成视线管理信息的详细情况将后述。
输出部127将通过视线检测部125检测到的视线信息输出到显示装置300。输出部127也可以获取被显示在显示装置300上的目标301的信息，并根据所获取的信息和注视点的坐标数据确定人400注视的目标301(以后称为注视目标)，并将确定结果输出到显示装置300。
而且，输出部127将通过管理信息生成部126生成的关于一个以上的用户的视线管理信息存储(输出的一个例子)到处理器120所具备的存储器(省略图示)或者图像处理装置100所具备的硬盘驱动器、固态硬盘驱动器(solid state drive)等存储装置(省略图示)。另外，输出部127还可以将通过管理信息生成部126生成的关于一个以上的用户的视线管理信息输出到显示装置300。
存储器140是硬盘驱动器、固态硬盘驱动器等存储装置。存储器140包含认证信息存储部141以及用户信息存储部142。
认证信息存储部141预先存储认证信息表。认证信息表是存储虹膜认证部123对图像处理系统1的用户进行个人认证时所使用的认证信息的表。
图4是表示认证信息表T1的一个例子的示意图。具体而言，如图4所示，在认证信息表T1存储的认证信息中包含“用户ID”、“虹膜ID”、“虹膜数据”、“瞳孔直径尺寸”以及“虹膜直径尺寸”。用户ID是对图像处理系统1的用户唯一地分配的标识符。虹膜ID是对虹膜数据唯一地分配的标识符。虹膜数据是利用例如多格曼算法等规定的算法对图像处理系统1的用户的虹膜56的图像进行编码而获得的数据。
“瞳孔直径尺寸”是图像处理系统1的用户的瞳孔55的外缘的直径。“虹膜直径尺寸”是图像处理系统1的用户的虹膜56的外缘的直径。另外，认证信息表T1也可以是至少存储“用户ID”、“虹膜ID”以及“虹膜数据”，但不存储“瞳孔直径尺寸”以及“虹膜直径尺寸”之中的一个以上的构成。
用户信息存储部142预先存储用户信息表。用户信息表是存储图像处理系统1的用户的个人信息的表。
图5是表示用户信息表T2的一个例子的示意图。具体而言，如图5所示，在用户信息表T2存储的个人信息中包含“用户ID”、“隐私信息”、“属性信息”。“用户ID”是对图像处理系统1的用户唯一地分配的标识符。“隐私信息”是与可以唯一地识别图像处理系统1的用户的隐私有关的信息。在图5的例子中，“隐私信息”包含“姓名”、“地址”、“电话号码”、“电子邮件地址。“姓名”、“住址”、“电话号码”、“电子邮件地址”分别是图像处理系统1的用户的姓名、地址、电话号码、电子邮件地址。“属性信息”是表示图像处理系统1的用户的性质或者特征的一个以上的属性的信息。在图5的例子中，“隐私信息”包含“年龄”、“性别”、“工作单位”、“职业”等。“年龄”、“性别”、“工作单位”、“职业”分别是图像处理系统1的用户的年龄、性别、工作单位、职业。另外，“属性信息”并不局限于此，只要包含“年龄”、“性别”、“工作单位”、“职业”之中的一个以上即可。
相机200，由于在图1已经进行了说明，在此省略其说明。
显示装置300显示表示从输出部127输出的视线信息的标记。显示装置300也可以显示表示从输出部127输出的人400注视的目标301的标记。例如，假设将注视点的坐标数据作为视线信息输出到显示装置300。在这种情况下，显示装置300执行在与坐标数据对应的位置使表示视线位置的标记(marker)重叠显示在正在显示中的图像上的处理。例如，假设将注视目标的确定结果输出到显示装置300。在这种情况下，显示装置300可以执行使表示注视目标的标记重叠显示在正在显示中的画面中的处理。而且，显示装置300也可以显示关于从输出部127输出的一个以上用户的视线管理信息。
另外，在图像处理系统1由代替显示装置300的家用电器构成的情况下，家用电器受理人400通过视线信息的输入。而且，在图像处理系统1由代替显示装置300的存储装置构成的情况下，存储装置存储视线信息。在这种情况下，存储装置可以将视线信息与时间戳相互对应地进行存储。
其次，对图像处理装置100的动作进行说明。图6是表示第一实施方式涉及的图像处理装置100的动作的一个例子的流程图。图6所示的图像处理装置100的动作被定期地(例如，每隔一秒钟)开始。如果开始图像处理装置100的动作，通过图像获取部121从相机200获取到人400的脸部的图像数据(步骤S1)，眼睛检测部122，就通过将在步骤S1获取的图像数据输入到用于检测眼睛区域50的分类器，从该图像数据中检测眼睛区域50(步骤S2)。
其次，虹膜认证部123，在步骤S2检测到的眼睛区域50，检测表示人400的眼睛的虹膜56的虹膜信息，并利用检测到的虹膜信息以及认证信息存储部141进行人400的个人认证(步骤S3)。
具体而言，虹膜认证部123，在步骤S3，针对每个记录参照认证信息存储部141存储的认证信息表T1(图4)。其次，虹膜认证部123计算在检测到的虹膜信息中所包含的瞳孔55的外缘的直径的长度与在检测到的虹膜信息中所包含的虹膜56的外缘的直径的长度之间的比率(以后，称为第一比率)。而且，虹膜认证部123计算在所参照的记录中所包含的“瞳孔直径尺寸”与在所参照的记录中所包含的“虹膜直径尺寸”之间的比率(以后，称为第二比率)。
然后，虹膜认证部123判断第一比率与第二比率之间的差异是否在规定的第一阈值以下。虹膜认证部123，在判断为第一比率与第二比率之间的差异在第一阈值以下的情况下，还判断在检测到的虹膜信息中所包含的虹膜数据与所参照的记录的“虹膜数据”之间的类似度是否在第二阈值以上。虹膜认证部123，在判断为上述类似度在第二阈值以上的情况下，将人400个人认证为通过在该所参照的记录中包含的“用户ID”所识别的图像处理系统1的用户。而且，虹膜认证部123将该所参照的记录的“用户ID”作为该被个人认证的用户的用户ID进行输出。
其次，管理信息生成部126获取在步骤S3被个人认证的人400的个人信息(步骤S4)。具体而言，在步骤S4，管理信息生成部126，将在用户信息存储部142预先存储的用户信息表T2(图5)中的、包含与在步骤S3由虹膜认证部123输出的被个人认证的用户的用户ID一致的“用户ID”的记录，作为该人400的个人信息进行获取。在图5的例子中，在被个人认证的人400的用户ID为“U001”的情况下，管理信息生成部126将包含与该用户ID一致的用户ID“U001”的第一行的记录作为该人400的个人信息进行获取，第一行的记录包含“姓名”为“a山b太”的“隐私信息”和“年龄”为“45”的“属性信息”。
其次，脸部特征检测部124从在步骤S1由图像获取部121获取到的图像数据中检测人400的脸部的特征点(步骤S5)。其次，视线检测部125，基于在步骤S5检测到的脸部的特征点和表示在步骤S2检测到的眼睛区域50所包含的人400的眼睛的信息，检测视线信息(步骤S6)。
具体而言，在步骤S6，视线检测部125，从在步骤S5通过让脸部特征检测部124执行公知的脸部朝向检测处理检测到的脸部的特征点的配置图案，检测表示人400的脸部的朝向的脸部朝向信息。其次，视线检测部125，基于检测到的脸部朝向信息和表示在步骤S2检测到的眼睛区域50所包含的人400的眼睛的信息，通过执行利用三维眼球模型检测视线的公知的视线检测处理来检测视线信息。在本实施方式，在步骤S6检测到的视线信息中包含表示在显示装置300的注视点的位置的坐标数据和用于识别在显示装置300被显示在该注视点的位置的目标301的信息。
其次，管理信息生成部126生成将在步骤S6检测到的视线信息和在步骤S5获取的个人信息相互对应的视线管理信息(步骤S7)。输出部127将在步骤S7生成的视线管理信息存储到管理信息表(管理信息的一个例子)(步骤S8)。管理信息表是存储针对通过管理信息生成部126生成的一个以上的人400的视线管理信息的图表。管理信息表被存储到处理器120具备的存储器(省略图示)或者图像处理装置100具备的硬盘驱动器、固态硬盘驱动器等存储装置(省略图示)。
图7是表示管理信息表T3的一个例子的示意图。例如，在步骤S7，如图7所示，管理信息生成部126生成将在步骤S6检测到的视线信息中所包含的“图像拍摄日期时间”、“视线位置X坐标”、“视线位置Y坐标”、“被注视体ID”与在步骤S5获取的个人信息中所包含的“用户ID”、“年龄”、“性别”、“工作单位”、“职业”相互对应的视线管理信息。输出部127将通过管理信息生成部126生成的视线管理信息存储到管理信息表T3。
“图像拍摄日期时间”是获取视线信息的检测所使用的图像数据的日期时间，即，在步骤S1获取图像数据的日期时间。“视线位置X坐标”是表示在显示装置300的注视点的位置的坐标数据的水平方向分量，“视线位置Y坐标”是表示该注视点的位置的坐标数据的垂直方向分量。“被注视体ID”是用于识别在显示装置300被显示在注视点的位置的目标301的信息。“年龄”、“性别”、“工作单位”、“职业”是作为属性信息被预先存储在用户信息表T2(图5)中的信息。如此，在该具体例子，生成将个人信息中包含的“属性信息”与视线信息相互对应的视线管理信息，而不是将个人信息中包含的“隐私信息”与视线信息相互对应。由此，可以生成保护了隐私的内容的视线管理信息。
图7的例子，在步骤S1，获取日期时间为“2019年5月17日13：33”时“用户ID”为“U001”的用户的脸部的图像数据，生成将从该图像数据检测到的“视线位置X坐标”为“1080”的视线信息与“用户ID”为“U001”的个人信息相互对应的视线管理信息，并将其存储到管理信息表T3。如此，图7的例子，在管理信息表T3中存储有关于11个人400的视线管理信息，该11个人中包含为同一人400的情况。
另外，在步骤S7生成的视线管理信息并不局限于如上所述。图8是表示管理信息表T3的另一个例子的示意图。例如，如图8所示，管理信息生成部126也可以生成将在步骤S6检测到的视线信息中所包含的“图像拍摄日期时间”、“视线位置X坐标”、“视线位置Y坐标”、“被注视体ID”与在步骤S5获取的个人信息中去除了“隐私信息”(图5)以及“属性信息”(图5)后的信息(“用户ID”)相互对应的视线管理信息。或者，也可以省略步骤S4，在步骤S7，将在步骤S3被个人认证的用户的“用户ID”作为个人信息，与在步骤S6检测到的视线信息相互对应。
如此，也可以通过从与视线信息相互对应的个人信息中去除“隐私信息”(图5)以及“属性信息”(图5)，来进一步缩短生成视线管理信息所需的时间。而且，也可以在生成视线管理信息之后的任意的时刻，利用视线管理信息中所包含的“用户ID”来进行步骤S4。而且，也可以将在该步骤S4获取到的个人信息追加到包含在该步骤S4所使用的“用户ID”的视线管理信息中。如此，也可以将被认证的用户的个人信息的详细内容在事后作为视线管理信息进行追加。
而且，管理信息生成部126，如上所述，在表示人400的视线的方向的矢量的信息被包含在视线信息中的情况下，也可以生成将表示该矢量的信息与个人信息相互对应的视线管理信息。而且，管理信息生成部126也可以使所生成的视线管理信息中包含用于唯一地确定该视线管理信息的识别符。
如以上说明所述，根据本实施方式，对于一个以上的图像处理系统1的每一个用户，基于包含各用户的眼睛的图像数据中所包含的表示各用户的眼睛的信息，进行视线信息的检测以及个人认证，获取各用户的个人信息。而且，在本实施方式，生成将以这种方式获取的个人信息与视线信息相互对应的视线管理信息。如此，生成关于一个以上的用户的视线管理信息，并将其存储到管理信息表T3。
为此，在本实施方式，可以使生成将各用户的视线信息与个人信息相互对应的视线管理信息所使用的图像数据限制在仅包含各用户的眼睛的图像数据。由此，在本实施方式，能够以更简单的构成生成将各用户的视线信息与各用户的个人信息相互对应的信息。
而且，在本实施方式，因为获取各用户的视线信息以及个人信息所使用的图像数据相同，所以可以基于表示在同一个时间点的各用户的眼睛的信息进行视线信息的检测以及个人认证。由此，该构成可以获取到关于该被个人认证的用户在时间上没有差异的视线信息以及个人信息，并生成将它们相互对应的视线管理信息。因此，与基于表示在相互不同的时间点的各用户的眼睛的信息进行视线信息的检测以及个人认证的情况相比，该构成可以更高精度地生成将各用户的视线信息以及个人信息相互对应的信息。
第二实施方式
在第二实施方式，输出部127进一步，基于通过管理信息生成部126生成的关于一个以上的用户的视线管理信息，生成将视线信息按照一个以上的属性进行分类的视线利用信息，并输出视线利用信息。
例如，如图7所示，假设在管理信息表T3中存储有关于用户ID为“U001”、“U002”、“U003”的用户的11个视线管理信息。在这种情况下，输出部127，例如，将该11个视线管理信息按照“性别”进行分类，生成“性别”为“男”、“用户ID”为“U001”以及“U003”的6个视线管理信息作为视线利用信息。而且，输出部127将表示“性别”为“男”的信息与该6个视线管理信息作为视线利用信息输出到显示装置300。
同样，输出部127生成“性别”为“女”、“用户ID”为“U002”的5个视线管理信息作为视线利用信息，并且将表示“性别”为“女”的信息与该5个视线管理信息作为视线利用信息进行显示。在这种情况下，输出部127可以将表示“性别”为“女”的信息用与表示“性别”为“男”的信息不同的颜色来进行显示等，根据与显示对象的视线利用信息对应的属性，使视线利用信息的显示方式相互不同。根据本实施方式，视线利用信息的观看者可以容易地掌握具有相同的一个以上的属性的用户的视线的倾向。
第三实施方式
第三实施方式，是在第二实施方式，例如，如图7所示，在视线管理信息所包含的视线信息中包含注视点的坐标数据的情况下，输出部127将表示视线信息中包含的坐标数据所示的注视点与表示用户的视线朝向该注视点的频度之间的关系的热点图，作为视线利用信息输出到显示装置300。
以下，利用图7对输出部127将上述的热点图作为视线利用信息输出到显示装置300的方法进行说明。首先，输出部127将图7所示的11个视线管理信息按照“性别”进行分类，生成“性别”为“男”、“用户ID”为“U001”以及“U003”的6个视线管理信息作为第一视线利用信息，生成“性别”为“女”、“用户ID”为“U002”的5个视线管理信息作为第二视线利用信息。
其次，输出部127，分别针对第一视线利用信息和第二视线使用信息，参照各视线利用信息中包含的各视线管理信息内的视线信息，计算用户的视线朝向对象注视点的频度，该对象注视点是在该参照的视线信息中包含的坐标数据所示的注视点。
具体而言，输出部127将用户的视线朝向包含对象注视点的目标301(以后，称为对象目标)的频度作为用户的视线朝向该对象注视点的频度进行计算。
例如，第一视线利用信息包含6个视线管理信息，“被注视体ID”为“C001”的视线管理信息有4个，“被注视体ID”为“C002”的视线管理信息有1个，“被注视体ID”为“C003”的视线管理信息有1个。在这种情况下，输出部127将用户视线朝向“被注视体ID”为“C001”的对象目标的频度计算为“4/6”。而且，输出部127将该计算出的频度“4/6”作为用户的视线朝向以下各对象注视点的频度，所述各对象注视点为“被注视体ID”为“C001”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：13”至“2019年5月17日13：33：16”的4个对象注视点。
同样，输出部127将用户的视线朝向“被注视体ID”为“C002”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：20”的1个对象注视点的频度计算为“1/6”。而且，输出部127将用户的视线朝向“被注视体ID”为“C003”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：22”的1个对象注视点的频度计算为“1/6”。
同样，输出部127，对于第二视线利用信息，将用户的视线朝向“被注视体ID”为“C004”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：17”至“2019年5月17日13：33：19”的3个对象注视点的频度计算为“3/5”。而且，输出部127将用户的视线朝向“被注视体ID”为“C002”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：21”的1个对象注视点的频度计算为“1/5”。而且，输出部127将用户的视线朝向“被注视体ID”为“C003”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：23”的1个对象注视点的频度计算为“1/5”。
其次，输出部127，以使用户的视线朝向第一视线利用信息中所包含的各对象注视点的频度越高就越强调地进行显示的方式，在显示装置300显示该各对象注视点。
例如，与上述频度为“1/6”、“图像拍摄日期时间”为“2019年5月17日13：33：20”的1个对象注视点以及“图像拍摄日期时间”为“2019年5月17日13：33：22”的1个对象注视点相比，输出部127更强调地显示上述频度为“4/6”、“图像拍摄日期时间”为“2019年5月17日13：33：13”至“2019年5月17日13：33：16”的四个对象注视点。
同样，输出部127，以使用户的视线朝向第二视线利用信息中所包含的各对象注视点的频度越高就越强调地进行显示的方式，在显示装置300显示该各对象注视点。例如，与上述频度为“1/5”、“图像拍摄日期时间”为“2019年5月17日13：33：21”的1个对象注视点以及“图像拍摄日期时间”为“2019年5月17日13：33：23”的1个对象注视点相比，输出部127更强调地显示上述频度为“3/5”、“图像拍摄日期时间”为“2019年5月17日13：33：17”至“2019年5月17日13：33：19”的3个对象注视点。
根据该构成，该显示装置300的观看者可以容易地掌握具有相同属性的用户的视线朝向哪一个位置时的频度较高。
第四实施方式
第四实施方式，是在第二实施方式，例如，如图7所示，在视线管理信息所包含的视线信息中包含注视点的坐标数据的情况下，输出部127，将表示视线信息中包含的坐标数据所示的注视点、用户的视线朝向该注视点的次数、用户的视线向该注视点的移动路径之间的关系的眼动轨迹图(Gaze Plot)，作为视线利用信息输出到显示装置300。
以下，利用图7对输出部127将上述的眼动轨迹图作为视线利用信息输出到显示装置300的方法进行说明。首先，输出部127，与第三实施方式相同，将图7所示的11个视线管理信息按照“性别”进行分类，生成“性别”为“男”的6个视线管理信息作为第一视线利用信息，生成“性别”为“女”的5个视线管理信息作为第二视线利用信息。
其次，输出部127，分别针对第一视线利用信息和第二视线利用信息，参照在各视线利用信息中包含的各视线管理信息内的视线信息，计算用户的视线朝向该被参照的视线信息中包含的坐标数据所示的对象注视点的次数。
具体而言，输出部127将用户的视线朝向包含对象注视点的对象目标的次数作为用户的视线朝向该对象注视点的次数进行计算。
例如，第一视线利用信息包含6个视线管理信息，“被注视体ID”为“C001”的视线管理信息有4个，“被注视体ID”为“C002”的视线管理信息有1个，“被注视体ID”为“C003”的视线管理信息有1个。在这种情况下，输出部127将用户的视线朝向“被注视体ID”为“C001”的对象目标的次数计算为“4”。而且，输出部127将该计算出的次数“4”作为用户的视线朝向以下各对象注视点的次数，所述各对象注视点为“被注视体ID”为“C001”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：13”至“2019年5月17日13：33：16”的4个对象注视点。
同样，输出部127将用户的视线朝向“被注视体ID”为“C002”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：20”的1个对象注视点的次数计算为“1”。而且，输出部127将用户的视线朝向“被注视体ID”为“C003”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：22”的1个对象注视点的次数计算为“1”。
同样，输出部127，对于第二视线利用信息，将用户的视线朝向“被注视体ID”为“C004”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13：33：17”至“2019年5月17日13：33：19”的3个对象注视点的次数计算为“3”。而且，输出部127将用户的视线朝向“被注视体ID”为“C002”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13∶33∶21”的1个对象注视点的次数计算为“1”。而且，输出部127将用户的视线朝向“被注视体ID”为“C003”的对象目标中所包含的“图像拍摄日期时间”为“2019年5月17日13∶33：23”的1个对象注视点的次数计算为“1”。
其次，输出部127，分别针对第一视线利用信息和第二视线利用信息，将用户的视线朝向各视线利用信息中所包含的各对象注视点的次数显示在显示装置300的用于显示包含该各对象注视点的对象目标的区域。
例如，输出部127在显示装置300的以下区域显示用户的视线朝向被包含在第一视线利用信息中的4个对象注视点的次数为“4”，所述区域包含“图像拍摄日期时间”为“2019年5月17日13：33：13”至“2019年5月17日13：33：16”的4个对象注视点，“被注视体ID”为“C001”的对象目标被显示在该区域。
同样，输出部127在显示装置300的以下区域显示用户的视线朝向被包含在第一视线利用信息中的1个对象注视点的次数为“1”，所述区域包含“图像拍摄日期时间”为“2019年5月17日13：33∶20”的1个对象注视点，“被注视体ID”为“C002”的对象目标被显示在该区域。而且，输出部127在显示装置300的以下区域显示用户视线朝向被包含在第一视线利用信息中的1个对象注视点的次数为“1”，所述区域包含“图像拍摄日期时间”为“2019年5月17日13∶33∶22”的1个对象注视点，“被注视体ID”为“C003”的对象目标被显示在该区域。
同样，输出部127在显示装置300的以下区域显示用户的视线朝向被包含在第二视线利用信息中的3个对象注视点的次数为“3”，所述区域包含“图像拍摄日期时间”为“2019年5月17日13：33：17”至“2019年5月17日13：33：19”的3个对象注视点，“被注视体ID”为“C004”的对象目标被显示在该区域。而且，输出部127在显示装置300的以下区域显示用户的视线朝向被包含在第二视线利用信息中的1个对象注视点的次数为“1”，所述区域包含“图像拍摄日期时间”为“2019年5月17日13：33：21”的1个对象注视点，“被注视体ID”为“C002”的对象目标被显示在该区域。而且，输出部127在显示装置300的以下区域显示用户视线朝向被包含在第二视线利用信息中的1个对象注视点的次数为“1”，所述区域包含“图像拍摄日期时间”为“2019年5月17日13：33∶23”的1个对象注视点，“被注视体ID”为“C003”的对象目标被显示在该区域。
其次，输出部127，分别针对第一视线利用信息和第二视线利用信息，按照与各视线利用信息所包含的各对象注视点对应的“图像拍摄日期时间”从旧到新的顺序，参照该各对象注视点。而且，输出部127，将连接当前正在参照的对象注视点和其次参照的对象注视点的直线作为用户的视线向该其次参照的对象注视点的移动路径，输出到显示装置300。
例如，输出部127，将连接在第一视线利用信息所包含的对象注视点之中、“图像拍摄日期时间”为最早的“2019年5月17日13：33：13”的对象注视点和“图像拍摄日期时间”为其次早的“2019年5月17日13：33：14”的对象注视点的直线，输出到显示装置300。同样，输出部127，将连接在第一视线利用信息所包含的对象注视点之中、“图像拍摄日期时间”为“2019年5月17日13：33：14”的对象注视点和“图像拍摄日期时间”为其次早的“2019年5月17日13：33：15”的对象注视点的直线，输出到显示装置300。以后，同样地，输出部127将上述直线输出到显示装置300，最后，将连接在第一视线利用信息所包含的对象注视点之中、“图像拍摄日期时间”为最新的“2019年5月17日13：33：22”的对象注视点和“图像拍摄日期时间”为其次新的“2019年5月17日13：33：20”的对象注视点的直线，输出到显示装置300。
同样，输出部127，将连接在第二视线利用信息所包含的对象注视点之中、“图像拍摄日期时间”为最早的“2019年5月17日13：33：17”的对象注视点和“图像拍摄日期时间”为其次早的“2019年5月17日13：33：18”的对象注视点的直线，输出到显示装置300。以后，同样地，输出部127将上述直线输出到显示装置300，最后，将连接在第二视线利用信息所包含的对象注视点之中、“图像拍摄日期时间”为最新的“2019年5月17日13：33：23”的对象注视点和“图像拍摄日期时间”为其次新的“2019年5月17日13：33：21”的对象注视点的直线，输出到显示装置300。
根据该构成，该显示装置300的观看者可以容易地掌握具有相同属性的用户的视线以哪一种移动路径朝向哪一个位置的次数较多。
第五实施方式
图像处理系统1的用户，如果变成例如数千人等的庞大人数，存储在认证信息表T1(图4)中的认证信息的记录数就会变多。这种情况下，在步骤S3(图6)通过虹膜认证部123利用虹膜信息以及认证信息表T1(图4)进行个人认证的处理所参照的记录数就会变多，该处理所需的时间变长。其结果，步骤S4(图6)之后的处理的开始被延迟，有可能无法迅速地生成视线管理信息。
在第五实施方式，为了避免这样的问题，虹膜认证部123，在步骤S3(图6)检测出虹膜信息之后进行的利用该检测到的虹膜信息以及认证信息存储部141进行人400的个人认证的处理与视线信息的检测的处理，在不同的时刻进行。而且，管理信息生成部126，在该个人认证处理之后获取被个人认证的人400的个人信息，并将所获取的个人信息和在不同的时刻检测到的视线信息相互对应来生成视线管理信息。以下，利用图9至图11对第五实施方式的视线管理信息的生成方法进行说明。
图9以及图10是表示第五实施方式涉及的图像处理装置100的动作的一个例子的流程图。具体而言，图9所示的图像处理装置100的动作与图6所示的图像处理装置100的动作相同，都是定期地(例如，每一秒钟)开始。如果图像处理装置100的动作开始，就执行上述的步骤S1以及步骤S2。
其次，虹膜认证部123，与步骤S3(图6)同样，从在步骤S2检测到的眼睛区域50检测表示人400的眼睛的虹膜56的虹膜信息(步骤S31)。在步骤S31之后，省略步骤S4(图6)，执行步骤S5以及步骤S6。
其次，管理信息生成部126生成将在步骤S31检测到的虹膜信息和在步骤S6检测到的视线信息相互对应的临时视线管理信息(步骤S71)。输出部127将在步骤S71生成的临时视线管理信息存储到临时管理信息表(步骤S81)。临时管理信息表是存储通过管理信息生成部126生成的关于一个以上的人400的临时视线管理信息的表。临时管理信息表被存储到处理器120具备的存储器(省略图示)或者图像处理装置100具备的硬盘驱动器、固态硬盘驱动器等存储装置(省略图示)。
图11是表示临时管理信息表T4的一个例子的示意图。例如，在步骤S71，如图11所示，将在步骤S6检测到的视线信息中所包含的“图像拍摄日期时间”、“视线位置X坐标”、“视线位置Y坐标”、“被注视体ID”与在步骤S31检测到的虹膜信息中所包含的“虹膜数据”、“瞳孔直径尺寸”、“虹膜直径尺寸”相互对应的临时视线管理信息存储到临时管理信息表T4。“虹膜数据”是在步骤S31检测到的虹膜信息中所包含的虹膜数据。“瞳孔直径尺寸”是在步骤S31检测到的虹膜信息中所包含的瞳孔55的外缘的直径的长度。“虹膜直径尺寸”是在步骤S31检测到的虹膜信息中所包含的虹膜56的外缘的直径的长度。
图10所示的图像处理装置100的动作，在临时管理信息表T4存储有一个以上的临时视线管理信息的情况下，可以在任意的时刻开始。如果图10所示的图像处理装置100的动作开始，虹膜认证部123，就参照被存储在临时管理信息表T4中的某个临时视线管理信息，并利用所参照的临时视线管理信息中所包含的虹膜信息，与步骤S3(图6)同样，进行人400的个人认证(步骤S32)。其次，管理信息生成部126，与步骤S4(图6)同样，获取在步骤S32被个人认证的人400的个人信息(步骤S42)。
其次，管理信息生成部126，与步骤S7(图6)同样，生成将在步骤S32参照的某个临时视线管理信息中所包含的视线信息与在步骤S42获取的个人信息相互对应的视线管理信息(步骤S72)。其次，管理信息生成部126从临时管理信息表T4中删除在步骤S32参照的某个临时视线管理信息(步骤S73)。其次，输出部127，与步骤S8(图6)同样，将在步骤S72生成的视线管理信息存储到管理信息表T3(图7)(步骤S82)。
根据该构成，在临时管理信息表T4中存储有一个以上的临时视线管理信息的情况下，可以在任意的时刻进行处理时间有可能较长的个人认证的处理。由此，可以消除生成视线管理信息所使用的视线信息的检测时刻和获取与该视线信息相对应的个人信息的获取时刻之间有可能产生较大的时间差。其结果，能迅速地生成视线管理信息。
另外，假设在步骤S42获取个人信息的获取日期时间和在步骤S72与该个人信息相对应的视线信息中所包含的“图像拍摄日期时间”之间的差在规定时间以上。在这种情况下，该获取到的个人信息是，从获取到检测视线信息所使用的图像数据时起到经过了该规定时间以上的时刻，被存储在用户信息表T2(图5)中的个人信息。为此，该获取到的个人信息有可能与在获取到该图像数据的时刻的用户的个人信息不同。在此，当在步骤S42获取个人信息的获取日期时间和在步骤S72与该个人信息相互对应的视线信息中所包含的“图像拍摄日期时间”之差在规定时间以上的情况下，在步骤S72也可以不生成视线管理信息。
第六实施方式
第六实施方式是推测人400的感兴趣程度的实施方式。图12是表示第六实施方式涉及的图像处理系统1A的详细的构成的一个例子的方框图。另外，在本实施方式，对于与上述的实施方式相同的构成要素赋予相同的符号，并省略其说明。而且，在图12中，对于与图2为同一个名称但功能不同的模块在末尾赋予A的符号。
处理器120A还包含感兴趣程度推测部128。
感兴趣程度推测部128通过以下的处理来推测人400的感兴趣程度。首先，感兴趣程度推测部128，利用通过特征点检测部124检测到的脸部的特征点，从脸部区域检测眉毛以及嘴角。在此，感兴趣程度推测部128可以通过在特征点检测部124检测到的脸部的特征点中确定被赋予了与眉毛以及嘴角分别对应的界标点编号的特征点，来检测眉毛以及嘴角。
其次，感兴趣程度推测部128，基于通过视线信息检测部125检测到的视线信息和检测到的眉毛的位置以及嘴角的位置，推测人400的感兴趣程度，并将其输出到显示装置300。具体而言，感兴趣程度推测部128例如从存储器(图示省略)获取图案数据(patterndata)，该图案数据预先记述了例如人表现出喜悦、惊讶、愤怒、悲伤以及无表情等各种表情时眉毛以及嘴角的标准位置。而且，感兴趣程度推测部128，将检测到的人400的眉毛以及嘴角的位置与图案数据进行对照，来推测人400的表情。而且，感兴趣程度推测部128，利用所推测出的人400的表情和视线信息所示的视线，确定人400的视线朝向哪个方向或者人400的注视点位于哪个位置时人400都表现出什么样的表情。即，感兴趣程度推测部128将视线信息与人400的表情相互对应的数据作为人400的感兴趣程度进行确定。另外，在此，对感兴趣程度推测部128基于眉毛以及嘴角推测感兴趣程度进行了说明，但是，这仅仅是一个例子而已，也可以基于眉毛以及嘴角的其中之一来推测感兴趣程度。
如以上说明所述，根据本实施方式，因为除了利用视线信息之外还利用眉毛以及嘴角来推测人400的感兴趣程度，与仅基于视线信息推测感兴趣程度相比能更高精度地推测感兴趣程度。
变形例
(1)在上述实施方式，对图6以及图9所示的图像处理装置100的动作定期地(例如，每隔一秒钟)开始的情况进行了说明。但是，作为替代方案，也可以在用相机200每次拍摄人400的脸部的图像数据之际，使图6以及图9所示的图像处理装置100的动作开始。或者，也可以在用相机200拍摄人400的脸部的图像数据进行了规定次数之际，使图6以及图9所示的图像处理装置100的动作在该规定次数时开始。
(2)作为相机200在采用红外光相机的情况下，红外光相机可以用利用太阳光的光谱强度为比规定的第一波长衰减的规定的第二波长带宽的红外光的红外光相机来构成。规定的第一波长例如为850nm。规定的第二波长例如为940nm。第二波长的带宽例如为不包含850nm并且是以940nm为基准(例如，中心)的规定宽度的带宽。作为拍摄近红外光的红外光相机，已知有使用850nm的红外光的红外光相机。然而，由于太阳光的光谱强度在850nm没有被充分地衰减，在太阳光的光谱强度较强的室外存在无法进行高精度的视线检测的可能性。因此，本发明采用例如使用940nm带宽的红外光的相机作为红外光相机。由此，即使是在太阳光的光谱强度较强的室外也可以进行高精度的视线检测。在此，规定的第二波长为940nm，但是，这仅仅是一个例子而已，也可以是稍微偏离940nm的波长。另外，使用第二波长的红外光的红外光相机例如是具备照射第二波长的红外光的投光器的相机。
(3)在上述实施方式，对视线信息包含表示注视点的坐标数据进行了说明，但是，本发明并不局限于此。例如，视线信息也可以包含表示以注视点为基准(例如，中心)的规定尺寸的规定形状(例如，圆、四边形等)的区域即注视面的坐标数据。由此，可以不依赖于人400与注视对象物之间的距离或者注视对象物的大小而适当地判断注视对象物。
(4)在上述的实施方式，对图像处理系统1适用于数字标牌系统的例子进行了说明，但是，图像处理系统1例如也可以适用于展览会。在这种情况下，展览会的参加人员作为图像处理系统1的用户，也可以让用户信息表T2中存储的用户的属性信息还包含参加人员的工作单位。而且，让视线信息也可以包含表示存在于各用户的视线朝向的位置的展览会的展示物的展示物信息。展示物信息可以包含例如展示物的名称和/或展示物的标识符。而且，与上述的第三实施方式同样，输出部127也可以，将表示展示物信息所示的上述展览会的展示物与用户的视线朝向该展览会的展示物的频度之间的关系的热点图，显示在显示装置300。在这种情况下，该被显示的热点图的观看者可以容易地掌握例如在展览会上哪一个工作单位的参加人员将视线朝向哪一个展示物的频度较高。
而且，也可以使用户信息表T2中存储的用户的属性信息包含展览会的参加人员的职业，进行与上述第三实施方式相同的处理。在这种情况下，通过输出部127输出的热点图的观看者，可以容易地掌握在展览会上哪一个职业的参加人员将视线朝向哪一个展示物的频度较高。
或者，图像处理系统1也可以适用于例如制造现场。在这种情况下，制造现场的作业人员作为图像处理系统1的用户，也可以让用户信息表T2中存储的用户的属性信息还包含作业人员的作业熟练程度。而且，也可以让视线信息包含表示存在于各用户的视线朝向的位置的作业对象物的作业对象物信息。作业对象物信息可以包含例如作业对象物的名称和/或作业对象物的标识符。而且，与上述第三实施方式同样，输出部127也可以，将表示作业对象物信息所示的作业对象物与用户的视线朝向该作业对象物的频度之间的关系的热点图，显示在显示装置300。在这种情况下，该被显示的热点图的观看者可以容易地掌握例如在制造现场熟练程度较高的作业人员将视线朝向哪一个作业对象物的频度较高。
产业上的可利用性
本发明，因为能以简单的构成高精度地生成将用户的个人信息与表示用户的视线的信息相互对应的信息，适用于利用视线信息对人的感兴趣对象的推测、人的状态推测以及利用视线的用户界面等。

Claims (12)

1.一种信息处理方法，是信息处理装置的信息处理方法，其特征在于包括以下步骤：
针对一个以上的用户的每个用户，
获取包含各用户的眼睛的图像数据；
基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，检测表示所述各用户的视线的视线信息；
基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，对所述各用户进行个人认证；
获取用于确定被所述个人认证的所述各用户的个人信息；
生成将所述一个以上的用户的所述个人信息与所述一个以上的用户的所述视线信息相互对应的管理信息；
输出所述管理信息。
2.根据权利要求1所述的信息处理方法，其特征在于，
所述个人信息包含表示所述各用户的性质或特征的一个以上的属性，
在所述管理信息的输出，还基于所述管理信息，生成将所述视线信息按照所述一个以上的属性而分类的视线利用信息，并输出所述视线利用信息。
3.根据权利要求2所述的信息处理方法，其特征在于，
所述一个以上的属性包含年龄、性别、工作单位以及职业之中的一个以上。
4.根据权利要求2或3所述的信息处理方法，其特征在于，
所述视线信息包含表示所述各用户的视线朝向的位置的视线位置信息，
所述视线利用信息是表示所述视线位置信息所示的位置与用户的视线朝向所述视线位置信息所示的位置的频度之间的关系的热点图。
5.根据权利要求2或3所述的信息处理方法，其特征在于，
所述视线信息包含表示所述各用户的视线朝向的位置的视线位置信息，
所述视线利用信息是表示所述视线位置信息所示的位置、用户的视线朝向所述视线位置信息所示的位置的次数、用户的视线向所述视线位置信息所示的位置的移动路径之间的关系的眼动轨迹图。
6.根据权利要求1至5中任一项所述的信息处理方法，其特征在于，
在所述视线信息的检测中，从所述图像数据检测表示所述各用户的眼睛的信息以及表示所述各用户的脸部的朝向的信息，并基于检测到的表示所述各用户的眼睛的信息以及表示所述各用户的脸部的朝向的信息检测所述视线信息。
7.根据权利要求1至6中任一项所述的信息处理方法，其特征在于，
在所述各用户的个人认证中，从所述图像数据检测表示所述各用户的眼睛的虹膜的虹膜信息，并基于检测到的所述虹膜信息对所述各用户进行个人认证。
8.根据权利要求2所述的信息处理方法，其特征在于，
所述一个以上的用户为展览会的参加人员，
所述一个以上的属性包含所述参加人员的工作单位，
所述视线信息包含表示存在于所述各用户的视线朝向的位置的所述展览会的展示物的展示物信息，
所述视线利用信息是表示所述展示物信息所示的所述展览会的展示物与用户的视线朝向该展览会的展示物的频度之间的关系的热点图。
9.根据权利要求2所述的信息处理方法，其特征在于，
所述一个以上用户为制造现场的作业人员，
所述一个以上的属性包含所述作业人员的作业熟练程度，
所述视线信息包含表示存在于所述各用户的视线朝向的位置的作业对象物的作业对象物信息，
所述视线利用信息是表示所述作业对象物信息所示的所述作业对象物与用户的视线朝向该作业对象物的频度之间的关系的热点图。
10.根据权利要求7所述的信息处理方法，其特征在于，
所述图像数据是通过红外光相机拍摄的图像数据。
11.一种信息处理装置，其特征在于包括：
图像获取部，针对一个以上的用户的每个用户，获取包含各用户的眼睛的图像数据；
视线检测部，针对所述一个以上的用户的每个用户，基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，检测表示所述各用户的视线的视线信息；
认证部，针对所述一个以上的用户的每个用户，基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，对所述各用户进行个人认证；
个人信息获取部，针对所述一个以上的用户的每个用户，获取用于确定被所述个人认证的所述各用户的个人信息；
管理信息生成部，生成将所述一个以上的用户的所述个人信息与所述一个以上的用户的所述视线信息相互对应的管理信息；以及，
输出部，输出所述管理信息。
12.一种信息处理装置的控制程序，其特征在于，使所述信息处理装置具备的计算机发挥以下各部的功能：
图像获取部，针对一个以上的用户的每个用户，获取包含各用户的眼睛的图像数据；
视线检测部，针对所述一个以上的用户的每个用户，基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，检测表示所述各用户的视线的视线信息；
认证部，针对所述一个以上的用户的每个用户，基于在所述图像数据中所包含的表示所述各用户的眼睛的信息，对所述各用户进行个人认证；
个人信息获取部，针对所述一个以上的用户的每个用户，获取用于确定被所述个人认证的所述各用户的个人信息；
管理信息生成部，生成将所述一个以上的用户的所述个人信息与所述一个以上的用户的所述视线信息相互对应的管理信息；以及，
输出部，输出所述管理信息。
CN202080080823.3A 2019-11-21 2020-02-06 信息处理方法、信息处理装置以及控制程序 Pending CN114766027A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-210364 2019-11-21
JP2019210364A JP6755529B1 (ja) 2019-11-21 2019-11-21 情報処理方法、情報処理装置、及び制御プログラム
PCT/JP2020/004558 WO2021100214A1 (ja) 2019-11-21 2020-02-06 情報処理方法、情報処理装置、及び制御プログラム

Publications (1)

Publication Number Publication Date
CN114766027A true CN114766027A (zh) 2022-07-19

Family

ID=72432375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080080823.3A Pending CN114766027A (zh) 2019-11-21 2020-02-06 信息处理方法、信息处理装置以及控制程序

Country Status (4)

Country Link
US (1) US20220276705A1 (zh)
JP (1) JP6755529B1 (zh)
CN (1) CN114766027A (zh)
WO (1) WO2021100214A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7319561B2 (ja) 2021-10-27 2023-08-02 富士通クライアントコンピューティング株式会社 情報処理装置および情報処理プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293786A (ja) * 2005-04-12 2006-10-26 Biophilia Kenkyusho Kk 視線入力装置を備えた市場調査用機器
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
JP2009530071A (ja) * 2006-03-13 2009-08-27 アイモーションズ−エモーション テクノロジー エー／エス 視覚的注意および感情反応の検出表示システム
WO2010117386A1 (en) * 2009-04-10 2010-10-14 Doheny Eye Institute Ophthalmic testing methods, devices and systems
JP5548042B2 (ja) * 2010-06-23 2014-07-16 ソフトバンクモバイル株式会社 ユーザ端末装置及びショッピングシステム
US20150135309A1 (en) * 2011-08-20 2015-05-14 Amit Vishram Karmarkar Method and system of user authentication with eye-tracking data
JP2014056356A (ja) * 2012-09-11 2014-03-27 Toshiba Tec Corp 販売促進判定装置及び販売促進判定方法
EP2905678A1 (en) * 2014-02-06 2015-08-12 Université catholique de Louvain Method and system for displaying content to a user
US20160019423A1 (en) * 2014-07-15 2016-01-21 Luis M. Ortiz Methods and systems for wearable computing device
JP6547268B2 (ja) * 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム
CN105574386A (zh) * 2015-06-16 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种终端模式管理方法及装置
JP6574641B2 (ja) * 2015-08-20 2019-09-11 サッポロホールディングス株式会社 視線情報処理システム及び視線情報処理方法
CN106940766A (zh) * 2016-01-04 2017-07-11 由田新技股份有限公司 视线轨迹认证系统及方法
US10296934B2 (en) * 2016-01-21 2019-05-21 International Business Machines Corporation Managing power, lighting, and advertising using gaze behavior data
JP6646511B2 (ja) * 2016-04-14 2020-02-14 株式会社フジタ 技能伝承システム及び方法
JP2018067840A (ja) * 2016-10-20 2018-04-26 富士ゼロックス株式会社 情報処理装置及び画像処理装置
CN106803829A (zh) * 2017-03-30 2017-06-06 北京七鑫易维信息技术有限公司 一种认证方法、装置及系统
KR101887053B1 (ko) * 2018-02-22 2018-08-09 데이터킹주식회사 Vr영상 내의 관심도 분석 시스템
JP2019152734A (ja) * 2018-03-02 2019-09-12 合同会社アイキュベータ デジタル情報表示システム
WO2020065935A1 (ja) * 2018-09-28 2020-04-02 日本電気株式会社 認証装置、認証方法、及び、記録媒体
KR102647637B1 (ko) * 2019-01-08 2024-03-15 삼성전자주식회사 사용자 인증을 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
WO2021100214A1 (ja) 2021-05-27
US20220276705A1 (en) 2022-09-01
JP2021082114A (ja) 2021-05-27
JP6755529B1 (ja) 2020-09-16

Similar Documents

Publication Publication Date Title
JP7229174B2 (ja) 人識別システム及び方法
Shreve et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
JP4876687B2 (ja) 注目度計測装置及び注目度計測システム
CN111212594B (zh) 电子设备和利用电子设备确定结膜充血程度的方法
US20220270287A1 (en) Eye gaze detection method, eye gaze detection device, and non-transitory computer readable storage medium
US11276210B2 (en) Flow line display system, flow line display method, and program recording medium
JP2017117384A (ja) 情報処理装置
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP2015219892A (ja) 視線分析システムおよび視線分析装置
WO2020032254A1 (ja) 注意対象推定装置及び注意対象推定方法
US20220276705A1 (en) Information processing method, information processing device, and non-transitory computer readable storage medium
US9501710B2 (en) Systems, methods, and media for identifying object characteristics based on fixation points
KR102250712B1 (ko) 전자 장치 및 제어 방법
JP2021077333A (ja) 視線検出方法、視線検出装置、及び制御プログラム
JP5448952B2 (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
JP2014178909A (ja) 商取引システム
US20230130735A1 (en) Real-time risk tracking
JP6802549B1 (ja) 情報処理方法、情報処理装置、及び制御プログラム
KR102477231B1 (ko) 응시 대상 관심도 검출 장치 및 방법
JP7229698B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6721169B1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2020061664A (ja) 撮像装置及び撮像システム
JP6944020B2 (ja) 情報処理装置
JP7152651B2 (ja) プログラム、情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination