CN113495624A - 状态推断装置 - Google Patents

状态推断装置 Download PDF

Info

Publication number
CN113495624A
CN113495624A CN202110193627.3A CN202110193627A CN113495624A CN 113495624 A CN113495624 A CN 113495624A CN 202110193627 A CN202110193627 A CN 202110193627A CN 113495624 A CN113495624 A CN 113495624A
Authority
CN
China
Prior art keywords
user
state
unit
attention
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110193627.3A
Other languages
English (en)
Inventor
岩濑耕二
坂本和夫
高见明秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Publication of CN113495624A publication Critical patent/CN113495624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Abstract

一种状态推断装置，推断便携终端的利用者的状态。视线检测部(41)检测便携终端(10)的利用者的视线。自上而下计测部(61)计测与利用者对便携终端(10)的显示部(11)上所显示的图像的自上而下注意上所被分配的注意资源的量相关的自上而下指标值(TD1)。自下而上计测部(62)计测与利用者对显示部(11)上所显示的图像的自下而上注意上所被分配的注意资源的量相关的自下而上指标值(BU1)。推断部(63)基于自上而下指标值(TD1)以及自下而上指标值(BU1)，推断包括注意功能降低状态的利用者的状态。

Description

状态推断装置
技术领域
本文公开的技术涉及状态推断装置。
背景技术
在专利文献1中公开有便携终端。该便携终端具备将用于进行输入操作的多个选项显示于主面的显示部、检测移动的移动检测部、取得图像的图像取得部、视线位置检测部、以及控制部。视线位置检测部基于由图像取得部取得的图像，检测与多个选项中的某一个对应的利用者的视线位置。控制部将多个选项中的由视线位置检测部检测出的第一视线位置上所显示的选项确定为对象选项。此外，控制部在相对于显示部的主面由移动检测部检测出了水平方向的移动的情况下，将该水平方向的移动检测后由视线位置检测部检测出的视线位置确定为第二视线位置。而且，控制部在第一视线位置与第二视线位置之间的距离为阈值以上的情况下，基于第二视线位置变更对象选项的显示位置。
现有技术文献
专利文献
专利文献1：日本特开2016-103102号公报
发明内容
发明所要解决的课题
然而，为了提高专利文献1那样的便携终端的功能等，考虑对包括注意功能降低状态等的便携终端的利用者的状态进行推断。然而，关于如何推断便携终端的利用者的状态，以往未有论述。
本文公开的技术鉴于该点而完成，其目的在于推断便携终端的利用者的状态。
用于解决课题的手段
本文公开的技术涉及推断具有显示图像的显示部的便携终端的利用者的状态的状态推断装置，该状态推断装置具备检测所述利用者的视线的视线检测部、以及进行第一推断处理的推断处理部。所述推断处理部具有：自上而下计测部，在所述第一推断处理中，基于所述显示部上所显示的图像以及通过所述视线检测部检测的所述利用者的视线，计测与所述利用者对所述图像的自上而下注意上所被分配的注意资源的量相关的自上而下指标值；自下而上计测部，在所述第一推断处理中，基于所述显示部上所显示的图像以及通过所述视线检测部检测的所述利用者的视线，计测与所述利用者对所述图像的自下而上注意上所被分配的注意资源的量相关的自下而上指标值；以及推断部，在所述第一推断处理中，基于通过所述自上而下计测部计测的自上而下指标值以及通过所述自下而上计测部计测的自下而上指标值，推断包括注意功能降低状态的所述利用者的状态。
本申请发明人进行深刻研究的结果，发现了在利用者的视线对于显示于显示部的图像的动向、与利用者的状态(特别是与注意功能相关的状态)之间存在关联。进一步，本申请发明人发现了在利用者的自上而下注意上所被分配的注意资源的量(以下记载为“自上而下注意资源量”)以及自下而上注意上所被分配的注意资源的量(以下记载为“自下而上注意资源量”)、与利用者的注意功能的降低之间存在关联。因此，通过进行第一推断处理，能够基于利用者对显示于显示部的图像的自上而下注意资源量以及自下而上注意资源量，推断包括注意功能降低状态的利用者的状态。
在所述状态推断装置中也可以是，所述自上而下计测部具有：注目位置检测部，在所述第一推断处理中，检测显示于所述显示部的图像中的注目位置；以及自上而下指标导出部，在所述第一推断处理中，基于所述利用者的视线对于所述图像中的注目位置的动向，导出所述自上而下指标值。
在所述的构成中，能够基于利用者的视线对于显示于显示部的图像中的注目位置的动向，适当地导出自上而下指标值。由此，能够适当地进行利用者的状态的推断。
在所述状态推断装置中也可以是，所述自下而上计测部具有：显著性检测部，在所述第一推断处理中，检测所述显示部上所显示的图像中的显著性的分布；以及自下而上指标导出部，在所述第一推断处理中，基于所述利用者的视线对于所述图像中的显著性的分布而言的动向，导出所述自下而上指标值。
在所述的构成中，能够基于利用者的视线对于显示于显示部的图像中的显著性的分布而言的动向，适当地导出自下而上指标值。由此，能够适当地进行利用者的状态的推断。
在所述状态推断装置中也可以是，所述推断部在所述自上而下指标值低于预先确定的自上而下阈值的情况下，在所述自下而上指标值不低于预先确定的自下而上阈值的情况下，推断为所述利用者是第一注意功能降低状态，在所述自下而上指标值低于所述自下而上阈值的情况下，推断为所述利用者是注意功能比所述第一注意功能降低状态低的第二注意功能降低状态。
在所述的构成中，能够区别地推断第一注意功能降低状态与第二注意功能降低状态。由此，能够适当地进行利用者的状态的推断。
在所述状态推断装置中也可以构成为，所述推断处理部进行所述第一推断处理、以及基于所述利用者的认知反应时间来推断所述利用者的状态的第二推断处理。
在所述的构成中，除了进行基于利用者的视线对于显示部上所显示的图像的动向来推断利用者的状态的第一推断处理以外，还进行基于利用者的认知反应时间来推断利用者的状态的第二推断处理。由此，能够适当地进行利用者的状态的推断。
在所述状态推断装置中也可以构成为，所述推断处理部与所述利用者对于显示于所述显示部的图像的自下而上注意的产生容易度相应地，选择性地进行所述第一推断处理或所述第二推断处理。
在所述的构成中，通过对利用者对于显示于显示部的图像的自下而上注意的产生容易度进行考虑，能够适当地进行基于利用者的视线对于显示于显示部的图像的动向来推断利用者的状态的第一处理、以及基于利用者的认知反应时间来推断利用者的状态的处理。由此，能够适当地进行利用者的状态的推断。
发明效果
根据本文公开的技术，能够推断便携终端的利用者的状态。
附图说明
图1是例示实施方式的便携终端的外观的立体图。
图2是例示实施方式的便携终端的构成的框图。
图3是例示显示于显示部的应用选择图像的图。
图4是例示新闻应用的报道阅览图像的图。
图5是例示电视应用的视听图像的图。
图6是例示SNS应用的消息阅览图像的图。
图7是例示伴随注意功能降低分别对自上而下注意以及自下而上注意分配的注意资源的量的变化以及认知反应时间的变化的图。
图8是例示状态推断部的构成的框图。
图9是对表示利用者的前方环境的前方环境图像进行例示的图。
图10是例示重叠了便携终端图像的前方环境图像的图。
图11是对表示注目位置的分布的注目位置地图进行例示的图。
图12是对表示显著性的分布的显著性地图进行例示的图。
图13是例示注视点中的显著性的变化的图表。
图14是例示随机点中的显著性的变化的图表。
图15是表示注视点中的显著性超过阈值的概率与随机点中的显著性超过阈值的概率的关系的图表。
图16是用于说明推断处理部的动作的流程图。
图17是用于说明的第一处理的流程图。
图18是用于说明的第二处理的流程图。
图19是用于说明的第三处理的流程图。
图20是用于说明的第四处理的流程图。
图21是用于说明的第五处理的流程图。
图22是用于说明的第六处理的流程图。
附图标记说明
10便携终端
11显示部
12扬声器
13存储部
21前置相机
22后置相机
23操作部
24通信部
25麦克风
26位置传感器
27状态传感器
28环境传感器
30控制装置(状态推断装置)
31控制部
40状态推断部
41视线检测部
42推断处理部
50图像取得部
51主任务检测部
52图像种类检测部
53时间检测部
54误操作检测部
55步伐检测部
56摇晃检测部
61自上而下计测部
62自下而上计测部
63推断部
611注目位置检测部
612自上而下指标导出部
621显著性检测部
622自下而上指标导出部
具体实施方式
以下，参照附图详细地说明实施方式。另外，在图中对于同一部分或者相当部分标注相同的附图标记，不再重复其说明。
(实施方式)
图1以及图2例示实施方式的便携终端10的外观以及构成。便携终端10由利用者手持进行操作。在该例中，便携终端10构成智能手机。具体而言，便携终端10具备壳体10a、显示部11、扬声器12、存储部13、信息取得部20、以及控制装置30。以下，仅将便携终端10的利用者记载为“利用者”。
〔壳体〕
壳体10a形成为扁平的长方体形的箱状。在壳体10a中收纳有便携终端10的构成部件。
〔显示部、扬声器、存储部〕
显示部11显示图像。显示部11形成为矩形的板状，并设于壳体10a的前面。扬声器12播放声音。存储部13存储各种信息以及数据。在该例中，存储部13存储在便携终端10中能够执行的各种应用程序的程序。以下，将应用程序记载为“应用”。作为这种应用的例子，可以举出新闻应用、电视应用、SNS(Social Networking Service：社会化网络服务应用)应用等。
〔信息取得部〕
信息取得部20取得在便携终端10中使用的各种信息。在该例中，信息取得部20包括前置相机21、后置相机22、操作部23、通信部24、麦克风25、位置传感器26、状态传感器27、以及环境传感器28。
〈前置相机〉
前置相机21设于壳体10a的前面，前置相机21通过对在便携终端10的前方拓展的前方区域进行拍摄，取得表示便携终端10的前方区域的图像。通过这种构成，前置相机21能够取得包含利用者的面部(特别是眼球)的图像。例如在以前置相机21与利用者的面部相对的方式由利用者手持便携终端10的状态下，通过前置相机21进行拍摄动作，从而取得包含利用者的面部的图像。通过前置相机21获得的图像(图像数据)被发送到控制装置30。前置相机21例如使用CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementarymetal-oxide-semiconductor：互补金属氧化物半导体)等固体拍摄元件而构成。
〈后置相机〉
后置相机22设于壳体10a的后面。后置相机22通过对在便携终端10的后方拓展的后方区域进行拍摄，从而取得表示便携终端10的后方区域的图像。通过这种构成，后置相机22能够取得包含在利用者的周围拓展的周围环境(在该例中为在利用者的前方拓展的前方环境)的图像。例如在以后置相机22朝向前方环境的方式由利用者手持便携终端10的状态下，通过后置相机22进行拍摄动作，从而取得包含利用者的前方环境的图像。通过后置相机22获得的图像(图像数据)被发送到控制装置30。后置相机22例如使用CCD、CMOS等固体拍摄元件而构成。
〈操作部〉
操作部23由利用者进行操作，并输出与利用者施加的操作相应的信号。通过这种构成，利用者能够操作操作部23来输入信息。操作部23的输出被发送到控制装置30。在该例中，操作部23包括与显示部11一同构成触摸面板的触摸操作部。另外，操作部23除了触摸操作部之外，也可以包括操作旋钮、操作按钮等。
〈通信部〉
通信部24经由设于便携终端10的外部的通信网络(例如因特网、手机线路等)接收各种信息以及数据。通信部24例如接收来自其他信息终端(省略图示)的声音数据、图像数据、地图信息等。通过通信部24获得的信息以及数据被发送到控制装置30。
另外，上述的地图信息也可以是动态地图等三维地图信息。地图信息例如包括与人行道等道路相关的道路地图数据、以及与物体相关的物体信息。在道路地图数据中包括与道路的形状、道路的构造、道路的坡度、道路划线、路面标识等相关的信息。在物体信息中包括静态物体信息、以及动态物体信息。静态物体信息是与不随时间经过而位移的静止物体相关的信息。在静态物体信息中包括与静止物体的形状、静止物体的位置坐标等相关的信息。作为静止物体的例子，可列举出道路标志、构造物等。作为构造物的例子，可列举出交通信号灯、中央隔离带、中间护栏、建筑物、广告牌、铁路平交道口、隧道、电车轨道、公交车站等。动态物体信息是与有可能随时间经过而位移的动体相关的信息。在动态物体信息中包括与动态物体的形状、动态物体的位置坐标、以及动态物体的速度等相关的信息。作为动态物体的例子，可列举出车辆、行人等。
〈麦克风〉
麦克风25将声音转换为电信号。通过麦克风25获得的电信号(声音数据)被发送到控制装置30。
〈位置传感器〉
位置传感器26检测便携终端10的位置(例如纬度与经度)。位置传感器26例如接收来自全球卫星定位系统的GPS信息，并基于GPS信息检测便携终端10的位置。通过位置传感器26获得的信息(便携终端10的位置)被发送到控制装置30。
〈状态传感器〉
状态传感器27检测便携终端10的状态(例如加速度、角速度、姿势等)。状态传感器27例如包括加速度传感器、陀螺仪传感器等。通过状态传感器27获得的信息(便携终端10的状态)被发送到控制装置30。
〈环境传感器〉
环境传感器28检测与在便携终端10的周围拓展的环境相关的信息(例如光、磁等)。环境传感器28例如包括光传感器、磁传感器、接近传感器等。通过环境传感器28获得的信息(与便携终端10的周围环境相关的信息)被发送到控制装置30。
〔控制装置〕
控制装置30与便携终端10的各部(在该例中为显示部11、扬声器12、存储部13、信息取得部20)能够传递信号地连接。而且，控制装置30基于通过便携终端10的各部获得的信息，来控制便携终端10的各部。另外，控制装置30为状态推断装置的一个例子。
控制装置30例如由一个或者多个IC(Integrated Circuit)构成。在IC内既可以设有单一的核心(Core)或者裸芯片，也可以设有协作的多个核心或者裸芯片。核心或者裸芯片例如也可以通过CPU(处理器)、以及存储用于使CPU动作的程序及CPU中的处理结果等信息的存储器构成。
控制装置30包括控制部31、以及状态推断部40。
〈控制部〉
控制部31基于通过便携终端10的各部获得的各种信息以及数据控制便携终端10的各部。此外，控制部31通过执行在存储部13中存储的应用的程序，进行与该应用相应的动作。
例如控制部31将通过信息取得部20获得的信息以及数据存储于存储部13。此外，控制部31进行显示控制、通话控制等。在显示控制中，控制部31向显示部11输出图像数据。显示部11使图像数据所表示的图像再现。在通话控制中，控制部31向扬声器12输出通过通信部24获得的声音数据。扬声器12播放声音数据所表示的声音。此外，控制部31经由通信部24向通信网络发送通过麦克风25获得的声音数据。
〈状态推断部〉
状态推断部40推断利用者的状态。另外，对于状态推断部40，在后详细说明。
〔词语的说明〕
接下来，对在以下的说明中使用的词语进行说明。在以下的说明中，使用注意资源、自上而下注意、自上而下注意资源量、自上而下注意请求量、自下而上注意、自下而上注意资源量、自下而上注意请求量、任务请求、注目位置、显著性、认知反应时间、注意功能降低状态、运动功能降低状态、认知运动功能降低状态、正常状态这些词语。
〈注意资源〉
注意资源是将人的注意力定量地表示的概念。人的注意力能够认为是有限的资源。在对某对象的注意上所分配的注意资源的量不足的情况下，不能充分地发挥人对于该对象的注意力，人对于该对象的注意变得不充分。
〈自上而下注意〉
自上而下注意是指人使视线主动地移动至预期位置的注意机制。例如在对应当选择的刺激具有先验知识的情况下，人能够通过主动地施加偏置来选择目标刺激。
〈自上而下注意资源量与自上而下注意请求量〉
自上而下注意资源量是指对自上而下注意所分配的注意资源的量。此外，自上而下注意请求量是指对自上而下注意所要求的注意资源的量。若自上而下注意资源量低于自上而下注意请求量，则自上而下注意不充分。
〈自下而上注意〉
自下而上注意是指人的视线被动地吸引至醒目的位置的注意机制。例如，在多个视觉刺激中的一个刺激与周围的刺激显著不同的情况下、在视觉刺激突然出现的情况下等，人的视线被动地被该刺激吸引。
〈自下而上注意资源量与自下而上注意请求量〉
自下而上注意资源量是指对自下而上注意所分配的注意资源的量。此外，自下而上注意请求量是指对自下而上注意所要求的注意资源的量。若自下而上注意资源量低于自下而上注意请求量，则自下而上注意不充分。
〈任务请求〉
任务请求是指对人布置的任务的难易度。随着任务的难易度增高，任务请求变大。作为任务的例子，可列举出一边确认便携终端10的显示一边操作便携终端10这一操作任务、一边确认便携终端10的显示一边步行这一步行任务等。作为在操作任务中进行的动作的例子，可列举出新闻报道的阅览、电视影像的阅览、消息的阅览、图标的目视确认、图标的选择等。作为在步行任务中进行的动作的例子，可列举出状况监视、危险回避、交通规则遵守、目的地搜索等。
〈注目位置〉
注目位置是人为了实现任务而应当注目的位置，是在自上而下注意中人有意使视线朝向的位置。作为注目位置的例子，可列举出显示于显示部11的图像中的注目位置、利用者的周围环境中的注目位置等。
显示于显示部11的图像中的注目位置是利用者为了实现操作任务而应当注目的位置。作为显示于显示部11的图像中的注目位置的例子，可列举出显示与操作任务有关联性的信息的信息位置、为了操作便携终端10而应当目视确认的操作位置等。作为信息位置的例子，可列举出含义较高的位置。
利用者的周围环境中的注目位置是利用者为了实现步行任务而应当注目的位置。作为利用者的周围环境中的注目位置的例子，可列举出显示与步行任务有关联性的信息的步行信息位置、利用者为了安全地步行而应当目视确认的要求目视确认位置等。作为步行信息位置的例子，可列举出交通信号等、道路标志、路面标识等。作为要求目视确认位置的例子，可列举出其他行人、车辆等。
另外，注目位置也可以凭借经验确定。例如也可以将预测到行人冲出的交叉点设定为利用者的周围环境中的注目位置。
〈显著性〉
显著性是表示引起自下而上注意的视觉刺激的程度的值，是由于颜色、亮度、方向、动向等特征而变化的值。例如在图像所含的任意的区域与该区域的周围的区域之间，随着颜色、亮度、方向、动向等特征的差异变得显著，引起自下而上注意的视觉刺激变强，该任意的区域中的显著性增高。图像所含的任意的位置处的显著性越高，则该任意的位置越容易吸引人的视线。
以下，将显著性相对较高的位置记载为“高吸引位置”，将显著性相对较低的位置记载为“低吸引位置”。例如高吸引位置是显著性超过预先确定的显著性基准值的位置，低吸引位置是显著性低于显著性基准值的位置。
此外，以下，将在图像中高吸引位置所占的比例记载为“高吸引比例”。例如高吸引比例是图像所含的高吸引位置的总面积除以图像的整个面积而得的值。此外，以下，将高吸引比例相对较高的图像记载为“高吸引图像”，将高吸引比例相对较低的图像记载为“低吸引图像”。例如高吸引图像是高吸引比例超过预先确定的高吸引比例阈值的图像，低吸引图像是高吸引比例不超过高吸引比例阈值的图像。另外，高吸引图像是相对容易产生自下而上注意的图像。低吸引图像是相对难以产生自下而上注意的图像。
〈认知反应时间〉
认知反应时间是从人认知起至开始行动为止所需的时间。作为认知反应时间的例子，可列举出从人目视确认显示于显示部11的图像所含的特定位置起至人对操作部23施加选择特定位置的操作(例如触摸操作)为止所需的时间。作为特定位置的例子，可列举出图标、文字键盘所含的文字等。
〈注意功能降低状态〉
注意功能降低状态是指人的注意功能降低的状态。在注意功能降低状态下，利用者对便携终端10的操作存在障碍。注意功能降低状态存在作为轻度的注意功能降低状态的第一注意功能降低状态、以及作为重度的注意功能降低状态的第二注意功能降低状态。
第一注意功能降低状态是能够通过休息等恢复正常状态的注意功能降低状态。作为第一注意功能降低状态的例子，可列举出唤醒降低、疲劳、茫然状态等。
第二注意功能降低状态是与第一注意功能降低状态相比人的注意功能进一步降低的状态。此外，第二注意功能降低状态是难以通过休息等恢复正常状态的状态。作为第二注意功能降低状态的例子，可列举出伴随注意功能的降低的疾病。作为伴随注意功能的降低的疾病的例子，可列举出心肌梗塞等心脏病、中风等脑疾病、癫痫、低血糖等。
〈运动功能降低状态与认知运动功能降低状态〉
运动功能降低状态是指人的运动功能降低的状态。在运动功能降低状态下，人的步伐以及姿态的摆动容易产生异常。认知运动功能降低状态是指人认知并行动这一认知运动功能降低的状态。在认知运动功能降低状态下，容易产生误操作。
〈正常状态〉
正常状态是指人未产生上述那样的异常的状态，是人能够正常地进行应当进行的操作的状态。在正常状态下，利用者对便携终端10进行的操作可正常地进行。
〔显示于显示部的图像〕
接下来，参照图3～图6对显示于便携终端10的显示部11的图像进行说明。例如控制装置30将图3所示的应用选择图像D10显示于显示部11。在应用选择图像D10中包括新闻应用图标81、电视应用图标82、SNS应用图标83。
〈报道阅览图像〉
若选择应用选择图像D10所含的新闻应用图标81的操作被施加给操作部23，则新闻应用启动。然后，如图4所示，报道阅览图像D11显示于显示部11。在图4所示的报道阅览图像D11中包括文本区域RT、图片区域RP。在文本区域RT显示报道等含义较高的信息。在图片区域RP显示广告等含义较低的信息。在图4所示的报道阅览图像D11中，注目位置与高吸引位置混合存在。在图4的例子中，文本区域RT属于注目位置，图片区域RP属于高吸引位置。图4所示的报道阅览图像D11属于高吸引图像(高吸引位置所占的比例相对较高的图像)。
〈视听图像〉
若选择应用选择图像D10所含的电视应用图标82的操作被施加给操作部23，则电视应用启动。然后，如图5所示，视听图像D12显示于显示部11。在图5所示的视听图像D12中包括文本区域RT、图片区域RP。在图片区域PR显示电视节目的影像等含义较高的信息。在文本区域RT显示与电视节目相关的说明等含义较高的信息。另外，也可以在视听图像D12中包括显示广告等含义较低的信息的子图片区域(省略图示)。在图5所示的视听图像D12中，注目位置与高吸引位置混合存在。在图5的例子中，文本区域RT属于注目位置，图片区域RP属于注目位置与高吸引位置双方，子图片区域属于高吸引位置。图5所示的视听图像D12属于高吸引图像(高吸引位置所占的比例相对较高的图像)。
〈消息阅览图像〉
若选择应用选择图像D10所含的SNS应用图标83的操作被施加给操作部23，则SNS应用启动。然后，如图6所示，消息阅览图像D13显示于显示部11。在图6所示的消息阅览图像D13中包括文本区域RT。文本区域RT显示消息正文等含义较高的信息。另外，在图6所示的消息阅览图像D13中，注目位置与高吸引位置未混合存在，注目位置为主。在图6的例子中，文本区域RT属于注目区域。图6所示的消息阅览图像D13属于低吸引图像(高吸引位置所占的比例相对较低的图像)。
〔由本申请发明人得到的见解〕
本申请发明人进行深刻研究的结果，发现了在利用者的视线对于显示于显示部11的图像(或者利用者的周围环境)的动向、与利用者的状态(特别是与注意功能相关的状态)之间存在关联。具体而言，如图7所示，本申请发明人发现了与利用者等人的注意功能的降低相应地、自上而下注意资源量以及自下而上注意资源量发生变化。在图7的例子中，附加了向右上升的斜线的阴影的朝上的三角形的高度表示自上而下注意资源量。虚线的朝上的三角形的高度表示自上而下注意请求量。附加了向左上升的斜线的阴影的朝下的三角形的高度表示自下而上注意资源量。此外，如图7所示，本申请发明人发现了与人的注意功能的变化相应地人的认知反应时间发生变化。
而且，本申请发明人发现了以下情况。
(1)若人的状态由正常状态变为第二注意功能降低状态(重度的注意功能降低状态)，则人的注意资源的总量减少。具体而言，自上而下注意资源量减少，且自上而下注意资源量低于自上而下注意请求量。另一方面，自下而上注意资源量也减少。
(2)若人的状态由正常状态变为第一注意功能降低状态(轻度的注意功能降低状态)，则自上而下注意资源量减少，且自上而下注意资源量低于自上而下注意请求量。另一方面，自下而上注意资源量增加自上而下注意资源量减少的部分。相反，若人的状态由第一注意功能降低状态(轻度的注意功能降低状态)变为正常状态，则自上而下注意资源量增加，自上而下注意资源量达到自上而下注意请求量。另一方面，自下而上注意资源量减少自上而下注意资源量增加的部分。另外，人的状态为第一注意功能降低状态的情况下的注意资源的总量与人的状态为正常状态的情况下的注意资源的总量同等。
(3)自上而下注意资源量以及自下而上注意资源量与任务请求相应地变化。具体而言，若任务请求增加，则自上而下注意请求量增加。其结果，自上而下注意资源量增加，自上而下注意资源量达到自上而下注意请求量。另一方面，自下而上注意资源量减少自上而下注意资源量增加的部分。相反，若任务请求减少，则自上而下注意请求量减少。其结果，自上而下注意资源量减少，自上而下注意资源量达到自上而下注意请求量。另一方面，自下而上注意资源量增加自上而下注意资源量减少的部分。
(4)通过对与自上而下注意资源量相关的自上而下指标值、与预先确定的自上而下阈值进行比较，能够对自上而下注意资源量进行评价。另外，自上而下阈值设定为与自上而下注意请求量相应的值。具体而言，随着自上而下注意请求量变多，自上而下阈值变大。例如，自上而下阈值设定为自上而下注意资源量与自上而下注意请求量一致时的自上而下指标值。另外，自上而下注意请求量与任务请求相应地变化。具体而言，随着任务请求变大，自上而下注意请求量变多。
(5)通过对与自下而上注意资源量相关的自下而上指标值、与预先确定的自下而上阈值进行比较，能够对自下而上注意资源量进行评价。另外，自下而上阈值设定为与自下而上注意请求量相应的值。具体而言，随着自下而上注意请求量变多，自下而上阈值变大。例如，自下而上阈值设定为自下而上注意资源量与自下而上注意请求量一致时的自下而上指标值。另外，自下而上注意请求量与任务请求相应地变化。具体而言，随着任务请求变大，自下而上注意请求量变少。例如，自下而上注意请求量是从预先确定的注意请求总量中减去自上而下注意请求量而得的量。注意请求总量例如为正常状态时的注意资源的总量。
(6)随着人的注意功能降低，人的认知反应时间变长。具体而言，若人的状态由正常状态变为第一注意功能降低状态(轻度的注意功能降低状态)，则认知反应时间变长，若人的状态由第一注意功能降低状态变为第二注意功能降低状态(重度的注意功能降低状态)，则认知反应时间进一步变长。
(7)通过对认知反应时间与预先确定的时间阈值(具体而言为第一时间阈值及第二时间阈值)进行比较，能够对认知反应时间进行评价。例如将第一时间阈值设定为成为正常状态与第一注意功能降低状态的边界的认知反应时间。将第二时间阈值设定为成为第一注意功能降低状态与第二注意功能降低状态的边界的认知反应时间。而且，通过对认知反应时间与第一时间阈值、第二时间阈值进行比较，能够对正常状态、第一注意功能降低状态、第二注意功能降低状态进行推断。
〔状态推断部的构成〕
图8例示出状态推断部40的构成。状态推断部40具有视线检测部41、推断处理部42、图像取得部50、主任务检测部51、图像种类检测部52、时间检测部53、误操作检测部54、步伐检测部55、以及摇晃检测部56。
〔视线检测部〕
视线检测部41检测利用者的视线。在该例中，视线检测部41对通过前置相机21获得的图像(包含利用者的面部的图像)进行视线检测处理，来检测利用者的视线。另外，该视线检测处理既可以是使用通过深层学习生成的学习模型(用于检测视线的学习模型)进行的处理，也可以是使用公知的视线检测技术进行的处理。例如视线检测部41从通过前置相机21获得的图像中检测利用者的瞳孔，并基于该检测出的瞳孔检测利用者的视线。另外，利用者的视线既可以是利用者的右眼的视线，也可以是利用者的左眼的视线，还可以是基于利用者的右眼的视线以及左眼的视线而导出的视线。
〔图像取得部〕
图像取得部50取得表示利用者的周围环境的图像(图像数据)。通过图像取得部50获得的被发送到图像推断处理部42。例如，图像取得部50基于以下的步骤取得表示利用者的周围环境的图像。
首先，图像取得部50基于后置相机22的输出，取得表示利用者的前方环境的前方环境图像D20(参照图9)。接下来，图像取得部50通过将前方环境图像D20与表示便携终端10的便携终端图像D15(参照图10)合成，来生成表示利用者的前方环境的前方环境图像D21。如图10所示，在前方环境图像D21中，在前方环境图像D20重叠有便携终端图像D15。另外，便携终端图像D15由预先准备的表示便携终端10的前面的图像、以及显示于显示部11的图像合成而生成。在图10所示的便携终端图像D15中，在便携终端10的前面的图像重叠有显示于显示部11的报道阅览图像D11。
另外，图像取得部50也可以向推断处理部42输出表示利用者的前方环境的前方环境图像D20。此外，图像取得部50也可以基于通过通信部24获得的地图信息、以及通过位置传感器26获得的位置信息(便携终端10的位置)，来生成表示利用者的周围环境的图像。
〔主任务检测部〕
主任务检测部51基于通过信息取得部20取得的信息，检测利用者的主任务。主任务检测部51的检测结果被发送到推断处理部42。作为利用者的主任务的例子，可列举出属于操作任务的便携终端10的操作、属于步行任务的步行等。
在该例中，主任务检测部51对利用者的主任务属于便携终端10的操作(操作任务)进行检测。例如，主任务检测部51基于位置传感器26的输出来检测便携终端10的位置，并基于便携终端10的位置的时间变化来推断利用者的移动速度。此外，主任务检测部51基于操作部23的输出检测出利用者正操作操作部23。而且，主任务检测部51在利用者的移动速度低于预先确定的第一速度阈值、并且利用者进行的操作被施加给操作部23(触摸操作部)的情况下，输出表示利用者的主任务属于便携终端10的操作的检测结果。另外，第一速度阈值也可以设定为可视同利用者非步行而是停止中的最高的移动速度。
此外，在该例中，主任务检测部51对利用者的主任务属于步行(步行任务)进行检测。例如，主任务检测部51在利用者的移动速度虽然超过第一速度阈值但低于预先确定的第二速度阈值的情况下，输出表示利用者的主任务属于步行的检测结果。另外，第二速度阈值也可以设定为可视同利用者正步行中的最高的移动速度。
〔图像种类检测部〕
图像种类检测部52基于通过信息取得部20取得的信息，检测显示于显示部11的图像的种类。图像种类检测部52的检测结果被发送到推断处理部42。作为图像的种类的例子，可列举出与图像相关的应用的种类、与利用者对于图像的自下而上注意的产生容易度相关的分类等。利用者对于图像的自下而上注意的产生容易度取决于图像中的高吸引比例(高吸引位置在图像中所占的比例)。
例如，图像种类检测部52检测利用者对于显示于显示部11的图像的自下而上注意的产生容易度。而且，图像种类检测部52基于利用者对于显示于显示部11的图像的自下而上注意的产生容易度，检测显示于显示部11的图像属于“高吸引图像”与“低吸引图像”中的哪一个。
具体而言，图像种类检测部52检测显示于显示部11的图像中的高吸引比例。在显示于显示部11的图像中的高吸引比例超过高吸引比例阈值的情况下，图像种类检测部52输出表示显示于显示部11的图像属于“高吸引图像”的检测结果。另一方面，在显示于显示部11的图像中的高吸引比例不超过高吸引比例阈值的情况下，图像种类检测部52输出表示显示于显示部11的图像属于“低吸引图像”的检测结果。
〔时间检测部〕
时间检测部53基于通过信息取得部20取得的信息，检测利用者的认知反应时间。时间检测部53的检测结果被发送到推断处理部42。例如，时间检测部53基于通过视线检测部41检测出的视线、以及显示于显示部11的图像，检测利用者目视确认了显示于显示部11的图像所含的特定位置(例如图标、文字键盘的文字等)。此外，时间检测部53检测对被利用者目视确认的位置进行选择的操作(具体而言为触摸)由利用者施加给操作部23。而且，时间检测部53将利用者目视确认了显示于显示部11的图像所含的特定位置起至选择该特定位置的操作由利用者施加给操作部23为止所需的时间，检测作为“认知反应时间”。
〔误操作检测部〕
误操作检测部54基于通过信息取得部20取得的信息，检测利用者的误操作的频度。误操作检测部54的检测结果被发送到推断处理部42。作为误操作的例子，可列举出文字的输入错误、图标的选择错误等。例如误操作检测部54对利用者输入的文字的正确与否进行判定，并基于该判定结果检测文字的输入错误的频度，将文字的输入错误的频度作为“利用者的误操作的频度”输出。另外，误操作的检测既可以是使用通过深层学习生成的学习模型(用于检测误操作的学习模型)来进行的处理，也可以是使用公知的正确与否判定技术进行的处理。
〔步伐检测部〕
步伐检测部55基于通过信息取得部20取得的信息，检测利用者的步伐。步伐检测部55的检测结果被发送到推断处理部42。例如，步伐检测部55基于位置传感器26的输出来检测便携终端10的位置，并基于该便携终端10的位置的时间变化来推断利用者的移动速度的每单位时间的变化量，将利用者的移动速度的每单位时间的变化量作为“利用者的步伐”输出。
〔摇晃检测部〕
摇晃检测部56基于通过信息取得部20取得的信息，检测利用者的摇晃(姿态的摆动)。摇晃检测部56的检测结果被发送到推断处理部42。例如，摇晃检测部56基于状态传感器27的输出，检测便携终端10的姿态的摆动幅度，并基于该便携终端10的姿态的摆动幅度，推断利用者的姿态的摆动幅度，将利用者的姿态的摆动幅度作为“利用者的摇晃”输出。
〔推断处理部〕
推断处理部42进行推断利用者的状态的推断处理。在该例中，推断处理部42基于视线检测部41、图像取得部50、主任务检测部51、图像种类检测部52、时间检测部53、误操作检测部54、步伐检测部55、以及摇晃检测部56的各自的输出，进行第一处理、第二处理、第三处理、第四处理、第五处理、以及第六处理。另外，第一处理是第一推断处理的一例，第二处理是第二推断处理的一例。
第一处理是基于利用者的视线对于显示于显示部11的图像的动向，推断利用者的状态的处理。第二处理是基于利用者的认知反应时间推断利用者的状态的处理。第三处理是基于利用者的误操作的频度推断利用者的状态的处理。第四处理是基于利用者的视线对于利用者的周围环境的动向，推断利用者的状态的处理。第五处理是基于利用者的步伐推断利用者的状态的处理。第六处理是基于利用者的摇晃推断利用者的状态的处理。另外，对于第一～第六处理，在后详细说明。
在该例中，推断处理部42具有自上而下计测部61、自下而上计测部62、以及推断部63。
〈自上而下计测部〉
自上而下计测部61在第一处理中，基于显示于显示部11的图像以及通过视线检测部41检测的利用者的视线，对第一自上而下指标值TD1进行计测，该第一自上而下指标值TD1与利用者对于显示于显示部11的图像的自上而下注意资源量相关。此外，自上而下计测部61在第四处理中，基于利用者的周围环境与通过视线检测部41检测的利用者的视线，对第二自上而下指标值TD2进行计测，该第二自上而下指标值TD2与利用者对于利用者的周围环境的自上而下注意资源量相关。随着利用者的自上而下注意资源量变多，第一自上而下指标值TD1以及第二自上而下指标值TD2变大。在该例中，自上而下计测部61具有注目位置检测部611、以及自上而下指标导出部612。
《注目位置检测部》
注目位置检测部611在第一处理中，检测显示于显示部11的图像中的注目位置。在该例中，注目位置检测部611基于显示于显示部11的图像(图像数据)，生成注目位置地图D30(注目位置地图数据)，该注目位置地图D30表示显示于显示部11的图像中的注目位置。具体而言，注目位置检测部611在通过主任务检测部51检测出的利用者的主任务属于便携终端10的操作(操作任务)的情况下，输入显示于显示部11的图像(图像数据)。而且，注目位置检测部611如以下那样生成注目位置地图D30。
例如，注目位置检测部611取得显示于显示部11的报道阅览图像D11(参照图4)。接下来，注目位置检测部611从报道阅览图像D11之中检测注目位置。注目位置的检测既可以是使用通过深层学习生成的学习模型(用于检测注目位置的学习模型)进行的处理，也可以是使用公知的特征检测技术进行的处理。接下来，注目位置检测部611基于注目位置的检测结果，生成注目位置地图D30。如图11所示，注目位置地图D30表示显示于显示部11的图像中的注目位置的分布。在图11的例子中，附加了阴影的位置成为注目位置。具体而言，在图11的例子中，文本区域RT成为注目位置。而且，注目位置检测部611在每次显示于显示部11的图像被更新时(或者每规定时间)，基于上述的步骤生成注目位置地图D30。由此，可获得按时间序列排列的多个注目位置地图D30。
此外，注目位置检测部611在第四处理中，检测利用者的周围环境中的注目位置。在该例中，注目位置检测部611基于通过图像取得部50取得的图像(表示利用者的周围环境的图像)，生成表示利用者的周围环境中的注目位置的注目位置地图(注目位置地图数据)。具体而言，注目位置检测部611在通过主任务检测部51检测出的利用者的主任务属于步行(步行任务)的情况下，输入图像取得部50的输出。另外，第四处理中的注目位置地图的生成与第一处理中的注目位置地图D30的生成同样。
《自上而下指标导出部》
自上而下指标导出部612在第一处理中，基于利用者的视线对于显示于显示部11的图像中的注目位置的动向，导出第一自上而下指标值TD1。具体而言，自上而下指标导出部612在第一处理中，基于显示于显示部11的图像中的注目位置与利用者的视线的一致度(一致频度)，导出第一自上而下指标值TD1。若利用者的自上而下注意资源量增加，则显示于显示部11的图像中的注目位置与利用者的视线的一致度增加，第一自上而下指标值TD1增加。
在该例中，自上而下指标导出部612在第一处理中，将与下述两者的一致度相应的值作为第一自上而下指标值TD1导出，该两者为通过注目位置检测部611生成的注目位置地图D30所示的注目位置、与通过视线检测部41检测出的利用者的视线。具体而言，自上而下指标导出部612按照每个预先确定的计测期间，进行以下的处理。
首先，自上而下指标导出部612从按时间序列排列的多个注目位置地图D30之中，提取出计测期间内包含的两个以上的注目位置地图D30，并基于通过视线检测部41检测出的利用者的视线的方向，在计测期间内包含的两个以上的注目位置地图D30的每一个中，检测注视点。注视点是表示注目位置地图D30中的利用者的视线的位置(坐标)的点。例如，自上而下指标导出部612也可以按照预先确定的采样周期，从注目位置地图D30中将利用者的视线的位置检测为注视点。或者，自上而下指标导出部612也可以将停滞时间超过预先确定的基准时间的利用者的视线的位置检测为注视点。
接下来，自上而下指标导出部612对从计测期间内包含的注目位置地图D30中检测出的注视点是否与该注目位置地图D30所示的注目位置一致进行判定。
接下来，自上而下指标导出部612基于注视点与注目位置的一致判定的结果，导出第一自上而下指标值TD1。例如，第一自上而下指标值TD1是与下述比例相应的值，该比例是与注目位置一致的注视点的数量占计测期间内包含的注视点的总数的比例(以下记载为“注目一致比例”)。该注目一致比例是注目位置与利用者的视线的一致度的一例。如此，可按照每个计测期间导出第一自上而下指标值TD1。
此外，自上而下指标导出部612在第四处理中，基于利用者的视线对于利用者的周围环境中的注目位置的动向，导出第二自上而下指标值TD2。具体而言，自上而下指标导出部612在第四处理中，基于利用者的周围环境中的注目位置与利用者的视线的一致度(一致频度)，导出第二自上而下指标值TD2。若利用者的自上而下注意资源量增加，则利用者的周围环境中的注目位置与利用者的视线的一致度增加，第二自上而下指标值TD2增加。
在该例中，自上而下指标导出部612在第四处理中，将与下述两者的一致度相应的值作为第二自上而下指标值TD2导出，该两者为通过注目位置检测部611生成的注目位置地图所示的注目位置、与通过视线检测部41检测出的利用者的视线。另外，第四处理中的第二自上而下指标值TD2的导出与第一处理中的第一自上而下指标值TD1的导出同样。
〈自下而上计测部〉
自下而上计测部62在第一处理中，基于显示于显示部11的图像与通过视线检测部41检测的利用者的视线，对第一自下而上指标值BU1进行计测，该第一自下而上指标值BU1与利用者对于显示于显示部11的图像的自下而上注意资源量相关。此外，自下而上计测部62在第四处理中，基于利用者的周围环境与通过视线检测部41检测的利用者的视线，对第二自下而上指标值BU2进行计测，该第二自下而上指标值BU2与利用者对于利用者的周围环境的自下而上注意资源量相关。随着利用者的自下而上注意资源量变多，第一自下而上指标值BU1以及第二自下而上指标值BU2变大。在该例中，自下而上计测部62具有显著性检测部621、以及自下而上指标导出部622。
《显著性检测部》
显著性检测部621在第一处理中，检测显示于显示部11的图像中的显著性的分布。在该例中，显著性检测部621基于显示于显示部11的图像(图像数据)，生成表示显示于显示部11的图像中的显著性的分布的显著性地图D40(显著性地图数据)。具体而言，显著性检测部621在通过主任务检测部51检测出的利用者的主任务属于便携终端10的操作(操作任务)的情况下，输入显示于显示部11的图像(图像数据)。而且，显著性检测部621基于以下的步骤生成显著性地图D40。
例如，与注目位置检测部611同样，显著性检测部621取得显示于显示部11的报道阅览图像D11(参照图4)。接下来，显著性检测部621通过对报道阅览图像D11进行显著性地图生成处理，来生成显著性地图D40。另外，显著性地图生成处理能够使用显著性检测等公知的技术。例如显著性检测部621按颜色、亮度、方向、动向等特征生成显著性地图，并将每个上述特征的显著性地图合起来，从而生成最终的显著性地图(反映出所有特征的显著性地图)。
如图12所示，显著性地图D40表示显示于显示部11的图像中的显著性的分布。显著性地图D40的像素的值表示该像素的区域中的显著性。在图12的例子中，通过阴影的浓淡示出显著性的高低。随着阴影变浓，该附加了阴影的区域中的显著性增高。
而且，显著性检测部621在每次显示于显示部11的图像被更新时(或者每规定时间)，基于上述的步骤生成显著性地图D40。由此，可获得按时间序列排列的多个显著性地图D40。
此外，显著性检测部621在第四处理中，检测利用者的周围环境中的显著性的分布。在该例中，显著性检测部621基于通过图像取得部50取得的图像(表示利用者的周围环境的图像)，生成表示利用者的周围环境中的显著性的分布的显著性地图(显著性地图数据)。具体而言，显著性检测部621在通过主任务检测部51检测出的利用者的主任务属于步行(步行任务)的情况下，输入图像取得部50的输出。另外，第四处理中的显著性地图的生成与第一处理中的显著性地图D40的生成同样。
《自下而上指标导出部》
自下而上指标导出部622在第一处理中，基于利用者的视线对于显示于显示部11的图像中的显著性的分布的动向，导出第一自下而上指标值BU1。具体而言，自下而上指标导出部622在第一处理中，基于显示于显示部11的图像中的高吸引位置与利用者的视线的一致度(一致频度)，导出第一自下而上指标值BU1。若利用者的自下而上注意资源量增加，则显示于显示部11的图像中的高吸引位置与利用者的视线的一致度增加，第一自下而上指标值BU1增加。
在该例中，自下而上指标导出部622在第一处理中，将与下述两者的一致度相应的值作为第一自下而上指标值BU1导出，该两者为通过显著性检测部621生成的显著性地图D40所示的高吸引位置、与通过视线检测部41检测出的利用者的视线。具体而言，自下而上指标导出部622按预先确定的运算期间，进行以下的第一导出处理、第二导出处理、第三导出处理、以及第四导出处理。
在第一导出处理中，自下而上指标导出部622从按时间序列排列的多个显著性地图D40之中提取出运算期间内包含的两个以上的显著性地图D40，并基于通过视线检测部41检测出的利用者的视线的方向，在计测期间内包含的两个以上的显著性地图D40的每一个中检测注视点，并检测注视点中的显著性。注视点是表示显著性地图D40中的利用者的视线的位置(坐标)的点。例如，自下而上指标导出部622也可以按预先确定的采样周期，从显著性地图D40中将利用者的视线的位置检测为注视点。或者，自下而上指标导出部622也可以将停滞时间超过预先确定的基准时间的利用者的视线的位置检测为注视点。通过该第一导出处理，可获得每规定时刻的注视点的显著性。如图13所示，注视点的显著性随时间的经过相应地变化。
在第二导出处理中，自下而上指标导出部622从按时间序列排列的多个显著性地图D40之中，提取出运算期间内包含的两个以上的显著性地图D40，并在计测期间内包含的两个以上的显著性地图D40的每一个中指定随机点，对随机点中的显著性进行检测。随机点是表示在显著性地图D40中随机指定的位置的点。另外，随机点优选的是在多个显著性地图D40中的、通过第一导出处理检测出注视点的显著性地图D40中进行指定。即，检测出随机点中的显著性的时刻优选的是与检测出注视点中的显著性的时刻一致。通过该第二导出处理，可获得每规定时刻的随机点的显著性。如图14所示，随机点的显著性随时间的经过相应地变化。
接下来，进行第三导出处理。在第三导出处理中，自下而上指标导出部622基于通过第一导出处理获得的运算期间内的每规定时刻的注视点的显著性、以及通过第二导出处理获得的运算期间内的每规定时刻的随机点的显著性，导出表示“注视点的显著性超过阈值的概率”与“随机点的显著性超过阈值的概率”的关系的ROC(Receiver OperatingCharacteristic：接受者操作特征曲线)曲线。
具体而言，自下而上指标导出部622从最大值至最小值阶段性地变更与显著性相关的阈值。而且，自上而下指标导出部612在每次变更阈值时，进行以下的处理。
首先，自下而上指标导出部622求出运算期间内的每规定时刻的注视点的显著性中的、超过阈值的注视点的显著性的数量，通过将超过阈值的注视点的显著性的数量除以运算期间内的注视点的显著性的总数，来求出注视点的显著性超过阈值的概率。此外，自下而上指标导出部622求出运算期间内的每规定时刻的随机点的显著性中的、超过阈值的随机点的显著性的数量，通过将超过阈值的随机点的显著性的数量除以运算期间内的随机点的显著性的总数，来求出随机点的显著性超过阈值的概率。
而且，自下而上指标导出部622基于按每个阈值求出的“注视点的显著性超过阈值的概率”与“随机点的显著性超过阈值的概率”的组合，来导出ROC曲线。图15例示出ROC曲线。ROC曲线与利用者的视线被高吸引位置吸引的趋势的强度相应地变化。例如，在利用者的视线朝向高吸引位置的趋势存在的情况下，ROC曲线如图15所示的第一曲线C1那样，成为斜率与一条直线(虚线所示的直线)相比向上侧凸出的曲线。另一方面，在利用者的视线朝向低吸引位置的趋势存在的情况下，ROC曲线如图15所示的第二曲线C2那样，成为斜率与一条直线相比向下侧凸出的曲线。
接下来，进行第四导出处理。在第四导出处理中，自下而上指标导出部622将ROC曲线的下侧的面积即AUC(Area Under the Curve)值作为显著性指标值求出。例如，在图15的第一曲线C1为ROC曲线的情况下，AUC值相当于图15的附加了阴影的区域的面积。例如，随着利用者的视线朝向高吸引位置的趋势增强，作为显著性指标值的AUC值变大，随着利用者的视线朝向低吸引位置的趋势增强，作为显著性指标值的AUC值变小。如此，可按运算期间导出显著性指标值。
此外，自下而上指标导出部622按预先确定的计测期间，进行第五导出处理。计测期间比运算期间长。在各个计测期间中包含多个运算期间。在第五导出处理中，自下而上指标导出部622对计测期间内包含的显著性指标值是否超过预先确定的高吸引阈值进行判定。而且，自下而上指标导出部622基于显著性指标值的判定结果，导出第一自下而上指标值BU1。例如，第一自下而上指标值BU1是与超过高吸引阈值的显著性指标值的数量占计测期间内包含的显著性指标值的总数的比例(以下记载为“高指标比例”)相应的值。另外，该高指标比例是高吸引位置与利用者的视线的一致度的一例。如此，可按计测期间导出第一自下而上指标值BU1。
此外，自下而上指标导出部622在第四处理中，基于利用者的视线对于利用者的周围环境中的显著性的分布的动向，导出第二自下而上指标值BU2。具体而言，自下而上指标导出部622在第四处理中，基于利用者的周围环境中的高吸引位置与利用者的视线的一致度(一致频度)，导出第二自下而上指标值BU2。若利用者的自下而上注意资源量增加，则利用者的周围环境中的高吸引位置与利用者的视线的一致度增加，第二自下而上指标值BU2增加。
在该例中，自下而上指标导出部622在第四处理中，将与下述两者的一致度相应的值作为第二自下而上指标值BU2导出，该两者为通过显著性检测部621生成的显著性地图所示的高吸引位置、与通过视线检测部41检测出的利用者的视线。另外，第四处理中的第二自下而上指标值BU2的导出与第一处理中的第一自下而上指标值BU1的导出同样。
〈推断部〉
推断部63在第一处理中，基于第一自上而下指标值TD1与第一自下而上指标值BU1，来推断利用者的状态。具体而言，推断部63在第一处理中，基于第一自上而下指标值TD1的变化与第一自下而上指标值BU1的变化，来推断利用者的状态。此外，推断部63在第四处理中，基于第二自上而下指标值TD2与第二自下而上指标值BU2，来推断利用者的状态。具体而言，推断部63在第四处理中，基于第二自上而下指标值TD2的变化与第二自下而上指标值BU2的变化，来推断利用者的状态。另外，对于利用者的状态的推断，在后详细说明。
〔推断处理部的动作〕
接下来，参照图16对推断处理部42的动作进行说明。在该例中，推断处理部42根据利用者的主任务，选择性地进行第一处理、第二处理及第三处理的组，或第四处理、第五处理及第六处理的组。具体而言，推断处理部42在利用者的主任务属于便携终端10的操作的情况下，进行第一处理、第二处理、与第三处理。此外，推断处理部42在利用者的主任务属于步行的情况下，进行第四处理、第五处理、与第六处理。例如，推断处理部42按预先确定的推断周期(例如每10分钟)，进行以下的处理。
〈步骤ST10〉
推断部63基于主任务检测部51的检测结果，判定利用者的主任务是否属于便携终端10的操作(操作任务)。在利用者的主任务属于便携终端10的操作的情况下，进行步骤ST11～ST13的处理，在不属于便携终端10的操作的情况下，进行步骤ST20的处理。
〈步骤ST11～ST13〉
在利用者的主任务属于便携终端10的操作的情况下，推断部63进行第一处理(步骤ST11)、第二处理(步骤ST12)、以及第三处理(步骤ST13)。这些处理完成后，进行步骤ST30的处理。
〈步骤ST20〉
在利用者的主任务不属于便携终端10的操作的情况下，推断部63基于主任务检测部51的检测结果，判定利用者的主任务是否属于步行(步行任务)。在利用者的主任务属于步行的情况下，进行步骤ST21～ST23的处理，在不属于步行的情况下，进行步骤ST10的处理。
〈步骤ST21～ST23〉
在利用者的主任务属于步行的情况下，推断部63进行第四处理(步骤ST21)、第五处理(步骤ST22)、以及第六处理(步骤ST23)。这些处理完成后，进行步骤ST30的处理。
〈步骤ST30〉
步骤ST11～ST13的处理(或者步骤ST21～ST23的处理)完成后，推断部63基于通过步骤ST11～ST13的处理(或者步骤ST21～ST23的处理)获得的与利用者的状态相关的推断结果，综合性地推断利用者的状态。对于步骤ST30的处理(综合性的推断)在后详细说明。
〔第一处理〕
接下来，参照图17对步骤S11的处理即第一处理进行说明。如上所述，第一处理是基于利用者的视线对于显示于显示部11的图像的动向来推断利用者的状态的处理。在以下的第一处理中，能够区别地推断第一注意功能降低状态与第二注意功能降低状态。
〈步骤ST111〉
推断部63对第一自上而下指标值TD1是否低于预先确定的第一自上而下阈值TDth1进行判定。例如第一自上而下阈值TDth1设定为与利用者的主任务属于便携终端10的操作的情况下的利用者的自上而下注意请求量相应的值。在第一自上而下指标值TD1低于第一自上而下阈值TDth1的情况下，进行步骤ST112的处理，在不低于第一自上而下阈值TDth1的情况下，进行步骤ST115的处理。
〈步骤ST112〉
推断部63对第一自下而上指标值BU1是否低于预先确定的第一自下而上阈值BUth1进行判定。例如第一自下而上阈值BUth1设定为与利用者的主任务属于便携终端10的操作的情况下的利用者的自下而上注意请求量相应的值。在第一自下而上指标值BU1低于第一自下而上阈值BUth1的情况下，进行步骤ST113的处理，在不低于第一自下而上阈值BUth1的情况下，进行步骤ST114的处理。
〈步骤ST113〉
在第一自上而下指标值TD1低于第一自上而下阈值TDth1、并且第一自下而上指标值BU1低于第一自下而上阈值BUth1的情况下，推断部63将利用者的状态推断为第二注意功能降低状态(重度的注意功能降低)。在该例中，推断部63设置表示第二注意功能降低状态的标志。
〈步骤ST114〉
在第一自上而下指标值TD1低于第一自上而下阈值TDth1、且第一自下而上指标值BU1不低于第一自下而上阈值BUth1的情况下，推断部63并非将利用者的状态推断为第二注意功能降低状态，而是将利用者的状态推断为第一注意功能降低状态(轻度的注意功能降低)。在该例中，推断部63设置表示第一注意功能降低状态的标志。
〈步骤ST115〉
此外，在第一自上而下指标值TD1不低于第一自上而下阈值TDth1的情况下，推断部63不将利用者的状态推断为注意功能降低状态，而是将利用者的状态推断为正常状态。在该例中，推断部63不设置表示注意功能降低状态的标志。
〔第二处理〕
接下来，参照图18对步骤S12的处理即第二处理进行说明。如上所述，第二处理是基于利用者的认知反应时间来推断利用者的状态的处理。在以下的第二处理中，能够区别地推断第一注意功能降低状态与第二注意功能降低状态。
〈步骤ST121〉
推断部63对认知反应时间T是否超过预先确定的第一时间阈值Tth1进行判定。在认知反应时间T超过第一时间阈值Tth1的情况下，进行步骤ST122的处理，在不超过第一时间阈值Tth1的情况下，进行步骤ST125的处理。
〈步骤ST122〉
推断部63对认知反应时间T是否超过预先确定的第二时间阈值Tth2进行判定。第二时间阈值Tth2比第一时间阈值Tth1长。在认知反应时间T低于第二时间阈值Tth2的情况下，进行步骤ST123的处理，在不低于第二时间阈值Tth2的情况下，进行步骤ST124的处理。
〈步骤ST123〉
在认知反应时间T超过第二时间阈值Tth2的情况下，推断部63将利用者的状态推断为第二注意功能降低状态(重度的注意功能降低)。在该例中，推断部63设置表示第二注意功能降低状态的标志。
〈步骤ST124〉
在认知反应时间T超过第一时间阈值Tth1但不超过第二时间阈值Tth2的情况下，推断部63不将利用者的状态推断为第二注意功能降低状态，而是将利用者的状态推断为第一注意功能降低状态(轻度的注意功能降低)。在该例中，推断部63设置表示第一注意功能降低状态的标志。
〈步骤ST125〉
在认知反应时间T不超过第一时间阈值Tth1的情况下，推断部63不将利用者的状态推断为注意功能降低状态，而是将利用者的状态推断为正常状态。在该例中，推断部63不设置表示注意功能降低状态的标志。
〔第三处理〕
接下来，参照图19对步骤ST13的处理即第三处理进行说明。如上所述，第三处理是基于利用者的误操作的频度来推断利用者的状态的处理。
〈步骤ST131〉
推断部63对规定时间内的利用者的误操作的频度是否异常进行判定。例如，推断部63在规定时间内的利用者的误操作的频度超过预先确定的允许频度的情况下，判定为规定时间内的利用者的误操作的频度异常。在规定时间内的利用者的误操作的频度异常的情况下，前进至步骤ST132，在非异常的情况下，前进至步骤ST133。
〈步骤ST132〉
在规定时间内的利用者的误操作的频度异常的情况下，推断部63将利用者的状态推断为认知运动功能降低状态。在该例中，推断部63设置表示认知运动功能降低状态的标志。
〈步骤ST133〉
在规定时间内的利用者的误操作的频度非异常的情况下，推断部63不将利用者的状态推断为认知运动功能降低状态，而是将利用者的状态推断为正常状态。在该例中，推断部63不设置表示认知运动功能降低状态的标志。
〔第四处理〕
接下来，参照图20对步骤ST21的处理即第四处理进行说明。如上所述，第四处理是基于利用者的视线对于利用者的周围环境的动向推断利用者的状态的处理。在以下的第四处理中，能够区别地推断第一注意功能降低状态与第二注意功能降低状态。
〈步骤ST211〉
推断部63对第二自上而下指标值TD2是否低于预先确定的第二自上而下阈值TDth2进行判定。例如，第二自上而下阈值TDth2设定为与利用者的主任务属于步行的情况下的利用者的自上而下注意请求量相应的值。在第二自上而下指标值TD2低于第二自上而下阈值TDth2的情况下，进行步骤ST212的处理，在不低于第二自上而下阈值TDth2的情况下，进行步骤ST215的处理。
〈步骤ST212〉
推断部63对第二自下而上指标值BU2是否低于预先确定的第二自下而上阈值BUth2进行判定。例如，第二自下而上阈值BUth2设定为与利用者的主任务属于步行的情况下的利用者的自下而上注意请求量相应的值。在第二自下而上指标值BU2低于第二自下而上阈值BUth2的情况下，进行步骤ST213的处理，在不低于第二自下而上阈值BUth2的情况下，进行步骤ST214的处理。
〈步骤ST213〉
在第二自上而下指标值TD2低于第二自上而下阈值TDth2、且第二自下而上指标值BU2低于第二自下而上阈值BUth2的情况下，推断部63将利用者的状态推断为第二注意功能降低状态(重度的注意功能降低)。在该例中，推断部63设置表示第二注意功能降低状态的标志。
〈步骤ST214〉
在第二自上而下指标值TD2低于第二自上而下阈值TDth2、且第二自下而上指标值BU2不低于第二自下而上阈值BUth2的情况下，推断部63不将利用者的状态推断为第二注意功能降低状态，而是将利用者的状态推断为第一注意功能降低状态(轻度的注意功能降低)。在该例中，推断部63设置表示第一注意功能降低状态的标志。
〈步骤ST215〉
在第二自上而下指标值TD2不低于第二自上而下阈值TDth2的情况下，推断部63不将利用者的状态推断为注意功能降低状态，而是将利用者的状态推断为正常状态。在该例中，推断部63不设置表示注意功能降低状态的标志。
〔第五处理〕
接下来，参照图21对步骤ST22的处理即第五处理进行说明。如上所述，第五处理是基于利用者的步伐推断利用者的状态的处理。
〈步骤ST221〉
推断部63对规定时间内的利用者的步伐是否异常进行判定。例如，推断部63对利用者的移动速度的每单位时间的变化量超过预先确定的允许量的状态的持续时间进行计测，在该持续时间超过预先确定的允许时间的情况下，将规定时间内的利用者的步伐判定为异常。在规定时间内的利用者的步伐异常的情况下，前进至步骤ST222，在非异常的情况下，前进至步骤ST223。
〈步骤ST222〉
在规定时间内的利用者的步伐异常的情况下，推断部63将利用者的状态推断为运动功能降低状态。在该例中，推断部63设置表示运动功能降低状态的标志。
〈步骤ST223〉
在规定时间内的利用者的步伐非异常的情况下，推断部63不将利用者的状态推断为运动功能降低状态，而是将利用者的状态推断为正常状态。在该例中，推断部63不设置表示运动功能降低状态的标志。
〔第六处理〕
接下来，参照图22对步骤ST23的处理即第六处理进行说明。如上所述，第六处理是基于利用者的摇晃推断利用者的状态的处理。
〈步骤ST231〉
推断部63对规定时间内的利用者的摇晃是否异常进行判定。例如，推断部63对利用者的姿态的摆动幅度超过预先确定的允许幅度的状态的持续时间进行计测，在该持续时间超过预先确定的允许时间的情况下，将规定时间内的利用者的摇晃判定为异常。在规定时间内的利用者的摇晃异常的情况下，前进至步骤ST232，在非异常的情况下，前进至步骤ST233。
〈步骤ST232〉
在规定时间内的利用者的摇晃异常的情况下，推断部63将利用者的状态推断为运动功能降低状态。在该例中，推断部63设置表示运动功能降低状态的标志。
〈步骤ST233〉
在规定时间内的利用者的摇晃非异常的情况下，推断部63不将利用者的状态推断为运动功能降低状态，而是将利用者的状态推断为正常状态。在该例中，推断部63不设置表示运动功能降低状态的标志。
〔综合性的推断〕
接下来，对步骤ST30的处理即综合性的推断进行说明。推断部63基于第一～第六处理的结果综合性地推断利用者的状态。例如推断部63也可以构成为进行如下那样的动作。
推断部63也可以将第一～第三处理(或者第四～第六处理)的全部结果作为推断结果输出。例如，在第一处理中表示第一功能降低状态的标志被设置、且在第三处理中表示认知运动功能降低状态的标志被设置的情况下，推断部63输出表示推断为利用者的状态是第一功能降低状态且是认知运动功能降低状态的推断结果。在该例中，推断部63设置表示第一功能降低状态的标志及表示认知运动功能降低状态的标志这两方。
或者，推断部63也可以进行第一～第三处理(或者第四～第六处理)的结果的多数决定，将该多数决定的结果作为推断结果输出。例如在第一处理以及第二处理的各自中表示第一功能降低状态的标志被设置、且在第三处理中表示认知运动功能降低状态的标志被设置的情况下，推断部63输出表示推断为利用者的状态推断是第一功能降低状态的推断结果。在该例中，推断部63设置表示第一功能降低状态的标志。
此外，推断部63也可以根据显示于显示部11的图像的种类，对第一～第三处理的结果附加权重，进行附加了权重的第一～第三处理的结果的多数决定，将该多数决定的结果作为推断结果输出。例如，推断部63在显示于显示部11的图像属于“高吸引图像”的情况下，也可以使对第一处理的结果附加的权重大于对第二处理的结果附加的权重。此外，推断部63在显示于显示部11的图像属于“低吸引图像”的情况下，也可以使对第二处理的结果附加的权重大于对第一处理的结果附加的权重。
〔实施方式的效果〕
如以上那样，在实施方式的便携终端10中，推断处理部42基于利用者的视线对于显示于显示部11的图像的动向，进行推断利用者的状态的第一处理。另外，在利用者的视线对于显示于显示部11的图像的动向、与利用者的状态(特别是与注意功能相关的状态)之间存在关联。因此，通过进行第一处理，能够基于利用者的视线对于显示于显示部11的图像的动向，推断包括注意功能降低状态的利用者的状态。
此外，在实施方式的便携终端10中，推断处理部42在利用者的主任务属于便携终端10的操作的情况下，进行第一处理，在利用者的主任务不属于便携终端10的操作的情况下，不进行第一处理。
另外，在利用者的主任务属于便携终端10的操作的情况下，利用者的视线变得容易朝向显示于便携终端10的显示部11的图像。因此，利用者的视线对于显示于显示部11的图像的动向难以被阻碍。另一方面，在利用者的主任务不属于便携终端10的操作的情况下，利用者的视线变得难以朝向显示于便携终端10的显示部11的图像。因此，利用者的视线对于显示于显示部11的图像的动向容易被阻碍。
因此，在利用者的主任务属于便携终端10的操作的情况下，进行第一处理，在利用者的主任务不属于便携终端10的操作的情况下，不进行第一处理，由此基于利用者的视线对于显示于显示部11的图像的动向的第一处理能够被适当地进行。由此，能够适当地进行利用者的状态的推断。
此外，在实施方式的便携终端10中，推断处理部42在利用者的主任务属于步行的情况下，进行基于利用者的视线对于利用者的周围环境的动向来推断利用者的状态的第四处理。另外，在利用者的视线对于利用者的周围环境的动向、与利用者的状态(特别是与注意功能相关的状态)之间存在关联。此外，在利用者的主任务属于步行的情况下，利用者的视线变得容易朝向利用者的周围环境。因此，通过在利用者的主任务属于步行的情况下，进行第四处理，从而能够基于利用者的视线对于利用者的周围环境的动向，适当地推断包括注意功能降低状态的利用者的状态。由此，能够适当地进行利用者的状态的推断。
此外，在实施方式的便携终端10中，在第一处理中，能够基于利用者的自上而下注意资源量与自下而上注意资源量，适当地推断利用者的状态。由此，能够适当地进行利用者的状态的推断。另外，可以说对于第四处理也同样。
此外，在实施方式的便携终端10中，通过对自上而下计测部61设置注目位置检测部611与自上而下指标导出部612，能够基于利用者的视线对于显示于显示部11的图像中的注目位置的动向，适当地导出第一自上而下指标值TD1。由此，能够适当地进行利用者的状态的推断。另外，可以说对于第二自上而下指标值TD2也同样。
此外，在实施方式的便携终端10中，通过对自下而上计测部62设置显著性检测部621与自下而上指标导出部622，能够基于利用者的视线对于显示于显示部11的图像中的显著性的分布的动向，适当地导出第一自下而上指标值BU1。由此，能够适当地进行利用者的状态的推断。另外，可以说对于第二自下而上指标值BU2也同样。
(控制部的动作)
在实施方式的便携终端10中，控制部31进行与通过状态推断部40推断出的利用者的状态相应的动作。例如，若通过状态推断部40将利用者的状态推断为第一注意功能降低状态，则控制部31进行与第一注意功能降低状态相应的第一动作。此外，若通过状态推断部40将利用者的状态推断为第二注意功能降低状态，则控制部31进行与第二注意功能降低状态相应的第二动作。此外，控制部31也可以经由通信部24向外部发送表示状态推断部40的推断结果的信息。
〔第一动作的具体例〕
作为第一动作的例子，可列举出用于消除利用者的注意功能降低的动作、输出表示利用者的状态为第一注意功能降低状态的第一通知信息的动作等。作为用于消除利用者的注意功能降低的动作的例子，可列举出输出用于催促利用者休息的警报信息的动作、输出用于催促利用者对便携终端10的操作集中注意力的注意唤起信息的动作等。作为输出警报信息的动作的例子，可列举出通过对显示部11输出警报信息从而使警报信息以图像形式从显示部11输出的动作、通过对扬声器12输出警报信息从而使警报信息以声音形式从扬声器12输出的动作等。对于注意唤起信息以及第一通知信息也同样。此外，作为输出第一通知信息的动作的其他例，可列举出通过对通信部24输出第一通知信息从而使第一通知信息被发送到其他信息终端(省略图示)的动作。
〔第二动作的具体例〕
作为第二动作的例子，可列举出输出表示利用者的状态为第二注意功能降低状态的第二通知信息的动作、用于向便携终端10的周围通知利用者的状态为第二注意功能降低状态的动作等。作为输出第二通知信息的动作的例子，可列举出通过向显示部11输出第二通知信息从而使第二通知信息以图像形式从显示部11输出的动作、通过向扬声器12输出第二通知信息从而使第二通知信息以声音形式从扬声器12输出的动作、通过向通信部24输出第二通知信息从而使第二通知信息被发送到其他信息终端(省略图示)的动作等。作为用于向便携终端10的周围通知利用者的状态为第二注意功能降低状态的动作的例子，可列举出使便携终端10的灯(省略图示)闪烁的动作。
(自下而上指标导出部的变形例)
另外，自下而上指标导出部622在第一处理中，也可以如以下那样，按预先确定计测期间导出第一自下而上指标值BU1。
首先，自下而上指标导出部622从按时间序列排列的多个显著性地图D40之中，提取出计测期间内包含的两个以上的显著性地图D40，并基于通过视线检测部41检测出的利用者的视线的方向，在计测期间内包含的两个以上的显著性地图D40的每一个中检测注视点。
接下来，自下而上指标导出部622对从计测期间内包含的显著性地图D40中检测出的注视点是否与该显著性地图D40所示的高吸引位置一致进行判定。
接下来，自下而上指标导出部622基于注视点与高吸引位置的一致判定的结果，导出第一自下而上指标值BU1。例如，第一自下而上指标值BU1是与下述比例相应的值，即与高吸引位置一致的注视点的数量占计测期间内所含的注视点的总数的比例(以下记载为“高吸引一致比例”)。该高吸引一致比例是高吸引位置与利用者的视线的一致度的一例。
此外，自下而上指标导出部622在第四处理中，也可以基于与上述的第一处理中的步骤相同的步骤，按预先确定的计测期间导出第二自下而上指标值BU2。
(实施方式的变形例1)
接下来，对实施方式的变形例1的便携终端10进行说明。实施方式的变形例1的便携终端10在推断处理部42的动作上与实施方式的便携终端10不同。
在实施方式的变形例1中，推断处理部42在利用者的主任务属于便携终端10的操作的情况下，与利用者对于显示于显示部11的图像的自下而上注意的产生容易度相应地，选择性地进行第一处理或第二处理。具体而言，推断处理部42与显示于显示部11的图像中的高吸引比例(高吸引位置在图像中所占的比例)相应地，选择性地进行第一处理或第二处理。在显示于显示部11的图像中的高吸引比例超过高吸引比例阈值的情况下，推断处理部42进行第一处理。另一方面，在显示于显示部11的图像中的高吸引比例不超过高吸引比例阈值的情况下，推断处理部42进行第二处理。
在该例中，推断部63在通过主任务检测部51检测出的利用者的主任务属于便携终端10的操作的情况下，基于图像种类检测部52的检测结果，选择性地进行第一处理或第二处理。在通过图像种类检测部52检测出的图像(显示于显示部11的图像)的种类属于“高吸引图像”的情况下，推断部63进行第一处理。另一方面，在通过图像种类检测部52检测出的图像的种类属于“低吸引图像”的情况下，推断部63进行第二处理。
〔实施方式的变形例1的效果〕
如以上那样，在实施方式的变形例1的便携终端10中，推断处理部42与利用者对于显示于显示部11的图像的自下而上注意的产生容易度相应地，选择性地进行第一处理或第二处理。具体而言，推断处理部42在利用者对于显示于显示部11的图像的自下而上注意容易产生的情况下(在该例中为属于高吸引图像的情况下)，进行第一处理。此外，推断处理部42在利用者对于显示于显示部11的图像的自下而上注意难以产生的情况下(在该例中为属于低吸引图像的情况下)，进行第二处理。
另外，在利用者对于显示于显示部11的图像的自下而上注意容易产生的情况下，能够高精度地进行基于利用者的视线对于显示于显示部11的图像的动向来推断利用者的状态的第一处理。另一方面，在利用者对于显示于显示部11的图像的自下而上注意难以产生的情况下，难以高精度地进行第一处理。
因此，通过对利用者对于显示于显示部11的图像的自下而上注意的产生容易度进行考虑，能够适当地进行基于利用者的视线对于显示于显示部11的图像的动向来推断利用者的状态的第一处理、以及基于利用者的认知反应时间来推断利用者的状态的第二处理。由此，能够适当地进行利用者的状态的推断。
(实施方式的变形例2)
接下来，对实施方式的变形例2的便携终端10进行说明。实施方式的变形例2的便携终端10在推断处理部42的动作上与实施方式的便携终端10不同。
在实施方式的变形例2中，推断处理部42不仅在利用者的主任务属于便携终端10的操作的情况下，而且在利用者的主任务不属于便携终端10的操作的情况下，也进行第一处理。另外，关于在第一处理中用于将利用者的状态推断为注意功能降低状态的条件，与利用者的主任务属于便携终端10的操作的情况下相比，在利用者的主任务不属于便携终端10的操作的情况下更严格。例如，在利用者的主任务不属于便携终端10的操作的情况下进行的第一处理中的第一自下而上阈值BUth1，与在利用者的主任务属于便携终端10的操作的情况下进行的第一处理中的第一自下而上阈值BUth1相比而变大。另外，在第一处理中用于将利用者的状态推断为注意功能降低状态的条件的调节，例如通过推断部63来进行。
〔实施方式的变形例2〕
如以上那样，在实施方式的变形例2的便携终端10中，关于在第一处理中用于将利用者的状态推断为注意功能降低状态的条件，与利用者的主任务属于便携终端10的操作的情况下相比，在利用者的主任务不属于便携终端10的操作的情况下更严格。另外，在利用者的主任务不属于便携终端10的操作的情况下，由于利用者的视线对于显示于便携终端10的显示部11的图像的动向容易被阻碍，因此第一处理中的利用者的状态的推断容易发生错误。因此，通过使在利用者的主任务不属于便携终端10的操作的情况下进行的第一处理中的条件(用于将利用者的状态推断为注意功能降低状态的条件)，比在利用者的主任务属于便携终端10的操作的情况下进行的第一处理中的条件更严格，从而能够减少第一处理中的利用者的状态的推断错误的发生。由此，能够适当地进行利用者的状态的推断。
(其他实施方式)
在以上的说明中，举出在推断处理部42中进行第一～第六处理的情况为例子，但不限于此。例如既可以省略第一～第六处理中的某一个处理，也可以除了进行第一～第六处理之外还进行其他处理。
此外，举出在利用者的主任务属于便携终端10的操作的情况下，进行第一处理、第二处理、第三处理的情况的例子，但不限于此。例如，推断处理部42也可以构成为不仅在利用者的主任务属于便携终端10的操作的情况下，而且在利用者的主任务不属于便携终端10的操作的情况下，也进行第一处理、第二处理、第三处理。
此外，举出在利用者的主任务属于步行的情况下，进行第四处理、第五处理、第六处理的情况的例子，但不限于此。例如，推断处理部42也可以构成为不仅在利用者的主任务属于步行的情况下，而且在利用者的主任务不属于步行的情况下，也进行第四处理、第五处理、第六处理。
在以上的说明中，举出便携终端10构成智能手机的情况的例子，但不限于此。例如便携终端10也可以是平板，或也可以是其他便携式的信息终端。
在以上的说明中，举出推断部63按推断周期推断利用者的状态的情况的例子，但不限于此。例如，推断部63既可以构成为如上述那样推断利用者的短期性的状态，也可以构成为推断利用者的长期性的状态。作为利用者的长期性的状态的例子，可列举出症状缓慢推进的疾病的状态、年纪增长引起的功能降低的状态等。
此外，在以上的说明中，举出推断部63对功能降低状态(具体而言为注意功能降低状态、运动功能降低状态、认知运动功能降低状态)及正常状态进行推断的情况的例子，但不限于此。例如，推断部63既可以构成为对上述的功能降低状态那样的利用者的消极状态进行推断，也可以构成为对利用者的积极状态进行推断。作为利用者的积极状态的例子，可列举出由功能降低状态向正常状态恢复的状态、被维持在正常状态的状态等。
此外，在以上的说明中，举出了利用通过前置相机21获得的图像数据、以及通过后置相机22获得的图像数据的情况的例子，但不限于此。例如，控制装置30也可以构成为利用输入到显示设备的图像数据、以及通过相机对观察显示于该显示设备的图像的对象者(可成为利用者的对象者)进行拍摄而获得的图像数据。作为显示设备的例子，可列举出智能手机、个人计算机、电视接收机等。此外，控制装置30也可以构成为利用通过监视相机获得的图像数据、以及通过对观察由监视相机拍摄的环境的对象者进行拍摄的相机获得的图像数据。监视相机设于医院的等候室、安保人员的监视室、商店的收银台、建筑物内、街头等。
此外，在以上的说明中，自上而下阈值、自下而上阈值等成为判定的基准的基准值，也可以按每个利用者设定。具体而言，上述的基准值也可以基于利用者的经验、利用者通常的举动等对利用者来说特有的信息的学习结果来设定或者调节。作为利用者的经验的例子，可列举出道路的通行频度等。例如也可以基于利用者步行着的道路是常走的道路还是首次通行的道路，来设定或者调节上述的基准值。作为利用者通常的举动的例子，可列举出一星期、一个月等长时间的平均的利用者的举动、利用其他的方法推断为正常状态的期间内的利用者的举动等。作为利用者的举动的例子，可列举出利用者的视线移动对于高吸引位置以及/或者注目位置的灵敏度等。
此外，上述的基准值也可以基于存储有与人相关的各种数据的数据库来设定。在这样的数据库中，人的年龄、身体特征、身体功能、性格、文化、生活方式等相互建立关联地存储。例如也可以从存储于数据库的数据组之中提取出与具有特定的特性的人相关的数据组，并基于该提取出的数据组来设定上述的基准值。另外，作为从存储于数据库的数据组之中提取的数据组的例子，可列举出与健康人相关的数据组、与具有特定的疾病的人相关的数据组等。此外，上述的基准值也可以基于通过与控制装置30不同的其他设备(例如其他智能手机)获得的信息来设定。
此外，也可以将以上的实施方式适当组合来实施。以上的实施方式是本质上优选的示例，无意限定本发明、本发明的适用物、或者其用途的范围。
工业上的可利用性
如以上说明那样，本文公开的技术可用作于推断利用者的状态的状态推断装置。

Claims (10)

1.一种状态推断装置，对具有显示图像的显示部的便携终端的利用者的状态进行推断，其特征在于，具备：
视线检测部，检测所述利用者的视线；以及
推断处理部，进行第一推断处理，
所述推断处理部具有：
自上而下计测部，在所述第一推断处理中，基于所述显示部上所显示的图像以及通过所述视线检测部检测的所述利用者的视线，计测与所述利用者对所述图像的自上而下注意上所被分配的注意资源的量相关的自上而下指标值；
自下而上计测部，在所述第一推断处理中，基于所述显示部上所显示的图像以及通过所述视线检测部检测的所述利用者的视线，计测与所述利用者对所述图像的自下而上注意上所被分配的注意资源的量相关的自下而上指标值；以及
推断部，在所述第一推断处理中，基于通过所述自上而下计测部计测的自上而下指标值以及通过所述自下而上计测部计测的自下而上指标值，推断包括注意功能降低状态的所述利用者的状态。
2.如权利要求1所述的状态推断装置，其特征在于，
所述自上而下计测部具有：
注目位置检测部，在所述第一推断处理中，检测所述显示部上所显示的图像中的注目位置；以及
自上而下指标导出部，在所述第一推断处理中，基于所述利用者的视线对于所述图像中的注目位置而言的动向，导出所述自上而下指标值。
3.如权利要求1所述的状态推断装置，其特征在于，
所述自下而上计测部具有：
显著性检测部，在所述第一推断处理中，检测所述显示部上所显示的图像中的显著性的分布；以及
自下而上指标导出部，在所述第一推断处理中，基于所述利用者的视线对于所述图像中的显著性的分布而言的动向，导出所述自下而上指标值。
4.如权利要求2所述的状态推断装置，其特征在于，
所述自下而上计测部具有：
显著性检测部，在所述第一推断处理中，检测所述显示部上所显示的图像中的显著性的分布；以及
自下而上指标导出部，在所述第一推断处理中，基于所述利用者的视线对于所述图像中的显著性的分布而言的动向，导出所述自下而上指标值。
5.如权利要求1所述的状态推断装置，其特征在于，
所述推断部在所述自上而下指标值低于预先确定的自上而下阈值的情况下，在所述自下而上指标值不低于预先确定的自下而上阈值的情况下，推断为所述利用者是第一注意功能降低状态，在所述自下而上指标值低于所述自下而上阈值的情况下，推断为所述利用者是注意功能比所述第一注意功能降低状态低的第二注意功能降低状态。
6.如权利要求2所述的状态推断装置，其特征在于，
所述推断部在所述自上而下指标值低于预先确定的自上而下阈值的情况下，在所述自下而上指标值不低于预先确定的自下而上阈值的情况下，推断为所述利用者是第一注意功能降低状态，在所述自下而上指标值低于所述自下而上阈值的情况下，推断为所述利用者是注意功能比所述第一注意功能降低状态低的第二注意功能降低状态。
7.如权利要求3所述的状态推断装置，其特征在于，
所述推断部在所述自上而下指标值低于预先确定的自上而下阈值的情况下，在所述自下而上指标值不低于预先确定的自下而上阈值的情况下，推断为所述利用者是第一注意功能降低状态，在所述自下而上指标值低于所述自下而上阈值的情况下，推断为所述利用者是注意功能比所述第一注意功能降低状态低的第二注意功能降低状态。
8.如权利要求4所述的状态推断装置，其特征在于，
所述推断部在所述自上而下指标值低于预先确定的自上而下阈值的情况下，在所述自下而上指标值不低于预先确定的自下而上阈值的情况下，推断为所述利用者是第一注意功能降低状态，在所述自下而上指标值低于所述自下而上阈值的情况下，推断为所述利用者是注意功能比所述第一注意功能降低状态低的第二注意功能降低状态。
9.如权利要求1～8中任一项所述的状态推断装置，其特征在于，
所述推断处理部进行所述第一推断处理、以及基于所述利用者的认知反应时间来推断所述利用者的状态的第二推断处理。
10.如权利要求9所述的状态推断装置，其特征在于，
所述推断处理部根据所述利用者对所述显示部上所显示的图像的自下而上注意的产生容易度，选择性地进行所述第一推断处理或所述第二推断处理。
CN202110193627.3A 2020-03-19 2021-02-18 状态推断装置 Pending CN113495624A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020049974A JP7380365B2 (ja) 2020-03-19 2020-03-19 状態推定装置
JP2020-049974 2020-03-19

Publications (1)

Publication Number Publication Date
CN113495624A true CN113495624A (zh) 2021-10-12

Family

ID=74668678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110193627.3A Pending CN113495624A (zh) 2020-03-19 2021-02-18 状态推断装置

Country Status (4)

Country Link
US (1) US11809621B2 (zh)
EP (1) EP3882745B1 (zh)
JP (1) JP7380365B2 (zh)
CN (1) CN113495624A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US20150112224A1 (en) * 2012-04-24 2015-04-23 Universitat De Barcelona Method of measuring attention
US20150323986A1 (en) * 2012-10-14 2015-11-12 Ari M. Frank Reducing power consumption of a wearable device utilizing eye tracking
CN105229584A (zh) * 2013-05-29 2016-01-06 三菱电机株式会社 信息显示装置
JP2016103102A (ja) * 2014-11-27 2016-06-02 京セラ株式会社 携帯端末及び制御方法
US20170192502A1 (en) * 2014-06-17 2017-07-06 Koninklijke Philips N.V. Evaluating clinician
US20180362053A1 (en) * 2015-12-17 2018-12-20 Mazda Motor Corporation Visual perception assistance system and visual-perception target object detection system
US10162651B1 (en) * 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
WO2019130992A1 (ja) * 2017-12-26 2019-07-04 株式会社Ｎｔｔドコモ 情報処理装置
CN110799932A (zh) * 2017-06-29 2020-02-14 麦克赛尔株式会社 便携终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4696339B2 (ja) 2000-07-11 2011-06-08 マツダ株式会社 車両の制御装置
JP2008243031A (ja) 2007-03-28 2008-10-09 Toyota Central R&D Labs Inc 漫然運転判定装置
JP5966640B2 (ja) 2012-06-08 2016-08-10 株式会社豊田中央研究所 漫然運転検出装置及びプログラム
CN103770733B (zh) 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US10884503B2 (en) 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
US20210011550A1 (en) * 2019-06-14 2021-01-14 Tobii Ab Machine learning based gaze estimation with confidence
JP7409184B2 (ja) 2020-03-19 2024-01-09 マツダ株式会社 状態推定装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US20150112224A1 (en) * 2012-04-24 2015-04-23 Universitat De Barcelona Method of measuring attention
US20150323986A1 (en) * 2012-10-14 2015-11-12 Ari M. Frank Reducing power consumption of a wearable device utilizing eye tracking
CN105229584A (zh) * 2013-05-29 2016-01-06 三菱电机株式会社 信息显示装置
US20170192502A1 (en) * 2014-06-17 2017-07-06 Koninklijke Philips N.V. Evaluating clinician
JP2016103102A (ja) * 2014-11-27 2016-06-02 京セラ株式会社 携帯端末及び制御方法
US20180362053A1 (en) * 2015-12-17 2018-12-20 Mazda Motor Corporation Visual perception assistance system and visual-perception target object detection system
US10162651B1 (en) * 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
CN110799932A (zh) * 2017-06-29 2020-02-14 麦克赛尔株式会社 便携终端
WO2019130992A1 (ja) * 2017-12-26 2019-07-04 株式会社Ｎｔｔドコモ 情報処理装置

Also Published As

Publication number Publication date
US11809621B2 (en) 2023-11-07
US20210290128A1 (en) 2021-09-23
EP3882745A1 (en) 2021-09-22
EP3882745B1 (en) 2023-05-03
JP2021145975A (ja) 2021-09-27
JP7380365B2 (ja) 2023-11-15

Similar Documents

Publication Publication Date Title
US9932000B2 (en) Information notification apparatus and information notification method
JP5841538B2 (ja) 関心度推定装置および関心度推定方法
JP5863423B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20060009702A1 (en) User support apparatus
WO2014054210A2 (en) Information processing device, display control method, and program
US20130293586A1 (en) Information processing device, alarm method, and program
WO2007074842A1 (ja) 画像処理装置
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
US20220346683A1 (en) Information processing system and information processing method
KR20190118965A (ko) 시선 추적 시스템 및 방법
JP2015002477A (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2016076259A (ja) 情報処理装置、情報処理方法及びプログラム
CN113495623A (zh) 状态推断装置
JPWO2019175922A1 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
CN113495624A (zh) 状态推断装置
JP2023123787A (ja) 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム
KR101331055B1 (ko) 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법
US20200279110A1 (en) Information processing apparatus, information processing method, and program
JP2019152734A (ja) デジタル情報表示システム
JP6576181B2 (ja) イベント支援システム
JP6449504B1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2017167501A (ja) 位相特定装置、携帯端末、位相特定方法及びプログラム
JP2020024117A (ja) 情報管理サーバ、情報管理方法、プログラム、情報提示端末及び情報通信システム
KR102443195B1 (ko) 시선 추적 기반 간성 뇌증 진단 방법 및 장치
JP5849762B2 (ja) 予測情報提示システム、予測情報提示装置、予測情報提示方法および予測情報提示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination