CN116547709A - 电子设备、信息处理装置、专注度计算程序及专注度计算方法 - Google Patents

Abstract

电子设备10具有拍摄部11、视线检测部12和控制部14。拍摄部11通过拍摄生成与场景对应的图像。视线检测部12检测对象人员相对于场景的视线。控制部14根据该图像确定作为对象人员的专注度的推断源的图像的可靠度。控制部14根据可靠度、图像和视线来推断对象人员的专注度。

Description

电子设备、信息处理装置、专注度计算程序及专注度计算方法

相关申请的相互参考

本申请要求2020年12月3日在日本申请的日本特愿2020-201114的优先权，作为参考，在此援引该在先申请的全部公开内容。

技术领域

本发明涉及一种电子设备、信息处理装置、专注度计算程序及专注度计算方法。

背景技术

移动体的安全驾驶要求驾驶员的注意力。因此，一直在研究对驾驶员的注意力进行观察，若注意力降低，则向驾驶员发出警报，或者，进行驾驶辅助。作为对注意力的观察，有方案提出：计算视线与自身车辆周围的对象物体如对向车辆之间的重合度的累计值即累计辨认度，并将其与基准值进行比较(参考专利文献1)。

专利文献1：国际公开2008-029802号

发明内容

根据本发明的第一方面的一种电子设备，其中，

具备：

拍摄部，通过拍摄生成与场景对应的图像；

视线检测部，检测对象人员相对于所述场景的视线；

控制部，根据该图像来确定作为所述对象人员的专注度的推断源的所述图像的可靠度，并根据该可靠度、所述图像和所述视线来推断所述对象人员的专注度。

根据第二方面的一种信息处理装置，其中，

具备：

获取部，获取与场景对应的图像和对象人员相对于所述场景的视线；

控制部，根据该图像来确定作为所述对象人员的专注度的推断源的所述图像的可靠度，并根据该可靠度、所述图像和所述视线，推断所述对象人员的专注度；

输出部，输出所述专注度。

根据第三方面的一种专注度计算程序，其中，

使计算机作为拍摄部、视线检测部、控制部发挥作用，

所述拍摄部通过拍摄生成与场景对应的图像；

所述视线检测部检测对象人员相对于所述场景的视线；

所述控制部根据该图像来确定作为所述对象人员的专注度的推断源的所述图像的可靠度，并根据该可靠度、所述图像和所述视线，推断所述对象人员的专注度。

根据第四方面的一种专注度计算方法，其中，

包括：

拍摄工序，通过拍摄生成与场景对应的图像；

视线检测工序，检测对象人员相对于所述场景的视线；

确定工序，根据该图像，确定作为所述对象人员的专注度的推断源的所述图像的可靠度；

推断工序，根据该可靠度、所述图像和所述视线来推断所述对象人员的专注度。

附图说明

图1是表示第一实施方式的电子设备的示意性结构的框图。

图2是用以说明视线检测部检测到的视线与图像之间的关系的图。

图3是表示对图像推断的视线预测图的具体例子的图。

图4是用以说明第一实施方式中图1的控制部所执行的推断处理的流程图。

图5是用以说明第二实施方式中图1的控制部所执行的推断处理的流程图。

图6是表示第一实施方式和第二实施方式的变形例即信息处理装置的示意性结构的框图。

具体实施方式

下面，参考附图对应用本发明的电子设备的实施方式进行说明。需要说明的是，下述说明也用作对应用本发明的信息处理装置、专注度计算程序及专注度计算方法的说明。

本发明第一实施方式的电子设备例如设置在移动体上。移动体例如可以包括车辆、船舶和航空器等。车辆例如可以包括汽车、工业车辆、铁路车辆、生活车辆和在跑道上行驶的固定翼飞机等。汽车例如可以包括乘用车、卡车、公共汽车、两轮车和无轨电车等。工业车辆例如可以包括农业用工业车辆和建设用工业车辆等。工业车辆例如可以包括叉车和高尔夫球车等。农业用工业车辆例如可以包括拖拉机、耕作机、移植机、割捆机、联合收割机和割草机等。建设用工业车辆例如可以包括推土机、铲土机、挖掘机、吊车、翻斗车和压路机等。车辆可以包括靠人力行驶的车辆。车辆的分类并不限于上述例子。例如，汽车可以包括能够在道路上行驶的工业车辆。多个分类可以包括相同车辆。船舶可以包括诸如水上喷气式飞机、小艇和油轮等。航空器可以包括诸如固定翼飞机和旋转翼飞机等。

如图1所示，本发明第一实施方式的电子设备10包括拍摄部11、视线检测部12、存储器13和控制部14。

拍摄部11例如以能够拍摄移动体的前进方向的场景的方式设置在移动体上。拍摄部11例如是能够以30fps的速度进行拍摄的照相机。拍摄部11通过拍摄生成与场景对应的图像。

视线检测部12例如以能够检测到坐在移动体驾驶位上的对象人员的视线的方式设置在移动体上。视线检测部12例如是接触型的眼动仪(Eye lacq uer)和非接触型的眼动仪中的任意一种，检测对象人员相对于场景的视线。如图2所示，视线LS例如被表示为，在与由拍摄部11拍摄生成的图像IM相同的坐标系中的与位置PE相当的视线LS的方向。

视线检测部12也可以检测时间序列的视线LS的视线数据作为视线数据。更具体地说，视线检测部12可以按时间在图像IM上检测视线LS的位置PE，并将该一系列的时间序列的视线LS的位置PE作为视线数据输出。视线检测部12可以比拍摄部11快速、换言之以高频率来检测视线LS，并将检测到的该一系列的时间序列的视线LS的位置PE作为一个图像IM的视线LS的路径进行累计并输出。

存储器13例如包括RAM(Random Access Memory：随机存取存储器)及ROM(ReadOnly Memory：只读存储器)等任意的存储设备。存储器13存储使控制部14发挥作用的各种程序，以及控制部14要使用的各种信息。

控制部14包括一个以上的处理器和存储器。处理器可以包括读取特定程序并执行特定功能的通用处理器和专用于特定处理的专用处理器。专用处理器可以包括专用集成电路(ASIC；Application Specific Integrated Circuit)。处理器可以包括可编程逻辑器件(PLD；Programmable Logic Device)。PL D可以包括FPGA(Field-Programmable GateArray：现场可编程门阵列)。控制部14可以是一个或多个处理器协作的SoC(System-on-a-Chip：片上系统)和SiP(System Ina Package：系统级封装)中的任意一个。控制部14控制电子设备10的各构成部件的动作。

在通常时，控制部14使拍摄部11以诸如30fps的速度进行连续拍摄，连续地获取图像IM作为信息。控制部14使视线检测部12检测当拍摄部11进行拍摄时的对象人员的视线LS，并获取与图像IM的拍摄时刻实质相同的时期的视线LS作为信息。所谓与图像IM的拍摄时刻实质相同的时期可以包括单一的检测时刻，也可以包括从图像IM的最近拍摄的前一个拍摄时刻到最近的拍摄时刻之间的多个检测时刻。在包括视线LS的单一的检测时刻的情况下，与图像IM的拍摄时刻实质相同的时期可以不是严格的同一时刻，也可以包括在与图像拍摄相同的周期的视线检测中最接近拍摄时的时刻中的检测时刻。控制部14使图像IM和在与图像IM的拍摄时刻实质相同的时期所检测的视线LS相关联，并存储于存储器13。

控制部14可以对所获取的图像IM实施图像处理。在利用已实施规定的图像处理的图像IM进行后述的推断部的学习的结构中，控制部14对获取的图像IM实施该规定的图像处理，将其与视线LS相关联并存储于存储器13。规定的图像处理例如可以是基于获取的图像IM的语义分割图像的生成处理。语义分割图像是将标签或类别与图像IM中的全部像素相关联而成的图像。

控制部14根据图像IM来确定该图像IM的可靠度。如后所述，在本实施方式中，根据相对于任意图像IM的视线LS来推断专注度。专注度的推断精度受图像所包括的元素等左右。图像IM的可靠度是表示作为专注度的推断源的图像IM的合格性的指标。

控制部14可以基于通过图像识别检测的图像IM中所包括的元素的类型、数量和元素在图像IM中的位置中的至少一个，进行计算来确定可靠度。元素例如包括车辆、行人、道路形状、标识和信号中的至少一个。在基于多个图像IM计算可靠度的结构中，元素可以包括车辆、行人、道路形状、标识以及信号的光流(optical flow)、换言之运动中的至少一个。例如，检测到的元素的数量越多，所计算的可靠度越高。如果检测到的元素的类型是车辆、行人等行为需要引起驾驶员注意的对象，则计算的可靠度变高。例如，如果检测到的元素的类型是诸如标识、信号等因相对于地面固定而无需注意其行动的对象，则相比类型是车辆等的情况，所计算的可靠度变低。检测到的元素的位置越靠近移动体的移动路径和移动体，所计算的可靠度越高。检测到的道路的形状越复杂，所计算的可靠度越高。

或者，控制部14可以作为根据图像IM计算可靠度的可靠度推断部发挥作用，并由此确定可靠度。可靠度推断部可以由对学习用图像和与可靠度相关的信息之间的关系进行机器学习而得到的学习数据构建而成。与可靠度相关的信息，可以是根据学习用图像所包括的元素，通过上述规律计算出的专注度。

控制部14根据所确定的可靠度、拍摄部11生成的图像IM和视线检测部12，推断对象人员的专注度。在第一实施方式中，控制部14根据可靠度来判断可否推断专注度。

若可靠度低于或等于可靠度阈值，则控制部14停止推断专注度。停止推断专注度的时间越长，控制部14可以使可靠度阈值越低。控制部14推断专注度后，使降低了的可靠度阈值恢复为初始值。

若可靠度超过可靠度阈值，则控制部14对专注度进行推断。控制部14根据拍摄时刻与检测时期实质相同的图像IM和视线LS，推断对象人员的专注度。控制部14可以作为由机器学习而得到的学习数据构建的推断部发挥作用，由此来推断专注度。推断部可以由多层结构的神经网络构建而成。

推断部例如可以根据图像IM和对象人员的视线LS，直接推断专注度。推断部可以由学习数据构建而成，所述学习数据是利用学习用图像、学习用对象人员对相当于学习用图像的场景的实际视线、以及该学习用对象人员的专注度的多个组，对学习用图像、实际视线和与专注度相关的生物体信息进行机器学习而得到的数据。

或者，推断部例如可以根据图像IM来推断视线预测图，并根据该视线预测图和对象人员的视线LS来推断专注度。如图3所示，所谓视线预测图MP是二维图，该二维图在构成与特定场景对应的图像IM的各个位置上，表示普通对象人员注视该场景的各个位置的概率，即与视线LS重合的概率。推断部可以包括根据图像IM来推断视线预测图MP的第一推断部，以及根据该视线预测图MP和对象人员的视线LS来推断专注度的第二推断部。第一推断部可以由学习数据构建而成，该学习数据是利用学习用图像以及学习用对象人员对相当于学习用图像的场景的实际视线的多个组，通过对学习用图像和实际视线的关系进行机器学习而得到的数据。第二推断部可以由学习数据构建而成，该学习数据是利用使第一推断部根据学习用图像推断出的学习用视线预测图、学习用对象人员对相当于学习用图像的场景的实际视线、以及该学习用对象人员的专注度的多个组，通过对学习用视线预测图、实际视线和专注度的关系进行机器学习而得到的数据。

或者，推断部例如可以根据图像IM，推断规定范围内的专注度的对象人员的视线预测图。控制部14可以根据推断出的视线预测图和对象人员的视线LS，计算对象人员的专注度。控制部14例如可以确定与对象人员的视线LS对应的视线预测图的位置，或者包括该位置的区域。控制部14还可以计算与视线预测图的位置处的概率或者区域处的概率的平均值或加权平均值等对应的专注度。例如，控制部14可以通过函数或表格以概率越大专注度越低的方式来计算专注度。控制部14例如也可以概率越大则对象人员的专注度越接近规定范围内的平均值、最大值、最小值等特定值的方式来计算专注度。推断部可以由对学习用图像与学习用对象人员对该学习用图像的专注度落入该规定的范围时的该学习用对象人员的学习用对象人员的实际视线之间的关系进行机器学习而得到的学习数据构建而成。

或者，例如，推断部可以针对多个负荷因素的每一个，根据图像IM来推断施加特定负荷因素的负荷的情况下的低专注热图。所谓低专注热图是二维图，该二维图在构成与特定场景对应的图像IM的各个位置上，表示在对普通对象人员施加了特定负荷因素的负荷的情况下注视该场景的各个位置的概率、即与视线重合的概率。负荷因素是对于普通对象人员对驾驶等行动的专注施加负荷的各种因素，例如是与同乘者的对话、免提对话、广播声音的倾听、沉思、困倦、疲劳等。此外，例如，推断部可以根据图像IM，推断在解除了对象人员的全部特定负荷因素或减轻了负荷的情况下的高专注热图。高专注热图是二维图，该二维图在构成与特定场景对应的图像IM的各个位置上，表示在对普通对象人员解除了上述全部特定负荷因素的负荷或减轻了负荷的情况下注视该场景的各个位置的概率，即与视线重合的概率。控制部14可以读取全部低专注热图和高专注热图中与对象人员的视线LS对应的位置PE的概率。控制部14可以从低专注热图组和高专注热图中选择读出的概率最大的热图。控制部14可以根据对所选择的热图确定的基准值，计算专注度。例如，可以对全部低专注热图，在大于或等于0％且小于50％的专注度范围内确定基准值。例如，可以对高专注热图，在大于或等于50％且小于或等于100％的专注度的范围内确定基准值。在与视线LS对应的位置PE的概率最大的热图某一个低专注热图的情况下，控制部14可以计算对低专注热图确定的基准值作为对象人员的专注度。在与视线LS对应的位置PE的概率最大的热图是高专注热图的情况下，控制部14可以计算对高专注热图确定的基准值作为对象人员的专注度。控制部14不仅可以根据所选择的热图的种类，还可以根据该热图中与视线LS对应的位置PE的概率，来计算专注度。例如，可以概率越大则计算出的专注度越小的方式，对低专注热图确定函数或表格。另外，例如，可以概率越大则计算出的专注度的值越大的方式，对高专注热图确定函数或表格。控制部14可以根据与视线LS对应的位置PE的概率，利用对所选出的热图确定的函数或表格来计算专注度。推断部可以包括针对多个负荷因素的每一个来推断低专注热图的第四推断部，以及推断高专注热图的第五推断部。第四推断部可由学习数据构建而成，该学习数据是针对负荷因素的每一个，对学习用图像与在对学习用对象人员施加降低专注力的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的数据。第五推断部可以由对学习用图像与在解除了对学习用对象人员的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成。

控制部14可以根据连续拍摄的多个图像IM和与各个图像IM对应的视线LS，推断专注度。例如，控制部14可以根据从最新图像IM追溯规定时间间隔而得到的范围内的帧的图像IM，推断专注度。控制部14可以从连续拍摄的多个图像IM中，排除视线LS的移动速度大于或等于速度阈值的图像IM，推断专注度。更具体地说，若任意检测时的视线LS从前一检测时的视线LS移动的移动量超过移动量阈值，则控制部14可以排除与该任意检测时的视线LS的检测时相关联的图像IM。换言之，控制部14可以排除扫视过程中的信息。排除的理由是，扫视是向下一个注视点移动过程中的动作，扫视中的视线LS的位置PE不具有作为注视点的意义。控制部14可以通过视线LS的位置PE的移动速度等来判断是否正在扫视。

控制部14可以向外部设备15输出计算出的专注度。外部设备15是根据专注度进行规定动作的装置。外部设备15例如是在专注度小于或等于警报阈值的情况下向对象人员发出警报的警报装置，根据专注度对移动体进行驾驶辅助的驾驶辅助装置，以及根据专注度驾驶移动体的驾驶装置等。

接着，使用图4的流程图对第一实施方式中控制部14所执行的推断处理进行说明。每当控制部14获取1帧图像IM和视线LS时，便开始推断处理。

在步骤S100中，控制部14通过与刚刚之前获取的视线LS的位置PE进行比较来计算所获取的视线LS的移动速度。计算后，过程进入步骤S101。

在步骤S101中，控制部14判断步骤S101中计算出的移动速度是否为大于或等于速度阈值，若大于或等于速度阈值，则推断处理结束，若小于速度阈值，则过程进入步骤S102。

在步骤S102中，控制部14根据停止推断专注度的时间来确定可靠度阈值。确定后，过程进入步骤S103。

在步骤S103中，控制部14根据开始推断处理时获取到的图像IM来确定可靠度。确定后，过程进入步骤S104。

在步骤S104中，控制部14判断步骤S103中所确定的可靠度是否低于或等于步骤S102中所确定的可靠度阈值，若低于或等于可靠度阈值，则推断处理结束，若高于可靠度阈值，则过程进入步骤S105。

在步骤S105中，控制部14根据开始推断处理时获取到的图像IM和视线LS，推断专注度。推断后，过程进入步骤S106。

在步骤S106中，控制部14向外部设备15输出步骤S105中计算出的专注度。输出后，推断处理结束。

具有上述这样的结构的第一实施例的电子设备10，根据图像IM来确定图像IM的可靠度，并根据可靠度、图像IM和视线LS来推断对象人员的专注度。例如，对于高速公路、主要城区、郊外、住宅区等各种场景，注视的对象和方向等通常会发生变化。因此，仅检测视线LS的变化难以提高专注度的推断精度。另外，即使在各种场景中，如果车辆和行人稀少，或是没有交叉路口和弯道等的直线道路等，则无关对象人员的专注度，视线的移动是单调的，所以难以提高专注度的推断精度。另一方面，通过上述这样的结构，电子设备10根据针对各种场景的图像IM的可靠度，推断专注度，所以能够高精度地推断专注度。由于人的注意力受专注度影响，所以电子设备10能够提高对象人员在各种状况下的注意力的推断精度。

另外，若可靠度低于或等于可靠度阈值，则第一实施方式的电子设备10停止推断专注度，通过这样的结构，电子设备10能够仅推断值得信任的推断精度即专注度。

另外，停止推断专注度的时间越长，则第一实施方式的电子设备10使可靠度阈值越低，通过这样的结构，电子设备10能够防止不推断专注度的期间的长期化。

接着，对本发明的第二实施方式的电子设备10进行说明。在第二实施方式中，专注度的计算方法与第一实施方式不同，下面，以与第一实施方式的不同点为中心，对第二实施方式进行说明。需要说明的是，对与第一实施方式具有相同结构的部位赋予相同的标记。

如图1所示，第二实施例的电子设备10包括拍摄部11、视线检测部12、存储器13和控制部14。第二实施方式中的拍摄部11、视线检测部12和存储器13的结构及功能与第一实施方式相同。第二实施方式的控制部14的结构与第一实施方式相同。

在第二实施方式中，控制部14与第一实施方式相同地，根据图像IM来确定该图像IM的可靠度。不同于第一实施方式，在第二实施方式中，可靠度越低，则控制部14根据越多帧的连续拍摄的图像IM来推断对象人员的专注度。例如，控制部14使用从最新的图像IM追溯可靠度越低则越长的时间间隔得到的范围内的帧的图像IM、或者可靠度越低则越多帧数的图像IM，推断专注度。

在第二实施方式中，与第一实施方式类似地，控制部14可以从连续拍摄的多个图像IM中排除视线LS的移动速度大于或等于阈值的图像IM，来推断专注度。

在第二实施方式中，与第1实施方式相同地，控制部14可以向外部设备15输出计算出的专注度。

接着，使用图5的流程图对第二实施方式中控制部14所执行的推断处理进行说明。每当控制部14获取1帧图像IM和视线LS时，便开始推断处理。

在步骤S200中，控制部14通过与刚刚之前获取到的视线LS的位置PE相比较来计算获取到的视线LS的移动速度。计算后，过程进入步骤S201。

在步骤S201中，控制部14判断步骤S200中计算出的移动速度是否大于或等于速度阈值，若小于速度阈值，则过程进入步骤S202。若大于或等于速度阈值，则过程进入步骤S203。

在步骤S202中，控制部14将开始推断处理时获取到的图像IM和视线LS存储在存储器13中。存储后，过程进入步骤S203。

在步骤S203中，控制部14根据开始推断处理时获取到的图像IM来确定可靠度。确定后，过程进入步骤S204。

在步骤S204中，控制部14根据在步骤S203中确定的可靠度，确定用于推断专注度的图像IM的帧数。确定后，过程进入步骤S205。例如，在步骤S203中确定的可靠度越小，控制部14可以越增加用于推断专注度的图像IM的帧数。例如，若在步骤S203中所确定的可靠度小于或等于第一阈值，则控制部14可以将用于推断专注度的图像IM的帧数设置为N1。若在步骤S203中确定的可靠度大于第一阈值，则控制部14可以将用于推断专注度的图像IM的帧数设置为N2(N2＜N1)。另外，不仅是将可靠度与上述第一阈值比较，还可以将可靠度与多个阈值比较，阶段性地确定用于推断专注度的图像IM的帧数。

在步骤S205中，将向过去追溯的从在步骤S204中确定的帧数减去1帧后的帧数的图像IM与对应的视线LS一同从存储器13读取。读取后，过程进入步骤S206。

在步骤S206中，根据开始推断处理时获取到的图像IM和视线LS，以及在步骤S205中读取的图像IM和视线LS，推断专注度。推断后，过程进入步骤S207。

在步骤S206中，控制部14向外部设备15输出在步骤S206中计算出的专注度。输出后，推断处理结束。

可靠度越低，具有上述这样结构的第二实施例的电子设备10根据越多帧的连续拍摄的图像IM，来推断对象人员的专注度。通过这样的结构，若可靠度低，则电子设备10增加用于推断专注度的图像IM和视线LS的组合，所以无论可靠度高低，均能够推断保持高推断精度的专注度。另外，若可靠度高，则电子设备10可以减少用于推断专注度的图像IM和视线LS的组合，所以能够减少控制部的计算处理负荷。

本领域技术人员可以基于本发明，对本发明的内容进行各种变形和修改。因此，这些变形和修改包括在本发明的范围内。例如，在各实施方式中，能够以逻辑上互不矛盾的方式，将各功能部、各单元、各步骤等添加到其他实施方式中，或者，替换为其他实施方式的各功能部、各单元、各步骤等。另外，在各实施方式中，能够将多个各功能部、各单元、各步骤等组合成一个或分割。另外，上述本发明的各实施方式，并不限于严格按照分别说明的各实施方式来实施，也能够适当地组合各个特征或省略部分特征地实施。

例如，在第一实施方式和第二实施方式中，电子设备10包括拍摄部11和视线检测部12，并且控制部14获取用于推断专注度的图像IM和视线LS，但并不限于这样的结构。如图6所示，例如，与电子设备10类似地，云服务器等信息处理装置16可以根据图像IM和视线LS来推断专注度。在这样的结构中，信息处理设备16可以通过获取部18，从搭载有拍摄部11和视线检测部12的移动体17获取图像IM和视线LS作为信息。信息处理设备16可以通过输出部19向该移动体17的外部设备15输出所推断的专注度。

本发明内容的诸多方面被表示为由能够执行程序指令的计算机系统等的硬件执行的一系列动作。计算机系统等硬件包括例如通用计算机、PC(个人计算机)、专用计算机、工作站、PCS(Personal Communications System，个人移动通信系统)、移动(蜂窝)电话机、具有数据处理功能的移动电话、RFID接收机、游戏机、电子笔记本电脑、膝上型计算机、GPS(Global Pos itioning System：全球定位系统)接收器或其他可编程数据处理设备。需要注意的是，在各实施方式中，各种动作由通过程序指令(软件)安装的专用电路(例如，为了执行特定功能而相互连接的单独的逻辑门)，或者，由一个或多个处理器所执行的逻辑块，或者，程序模块等来执行。执行逻辑块或程序模块等的一个或多个处理器例如包括：一个或多个微处理器、CPU(中央运算处理单元)、ASIC(Application Specific IntegratedCircuit：专用集成电路)、DSP(Digital Signal Processor：数字信号处理器)、PLD(Programmable Logic Device：可编程逻辑器件)、FPGA(Field Programmable Gate Array：现场可编程门阵列)、处理器、控制器、微控制器、微处理器、电子设备、设计为能够执行本发明所记载的功能的其他设备和/或它们的任意组合。这里所示的实施方式例如通过硬件、软件、固件、中间设备、微代码或它们的任意组合来实现。指令可以是用于执行必要任务的程序代码或代码段。并且，指令能够存入机器可读取的非临时性存储介质等他介质。代码段可以表示顺序、函数、子程序、程序、例程、子例程、模块、软件包、类或指令、数据结构或程序语句的任意组合。代码段与其他代码段或硬件电路进行信息、数据自变量、变量或存储内容的发送和/或接收，由此，代码段与其他代码段或硬件电路相连接。

机器可读取的非临时性存储介质还可以构成为由固态存储器、磁盘及光盘等构成的计算机可读取的有形的载体(介质)，在该介质中存储用于使处理器执行本发明所公开的技术的程序模块等计算机指令的适当的组或数据结构。计算机可读介质包括具有一条或多条布线的电连接、磁盘存储介质、盒式磁带、磁带、其他磁性及光学存储装置(例如，CD(Compact Disk)、激光盘、DVD(Digital Versatile Disc)、软盘及蓝光光盘、便携式计算机磁盘、RAM(Random Access Memory：随机存取存储器)、ROM(Read-Only Me mory：只读存储器)、EPROM、EEPROM、或闪存等可重写可编程的ROM)、或者可存储信息的其他有形存储介质或它们的任意组合。存储器能够设置在处理器/处理单元的内部和/或外部。如本发明中所使用的那样，术语“存储器”是指所有种类的用于长期存储、用于短期存储、易失性、非易失性等存储器，并不限制特定种类、存储器的数量或存储数据的介质的种类。

另外，需要注意的是，本发明公开了具有执行特定功能的各种模块和/或单元的系统，为了简略地说明其功能性，示意性地表示了这些模块和单元，并非一定表示特定的硬件和/或软件。在此意义上，这些模块、单元和其他构成部件是以实质上执行本发明所说明的特定功能的方式安装的硬件和/或软件即可。不同的构成部件的各种功能可以通过硬件和/或软件的任意组合或分开使用来实现，能够单独或组合使用这些功能。另外，包括但不限于键盘、显示器、触摸屏、指示设备等的输入/输出或I/O设备或用户界面能够直接与系统连接或者经由其间的I/O控制器来连接。如此，本发明的内容的各个方面可以通过诸多不同的方式来实施，这些方式都包括在本发明内容的范围内。

附图标记说明

10电子设备

11拍摄部

12视线检测部

13存储器

14控制部

15外部设备

16信息处理装置

17移动体

18获取部

19输出部

IM图像

LS视线

MP视线预测图

PE与视线的方向相当的位置

Claims (10)

1.一种电子设备，其中，

具备：

拍摄部，通过拍摄生成与场景对应的图像；

视线检测部，检测对象人员相对于所述场景的视线；

控制部，根据该图像来确定作为所述对象人员的专注度的推断源的所述图像的可靠度，并根据该可靠度、所述图像和所述视线来推断所述对象人员的专注度。

2.根据权利要求1所述的电子设备，其中，

在所述可靠度低于或等于可靠度阈值的情况下，所述控制部停止推断所述专注度。

3.根据权利要求2所述的电子设备，其中，

停止推断所述专注度的时间越长，所述控制部使所述可靠度阈值越低。

4.根据权利要求1所述的电子设备，其中，

所述可靠度越低，所述控制部根据越多帧的连续拍摄的所述图像，推断所述对象人员的专注度。

5.根据权利要求1至4中任一项所述的电子设备，其中，

所述控制部根据所述图像所包括的元素的类型、数量和位置中的至少一个，通过计算来确定所述可靠度。

6.根据权利要求5所述的电子设备，其中，

所述元素包括车辆、行人、道路形状、标识、信号以及光流中的至少一个。

7.根据权利要求1至4中任一项所述的电子设备，其中，

所述控制部由对学习用图像和与可靠度相关的信息之间的关系进行机器学习而得到的学习数据构建而成，并根据所述图像，通过推断来确定所述可靠度。

8.一种信息处理装置，其中，

具备：

获取部，获取与场景对应的图像和对象人员相对于所述场景的视线；

控制部，根据该图像来确定作为所述对象人员的专注度的推断源的所述图像的可靠度，并根据该可靠度、所述图像和所述视线，推断所述对象人员的专注度；

输出部，输出所述专注度。

9.一种专注度计算程序，其中，

使计算机作为拍摄部、视线检测部、控制部发挥作用，

所述拍摄部通过拍摄生成与场景对应的图像；

所述视线检测部检测对象人员相对于所述场景的视线；

所述控制部根据该图像来确定作为所述对象人员的专注度的推断源的所述图像的可靠度，并根据该可靠度、所述图像和所述视线，推断所述对象人员的专注度。

10.一种专注度计算方法，其中，

包括：

拍摄工序，通过拍摄生成与场景对应的图像；

视线检测工序，检测对象人员相对于所述场景的视线；

确定工序，根据该图像，确定作为所述对象人员的专注度的推断源的所述图像的可靠度；

推断工序，根据该可靠度、所述图像和所述视线来推断所述对象人员的专注度。