CN117242486A - 电子设备、电子设备的控制方法以及程序 - Google Patents

电子设备、电子设备的控制方法以及程序 Download PDF

Info

Publication number
CN117242486A
CN117242486A CN202280030804.9A CN202280030804A CN117242486A CN 117242486 A CN117242486 A CN 117242486A CN 202280030804 A CN202280030804 A CN 202280030804A CN 117242486 A CN117242486 A CN 117242486A
Authority
CN
China
Prior art keywords
subject
information
internal state
electronic device
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280030804.9A
Other languages
English (en)
Inventor
宫崎淳吾
西井裕亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN117242486A publication Critical patent/CN117242486A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明的电子设备具有编码器和解码器。编码器基于包括从对象者的图像提取的对象者的视线的第一生物信息、对象者的属性信息、以及表示对象者的内部状态的信息，推定未知的值。解码器基于未知的值、对象者的属性信息、以及表示对象者的内部状态的信息，推定包括对象者的视线的第二生物信息。电子设备基于第二生物信息对第一生物信息的再现度，调节编码器和解码器的参数。

Description

电子设备、电子设备的控制方法以及程序
相关申请的相互参照
本申请主张2021年4月27日在日本申请的日本特愿2021-75343的优先权，将该在先申请的全部发明内容引入于此用于参照。
技术领域
本发明涉及一种电子设备、电子设备的控制方法以及程序。
背景技术
移动体的安全驾驶要求驾驶员的注意力。因此，研究通过观察驾驶员的注意力，在注意力降低时向驾驶员发出警告或辅助驾驶。作为注意力的观察，提出了计算出对于本车周边的相对车辆等对象物的视线的重叠程度的累积值即累积视觉识别度，并与基准值比较(参照专利文献1)。
另外，近年来，正在进行尝试推定对象者的专注度或感情等内部状态的研究。例如，报告了通过在授课中记录教师的发声、学习者的生物信息以及学习者的视频，并在授课后对学习者在各场景下的自身的感情进行内观报告，来尝试推定学习者的心理状态(参照非专利文献1)。而且，例如，还报告了收集诊断X射线照片的影像诊断医师的视线数据和诊断结果的数据并通过深度学习，来尝试诊断胸部X射线照片(参照非专利文献2)。
现有技术文献
专利文献
专利文献1：国际公开第2008/029802号
非专利文献
非专利文献1：松居辰则、宇野达朗、田和迁可昌，“尝试从考虑到心理状态的时间延迟和持续模型的生物信息推定学习者心理状态”，2018年度人工智能学会全国大会(第32届)，一般社团法人人工智能学会
非专利文献2：井上大辉、木村仁星、中山浩太郎、作花健也、Rahman Abdul、中岛爱、Patrick Radkohl、岩井聪、河添悦昌、大江和彦，“基于活用了视线数据的深度学习的胸部X射线照片的诊断性分类”，2019年度人工智能学会全国大会(第33届)，一般社团法人人工智能学会
发明内容
一实施方式的电子设备具有：
编码器，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定未知的值；以及
解码器，基于所述未知的值、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定包括所述对象者的视线的第二生物信息，
基于所述第二生物信息对所述第一生物信息的再现度，调节所述编码器和所述解码器的参数。
另外，一实施方式的电子设备具有：
编码器，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定未知的值；
解码器，基于所述未知的值、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定包括所述对象者的视线的第二生物信息；以及
推定部，假定多个值作为表示所述对象者的内部状态的信息，将该多个值中的所述第二生物信息对所述第一生物信息的再现度最高的值推定为表示所述对象者的内部状态的信息。
一实施方式的电子设备的控制方法包括：
编码步骤，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定未知的值；
解码步骤，基于所述未知的值、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定包括所述对象者的视线的第二生物信息；以及
基于所述第二生物信息对所述第一生物信息的再现度，调节所述编码步骤和所述解码步骤中的参数的步骤。
一实施方式的电子设备的控制方法包括：
编码步骤，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定未知的值；
解码步骤，基于所述未知的值、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定包括所述对象者的视线的第二生物信息；以及
假定多个值作为表示所述对象者的内部状态的信息，将该多个值中的所述第二生物信息对所述第一生物信息的再现度最高的值，推定为表示所述对象者的内部状态的信息的步骤。
一实施方式的程序，
使电子设备执行：
编码步骤，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定未知的值；
解码步骤，基于所述未知的值、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定包括所述对象者的视线的第二生物信息；以及
基于所述第二生物信息对所述第一生物信息的再现度，调节所述编码步骤和所述解码步骤中的参数的步骤。
一实施方式的程序，
使电子设备执行：
编码步骤，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定未知的值；
解码步骤，基于所述未知的值、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定包括所述对象者的视线的第二生物信息；以及
假定多个值作为表示所述对象者的内部状态的信息，将该多个值中的所述第二生物信息对所述第一生物信息的再现度最高的值，推定为表示所述对象者的内部状态的信息的步骤。
附图说明
图1是表示第一实施方式的电子设备的概略结构的框图。
图2是说明第一实施方式的电子设备的编码的例子的概念图。
图3是说明第一实施方式的电子设备的解码的例子的概念图。
图4是说明第一实施方式的电子设备中的自编码器的动作的概念图。
图5是说明第一实施方式的电子设备在学习阶段进行的动作的流程图。
图6是说明第一实施方式的电子设备在推定阶段进行的动作的流程图。
图7是表示第二实施方式的电子设备的概略结构的框图。
具体实施方式
在非专利文献1中，担心对象者的生物信息与内部状态(感情等)的因果关系难以通过单纯的识别模型而合理的模型化。即，原本，认为发生由感情等心理状态引起的生物反应是合理的信息处理的流程。但是，在单纯的识别模型的学习中，相反，是从生物信息推断心理状态的流程。因此，假定模型的结构与真实不同，模型的学习不能顺利进行。另外，也存在需要对使用者说明基于对象者的生物信息推定内部状态的模型的举动的情况。从这种观点出发，优选对于基于对象者的生物信息推定内部状态的模型的因果关系，进一步验证合理性。在非专利文献2中，与非专利文献1相同地，且与对象者的生物信息(视线数据等)和内部状态(疾病判断等)的因果关系也相同地，担心难以通过单纯的识别模型而合理的模型化。另外，在非专利文献2中，优选对于基于对象者的生物信息推定内部状态的模型的因果关系，进一步验证合理性。如上所述，为了以良好的精度从对象者的生物信息推定出对象者的专注度或感情等内部状态，优选与数据生成的因果关系相关的合理的模型化。在专利文献1中，为了计算出累积视觉识别度，使用列表计算出每小时的视觉识别度。但是，对于实际环境中多样的驾驶情况，适当的列表不同，在多样的驾驶情况中，难以准确地观察驾驶员的注意力。
本发明的目的在于，提供一种基于数据生成过程合理地推定对象者的专注度那样的内部状态的电子设备、电子设备的控制方法以及程序。根据一实施方式，能够提供一种合理地推定对象者的专注度那样的内部状态的电子设备、电子设备的控制方法以及程序。以下，参照附图说明应用本发明的电子设备的实施方式。以下说明也可以兼作应用本发明的电子设备的控制方法以及程序的说明。
在本发明中，“电子设备”可以是由电力驱动的设备。一实施方式的电子设备推定对象者的例如专注度那样的内部状态。在此，“对象者”可以是作为由一实施方式的电子设备推定内部状态的对象的人(典型地为人类)。另外，在本发明中，“用户”可以是使用一实施方式的电子设备的人(典型地为人类)。“用户”可以与“对象者”相同也可以不同。另外，“用户”和“对象者”可以为人类，也可以为人类以外的动物。
本发明的一实施方式的电子设备例如设置于移动体。移动体例如可以包括车辆、船舶和飞机等。车辆例如可以包括汽车、工业车辆、铁路车辆、生活车辆和在滑行道上行驶的固定翼飞机等。汽车例如可以包括乘用车、卡车、公共汽车、二轮车和无轨电车等。工业车辆例如可以包括用于农业和建设的工业车辆等。工业车辆例如可以包括叉车和高尔夫球车等。农业用工业车辆例如可以包括拖拉机、耕耘机、移植机、捆扎机、联合收割机和割草机等。建设用工业车辆例如可以包括推土机、铲运机、铲车、起重车、倾卸车和压路机等。车辆可以包括由人力行驶的车辆。车辆的分类不限于上述例子。例如，汽车可以包括能在道路上行驶的工业车辆。相同车辆可以被包括在多个分类中。船舶例如可以包括海上喷气机(水上摩托，personal watercraft(PWC))、船和油轮等。飞机例如可以包括固定翼飞机和旋转翼飞机等。另外，本发明的“用户”和“对象者”可以是驾驶车辆等移动体的人，也可以是没有驾驶车辆等移动体的车辆的同乘者。
一实施方式的电子设备1可以为各种设备。例如，一实施方式的电子设备除了专门设计的终端以外，也可以是通用的智能手机、平板电脑、平板手机、笔记本型个人计算机(NotePC)、计算机或服务器等任意设备。另外，一实施方式的电子设备例如可以像移动电话或智能手机那样具有与其他电子设备通信的功能。在此，上述“其他电子设备”例如可以是移动电话或智能手机等电子设备，例如可以是基站、服务器、专门终端或计算机等任意设备。另外，本发明中的“其他电子设备”也可以是由电力驱动的设备或装置等。在一实施方式的电子设备与其他电子设备进行通信时，可以进行有线和/或无线的通信。
以下，作为一个例子，一实施方式的电子设备1例如设置于乘用车那样的移动体来进行说明。在这种情况下，一实施方式的电子设备1能够推定搭乘在乘用车那样的移动体中的人(驾驶员或非驾驶员)的规定的内部状态(例如规定的心理状态)。以下，说明一实施方式的电子设备1推定驾驶员驾驶时的专注度作为驾驶乘用车那样的移动体的驾驶员的内部状态的例子。在这种情况下，一实施方式的电子设备1能够基于例如驾驶中拍摄的驾驶员的图像等，推定驾驶员驾驶时的专注度。
图1是表示一实施方式的电子设备的功能性的概略结构的框图。
如图1所示，一实施方式的电子设备1可以包括控制部10、拍摄部20、存储部30和通知部40。另外，如图1所示，控制部10可以包括提取部12、推定部14和判定部16。一实施方式的电子设备1可以包括图1所示的全部功能部，也可以不包括图1所示的功能部中的至少一部分。例如，一实施方式的电子设备1可以仅具有图1所示的控制部10。在这种情况下，一实施方式的电子设备1可以与作为外部设备准备的拍摄部20、存储部30和通知部40等连接。另外，以下说明的编码器ENN和解码器DNN的功能由控制部10、推定部14和存储部30中的至少任一个功能实现。输入的信息或数据例如可以按照提取部12、编码器ENN、解码器DNN、判定部16的顺序发送。另外，可以从编码器ENN输出以下说明的潜在变量Z。在这种情况下，输出的潜在变量Z可以输入解码器DNN。
控制部10以构成电子设备1的各功能部为主，控制和/或管理电子设备1整体。控制部10为了提供用于执行各种功能的控制和处理能力，例如可以包括CPU(CentralProcessing Unit：中央处理器)或DSP(Digital Signal Processor：数字信号处理器)等中的至少一个处理器。控制部10可以由一个处理器集中实现，可以由几个处理器实现，也可以由各个处理器分别实现。处理器可以作为单个集成电路来实现。集成电路也称作IC(Integrated Circuit：集成电路)。处理器可以作为多个可通信地连接的集成电路和离散电路来实现。处理器可以基于其他各种已知技术来实现。
控制部10可以包括1个以上处理器和存储器。处理器可以包括读入特定程序并执行特定功能的通用处理器以及专门用于特定处理的专用处理器。专用处理器可以包括专用集成电路(专用IC)(ASIC；Application Specific Integrated Circuit)。处理器可以包括可编程逻辑器件(PLD；Programmable Logic Device)。PLD可以包括FPGA(现场可编程门阵列，Field-Programmable Gate Array)。控制部10可以是一个或多个处理器协同的SoC(片上系统，System-on-a-Chip)和SiP(系统级封装，System In a Package)中的任一个。控制部10控制电子设备1的各结构构件的动作。
控制部10例如可以包括软件和硬件资源中的至少一个。另外，在一实施方式的电子设备1中，控制部10可以由软件和硬件资源协同的具体机构构成。控制部10所包括的提取部12、推定部14和判定部16中的至少任一个可以包括软件和硬件资源中的至少一个。另外，在一实施方式的电子设备1中，提取部12、推定部14和判定部16中的至少任一个可以由软件和硬件资源协同的具体机构构成。
提取部12从由拍摄部20拍摄的对象者的图像中提取对象者的视线。推定部14推定例如对象者的专注度那样的内部状态。判定部16判定由推定部14推定的对象者的内部状态是否满足规定条件。判定部16在对象者的内部状态满足规定条件的情况下(例如对象者的专注度降低到规定以下时等)，向通知部40输出规定的警报信号。在本发明中，对象者的视线作为数据被提取的视线的数据被视作注视点的坐标值(x，y)。另外，在本发明中，视线的数据不仅是对象者的注视点的坐标，例如也可以将瞳孔直径和/或眼球的旋转信息等用作视线的特征量。
控制部10的动作以及控制部10所包括的提取部12、推定部14和判定部16的动作将在后面进一步说明。
拍摄部20可以包括例如数码相机那样的以电子方式拍摄图像的图像传感器。拍摄部20可以包括CCD(Charge Coupled Device Image Sensor：电荷耦合器件图像传感器)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器等进行光电转换的拍摄元件。例如，拍摄部20可以向控制部10等供给基于拍摄的图像的信号。因此，如图1所示，拍摄部20可以以有线和/或无线的方式与控制部10连接。拍摄部20只要能拍摄对象者的图像，就不限定于数码相机那样的拍摄设备，可以为任意的拍摄设备。例如，拍摄部20能够通过采用近红外线摄像头，将反射光的特征的差异和/或吸收光的特征的差异等作为图像拍摄。
拍摄部20拍摄对象者的图像。以下，作为对象者的例子，假定驾驶乘用车那样的移动体的驾驶员来说明。即，在一实施方式中，拍摄部20拍摄驾驶乘用车那样的移动体的驾驶员。在一实施方式中，拍摄部20例如可以每隔规定时间(例如每秒30帧)将对象者拍摄为静止图像。另外，在一实施方式中，拍摄部20例如可以将对象者拍摄成连续的视频。拍摄部20可以以RGB数据和/或红外线数据等各种数据形态拍摄对象者的图像。
拍摄部20为了拍摄驾驶员，例如可以在乘用车那样的移动体的内部前方设置成朝向驾驶员。由拍摄部20拍摄的对象者的图像向控制部10供给。如后所述，在控制部10中，提取部12从对象者的图像中提取包括对象者的视线的生物信息。因此，拍摄部20可以设置在适合用于拍摄包括驾驶员的视线的图像的部位。
存储部30可以具有作为存储各种信息的存储器的功能。存储部30例如可以存储控制部10中执行的程序以及控制部10中执行的处理的结果等。另外，存储部30可以作为控制部10的工作存储器发挥功能。因此，如图1所示，存储部30可以通过有线和/或无线与控制部10连接。存储部30例如可以包括RAM(Random Access Memory：随机存储器)和ROM(ReadOnly Memory：只读存储器)中的至少一个。存储部30例如能够由半导体存储器等构成，但不限定于此，能够为任意的存储装置。例如，存储部30可以是插入一实施方式的电子设备1的存储卡那样的存储介质。另外，存储部30可以是用作控制部10的CPU的内部存储器，也可以作为单独的个体与控制部10连接。
存储部30例如可以存储机器学习数据。在此，机器学习数据可以是由机器学习生成的数据。机器学习数据可以包括由机器学习生成的参数。另外，机器学习可以基于通过训练能够执行特定任务的AI(Artificial Intelligence：人工智能)技术。更具体而言，机器学习可以是计算机那样的信息处理装置对大量的数据进行学习，并自动构建用于执行分类和/或预测等任务的算法或模型的技术。在本说明书中，AI的一部分可以包含机器学习。在本说明书中，机器学习可以包括基于正解数据学习输入数据的特征或规则的有教师学习。另外，机器学习可以包括在没有正解数据的状态下学习输入数据的特征或规则的无教师学习。而且，机器学习可以包括给与报酬或惩罚等来学习输入数据的特征或规则的强化学习等。另外，在本说明书中，机器学习可以任意组合有教师学习、无教师学习和强化学习。
本实施方式的机器学习数据的概念可以包括使用针对输入数据所学习的算法来输出规定的推断(推定)结果的算法。在本实施方式中，作为该算法，例如能够使用预测从属变量与独立变量的关系的线性回归、将人的脑神经系统神经元数理模型化的神经网络(NN)、将误差平方来计算的最小二乘法、将问题解决变为树结构的决策树以及将数据用规定的方法变形的正则化等其他适当的算法。本实施方式可以使用作为神经网络的一种的深度神经网络。深度神经网络是神经网络的一种，通常是指网络的中间层为1层以上的深度的结构。深度学习广泛用作构成AI的算法。
在一实施方式中，存储部30中存储的信息例如可以是工厂出货时等之前预先存储的信息，也可以是控制部10等适当获取的信息。在一实施方式中，存储部30可以存储从与控制部10或电子设备1等连接的通信部(通信接口)接收的信息。在这种情况下，通信部例如可以通过与外部的电子设备或基站等经由无线或有线中的至少一个进行通信，接收各种信息。另外，在一实施方式中，存储部30可以存储向与控制部10或电子设备1连接的输入部(输入接口)等输入的信息。在这种情况下，电子设备1的用户或其他人可以通过操作输入部输入各种信息。
通知部40可以基于从控制部10输出的规定的信号(例如警报信号等)，向电子设备1的用户等输出用于催促注意的规定的警报。因此，如图1所示，通知部40可以通过有线和/或无线与控制部10连接。通知部40例如可以是作为规定的警报的声音、语音、光、文字、影像和振动等刺激用户的听觉、视觉和触觉中的至少任一个的任意功能部。具体而言，通知部40可以包括例如蜂鸣器或扬声器等语音输出部、LED那样的发光部、LCD那样的显示部和振动器那样的触感显示部等中的至少任一个。这样，通知部40可以基于从控制部10输出的规定的信号，输出规定的警报。在一实施方式中，通知部40可以将规定的警报作为作用于人类等生物的听觉、视觉和触觉中的至少任一个的信息而输出。
在一实施方式中，通知部40例如可以在推定作为对象者的内部状态的该对象者的专注度降低至规定的阈值以下时，输出对象者的专注力降低的情况的警报。例如，在一实施方式中，输出视觉信息的通知部40例如可以在推定驾驶员的专注度降低到规定的阈值以下时，将该情况通过发光或规定的显示等通知给驾驶员和/或其他用户等。另外，在一实施方式中，输出听觉信息的通知部40例如可以在推定驾驶员的专注度降低到规定的阈值以下时，将该情况通过规定的声音或语音等通知给驾驶员和/或其他用户等。另外，在一实施方式中，输出触觉信息的通知部40例如可以在推定驾驶员的专注度降低到规定的阈值以下时，将该情况通过规定的振动等通知给驾驶员和/或其他用户等。这样一来，驾驶员和/或其他用户等能够得知例如驾驶员的专注度降低的情况。
接着，说明一实施方式的电子设备1的对象者的内部信息的推定。
一实施方式的电子设备1通过使用自编码器(auto encoder)并基于驾驶员驾驶中的图像等进行机器学习，来推定驾驶员的专注度等那样的内部状态。自编码器是神经网络的架构中的一个。自编码器是包括编码器(以下，与附图标记ENN对应)和解码器(以下，与附图标记DNN对应)的神经网络。在一实施方式的电子设备1中，控制部10可以包括作为自编码器的功能。即，一实施方式的电子设备1的控制部10具有作为编码器ENN和解码器DNN的功能。
图2和图3是概念性地示出一实施方式的电子设备1中作为自编码器发挥功能的神经网络的图。图2是概念性地示出编码器的图。即，图2是概念性地示出一实施方式的电子设备1中作为自编码器发挥功能的神经网络的编码器ENN的图。另外，图3是概念性地示出解码器的图。首先，说明一实施方式的电子设备1基于对象者(驾驶员)的图像，推定对象者的专注那样的内部状态的原理。即，图3是概念性地示出一实施方式的电子设备1中作为自编码器发挥功能的神经网络的解码器DNN的图。
在由一实施方式的电子设备1推定对象者的内部状态时，如图3所示，假定与对象者的图像相关的第二生物信息X’因表示内部状态的信息Y、未知的值Z、属性信息D而生成的生成过程。在此，与对象者的图像相关的第二生物信息X’可以是包括对象者(例如驾驶员)的视线的图像的信息。另外，表示内部状态的信息Y可以包括表示对象者的例如专注度那样的内部状态的信息。另外，未知的值Z可以包括不能够观测的潜在变量。而且，属性信息D可以包括表示对象者的例如年龄和/或性别等属性的信息。
在一实施方式的电子设备1的机器学习时，首先，如图2所示，使用神经网络的编码器ENN，基于与对象者的图像相关的第一生物信息X、表示内部状态的信息Y和属性信息D，推断出未知的值Z。在此，与对象者的图像相关的第一生物信息X可以是包括对象者(例如驾驶员)的视线的图像的信息。该第一生物信息X所包括的对象者的视线的图像可以使用提取部12从由拍摄部20拍摄的对象者的图像中提取。另外，如上所述，表示内部状态的信息Y可以包括表示对象者的例如专注度那样的内部状态的信息。另外，如上所述，属性信息D可以包括表示对象者的例如年龄和/或性别等属性的信息。此外，如上所述，未知的值Z可以包括不能够观测的潜在变量。以下，可以将进行用于推定对象者的内部状态的学习的阶段简称为“学习阶段”。
当如上所述地推断未知的值Z时，能够使用图3所示的神经网络的解码器DNN，基于推断的未知的值Z、表示内部状态的信息Y和属性信息D生成与对象者的图像相关的第二生物信息X’。在此，与对象者的图像相关的第二生物信息X’是将与对象者的图像相关的第一生物信息X再构成而成的。在一实施方式的电子设备1中，该第二生物信息X’可以将从原来的第一生物信息X变化的程度记作损失函数，通过误差逆传播更新神经网络的加权参数。另外，该损失函数中可以包括表示未知的值Z所遵循的概率分布与规定的概率分布偏离了何种程度的正则化项。该规定的概率分布例如可以是正态分布。作为表示该规定的概率分布与未知的值Z所遵循的分布的偏离程度的项，可以使用KL散度(Kullback-Leiblerdivergence)。
图4是概念性地示出一实施方式的电子设备1中的自编码器的安装的图。首先，说明一实施方式的电子设备1的学习阶段。
如图4所示，在一实施方式的电子设备1中，在提供最下段所示的第一生物信息X并进一步提供表示内部状态的信息Y和属性信息D时，推断图4的中段所示的未知的值Z。另外，在一实施方式的电子设备1中，在推断未知的值Z并进一步提供表示内部状态的信息Y和属性信息D时，可获得最上段所示的第二生物信息X’。
在一实施方式的电子设备1中，可以通过仅提供第一生物信息X和属性信息D，推定表示内部状态的信息Y和未知的值Z。另外，包括表示对象者的例如年龄和/或性别等属性的信息的属性信息D可以预先存储于存储部30，也可以从输入部输入，也可以从通信部接收。另外，属性信息D可以由控制部10等从由拍摄部20拍摄的对象者的图像中推定。
如图4所示，在一实施方式的电子设备1中，自编码器从与对象者的图像相关的第一生物信息X、表示内部状态的信息Y和属性信息D，经由未知的值Z再现与对象者的图像相关的第二生物信息X’。即，在一实施方式的电子设备1中，自编码器具有基于对象者的视线的图像以及视线的特征量(第一生物信息X)中的至少一个，再构成对象者的视线的图像以及视线的特征量(第二生物信息X’)中的至少一个的功能。在本发明中，对象者的视线的图像和视线的特征量中的至少一个可以包括注视点的坐标值(x，y)。另外，在本发明中，对象者的视线的图像和视线的特征量不仅包括注视点的坐标，还包括例如瞳孔直径或眼球的旋转信息或这些组合等视线的特征量。在本发明中，可以将提取对象者的视线的图像和视线的特征量中的至少一个，简称为“提取视线”或“获取视线”等。在本发明中，可以将推定对象者的视线的图像和视线的特征量中的至少一个，简称为“推定视线”或“计算出视线”等。另外，在本发明中，对象者的视线的图像和视线的特征量中的至少一个可以包含包括眼球区域的图像。另外，在以下的说明中，由于输入神经网络的信息是将图像处理后获得的生物信息，因此，可以定义为具有包括上述眼球区域的图像的视线信息。
在一实施方式的电子设备1中，为了推定表示内部状态的信息Y，对于作为例如专注度的内部状态的各种情况，可以再构成对象者的视线的图像或视线的特征量(第二生物信息X’)。例如，可以有意地创造出对象者只完全专注于移动体的驾驶的状态，利用一实施方式的电子设备1的自编码器再构成与表示此时的内部状态的信息Y对应的对象者的视线的图像或视线的特征量(第二生物信息X’)。另外，例如，可以有意地创造出对象者没有完全专注于移动体的驾驶的状态，利用一实施方式的电子设备1的自编码器再构成与表示此时的内部状态的信息Y对应的对象者的视线的图像或视线的特征量(第二生物信息X’)。在此，对象者没有完全专注于移动体的驾驶的状态可以是驾驶员被驾驶以外的任务夺取注意的状态。例如，可以是驾驶员在移动体的驾驶中同时进行作为驾驶以外的任务的规定的脑中运算等的状态。另外，可以根据规定的脑中运算的水平(比较简单的脑中运算或比较复杂的脑中运算等)，阶段性地调节对象者没有完全专注于移动体的驾驶的状态的程度。例如，驾驶员在移动体的驾驶中同时进行非常简单的脑中运算的状态可以是对象者没有完全专注于移动体的驾驶但比较专注的状态。另外，驾驶员在移动体的驾驶中同时进行相当复杂的脑中运算的状态可以是对象者没有比较专注于移动体的驾驶的状态。
如上所述，在一实施方式的电子设备1中，对于表示内部状态的信息Y的各种情况，可以再构成对象者的视线的图像或视线的特征量(第二生物信息X’)。表示内部状态的信息Y可以例如在专注的状态下设为Y＝0，例如在没有专注的状态下设为Y＝1等。另外，可以根据基于表示各种内部状态的信息Y再构成的对象者的视线的图像(第二生物信息X’)再现原来的对象者的视线的图像(第一生物信息X)的程度，判断表示内部状态的信息Y的妥当性。例如，在基于表示某种内部状态的信息Y1再构成的对象者的视线的图像(第二生物信息X’)再现原来的对象者的视线的图像或视线的特征量(第一生物信息X)的程度高的情况下，可以判断为表示内部状态的信息Y1的妥当性高(即，接近正解)。另一方面，在基于表示某种内部状态的信息Y2再构成的对象者的视线的图像或视线的特征量(第二生物信息X’)再现原来的对象者的视线的图像或视线的特征量(第一生物信息X)的程度低的情况下，可以判断为表示内部状态的信息Y2的妥当性低(即，远离正解)。这样一来，一实施方式的电子设备1可以基于第二生物信息X’对第一生物信息X的再现度，调节编码器ENN和解码器DNN的参数。另外，除了该再现度之外，可以基于还包括表示由编码器ENN推定的未知的值Z所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度的损失函数，调节编码器ENN和解码器DNN的参数。在这种情况下，规定的概率分布可以是正态分布。另外，在上述情况下，分布偏离度可以是Kullback-Leibler散度。
图5是说明一实施方式的电子设备1的学习阶段的流程图。以下，参照图5说明一实施方式的电子设备1的学习阶段。
假设在图5所示的学习阶段的动作开始时，对象者(驾驶员)驾驶移动体。在此，对象者可以现实地驾驶乘用车那样的移动体，也可以使用例如驾驶模拟器虚拟地驾驶移动体。另外，假设在图5所示的动作开始时，拍摄部20拍摄对象者的图像。在此，拍摄部20可以拍摄包括对象者的视线的图像，以能够从对象者的图像提取对象者的视线的图像和视线的特征量中的至少一个。
另外，假设当图5所示的动作开始时，存储部30存储对象者的规定的属性信息。在此，对象者的规定的属性信息可以包括例如对象者的性别、年龄、以及年龄划分(20多岁、30多岁、40多岁等)中的至少任一个，但也可以是驾驶员的驾驶经历等其他属性信息。存储部30可以预先存储上述那样的对象者的规定的属性信息，也可以要求根据需要由对象者等从输入部等请求输入，也可以根据需要从通信部等接收。
当图5所示的动作开始时，一实施方式的电子设备1的控制部10获取由拍摄部20拍摄的对象者的图像(步骤S11)。如上所述，在步骤S11中获取的对象者的图像可以为包括对象者的视线的图像，以能够提取对象者的视线的图像和视线的特征量中的至少一个。
在步骤S11中获取对象者的图像后，控制部10的提取部12从对象者的图像中提取对象者的注视点位置的坐标等视线的图像和视线的特征量中的至少一个(步骤S12)。在步骤S12中，从对象者的图像中提取对象者的视线的技术可以采用例如图像识别等任意的技术。这样一来，一实施方式的电子设备1的控制部10在步骤S12中获取包括从对象者的图像中提取的对象者的视线的第一生物信息X。
在步骤S12中提取对象者的视线后，控制部10获取对象者的规定的属性信息(步骤S13)。在步骤S13中，控制部10可以从例如存储部30获取对象者的规定的属性信息。另外，如上所述，对象者的规定的属性信息可以包括例如对象者的性别、年龄、年龄划分(20多岁、30多岁、40多岁等)和驾驶经历中的至少任一个。这样一来，一实施方式的电子设备1的控制部10在步骤S13中获取对象者的属性信息D。本发明中的驾驶经历可以包括驾驶期间、事故履历、驾照获取时期、驾照持有期间、驾驶讲义听讲履历和可驾驶的车辆种类信息等中的至少一个。
在步骤S13中获取对象者的属性信息后，控制部10的推定部14推定未知的值(步骤S14)。在步骤S14中，推定部14可以通过自编码器的编码器ENN，基于包括对象者的视线的第一生物信息X、对象者的属性信息D和表示对象者的内部状态的信息Y，推定未知的值Z(参照图2)。在此，如上所述，表示对象者的内部状态的信息Y可以是与在外创造出的对象者的专注度对应的值。
在步骤S14中推定未知的值后，控制部10的推定部14推定包括对象者的视线的第二生物信息(步骤S15)。在步骤S14中，推定部14可以通过自编码器的解码器DNN，基于表示对象者的内部状态的信息Y、未知的值Z和对象者的属性信息D，推定包括对象者的视线的第二生物信息X’(参照图3)。
在步骤S15中推定第二生物信息X’后，控制部10调节编码器ENN和解码器DNN的参数(步骤S16)。在步骤S16中，控制部10可以基于由包括对象者的视线的第二生物信息X’再现包括对象者的视线的第一生物信息X的程度，调节编码器ENN和解码器DNN的参数。另外，如上所述，除该再现的程度之外，也可以基于还包括表示由编码器ENN推断的未知的值Z所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度的损失函数，调节编码器ENN和解码器DNN的参数。一实施方式的电子设备1能够通过上述学习阶段中的动作进行学习。
这样，在一实施方式的电子设备1中，控制部10的编码器ENN基于包括从对象者的图像中提取的对象者的视线的第一生物信息X、对象者的属性信息D和表示对象者的内部状态的信息Y，推定未知的值Z。另外，在一实施方式的电子设备1中，控制部10的解码器DNN基于未知的值Z、对象者的属性信息D和表示对象者的内部状态的信息Y，推定包括对象者的视线的第二生物信息X’。然后，一实施方式的电子设备1基于第二生物信息X’对第一生物信息X的再现度、以及该再现度与未知的值Z的分布偏离度中的至少一个，调节编码器ENN和解码器DNN的参数。
在一实施方式中，表示对象者的内部状态的信息Y可以包括表示对象者的专注度的信息。尤其是，在一实施方式中，表示对象者的内部状态的信息Y可以包括表示对象者正在驾驶交通工具的专注度的信息。
另外，在一实施方式中，对象者的属性信息D可以包括对象者的性别。另外，在一实施方式中，对象者的属性信息D可以包括对象者的年龄或年龄划分。另外，在一实施方式中，对象者的属性信息D可以包括对象者的驾驶经历等。
另一方面，在一实施方式中，对象者的性别、对象者的年龄、对象者的年龄划分和对象者的驾驶经历中的至少任一个那样的对象者的属性可以从对象者的图像中推定出来。例如，在一实施方式的电子设备1中，控制部10(或推定部14)可以从由拍摄部20拍摄的对象者的图像中，推定出对象者的性别、对象者的年龄、对象者的年龄划分和对象者的驾驶经历中的至少任一个那样的对象者的属性。在此，对象者的属性可以通过图像识别等任意技术从对象者的图像中推定出来。另外，对象者的属性可以通过机器学习等提高从对象者的图像中推定的精度。即，在一实施方式中，对象者的属性信息D可以基于对象者的图像推定出来。另外，可以只事先对从该图像中推定属性信息的部分进行机器学习。此时，也可以使用与用于内部状态的推定的学习数据不同的数据进行学习。
这样一来，一实施方式的电子设备1能够通过执行学习阶段，推定对象者的内部状态。以下，将推定对象者的内部状态的阶段简称为“推定阶段”。
图6是说明一实施方式的电子设备1的推定阶段的流程图。以下，参照图6，说明一实施方式的电子设备1的推定阶段。
假设在图6所示的推定阶段的动作开始时，对象者(驾驶员)驾驶移动体。在此，假设对象者现实地驾驶乘用车那样的移动体。另外，在验证实验那样的测试中，对象者也可以使用例如驾驶模拟器虚拟地驾驶移动体。另外，假设在图6所示的动作开始时，拍摄部20拍摄对象者的图像。在此，拍摄部20可以拍摄包括对象者的视线的图像，以能够从对象者的图像提取对象者的视线。
另外，假设当图6所示的动作开始时，存储部30存储对象者的规定的属性信息。在此，对象者的规定的属性信息可以包括例如对象者的性别、年龄、年龄划分(20多岁、30多岁、40多岁等)和驾驶经历中的至少任一个。存储部30可以预先存储上述那样的对象者的规定的属性信息，也可以要求根据需要由对象者等从输入部等请求输入，也可以根据需要从通信部等接收。
当图6所示的动作开始时，一实施方式的电子设备1的控制部10获取由拍摄部20拍摄的对象者的图像(步骤S21)。如上所述，在步骤S21中获取的对象者的图像可以是包括对象者的视线的图像，以能够提取对象者的视线。步骤S21的动作可以与图5所示的步骤S11的动作相同地进行。
在步骤S21中获取对象者的图像后，控制部10的提取部12从对象者的图像提取对象者的视线和视线的特征量中的至少一个(步骤S22)。步骤S22的动作可以与图5所示的步骤S12的动作相同地进行。这样一来，一实施方式的电子设备1的控制部10在步骤S22中获取包括从对象者的图像提取的对象者的视线的第一生物信息X。
在步骤S22中提取对象者的视线后，控制部10的推定部14推定表示对象者的内部状态的信息Y(步骤S23)。在步骤S23中推定的表示对象者的内部状态的信息Y可以是例如表示对象者的专注度的信息。尤其是，在一实施方式中，表示对象者的内部状态的信息Y可以包括例如表示对象者正在驾驶乘用车那样的交通工具(移动体)的专注度的信息。
在步骤S23中，一实施方式的电子设备1例如可以以如下方式推定表示对象者的内部状态的信息Y。即，例如，一实施方式的电子设备1的控制部10将例如表示专注的状态下的内部状态的信息Y设为0，将例如表示没有专注的状态下的内部状态的信息Y设为1等，来假定多个表示内部状态的信息Y，同样地，在一实施方式中，控制部10可以将多个例如表示内部状态的信息Y假定在0到1之间。
然后，控制部10对这样假定的多个表示内部状态的信息Y，分别验证再构成的对象者的视线和视线的特征量中的至少一个(第二生物信息X’)再现原来的对象者的视线的图像(第一生物信息X)的程度。另外，推定部14将再构成的对象者的视线和视线的特征量中的至少一个(第二生物信息X’)再现原来的对象者的视线和视线的特征量中的至少一个(第一生物信息X)的程度(再现度)最高的表示内部状态的信息Y，推定为此时的对象者的内部状态(专注度)。例如，当表示对象者的内部状态的信息Y为0时，在上述再现度最高的情况下，推定部14可以推定为对象者专注的状态。另一方面，例如，当表示对象者的内部状态的信息Y为1时，在上述再现度最高的情况下，推定部14可以推定为对象者没有专注的状态。另外，例如，当表示对象者的内部状态的信息Y为0到1之间的值时，在上述再现度最高的情况下，推定部14可以推定为对象者处于与该值对应的专注度的状态。另外，推定部14可以使用表示编码器ENN推定的未知的值Z所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度，来推定对象者的内部状态。该规定的概率分布可以为正态分布。该分布偏离度可以使用KL(Kullback-Leibler)散度。
在步骤S23中推定出表示对象者的内部状态的信息Y后，判定部16判定推定的专注度是否在规定的阈值以下(步骤S24)。在进行步骤S24的处理时，可以预先设定作为对于对象者的专注度发出警报的基准的规定的阈值。这样设定的规定的阈值例如可以存储于存储部30。在步骤S24中，判定部16可以根据推定的专注度是否在规定的阈值以下，来判定推定的专注度是否满足规定条件。
在步骤S24中专注度在规定的阈值以下(专注度降低)的情况下，判定部16可以从通知部40输出规定的警报(步骤S25)并结束图6所示的动作。另一方面，在步骤S24中专注度不在规定的阈值以下(专注度未降低)的情况下，判定部16可以结束图6所示的动作。当图6所示的动作结束时，控制部10可以适当再次开始图6所示的处理。
这样，在一实施方式的电子设备1中，控制部10的编码器ENN基于包括从对象者的图像提取的对象者的视线的第一生物信息X、对象者的属性信息D、以及被假定为表示对象者的内部状态的信息Y的值，推定未知的值Z。另外，在一实施方式的电子设备1中，控制部10的解码器DNN基于未知的值Z、对象者的属性信息D、以及被假定为表示对象者的内部状态的信息Y的值，推定包括对象者的视线的第二生物信息X’。另外，一实施方式的电子设备1中，作为表示对象者的内部状态的信息Y假定多个值，并将该多个值中的第二生物信息X’对第一生物信息X的再现度最高的值，推定为表示对象者的内部状态的信息Y。另外，在一实施方式的电子设备1中，除了该再现度之外，还可以考虑表示编码器ENN推定的未知的值Z所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度，来推定表示对象者的内部状态的信息Y。该规定的概率分布可以为正态分布。该分布偏离度可以使用KL(Kullback-Leibler)散度。
一实施方式的电子设备1可以在被假定为表示对象者的内部状态的信息Y的多个值中的第二生物信息X’对第一生物信息X的再现度最高的值满足规定条件的情况下，输出规定的警报。另外，除了该再现度之外，还可以考虑表示编码器ENN推定的未知的值Z所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度，来确定是否输出规定的警报。该规定的概率分布可以为正态分布。该分布偏离度可以使用KL(Kullback-Leibler)散度。
如上所述，一实施方式的电子设备1能够基于以对象者的内部状态为原因而生成包括对象者的视线的生物信息的模型，推定对象者的内部状态。因此，一实施方式的电子设备1能够通过自然的因果关系，合理地推定对象者的专注度那样的内部状态。另外，一实施方式的电子设备1例如能够在驾驶移动体中的对象者的专注度降低后，输出规定的警报。因此，根据一实施方式的电子设备1，例如能够提高驾驶移动体中的对象者的安全性。
通常，人类的视线和/或注意行动等原本的个体差异大。例如，可举出老年人的视线可动范围比年轻人窄等例子。因此，在推定对象者的内部状态时，例如在没有适当考虑上述那样的个体差异时，会担心无法获得良好的精度的结果。另外，在推定对象者的内部状态时，优选能向用户客观地说明推定结果基于何种模型。
例如，在从拍摄对象者的图像推定对象者的专注度那样的内部状态的情况下，可假定像现有的机器学习那样，与两者的因果关系相反，即以从对象者的视线等生物反应数据推定内部状态的方式进行学习。但是，在这种情况下，由于因果关系相反的模型结构可能会导致该模型内部的数据结构黑盒化，因此存在无法确定主要原因而学习错误的结构的风险。另外，由于因果关系被黑盒化，因此难以向用户客观地说明因果关系的模型。
一实施方式的电子设备1中推定对象者的内部状态的算法基于与一般的识别模型或回归模型不同的生成模型。电子设备1中的生成模型由数据学习以对象者的内部状态和对象者的属性(年龄、性别等)为原因而生成对象者的视线的过程。因此，根据一实施方式的电子设备1，能够期待考虑对象者的个体的属性以提高推定精度。另外，根据一实施方式的电子设备1，能够向用户客观地说明基于数据生成过程的机理。根据一实施方式，能够基于数据生成过程合理地推定对象者的专注度那样的内部状态。
以下，说明其他实施方式。
图7是表示其他实施方式的电子设备的功能性的概略结构的框图。
如图7所示，其他实施方式的电子设备2与图1所示的电子设备1不同，具有第一拍摄部21和第二拍摄部22。
图7所示的第一拍摄部21可以以与图1所示的拍摄部20相同的方式发挥功能。即，图7所示的第一拍摄部21可以拍摄对象者的图像。因此，图7所示的第一拍摄部21可以与图1所示的拍摄部20相同地，例如在乘用车那样的移动体的内部前方朝向驾驶员设置。
另一方面，图7所示的第二拍摄部22可以拍摄对象者能看见的风景的图像。即，第二拍摄部22可以拍摄包括对象者的视线的目的地的风景的图像(例如周边图像)。因此，图7所示的第二拍摄部22与第一拍摄部21不同，可以以朝向例如乘用车那样的移动体的前方的方式，即朝向与驾驶员的视线相同的方向的方式设置。
如图7所示，向控制部10的视线预测部18供给由第二拍摄部22拍摄的图像的数据。视线预测部18预测在对象者能看见的风景的图像中的对象者的视线。在一实施方式中，视线预测部18可以从包括对象者的视线的目的地的风景的图像(例如周边图像)，推定出预测为对象者的视线朝向的图(视线预测图)。基于对象者能看见的风景的图像生成视线预测图的技术可以采用现有的任意技术。
如图7所示，可以向推定部14供给由视线预测部18推定的视线预测图的数据。推定部14可以在推定对象者的内部状态时，在学习阶段和/或推定阶段中，可以向上述动作中加入视线预测图的数据。具体而言，例如，作为上述对象者的属性信息D的一部分，可以包括视线预测图的数据。
这样，在一实施方式的电子设备2中，对象者的属性信息D可以包括预测对象者的视线的信息。另外，在这种情况下，预测对象者的视线的信息可以作为从对象者的前方的风景图像预测的信息。
图7所示的电子设备2能够在图1所示的电子设备1中进一步基于对象者的视线预测图的数据推定对象者的内部状态。因此，图7所示的电子设备2根据环境能够期待比图1所示的电子设备1高的推定精度。
在图7中，第二拍摄部22作为与第一拍摄部21不同的构件而示出。但是，例如，也可以从由能360°拍摄的驱动记录器这样的一个拍摄部拍摄的图像，提取第一拍摄部21和第二拍摄部22各自使用的图像的数据。
接着，说明上述实施方式的变形例。
在上述实施方式中，表示对象者的内部状态的信息Y被描述为包括表示(驾驶乘用车那样的移动体的)对象者的专注度的信息。在一实施方式的电子设备中，推定部14可以包括表示对象者的感情或心情的信息，作为表示对象者的内部状态的信息Y来进行推定。在此，表示对象者的感情或心情的信息例如可以是表示对象者的压力程度的信息、表示对象者的烦躁或愤怒的感情的信息、表示对象者的疲惫、不安或有操心事的感情的信息等各种信息。
通过作为表示对象者的内部状态的信息Y包括表示对象者的感情或心情的信息来进行推定，一实施方式的电子设备例如在对象者的专注度降低的情况下，能够输出根据对象者的感情或心情的警报。例如，一实施方式的电子设备的推定部14，在图6的步骤S23中，在推定对象者的内部状态时，可以包括表示对象者的感情或心情的信息来进行推定。另外，一实施方式的电子设备的控制部10，在图6的步骤S25中，可以根据对象者的感情或心情输出规定的警报。具体而言，在对象者的专注度降低时，在表示出对象者的烦躁或愤怒的感情的情况下，一实施方式的电子设备的控制部10可以输出例如安抚对象者的语调和/或措辞的警报。
这样，在一实施方式的电子设备中，表示对象者的内部状态的信息Y可以包括表示对象者的感情或心情的信息。另外，一实施方式的电子设备，例如在对象者的专注度降低至规定以下的情况下，可以输出与对象者的感情或心情相对应的警报，作为规定的警报。
上述实施方式的变形例的电子设备1能够输出与对象者的感情或心情相对应的警报。因此，上述实施方式的变形例的电子设备1能够期待进一步提高例如在驾驶移动体中的对象者的安全性。
对于本发明的内容，只要是本领域技术人员就能够基于本发明进行各种变形和修正。因此，这些变形和修正包括在本发明的范围中。例如，在各实施方式中，各功能部、各机构、各步骤等可以逻辑上不矛盾地追加其他实施方式或与其他实施方式的各功能部、各机构、各步骤等置换。另外，在各实施方式中，可以将多个各功能部、各机构、各步骤等组合成一个或分割。另外，上述本发明的各实施方式不限定于忠实地实施各自说明的各实施方式，能够适当组合各特征或省略一部分来实施。
附图标记的说明：
1、2 电子设备
10 控制部
12 提取部
14 推定部
16 判定部
18 视线预测部
20 拍摄部
21 第一拍摄部
22 第二拍摄部
30 存储部
40 通知部
ENN 编码器
DNN 解码器

Claims (22)

1.一种电子设备，其中，
具有：
编码器，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定未知的值；以及
解码器，基于所述未知的值、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定包括所述对象者的视线的第二生物信息，
基于所述第二生物信息对所述第一生物信息的再现度，调节所述编码器和所述解码器的参数。
2.一种电子设备，其中，
具有：
编码器，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定未知的值；
解码器，基于所述未知的值、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定包括所述对象者的视线的第二生物信息；以及
推定部，假定多个值作为表示所述对象者的内部状态的信息，将该多个值中的所述第二生物信息对所述第一生物信息的再现度最高的值推定为表示所述对象者的内部状态的信息。
3.如权利要求2所述的电子设备，其中，
在所述多个值中的所述第二生物信息对所述第一生物信息的再现度最高的值满足规定条件的情况下，输出规定的警报。
4.如权利要求1～3中任一项所述的电子设备，其中，
表示所述对象者的内部状态的信息包括表示所述对象者的专注度的信息。
5.如权利要求4所述的电子设备，其中，
表示所述对象者的内部状态的信息包括表示所述对象者正在驾驶交通工具的专注度的信息。
6.如权利要求1所述的电子设备，其中，
除了所述再现度之外，还基于表示所述编码器推定的所述未知的值所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度，来进行所述编码器和所述解码器的参数的调节。
7.如权利要求2所述的电子设备，其中，
所述推定部基于表示所述编码器推定的所述未知的值所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度来进行推定。
8.如权利要求1～7中任一项所述的电子设备，其中，
表示所述对象者的内部状态的信息包括表示所述对象者的感情或心情的信息。
9.如引用权利要求3的权利要求8所述的电子设备，其中，
输出与所述对象者的感情或心情相对应的警报，作为所述规定的警报。
10.如权利要求1～9中任一项所述的电子设备，其中，
所述对象者的属性信息包括所述对象者的性别。
11.如权利要求1～10中任一项所述的电子设备，其中，
所述对象者的属性信息包括所述对象者的年龄或年龄划分。
12.如权利要求1～11中任一项所述的电子设备，其中，
所述对象者的属性信息基于所述对象者的图像来推定。
13.如权利要求1～12中任一项所述的电子设备，其中，
所述对象者的属性信息包括预测所述对象者的视线的信息。
14.如权利要求13所述的电子设备，其中，
预测所述对象者的视线的信息是从所述对象者的前方的风景图像预测的信息。
15.一种电子设备的控制方法，其中，
包括：
编码步骤，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定未知的值；
解码步骤，基于所述未知的值、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定包括所述对象者的视线的第二生物信息；以及
基于所述第二生物信息对所述第一生物信息的再现度，调节所述编码步骤和所述解码步骤中的参数的步骤。
16.一种电子设备的控制方法，其中，
包括：
编码步骤，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定未知的值；
解码步骤，基于所述未知的值、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定包括所述对象者的视线的第二生物信息；以及
假定多个值作为表示所述对象者的内部状态的信息，将该多个值中的所述第二生物信息对所述第一生物信息的再现度最高的值，推定为表示所述对象者的内部状态的信息的步骤。
17.如权利要求15所述的电子设备的控制方法，其中，
调节所述编码步骤和所述解码步骤中的参数的步骤基于表示所述编码器推定的所述未知的值所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度来进行。
18.如权利要求16所述的电子设备的控制方法，其中，
推定表示所述对象者的内部状态的信息的步骤基于表示在所述编码步骤中推定的所述未知的值所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度来进行。
19.一种程序，其中，
使电子设备执行：
编码步骤，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定未知的值；
解码步骤，基于所述未知的值、所述对象者的属性信息、以及表示所述对象者的内部状态的信息，推定包括所述对象者的视线的第二生物信息；以及
基于所述第二生物信息对所述第一生物信息的再现度，调节所述编码步骤和所述解码步骤中的参数的步骤。
20.一种程序，其中，
使电子设备执行：
编码步骤，基于包括从对象者的图像提取的所述对象者的视线的第一生物信息、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定未知的值；
解码步骤，基于所述未知的值、所述对象者的属性信息、以及被假定为表示所述对象者的内部状态的信息的值，推定包括所述对象者的视线的第二生物信息；以及
假定多个值作为表示所述对象者的内部状态的信息，将该多个值中的所述第二生物信息对所述第一生物信息的再现度最高的值，推定为表示所述对象者的内部状态的信息的步骤。
21.如权利要求19所述的程序，其中，
调节所述编码步骤和所述解码步骤中的参数的步骤基于表示所述编码器推定的未知的值所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度来进行。
22.如权利要求20所述的程序，其中，
推定表示所述对象者的内部状态的信息的步骤基于表示在所述编码步骤中推定的所述未知的值所遵循的概率分布与规定的概率分布偏离何种程度的分布偏离度来进行。
CN202280030804.9A 2021-04-27 2022-04-07 电子设备、电子设备的控制方法以及程序 Pending CN117242486A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-075343 2021-04-27
JP2021075343A JP2022169357A (ja) 2021-04-27 2021-04-27 電子機器、電子機器の制御方法、及びプログラム
PCT/JP2022/017279 WO2022230629A1 (ja) 2021-04-27 2022-04-07 電子機器、電子機器の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN117242486A true CN117242486A (zh) 2023-12-15

Family

ID=83848092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280030804.9A Pending CN117242486A (zh) 2021-04-27 2022-04-07 电子设备、电子设备的控制方法以及程序

Country Status (5)

Country Link
US (1) US20240220011A1 (zh)
EP (1) EP4332885A1 (zh)
JP (1) JP2022169357A (zh)
CN (1) CN117242486A (zh)
WO (1) WO2022230629A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5171629B2 (ja) 2006-09-04 2013-03-27 パナソニック株式会社 走行情報提供装置
WO2016132468A1 (ja) * 2015-02-18 2016-08-25 株式会社日立製作所 データ評価方法および装置、故障診断方法および装置
CN113532464B (zh) * 2015-10-08 2024-10-25 松下电器（美国）知识产权公司 控制方法、个人认证装置和记录介质
JP7020156B2 (ja) * 2018-02-06 2022-02-16 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム

Also Published As

Publication number Publication date
EP4332885A1 (en) 2024-03-06
US20240220011A1 (en) 2024-07-04
JP2022169357A (ja) 2022-11-09
WO2022230629A1 (ja) 2022-11-03

Similar Documents

Publication Publication Date Title
CN111602137B (zh) 评估装置、动作控制装置、评估方法以及存储媒介
US11292477B2 (en) Vehicle manipulation using cognitive state engineering
JP6264492B1 (ja) 運転者監視装置、運転者監視方法、学習装置及び学習方法
US11067405B2 (en) Cognitive state vehicle navigation based on image processing
US10922567B2 (en) Cognitive state based vehicle manipulation using near-infrared image processing
US9714037B2 (en) Detection of driver behaviors using in-vehicle systems and methods
CN112673378A (zh) 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序
US11823055B2 (en) Vehicular in-cabin sensing using machine learning
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
US11645855B2 (en) Camera system to monitor the passengers in a vehicle and detect passenger activities
US11964671B2 (en) System and method for improving interaction of a plurality of autonomous vehicles with a driving environment including said vehicles
Poon et al. YOLO-based deep learning design for in-cabin monitoring system with fisheye-lens camera
WO2018168038A1 (ja) 運転者の着座判定装置
US20190051414A1 (en) System and method for vehicle-based health monitoring
CN117242486A (zh) 电子设备、电子设备的控制方法以及程序
CN117355872A (zh) 电子设备、电子设备的控制方法以及程序
JP7566717B2 (ja) 電子機器、電子機器の制御方法、及びプログラム
WO2023243468A1 (ja) 電子機器、電子機器の制御方法及び制御プログラム
CN115485779A (zh) 用于向用户提供用户适配的服务的技术
JP2021019940A (ja) 生体情報抽出装置
US20240112337A1 (en) Vehicular driver monitoring system with health monitoring
WO2023243469A1 (ja) 電子機器、電子機器の制御方法及び制御プログラム
CN117860253A (zh) 驾驶员状态检测方法、系统及车辆
JP2020126378A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination