CN116324959A - 电子设备和控制电子设备的方法 - Google Patents

电子设备和控制电子设备的方法 Download PDF

Info

Publication number
CN116324959A
CN116324959A CN202180064650.0A CN202180064650A CN116324959A CN 116324959 A CN116324959 A CN 116324959A CN 202180064650 A CN202180064650 A CN 202180064650A CN 116324959 A CN116324959 A CN 116324959A
Authority
CN
China
Prior art keywords
unit
electronic device
user
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064650.0A
Other languages
English (en)
Inventor
中田征志
赤羽贵博
金井淳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116324959A publication Critical patent/CN116324959A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

[问题]提供一种电子设备和用于控制该电子设备的方法，在该电子设备中，EVS像素可以被定位成更靠近电子设备的中心部分。[解决方案]该电子设备包括：显示单元，具有显示区域，在该显示区域中，显示元件在第一方向和与第一方向不同的第二方向上以阵列定位；以及成像元件，被定位成在与第一方向和第二方向不同的第三方向上与该显示区域重叠并且被定位在显示单元的与显示表面相反的一侧上，并且设置有多个像素。显示单元透射入射光，并且当经由显示单元入射的光的亮度的变化大于预定阈值时，多个像素输出事件信号。

Description

电子设备和控制电子设备的方法
技术领域
本公开涉及电子设备和控制电子设备的方法。
背景技术
在电子设备等中已经使用了与诸如垂直同步信号的同步信号同步地捕捉图像数据(帧)的同步固态图像传感器。利用这种普通的同步固态图像传感器，仅可在每个同步信号周期(例如，1/60秒)获取图像数据。因此，难以应对在交通和机器人等领域中的高速处理的请求。因此，已提出了一种异步固态图像传感器，其中，为每个像素提供检测电路，该检测电路实时地为每个像素检测像素的光量超过阈值作为地址事件。这种检测每个像素的地址事件的固态图像传感器被称为基于事件的视觉传感器(EVS)。
现有技术文献
专利文件
专利文献1：WO 2019/087471 A
专利文献2：日本专利申请公开号2017-169987
发明内容
本发明要解决的问题
同时，可基于由EVS像素生成的检测信号通过EVS图像观察电子设备的前部的状态。然而，EVS像素被布置在电子设备的前表面部分的端部，并且存在很可能发生遮挡等的风险。
因此，本公开提供一种EVS像素可被布置为更靠近中心部分的电子设备以及控制电子设备的方法。
问题的解决方案
为了解决上述问题，根据本公开，提供了一种电子设备，包括：显示单元，该显示单元具有其中显示元件在第一方向和与第一方向不同的第二方向上以阵列布置的显示区域；以及图像传感器，被布置在与显示单元的显示表面相反的一侧，以在与第一方向和第二方向不同的第三方向上与显示区域重叠，并且包括多个像素，其中，显示单元透射入射光，并且在经由显示单元入射的光的亮度变化大于预定阈值的情况下，多个像素输出事件信号。
电子设备还可包括状态分析单元，状态分析单元使用事件信号的信息分析在显示单元上的接触操作中的用户的行为并估计用户感受。
电子设备还可包括接触位置分析单元，该接触位置分析单元通过使用事件信号的信息来估计用户接触显示单元的位置。
接触位置分析单元可使用事件信号的传播信息以区分接触显示单元的对象。
电子设备还可包括控制单元，控制单元控制显示单元，并可根据接触位置或接触的对象中的至少一个来改变要显示在显示单元上的显示内容。
可以基于使用事件信号的信息而生成的用户的振动图像，改变要显示在显示单元上的显示内容。
电子设备可还包括状态分析单元，该状态分析单元基于使用事件信号的信息而生成的用户的振动图像来估计用户的情绪。
电子设备还可包括状态处理单元，该状态处理单元根据状态分析单元的估计结果来使显示单元显示图像。
状态处理单元可以根据状态分析单元的估计结果使显示单元显示用于健康护理的图像。
状态处理单元可以根据状态分析单元的估计结果来使显示单元显示内容选项。
状态处理单元可以根据状态分析单元的估计结果来使显示单元向用户显示动作建议。
动作建议可以基于从外部服务器获取的第三方的改进示例的信息。
电子设备还可包括：扬声器单元，发出声音；以及声音到达位置分析单元，使用事件信号的信息来估计用户的暴露于从扬声器单元发出的声音的部分。
声音到达位置分析单元可确定用户的耳朵是否暴露于从扬声器单元发出的声音。
电子设备还可包括声波方向调整单元，声波方向调整单元根据由声音到达位置分析单元分析的声音的到达位置来控制扬声器的朝向。
电子设备还可包括面部形状分析单元，面部形状分析单元在记录单元中记录用户的双眼、双耳、鼻子和嘴在三维图像中的三维位置信息。
面部形状分析单元可通过使用预先记录的用户的双眼、双耳、鼻子和嘴的三维位置信息和用户的三维图像的旋转角度，来估计在倾斜方向上用户的耳朵在三个图像中的位置。
声音到达位置分析单元能够根据扬声器的音频波长来改变通过分析而提取的到达位置。
在声音到达位置分析单元基于事件信号确定出声音到达用户的情况下，可激活捕捉用户的三维图像的深度传感器。
声音到达位置分析单元可融合基于事件信号的图像和基于深度传感器的图像，并且获取用户的双眼、双耳、鼻子和嘴的三维位置信息。
面部形状分析单元可在深度传感器激活之后通过骨架估计来生成用户的三维图像。
事件信号可以被持续获取。
可以使显示单元发射光以满足多个像素的灵敏度。
根据本公开，提供了一种控制电子设备的方法，该电子设备包括：显示单元，该显示单元具有其中显示元件在第一方向和与第一方向不同的第二方向上以阵列布置的显示区域；以及图像传感器，被布置在显示单元的与显示表面相反的一侧以在与第一方向和第二方向不同的第三方向上与显示区域重叠，并且包括多个像素，其中，显示单元透射入射光，并且在经由显示单元入射的光的亮度变化大于预定阈值的情况下，多个像素输出事件信号。
附图说明
图1是示出本技术的实施方式的电子设备的配置示例的框图。
图2是示出本技术的实施方式的固态图像传感器的层压结构的示例的示图。
图3是根据第一实施方式的电子设备的示意性截面图。
图4是图1的电子设备的示意性外部视图。
图5是示出固态图像传感器的配置示例的框图。
图6是示意性地示出以像素阵列单元的矩阵布置的像素块30a的示图。
图7是示意性地示出像素块的配置的示图。
图8是示出AD转换器的配置示例的框图。
图9是示出另一个AD转换器的配置示例的框图。
图10是示出灰度像素的配置示例的示图。
图11是示出EVS像素的配置示例的示图。
图12是示出EVS AFE的第一配置示例的框图。
图13是示出电流-电压转换单元的配置的示例的电路图。
图14是示出减法器和量化器的配置的示例的电路图。
图15是示出EVS AFE的第二配置示例的框图。
图16是示出分析单元的配置示例的框图。
图17是其中指尖区域的移动经由显示单元成像的示意图。
图18是示出用于状态分析单元的分析的数据的示例的示图。
图19是示出第二实施方式的处理示例的流程图。
图20是示出根据第三实施方式的分析单元的配置示例的框图。
图21是以叠加的方式显示当覆盖玻璃被接触时的第一EVS图像的时间序列图像的示图。
图22是示出根据第四实施方式的分析单元的配置示例的框图。
图23是示出由识别处理单元识别的面部区域的示图。
图24是示出按时间序列改变面部的下颚部的位置的示意图。
图25是示出根据第五实施方式的分析单元的配置示例的框图。
图26是示意性地示出将内容提供至电子设备的服务器的示图。
图27是示出按时间序列捕捉的第一EVS图像的示例的示图。
图28是示意性地示出由振动图像生成单元生成的振动图像的示图。
图29是示出由状态处理单元显示的图像的示例的图。
图30是示出由状态处理单元显示的图像的另一示例的示图。
图31是示出使用由状态处理单元显示的外部信息的图像的示例的示图；
图32是示意性地示出状态分析单元中的估计结果的记录状态的示图。
图33是示意性地示出第二模式下的状态分析单元中的估计结果的记录状态的示图。
图34是示出使用用户的振动图像的用户状态分析的流程的流程图。
图35是示出内容显示时的用户状态分析的流程的流程图。
图36是示出根据第六实施方式的分析单元的配置示例的框图。
图37是示意性地示出根据第六实施方式的电子设备的传感器配置的视图。
图38是示意性地示出根据第六实施方式的电子设备的扬声器单元的垂直截面的示图。
图39A是示出由深度传感器捕捉的用户的前方的三维图像的示图。
图39B是示出在倾斜方向上的用户的三维图像的示图。
图39C是通过旋转用户前方的三维图像以在倾斜方向上匹配三维图像而获得的图像。
图39D是使用旋转角度和双眼、双耳、鼻子和嘴的三维位置信息获取耳朵的位置的示图。
图40A是示出按时间序列捕捉的用户的前面的第一EVS图像的示图。
图40B是示出在声波方向调整之后按时间序列捕捉的用户的前面的第一EVS图像的示图。
图40C是示出按时间序列捕捉的倾斜方向上的用户的第一EVS图像的示图。
图40D是示出在声波方向调整之后按时间序列捕捉的倾斜方向上的用户的第一EVS图像的示图。
图41是示出改变声音的方向的处理示例的流程的流程图。
具体实施方式
在下文中，将参考附图描述电子设备和控制电子设备的方法的实施方式。虽然下文将主要描述电子设备的主要组件，但所述电子设备可具有未说明或描述的组件和功能。以下描述不排除未说明或描述的组件和功能。
(第一实施方式)
[电子设备的配置示例]
图1是示出本技术的实施方式的电子设备100的配置示例的框图。电子设备100包括成像透镜110、固态图像传感器200、记录单元120、控制单元130、奇迹单元140、通信单元150和扬声器单元160。电子设备100例如是智能电话、移动电话、个人计算机(PC)等。
成像透镜110收集入射光并将其引导至固态图像传感器200。固态图像传感器200包括EVS像素和灰度像素。EVS像素可检测到亮度变化量的绝对值超过阈值，作为地址事件。例如，地址事件包括表示亮度的增加量超过上限阈值的接通事件和表示亮度的减少量低于比上限阈值小的下限阈值的断开事件。然后，固态图像传感器200生成指示每个EVS像素的地址事件的检测结果的检测信号。每个检测信号包括指示存在或不存在接通事件的接通事件检测信号VCH和指示存在或不存在断开事件的断开事件检测信号VCL。注意，虽然固态图像传感器200检测接通事件和断开事件两者的存在或不存在，但是还可以仅检测接通事件和断开事件中的一个。此外，根据本实施方式的EVS像素除了检测信号之外还可以输出EVS亮度信号。结果，形成基于EVS像素的检测信号的第一EVS图像和基于EVS像素的亮度信号的第二EVS图像。
另一方面，灰度像素输出灰度亮度信号。基于从灰度像素输出的灰度亮度信号形成灰度图像。注意，在本实施方式中，将基于EVS像素的检测信号的图像称为第一EVS图像，将基于EVS像素的亮度信号的图像称为第二EVS图像，并且将基于从灰度像素输出的灰度亮度信号的图像称为灰度图像。本实施方式具有驱动灰度像素和EVS像素两者的第一模式、以及仅驱动EVS像素的第二模式和第三模式。第二模式是形成基于EVS像素的检测信号的第一EVS图像和基于EVS像素的亮度信号的第二EVS图像的模式。另一方面，第三模式是形成基于EVS像素的检测信号的第一EVS图像的模式。由于可以独立地驱动灰度像素和EVS像素，所以可以例如以60fps的成像速率成像灰度像素，而第二模式可以例如以200fps的速率成像。此外，在第三模式中，由于没有从EVS像素中读取亮度信号，因此能够以更高的帧速率执行成像。
在第三模式中功率消耗最小，并且在第二模式中次最小。因此，总是以第三模式驱动EVS像素，能够基于EVS像素的检测信号进行基于第一EVS图像的状态监视等。
固态图像传感器200对第一EVS图像、第二EVS图像和灰度图像执行诸如图像处理的预定信号处理，并经由信号线209将处理的数据输出到记录单元120。
记录单元120记录来自固态图像传感器200的数据等。控制单元130控制整个电子设备100。例如，控制单元130控制固态图像传感器200捕捉图像数据。
分析单元140使用第一EVS图像、第二EVS图像以及灰度图像中的至少一个执行预定分析处理。
通信单元150执行与外部设备的无线通信。因此，从外部服务器接收内容等，并经由控制单元130将内容等记录在记录单元120中。例如，控制单元130使显示单元170显示基于内容的图像。
扬声器单元160包括高度定向的扬声器，并且仅可向用户发送声音信息。扬声器单元160可以改变发送声音的方向。
[固态图像传感器的配置示例]
图2是示出本技术的实施方式的固态图像传感器200的层压结构的示例的示图。固态图像传感器200包括检测芯片202和层压在检测芯片202上的光接收芯片201。这些基板通过诸如通孔的连接部电连接。注意，除了通孔之外，Cu-Cu接合或凸块可以用于连接。
图3是根据第一实施方式的电子设备100的示意性截面图。这是具有光学系统110的电子设备100的示例，并且该电子设备100是具有显示功能和成像功能两者的任何电子设备，诸如智能电话、移动电话、平板计算机、条形码读取器和PC。提供了被布置在与显示单元170的显示表面相反的一侧上的相机模块3。即，光学系统110和固态图像传感器200布置在相机模块3中。如上所述，在图1的电子设备1中，相机模块3设置在显示单元170的显示表面的背侧上。因此，相机模块3通过显示单元170执行成像。如上所述，由于照相机模块3可以安装在电子设备100的中心附近，因此可以减少遮挡。此外，还可以通过使用显示单元170本身的光发射来增加灵敏度。此外，因为相机模块3设置在显示单元170的显示表面的背侧上，所以可以提供用于增加光学系统110的厚度的空间裕度。因此，鱼眼镜头等可以用于光学系统110，并且可以获取宽范围的图像。
图4是图1的电子设备100的外部示意图，左图是显示单元170侧的外部视图，右图是显示单元170沿线A-A截取的截面图。虽然在图4的示例的图示中显示屏1a扩展到电子设备100的外部尺寸的附近，但是前置摄像头和深度传感器(未示出)安装在边框1b上。
应注意，尽管在图4中相机模块3设置在显示屏1a的大致中心部分的背面侧上，但是在本实施方式中，相机模块3可以设置在任何地方，只要它位于显示屏1a的背面侧上。这样，本实施方式中的照相机模块3被配置在与显示画面1a重叠的背面侧的任意位置。
如图4所示，显示单元170具有以下结构，其中偏振片4c、1/4波片4b、显示面板4(4a)、接触面板5、圆偏振片6和覆覆盖玻璃7(其可包括接触面板)依次堆叠。圆偏振片6如后述那样包括偏振片6a和1/4波片6b。
偏振片4c和1/4波片4b抑制内部反射光入射在相机模块3上。在显示面板4中，显示元件布置成阵列。显示面板4例如可以是有机发光二极管(OLED)二极管、液晶显示单元、MicroLED或基于其他显示原理的显示面板。
显示面板4如OLED单元包括多个层。显示面板4通常设置有诸如滤色器层的具有低透射率的构件。根据相机模块3的布置位置，通孔可形成在显示面板4中的具有低透射率的构件中。如果使穿过通孔的物体光入射到相机模块3上，则可以提高由相机模块3捕捉的图像的图像质量。
圆偏振片6是为了即使在明亮的环境下也能够抑制眩目并提高显示画面1a的可视性而设置的。在接触面板5中内置有接触传感器。虽然存在各种类型的接触传感器，诸如电容型和电阻膜型，但是可以使用任何类型。此外，接触面板5和显示面板4可以一体化。保护玻璃7用于保护显示面板4和其他部件。
图5是示出固态图像传感器200的配置示例的框图。如图5所示，根据本公开的固态图像传感器200是被称为EVS的设备，该设备能够并行执行灰度图像的异步成像和同步成像。固态图像传感器200包括像素阵列单元30、第一访问控制电路211a、第二访问控制电路211b、AD转换器212a、AD转换器212b、第一信号处理单元213、第二信号处理单元214、定时控制电路215以及输出接口216和217。
这里，将参考图6和图7描述像素阵列单元30的配置。图6是示意性地示出在像素阵列单元30中以矩阵布置的像素块30a的示图。如图6所示，在像素阵列单元30中，多个像素块30a以矩阵(阵列)二维地布置。
将参考图7描述像素块30a的配置。图7是示意性地示出像素块30a的配置的示图。如图7所示，一像素块30a包括多个灰度像素308a、EVS像素308b和EVS模拟前端(AFE)314。在像素块30a中，多个灰度像素308a和EVS像素308b以矩阵布置。在该像素阵列中，后面描述的垂直信号线VSL1针对灰度像素308a的每个像素列而布线。此外，独立于垂直信号线VSL1的垂直信号线VSL2针对EVS像素308b的每个像素列而布线。多个灰度像素308a中的每个生成与光电流相对应的电压的模拟信号作为灰度亮度信号(第二亮度信号)，并且将该信号输出至AD转换器212a(见图5)。
在第一模式和第二模式中，EVS像素308b将与光电流相对应的电压的模拟信号输出到EVS AFE 314。此外，EVS像素308b生成与光电流相对应的电压的模拟信号作为EVS亮度信号(第一亮度信号)，并且在发生地址事件的情况下将信号输出到AD转换电路212b(见图5)。
另一方面，在第三模式中，EVS像素308b不向AD转换电路212b(见图5)输出EVS亮度信号，并且仅向EVS模拟前端(AFE)314输出EVS亮度信号。
EVS模拟前端(AFE)314基于EVS像素308b的输出从电压信号生成检测信号，并且将检测信号输出至第二信号处理单元214(参见图3)。更具体地，EVS AFE 314根据EVS像素308b中的光电流的变化量是否超过预定阈值来检测地址事件的存在或不存在。然后，EVSAFE 314将检测信号输出到第二信号处理单元214。例如，EVS AFE 314将地址信息(X，Y)、时间戳信息T以及所检测的有效像素的地址事件信息VCH和VCL输出至第二信号处理单元214，例如，作为事件信息(X，Y，T，VCH，VCL)。此外，EVS AFE 314被包括在检测芯片202中。多个灰度像素308a、EVS像素308b和EVS AFE 314可由独立的控制系统并行操作。应注意，稍后将描述灰度像素308a、EVS像素308b和EVS AFE 314的详细配置。
返回图5，第一访问控制电路211a控制多个灰度像素308a。第一访问控制电路211a控制多个灰度像素308a中的每一个的累积电荷的重置、根据光电转换电流的累积量的灰度亮度信号的生成、灰度亮度信号的输出等。例如，第一访问控制电路211a使AD转换器212a顺次输出累积在多个灰度像素308a中的每中的光电转换电流作为每行的灰度亮度信号。注意，稍后将描述灰度像素308a的控制操作的细节。
第二访问控制电路211b控制多个EVS像素308b和多个EVS AFE 314。根据本实施方式的第二访问控制电路211b使多个EVS AFE 314依次检测每一行的地址事件，并使第二信号处理单元214依次输出每一行的检测信号。
此外，当检测到地址事件时，第二访问控制电路211b对于每一行顺序地将多个EVS像素308b的亮度信号输出到EVS读出电路212b。
将参考图8描述AD转换器212a的配置示例。图8是示出AD转换器212a的配置示例的框图。AD转换器212a包括针对为每个像素块30a布置的灰度像素308a的每列的ADC 230。ADC230将经由垂直信号线VSL1供应的模拟灰度亮度信号SIG转换成数字信号。该数字信号被转换成具有比灰度亮度信号SIG1的位深更大的位深的数字像素信号。例如，假设灰度亮度信号SIG1是2位，则将像素信号转换成3位或更多(例如，16位)的数字信号。ADC 230将生成的数字信号提供给第一信号处理单元213。应注意，像素阵列单元30中的多个灰度像素308a的区域可被分成多个区域，并且AD转换器212a可读取多个区域中的每一个的灰度亮度信号SIG1。结果，能够以更高的速度读取灰度亮度信号SIG1。
参照图9说明EVS的AD转换器212b的配置示例。图9是示出AD转换器212b的配置示例的框图。用于EVS的AD转换器212b包括针对为每个像素块307布置的EVS像素308b的每列的ADC 230。ADC 230将经由垂直信号线VSL2供应的模拟EVS亮度信号SIG2转换成数字信号。该数字信号被转换成比特深度大于EVS亮度信号SIG2的比特深度的数字像素信号。例如，假设EVS亮度信号SIG2是2比特，则像素信号被转换为3比特或更大(例如，16比特)的数字信号。ADC 230将生成的数字信号提供给第二信号处理单元214。
返回图5，第一信号处理单元213对来自AD转换器212a的数字信号执行预定信号处理，例如，相关双采样(CDS)处理。信号处理单元212经由信号线209将指示处理结果和检测信号的数据提供至记录单元120。
定时控制电路215基于时间戳信息控制固态图像传感器200的每个部件的定时。例如，定时控制电路212d控制第一访问控制电路211a和第二访问控制电路211b的定时。结果，还能够使由AD转换器212a读取的灰度像素308a的亮度信号与由EVS读出电路212b读取的EVS像素308b的EVS亮度信号同步。
返回图5，第一信号处理单元213对来自AD转换器212a的数字信号执行预定信号处理，例如，相关双采样(CDS)处理。信号处理单元212经由信号线209将指示处理结果和检测信号的数据提供给记录单元120。此外，第一信号处理单元213从来自AD转换器212a的数字信号生成预定数据格式的图像数据。
第二信号处理单元214对来自多个EVS AFE 314的检测信号执行预定信号处理。第二信号处理单元214通过例如以二维格子图案布置作为像素信号的检测信号来生成第一EVS图像。
如图5所示，输出接口216将从第一信号处理单元213提供的图像数据等输出至记录单元120。类似地，输出接口217将从第二信号处理单元214提供的图像数据等输出至记录单元120。
这里，将参考图10描述灰度像素308a的详细配置示例和控制操作示例。图10是示出灰度像素308a的配置示例的示图。如图10所示，灰度像素308a包括复位晶体管321、放大晶体管322、选择晶体管323、浮动扩散层324和光接收单元330。
例如，N型金属氧化物半导体(MOS)晶体管被用作重置晶体管321、放大晶体管322、选择晶体管323和传输晶体管3310。此外，光电转换元件311设置在光接收芯片201上。除了光电转换元件311以外的所有元件被布置在检测芯片202上。
光电转换元件311光电转换入射光以生成电荷。
通过传输晶体管3310将由光电转换元件311光电转换的电荷从光电转换元件311提供到浮动扩散层324。从光电转换元件311提供的电荷在浮动扩散层324中累积。浮动扩散层324生成具有对应于累积的电荷的量的电压值的电压信号。
放大晶体管322与选择晶体管323串联连接在电源电压VDD的电源线与垂直信号线VSL1之间。放大晶体管322放大通过浮动扩散层324经受电荷-电压转换的电压信号。
选择信号SEL从第一访问控制电路211a提供给选择晶体管323的栅电极。响应于选择信号SEL，选择晶体管323经由垂直信号线VSL1将由放大晶体管322放大的电压信号作为像素信号SIG输出至AD转换器212a(参见图5)。
[EVS像素的电路配置示例]
此处，将参考图11描述EVS像素308b的详细配置示例。图11是示出EVS像素308b的配置示例的示图。多个EVS像素308b中的每包括光接收单元31、像素信号生成单元32和EVSAFE314。
在具有以上配置的EVS像素308b中，光接收单元31包括光接收元件(光电转换元件)311、传输晶体管312和OFG(过流栅电极)晶体管313。例如，N型金属氧化物半导体(MOS)晶体管被用作传输晶体管312和OFG晶体管313。传送晶体管312和OFG晶体管313彼此串联连接。
光接收元件311连接在传输晶体管312和OFG晶体管313的公共连接节点N1与地之间，并且光电转换入射光以生成与入射光的量对应的电荷量的电荷。
传输信号TRG从图2中所示的第二访问控制电路211b提供至传输晶体管312的栅电极。响应于传输信号TRG，传输晶体管312将由光接收元件311光电转换的电荷提供至像素信号生成单元32。
控制信号OFG从第二访问控制电路211b提供给OFG晶体管313的栅电极。响应于控制信号OFG，OFG晶体管313将由光接收元件311生成的电信号提供给EVS AFE 314。提供给EVS AFE 314的电信号是包括电荷的光电流。
像素信号生成单元32包括复位晶体管321、放大晶体管322、选择晶体管323和浮动扩散层324。N型MOS晶体管用作例如复位晶体管321、放大晶体管322和选择晶体管323。
通过传输晶体管312将由光接收元件311光电转换的电荷从光接收单元31供应至像素信号生成单元32。从光接收单元31供应的电荷在浮动扩散层324中累积。浮动扩散层324生成具有对应于累积的电荷的量的电压值的电压信号。即，浮动扩散层324将电荷转换成电压。
复位晶体管321连接在电源电压VDD的电源线与浮动扩散层324之间。复位信号RST从第二访问控制电路211b提供至复位晶体管321的栅电极。复位晶体管321响应于复位信号RST初始化(复位)浮动扩散层324的电荷量。
放大晶体管322与选择晶体管323串联连接在电源电压VDD的电源线与垂直信号线VSL之间。放大晶体管322放大通过浮动扩散层324经受电荷-电压转换的电压信号。
选择信号SEL从第二访问控制电路211b提供给选择晶体管323的栅电极。响应于选择信号SEL，选择晶体管323经由垂直信号线VSL将由放大晶体管322放大的电压信号作为像素信号SIG输出到EVS读出电路212b(参见图2)。
在包括二维布置的具有上述配置的EVS像素308b的像素阵列单元30的电子设备100中，当图1中所示的控制单元130指示开始检测地址事件时，第二访问控制电路211b将控制信号OFG供应至光接收单元31的OFG晶体管313，从而驱动OFG晶体管313以将光电流供应至EVS AFE 314。
然后，当在特定EVS像素308b中检测到地址事件时，第二访问控制电路211b关闭EVS像素308b的OFG晶体管313以停止向EVS AFE 314供应光电流。接下来，第二访问控制电路211b将传输信号TRG提供至传输晶体管312以驱动传输晶体管312，并且将由光接收元件311光电转换的电荷传输至浮动扩散层324。
以这种方式，包括二维布置的具有上述配置的EVS像素308b的像素阵列单元30的电子设备100仅将其中检测到地址事件的EVS像素308b的像素信号输出到EVS读出电路212b。结果，不管是否存在地址事件，与输出所有像素的像素信号的情况相比，可以减小电子设备100的功耗和图像处理的处理量。
注意，这里例示的EVS像素308b的配置是示例，并且EVS像素308b不限于该配置示例。例如，像素配置可以省略像素信号生成单元32。在这种像素配置的情况下，仅需要从光接收单元31省略OFG晶体管313，并且传输晶体管312具有OFG晶体管313的功能。
[EVS AFE的第一配置示例]
图12是示出EVS AFE314的第一配置示例的框图。如图12所示，根据本配置示例的EVS AFE 314包括电流-电压转换单元331、缓冲器332、减法器333、量化器334以及传送单元335。
电流-电压转换单元331将来自灰度像素308a的光接收单元31的光电流转换成对数电压信号。电流-电压转换单元331将转换的电压信号提供至缓冲器332。缓冲器332缓冲从电流-电压转换单元331供应的电压信号并且将电压信号供应至减法器333。
行驱动信号从第二访问控制电路211b被提供到减法器333。减法器333根据行驱动信号降低从缓冲器332供应的电压信号的电平。然后，减法器333将具有降低的电平的电压信号提供给量化器334。量化器334将从减法器333供应的电压信号量化为数字信号并且将数字信号作为地址事件检测信号输出至传送单元335。
传送单元335将从量化器334提供的地址事件检测信号传送到第二信号处理单元214和其他部件。当检测到地址事件时，传送单元335将地址事件检测信号供应至第二信号处理单元214和第二访问控制电路211b。
接下来，将描述EVS AFE 314中的电流-电压转换单元331、减法器333和量化器334的配置示例。
(电流-电压转换单元的配置示例)
图13是示出EVS AFE 314中的电流-电压转换单元331的配置的示例的电路图。如图13所示，根据本示例的电流-电压转换单元331具有包括N型晶体管3311、P型晶体管3312和N型晶体管3313的电路配置。例如，MOS晶体管被用作这些晶体管3311至3313。
N型晶体管3311连接在电源电压VDD的电源线与信号输入线3314之间。P型晶体管3312和N型晶体管3313串联连接在电源电压VDD的电源线与地之间。然后，P型晶体管3312和N型晶体管3313的公共连接节点N2连接至N型晶体管3311的栅电极和图11中所示的缓冲器332的输入端子。
将预定偏置电压Vbias施加至P型晶体管3312的栅电极。利用该配置，P型晶体管3312向N型晶体管3313提供恒定电流。光电流通过信号输入线3314从光接收单元31输入到N型晶体管3313的栅电极。
N型晶体管3311和N型晶体管3313的漏电极连接到电源侧，并且这样的电路被称为源极跟随器。连接在回路中的这两个源极跟随器将来自光接收单元31的光电流转换为对数电压信号。
(减法器和量化器的配置示例)
图14是示出EVS AFE 314中的减法器333和量化器334的配置的示例的电路图。
根据本示例的减法器333包括电容元件3331、逆变器电路3332、电容元件3333以及开关元件3334。
图14所示，电容元件3331的一端连接到缓冲器332的输出端子，并且电容元件3331的另一端连接到逆变器电路3332的输入端子。电容元件3333与逆变器电路3332并联连接。开关元件3334连接在电容元件3333的两端之间。行驱动信号作为第二访问控制电路211b的开关元件3334的开闭控制信号。开关元件3334根据行驱动信号打开和关闭连接电容元件3333两端的路径。反相电路3332将经由电容元件3331输入的电压信号的极性反相。
在具有以上配置的减法器333中，当开关元件3334被接通(闭合)时，电压信号V初始被输入至缓冲器332侧的电容元件3331的端子，并且相对侧上的端子变成虚拟接地端子。为了方便起见，虚拟接地端子的电位被设置为零。此时，当电容元件3331的电容值为C1时，累积在电容元件3331中的电荷Q初始由以下式子(1)表示。另一方面，电容元件3333的两端短路，因此蓄积的电荷为0。
Q初始＝C1×V初始 (1)
接着，考虑开关元件3334被断开(断开)且缓冲器332侧的电容元件3331的端子的电压变为V之后的情况，电容元件3331中蓄积的电荷Q之后由下式子(2)表示。
Q之后＝C1×V之后 (2)
另一方面，当电容元件3333的电容值为C2并且输出电压为V输出时，电容元件3333中累积的电荷Q2由以下式子(3)表示。
Q2＝-C2×V输出 (3)
此时，由于电容元件3331和电容元件3333的总电荷量不改变，因此建立以下式子(4)。
Q初始＝Q之后+Q2 (4)
当将式子(1)至(3)代入式子(4)中并变形时，获得下式(5)。
V输出＝-(C1/C2)×(V之后-V初始) (5)
式子(5)表示电压信号的减法运算，减法结果的增益为C1/C2。因为通常希望使增益最大化，所以优选将C1设计为大并且将C2设计为小。另一方面，当C2太小时，kTC噪声增加，并且噪声特性可能劣化。因此，C2的容量减小被限制在能够容忍噪声的范围。此外，由于为每个EVS像素308b安装包括减法器333的EVS AFE 314，所以电容元件3331和电容元件3333具有面积限制。考虑到这些，确定电容元件3331和3333的电容值C1和C2。
在图14中，量化器334包括比较器3341。比较器3341将逆变器电路3332的输出信号(即，来自减法器333的电压信号)取作非反相(+)输入，并且将预定阈值电压Vth取作反相(-)输入。然后，比较器3341将来自减法器333的电压信号与预定阈值电压Vth进行比较，并且将指示比较结果的信号作为地址事件检测信号输出至传送单元335。
[EVS AFE的第二配置示例]
图15是示出EVS AFE 14的第二配置示例的框图。如图15所示，除了电流-电压转换单元331、缓冲器332、减法器333、量化器334以及传送单元335之外，根据本配置示例的EVSAFE 314还包括存储单元336和控制单元337。
存储单元336被设置在量化器334和传送单元335之间，并且基于从控制单元337提供的采样信号累积量化器334的输出(即，比较器3341的比较结果)。存储单元336可以是采样电路(诸如开关、塑料或电容器)，或者可以是数字存储器电路(诸如锁存器或触发器)。
控制单元337将预定阈值电压Vth供应至比较器3341的反相(-)输入端。从控制单元337供应至比较器3341的阈值电压Vth可以以时分的方式具有不同的电压值。例如，控制单元337在不同定时供应与表示光电流的变化量超过上限阈值的接通事件对应的阈值电压Vth1和与表示变化量下降到下限阈值以下的断开事件对应的阈值电压Vth2，使得一个比较器3341可以检测多种类型的地址事件。
例如，存储单元336可在将与断开事件对应的阈值电压Vth2从控制单元337提供给比较器3341的反相(-)输入端的时间段内，使用与接通事件对应的阈值电压Vth1来累积比较器3341的比较结果。注意，存储单元336可在EVS像素308b内部或EVS像素308b外部。此外，存储单元336不是EVS AFE 314的必要部件。即，存储单元336可被省略。
如上所述，根据本实施方式，如上所述，根据本实施方式，包括多个EVS像素308b的单个图像传感器200被布置在显示单元170的显示表面的相对侧上。利用这种配置，根据多个EVS像素308b的亮度信号，在经由显示单元170入射的光的亮度变化大于预定阈值的情况下，可以输出事件信号。此外，通过在显示单元170下方提供包括EVS像素308b的单个图像传感器200，可以抑制遮挡。
此外，具有预定厚度的广角透镜(诸如鱼眼镜头)可被布置在光学系统110中。
(第二实施方式)
根据第二实施方式的电子设备100与根据第一实施方式的电子设备100的不同之处在于还包括能够估计用户的情绪状态的功能。在下文中，将描述与根据第一实施方式的电子设备100的不同之处。
图16是示出分析单元140的配置示例的框图。如图16所示，分析单元140包括识别处理单元1400和状态分析单元1402。分析单元140包括例如中央处理单元(CPU)。例如，记录单元120(见图1)还存储在分析单元140中用于执行处理的各种程序。利用该配置，分析单元140例如通过执行存储在记录单元120中的程序来形成每个单元。
图17是示出经由显示单元170捕捉的指尖区域f16的移动的示意图。如图17所示，映射到第一EVS图像从显示单元170的末端开始，并且指尖区域f16移动到由指尖区域f16接触的目标位置g16。
识别处理单元1400基于例如第一EVS图像识别观察目标。本实施方式的识别对象例如是指尖。一般处理算法可以用于识别处理。例如，标记第一EVS图像中的地址事件的发生区域，如果以U形或环形标记的区域中的区域在预定范围内，则其被识别为指尖。在第一EVS图像中，与观察对象的边缘部分对应的区域是地址事件的发生区域。因此，在指尖的情况下，例如，地址事件的发生区域被标记为U形或环形。然后，识别处理单元1400将包括表示观察对象是手指的信息和表示指尖区域f16的重心坐标的信息的识别信号顺次输出到状态分析单元1402。
状态分析单元1402基于用户在显示单元160上的接触面板操作中的行为(诸如犹豫)来估计用户感受。
图18是示出用于由状态分析单元1402分析的数据的示例的示图。横轴表示时间，纵轴表示例如距目标位置g16的垂直距离。在此，目标位置g16被指示为0。
这里，图18的(a)是示出用户对目标位置g16毫不犹豫(即，精神稳定)的状态的示图。另一方面，(b)是表示用户对目标位置g16犹豫(即，精神不稳定)的状态的图。
如图18的(a)中所示，当用户毫不犹豫时，在较短的时间内到达目标位置g16。另一方面，如图18的(b)中所示，在用户犹豫的情况下，即使当手指到达目标位置g16时，指尖的位置也振荡，并且倾向于花费更多时间来接触目标位置g16。
因此，状态分析单元1402生成基于直至目标位置g16被接触的时间和振荡状态的评估值，并且基于该评估值评估精神状态。例如，直到接触位置g16被接触的时间越长，由状态分析单元1402生成的评估值变得越大，并且，摆动次数越长，由状态分析单元1402生成的评估值变得越大。利用这种配置，状态分析单元1402在评估值为第一阈值以下时估计精神状态是稳定的，在评估值为第二阈值以上时估计精神状态是不稳定的，并且在评估值大于第一阈值且小于第二阈值时估计精神状态是正常的。这样，通过估计直到接触位置g16被接触为止的情绪状态，能够进行反馈来提高操作性。例如，在估计到犹豫的情况下，可以提高目标位置g16的尺寸、显示颜色等显示模式。
此外，在目标位置g16是与电子商务相关的内容选择按钮的情况下，可以以顾客吸引方法、广告方法等给出关于用户的心理状态的反馈并且反映用户的心理状态。例如，在估计犹豫的情况下，可以改进用户景点方法和广告方法，以减少犹豫。
图19是示出第二实施方式的处理示例的流程图。如图19所示，控制单元130首先在第一模式中通过灰度像素从灰度图像确定对象的亮度是否合适(步骤S100)。在这种情况下，预先在第一模式下根据显示单元170上的诸如“呈现手指”的显示来执行预成像。如果亮度调整不适当(步骤S100中的“否”)，则调整显示单元170的光量(步骤S102)。
另一方面，如果外部环境的亮度适当(步骤S100中的“是”)，则控制单元130前进到第三模式并且仅重复第一EVS图像的成像(步骤S104)。随后，识别处理单元1400例如基于第一EVS图像识别观察对象(步骤S106)。
接下来，状态分析单元1402确定识别处理单元1400是否已经识别手指(步骤S108)。如果确定识别出手指(步骤S108中的“是”)，则状态分析单元1402仅捕捉第一EVS图像(步骤S106)，并且将直到用户的手指接触显示单元170的指尖的位置坐标和时间记录在记录单元120中。
接下来，状态分析单元1402基于来自接触面板5的信号确定用户的手指是否已经接触显示单元170(参见图3)(步骤S112)。如果确定手指已经被接触，则状态分析单元1402执行状态分析(步骤S114)并且结束整个处理。另一方面，如果确定用户的手指没有接触显示单元170(步骤S112中的“否”)，则重复步骤S110的处理。
如上所述，状态分析单元1402记录用户关于显示单元170的接触面板操作的行为，并且使用用户的手指相对于目标位置g160的摆动和直到接触的时间来估计原因状态作为评估值。其结果是，可以客观地估计用户的心理状态。此外，该操作与心理状态之间的关系使得可以给出反馈以改进可操作性。此外，在目标位置g16是与电子商务相关的内容选择按钮的情况下，可以在选择内容时反馈用户的心理状态并且在顾客吸引方法、广告方法等中反映心理状态。
(第三实施方式)
根据第三实施方式的电子设备100与根据第二实施方式的电子设备100的不同之处在于进一步安装了能够通过第一EVS图像估计用户的接触位置的功能。在下文中，将描述与根据第二实施方式的电子设备100的不同。
图20是示出第三实施方式的分析单元140的配置示例的框图。如图20所示，根据第三实施方式的分析单元140还包括接触位置分析单元1404。
图21是示意性地示出当指尖区域f16接触显示单元170的玻璃盖7(见图4)时在相同位置处以叠加的方式的第一EVS图像的时间序列图像的示图。如图21中所示，在接触覆盖玻璃7(见图4)之后，波纹T20作为地址事件的值传播。即，在图21中，环形指示时间随着环形增大而逝去。如上所述，当显示单元170的覆盖玻璃7被接触时，观察到作为特定地址事件值的传播模式的波纹T20。在这种情况下，在用手指的球(ball of finger)接触的情况下和用指甲尖接触的情况下观察到不同的传播图案。
接触位置分析单元1404从按时间序列捕捉的第一EVS图像的地址事件值的扩展的形式确定手指是否已经接触显示单元170的覆盖玻璃7。然后，当确定存在接触时，接触位置分析单元1404分析接触中心的坐标。例如，以纹波环形状扩展的地址事件值的重心坐标被设置为接触中心。
并且，接触位置分析单元1404对时间序列的第1EVS图像的重叠图像进行二维傅里叶分析。结果，分析每个频率的振幅分量，并且确定是用了手指的球还是用用指尖(诸如指甲)进行接触。例如，在用手指的球进行接触的情况下，接近低频的振幅分量的值与接近高频的振幅分量的值之间的比率大于用指尖(诸如指甲)进行接触的情况下的比率。这样，接触位置分析单元1404根据低频附近的振幅成分的值与高频附近的振幅成分的值的比，确定是手指的球还是指甲等指尖进行接触。然后，控制单元130(见图1)根据由接触位置分析单元1404分析的手指的接触位置来改变将要在显示单元170上显示的显示内容。此外，控制单元130(见图1)根据由接触位置分析单元1404分析的接触部分(诸如手指球或指甲)来改变将要显示在显示单元170上的显示内容。
如上所述，接触位置分析单元1404从按时间序列捕捉的第一EVS图像的地址事件值的扩展的形式分析接触中心的坐标。因此，即使当电子设备100不具有接触面板时，也可检测用户在覆盖玻璃7(见图4)上的接触位置。
(第四实施方式)
根据第四实施方式的电子设备100与根据第三实施方式的电子设备100的不同之处在于还包括能够通过第一EVS图像估计用户与附近人之间的交互的功能。在下文中，将描述与根据第二实施方式的电子设备100的不同。
图22是示出根据第四实施方式的分析单元140的配置示例的框图。如图22所示，根据第四实施方式的分析单元140还包括交互分析单元1406。
图23是示出由识别处理单元1400识别的面部区域a230、a232和a234的示图。图23是示意性地示出第一EVS图像中的面部区域a230、a232和a234的示图。
图24是示出按时间序列改变面部的下颚部的位置的示意图。横轴表示时间，纵轴表示下部爪部的位置。图24的(a)通过线L240示出对象的面部区域a230中的操作示例，并且图24的(b)和图24的(c)通过线L242和线L244示出附近人的面部区域a232和a234的操作示例。线L240、L242和L244的值表示第一EVS图像中下颚部的纵坐标的值。
例如，图24的(a)中的线L240的低于0的区域示出对象点头的状态。在图24的(b)的面部区域a232中的线L242中也观察到点头动作，以便与对象的面部区域a230的点头同步。另一方面，图24的(b)的面部区域a234中的线L244的值是恒定的，即，下颚的位置是恒定的，并且观察到动作与对象的面部区域a230的点头不同步。
交互分析单元1406通过按时间序列捕捉的第一EVS图像的下颚的位置的时间变化的形式来估计对象和附近人之间的交互。例如，当观察对象的颚的移动并且结合该移动观察周围的人的颚的移动时，估计一致度高。另一方面，在没有观察到周围的人的颚的移动的联动的情况下，估计一致程度低。
更具体地，交互分析单元1406按时间序列在记录单元120(见图1)中记录诸如对应于面部区域a230、a232和a234中的每一个的下颚的位置的地址事件值的纵坐标的位置坐标，作为下颚的位置信息。然后，交互分析单元1406计算对象的面部区域a230的时间序列变化值与被比较的人的面部区域a232和a234中的每一个的时间序列变化值之间的相关值。交互分析单元1406估计相关值越高，一致程度越高。例如，交互分析单元1406将阈值设置为0.6，并且当L240与L242和L244中的每一个之间的相关值为0.6或更大时，估计一致度高，并且当相关值小于0.6时，估计一致度低。注意，阈值是示例，并不限于此。例如，交互分析单元1406可将阈值设置为0.65和0.55，并且当相关性为0.65以上时可估计一致度高，并且当相关性小于0.55时可估计一致度低。
如上所述，交互分析单元1406分析按时间序列捕捉的第一EVS图像中的下颚的位置的时间变化。其结果，在与对象的下颚的位置连动地观察到周围的人的下颚的移动的情况下，可以估计出一致度高，并且额在未观察到周围的人的下颚的移动的情况下，可以估计出一致度低。
(第五实施方式)
根据第五实施方式的电子设备100与根据第四实施方式的电子设备100的不同在于，还包括通过从第一EVS图像分析用户的振动来估计心理状态的功能。在下文中，将描述与根据第四实施方式的电子设备100的不同。
图25是示出根据第五实施方式的分析单元140的配置示例的框图。如图25所示，根据第五实施方式的分析单元140还包括振动图像生成单元1408和状态处理单元1500。
图26是示意性地示出向电子设备100提供内容的服务器1000的示图。服务器1000包括内容累积单元1000a。情绪信息与由内容累积单元1000a按时间序列累积的内容相关联。例如，使1000位对象提前观看内容，例如，并且获取通过以时间序列测量心理状态获得的情绪信息。例如，在最大数量的人在某个时间点显示稳定性的情况下，该时间点的情绪信息是“稳定的”。另一方面，在最大数量的人在另一特定时间点显示不稳定的情况下，该时间点的情绪信息“不稳定”。
此外，在最大数量的人在某个时间点显示不稳定的情况下，获取人用于稳定情绪的改进示例作为知识。该改进示例也与情绪信息相关联地存储。作为改进示例，动作示例包括示出放松的内容、促进诸如深呼吸、拉伸等的放松动作。
图27是示出以时间序列拍摄的第一EVS图像的示例的示图。图27示出从时间t0到时间t3以时间序列捕捉的第一EVS图像。第一EVS图像包括地址事件值。例如，如果有地址事件，则该值为1，如果没有地址事件，则该值为0。因此，例如，当分析特定像素的地址事件1的周期时，获取关于像素中用户的振动状态的信息。
振动图像生成单元1408基于按时间序列获取的每个像素的地址事件的周期来生成用户的振动图像。
图28是示意性地示出由振动图像生成单元1408生成的振动图像的示图。例如，图28的(a)示出稳定状态，图28的(b)示出例如不稳定状态，并且图28的(c)示出例如生气状态，诸如攻击性增加的状态。已知人体各部位的运动特性和精细运动速度取决于心理生理状态，仅稍微取决于动力学活动本身和大分子运动。在攻击性、压力和焦虑水平增加的活跃的心理生理状态中，整个身体的精细运动的特征(从机械观点来看的振动)由心理生理过程确定，并且已知肩膀、胸部和骨盆的运动与头部的精细运动具有高相关性。
根据第五实施方式的状态分析单元1402基于由振动图像生成单元1408生成的振动图像来估计用户的心理状态，诸如情绪。对于该估计方法，例如，可以使用专利文献2中公开的技术。根据第五实施方式的状态分析单元1402与专利文献2中公开的技术的不同之处在于使用由振动图像生成单元1408生成的振动图像。
状态处理单元1500根据状态分析单元1402的估计结果在显示单元170上以显示形式显示图像。
图29是示出由状态处理单元1500显示的图像的示例的图。这里，图29的(a)示出在状态分析单元1402的估计结果中情绪稳定的情况下显示的图像。同时，图29的(b)是在状态分析单元1402的估计结果中情绪不稳定的情况下显示的图像。如图29的(a)中所示，在整体情绪稳定的情况下，确定用户对正在显示的内容满意，并且相同类型的内容作为选项被显示在显示单元170上。
另一方面，如图29的(b)所示，在整体情绪不稳定的情况下，确定用户不满意正在显示的内容，并且不同于正在显示的内容的类型的内容作为选项被显示在显示单元170上。以这种方式，通过根据用户的情绪改变可选择的内容，可以将更接近用户的意图的内容显示为选项。
图30是示出由状态处理单元1500显示的另一个图像示例的示图。图30是在状态分析单元1402的估计结果中情绪不稳定的情况下显示的图像。例如，状态处理单元1500使显示单元170显示促进用于鼓励放松的动作的图像，诸如，“健康状况不佳”、“休息”或“深呼吸”。以这种方式，可以根据感测用户的情绪的结果向用户提出动作建议。因此，用户注意到他/她的心理状态并且根据该显示执行动作，使得可以抑制压力等的增加。此外，基于来自服务器1000的内容累积单元1000a的与正在显示的内容相关联的第三方的改进示例的信息，状态处理单元1500还可以对图30中示出的用户做出动作建议。
图31是示出使用由状态处理单元1500显示的外部信息的图像的示例的示图。图31示出在状态分析单元1402的估计结果中情绪不稳定的情况下显示的图像。状态处理单元1500从服务器1000的内容累积单元1000a获取与正在显示的内容相关的改进示例的信息。例如，放松内容是具有用于稳定许多人的情绪的被证明的记录的内容。例如，已知当显示该内容时，许多人的脉搏稳定，并且血压也降低。类似地，刷新内容是具有被证明的记录以提升许多人的情绪的内容。例如，已知当显示该内容时，许多人被激励。类似地，音乐内容是具有证明的记录以稳定许多人的情绪的内容。例如，已知当显示该内容时，许多人的脉搏稳定，并且血压也降低。以这种方式，状态处理单元1500能够根据状态分析单元1402的估计结果来显示更适合的健康护理内容。
图32是示意性地示出状态分析单元1402中的估计结果的记录状态的示图。纵轴表示时间。当在记录单元120中显示内容时，状态分析单元1402记录心理状态(见图1)，并且经由通信单元150(见图1)将心理状态传输至服务器1000。服务器1000增加信息的累积，作为内容的用户的心理状态的示例。可以记录当时的时间感受和行为，以便在内容13的区域A31中显示。利用该配置，还可以分析内容的细节、用户的情绪和用户行为之间的关系。
图33是示意性示出在第二模式下进行成像的情况下在状态分析单元1402中的估计结果的记录状态的示图。纵轴表示时间。如上所述，在第二模式中，还拍摄作为第二EVS图像的动画的亮度动画。
如图33中所示，通过状态分析单元1402记录用户的行为和情绪，可以检测特定行为(诸如良好行为、非法行为等)的参与。例如，当分析处于不稳定状态的亮度图像时，可以更有效地检测非法行为等。另一方面，当分析稳定状态下的亮度图像时，可以更有效地检测良好的行为等。
图34是示出使用用户的振动图像的用户状态分析的流程的流程图。首先，振动图像生成单元1408获取以时间序列记录在记录单元120中的第一EVS图像(步骤S200)。随后，振动图像生成单元1408确定是否已经获取生成振动图像所需的预定数量的第一EVS图像(步骤S202)。如果未获取图像(步骤S202中的“否”)，则重复步骤S200的处理。
另一方面，如果获取了图像(步骤S202中的“是”)，则振动图像生成单元1408生成振动图像(步骤S204)。
接下来，状态分析单元1402使用由振动图像生成单元1408生成的振动图像来估计用户的心理状态。随后，状态分析单元1402确定是否结束处理(步骤S208)，并且如果处理不结束(步骤S208中的“否”)，则重复步骤S200的处理。另一方面，如果要结束处理(步骤S208中的“是”)，则结束整个处理。
图35是示出内容显示时的用户状态分析的流程的流程图。首先，状态处理单元1500获取用户选择的内容信息(步骤S300)。随后，状态处理单元1500获取由状态分析单元1402依次估计的关于用户的心理状态的信息(步骤S302)。
接下来，状态处理单元1500确定从状态分析单元1402获取的用户的心理状态是否不稳定(步骤S304)。如果状态不稳定(步骤S304中的“否”)，则重复从步骤S300开始的处理。
另一方面，如果状态不稳定(步骤S304中的“是”)，则经由通信单元150(见图1)从服务器1000的内容累积单元1000a获取关于与正在显示的内容相关联的改进示例的信息(步骤S306)。然后，状态处理单元1500使显示单元170基于与正被显示的内容相关联的改进示例的信息，将具有改进的经证明记录的内容显示为推荐内容作为用户的选项(步骤S308)。
接下来，状态处理单元1500确定是否结束整个处理(步骤S310)。如果确定为不结束处理(步骤S310中的“否”)，则重复步骤S300的处理。另一方面，如果确定为结束处理(步骤S310中的“是”)，则结束整个处理。
如上所述，根据本实施方式的状态分析单元1402使用由振动图像生成单元1408生成的用户的振动图像估计用户的心理状态。其结果是，可以客观地估计用户的心理状态。此外，因为可以估计正在显示内容的用户的心理状态，所以可以根据用户的心理状态改变针对下一内容的选项。
此外，在显示内容的用户的心理状态不稳定的情况下，在显示单元170上显示与和内容相关的改进措施对应的内容作为选项。结果，可以允许用户选择具有经证明的改善记录的内容。
(第六实施方式)
根据第六实施方式的电子设备100与根据第五实施方式的电子设备100的不同之处在于还包括通过分析由扬声器单元160发出的声音的到达区域来改变由扬声器单元160发出的声音的到达区域的功能。在下文中，将描述与根据第五实施方式的电子设备100的不同。
图36是示出根据第六实施方式的分析单元140的配置示例的框图。如图36中所示，根据第六实施方式的分析单元140还包括面部形状分析单元1502、声音到达位置分析单元1504以及声波方向调整单元1506。
图37是示意性地示出根据第六实施方式的电子设备100的传感器配置的示图。如图37中所示，根据第六实施方式的电子设备100包括单个图像传感器200和深度传感器2000。深度传感器2000是能够生成用户B37的三维形状数据的传感器。单个图像传感器200和深度传感器2000的捕捉图像可以与其像素的坐标相关联，并且可以通过融合来处理。
图38是示意性地示出根据第六实施方式的电子设备100的扬声器单元160的垂直截面的示图。如图38所示，根据第六实施方式的电子设备100包括具有高方向性的第一扬声器160a和具有类似高方向性的第二扬声器160b。基线BL对应于显示单元170的水平面。第一扬声器160a和第二扬声器160b被配置为使得相对于基线BL的朝向可以根据角度θ1、θ2改变。第一扬声器160a在对应于角度θ1的方向上发射具有高方向性的声波Sa。类似地，第二扬声器160b在对应于角度θ2的方向上发射具有高方向性的声波Sb。由于这些声波Sa和Sb具有高方向性，所以抑制了声波Sa和Sb已到达的除用户B37以外的人的观看。如上所述，扬声器单元160被配置为使得仅用户B37能够听到声波Sa和Sb。
将参考图39A至图39D描述面部形状分析单元1502的处理示例。图39A是示出由深度传感器2000捕捉的用户B37的正面的三维图像的示图。图39B是示出由深度传感器2000捕捉的用户B37的倾斜方向上的三维图像的示图。
图39C是通过旋转用户B37的正面的三维图像以便在用户B37的倾斜方向上匹配三维图像而获得的图像。图39D是使用旋转角度和双眼、双耳、鼻子和嘴的三维位置信息获取耳朵E39的位置信息的示图。
如图39A所示，面部形状分析单元1502预先在记录单元120(见图1)中记录三维图像，在该三维图像中，基于用户B37正面的三维图像估计骨架。此外，还预先获取并在记录单元120中记录当捕捉在30A中所示的用户B37的正面时的灰度图像(参见图1)。面部形状生成单元1502使用识别处理单元1400对双眼、双耳、鼻子和嘴的识别处理结果，通过记录单元120中的用户B37的正面的骨架估计，在三维图像中记录双眼、双耳、鼻子和嘴的三维位置信息。
如图39B和图39C所示，在深度传感器2000捕捉用户B37的倾斜方向上的三维图像的情况下，面部形状分析单元1502旋转用户B37的前面的三维图像，并计算与用户B37的倾斜方向上的三维图像匹配的旋转位置。
如图39D所示，面部形状分析单元1502使用预先记录的用户B37的双眼、双耳、鼻子和嘴的三维位置信息和旋转角来估计在用户B37的倾斜方向上的三维图像中耳朵E39的位置。此外，由于灰度图像、第一EVS图像和三维图像的坐标预先关联，因此面部形状分析单元1502可根据由面部形状分析单元1502获取的耳E39的区域信息来估计第一EVS图像上的耳E39的区域。在这种情况下，即使用户B37的耳朵E39被头发等隐藏，也可以根据其他部分(眼睛、嘴巴等)的位置关系来估计作为目标部分的耳朵E39的位置。
将参照图40A至图40D描述声音到达位置分析单元1504和声波方向调整单元1506的处理示例。图40A是示出按时间序列捕捉的用户B37的前面的第一EVS图像的示图。T40L和T40R是暴露于声波的区域，并且暴露于声音的区域随着时间以波形的形式传播。图40B是示出在声波方向调整之后按时间序列捕捉的用户B37的前面的第一EVS图像的示图。图40C是示出按时间序列捕捉的倾斜方向上的用户B37的第一EVS图像的示图。T40是暴露于声波的区域，并且暴露于声音的区域随着时间以波形的形式传播。图40D是示出在声波方向调整之后按时间序列捕捉的倾斜方向上的用户B37的第一EVS图像的示图。
如图40A所示，声音到达位置分析单元1504估计随着区域T40L和T40R暴露于声波而以环状扩展的区域。类似地，即使在仅拍摄一只耳朵的情况下，也估计暴露于声波的区域为区域T40M。此外，声音到达位置分析单元1504还可分析时间序列第一EVS图像以确定用户B37是否暴露于声波。
如图40B和图40D所示，声波方向调整单元1506相对于第一扬声器160a和第二扬声器160b调整角度θ1和θ2，使得由面部形状分析单元1502估计的耳朵E39的位置与暴露于由声音到达位置分析单元1504估计的声波的区域T40L、T40R和T40M匹配。以此方式，用户B37的耳朵E39的区域可以被持续地暴露于声波。
此外，声音到达位置分析单元1504还可以通过二维傅立叶变换执行暴露于声音的区域的频率分析。在这种情况下，可以将与从扬声器单元160单独发出的声音的频率相对应的区域估计为耳朵E39的区域。因此，在声源的数量较多的情况下，能够进一步提高估计精度。
此外，声波方向调整单元1506可组合第一扬声器160a和第二扬声器160b的声波Sa和Sb的波前以生成专用于用户B37的声场。更具体地，声波方向调整单元1506调整第一扬声器160a和第二扬声器160b的朝向以及波Sa和Sb的波前的重叠，并且生成更强烈地到达耳朵E39的区域的声场。此外，声波方向调整单元1506可以基于识别处理单元1400的处理结果通过传感器确定在附近是否存在人，并且可以改变在附近存在人时要发送的声音的强度和范围。
图41是示出改变声音的方向的处理示例的流程的流程图。首先，声音到达位置分析单元1504分析时间序列的第一EVS图像并确定用户B37是否暴露于声波(步骤S400)。如果用户B37没有暴露于声波(步骤S400中的“否”)，则重复步骤S400中的处理。另一方面，如果用户B37暴露于声波(步骤S400中的“是”)，则控制单元130激活除了EVS像素308b(见图7)之外的灰度像素308a和深度传感器2000(见图37)(步骤S402)。结果，获取第一EVS图像、深度图像和灰度图像。
接下来，面部形状分析单元1502基于深度传感器2000的深度图像生成用户B37的三维图像(步骤S404)。随后，面部形状分析单元1502旋转预先记录的正面三维面部图像，并且基于与在步骤S404中生成的三维面部图像匹配的角度来确定用户B37的面部的方向(步骤S406)。
接下来，面部形状分析单元1502使用预先记录的双眼、双耳、鼻子和嘴的三维位置信息和旋转角(即，面部的方向的信息)来估计耳朵在第一EVS图像中的位置(步骤S408)。
接下来，声音到达位置分析单元1504估计暴露于声波的区域(步骤S410)。随后，声波方向调整单元1506确定由面部形状分析单元1502估计的耳朵的位置是否与暴露于由声音到达位置分析单元1504估计的声波的区域匹配(步骤S412)。然后，如果区域匹配(步骤S412中的“是”)，则声波方向调整单元1506重复从步骤S402开始的处理。
另一方面，如果区域不匹配(步骤S412中的“否”)，则声波方向调整单元1506相对于第一扬声器160a和第二扬声器160b调整角度θ1和θ2，使得由面部形状分析单元1502估计的耳朵的位置与暴露于由声音到达位置分析单元1504估计的声波的区域匹配(步骤S414)。接下来，声波方向调整单元1506确定是否结束整个处理(步骤S416)，并且如果确定不结束整个处理(步骤S416)，则重复步骤S402的处理。
如上所述，根据本实施方式的声音到达位置分析单元1504使用第一EVS图像估计暴露于声波的区域，并且声波方向调整单元1506相对于第一扬声器160a和第二扬声器160b调整角度θ1和θ2，使得由面部形状分析单元1502估计的耳朵的位置与暴露于由声音到达位置分析单元1504估计的声波的区域匹配。结果，即使用户B37移动，用户B37的耳朵E39的区域也可以持续地暴露于声波。
应注意，本技术还可以下列方式配置。
(1)一种电子设备，包括：
显示单元，具有其中显示元件在第一方向和与所述第一方向不同的第二方向上以阵列布置的显示区域，以及
图像传感器，被布置在所述显示单元的与显示表面相反的一侧上，以在与所述第一方向和所述第二方向不同的第三方向上与所述显示区域重叠，并且包括多个像素，其中，
所述显示单元透射入射光，并且
所述多个像素在经由所述显示单元入射的光的亮度变化大于预定阈值的情况下输出事件信号。
(2)根据(1)所述的电子设备，还包括状态分析单元，所述状态分析单元使用所述事件信号的信息分析在所述显示单元上的接触操作中的用户的行为并且估计用户感受。
(3)根据(1)或(2)所述的电子设备，还包括接触位置分析单元，该接触位置分析单元通过使用事件信号的信息来估计用户接触显示单元的位置。
(4)根据(3)所述的电子设备，其中，所述接触位置分析单元使用所述事件信号的传播信息来区分接触所述显示单元的对象。
(5)根据(4)所述的电子设备，还包括控制所述显示单元的控制单元，其中，
根据接触位置和接触的对象中的至少一个，改变要在显示单元上显示的显示内容。
(6)根据(1)所述的电子设备，其中
基于使用所述事件信号的信息生成的用户的振动图像改变要在所述显示单元上显示的显示内容。
(7)根据(6)所述的电子设备，还包括状态分析单元，该状态分析单元基于使用事件信号的信息生成的用户的振动图像来估计用户的情绪。
(8)根据(7)所述的电子设备，还包括状态处理单元，所述状态处理单元根据所述状态分析单元的估计结果来使所述显示单元显示图像。
(9)根据(7)所述的电子设备，其中
所述状态处理单元根据所述状态分析单元的估计结果使所述显示单元显示用于健康护理的图像。
(10)根据(8)所述的电子设备，其中
所述状态处理单元根据所述状态分析单元的估计结果使所述显示单元显示内容选项。
(11)根据(8)所述的电子设备，其中
所述状态处理单元根据所述状态分析单元的估计结果使所述显示单元向所述用户显示动作建议。
(12)根据(11)所述的电子设备，其中
所述动作建议基于从外部服务器获取的第三方的改进示例的信息。
(13)根据(1)所述的电子设备，还包括发出声音的扬声器单元，并且
声音到达位置分析单元，使用所述事件信号的信息估计所述用户的暴露于从所述扬声器单元发出的声音的部分。
(14)根据(13)所述的电子设备，其中
所述声音到达位置分析单元确定用户的耳朵是否暴露于从所述扬声器单元发出的声音。
(15)根据(14)所述的电子设备，还包括声波方向调整单元，所述声波方向调整单元根据由所述声音到达位置分析单元分析的声音的到达位置来控制所述扬声器的朝向。
(16)根据(15)所述的电子设备，其中
所述声波方向调整单元控制所述扬声器的朝向，使得声音直接到达所述用户的耳朵。
(17)根据(16)所述的电子设备，还包括面部形状分析单元，所述面部形状分析单元将所述用户的双眼、双耳、鼻子和嘴在三维图像中的三维位置信息记录在记录单元中。
(18)根据(17)所述的电子设备，其中
所述面部形状分析单元通过使用预先记录的所述用户的双眼、双耳、鼻子和嘴的三维位置信息和所述用户的所述三维图像的旋转角，来估计在所述用户的倾斜方向上的三个图像中耳朵的位置。
(19)根据(18)所述的电子设备，其中
声音到达位置分析单元可根据扬声器的音频波长改变通过分析提取的到达位置。
(20)根据(19)所述的电子设备，其中
在声音到达位置分析单元基于事件信号确定声音到达用户的情况下，激活捕捉用户的三维图像的深度传感器。
(21)根据(20)所述的电子设备，其中
所述声音到达位置分析单元融合基于所述事件信号的图像和基于所述深度传感器的图像，并且获取所述用户的双眼、双耳、鼻子和嘴的三维位置信息。
(22)根据(21)所述的电子设备，其中
面部形状分析单元在激活深度传感器之后通过骨架估计来生成用户的三维图像。
(23)根据(1)所述的电子设备，其中，持续获取事件信号。
(24)根据(1)所述的电子设备，其中
使所述显示单元发射光以满足所述多个像素的灵敏度。
(25)一种控制电子设备的方法，包括：
显示单元，具有其中显示元件在第一方向和与所述第一方向不同的第二方向上以阵列布置的显示区域，以及
图像传感器，被布置在所述显示单元的与显示表面相反的一侧上，以在不同于所述第一方向和所述第二方向的第三方向上与所述显示区域重叠，并且包括多个像素，其中，
所述显示单元透射入射光，并且
所述多个像素在经由所述显示单元入射的光的亮度变化大于预定阈值的情况下输出事件信号。
本公开的各方面不限于上述各个实施方式，而是包括本领域技术人员可以想到的各种修改，并且本公开的效果不限于上述内容。即，在不脱离由权利要求及其等同物限定的内容得出的本公开的概念思想和主旨的情况下，可以进行各种添加、修改和部分删除。
附图标记列表
100 电子设备
130 控制单元
160 扬声器单元
170 显示单元
200 固态图像传感器
1000 服务器
1402 状态分析单元
1404 接触位置分析单元
1504 声音到达位置分析单元
1506 声波方向调整单元
2000 深度传感器。

Claims (25)

1.一种电子设备，包括：
显示单元，具有显示区域，在所述显示区域中，在第一方向和与所述第一方向不同的第二方向上以阵列布置显示元件，以及
图像传感器，被布置在所述显示单元的与显示表面相反的一侧上，以在与所述第一方向和所述第二方向不同的第三方向上与所述显示区域重叠，并且所述图像传感器包括多个像素，其中，
所述显示单元透射入射光，并且
所述多个像素在经由所述显示单元入射的光的亮度变化大于预定阈值的情况下输出事件信号。
2.根据权利要求1所述的电子设备，还包括：状态分析单元，所述状态分析单元通过使用所述事件信号的信息来分析用户在所述显示单元上的接触操作的行为并且估计用户感受。
3.根据权利要求1所述的电子设备，还包括：接触位置分析单元，所述接触位置分析单元通过使用所述事件信号的信息来估计用户接触所述显示单元的位置。
4.根据权利要求3所述的电子设备，其中，
所述接触位置分析单元使用所述事件信号的传播信息以区分接触所述显示单元的对象。
5.根据权利要求4所述的电子设备，还包括：控制单元，所述控制单元控制所述显示单元，其中，
所述控制单元根据接触位置或者接触的对象中的至少一个来改变要显示在所述显示单元上的显示内容。
6.根据权利要求1所述的电子设备，其中，
基于使用所述事件信号的信息而生成的用户的振动图像，改变要显示在所述显示单元上的显示内容。
7.根据权利要求6所述的电子设备，还包括：状态分析单元，所述状态分析单元基于使用所述事件信号的信息而生成的所述用户的振动图像来估计所述用户的情绪。
8.根据权利要求7所述的电子设备，还包括：状态处理单元，所述状态处理单元根据所述状态分析单元的估计结果来使所述显示单元显示图像。
9.根据权利要求8所述的电子设备，其中，
所述状态处理单元根据所述状态分析单元的估计结果来使所述显示单元显示用于健康护理的图像。
10.根据权利要求8所述的电子设备，其中，
所述状态处理单元根据所述状态分析单元的估计结果来使所述显示单元显示内容选项。
11.根据权利要求8所述的电子设备，其中，
所述状态处理单元根据所述状态分析单元的估计结果来使所述显示单元向所述用户显示动作建议。
12.根据权利要求11所述的电子设备，其中，
所述动作建议基于从外部服务器获取的第三方的改进示例的信息。
13.根据权利要求1所述的电子设备，还包括：扬声器单元，所述扬声器单元发出声音，以及
声音到达位置分析单元，使用所述事件信号的信息来估计用户的暴露于从所述扬声器单元发出的声音的部分。
14.根据权利要求13所述的电子设备，其中，
所述声音到达位置分析单元确定用户的耳朵是否暴露于从所述扬声器单元发出的声音。
15.根据权利要求14所述的电子设备，还包括：声波方向调整单元，所述声波方向调整单元根据由所述声音到达位置分析单元分析的声音的到达位置来控制所述扬声器的朝向。
16.根据权利要求15所述的电子设备，其中，
所述声波方向调整单元控制所述扬声器的朝向，使得声音直接到达所述用户的耳朵。
17.根据权利要求16所述的电子设备，还包括：面部形状分析单元，所述面部形状分析单元将所述用户的双眼、双耳、鼻子和嘴在三维图像中的三维位置信息记录在记录单元中。
18.根据权利要求17所述的电子设备，其中，
所述面部形状分析单元通过使用预先记录的所述用户的双眼、双耳、鼻子和嘴的三维位置信息和所述用户的所述三维图像的旋转角，估计在所述用户的倾斜方向上的三个图像中耳朵的位置。
19.根据权利要求18所述的电子设备，其中，
所述声音到达位置分析单元能够根据扬声器的音频波长来改变通过分析而提取的到达位置。
20.根据权利要求19所述的电子设备，其中，
在所述声音到达位置分析单元基于所述事件信号确定出声音到达用户的情况下，激活捕捉所述用户的三维图像的深度传感器。
21.根据权利要求20所述的电子设备，其中，
所述声音到达位置分析单元融合基于所述事件信号的图像和基于所述深度传感器的图像，并且获取所述用户的双眼、双耳、鼻子和嘴的三维位置信息。
22.根据权利要求21所述的电子设备，其中，
在所述深度传感器激活之后，所述面部形状分析单元通过骨架估计来生成用户的三维图像。
23.根据权利要求1所述的电子设备，其中，
所述事件信号被持续获取。
24.根据权利要求1所述的电子设备，其中，
使所述显示单元发射光以满足所述多个像素的灵敏度。
25.一种控制电子设备的方法，所述电子设备包括：
显示单元，具有显示区域，在所述显示区域中，显示元件在第一方向和与所述第一方向不同的第二方向上以阵列布置，以及
图像传感器，被布置在所述显示单元的与显示表面相反的一侧上，以在与所述第一方向和所述第二方向不同的第三方向上与所述显示区域重叠，并且所述图像传感器包括多个像素，其中，所述显示单元透射入射光，并且
所述多个像素在经由所述显示单元入射的光的亮度变化大于预定阈值的情况下输出事件信号。
CN202180064650.0A 2020-09-28 2021-09-08 电子设备和控制电子设备的方法 Pending CN116324959A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020162530 2020-09-28
JP2020-162530 2020-09-28
PCT/JP2021/032981 WO2022065033A1 (ja) 2020-09-28 2021-09-08 電子機器及び電子機器の制御方法

Publications (1)

Publication Number Publication Date
CN116324959A true CN116324959A (zh) 2023-06-23

Family

ID=80845187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180064650.0A Pending CN116324959A (zh) 2020-09-28 2021-09-08 电子设备和控制电子设备的方法

Country Status (5)

Country Link
US (1) US20230335043A1 (zh)
JP (1) JPWO2022065033A1 (zh)
CN (1) CN116324959A (zh)
DE (1) DE112021005083T5 (zh)
WO (1) WO2022065033A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250789A (ja) * 2008-06-10 2010-11-04 Akira Tomono カメラ付き表示装置
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
US20170132466A1 (en) * 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
KR102561079B1 (ko) 2017-10-30 2023-07-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 소자
KR20210028139A (ko) * 2018-03-14 2021-03-11 소니 어드밴스드 비주얼 센싱 아게 3d-ic 기술로 제조된 이벤트-기반 비전 센서

Also Published As

Publication number Publication date
DE112021005083T5 (de) 2023-08-31
WO2022065033A1 (ja) 2022-03-31
JPWO2022065033A1 (zh) 2022-03-31
US20230335043A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
US9791948B2 (en) Control device and storage medium
US11295664B2 (en) Display-synchronized optical emitters and transceivers
JP3846572B2 (ja) 固体撮像装置
US20150156898A1 (en) Mobile terminal
US20140104392A1 (en) Generating image information
TW201129088A (en) Display device with image pickup function, driving method, and electronic device
KR20160149068A (ko) 이동단말기 및 그 제어방법
WO2017221741A1 (ja) 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
WO2020015538A1 (zh) 图像数据处理方法及移动终端
CN108271012A (zh) 一种深度信息的获取方法、装置以及移动终端
CN113132863B (zh) 立体声拾音方法、装置、终端设备和计算机可读存储介质
US20150253971A1 (en) Electronic apparatus and display control method
US11663992B2 (en) Fade-in user interface display based on finger distance or hand proximity
CN108965666A (zh) 一种移动终端及图像拍摄方法
CN108968972B (zh) 柔性疲劳检测装置以及信息处理方法及装置
JP2006333493A (ja) 固体撮像装置及びその制御方法
CN108012026A (zh) 一种保护视力方法及移动终端
CN109994111A (zh) 一种交互方法、装置及移动终端
CN108900772A (zh) 一种移动终端及图像拍摄方法
US11996421B2 (en) Image sensor, mobile terminal, and image capturing method
US11438986B2 (en) Methods and systems for feature operational mode control in an electronic device
CN116324959A (zh) 电子设备和控制电子设备的方法
TW200923734A (en) Coordinate positioning mouse having suspended positioning function
US10958777B1 (en) Methods and systems for stowed state verification in an electronic device
CN115546248A (zh) 事件数据处理方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination