CN113286058A - 电子设备 - Google Patents

电子设备 Download PDF

Info

Publication number
CN113286058A
CN113286058A CN202110114144.XA CN202110114144A CN113286058A CN 113286058 A CN113286058 A CN 113286058A CN 202110114144 A CN202110114144 A CN 202110114144A CN 113286058 A CN113286058 A CN 113286058A
Authority
CN
China
Prior art keywords
pixel
signal processing
photoelectric conversion
electronic device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110114144.XA
Other languages
English (en)
Inventor
中田征志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113286058A publication Critical patent/CN113286058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Inorganic Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

一种电子设备，抑制由于伪像而导致的画质降低。电子设备具有显示部、配置在与所述显示部的显示面相反的一侧的摄像部以及信号处理部。所述摄像部具备多个芯片上透镜以及多个像素，所述芯片上透镜具有第一芯片上透镜，所述多个像素具有第一像素，所述第一像素与第一芯片上透镜重叠配置，所述第一像素具有多个光电转换部。所述信号处理部处理从所述多个像素输出的信号。

Description

电子设备
技术领域
本公开涉及电子设备。
背景技术
在最近的智能手机、移动电话、PC(Personal Computer：个人计算机)等电子设备中，在显示部的外框(边框)搭载有相机，以使视频电话、视频拍摄变得简单。由于智能手机、移动电话经常放在口袋、包里随身携带，因此外形尺寸需要尽可能紧凑。另一方面，若显示画面的尺寸较小，则显示分辨率越高，所显示的字符尺寸越小而难以视觉确认。因此，正在研究通过缩小显示画面周围的边框宽度，在不扩大电子设备的外形尺寸的情况下，尽可能扩大显示画面的尺寸。
但是，由于在电子设备的边框上大多搭载有相机等，因此无法使边框宽度比相机的外径尺寸更小。另外，在边框上配置有相机的情况下，例如用视频电话对话时，由于视线大多停留在显示画面的中央附近，因此会导致视线偏离相机的光轴，从而会得到视线对不上的具有违和感的拍摄图像。为了避免上述问题，提出有以下的方案：在与显示部的显示面相反的一侧配置相机模块，并用相机拍摄穿过显示部的被摄体光。
现有技术文献
专利文献
专利文献1：日本特开2013-211413号公报
发明内容
发明要解决的技术问题
但是，由于穿过显示部的光的一部分会引起反射、衍射并入射到相机，因此会受到反射引起的耀斑、衍射的影响，或者受到配置在相机上部(显示器的显示面侧)的布线等的影响，而存在拍摄图像的画质因伪像而降低的问题。
在本发明的一个方面中，提供一种能够抑制由伪像引起的画质降低的电子设备。
用于解决技术问题的方案
根据一个实施方式，电子设备具有显示部；配置在与显示部的显示面相反的一侧的摄像部；以及信号处理部。摄像部具备多个芯片上透镜以及多个像素，芯片上透镜具有第一芯片上透镜，多个像素具有第一像素，第一像素与第一芯片上透镜重叠配置，第一像素具有多个光电转换部。信号处理部处理从多个像素输出的信号。
也可以是，第一像素获得预定颜色的信息。例如，每个像素基于拜耳排列等的颜色排列来获取规定的颜色信息。
也可以是，第一像素具备滤光片。
也可以是，第一像素具备有机光电转换膜，该有机光电转换膜使属于同一第一像素的各个光电转换部接收相同颜色的光。因此，也可以通过滤光片、有机光电转换膜提取特定的颜色信息。
也可以是，像素具备m×n(m、n分别是2以上的整数)个光电转换部。例如，各个像素也可以具备2×2个光电转换部、3×3个光电转换部、4×4个光电转换部或2×3等个光电转换部。
光电转换部具备光电转换元件。
也可以是，光电转换元件是光电二极管。
也可以是，摄像部具有通过拜耳阵列而着色的多个第一像素。
也可以是，透镜是芯片上透镜。此外，也可以具备芯片上的微透镜。
也可以是，在显示部和摄像部之间具备不同于透镜的光学系统。
也可以是，光学系统是微透镜阵列。
也可以是，信号处理部将属于同一第一像素的光电转换部的输出值相加，而作为像素的输出值。
也可以是，在形成于同一第一像素的光电转换部中，在来自各个光电转换部的输出值超过预定差分或预定比率的情况下，信号处理部校正第一像素的输出值。
也可以是，基于光电转换部的个体差异、由光电转换部的位置引起的相位差以及在光电转换部中产生的噪点中的至少一个来确定预定差分或预定比率。
也可以是，信号处理部使用第一像素中光电转换部中的输出值低的像素来计算第一像素的输出值。
也可以是，信号处理部使用在第一像素的周边获取的相同颜色的输出值而得到的第一像素的输出值来对第一像素的输出值进行校正。
也可以是，在包括预定亮度以上的被摄体时，信号处理部校正第一像素。
也可以是，信号处理部根据获取到的信号来获取进行耀斑校正后的图像数据。
也可以是，信号处理部对在所拍摄的图像中产生有耀斑进行判定。
也可以是，在显示面的不同位置上存在有多个摄像部，信号处理部基于与存在于不同位置的摄像部对应的像素区域的输出来校正属于被判定为产生有耀斑的区域的像素。
也可以是，信号处理部基于已学习模型来校正属于被判定为产生有耀斑的区域的像素。
也可以是，信号处理部基于在所获取的第一像素中，属于该第一像素的多个光电转换部的输出的平均值、属于该第一像素的光电转换部的输出中的灵敏度低的值、以及通过将属于该第一像素的多个光电转换部的输出向已学习模型输入而获得的值中的至少一个来进行校正。
也可以是，信号处理部基于显示部的电路或光学系统，对第一像素进行使用了光电转换部的校正。
也可以是，信号处理部在基于显示部的电路或光学系统对第一像素进行了校正的情况下，对其它的与第一像素不同的噪点进行去除。
也可以是，显示部设置在装置的两面。
附图说明
图1是一实施方式所涉及的电子设备的示意性剖视图。
图2是一实施方式所涉及的电子设备的示意性外观图及其剖视图。
图3A是一实施方式所涉及的电子设备的示意性剖视图。
图3B是一实施方式所涉及的电子设备的示意性剖视图。
图4是示出一实施方式所涉及的电子设备的概要的框图。
图5是示意性示出一实施方式所涉及的摄像部的图。
图6是示意性示出一实施方式所涉及的摄像像素的图。
图7是示意性示出一实施方式所涉及的摄像像素的图。
图8是示出由一实施方式所涉及的摄像部入射来自明亮的被摄体的光的图。
图9是示出一实施方式所涉及的入射有来自明亮的被摄体的光的摄像像素的图。
图10是示出一实施方式所涉及的校正处理的流程图。
图11是示出一实施方式所涉及的噪点校正的图。
图12是示出一实施方式所涉及的校正处理的流程图。
图13是示出一实施方式所涉及的校正处理的流程图。
图14是示出一实施方式所涉及的摄像部的配置示例的剖视图。
图15是示出由于显示部的布线导致的摄像部的图像劣化的情况的图。
图16是示出由于显示部的布线导致的摄像部的图像劣化的情况的图。
图17是示意性示出一实施方式所涉及的相机模块的剖视图。
图18是将一实施方式的电子设备应用于胶囊内窥镜的情况下的平面图。
图19是将一实施方式的电子设备应用于数字单反相机的后视图。
图20是将一实施方式的电子设备应用于头戴式显示器的后视图。
图21是将一实施方式的电子设备应用于头戴式显示器的后视图。
附图标记说明
1：电子设备；1a：显示画面；1b：边框；2：显示部；3：相机模块；4：显示面板；4a：基板；40：显示像素；41：布线；5：圆偏振板；6：触摸面板；7：防护玻璃；8：摄像部；80：摄像像素；81：透镜；82：分割像素；83：阴影；9：光学系统；10：信号获取部；12：信号处理部；14：后处理部；16：输出部；18：控制部；20：存储部。
具体实施方式
下面，参照附图说明电子设备的实施方式。下面主要说明电子设备的主要构成部分，但在电子设备中也可以具有未图示或未说明的构成部分、功能。以下的说明并非排除未图示或未说明的构成部分、功能。另外，为了说明有时会变更尺寸、形状、纵横比等，但这些在实际安装中具有适当的尺寸、形状、纵横比等。另外，在以下的说明中，所获取的信号记载为图像信息或摄像信息，但该图像信息、摄像信息是广义的概念且是也包括静止画面、动态画面或影像中的1帧的图像等的概念。另外，“更大”、“更小”也可以分别替换为“以上”、“以下”。
(第一实施方式)
图1是第一实施方式所涉及的电子设备的示意性剖视图。图1的电子设备1例如是智能手机、移动电话、平板、个人计算机等具备显示功能和拍摄功能的任意设备。电子设备1具备显示部2和相机模块3。相机模块3配置在显示部2的显示面的内侧。即，相机模块3穿过显示部2而进行拍摄。下面在实施方式的说明中，有时将相机模块3记载为处于显示器下方。
图2是图1的电子设备1的示意性外观图及其剖视图。在图2的示例中，显示画面1a被扩展到接近电子设备1的外形尺寸，并且显示画面1a周围的边框1b的宽度也可以被设置为例如几mm以下。通常，前置相机大多搭载于边框1b，但如图2中虚线所示，在显示画面1a内将用作前置相机的相机模块3配置在背面侧。因此，通过在显示画面1a的背面侧具备前置相机，从而不需要将前置相机配置在边框1b上，并且边框1b的宽度可以变窄。
另外，在图2中，在显示画面1a的大致中央附近的背面侧配置相机模块3，但只要是显示画面1a的背面侧即可。例如，可以将相机模块3配置在显示画面1a的周缘部附近的背面侧，或者在使用指纹认证等时，也可以配置在图2中比显示画面1a的中央更靠下方的背面侧。如上所述，在本实施方式中，相机模块3可以配置在与显示画面1a重叠的任意位置。此外，除非另有提及，本公开中的“重叠”是指，例如，在图1中，在水平方向上具有共同的区域或者水平方向上的存在区域是共同的，并且配置在铅垂方向上偏离的位置处。作为一个示例，在将显示部2的显示面设为上方且将摄像部8设为下方时，是指在上下方向上偏离，在左右方向上没有偏离的状态。
在图2中，在设备的一个面上具备显示部2以及相机模块3，但不限于此。例如，也可以在设备的两面上具备显示部2以及相机模块3。
如图1所示，显示部2作为显示光学系统，是将显示面板4、圆偏振板5、触摸面板6和防护玻璃7依次层叠而成的结构体。另外，它们的排列方法并不限于上述，也可以适当地进行替换或者存在2个以上相同的结构。
显示面板4例如也可以具备OLED(Organic Light Emitting Diode：有机发光二极管)、液晶、MicroLED以及基于其它显示原理的元件。OLED等显示面板4由多个层构成。显示面板4中大多配置有滤光片层等透射率较低的部件。如后文所述，也可以根据相机模块3的配置位置，在显示面板4的透射率较低的构件中形成贯通孔。如果使穿过贯通孔的被摄体的光入射到相机模块3，则可以提高由相机模块3拍摄的图像的画质。
为了减少眩光或即使在明亮的环境下也提高显示画面1a的可视性而设置有圆偏振板5。触摸传感器安装在触摸面板6中。触摸传感器有静电电容型、电阻膜型、感压型等多种方式，可以使用任意一种方式。另外，也可以使触摸面板6与显示面板4一体化。为了保护显示面板4等而具备防护玻璃7。
相机模块3具备摄像部8和光学系统9。光学系统9配置在摄像部8的光入射面侧，即靠近显示部2的一侧，使穿过显示部2的光在摄像部8上聚光。光学系统9可以具备一个或多个透镜。
摄像部8具备多个光电转换部。各光电转换部中分别配置有透镜。该透镜使构成各个像素的光电转换部接收由光学系统9适当地射出到摄像部8的光。光电转换部对经由显示部2入射的光进行光电转换。光电转换部可以是CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)传感器，也可以是CCD(Charge Coupled Device：电荷耦接器件)传感器。另外，光电转换部可以具备光电二极管，还可以具备有机光电转换膜。多个光电转换部可以以任意方式排列。多个光电转换部的排列方法例如可以是拜耳排列，可以是隔行排列，可以是花纹排列，可以是条纹排列，也可以是其它排列。
在本公开中，将光电转换部的输出值或基于该输出值进行规定转换后的值称为像素值。
图3A是更详细地说明图1中的相机模块3与显示面板4的关系的图。其是示出相机模块3的示例的图。相机模块3例如具备摄像部8和光学系统9。光学系统9配置在摄像部8的光的入射面侧，即靠近显示部2的一侧。透过显示部2的显示面的光通过光学系统9而传播到摄像部8。
摄像部8例如具备光电二极管等受光元件、光电转换元件。由光学系统9聚光、折射、扩散等而传播的光被摄像部8所具备的光电转换部接收，并输出模拟信号。光电转换部也可以在各个摄像元件的入射面侧具备例如拜耳排列等的彩色滤光片，还可以具备层叠型的彩色滤光片。此外，也可以具备有机光电转换膜而不是彩色滤光片。此外，也可以具备可替代用于获取彩色图像的滤光片的物品。另外，虽然未图示，但还具备其它受光及输出模拟信号所需的元件、电路等。此外，也可以具备偏振元件等。
光学系统9也可以是包括设置在显示面板4中的开口的概念，该开口是如上所述的透射率较低的构件中的贯通孔。例如，作为光学系统9，配置有设置在显示面板4中的开口和设置在比该开口更靠近摄像部8的位置处的透镜。该开口例如可具备在透射率较低的基板4a上，并且也可以具备使透过该开口部的光传播至摄像部8的透镜。例如，根据该透镜和开口，定义了各个相机模块3的数值孔径Na(Numerical Aperture)、F值(F-Number)这样的光学特征。另外，根据该光学系统9，相机模块3可以进一步具有其它光学特征，例如具有不同的阿贝数等。
另外，开口和透镜是作为一个示例示出的，光学系统9的结构不一定限定于这些组合。此外，在图中，对于一个开口具备有一个或多个透镜，但不限于此。例如，如图3B所示，在光学系统9中对于一个透镜可以设有多个开口。在不存在开口的区域中，例如设置有显示面板4的发光元件，并且也可以以缝合在这些发光元件之间的方式具备开口。通过以这种方式配置相机模块3，可以在不破坏显示的情况下具备相机模块3。
如上所述，多个相机模块3也可以根据开口的形状、透镜的性能等具备不同的光学特征而形成。在存在2个以上的相机模块3的情况下，也可以使各自对应的光学系统9具有不同的光学特征。作为另外的示例，可以将相机模块3分成多个组，使每个组具有不同的光学特征。例如，光学系统9可以通过改变其开口的形状、朝向或者透镜的原料等而具备以下的相机模块：具有共同光学特征的两个相机模块3以及具有不同的光学特征的一个相机模块3。
如图3A中的箭头所示，从显示部2的显示面侧入射的光被光学系统9折射等，而被摄像部8接收。在没有具备光学系统9的地方，与通常的显示器一样，可以适当地抑制反射等，并且可以调节显示部2上的显示以便于观看。例如，在显示面板4的发光像素之间具备开口，在该开口中，在与显示面相反的一侧具备透镜，并且将从显示面侧入射的光射出到摄像部8。此外，也可以在连续的发光像素彼此之间具备开口。换句话说，也可以构成为在开口与开口之间具备发光像素。
这里，对电子设备1的摄像功能的一个示例进行说明。
图4是表示与本实施方式所涉及的电子设备1的摄像动作相关的结构的框图的示例。电子设备1具备显示部2、多个相机模块3、信号获取部10、信号处理部12、后处理部14、输出部16、控制部18和存储部20。
与上述所说明的附图同样地，在与显示部2的显示面相反的一侧具备相机模块3。也可以对于一个显示部2的显示面而具备多个相机模块3。相机模块3分别具备摄像部8和光学系统9。
信号获取部10是处理摄像部8所输出的模拟信号的电路。信号获取部10例如具备ADC(Analog to Digital Converter：模数转换器)，并将被输入的模拟信号转换为数字图像数据。
信号处理部12根据由信号获取部10转换的数字图像数据来获取所拍摄的图像。基于从相机模块3获取到的数字图像数据来获取摄像结果。更具体地，信号处理部12例如通过信号处理来获取使用所获得的图像数据来抑制在相机模块3中产生的耀斑等伪像而获得的摄像结果。
后处理部14对信号处理部12所输出的摄像结果实施适当的处理后输出。适当的处理例如可以是像素缺陷校正、边缘强调、噪点去除、亮度调整、颜色校正、白平衡调整、失真校正、自动聚焦处理等图像处理或信号处理。另外，该适当的处理也可以是由用户指定的处理。另外，不需要独立地具备后处理部14，例如，信号处理部12也可以执行上述的后处理。
输出部16将信息输出到电子设备1的外部。输出部16例如具备输出接口。输出接口例如可以是USB(Universal Serial Bus：通用串行总线)等输出数字信号的接口，也可以是显示器等用户接口。此外，输出部16所具备的输出接口可以兼作输入接口。另外，输出部16也可以在内部所具备的存储部20中存储数据，这样输出也可以包括广义的意义。
控制部18控制电子设备1中的处理。控制部18例如可以具备CPU(CentralProcessing Unit：中央处理单元)，也可以控制信号获取部10、信号处理部12、后处理部14、输出部16的处理。另外，也可以基于来自用户接口所指示的摄像定时，执行由相机模块3进行拍摄的控制。
存储部20存储电子设备1中的数据。存储部20例如也可以是DRAM(Dynamic RandomAccess Memory：动态随机存取存储器)等存储器、SSD(Solid State Drive：固态驱动器)等存储装置。存储部20可以是内置的存储器，也可以是可拆卸的存储卡等存储器。另外，存储部20不一定设置在电子设备1的内部，也可以是经由输入/输出接口连接的外部存储装置等。在电子设备1所需的定时，信息被适当地输入存储部20/从存储部20输出。
上述说明中的部分或全部可以形成在同一基板上。例如，相机模块3、信号获取部10、信号处理部12、后处理部14、输出部16、控制部18和存储部20可以形成在一个芯片上，也可以适当地将它们的一部分形成为另一个芯片。另外，在一个芯片的同一基板上所形成的一部分构成也可以与在其它基板上所形成的一部分构成在其制造工序中利用CoC(Chip onChip：叠层芯片)、CoW(Chip on Wafer：晶片上芯片)、WoW(Wafer on Wafer：晶片上晶片)等技术而层叠形成。
接着，对摄像部8的结构进行说明。作为一个示例，对拜耳排列进行说明，但如上所述，颜色的配置不限于拜耳排列，只要能够适当地获取颜色信息则也可以是其它的排列。例如，可以是基于RGB系列的拜耳排列，也可以是基于CMY补色系统的拜耳排列。还可以是RGB和CMY混在一起的状态。另外，像素的形状作为正方形进行说明，但不限于此。例如，可以是正方形以外的矩形，也可以是六角形的蜂窝结构。
图5是示意性地示出由摄像部8的各个摄像元件获取的颜色信息的图。作为一个示例，图5示出摄像部8所具备的8×8摄像元件的状态。当然，摄像元件并非为8×8，而是基于想获取的像素数、能够配置的面积等而具备适当的数量。
摄像部8具备摄像像素80。如图所示，摄像像素80在摄像部8中具备为阵列状。摄像像素80在与显示部2的显示面相反的一侧具备光电转换元件，并且在其上部具备透镜。摄像像素80内部记载的RGB表示颜色，分别表示为R：红、G：绿、B：蓝。如上所述，该颜色区分方法可以是在光电转换元件的显示面侧所具备的滤光片，也可以是由有机光电转换膜形成的光电转换元件。
各个摄像像素80中具备透镜81。透镜81例如是芯片上透镜，尤其也可以是芯片上的微透镜。这样，通过使每个像素具备透镜，而能够提高受光强度、色彩再现性等的精度。该透镜81例如可以由Si形成，但也可以由其它适当的材料形成。
一个摄像像素80具备多个分割像素82。例如，图5的各个摄像像素80中具备2×2个分割像素82。这样，通过使1个像素中具备多个分割像素，作为效果的一个示例，能够扩大像素间的动态范围。在本公开中进一步地还利用该分割像素82去除伪像。如图中的一个示例所示，摄像像素80具有多个分割像素82，各个摄像像素80与透镜81以一对一的对应方式重叠地配置。
图6是取出拜耳排列的1组摄像像素80的图。如图6所示，例如，摄像像素80构成为具备4个2×2分割像素82。每个分割像素82形成为具备光电转换元件。该光电转换元件可以是光电二极管。图1中的信号获取部10获取从具备光电转换元件的分割像素82输出的模拟信号。然后，信号处理部12对来自信号获取部10的输出执行信号处理。
例如，通过将信号获取部10从各个摄像像素80中包括的分割像素82而获取到的输出值相加来计算摄像像素80的像素值。该加法可以在模拟信号的状态下执行，也可以在转换成数字信号之后执行。
作为一个示例，信号获取部10从各个分割像素82获取模拟信号，并将该模拟信号转换为数字信号。信号处理部12根据需要校正信号获取部分10所输出的每个分割像素82的数字信号，然后将其相加，从而获取作为摄像像素80的像素值。
这样的像素分割，在一般的数码相机等中，如上所述，用于扩大像素即各颜色的动态范围，或提高颜色再现性。进一步地，信号处理部可以通过分割像素来获取像素中的相位差。摄像装置也可以将该结果用于自动聚焦等。在本公开中，通过在显示器下方的相机模块3中采用该分割像素82，还实现了去除由显示部2等引起的伪像。
图7是示出摄像像素80中的分割像素82的另一示例的图。
摄像像素80例如可以具备如最上面所示的3×3分割像素82，并且可以其上方具备透镜81。
摄像像素80例如可以具备从顶部起第二个所示的4×4分割像素82，并且可以在其上方具备透镜81。
此外，摄像像素80例如可以具备如最底部所示的3×4分割像素82，并且可以在其上方具备透镜81。
因此，可以使用2以上的整数m、n，以阵列状具备m×n个分割像素82。这些设定可以根据摄像像素80的大小、数量或芯片上允许的形成面积、体积的大小以及用途，适当地进行设定。在下面的说明中，摄像像素80被设为具备2×2的分割像素82，但这是作为一个示例而示出的，如上所述并非排除基于除此之外的数值的分割。
以下，对拍摄对象中存在明亮的被摄体，并去除来自该被摄体的影响引起的耀斑的情况进行说明。
如图8所示，考虑来自明亮的被摄体的光入射到摄像部8的情况。在这种情况下，摄像部8所具备的摄像像素80的部分或全部像素中有可能产生耀斑。在本实施方式中，通过使用分割像素82来抑制该耀斑的产生。
图9是示出入射有来自图8中的明亮的被摄体的光的摄像像素80的图。此外，尽管示出了一个摄像像素80，但是不限于此，并且对可能产生耀斑的多个摄像像素80执行相同的处理。此外，所谓明亮的被摄体，例如是亮度、照度较高的光源或者是被强光照射后存在较强的反射光的物体等。除此之外，所谓明亮的被摄体例如是包括与周围的亮度相比，亮度、照度等更高而可能引起耀斑的物体的概念。
摄像像素80由具备光电转换元件的分割像素82A、82B、82C、82D以及与这些光电转换元件以共有的方式形成的透镜81构成。假设来自明亮的被摄体的光从图中的右上方向入射。
在这种情况下，光不是从透镜81均匀地射出到所有分割像素82，而是在相对于光的方向前进的方向上射出具有较强强度的光。这是由于透镜81与光的入射角之间的特性造成的。例如，在图9所示的情况下，与其它分割像素82相比，对分割像素82C入射有更强的光。其结果是，关于由信号获取部10获取到的各个分割像素82的像素值，分割像素82C高于其它分割像素82A、82B、82D。
基于该现象，信号处理部12抑制在摄像像素80中可能产生的耀斑的影响。
如上所述，能够通过使用分割像素82来获取摄像像素80中的相位差。例如，根据一个摄像像素80中具备的多个分割像素82中是否存在预定阈值以上的强度差来判断相位差的获取。例如，在分割像素82C中获取到比其它像素高的像素值，并且该分割像素82C与其它分割像素82A、82B、82D的像素值之差在规定值以上时，判断为存在相位差。
在产生耀斑的情况下，例如，在分割像素82C的像素值高于其它分割像素82A、82B和82D的像素值的情况下，也进行相同的判断。但是，与相位差相关的阈值thp和与耀斑相关的阈值thf是thp<thf的关系。和与相位差相关的阈值相比，有意使与耀斑相关的阈值更高，这些阈值是可以明确区分的并且是可以预先设定的。例如，可以预先获取聚焦不一致时的灵敏度差的宽度。可以通过将该宽度设置为thp至thf来确定预定的阈值。因此，在进行耀斑的校正时，信号处理部12可以使用阈值thf来进行判断。
分割图像82A、82B、82C和82D的像素值分别为xA，xB，xC和xD。作为一个示例，假设它们之间存在xC>xD>xA>xB的关系。这些仅仅是作为示例示出的，本公开的技术并不限于这些。
公式1
xC-min{xA，xB，xD}＝xC-xB＞thf (1)
公式2
Figure BDA0002920024830000141
例如，如公式(1)所示，将具有最高像素值的分割像素82C的像素值与最低像素值之间的差与阈值进行比较，在差大于阈值的情况下，可以判断为有可能产生耀斑。在某些情况下，也可以与最大值max{xA，xB，xD}进行比较，而不是与最小值min{xA，xB，xD}进行比较。另外，如公式(2)所示，也可以用比来进行判断。
作为另一个示例，可以考虑平均值。
公式3
xC-avg(xA，xB，xD)＞thf (3)
公式4
Figure BDA0002920024830000151
在这里，avg()是计算参数平均值的函数。即使在考虑平均值的情况下，也可以用差、比中的任何一个来进行判断。另外，在取平均值的情况下，考虑到光垂直于摄像像素80的边而入射的情况，也可以取分割像素82A、82B、82D中像素值较低的两个例如分割像素82A、82B这两个像素值的平均值(xA+xB)/2。
这样，也可以通过将预定阈值用作预定差分、预定比率，对摄像像素80中具有最大像素值的分割像素82进行公式(1)至公式(4)或与之类似的运算，来判断该摄像像素80中是否存在产生耀斑的可能性。
在上述中，基于与相位差相关的阈值来确定产生耀斑的阈值(预定差分、预定比率)，但不限于此。例如，也可以设定针对分割像素82的个体差异、在分割像素82中产生的噪点的影响的阈值。在观察个体差异时，例如，也可以是使摄像部8拍摄未产生耀斑的被摄体，并且信号处理部12基于拍摄该被摄体而获得的图像来执行基础处理(グラウンド処理)。即，信号处理部12也可以预先测定各个摄像像素80中的各个分割像素82的阈值。关于噪点的阈值也可以同样测定，进一步地也可以通过多次测定，来测定减轻了各种噪点影响后的阈值。
在如上所述可能产生耀斑的情况下，信号处理部12也可以使用除具有较高像素值的分割像素82C之外的分割像素82A、82B和82D来计算摄像像素80的像素值，并获取进行耀斑的校正后的图像数据。例如，信号处理部12也可以使用像素值最小的分割像素82B的像素值xB，将摄像像素80的像素值设置为4×xB。作为另一示例，信号处理部12也可以使用像素值较低的两个分割像素82A、82B的像素值而将其设置为2×(xA+xB)。信号处理部12还可以进一步使用最大像素值xC以外的像素值，将其设置为(4/3)×(xA+xB+xD)。这样，信号处理部12使用作为摄像像素80中输出值较低的分割像素82的输出的像素值来计算摄像像素80的像素值。
此外，信号处理部12也可以通过使用训练后的模型来执行耀斑校正。例如，信号处理部12也可以使用已学习模型来执行校正，上述已学习模型是基于各种情况下耀斑的产生和其校正状态，通过机器学习训练而得的模型。在这种情况下，信号处理部12可以将分割像素82的各个值输入到已学习模型，以获取摄像像素80的像素值。而且，作为另一个示例，信号处理部12也可以使用进一步输入周边相同颜色的摄像像素80的像素值的已训练模型。
例如，模型也可以是统计模型。通过统计计算应使用哪种运算来合成各种相机模块3而生成模型，并且信号处理部12也可以通过将从多个相机模块3获取到的信息输入到该模型来获取受耀斑影响较小的图像。
例如，模型也可以是通过深度学习而训练的神经网络模型。神经网络模型可以由MLP(Multi-Layer Perceptron：多层感知器)、CNN(Convolutional Neural Network：卷积神经网络)等形成。在这种情况下，也可以是，预先通过多个示教数据而训练的参数被存储在存储部20或信号处理部12中，信号处理部12形成基于该存储的参数的神经网络模型。通过使用所形成的已训练模型，信号处理部12可以通过使用从多个相机模块3输出的数据来获取耀斑被抑制的图像。
此外，在使用已训练模型时，电子设备1可以通过使用所拍摄的图像进一步提高训练精度。例如，可以在电子设备1的控制部18等中执行训练。作为另一示例，也可以是，多个电子设备1将数据发送到存在于云等中的存储装置等，并在服务器等中执行训练，并且将重新训练后的参数反映在电子设备1上。这种情况下，也可以仅发送耀斑的信息，以便不包括含有用户的面部信息的隐私信息。此外，来自电子设备1的数据的发送/接收例如也可以设为用户能够通过输入或输出等来进行选择的状态。
因此，信号处理部12不仅可以通过线性处理，还可以通过非线性处理，特别是通过使用包括已训练模型的各种模型的运算等来获取耀斑校正的图像。
图10是示出本实施方式所涉及的处理流程的流程图。在本流程图中，记载了关于耀斑校正的处理，而省略了摄像、数据输出等处理。
首先，信号处理部12经由信号获取部10获取各摄像像素80中的分割像素82的输出值(S100)。
接下来，信号处理部12判定在属于同一摄像像素80的分割像素82的输出值中灵敏度差是否大于相位差中的灵敏度差(S102)。即，基于公式(1)和公式(3)等，通过阈值thf来判断分割像素82中具有最大灵敏度的分割像素与其它分割像素之间的灵敏度差是否在不是相位差的范围内。另外，这个处理，如上述的公式(2)、公式(4)等，也可以不根据差而根据比来执行。
当灵敏度差大于thf时(S102：是)，信号处理部12使用分割像素82执行耀斑校正。此后，信号处理部12获取耀斑校正后的值作为该摄像像素80的像素值(S106)。
当灵敏度差在thf以下时(S102：否)，信号处理部12执行通常的像素值获取处理，例如，获取各个分割像素82的输出值的相加值作为该摄像像素80的像素值(S106)。
如上所述，根据本实施方式，对于作为引起耀斑原因的强光的入射，能够通过对像素进行分割，来抑制由于该强光的入射而导致像素产生耀斑。也就是说，可以使作为引起耀斑原因的强光的入射集中于一部分的分割像素，并通过使用其它分割像素来校正像素值，从而能够获得抑制耀斑影响后的像素值。
(第二实施方式)
在上述第一实施方式中，作为一个示例，说明了使用摄像像素80中具有最小像素值的一个分割像素82的情况，但是在这样使用一个分割像素82的情况下，存在较强会受到噪点的影响的可能性。在本实施方式中，对减轻该噪点的影响进行说明。
图11是用于说明本实施方式所涉及的噪点的校正方法的图。例如，在获取位于中央的绿色的强度的摄像像素80中，对使用位于右上方的一个分割像素82B(右斜线的分割像素)来执行耀斑校正的情况进行说明。
例如，当使用公式(1)、公式(2)等比较一个分割像素彼此之间的像素值时，当在分割像素82B中产生噪点时，则满足这些公式的条件在于噪点的影响。例如，在分割像素82B上有接近黑色的噪点的情况下，xC-xB有时会成为较大的值，虽然如果在本来的话没有产生耀斑，但有时也会判断为产生了耀斑。
为了抑制这种噪点的影响，可以基于以下公式进行噪点判断。
公式5
avg(xA，xC，xD)-xB＞thn (5)
这里，thn是用于判断噪点的阈值。信号处理部12判定分割像素82A、82C和82D的像素值的平均值与用于耀斑校正的分割像素82B的像素值之间的差是否大于该预定阈值。用于判定噪点的阈值thn例如是满足thf>thn>thp的阈值。另外，噪点判定不限于公式(5)，只要能够适当检测出噪点即可。例如，也可以像公式(2)那样根据比率进行检测。
当公式(5)成立时，判断为在分割像素82B中产生了噪点，并且可以执行噪点校正的处理。
例如，信号处理部12也可以基于获取周围存在的相同颜色的摄像像素80的像素值，对耀斑校正后的像素值进行噪点校正。信号处理部12例如也可以使用图11中由左斜线表示的像素值，通过双线性插值、双三次插值等方法来执行校正。例如，使用前后左右的1个相同颜色的像素值来执行校正，但不限于此，也可以使用倾斜方向的摄像像素80的信息，也可以对于相同方向使用两个以上的摄像像素80的信息。
另外，在公式(5)中，使用了其它分割像素82的信息，但不限于此。例如，也可以将xBt设为当前帧的分割像素82B的输出值，并在时间轴上考虑。
公式6
avg(xBt-2，xBt-1，xBt+1，xBt+2)-xBt＞thn (6)
如该公式(6)所示，也可以根据与帧之间的平均值的差来执行噪点检测。特别是在拍摄静止画面时，可以有效地使用该公式(6)所示的方法。代替公式(6)，也可以用比率来进行判断。
当使用帧之间的信息时，也可以使用帧之间的信息来执行噪点校正。例如，也可以通过以下公式来校正摄像像素80的像素值。
公式7
xBt＝avg(xBt-2，xBt-1，xBt+1，xBt+2) (7)
在上述中，在噪点判定及校正的双方中，使用了前后2帧的信息，但不限于此，也可以使用前后1帧或前后3帧以上的信息。
此外，信号处理部12也可以通过使用上述已训练的模型来执行噪点校正。
图12是示出本实施方式所涉及的处理的流程图。
从S200到S204的处理与图10中的从S100到S104的处理相同，因此省略其说明。
在执行耀斑校正之后或者在不执行耀斑校正的情况下，接下来，判定耀斑校正量是否大于阈值(S206)。即，基于公式(5)、公式(6)等，通过阈值thn来判定分割像素82中用于耀斑校正的分割像素与其它分割像素之间的灵敏度差是否为噪点。
当耀斑校正量大于阈值时(S206：是)，执行噪点校正(S208)。信号处理部12例如使用上述所示的空间方向或时间方向上的信息来执行噪点校正。此外，校正的方法不限于上述列举的方法，也可以采用适当的方法。
在校正噪点之后，或者在耀斑校正量在thn以下的情况下(S206：否)，信号处理部12获取图像数据(S210)。
如上所述，根据本实施方式，与耀斑校正一起进行用于耀斑校正的分割像素的输出值是否为噪点的判断，并且在判断为噪点时，可以通过在空间和时间上进行校正来获取。特别是，在使用分割像素中的一个来执行耀斑校正的情况下，该方法是有效的，但在其它情况下也同样适用。例如，上述的公式(6)、公式(7)中的xB也可以用作耀斑校正后的像素值。
另外，由于噪点的阈值thn根据作为被摄体整体的光量或作为摄像部8整体的信号的获取量、感知量而变化，因此也可以自适应地变化。即，信号处理部12也可以基于周围的状况，适当地变更阈值thn来执行上述的噪点检测处理。
(第三实施方式)
在第一实施方式或第二实施方式中，设为对所有被摄体执行耀斑校正，但不限于此。例如，信号处理部12也可以检测产生了耀斑的被摄体并执行耀斑校正。
信号处理部12例如也可以检测规定亮度以上的被摄体中包括的被摄体，并执行上述的耀斑校正。此外，作为另一示例，信号处理部12也可以基于获取到的像素值来检测耀斑的产生，并执行上述的耀斑校正。
图13是示出本实施方式所涉及的耀斑校正的处理的流程图。
首先，信号处理部12获取关于周围环境和状态的信息或未执行耀斑校正等校正的图像数据(S300)。
然后，信号处理部12基于该信息判断是否存在产生耀斑的可能性，或者是否正在产生耀斑(S302)。例如，在亮度和照度高于预定阈值的物体作为被摄体而存在时，信号处理部12判断为存在产生耀斑的可能性。另外，基于在获取到的像素值中是否存在空白像素的区域等来判断是否正在产生耀斑。这些只是作为示例而被记载，也可以适当地基于耀斑适当产生的可能性或能够判定耀斑产生的基准来执行该判断。
当判断为存在耀斑产生的可能性或正在产生耀斑时(S302：是)，信号处理部12执行耀斑校正和噪点校正(S304)。该子例程例如是与图10所示的S100至S104的处理、或图12所示的S200至S208的处理同等的处理。
在执行耀斑校正和噪点校正之后或者在不会产生耀斑、未产生耀斑的情况下(S302：否)，信号处理部12获取像素值(S306)。
如上所述，根据本实施方式，并非始终执行耀斑校正，也能够根据需要而不执行耀斑校正。在不需要进行耀斑校正的情况下，虽然与通过校正处理本来的像素值相比存在劣化的可能性，但是在不存在这样的耀斑产生的可能性或耀斑产生的事实的情况下，通过避免该处理，能够获取再现性较高的图像。此外，可以削减信号处理部12的动作。
(第四实施方式)
本实施方式中的电子设备1配置为，即使在耀斑产生的情况下，也可以在任意相机模块3中使耀斑的产生变弱。
图14是示出本实施方式所涉及的电子设备1的剖视图。如图14所示，电子设备1在显示面板4上包括多个相机模块3，即具备多个光学系统9和多个摄像部8。例如，在用于获取图像的相机模块3中，当在某个摄像像素80中产生耀斑时，要注意获取配置在不同位置的相机模块3的同一被摄体的位置的摄像像素80。由于位置偏移，所拍摄的图像中的耀斑的位置也会偏移，因此在表示相同被摄体的位置的摄像像素80中，即使在一方产生耀斑，在另一方未产生耀斑的可能性也较高。
基于此，也可以通过参照获取被摄体的相同位置处的另一个摄像部8的摄像像素80，对被判断为产生耀斑的摄像像素80执行耀斑校正。更具体地，也可以使用与一个摄像像素80的分割像素82相对应的另一个摄像像素80的分割像素82的数据来执行摄像像素80的耀斑校正。
如上所述，根据本实施方式，通过设置多个摄像部8并使用对应的摄像像素80的对应的分割像素82的数据，能够提高耀斑校正的精度。
此外，也可以在相机模块3之间具备遮光部30，使得耀斑不会通过显示面板4等被传输。遮光部30例如可以是由具有遮光性较高的材料形成的遮光膜，或者也可以是由光吸收率较高的材料形成的吸收膜。
(第五实施方式)
虽然在上述实施方式中对于耀斑校正的应用进行了记载，但是本公开的技术并不限于此应用。在相机模块3的上方，如图1等所示，搭载有显示器、触摸面板等各种模块。因此，入射到摄像部8的光的一部分有时被这些布线等遮挡。本实施方式所涉及的电子设备设为，这样在光的一部分被遮蔽的情况下，通过分割像素和信号处理来校正像素值。
图15是示出通过使光入射到显示部2而在摄像部8上形成的布线的阴影的图。
上面的图是示意性地示出显示部2的图。例如，在显示部2中具备多个显示像素40，并且具备用于驱动该显示像素40的多根布线41。该布线例如是横穿、纵贯显示器的控制线、信号线等。在显示器下方所具备的相机模块3中，该布线41的阴影有时会成为问题。
下面的图是示意性地示出摄像部8的图。实线表示摄像像素80的边界，虚线表示分割像素82的边界。例如，当光入射时，如下面的图所示，布线41的阴影83落到摄像像素80上。若存在这样的阴影83，则在摄像像素80具备一个个光电元件而不使用分割像素82时，阴影区域中入射的光量减少，因此存在整体上能够获取的亮度降低的情况。
因此，通过使用分割像素82来抑制亮度的降低。即使在使用分割像素82的情况下，若存在阴影83则由于将分割像素82的相加值用作摄像像素80的像素值，因此存在亮度降低的情况。例如，在下面的图的最左上方的摄像像素80中，来自右下方的分割像素82的输出值降低，摄像像素80整体的亮度降低。另外，在其右侧相邻的摄像像素80中，来自下半部分的分割像素8的输出值降低，摄像像素80整体的亮度降低。
图16是示出亮度即入射光的强度因阴影83而降低的分割像素82的图。用斜线表示的分割像素82是受阴影83影响的分割像素，在这些分割像素82中输出的信号的值降低，这成为摄像像素80的亮度降低的原因。为了避免这种影响，通过使用其它分割像素82，来计算由来自斜线所示的分割像素82的输出值引起的摄像像素80的像素值的降低。
例如，信号处理部12在属于摄像像素80A的分割像素82中不考虑右下分割像素82D的情况下，将亮度值x计算为x＝(4/3)×(xA+xB+xC)。
例如，信号处理部12在属于摄像像素80B的分割像素82中不考虑下半部分的分割像素82C和82D的情况下，将亮度值x计算为x＝2×(xA+xb)。
例如，信号处理部12在属于摄像像素80C的分割像素82中使用右下方的分割像素82D，将亮度值x计算为x＝4×xD。
综上所述，信号处理部12通过将针对每个摄像像素80设定的增益与来自能够利用的分割像素82的输出值之和进行累计来计算亮度值x。增益例如由摄像像素80内能够利用的分割像素数量来决定。通过这样的计算，信号处理部12能够获取抑制了阴影83的影响的摄像像素80的像素值。
另外，这种情况下，噪点的影响可能会变大。为了避免这一点，可以执行与上述第二实施方式相同的噪点校正。另外，也可以执行与第二实施方式不同的噪点校正。例如，在摄像像素80C中，由于始终输出基于来自一个分割像素82D的输出的像素值，因此输出值可能不稳定。因此，例如，在摄像像素80C中，只要没有特别指定，则信号处理部12也可以使用周边的相同颜色的摄像像素80来执行插值处理，降低噪点的影响。
如上所述，根据本实施方式，通过使用产生该伪像的区域、各个摄像像素80的能够利用的分割像素82的输出值以及增益，能够降低由显示部2所具备的布线等在摄像部8中形成的伪像的影响。
此外，与该处理一起，也可以执行上述实施方式中的耀斑校正、噪点校正。
这样，在设置于显示器下方的相机模块3中，通过在摄像部8形成针对摄像像素80的分割像素82，能够实现由耀斑、显示器的阴影等引起的伪像的校正。
(第六实施方式)
在本实施方式中，电子设备1具备微透镜阵列作为相机模块3的光学系统9。
图17是示出本实施方式所涉及的相机模块3的图。相机模块3的光学系统9具备微透镜阵列90。穿过微透镜阵列90的光适当地入射到摄像部8上，并在摄像部8中转换为信号而输出。
信号获取部10也可以基于从摄像部8输出的信号来重构图像。信号处理部12基于该重构后的图像，获取抑制了上述各实施方式的伪像的影响的像素值。
如上所述，相机模块3的光学系统9除了具备覆盖整体而构成之外，还可以包括微透镜阵列。此外，也可以使用菲涅耳透镜、波带板等。
以下列举几个应用示例。
(第七实施方式)
作为具备在上述实施方式中说明的构成的电子设备1的具体候选，可以考虑各种电子设备。例如，图18是将各实施方式的电子设备1应用于胶囊内窥镜50时的平面图。图18的胶囊型内窥镜50例如在两端面为半球形且中央部为圆筒状的壳体51内具备：相机(超小型相机)52，用于拍摄体腔内的图像；存储器53，用于记录由相机52拍摄到的图像数据；以及无线发送机55，用于在胶囊内窥镜50被排出到受检者的体外后将所记录的图像数据经由天线54向外部发送。
另外，在壳体51内设置有CPU56和线圈(磁力/电流转换线圈)57。CPU56控制由相机52进行的拍摄以及向存储器53的数据存储动作，并且控制从存储器53通过无线发送机55向壳体51外的数据接收装置(未图示)发送数据。线圈57进行向相机52、存储器53、无线发送机55、天线54以及后述的光源52b的电力供给。
进而，在壳体51中设置有磁性(导线)开关58，用于在将胶囊内窥镜50放置于数据接收装置时对其进行检测。CPU56检测该导线开关58向数据接收装置的放置，并在能够发送数据的时刻进行从线圈57向无线发送机55的电力供给。
相机52例如具有摄像元件52a和多个光源52b，上述摄像元件52a包括用于拍摄体腔内部的图像的光学系统9，上述多个光源52b用于对体腔内部照明。具体地，作为相机52的光源52b，例如由具备LED的CMOS传感器、CCD等构成。
上述实施方式的电子设备1的显示部2是包括如图18中的光源52b那样的发光体的概念。图18的胶囊内窥镜50例如具有两个光源52b，但能够用具有多个光源部的显示面板4、具有多个LED的LED模块来构成这些光源52b。在这种情况下，通过在显示面板4、LED模块的下方配置相机52的摄像部8，从而与相机52的布局配置有关的制约变少，能够实现更小型的胶囊内窥镜50。
(第八实施方式)
另外，图19是将上述实施方式的电子设备1应用于数字单反相机60的情况的后视图。数字单反相机60、紧凑型照相机在与透镜相反的一侧的背面具备用于显示预览画面的显示部2。可以设为能够将相机模块3配置在与该显示部2的显示面相反的一侧，从而在显示部2的显示画面1a上显示拍摄者的面部图像。在上述各实施方式的电子设备1中，由于可以将相机模块3配置在与显示部2重叠的区域中，因此可以不将相机模块3设置于显示部2的外框部分，能够将显示部2的尺寸尽可能大型化。
(第九实施方式)
图20是示出将前述实施方式的电子设备1应用于头戴式显示器(以下称为HMD)61的示例的平面图。图20的HMD61用于VR(Virtual Reality：虚拟现实)、AR(AugmentedReality：增强现实)、MR(Mixed Reality：混合现实)或SR(Substitutional Reality：替代现实)等。如图21所示，目前的HMD在外表搭载有相机62，HMD佩戴者能够视觉确认周围的图像，而另一方面存在对于周围的人而言不知道HMD的佩戴者的眼睛、脸部的表情这样的问题。
于是，在图20中，在HMD61的外表面设置显示部2的显示面，并且在与显示部2的显示面相反的一侧设置相机模块3。由此，能够使显示部2的显示面显示用相机模块3拍摄到的佩戴者的脸部的表情，佩戴者周围的人能够实时掌握佩戴者的脸部的表情、眼部运动。
在图20所示的情况下，在显示部2的背面侧设置相机模块3，因此相机模块3的设置场所不受制约，能够提高HMD61的外观设计的自由度。另外，能够将相机配置在最佳的位置，因此能够防止显示于显示面的佩戴者的视线不一致等缺陷。
这样，在本实施方式中，能够将上述实施方式的电子设备1用于各种用途，并且能够提高利用价值。
此外，本技术可以采取如下所述的构成。
(1)一种电子设备，其特征在于，具备：显示部；摄像部，配置在与所述显示部的显示面相反的一侧；以及信号处理部，所述摄像部具备：多个芯片上透镜；以及多个像素，所述芯片上透镜具有第一芯片上透镜，所述多个像素具有第一像素，所述第一像素与所述第一芯片上透镜重叠配置，所述第一像素具有多个光电转换部，所述信号处理部处理从所述多个像素输出的信号。
(2)根据(1)所述的电子设备，其特征在于，所述第一像素获取预定颜色的信息。
(3)根据(2)所述的电子设备，其特征在于，所述第一像素具备滤光片。
(4)根据(2)所述的电子设备，其特征在于，所述第一像素具备有机光电转换膜，所述有机光电转换膜使属于同一所述第一像素的各个光电转换部接收相同颜色的光。
(5)根据(1)至(4)中任一项所述的电子设备，其特征在于，所述第一像素具备m×n个所述光电转换部，其中，m、n分别是2以上的整数。
(6)根据(1)至(5)中任一项所述的电子设备，其特征在于，所述光电转换部具备光电转换元件。
(7)根据(6)所述的电子设备，其特征在于，所述光电转换元件是光电二极管。
(8)根据(2)或(3)所述的电子设备，其特征在于，所述摄像部具有通过拜耳排列而着色的多个所述第一像素。
(9)根据(1)至(8)中任一项所述的电子设备，其特征在于，所述透镜是芯片上透镜。
(10)根据(1)至(9)中任一项所述的电子设备，其特征在于，在所述显示部与所述摄像部之间具备与所述透镜不同的光学系统。
(11)根据(10)所述的电子设备，其特征在于，所述光学系统是微透镜阵列。
(12)根据(1)至(11)中任一项所述的电子设备，其特征在于，所述信号处理部将属于同一所述第一像素的所述光电转换部的输出值相加，而作为所述第一像素的输出值。
(13)根据(1)至(12)中任一项所述的电子设备，其特征在于，在形成于同一所述第一像素的所述光电转换部中，在来自各个所述光电转换部的输出值超过预定差分或预定比率的情况下，所述信号处理部校正所述第一像素的输出值。
(14)根据(13)所述的电子设备，其特征在于，基于所述光电转换部的个体差异、由所述光电转换部的位置引起的相位差以及在所述光电转换部中产生的噪点中的至少一个来确定所述预定差分或所述预定比率。
(15)根据(13)或(14)所述的电子设备，其特征在于，所述信号处理部使用所述第一像素中所述光电转换部中的输出值低的像素来计算所述第一像素的输出值。
(16)根据(13)至(15)中任一项所述的电子设备，其特征在于，所述信号处理部使用在所述第一像素的周边获取的相同颜色的输出值而得到的所述第一像素的输出值来对所述第一像素的输出值进行校正。
(17)根据(13)至(16)中任一项所述的电子设备，其特征在于，在包括预定亮度以上的被摄体时，所述信号处理部校正所述第一像素。
(18)根据(13)至(17)中任一项所述的电子设备，其特征在于，所述信号处理部根据获取到的所述信号来获取进行耀斑校正后的图像数据。
(19)根据(13)至(18)中任一项所述的电子设备，其特征在于，所述信号处理部对在所拍摄的图像中产生有耀斑进行判定。
(20)根据(19)所述的电子设备，其特征在于，所述摄像部在所述显示面中的不同位置处存在有多个，所述信号处理部基于与存在于不同位置的所述摄像部对应的像素区域的输出，来校正属于被判定为产生有耀斑的区域的像素。
(21)根据(19)或(20)所述的电子设备，其特征在于，所述信号处理部基于已学习模型来校正属于被判定为产生有耀斑的区域的像素。
(22)根据(13)至(21)中任一项所述的电子设备，其特征在于，所述信号处理部基于在所获取的所述第一像素中，属于该第一像素的多个所述光电转换部的输出的平均值、属于该第一像素的所述光电转换部的输出中的灵敏度低的值、以及通过将属于该第一像素的多个所述光电转换部的输出向已学习模型中输入而获得的值中的至少一个来进行校正。
(23)根据(10)所述的电子设备，其特征在于，所述信号处理部基于所述显示部的电路或所述光学系统，对所述第一像素进行使用了所述光电转换部的校正。
(24)根据(23)所述的电子设备，其特征在于，在所述信号处理部基于所述显示部的电路或所述光学系统对所述第一像素进行了校正的情况下，所述信号处理部对其它的与所述第一像素不同的噪点进行去除。
(25)根据(1)至(24)中任一项所述的电子设备，其特征在于，所述显示部设置在装置的两面。
本公开的方式不限于上述的各个实施方式，也包括本领域技术人员能够想到的各种变形，本公开的效果也不限定于上述内容。即，在不脱离从权利要求书所规定的内容及其均等的内容中导出的本公开的概念思想和主旨的范围内，能够进行各种追加、变更及部分删除。

Claims (18)

1.一种电子设备，其特征在于，具备：
显示部；
摄像部，配置在与所述显示部的显示面相反的一侧；以及
信号处理部，
所述摄像部具备：
多个芯片上透镜；以及
多个像素，
所述多个芯片上透镜具有第一芯片上透镜，
所述多个像素具有第一像素，
所述第一像素与所述第一芯片上透镜重叠配置，
所述第一像素具有多个光电转换部，
所述信号处理部处理从所述多个像素输出的信号。
2.根据权利要求1所述的电子设备，其特征在于，
所述第一像素获取预定颜色的信息。
3.根据权利要求2所述的电子设备，其特征在于，
所述第一像素具备滤光片或有机光电转换膜，所述有机光电转换膜使属于同一所述第一像素的各个光电转换部接收相同颜色的光。
4.根据权利要求1所述的电子设备，其特征在于，
所述第一像素具备m×n个所述光电转换部，其中，m、n分别是2以上的整数。
5.根据权利要求1所述的电子设备，其特征在于，
所述光电转换部具备光电二极管。
6.根据权利要求2所述的电子设备，其特征在于，
所述摄像部具有通过拜耳排列而着色的多个所述第一像素。
7.根据权利要求1所述的电子设备，其特征在于，
所述信号处理部将属于同一所述第一像素的所述光电转换部的输出值相加，而作为所述第一像素的输出值。
8.根据权利要求1所述的电子设备，其特征在于，
在形成于同一所述第一像素的所述光电转换部中，在来自各个所述光电转换部的输出值超过预定差分或预定比率的情况下，所述信号处理部校正所述第一像素的输出值。
9.根据权利要求8所述的电子设备，其特征在于，
基于所述光电转换部的个体差异、由所述光电转换部的位置引起的相位差以及在所述光电转换部中产生的噪点中的至少一个来确定所述预定差分或所述预定比率。
10.根据权利要求8所述的电子设备，其特征在于，
所述信号处理部使用所述第一像素中所述光电转换部中的输出值低的像素来计算所述第一像素的输出值。
11.根据权利要求8所述的电子设备，其特征在于，
所述信号处理部使用在所述第一像素的周边获取的相同颜色的输出值而得到的所述第一像素的输出值来对所述第一像素的输出值进行校正。
12.根据权利要求8所述的电子设备，其特征在于，
在包括预定亮度以上的被摄体时，所述信号处理部校正所述第一像素。
13.根据权利要求8所述的电子设备，其特征在于，
所述信号处理部根据获取到的所述信号来获取进行耀斑校正后的图像数据。
14.根据权利要求8所述的电子设备，其特征在于，
所述信号处理部对在所拍摄的图像中产生有耀斑进行判定，并在判定为产生有耀斑时进行耀斑校正。
15.根据权利要求8所述的电子设备，其特征在于，
所述信号处理部基于在所获取的所述第一像素中，属于该第一像素的多个所述光电转换部的输出的平均值、属于该第一像素的所述光电转换部的输出中的灵敏度低的值、以及通过将属于该第一像素的多个所述光电转换部的输出向已学习模型中输入而获得的值中的至少一个来进行校正。
16.根据权利要求8所述的电子设备，其特征在于，
所述信号处理部基于所述显示部的电路或在所述显示部与所述摄像部之间具备的光学系统，对所述第一像素进行使用了所述光电转换部的校正。
17.根据权利要求16所述的电子设备，其特征在于，
在所述信号处理部基于所述显示部的电路或所述光学系统对所述第一像素进行了校正的情况下，所述信号处理部对其它的与所述第一像素不同的噪点进行去除。
18.根据权利要求1所述的电子设备，其特征在于，
所述显示部设置在装置的两面。
CN202110114144.XA 2020-02-03 2021-01-27 电子设备 Pending CN113286058A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-016524 2020-02-03
JP2020016524 2020-02-03

Publications (1)

Publication Number Publication Date
CN113286058A true CN113286058A (zh) 2021-08-20

Family

ID=77199289

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110114144.XA Pending CN113286058A (zh) 2020-02-03 2021-01-27 电子设备
CN202120232843.XU Active CN214381044U (zh) 2020-02-03 2021-01-27 电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202120232843.XU Active CN214381044U (zh) 2020-02-03 2021-01-27 电子设备

Country Status (7)

Country Link
EP (1) EP4102816A4 (zh)
JP (1) JPWO2021157324A1 (zh)
KR (1) KR20220135235A (zh)
CN (2) CN113286058A (zh)
DE (1) DE112021000853T5 (zh)
TW (1) TW202143213A (zh)
WO (1) WO2021157324A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298253A (ja) * 1999-04-14 2000-10-24 Seiko Epson Corp 撮像機能付き液晶表示装置、コンピュータ、テレビジョン電話およびディジタルカメラ
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
WO2012137650A1 (ja) * 2011-04-01 2012-10-11 富士フイルム株式会社 撮影装置及びプログラム
JP2013126180A (ja) * 2011-12-15 2013-06-24 Olympus Corp 映像装置
JP5750394B2 (ja) 2012-03-30 2015-07-22 富士フイルム株式会社 固体撮像素子及び撮像装置
US9057931B1 (en) * 2012-06-14 2015-06-16 Amazon Technologies, Inc. Display integrated camera
JP6682319B2 (ja) * 2016-03-30 2020-04-15 キヤノン株式会社 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体
CN108848317A (zh) * 2018-09-25 2018-11-20 Oppo（重庆）智能科技有限公司 拍照控制方法及相关产品
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器

Also Published As

Publication number Publication date
TW202143213A (zh) 2021-11-16
US20230030068A1 (en) 2023-02-02
WO2021157324A1 (ja) 2021-08-12
DE112021000853T5 (de) 2022-12-08
JPWO2021157324A1 (zh) 2021-08-12
EP4102816A4 (en) 2023-08-16
KR20220135235A (ko) 2022-10-06
EP4102816A1 (en) 2022-12-14
CN214381044U (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
EP2589226B1 (en) Image capture using luminance and chrominance sensors
CN108141571B (zh) 无掩模相位检测自动聚焦
Xiao et al. Mobile imaging: the big challenge of the small pixel
US20150098005A1 (en) Image sensor and image capturing system
EP4149104A1 (en) Electronic apparatus and imaging device
US11347978B2 (en) Image processing apparatus, image processing method, and image processing system
WO2021070867A1 (ja) 電子機器
US9497427B2 (en) Method and apparatus for image flare mitigation
CN115023938B (zh) 电子装置
KR101139661B1 (ko) 촬상 장치 및 촬상 방법
CN115004675A (zh) 电子设备
CN214381044U (zh) 电子设备
WO2021149503A1 (ja) 電子機器
US12035058B2 (en) Electronic equipment
WO2022244354A1 (ja) 撮像素子及び電子機器
US20230300474A1 (en) Image processing apparatus, image processing method, and storage medium
WO2023106010A1 (ja) 電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination