CN212727101U - 电子设备 - Google Patents

电子设备 Download PDF

Info

Publication number
CN212727101U
CN212727101U CN202022234672.2U CN202022234672U CN212727101U CN 212727101 U CN212727101 U CN 212727101U CN 202022234672 U CN202022234672 U CN 202022234672U CN 212727101 U CN212727101 U CN 212727101U
Authority
CN
China
Prior art keywords
photoelectric conversion
unit
electronic device
light
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202022234672.2U
Other languages
English (en)
Inventor
中田征志
山崎知洋
金井淳一
马场裕一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Application granted granted Critical
Publication of CN212727101U publication Critical patent/CN212727101U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3058—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本申请提供一种电子设备，在削减边框的宽度的同时能够抑制摄像头的拍摄图像的画质低劣。电子设备具备：显示部；以及拍摄部，配置在与所述显示部的显示面相反的一侧，所述拍摄部具有：多个光电转换部，对通过所述显示部入射的光进行光电转换；以及多个偏光元件，配置在所述多个光电转换部中的至少一个光电转换部的光入射侧。

Description

电子设备
技术领域
本公开涉及一种电子设备。
背景技术
近年的智能电话、便携电话、PC(个人电脑)等电子设备在显示部的外缘(边框)搭载了摄像头，能够轻松地进行视频电话、拍摄动画等。智能手机、便携电话很多时候放在口袋、包里随身携带，因此需要使外形尺寸尽可能紧凑。另一方面，当显示画面的尺寸小时，显示分辨率越高而显示的文字尺寸变得越小，变得难以视觉辨认。因此，在研究通过减小位于显示画面的周围的边框宽度，在电子设备的外形尺寸不变大的情况下使显示画面的尺寸尽可能大。
然而，电子设备的边框很多时候搭载有摄像头等，因此不能使边框宽度小于摄像头的外径尺寸。
另外，在边框配置摄像头时，例如在通过视频电话进行会话时，视线位于显示画面的中央附近的情况较多，因此视线与摄像头的光轴错开，结果会得到未与视线对准的有违和感的拍摄图像。
为了避免上述问题而提出以下方案：在与显示部的显示面相反的一侧配置摄像头模块，通过摄像头来拍摄穿过显示部的被摄体光。
现有技术文献
专利文献
专利文献1：美国专利公开公报2018/0069060
实用新型内容
实用新型要解决的技术问题
然而，穿过显示部的光的一部分发生反射、衍射而入射到摄像头，因此存在受到因反射而产生的光斑、衍射的影响，拍摄图像的画质低劣的问题。
在本实用新型的一实施形态中，提供一种在削减边框的宽度的同时还能够抑制摄像头的拍摄图像的画质低劣的电子设备。
用于解决技术问题的手段
为了解决上述技术问题，本公开提供一种电子设备，具备：显示部；以及拍摄部，配置在与所述显示部的显示面相反的一侧，所述拍摄部具有：多个光电转换部，对通过所述显示部入射的光进行光电转换；以及多个偏光元件，配置在所述多个光电转换部中的至少一个光电转换部的光入射侧。
该电子设备还可以具备校正部，所述校正部基于通过所述多个偏光元件进行偏光并通过所述光电转换部进行光电转换后的偏光信息，对通过所述多个光电转换部进行光电转换后的拍摄图像进行校正。
所述校正部可以去除在穿过所述显示部时产生的反射光及衍射光中的至少一方入射到所述多个光电转换部并被拍摄到的分量。
所述校正部可以通过进行对由所述光电转换部进行光电转换并被数字化的数字像素数据减去基于将所述偏光信息数字化而得到的偏光信息数据的校正量的处理，从而对所述数字像素数据进行校正。
所述电子设备可以具备设置于所述显示部并使入射的光向特定方向偏光的偏光部件，所述多个偏光元件中的至少一个偏光元件使通过所述偏光部件偏光后的光穿过，所述校正部可以基于通过所述偏光部件偏光后穿过所述偏光元件并通过所述光电转换部进行光电转换后的所述偏光信息，对通过所述多个光电转换部进行光电转换后的拍摄图像进行校正。
所述电子设备可以具备光源推定部，所述光源推定部推定入射到所述显示部的光的光源的种类，所述校正部可以基于由所述光源推定部推定的光源的种类，来调整通过所述多个光电转换部进行了光电转换的拍摄图像的校正量。
所述电子设备可以具备亮度推定部，所述亮度推定部推定所述显示部的显示亮度，所述校正部可以根据所述显示部的显示亮度，来调整通过所述多个光电转换部进行了光电转换的拍摄图像的校正量。
所述电子设备可以具备信号处理部，所述信号处理部对通过所述校正部校正后的拍摄图像进行曝光处理、焦点调节处理以及白平衡调整处理中的至少一个处理。
所述电子设备可以具备：信号处理部，对通过所述校正部校正后的拍摄图像进行至少一种信号处理；以及参数调整部，根据所述校正部校正所述拍摄图像的校正量，来调整对所述拍摄图像进行信号处理时的参数。
所述信号处理部所进行的信号处理可以包括去除所述拍摄图像所包含的噪声分量的降噪处理以及对所述拍摄图像的边缘进行强调的边缘强调处理中的至少一方。所述参数调整部可以根据所述校正量来调整进行所述降噪处理以及所述边缘强调处理中的至少一方时的参数。
所述参数调整部可以对所述校正量越大的拍摄图像进行所述降噪处理中的噪声去除的程度越高的处理以及所述边缘强调处理中的边缘强调的程度越高的处理中的至少一方。
所述信号处理部可以在进行包括曝光调整处理的信号处理并进行所述曝光调整处理时，进行曝光调整以使所述多个光电转换部的输出值不饱和。
所述电子设备可以具备缺陷校正部，所述缺陷校正部使用周围的两个以上的所述光电转换部的输出值来校正通过所述偏光元件偏光后的光所入射的所述光电转换部的输出值。
所述电子设备可以具备拍摄装置，所述拍摄装置具有所述光电转换部以及使光会聚于所述光电转换部的光学系统的，所述拍摄装置可以配置在与所述显示部的显示面的大致中央部分附近相反的一侧。
所述电子设备可以具备缺陷校正部，所述缺陷校正部对于所述多个光电转换部中的输出值饱和的光电转换部，基于通过配置于该光电转换部周边的一个以上的所述偏光元件进行偏光并通过所述光电转换部进行光电转换后的偏光信息来校正输出值饱和的光电转换部的输出值。
所述光电转换部可以具有多个分割光电转换部，通过所述多个偏光元件偏光后的光可以入射到一部分的所述光电转换部中的所述多个分割光电转换部。
所述光电转换部可以具有多个分割光电转换部，通过所述偏光元件偏光后的光可以入射到任意的所述光电转换部中的一部分的所述分割光电转换部。
所述光电转换部可以具有多个分割光电转换部，通过所述偏光元件偏光后的光可以入射到两个以上的所述光电转换部中各一部分的所述分割光电转换部。
所述多个光电转换部可以具有多个分割光电转换部，通过所述多个偏光元件偏光后的光可以入射到所述多个光电转换部。
所述光电转换部可以具有在一个方向上被分割为多个且能够检测相位差信息的多个分割光电转换部，通过所述偏光元件偏光后的光可以入射到任意的所述光电转换部中的所述多个分割光电转换部。
附图说明
图1是根据第一实施方式的电子设备的示意性剖视图。
图2的(a)是图1的电子设备的示意性外观图，图2的(b)是(a)的A-A线方向的剖视图。
图3是示出多个偏光像素与多个非偏光像素的像素排列的一例的平面图。
图4A是示出根据本实施方式的拍摄部的详细界面结构的图。
图4B是在片上透镜的上面配置多个偏光像素的情况下的剖视图。
图5是示出各偏光像素的详细结构的一例的立体图。
图6A是示意性示出通过图1的电子设备拍摄被摄体时产生光斑的情况的图。
图6B是示出图6A的拍摄图像所包含的信号分量的图。
图7A是概念性说明根据本实施方式的校正处理的图。
图7B是概念性说明根据本实施方式的校正处理的图。
图7C是概念性说明根据本实施方式的校正处理的图。
图8是示出根据本实施方式的电子设备的内部结构的框图。
图9是示出根据本实施方式的电子设备进行拍摄处理的处理顺序的流程图。
图10是示出根据本实施方式的电子设备进行拍摄处理的处理顺序的流程图。
图11是示出根据第三实施方式的多个偏光像素和多个非偏光像素的像素排列的一例的平面图。
图12是示出分割结构的第一变形例的平面图。
图13是示出分割结构的第二变形例的平面图。
图14是示出分割结构的第三变形例的平面图。
图15是示出分割结构的第四变形例的平面图。
图16是根据第四实施方式的电子设备的模式化剖视图。
图17是显示部2的结构具有特征的第一变形例的剖视图。
图18是显示部2的结构具有特征的第二变形例的剖视图。
图19是第一至第四实施方式的电子设备适用于胶囊内窥镜时的平面图。
图20是将第一至第四实施方式的电子设备适用于数码单反相机时的背面图。
图21A是示出电子设备1适用于HMD时的图。
图21B是示出当前的HMD的图。
图22是示出根据第六实施方式的电子设备的简要构成的框图。
图23是示出第六实施方式的一变形例的电子设备的简要构成的框图。
图24是示出搭载于根据第七实施方式的电子设备的摄像头模块的拍摄部的截面结构的图。
附图标记说明：
1：电子设备、1a：显示画面、1b：边框、2：显示部、3：摄像头模块、4：显示面板、5：圆偏光板、6：触摸面板、7：盖玻璃、8：拍摄部、8a：光电转换部、8b：偏光元件、8d：线部、8f：光反射层、8g：绝缘层、8h：光吸收层、9：光学系统、11：基板、11a：第一面、11b：第二面、12：布线层、13：层间绝缘膜、14：平坦化层、15：遮光层、16：基底绝缘层、17：绝缘层、31：A/D转换器、32：箝位部、33：色彩输出部、34：偏光输出部、35：光斑提取部、36：光斑校正信号生成部、37：缺陷校正部、38：线性矩阵部、39：伽马校正部、40：亮度色度信号生成部、41：焦点调节部、42：曝光调整部、43：降噪部、44：边缘强调部、45：输出部、81：变更元件、82：非偏光像素。
具体实施方式
下面，参照附图来说明电子设备的实施方式。下面以电子设备的主要的构成部分为中心进行说明，但在电子设备中，会存在未图示或未说明的构成部分、功能。下面的说明并不是排除未图示或未说明的构成部分、功能。
(第一实施方式)
图1是基于第一实施方式的电子设备1的示意剖视图。图1的电子设备1是智能手机、便携式电话、平板电脑、PC等兼具显示功能和摄影功能的任意电子设备。图1的电子设备1具备配置在与显示部2的显示面相反的一侧的摄像头模块(拍摄部)。这样，图1的电子设备1在显示部2的显示面的内侧设置有摄像头模块3。因此，摄像头模块3通过显示部2而进行摄影。
图2的(a)是图1的电子设备1的示意外观图，图2的(b)是图2的(a)的A－A线方向的剖视图。在图2的(a)的例子中，显示画面1a扩展至接近电子设备1的外形尺寸，使位于显示画面1a的周围的边框1b的宽度为数mm以下。通常，边框1b很多时候搭载有前置摄像头，但在图2的(a)中，如虚线所示的那样在显示画面1a的大致中央部的内表面侧配置有作为前置摄像头发挥功能的摄像头模块3。这样，通过将前置摄像头设置在显示画面1a的内表面侧，从而变得不需要在边框1b配置前置摄像头，而能够使边框1b的宽度变窄。
需要指出，在图2的(a)中，在显示画面1a的大致中央部的内表面侧配置有摄像头模块3，但在本实施方式中，例如也可以将摄像头模块3配置在显示画面1a的周缘部附近的内表面侧，只要是在显示画面1a的内表面侧即可。这样，本实施方式中的摄像头模块3配置在与显示画面1a重叠的内表面侧的任意位置。
如图1所示，显示部2是依次层叠显示面板4、圆偏光板5、触摸面板6和盖玻璃7的结构体。显示面板4例如可以是OLED(Organic Light Emitting Device)部，可以是液晶显示部，可以是MicroLED，还可以是基于其它显示原理的显示部2。OLED部等的显示面板4由多层构成。显示面板4很多时候设置有滤色层等透过率低的部件。如后文所述，在显示面板4中的透过率低的部件中也可以配合摄像头模块3的配置部位而形成贯通孔。如果使通过贯通孔的被摄体光入射到摄像头模块3，则能够提高通过摄像头模块3拍摄的图像的画质。
为了减少刺眼或即使明亮的环境下也提高显示画面1a的视觉辨认性而设置圆偏光板5。在触摸面板6中组入触摸传感器。触摸传感器具有静电电容型、电阻膜型等各种方式，也可以使用任意方式。另外，也可以使触摸面板6和显示面板4一体化。为了保护显示面板4等而设置盖玻璃7。
摄像头模块3具有拍摄部8和光学系统9。光学系统9配置在拍摄部8的光入射面一侧即靠近显示部2一侧，使通过显示部2的光会聚于拍摄部8。光学系9通常由多个透镜构成。
拍摄部8具有多个光电转换部8a和多个偏光元件8b。光电转换部8a对通过显示部2入射的光进行光电转换。光电转换部8a既可以是CMOS(Complementary Metal OxideSemiconductor)传感器，也可以是CCD(Charge Coupled Device)传感器。另外，光电转换部8a既可以是光电二极管，也可以是有机光电转换膜。多个光电转换部8a能够以任意方式排列。多个光电转换部8a的排列方式可以是拜耳(Bayer)排列，可以是行间排列，可以是方格排列，可以是条纹排列，还可以是其它排列。
多个偏光元件8b配置在多个光电转换部8a中的至少一个光电转换部8a的光入射一侧。偏光元件8b使穿过显示部2入射的光偏光。通过偏光元件8b偏光后的光入射到对应的光电转换部8a进行光电转换。在本说明书中，将对通过偏光元件8b偏光后的光进行光电转换的光电转换部8a的输出值称为偏光信息，将对未经由偏光元件8b入射的光进行光电转换的光电转换部8a的输出值称为像素值或像素信息。另外，在本说明书中，偏光元件8b和对通过该偏光元件8b偏光后的光进行光电转换的光电转换部8a合称为偏光像素，将对未经由偏光元件8b入射的光进行光电转换的光电转换部8a称为非偏光像素。
图3是示出多个偏光像素81和多个非偏光像素82的像素排列的一例的平面图。在图3的例子中，RGB这三色用的多个非偏光像素82在二维方向上配置，在多个非偏光像素82之间分别隔开配置有多个偏光像素81。
图3是从光入射侧观察多个非偏光像素82和多个偏光像素81的平面图。在图3的例子中，在8×8＝64个非偏光像素82的配置区域内逐个地配置偏光方向不同的四种偏光像素81，但偏光像素81的数量相对于非偏光像素82的数量的比例、偏光像素81的种类、偏光像素81的配置部位是任意的。
图4A是示出基于本实施方式的拍摄部8的详细的剖面构造的图。如图4A所示，在基板11内配置有多个光电转换部8a。基板11的第一面11a侧配置有多个布线层12。在多个布线层12的周围配置有层间绝缘膜13。设置有将这些布线层12彼此以及将布线层12和光电转换部8a连接的未图示的接触件，但在图4A中进行省略。
在基板11的第二面11b侧，遮光层15隔着平坦化层14配置在像素的边界附近，在遮光层15的周围配置有基底绝缘层16。在基底绝缘层16上，多个偏光元件8b隔开配置。图4A的各偏光元件8b是配置在绝缘层17局部的线和间隔结构的线栅偏光元件。
图5是示出各偏光元件8b的详细的构造的一例的立体图。多个偏光元件8b分别如图5所示具有在一个方向延伸的凸形状的多个线部8d以及各线部8d之间的间隔部8e。偏光元件8b具有线部8d的延伸方向分别不相同的多个种类。更具体而言，偏光元件8b具有三种以上，例如，可以是光电转换部8a的排列方向与线部8d的延伸方向所成的角度为0度、60度、120度这三种。或者，可以是光电转换部8a的排列方向与线部8d的延伸方向所成的角度为0度、45度、90度、135度这四种，还可以是除此以外的角度。或者，多个偏光元件8b也可以仅进行单一方向的偏光。多个偏光元件8b的材料可以是铝、钨等金属材料，也可以是有机光电转换膜。
这样，各偏光元件8b具有将在一个方向延伸的多个线部8d在与一个方向交叉的方向隔开配置的构造。存在线部8d的延伸方向分别不相同的多种偏光元件8b。这些偏光元件8b以与多个光电转换部8a的二维排列的一部分重叠的方式隔开配置。
线部8d是层叠有光反射层8f、绝缘层8g和光吸收层8h的层叠构造。光反射层8f例如由铝等金属材料形成。绝缘层8g例如由SiO2等形成。光吸收层8h例如是钨等金属材料。
返回图4A，在配置有多个偏光元件8b的绝缘层17上，隔着保护层18、19配置有平坦化层20。在平坦化层20上配置有滤色层21。滤色层21也可以具有RGB这三色的滤光层，也可以具有作为其补色的青色、品红色、黄色的滤光层。或者，可以具有使红外光等除可见光以外的颜色透过的滤光层，可以具有带有多谱段特性的滤光层，也可以具有白色等减色的滤光层。通过使红外光等除可见光以外的光透过，从而能够检测景深信息等感测信息。在滤色层21上配置有芯片上透镜22。
在图4A的剖面构造中，在多个偏光元件8b上配置有芯片上透镜22，但如图4B所示，也可以在芯片上透镜22上配置多个偏光元件8b。图4B的剖面构造除了芯片上透镜22与多个偏光元件8b的层叠顺序不同以外，与图4A相同。
另外，也可以任意变更图4A与图4B的剖面构造的局部的层构成。例如，也可以将图4A中的配置有多个偏光元件8b的绝缘层16和滤色层21合并为一层。
接着，说明基于本实施方式的电子设备1的特征性的动作。图6A是示意性地示出在通过图1的电子设备1对被摄体摄影时产生光斑(眩光)的样子的图。光斑是由于入射到电子设备1的显示部2的光的一部分由显示部2内的任意部件重复反射后，入射到拍摄部8并写入拍摄图像所产生的。若拍摄图像产生光斑，则如图6A所示会产生亮度(辉度)差、色调的变化而使画质低劣。
图6B是示出图6A的拍摄图像所包含的信号分量的图。如图6B所示，摄影图像包括被摄体信号和光斑分量。
图7A、图7B和图7C是大概地说明基于本实施方式的校正处理的图。如图7A所示，基于本实施方式的拍摄部8具有多个偏光像素81和多个非偏光像素82。由图7A所示的多个非偏光像素82进行光电转换的像素信息如图6B所示包括被摄体信号和光斑分量。与此相对，由图7A所示的多个偏光像素81进行光电转换的偏光信息是光斑分量的信息。因而，通过从由多个非偏光像素82进行光电转换后的像素信息中扣除由多个偏光像素81进行光电转换后的偏光信息，如图7B所示，去除光斑分量而得到被摄体信号。若将基于该被摄体信号的图像显示于显示部2，则如图7C所示，显示出去除了图6A中存在的光斑的被摄体图像。
通过图6A～图6B和图7A～图7C说明了被摄体图像受光斑的影响的例子，但也存在入射到显示部2的外光因显示部2内的布线图案等而产生衍射，衍射光入射到拍摄部8的情况。这样，在拍摄图像中，有可能写入光斑和衍射光中的至少一方。
图8是示出基于本实施方式的电子设备1的内部构成的框图。图8的电子设备1具备：光学系统9、拍摄部8、A/D转换器31、箝位部32、色彩输出部33、偏光输出部34、光斑提取部35、光斑校正信号生成部36、缺陷校正部37、线性矩阵部38、伽马校正部39、亮度色度信号生成部40、焦点调节部41、曝光调整部42、降噪部43、边缘强调部44和输出部45。
光学系统9具有一个以上的透镜9a和IR(Infrared Ray)截止滤光器9b。IR截止滤光器9b也可以省略。拍摄部8如上述那样具有光电转换部8a和多个偏光像素81，该光电转换部8a具备多个非偏光像素82。
多个偏光像素81的输出值和多个非偏光像素82的输出值输入到A/D转换器31。A/D转换器31输出将多个偏光像素81输出值数字化后的偏光信息数据和将多个非偏光像素82的输出值数字化后的数字像素数据。
箝位部32进行规定黑电平的处理，从数字像素数据和偏光信息数据中分别减去黑电平数据。箝位部32的输出数据被分支，从色彩输出部33输出RGB的数字像素数据，从偏光输出部34输出偏光信息数据。光斑提取部35从偏光信息数据中提取光斑分量和衍射光分量中的至少一方。在本说明书中，有时将由光斑提取部35提取的光斑分量和衍射光分量中的至少一方称为校正量。
光斑校正信号生成部36通过对从色彩输出部33输出的数字像素数据进行减去由光斑提取部35提取的校正量的处理，从而对数字像素数据进行校正。光斑校正信号生成部36的输出数据是去除光斑分量和衍射光分量中的至少一方的数字像素数据。这样，光斑校正信号生成部36作为校正部发挥功能，该校正部基于偏光信息来校正由多个非偏光像素82进行光电转换后的拍摄图像。
偏光像素81的像素位置处的数字像素数据通过偏光元件8b，信号电平相应地变低。因此，缺陷校正部37将偏光像素81当作缺陷，进行预定的缺陷校正处理。该情况下的缺陷校正处理可以是使用周围的像素位置的数字像素数据进行插值的处理。
线性矩阵部38通过进行对RGB等颜色信息的行列运算，从而进行更正确的颜色再现。线性矩阵部38也称为色彩矩阵部。
伽马校正部39与显示部2的显示特性配合而进行伽马校正，以能够得到视觉辨认性优异的显示。例如，伽马校正部39使梯度变化的同时，进行从10比特至8比特的转换。
亮度色度信号生成部40基于伽马校正部39的输出数据，生成用于使显示部2进行显示的亮度色度信号。
焦点调节部41基于进行缺陷校正处理后的亮度色度信号，进行自动对焦处理。曝光调整部42基于进行缺陷校正处理后的亮度色度信号来进行曝光调整。进行曝光调整时，也可以设置上限限制进行曝光调整，以使各非偏光像素82的像素值不饱和。另外，即使进行曝光调整，在各非偏光像素82的像素值饱和的情况下，也可以基于处于该非偏光像素82的周围的偏光像素81的像素值来推定饱和的非偏光像素82的像素值。
降噪部43进行削减亮度色度信号所包含的噪声的处理。边缘强调部44基于亮度色度信号来进行强调被摄体图像的边缘的处理。基于降噪部43的降噪处理和基于边缘强调部44的边缘强调处理也可以仅在满足预定的条件时进行。预定的条件例如是指由光斑提取部35提取的光斑分量、衍射光分量的校正量超过预定的阈值的情况。拍摄图像所包含的光斑分量、衍射光分量越多，在去除了光斑分量、衍射光分量时的图像中噪声越多或边缘越模糊。因此，仅在校正量超过阈值时进行降噪处理、边缘强调处理，从而能够减少进行降噪处理、边缘强调处理的频次。
图8的缺陷校正部37、线性矩阵部38、伽马校正部39、亮度色度信号生成部40、焦点调节部41、曝光调整部42、降噪部43和边缘强调部44的至少一部分的信号处理可以由具有拍摄部8的拍摄传感器内的逻辑电路来执行，也可以由搭载拍摄传感器的电子设备1内的信号处理电路来执行。或者，也可以通过经由电子设备1和网络进行信息的收发的云上的服务器等来执行图8的至少一部分的信号处理。如图8的框图所示，基于本实施方式的电子设备1通过光斑校正信号生成部36对去除了光斑分量和衍射光分量中的至少一方的数字像素数据进行各种信号处理。是因为特别是对于曝光处理、焦点调节处理和白平衡调整处理等一部分信号处理，在包含光斑分量、衍射光分量的状态下即使进行信号处理，也无法得到良好的信号处理结果。
图9是示出基于本实施方式的电子设备1所进行的摄影处理的处理顺序的流程图。首先，启动摄像头模块3(步骤S1)。由此，对拍摄部8供给电源电压，拍摄部8开始入射光的拍摄。更具体而言，多个非偏光像素82将入射光进行光电转换，多个偏光像素81获取入射光的偏光信息(步骤S2)。A/D转换器31输出将多个偏光像素81的输出值数字化后的偏光信息数据以及将多个非偏光像素82的输出值数字化后的数字像素数据(步骤S3)。
接着，光斑提取部35基于偏光信息数据，判定是否产生光斑、衍射(步骤S4)。在此，例如偏光信息数据超过预定的阈值，则判定为生成了光斑、衍射。若判定为产生光斑、衍射，则光斑提取部35基于偏光信息数据，提取光斑分量、衍射光分量的校正量(步骤S5)。光斑校正信号生成部36从数字像素数据中减去校正量，生成去除了光斑分量、衍射光分量的数字像素数据(步骤S6)。
接着，对通过步骤S6校正后的数字像素数据或通过步骤S4判定为未产生光斑、衍射的数字像素数据进行各种信号处理(步骤S7)。更具体而言，在步骤S7中，如图8所示进行缺陷校正处理、线性矩阵处理、伽马校正处理、亮度色度信号生成处理、曝光处理、焦点调节处理、白平衡调整处理、降噪处理、边缘强调处理等处理。需要指出，信号处理的种类、执行顺序是任意的，也可以省略图8所示的一部分的框的信号处理，也可以进行除图8所示的框以外的信号处理。
进行了步骤S7的信号处理的数字像素数据从输出部45输出，也可以存储到未图示的存储器，也可以作为活动图像显示于显示部2(步骤S8)。
这样，在第一实施方式中，在与显示部2的显示面相反一侧配置摄像头模块3，由多个偏光像素81获取通过显示部2的光的偏光信息。通过显示部2的光的一部分在显示部2内重复反射，从而入射到摄像头模块3内的多个非偏光像素82。根据本实施方式，通过获取上述偏光信息，能够在简单且可靠性高地去除在显示部2内重复反射从而入射到多个非偏光像素82的光所包含的光斑分量、衍射光分量的状态下生成拍摄图像。更具体而言，在本实施方式中，通过对将不经由偏光元件8b入射的光进行光电转换的多个非偏光像素82所拍摄并进行A/D转换后的数字像素数据进行减去基于多个偏光像素81所获取的偏光信息的校正量的处理，从而能够生成去除了光斑分量、衍射光分量的数字像素数据。
(第二实施方式)
在图8的光斑校正信号生成部36中，对以多个非偏光像素82拍摄的数字像素数据进行减去基于以多个偏光像素81获取到的偏光信息的校正量的处理，但通过该减法处理，减去后的数字像素数据的S/N比有可能变差。这是由于，与光斑分量重叠的光子散粒噪声无法通过上述的减法处理而去除。
因此，也可以根据基于光斑分量、衍射光分量的校正量的大小，来调整降噪处理的噪声去除程度。更具体而言，校正量越大，降噪处理的噪声去除程度越高。另外，通过使降噪处理的噪声去除程度更高，从而也可以在边缘变得不清楚时，使边缘强调处理的边缘强调程度更高。
图10是示出基于本实施方式的电子设备1所进行的摄影处理的处理顺序的流程图。步骤S11～S16的处理由于与图9的步骤S1～S6相同，故省略说明。在步骤S16中，当从数字像素数据减去校正量的处理结束时，接下来判定在步骤S14中提取的校正量是否超过预定的阈值(步骤S17)。若判定为校正量超过了阈值，则使降噪处理的噪声去除程度和边缘强调处理的边缘强调程度的至少一方更高(步骤S18)。即，在光斑分量、衍射光分量的校正量较大时，进行使噪声去除程度更高或者对边缘进行进一步强调的处理。由此，即使通过从数字像素数据中减去校正量而导致S/N比下降，也能够通过适当地进行噪声去除处理、边缘强调处理，来抑制S/N比的下降。
另一方面，若判定为校正量没有超过阈值，则进行通常的降噪处理和边缘强调处理(步骤S19)。
在步骤S14中判定为没有产生光斑、衍射的情况下，或者在步骤S18的处理结束的情况下，或者在步骤S19的处理结束的情况下，进行其他的信号处理(步骤S20)。若全部的信号处理结束，则输出数字像素数据(步骤S21)。
在图10中，示出了在校正量超过阈值的情况下，提高降噪处理和边缘强调处理的程度的示例，但对于除了这些处理之外的任意的信号处理，也可以在校正量超过和没有超过阈值的情况下，对信号处理的具体内容进行切换。这种情况下，也可以根据校正量，而设置对进行任意的信号处理时的参数进行调整的参数调整部。由于考虑到根据信号处理的内容而参数的调整量不同，因此参数调整部也可以根据校正量对进行各信号处理的各部分分别设定最优的参数。此外，在上述的示例中，降噪部43和边缘强调部44兼为参数调整部。降噪部43调整决定噪声去除程度的参数，边缘强调部44调整决定边缘强调程度的参数。
另外，在图10的步骤S17～S19中，根据校正量是否超过阈值而将降噪处理和边缘强调处理的程度切换为两种，但也可以根据光斑分量、衍射光分量的校正量、被摄体的状况等而将进行降噪处理、边缘强调处理的程度细致地切换为三个阶段以上。
这样，在第二实施方式中，通过从数字像素数据中减去基于光斑分量、衍射光分量的校正量，从而在减去后的数字像素数据的S/N比有可能下降时，进行使噪声去除程度、边缘强调程度更高的处理。由此，即使在去除了光斑分量、衍射光分量的情况下，拍摄图像的S/N比也不会下降。
(第三实施方式)
在第三实施方式中，将各像素设为分割结构。
图11是示出基于第三实施方式的多个偏光像素81和多个非偏光像素82的像素排列的一例的平面图。如图11所示，各偏光像素81和各非偏光像素82被分割为四个。更详细而言，各个光电转换部8a具有多个分割光电转换部，并且通过多个偏光元件8b偏光后的光入射到一部分的光电转换部8a中的多个分割光电转换部。此外，在图11中，示出各偏光像素81和各非偏光像素82分割为四个的示例，但也可以分割为两个以上的任意的数量。
多个偏光像素81与多个非偏光像素82的位置及尺寸对应设置，在图11的示例中，分别在横方向以及纵方向上，以对于5个非偏光像素82设置1个偏光像素81的比例来设置偏光像素81。各偏光像素81与各非偏光像素82同样地分割为四个。相同的偏光像素81内的四个分割像素的偏光图案是相同的。在图11的示例中，具备偏光图案分别不同的四种偏光像素81，但只要偏光像素81的种类在三种以上即可，其种类的数量是任意的。在本说明书中，将各偏光像素81或各非偏光像素82分割为四个的各像素称为分割像素。
如图11的右边进行放大图示的那样，构成各非偏光像素82的四个分割像素分别单独地设置芯片上透镜22。
在图11的示例中，使各偏光像素81的尺寸与各非偏光像素82的尺寸相同，且使各偏光像素81配合各非偏光像素82的配置部位配置，但也可以使各偏光像素81的尺寸、配置部位与各非偏光像素82的尺寸、配置部位不同。
在图11的情况下，由于对分配为偏光像素81的光电转换部8a内的像素区域输入通过对应的偏光元件8b偏光后的光，因此该像素区域中的光电转换部8a的输出值变小。因此，需要通过图8所示的缺陷校正部37使用各偏光元件8b的周围的非偏光像素82的输出值来进行校正偏光像素81的输出值的缺陷校正。
图12是示出分割结构的第一变形例的平面图。在图12中，构成一个像素的四个分割像素中的三个分割像素利用为所对应的非偏光像素82的光电转换，而剩余的一个分割像素被利用为偏光像素81。更详细而言，光电转换部8a具有多个分割光电转换部，由多个偏光元件8b偏光后的光入射到任意光电转换部8a中的一部分的分割光电转换部。由此，在各像素的内部为局部配置有偏光像素81和非偏光像素82。该情况下，如图12的右侧进行放大图示的那样，与构成一个像素的四个分割像素分别对应地设置芯片上透镜。
在图11的例子中，以对多个非偏光像素82设置一个偏光像素81的比例来设置偏光像素81，但在图12的示例中，在各像素的每个中设置有非偏光像素82和偏光像素81。因此，与图11的例子相比，在图12的例子中能够更准确地获取光电转换部8a内的偏光信息。
另外，在图12的例子中，具有四种偏光图案的四种偏光像素81均匀地配置，但偏光图案的种类在三种以上即可，并不限定于四种。
在图12的情况下，对于各像素分别基于每纵横两个的分割像素中的针对利用为非偏光像素82的三个分割像素的分割光电转换部的输出值来决定像素输出值，基于针对利用为偏光像素81的一个分割像素的分割光电转换部的输出值来决定校正量。这样，在图12的示例中，由于在各像素的一部分中含有非偏光像素82，因此不需要进行缺陷校正，从而能够简化信号处理。
这样，通过在将各像素分割为多个的多个分割像素中分配偏光像素81和非偏光像素82，从而能够通过各像素内的非偏光像素82c输出颜色信息和偏光信息，分辨率不会缺失，因此不需要缺陷校正处理。另外，能够通过各像素的一部分所分配的偏光像素81来计算基于光斑分量、衍射光分量的校正量，能够通过从数字像素数据中减去该校正量，从而能够从拍摄图像中去除光斑分量、衍射光分量。
在图12的例子中，由于在将各像素分割后的四个分割像素中的一个分割像素中分配偏光像素81，因此偏光像素81的尺寸非常小。如图5所示，偏光像素81例如由线和间隔部构成，但利用精细加工技术，高精度地将线部8d的形状、相邻的两个线部8d的间隔对齐并不容易。因此，也可以使偏光像素81的尺寸大于非偏光像素82的尺寸。
图13是示出分割结构的第二变形例的平面图。在图13中，以跨越相邻配置的四个像素的方式配置有一个偏光像素81。更详细而言，光电转换部8a具有多个分割光电转换部，通过偏光元件8b偏光后的光分别入射到两个以上的光电转换部8a的各一部分的分割转换部。偏光像素81的尺寸是分割像素的尺寸的纵横两倍，偏光像素81的面积是分割像素的面积的四倍。在图13的示例中，构成一个像素的四个分割像素中的三个分割像素被分配为非偏光像素82而用于通常的光电转换，剩余的一个分割像素被分配为偏光像素81而用于偏光信息的获取。因此，与图12同样地，由于各像素具有被利用为非偏光像素82的分割像素，因此不需要进行缺陷校正。
如图13的右侧进行放大图示那样，对于将一个像素分割后的四个分割像素中的利用为非偏光像素82的三个分割像素分别设置有单独的芯片上透镜22。对于剩余的一个分割像素与相邻的其他的三个分割像素一起设置有一个大的芯片上透镜22并利用为偏光像素81。这样，通过利用相邻配置的四个分割像素的区域来制作大的偏光元件8b并设置与其尺寸对应的芯片上透镜22，从而易于制造偏光元件8b，并且能够获取可靠性较高的偏光信息。
图14是示出分割结构的第三变形例的平面图。在图14中，在全像素区域配置有偏光像素81。更详细而言，多个光电转换部8a具有多个分割光电转换部，通过多个偏光元件8b偏光后的光入射到多个光电转换部8a。即，在图14的例子中，仅存在偏光像素81，而不存在非偏光像素82。在图14的示例中，各像素被分割为四个分割像素，但任意的分割像素也可利用为偏光像素81。
在图14的情况下，由于无论哪个像素的哪个分割像素均分配有偏光像素81，因此光电转换部8a的输出值一样地变小。因此，也可以进行用于整体地提高光电转换部8a的输出值的增益调整处理。通过进行增益调整处理而S/N比有可能下降，但能够通过进行使降噪处理、边缘强调处理的程度更高等的处理，生成可靠性较高的数字像素数据。
另外，如图14所示，通过与光电转换部8a的整个区域对应地设置偏光元件8b，从而能够获取考虑到了入射到光电转换部8a的任意的部位的光斑、衍射光的影响的偏光信息。因此，能够提高由光斑提取部35提取的校正量的精度。
图15是示出分割结构的第四变形例的平面图。关于图15的例子，在非偏光像素82之间配置有偏光像素81这点上与图3等是共通的，但在非偏光像素82分割为左右两个分割像素这点上与上述其他分割结构不同。更详细而言，光电转换部8a具有在一个方向上分割为多个并能够检测相位差信息的多个分割光电转换部，通过偏光元件8b偏光后的光入射到任意的光电转换部8a中的多个分割光电转换部。各分割像素例如是纵长的矩形状。两个分割像素能够用于检测相位差信息。基于该相位差信息，例如能够进行焦点调节。
图15中的以对多个非偏光像素82(例如，五个非偏光像素82)设置一个偏光像素81的比例设置的各偏光像素81具有两个分割像素的尺寸。如上所述，偏光元件8b具有线和间隔部，因此精细加工并不容易，但图15的偏光元件8b具有分割像素的两倍的尺寸，因此比较容易制造，也不易导致制造上的不良情况。不过，对于偏光元件8b所配置的像素区域，光电转换部8a的输出值下降，因此需要使用与周围的非偏光像素82对应的光电转换部8a的像素值来进行缺陷校正处理。
上述的图11～图15示出了以分割结构为代表的例子，也可以是除图示以外的分割结构。本实施方式能够应用于所有分割结构，也可以将光电转换部8a分割为任意的形状及尺寸。因此，非偏光像素82的分割形状、分割尺寸以及分割数量是任意的。另外，对偏光像素81可以进行分割，也可以不进行分割。
这样，在第三实施方式中，由于至少非偏光像素82为分割结构，因此若将各像素内的一部分的分割像素分配为偏光像素81获取偏光信息并将剩余的分割像素分配为非偏光像素82获取颜色信息，则不需要对于各像素进行缺陷校正。
另外，通过将各像素设为分割结构，从而不仅能够检测偏光信息，还能够检测相位差信息。而且，若非偏光像素82为分割结构而偏光像素81不为分割结构，则能够使偏光像素81的尺寸大于非偏光像素82，从而易于制造偏光元件8b。
(第四实施方式)
第四实施方式是在与显示部2的显示面相反一侧配置有摄像头模块3的电子设备1中使显示部2的结构具有特征的实施方式。
如上所述，在显示部2的内部设置有圆偏光板5以提高视觉辨认性。然而，圆偏光板5会遮挡至少一部分的光，因此当由摄像头模块3对穿过显示部2的被摄体光进行拍摄时，会产生拍摄图像变暗等不良情况。同样地，显示部2的内部的触摸传感器、OLED部等显示面板4等的透过率也没有那么高。因此，本实施方式其特征在于，在显示部2内的在表里方向与摄像头模块3重叠的区域设置贯通孔。
图16是基于第四实施方式的电子设备1的示意剖视图。图16的电子设备1内的显示部2的在表里方向与摄像头模块3重叠的部分具有多个贯通孔2a。这些贯通孔2a设置于显示部2内的触摸传感器、圆偏光板5以及显示面板4等透过率较低的多个层。贯通孔2a的径向尺寸在各层中分别不同。例如，圆偏光板5具有与摄像头模块3的拍摄部8的径向尺寸相同的径向尺寸的贯通孔2a。另一方面，触摸传感器和显示面板4也可以在拍摄部8的径向尺寸内设置多个较小的贯通孔2a，以不能对显示部2的显示、触摸灵敏度施加不良影响。
通过设置这些贯通孔2a，有可能对显示部2的显示画面1a的视觉辨认性、触摸灵敏度产生一些影响，但由于是摄像头模块3的径向尺寸微小的数mm左右，因此在实用上几乎没有问题。通过设置这些贯通孔2a，从而使穿过显示部2的被摄体光的透过率提高，并能够提高由摄像头模块3拍摄的拍摄图像的画质。
使显示部2的结构具有特征的例子不仅考虑了图16，还考虑有各种例子。图17是使显示部2的结构具有特征的第一变形例的剖视图。图17的显示部2在显示面板4的背面配置向特定的方向偏光的偏光部件2b。在图17的示例中，在显示面板4中的与摄像头模块3上下不重叠的区域的内表面侧配置偏光部件2b。
当入射到显示部2的光入射到偏光部件2b时，在反射时向特定的方向偏光。该反射光例如被显示部2的其它层再进行反射而入射到拍摄部8。该反射光入射到拍摄部8时，由于向特定的方向偏光，因此如果使多个偏光元件8b的至少一部分具有与偏光部件2b相同的偏光特性，则能够可靠地获取被偏光部件2b偏光后的光的偏光信息。
这样，通过在显示部2内设置向特定的方向偏光的偏光部件2b，从而能够使入射到拍摄部8的光向特定的方向偏光，并能够更可靠地利用多个偏光像素81提取光斑分量、衍射分量。
图18是使显示部2的结构具有特征的第二变形例的剖视图。图18的显示部2在圆偏光板5中的在表里方向与摄像头模块3重叠的区域设置使向特定的方向偏光的偏光部件2b。本来，摄像头模块3是为了拍摄与光轴大致平行地入射的光。因此，例如在圆偏光板5的与摄像头模块3在表里方向重叠的区域设置向与光轴大致平行的方向偏光的偏光部件2b。由此，穿过该区域内的光在向与光轴大致平行的方向偏光，从而入射到拍摄部8。如果使拍摄部8内的多个偏光元件8b具有与偏光部件2b相同的偏光特性，则多个偏光像素81可靠地接受入射到拍摄部8的光。
这样，在第四实施方式中，通过对显示部2进行局部加工，从而能够提高光穿过显示部2时的透过率，能够提高由摄像头模块3拍摄到拍摄图像的画质。作为更具体的一例，通过在与摄像头模块3在表里方向重叠的区域设置开口部，从而能够提高光穿过显示部2时的透过率，能够提高由摄像头模块3拍摄到的拍摄图像的画质。另外，通过对显示部2的至少一部分设置向特定的方向偏光的偏光部件2b，从而能够使由显示部2重复反射并入射到拍摄部8的光向特定的方向偏光，并能够可靠地由偏光像素81接受该光。
(第五实施方式)
作为具备上述第一实施方式至第四实施方式所说明的构成的电子设备1的具体的补充，可以考虑到各种电子设备。例如，图19是将第一实施方式至第四实施方式的电子设备1应用于胶囊内窥镜50时的平面图。图19的胶囊内窥镜50在例如两个端面为半球状且中央部为圆筒状的壳体51内具备：摄像头(超小型摄像头)52，用于拍摄体腔内的图像；存储器53，用于记录由摄像头52拍摄的图像数据；以及无线发送机55，用于在胶囊内窥镜50被排出到被实验者的体外之后经由天线54向外部发送所记录的图像数据。
另外，在壳体51内设置有CPU(Central Processing Unit：中央处理装置)56和线圈(磁力或电流转换线圈)57。CPU56控制基于摄像头52的拍摄和数据保存至存储器53的动作，并且控制无线发送机55从存储器53向壳体51外的数据接收装置(未图示)发送数据。线圈57对摄像头52、存储器53、无线发送机55、天线54以及后述的光源52b供给电力。
而且，壳体51设置有磁性(引导)开关58，该磁性(引导)开关58在将胶囊内窥镜50设置于数据接收装置时用于检测该设置。该引导开关58检测对于数据接收装置的设置，CPU56在能够进行数据发送的时间点，从线圈57对无线发送机55供给电力。
摄像头52例如具有：拍摄元件52a，包括用于拍摄体腔内的图像的物镜光学系统9；以及多个光源52b，对体腔内进行照明。具体而言，摄像头52通过例如具备LED(LightEmitting Diode：发光二极管)作为光源52b的CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)传感器、CCD(Charge Coupled Device：电荷耦合器件)等构成。
第一实施方式至第四实施方式的电子设备1中的显示部2为包括图19的光源52b等发光体的概念。在图19的胶囊内窥镜50中，例如具有两个光源52b，但可以由具有多个光源部的显示面板4或具有多个LED的LED模块构成这些光源52b。在该情况下，通过在显示面板4、LED模块的下方配置摄像头52的拍摄部8，使关于摄像头52的布局配置的制约变少，能够实现更小型的胶囊内窥镜50。
另外，图20是将第一实施方式至第四实施方式的电子设备1应用于数码单反相机60时的背面图。数码单反相机60、袖珍相机在与透镜相反一侧的背面具备显示预览画面的显示部2。还可以在与该显示部2的显示面相反一侧配置摄像头模块3，能够在显示部2的显示画面1a显示拍摄者的脸部图像。根据第一实施方式至第四实施方式的电子设备1，能够在与显示部2重叠的区域配置摄像头模块3，因此无需将摄像头模块3设置在显示部2的外缘部分，能够尽可能放大显示部2的尺寸。
图21A是示出将第一实施方式至第四实施方式的电子设备1应用于头戴式显示器(下面简称为HMD)61的例子的平面图。图21A的HMD61用于VR(Virtual Reality：虚拟现实)、AR(Augmented Reality：增强现实)、MR(Mixed Reality：混合现实)或者SR(SubstituionalReality：代替现实)等。现有的HMD如图21B所示在外表面搭载有摄像头62，存在如下问题：HMD的佩戴者能够对周围的图像进行视觉辨认，而另一方面，周围的人却无法得知HMD的佩戴者的眼睛、脸部表情。
为此，在图21A中，在HMD61的外表面设置显示部2的显示面并且在显示部2的显示面的相反侧设置摄像头模块3。由此，能够将摄像头模块3所拍摄的佩戴者的脸部表情显示在显示部2，佩戴者周围的人能够实时了解佩戴者的脸部表情、眼睛的活动。
在图21A的情况下，在显示部2的内表面侧设置摄像头模块3，因此没有对于摄像头模块3的设置部位的制约，能够提高HMD61的设计自由度。另外，能够将摄像头配置在最佳位置，因此能够防止显示面所显示的佩戴者的视线不匹配等不良情况。
这样，在第五实施方式中，能够将基于第一实施方式至第四实施方式的电子设备1用于各种用途而能够提高利用价值。
(第六实施方式)
根据入射到电子设备1的光的光源种类、显示部2的显示亮度，存在产生光斑、衍射的难度不同的情况。因此，在计算光斑分量、衍射光分量的校正量时，可以推定光源的种类。
图22是示出基于第六实施方式的电子设备1的简要构成的框图。图22的电子设备1除了图8的构成之外，还具备光源推定部46。光源推定部46推定入射到显示部2的光的光源。光源推定部46可以由通过光电转换部8a进行光电转换的RGB各颜色的灵敏度差异来推定光源，还可以使用照度传感器、多谱段传感器等来推定光源。另外，在搭载于电子设备1的GPS传感器辨别电子设备1存在于屋内或屋外，推定光源是太阳或照明光。另外，还可以通过搭载于电子设备1的陀螺传感器辨别电子设备1的倾斜角度，基于其倾斜角度推定光源。
光斑校正信号生成部36基于在光源推定部46推定的光源，调整通过多个非偏光像素82进行了光电转换的拍摄图像的校正量。更具体而言，可以按光源的种类来改变用于计算校正量的公式。另外，还可以按照光源的种类来对RGB的颜色分别单独地调整校正量。
图23是示出第六实施方式的一个变形例的电子设备1的简要构成的框图。图23的电子设备1除了图8的构成之外，还具备亮度推定部47。亮度推定部47推定显示部2的显示亮度。亮度推定部47例如根据来自进行显示部2的显示控制的未图示的显示控制部的信号来推定显示部2的显示亮度。
光斑校正信号生成部36基于通过亮度推定部47推定的显示部2的显示亮度，来调整通过多个非偏光像素82进行了光电转换的拍摄图像的校正量。更具体而言，也可以基于显示部2所显示的RGB各颜色的亮度，对各颜色分别单独地调整校正量。
另外，还可考虑具备图22的光源推定部46和图23的亮度推定部47这两者的电子设备1。在该情况下，光斑校正信号生成部36基于光源种类和显示部2的显示亮度来调整校正量。
这样，在第六实施方式中，考虑到将入射到电子设备1的光源种类、显示部2的显示亮度，调整用于校正光斑分量和衍射光分量的影响的校正量，因此能够更适当地从拍摄图像中去除光斑分量和衍射光分量。
(第七实施方式)
基于第七实施方式的电子设备1的摄像头模块3的光学系统9与第一实施方式至第六实施方式不同。
图24是示出搭载在基于第七实施方式的电子设备1的摄像头模块3的拍摄部8的剖面构造的图。图24的拍摄部8具有微透镜阵列64，而并非单一透镜或将单一透镜排列在光轴方向的透镜组。
更详细而言，图24的拍摄部8具有：光电转换部8a，沿着壳体63的底面配置；微透镜阵列64，配置在光电转换部8a上方；多个遮光体66，配置在相邻的微透镜65之间；以及导光板67，配置在微透镜阵列64上方。
这样，通过设置微透镜阵列64作为拍摄部8的光学系统9，从而能够防止由相邻像素造成的影响，能够减少颜色发生渗色。
(第八实施方式)
在上述第一实施方式至第七实施方式中说明了去除光斑和衍射光的例子，但基于本公开的电子设备1不仅能够应用于去除光斑、衍射光，例如还能够应用于去除被摄体的反光的目的。基于本实施方式的电子设备1能够在与显示部2的显示面相反一侧配置摄像头模块3，因此在将广角或鱼眼透镜安装在摄像头模块3时，通过摄像头模块3能够拍摄显示部2的显示面整个区域。由此，除了能够检测在现存的触摸面板6中被错误识别多的湿润的手指，还通过去除湿润手指的反光或能够检测指纹的凹凸，从而能够进行触摸操作、指纹认证。
更具体而言，具有多个偏光元件8b的多个偏光像素81还可以获取由被摄体光所包含的反光分量引起的偏光信息。在该情况下，图8的光斑提取部35基于偏光信息来提取基于反光分量的校正量。然后，光斑校正信号生成部36生成从被摄体图像中去除了反光分量的图像。
另外，在上述的各实施方式中，前提是在显示部2的显示面的相反侧配置摄像头模块3，但在OLED部等显示面板4的最下层存在反射板的情况下，也可以将反射板的一部分镂空，在其镂空部分配置摄像头模块3，还可以以被显示面板4的一部分包围的方式配置摄像头模块3。
另外，本技术能够采取如下所述的构成。
(1)一种电子设备具备显示部和拍摄部，所述拍摄部配置在与所述显示部的显示面相反的一侧，所述拍摄部具有：多个光电转换部，对通过所述显示部入射的光进行光电转换；以及多个偏光元件，配置在所述多个光电转换部中的至少一个光电转换部的光入射侧。
(2)关于(1)所记载的电子设备，所述电子设备具备校正部，所述校正部基于通过所述多个偏光元件进行偏光并通过所述光电转换部进行光电转换后的偏光信息，对通过所述多个光电转换部进行光电转换后的拍摄图像校正。
(3)关于(2)所记载的电子设备，所述校正部去除在穿过所述显示部时产生的反射光及衍射光中的至少一方入射到所述多个光电转换部并被拍摄到的分量。
(4)关于(2)或(3)所记载的电子设备，所述校正部通过进行对由所述光电转换部进行光电转换并被数字化的数字像素数据减去基于将所述偏光信息数字化而得到的偏光信息数据的校正量的处理，从而对所述数字像素数据进行校正。
(5)关于(2)至(4)中任一项所记载的电子设备，所述电子设备具备设置于所述显示部并使入射的光向特定方向偏光的偏光部件，所述多个偏光元件中的至少一个偏光元件使通过所述偏光部件偏光后的光穿过，所述校正部基于通过所述偏光部件偏光后穿过所述偏光元件并通过所述光电转换部进行光电转换后的所述偏光信息，对通过所述多个光电转换部进行光电转换后的拍摄图像进行校正。
(6)关于(2)至(4)中任一项所记载的电子设备，所述电子设备具备光源推定部，所述光源推定部推定入射至所述显示部的光的光源的种类，所述校正部基于由所述光源推定部推定出的光源的种类，来调整通过所述多个光电转换部进行光电转换后的拍摄图像的校正量。
(7)关于(2)至(4)中任一项所记载的电子设备，所述电子设备具备亮度推定部，所述亮度推定部推定所述显示部的显示亮度，所述校正部根据所述显示部的显示亮度，来调整通过所述多个光电转换部进行光电转换后的拍摄图像的校正量。
(8)关于(2)至(7)中任一项所记载的电子设备，所述电子设备具备信号处理部，所述信号处理部对通过所述校正部校正后的拍摄图像进行曝光处理、焦点调节处理以及白平衡调整处理中的至少一个处理。
(9)关于(2)至(7)中任一项所记载的电子设备，所述电子设备具备：信号处理部，对通过所述校正部校正后的拍摄图像进行至少一种信号处理；以及参数调整部，根据所述校正部校正所述拍摄图像的校正量，来调整对所述拍摄图像进行信号处理时的参数。
(10)关于(9)所记载的电子设备，所述信号处理部所进行的信号处理包括去除所述拍摄图像所包含的噪声分量的降噪处理以及对所述拍摄图像的边缘进行强调的边缘强调处理中的至少一方。所述参数调整部根据所述校正量来调整进行所述降噪处理以及所述边缘强调处理中的至少一方时的参数。
(11)关于(10)所记载的电子设备，所述参数调整部对所述校正量越大的拍摄图像进行所述降噪处理中的噪声去除的程度越高的处理以及所述边缘强调处理中的边缘强调的程度越高的处理中的至少一方。
(12)关于(9)至(11)中任一项所记载的电子设备，所述信号处理部在进行包括曝光调整处理的信号处理并进行所述曝光调整处理时，进行曝光调整以使所述多个光电转换部的输出值不饱和。
(13)关于(1)至(12)中任一项所记载的电子设备，所述电子设备具备缺陷校正部，所述缺陷校正部使用周围的两个以上的所述光电转换部的输出值来校正通过所述偏光元件偏光的光所入射的所述光电转换部的输出值。
(14)关于(1)至(13)中任一项所记载的电子设备，所述电子设备具备拍摄装置，所述拍摄装置具有所述光电转换部以及使光会聚于所述光电转换部的光学系统，所述拍摄装置配置在与所述显示部的显示面的大致中央部分附近相反的一侧。
(15)关于(1)至(14)中任一项所记载的电子设备，所述电子设备可以具备缺陷校正部，所述缺陷校正部对于所述多个光电转换部中的输出值饱和的光电转换部，基于通过配置在该光电转换部周边的一个以上的所述偏光元件进行偏光并通过所述光电转换部进行光电转换后的偏光信息来校正输出值饱和的光电转换部的输出值。
(16)关于(1)至(15)中任一项所记载的电子设备，所述光电转换部具有多个分割光电转换部，通过所述多个偏光元件偏光后的光入射到一部分的所述光电转换部中的所述多个分割光电转换部。
(17)关于(1)至(15)中任一项所记载的电子设备，所述光电转换部具有多个分割光电转换部，通过所述偏光元件偏光后的光可以入射到任意的所述光电转换部中的一部分的所述分割光电转换部。
(18)关于(1)至(15)中任一项所记载的电子设备，所述光电转换部具有多个分割光电转换部，通过所述偏光元件偏光后的光入射到两个以上的所述光电转换部中各一部分的所述分割光电转换部。
(19)关于(1)至(15)中任一项所记载的电子设备，所述多个光电转换部具有多个分割光电转换部，通过所述多个偏光元件偏光后的光入射到所述多个光电转换部。
(20)关于(1)至(15)中任一项所记载的电子设备，所述光电转换部具有在一个方向上被分割为多个且能够检测相位差信息的多个分割光电转换部，通过所述偏光元件偏光后的光入射到任意的所述光电转换部中的所述多个分割光电转换部。
本公开的方式不限定于上述各个实施方式，还包括本领域技术人员能够想到的各种变形，本公开的效果也不限定于上述内容。即，在不脱离从权利要求的范围所规定的内容及其等同物导出的本公开的概念性的思想和宗旨的范围内，可以进行各种添加、变更以及部分删除。

Claims (20)

1.一种电子设备，其特征在于，具备：
显示部；以及
拍摄部，配置在与所述显示部的显示面相反的一侧，
所述拍摄部具有：多个光电转换部，对通过所述显示部入射的光进行光电转换；以及多个偏光元件，配置在所述多个光电转换部中的至少一个光电转换部的光入射侧。
2.根据权利要求1所述的电子设备，其特征在于，
所述电子设备具备校正部，所述校正部基于通过所述多个偏光元件进行偏光并通过所述光电转换部进行光电转换后的偏光信息，对通过所述多个光电转换部进行光电转换后的拍摄图像进行校正。
3.根据权利要求2所述的电子设备，其特征在于，
所述校正部去除在穿过所述显示部时产生的反射光及衍射光中的至少一方入射到所述多个光电转换部而被拍摄到的分量。
4.根据权利要求2所述的电子设备，其特征在于，
所述校正部通过进行对由所述光电转换部进行光电转换且被数字化的数字像素数据减去基于将所述偏光信息数字化而得到的偏光信息数据的校正量的处理，从而对所述数字像素数据进行校正。
5.根据权利要求2所述的电子设备，其特征在于，
所述电子设备具备设置于所述显示部并使入射的光向特定方向偏光的偏光部件，
所述多个偏光元件中的至少一个偏光元件使通过所述偏光部件偏光后的光穿过，
所述校正部基于通过所述偏光部件偏光后穿过所述偏光元件并通过所述光电转换部进行光电转换后的所述偏光信息，对通过所述多个光电转换部进行光电转换后的拍摄图像进行校正。
6.根据权利要求2所述的电子设备，其特征在于，
所述电子设备具备光源推定部，所述光源推定部推定入射到所述显示部的光的光源的种类，
所述校正部基于由所述光源推定部推定的光源的种类，来调整通过所述多个光电转换部进行光电转换后的拍摄图像的校正量。
7.根据权利要求2所述的电子设备，其特征在于，
所述电子设备具备亮度推定部，所述亮度推定部推定所述显示部的显示亮度，
所述校正部根据所述显示部的显示亮度，来调整通过所述多个光电转换部进行光电转换后的拍摄图像的校正量。
8.根据权利要求2所述的电子设备，其特征在于，
所述电子设备具备信号处理部，所述信号处理部对通过所述校正部校正后的拍摄图像进行曝光处理、焦点调节处理以及白平衡调整处理中的至少一个处理。
9.根据权利要求2所述的电子设备，其特征在于，具备：
信号处理部，对通过所述校正部校正后的拍摄图像进行至少一种信号处理；以及
参数调整部，根据所述校正部校正所述拍摄图像的校正量，来调整对所述拍摄图像进行信号处理时的参数。
10.根据权利要求9所述的电子设备，其特征在于，
所述信号处理部所进行的信号处理包括去除所述拍摄图像所包含的噪声分量的降噪处理以及对所述拍摄图像的边缘进行强调的边缘强调处理中的至少一方，
所述参数调整部根据所述校正量来调整进行所述降噪处理以及所述边缘强调处理中的至少一方时的参数。
11.根据权利要求10所述的电子设备，其特征在于，
所述参数调整部对所述校正量越大的拍摄图像进行所述降噪处理中的噪声去除的程度越高的处理以及所述边缘强调处理中的边缘强调的程度越高的处理中的至少一方。
12.根据权利要求9所述的电子设备，其特征在于，
所述信号处理部在进行包括曝光调整处理的信号处理并进行所述曝光调整处理时，进行曝光调整以使所述多个光电转换部的输出值不饱和。
13.根据权利要求1所述的电子设备，其特征在于，
所述电子设备具备缺陷校正部，所述缺陷校正部使用周围的两个以上的所述光电转换部的输出值来校正通过所述偏光元件偏光后的光所入射的所述光电转换部的输出值。
14.根据权利要求1所述的电子设备，其特征在于，
所述电子设备具备拍摄装置，所述拍摄装置具有所述光电转换部以及使光会聚于所述光电转换部的光学系统，
所述拍摄装置配置在与所述显示部的显示面的中央部分附近相反的一侧。
15.根据权利要求1所述的电子设备，其特征在于，
所述电子设备具备缺陷校正部，所述缺陷校正部对于所述多个光电转换部中的输出值饱和的光电转换部，基于通过配置在该光电转换部周边的一个以上的所述偏光元件进行偏光并通过所述光电转换部进行光电转换后的偏光信息来校正输出值饱和的光电转换部的输出值。
16.根据权利要求1所述的电子设备，其特征在于，
所述光电转换部具有多个分割光电转换部，
通过所述多个偏光元件偏光后的光入射到一部分的所述光电转换部中的所述多个分割光电转换部。
17.根据权利要求1所述的电子设备，其特征在于，
所述光电转换部具有多个分割光电转换部，
通过所述偏光元件偏光后的光入射到任意的所述光电转换部中的一部分的所述分割光电转换部。
18.根据权利要求1所述的电子设备，其特征在于，
所述光电转换部具有多个分割光电转换部，
通过所述偏光元件偏光后的光入射到两个以上的所述光电转换部中各一部分的所述分割光电转换部。
19.根据权利要求1所述的电子设备，其特征在于，
所述多个光电转换部具有多个分割光电转换部，
通过所述多个偏光元件偏光后的光入射到所述多个光电转换部。
20.根据权利要求1所述的电子设备，其特征在于，
所述光电转换部具有在一个方向上被分割为多个且能够检测相位差信息的多个分割光电转换部，
通过所述偏光元件偏光后的光入射到任意的所述光电转换部中的所述多个分割光电转换部。
CN202022234672.2U 2019-10-07 2020-10-09 电子设备 Active CN212727101U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019184761 2019-10-07
JP2019-184761 2019-10-07

Publications (1)

Publication Number Publication Date
CN212727101U true CN212727101U (zh) 2021-03-16

Family

ID=74942758

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011075351.0A Pending CN112637387A (zh) 2019-10-07 2020-10-09 电子设备
CN202022234672.2U Active CN212727101U (zh) 2019-10-07 2020-10-09 电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011075351.0A Pending CN112637387A (zh) 2019-10-07 2020-10-09 电子设备

Country Status (6)

Country Link
US (1) US11917306B2 (zh)
EP (1) EP4044574A4 (zh)
JP (1) JPWO2021070867A1 (zh)
KR (1) KR20220072834A (zh)
CN (2) CN112637387A (zh)
WO (1) WO2021070867A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286058A (zh) * 2020-02-03 2021-08-20 索尼半导体解决方案公司 电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021092887A1 (en) * 2019-11-15 2021-05-20 Qualcomm Incorporated Display shade compensation for cameras
JP2024092602A (ja) * 2022-12-26 2024-07-08 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5156152B2 (ja) * 2005-10-17 2013-03-06 アイ２アイシー コーポレイション 組み合わせ型の映像ディスプレイおよびカメラシステム
JP4728793B2 (ja) * 2005-12-14 2011-07-20 株式会社アイ・オー・データ機器 ディスプレイ装置およびその制御方法
JP5176397B2 (ja) 2006-06-01 2013-04-03 ソニー株式会社 表示装置及びその駆動方法
WO2009157129A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
JP5607911B2 (ja) * 2009-10-21 2014-10-15 オリンパスイメージング株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US9013613B2 (en) 2010-09-21 2015-04-21 Sony Corporation Sensor-equipped display apparatus and electronic apparatus
JP6041495B2 (ja) * 2011-03-24 2016-12-07 キヤノン株式会社 撮像装置及び欠陥画素の判定方法
JP5831024B2 (ja) * 2011-08-04 2015-12-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
WO2013175686A1 (ja) * 2012-05-22 2013-11-28 パナソニック株式会社 撮像処理装置および内視鏡
JP2014011754A (ja) 2012-07-03 2014-01-20 Sony Corp 制御装置、制御方法、及びプログラム
EP2957215B1 (en) * 2013-02-15 2020-05-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope
JP2015026937A (ja) 2013-07-25 2015-02-05 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
JP6288569B2 (ja) * 2014-02-28 2018-03-07 パナソニックＩｐマネジメント株式会社 固体撮像素子及びその製造方法
US9945718B2 (en) * 2015-01-07 2018-04-17 Semiconductor Components Industries, Llc Image sensors with multi-functional pixel clusters
JP6673327B2 (ja) * 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
JP2016171368A (ja) * 2015-03-11 2016-09-23 株式会社東芝 撮像装置、撮像素子、及び撮像方法
JP2017005111A (ja) * 2015-06-10 2017-01-05 ソニー株式会社 固体撮像装置及び電子機器
JP6566749B2 (ja) 2015-07-01 2019-08-28 株式会社ソニー・インタラクティブエンタテインメント 撮像素子、イメージセンサ、および情報処理装置
US10298863B2 (en) * 2015-09-08 2019-05-21 Apple Inc. Automatic compensation of lens flare
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法
KR20170111827A (ko) * 2016-03-29 2017-10-12 삼성전자주식회사 디스플레이 및 카메라를 포함하는 전자 장치
JP6697680B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP7040447B2 (ja) * 2016-08-24 2022-03-23 ソニーグループ株式会社 画像処理装置および情報生成装置と情報生成方法
JP2018037722A (ja) * 2016-08-29 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US10277043B2 (en) 2016-09-23 2019-04-30 Apple Inc. Wireless charging mats for portable electronic devices
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN109923855B (zh) * 2016-11-15 2022-08-19 索尼公司 图像处理装置、图像处理方法和程序
US11424284B2 (en) * 2017-03-03 2022-08-23 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
US11044387B2 (en) * 2017-03-24 2021-06-22 Sony Semiconductor Solutions Corporation Stacked imaging device and solid-state imaging apparatus
US10652497B2 (en) * 2017-04-21 2020-05-12 Trustees Of Dartmouth College Quanta image sensor with polarization-sensitive jots
JP7006690B2 (ja) * 2017-06-13 2022-01-24 ソニーグループ株式会社 撮像装置と撮像素子および画像処理方法
JP7105062B2 (ja) 2017-12-21 2022-07-22 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
JP7238887B2 (ja) * 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
CN108810201B (zh) * 2018-06-04 2020-07-17 Oppo广东移动通信有限公司 电子装置及利用电子装置拍摄照片的方法
CN112204364A (zh) * 2018-06-05 2021-01-08 索尼公司 信息生成装置、信息生成方法和程序
CN109948410B (zh) * 2018-07-20 2020-09-11 华为技术有限公司 具有纹路检测功能的电子设备
US11252362B2 (en) * 2018-08-31 2022-02-15 Sony Semiconductor Solutions Corporation Imaging element, imaging device, and imaging method
KR102534247B1 (ko) * 2018-10-01 2023-05-18 삼성전자주식회사 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
JPWO2020085149A1 (ja) * 2018-10-22 2021-09-16 富士フイルム株式会社 撮像装置及び撮像方法
CN109348195A (zh) * 2018-11-30 2019-02-15 德淮半导体有限公司 图像传感器及其制造方法、成像方法以及成像设备
JP2020136429A (ja) * 2019-02-18 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
CN113557709B (zh) * 2019-04-19 2024-08-02 索尼集团公司 成像装置、图像处理装置和图像处理方法
US11575865B2 (en) * 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
KR20210050611A (ko) * 2019-10-28 2021-05-10 삼성디스플레이 주식회사 표시 장치
US11423864B2 (en) * 2020-01-21 2022-08-23 Hangzhou Single Micro Electronic Co., Ltd. Under-display sensor
WO2021172284A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 撮像装置及び方法
JP7520531B2 (ja) * 2020-03-05 2024-07-23 キヤノン株式会社 撮像装置及びその制御方法
KR20210153174A (ko) * 2020-06-09 2021-12-17 삼성디스플레이 주식회사 표시 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286058A (zh) * 2020-02-03 2021-08-20 索尼半导体解决方案公司 电子设备

Also Published As

Publication number Publication date
KR20220072834A (ko) 2022-06-02
WO2021070867A1 (ja) 2021-04-15
US11917306B2 (en) 2024-02-27
EP4044574A4 (en) 2022-11-09
US20210266425A1 (en) 2021-08-26
EP4044574A1 (en) 2022-08-17
CN112637387A (zh) 2021-04-09
TW202131671A (zh) 2021-08-16
JPWO2021070867A1 (zh) 2021-04-15

Similar Documents

Publication Publication Date Title
US12114068B2 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
US9842874B2 (en) Solid state image sensor, method of manufacturing the same, and electronic device
CN212727101U (zh) 电子设备
EP2589226B1 (en) Image capture using luminance and chrominance sensors
KR102237315B1 (ko) 고체 촬상 장치, 전자기기, 렌즈 제어 방법, 및 촬상 모듈
CN216625895U (zh) 电子设备
CN115023938B (zh) 电子装置
CN214381044U (zh) 电子设备
TWI853102B (zh) 電子機器
KR20220131236A (ko) 전자기기
WO2022244354A1 (ja) 撮像素子及び電子機器
CN117280704A (zh) 成像元件、成像装置和电子装置
JP2020078044A (ja) 信号処理装置及び信号処理方法

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant