CN112771840B - 图像处理方法和装置及摄像装置 - Google Patents
图像处理方法和装置及摄像装置 Download PDFInfo
- Publication number
- CN112771840B CN112771840B CN201980063361.1A CN201980063361A CN112771840B CN 112771840 B CN112771840 B CN 112771840B CN 201980063361 A CN201980063361 A CN 201980063361A CN 112771840 B CN112771840 B CN 112771840B
- Authority
- CN
- China
- Prior art keywords
- region
- pixel
- pixel value
- pixels
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 138
- 238000003860 storage Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000006698 induction Effects 0.000 abstract description 5
- 239000010410 layer Substances 0.000 description 382
- 239000000758 substrate Substances 0.000 description 86
- 230000006870 function Effects 0.000 description 74
- 239000004065 semiconductor Substances 0.000 description 74
- 239000010408 film Substances 0.000 description 63
- 239000000463 material Substances 0.000 description 46
- 229910044991 metal oxide Inorganic materials 0.000 description 37
- 238000000034 method Methods 0.000 description 32
- 229920005989 resin Polymers 0.000 description 32
- 239000011347 resin Substances 0.000 description 32
- 150000004706 metal oxides Chemical class 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 230000002829 reductive effect Effects 0.000 description 20
- 238000005192 partition Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 18
- 239000012790 adhesive layer Substances 0.000 description 17
- 239000011241 protective layer Substances 0.000 description 17
- 238000004519 manufacturing process Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 239000013078 crystal Substances 0.000 description 15
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 12
- 229910052710 silicon Inorganic materials 0.000 description 12
- 239000010703 silicon Substances 0.000 description 12
- 239000000126 substance Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 229910052751 metal Inorganic materials 0.000 description 10
- 239000011701 zinc Substances 0.000 description 10
- 239000012535 impurity Substances 0.000 description 9
- 229910052738 indium Inorganic materials 0.000 description 9
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 9
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 8
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 239000002184 metal Substances 0.000 description 8
- 239000001301 oxygen Substances 0.000 description 8
- 229910052760 oxygen Inorganic materials 0.000 description 8
- 239000000853 adhesive Substances 0.000 description 7
- 230000001070 adhesive effect Effects 0.000 description 7
- 239000003990 capacitor Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 150000002894 organic compounds Chemical class 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- GYHNNYVSQQEPJS-UHFFFAOYSA-N Gallium Chemical compound [Ga] GYHNNYVSQQEPJS-UHFFFAOYSA-N 0.000 description 6
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 6
- 229910052733 gallium Inorganic materials 0.000 description 6
- 238000003702 image correction Methods 0.000 description 6
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 239000002159 nanocrystal Substances 0.000 description 6
- 239000002356 single layer Substances 0.000 description 6
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 5
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 description 5
- 239000000969 carrier Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000007769 metal material Substances 0.000 description 5
- -1 polyethylene terephthalate Polymers 0.000 description 5
- 238000007789 sealing Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000005477 sputtering target Methods 0.000 description 5
- 229910052725 zinc Inorganic materials 0.000 description 5
- 229920000178 Acrylic resin Polymers 0.000 description 4
- 239000004925 Acrylic resin Substances 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 102100022778 POC1 centriolar protein homolog A Human genes 0.000 description 4
- 101710125073 POC1 centriolar protein homolog A Proteins 0.000 description 4
- 102100022769 POC1 centriolar protein homolog B Human genes 0.000 description 4
- 101710125069 POC1 centriolar protein homolog B Proteins 0.000 description 4
- 229910052581 Si3N4 Inorganic materials 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000003822 epoxy resin Substances 0.000 description 4
- 230000005525 hole transport Effects 0.000 description 4
- 229910010272 inorganic material Inorganic materials 0.000 description 4
- MRELNEQAGSRDBK-UHFFFAOYSA-N lanthanum(3+);oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[La+3].[La+3] MRELNEQAGSRDBK-UHFFFAOYSA-N 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 229910052757 nitrogen Inorganic materials 0.000 description 4
- 229920000647 polyepoxide Polymers 0.000 description 4
- 229920001721 polyimide Polymers 0.000 description 4
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 229910052721 tungsten Inorganic materials 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 229910052727 yttrium Inorganic materials 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 3
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 3
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 3
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 3
- 239000000956 alloy Substances 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 229910052796 boron Inorganic materials 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000005669 field effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 150000002484 inorganic compounds Chemical class 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000011777 magnesium Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 229910052750 molybdenum Inorganic materials 0.000 description 3
- 239000011733 molybdenum Substances 0.000 description 3
- 239000002105 nanoparticle Substances 0.000 description 3
- 229910052759 nickel Inorganic materials 0.000 description 3
- 239000009719 polyimide resin Substances 0.000 description 3
- 239000004800 polyvinyl chloride Substances 0.000 description 3
- 229920000915 polyvinyl chloride Polymers 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 239000002096 quantum dot Substances 0.000 description 3
- 229910052718 tin Inorganic materials 0.000 description 3
- 229910052719 titanium Inorganic materials 0.000 description 3
- 239000010936 titanium Substances 0.000 description 3
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 3
- 239000010937 tungsten Substances 0.000 description 3
- VWQVUPCCIRVNHF-UHFFFAOYSA-N yttrium atom Chemical compound [Y] VWQVUPCCIRVNHF-UHFFFAOYSA-N 0.000 description 3
- 239000011787 zinc oxide Substances 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- 229920002284 Cellulose triacetate Polymers 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 2
- 229920000089 Cyclic olefin copolymer Polymers 0.000 description 2
- KDLHZDBZIXYQEI-UHFFFAOYSA-N Palladium Chemical compound [Pd] KDLHZDBZIXYQEI-UHFFFAOYSA-N 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 2
- QCWXUUIWCKQGHC-UHFFFAOYSA-N Zirconium Chemical compound [Zr] QCWXUUIWCKQGHC-UHFFFAOYSA-N 0.000 description 2
- NNLVGZFZQQXQNW-ADJNRHBOSA-N [(2r,3r,4s,5r,6s)-4,5-diacetyloxy-3-[(2s,3r,4s,5r,6r)-3,4,5-triacetyloxy-6-(acetyloxymethyl)oxan-2-yl]oxy-6-[(2r,3r,4s,5r,6s)-4,5,6-triacetyloxy-2-(acetyloxymethyl)oxan-3-yl]oxyoxan-2-yl]methyl acetate Chemical compound O([C@@H]1O[C@@H]([C@H]([C@H](OC(C)=O)[C@H]1OC(C)=O)O[C@H]1[C@@H]([C@@H](OC(C)=O)[C@H](OC(C)=O)[C@@H](COC(C)=O)O1)OC(C)=O)COC(=O)C)[C@@H]1[C@@H](COC(C)=O)O[C@@H](OC(C)=O)[C@H](OC(C)=O)[C@H]1OC(C)=O NNLVGZFZQQXQNW-ADJNRHBOSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 125000004429 atom Chemical group 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- DQXBYHZEEUGOBF-UHFFFAOYSA-N but-3-enoic acid;ethene Chemical compound C=C.OC(=O)CC=C DQXBYHZEEUGOBF-UHFFFAOYSA-N 0.000 description 2
- 229910000420 cerium oxide Inorganic materials 0.000 description 2
- 229910052804 chromium Inorganic materials 0.000 description 2
- 239000011651 chromium Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- XCJYREBRNVKWGJ-UHFFFAOYSA-N copper(II) phthalocyanine Chemical compound [Cu+2].C12=CC=CC=C2C(N=C2[N-]C(C3=CC=CC=C32)=N2)=NC1=NC([C]1C=CC=CC1=1)=NC=1N=C1[C]3C=CC=CC3=C2[N-]1 XCJYREBRNVKWGJ-UHFFFAOYSA-N 0.000 description 2
- 229910021419 crystalline silicon Inorganic materials 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 239000005038 ethylene vinyl acetate Substances 0.000 description 2
- 229910000449 hafnium oxide Inorganic materials 0.000 description 2
- WIHZLLGSGQNAGK-UHFFFAOYSA-N hafnium(4+);oxygen(2-) Chemical compound [O-2].[O-2].[Hf+4] WIHZLLGSGQNAGK-UHFFFAOYSA-N 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 2
- 239000011261 inert gas Substances 0.000 description 2
- 239000011810 insulating material Substances 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 229910052749 magnesium Inorganic materials 0.000 description 2
- CPLXHLVBOLITMK-UHFFFAOYSA-N magnesium oxide Inorganic materials [Mg]=O CPLXHLVBOLITMK-UHFFFAOYSA-N 0.000 description 2
- 239000000395 magnesium oxide Substances 0.000 description 2
- AXZKOIWUVFPNLO-UHFFFAOYSA-N magnesium;oxygen(2-) Chemical compound [O-2].[Mg+2] AXZKOIWUVFPNLO-UHFFFAOYSA-N 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 2
- PLDDOISOJJCEMH-UHFFFAOYSA-N neodymium(3+);oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[Nd+3].[Nd+3] PLDDOISOJJCEMH-UHFFFAOYSA-N 0.000 description 2
- 150000004767 nitrides Chemical class 0.000 description 2
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 description 2
- BMMGVYCKOGBVEV-UHFFFAOYSA-N oxo(oxoceriooxy)cerium Chemical compound [Ce]=O.O=[Ce]=O BMMGVYCKOGBVEV-UHFFFAOYSA-N 0.000 description 2
- SIWVEOZUMHYXCS-UHFFFAOYSA-N oxo(oxoyttriooxy)yttrium Chemical compound O=[Y]O[Y]=O SIWVEOZUMHYXCS-UHFFFAOYSA-N 0.000 description 2
- BPUBBGLMJRNUCC-UHFFFAOYSA-N oxygen(2-);tantalum(5+) Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ta+5].[Ta+5] BPUBBGLMJRNUCC-UHFFFAOYSA-N 0.000 description 2
- RVTZCBVAJQQJTK-UHFFFAOYSA-N oxygen(2-);zirconium(4+) Chemical compound [O-2].[O-2].[Zr+4] RVTZCBVAJQQJTK-UHFFFAOYSA-N 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 239000005011 phenolic resin Substances 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- 229920001200 poly(ethylene-vinyl acetate) Polymers 0.000 description 2
- 229920002037 poly(vinyl butyral) polymer Polymers 0.000 description 2
- 229920006122 polyamide resin Polymers 0.000 description 2
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 2
- 229920000139 polyethylene terephthalate Polymers 0.000 description 2
- 239000005020 polyethylene terephthalate Substances 0.000 description 2
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 2
- 239000004810 polytetrafluoroethylene Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 229910052814 silicon oxide Inorganic materials 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 229910052715 tantalum Inorganic materials 0.000 description 2
- GUVRBAGPIYLISA-UHFFFAOYSA-N tantalum atom Chemical compound [Ta] GUVRBAGPIYLISA-UHFFFAOYSA-N 0.000 description 2
- 229910001936 tantalum oxide Inorganic materials 0.000 description 2
- OGIDPMRJRNCKJF-UHFFFAOYSA-N titanium oxide Inorganic materials [Ti]=O OGIDPMRJRNCKJF-UHFFFAOYSA-N 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000001771 vacuum deposition Methods 0.000 description 2
- 238000007740 vapor deposition Methods 0.000 description 2
- 229910052726 zirconium Inorganic materials 0.000 description 2
- 229910001928 zirconium oxide Inorganic materials 0.000 description 2
- 229910001316 Ag alloy Inorganic materials 0.000 description 1
- ZOXJGFHDIHLPTG-UHFFFAOYSA-N Boron Chemical compound [B] ZOXJGFHDIHLPTG-UHFFFAOYSA-N 0.000 description 1
- WKBOTKDWSSQWDR-UHFFFAOYSA-N Bromine atom Chemical compound [Br] WKBOTKDWSSQWDR-UHFFFAOYSA-N 0.000 description 1
- XMWRBQBLMFGWIX-UHFFFAOYSA-N C60 fullerene Chemical compound C12=C3C(C4=C56)=C7C8=C5C5=C9C%10=C6C6=C4C1=C1C4=C6C6=C%10C%10=C9C9=C%11C5=C8C5=C8C7=C3C3=C7C2=C1C1=C2C4=C6C4=C%10C6=C9C9=C%11C5=C5C8=C3C3=C7C1=C1C2=C4C6=C2C9=C5C3=C12 XMWRBQBLMFGWIX-UHFFFAOYSA-N 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229910052684 Cerium Inorganic materials 0.000 description 1
- ZAMOUSCENKQFHK-UHFFFAOYSA-N Chlorine atom Chemical compound [Cl] ZAMOUSCENKQFHK-UHFFFAOYSA-N 0.000 description 1
- MYMOFIZGZYHOMD-UHFFFAOYSA-N Dioxygen Chemical compound O=O MYMOFIZGZYHOMD-UHFFFAOYSA-N 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 229910000861 Mg alloy Inorganic materials 0.000 description 1
- 229910052779 Neodymium Inorganic materials 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 229920012266 Poly(ether sulfone) PES Polymers 0.000 description 1
- 239000004962 Polyamide-imide Substances 0.000 description 1
- 239000004642 Polyimide Substances 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 229920001328 Polyvinylidene chloride Polymers 0.000 description 1
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 1
- UCKMPCXJQFINFW-UHFFFAOYSA-N Sulphide Chemical compound [S-2] UCKMPCXJQFINFW-UHFFFAOYSA-N 0.000 description 1
- NRTOMJZYCJJWKI-UHFFFAOYSA-N Titanium nitride Chemical compound [Ti]#N NRTOMJZYCJJWKI-UHFFFAOYSA-N 0.000 description 1
- 239000005083 Zinc sulfide Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 229920000122 acrylonitrile butadiene styrene Polymers 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 150000001408 amides Chemical class 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000004760 aramid Substances 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 229920003235 aromatic polyamide Polymers 0.000 description 1
- 125000003118 aryl group Chemical group 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- UMIVXZPTRXBADB-UHFFFAOYSA-N benzocyclobutene Chemical compound C1=CC=C2CCC2=C1 UMIVXZPTRXBADB-UHFFFAOYSA-N 0.000 description 1
- 229910052790 beryllium Inorganic materials 0.000 description 1
- ATBAMAFKBVZNFJ-UHFFFAOYSA-N beryllium atom Chemical compound [Be] ATBAMAFKBVZNFJ-UHFFFAOYSA-N 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- GDTBXPJZTBHREO-UHFFFAOYSA-N bromine Substances BrBr GDTBXPJZTBHREO-UHFFFAOYSA-N 0.000 description 1
- 229910052794 bromium Inorganic materials 0.000 description 1
- QHIWVLPBUQWDMQ-UHFFFAOYSA-N butyl prop-2-enoate;methyl 2-methylprop-2-enoate;prop-2-enoic acid Chemical compound OC(=O)C=C.COC(=O)C(C)=C.CCCCOC(=O)C=C QHIWVLPBUQWDMQ-UHFFFAOYSA-N 0.000 description 1
- 239000006229 carbon black Substances 0.000 description 1
- 239000001913 cellulose Substances 0.000 description 1
- 229920002678 cellulose Polymers 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- ZMIGMASIKSOYAM-UHFFFAOYSA-N cerium Chemical compound [Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce] ZMIGMASIKSOYAM-UHFFFAOYSA-N 0.000 description 1
- 239000000460 chlorine Substances 0.000 description 1
- 229910052801 chlorine Inorganic materials 0.000 description 1
- 238000010549 co-Evaporation Methods 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 229910017052 cobalt Inorganic materials 0.000 description 1
- 239000010941 cobalt Substances 0.000 description 1
- GUTLYIVDDKVIGB-UHFFFAOYSA-N cobalt atom Chemical compound [Co] GUTLYIVDDKVIGB-UHFFFAOYSA-N 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 229920001577 copolymer Polymers 0.000 description 1
- PMHQVHHXPFUNSP-UHFFFAOYSA-M copper(1+);methylsulfanylmethane;bromide Chemical compound Br[Cu].CSC PMHQVHHXPFUNSP-UHFFFAOYSA-M 0.000 description 1
- 150000001925 cycloalkenes Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- AJNVQOSZGJRYEI-UHFFFAOYSA-N digallium;oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[Ga+3].[Ga+3] AJNVQOSZGJRYEI-UHFFFAOYSA-N 0.000 description 1
- 229910001882 dioxygen Inorganic materials 0.000 description 1
- KPUWHANPEXNPJT-UHFFFAOYSA-N disiloxane Chemical class [SiH3]O[SiH3] KPUWHANPEXNPJT-UHFFFAOYSA-N 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910003472 fullerene Inorganic materials 0.000 description 1
- 229910001195 gallium oxide Inorganic materials 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 229910052735 hafnium Inorganic materials 0.000 description 1
- VBJZVLUMGGDVMO-UHFFFAOYSA-N hafnium atom Chemical compound [Hf] VBJZVLUMGGDVMO-UHFFFAOYSA-N 0.000 description 1
- LNEPOXFFQSENCJ-UHFFFAOYSA-N haloperidol Chemical compound C1CC(O)(C=2C=CC(Cl)=CC=2)CCN1CCCC(=O)C1=CC=C(F)C=C1 LNEPOXFFQSENCJ-UHFFFAOYSA-N 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 150000003949 imides Chemical class 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910003437 indium oxide Inorganic materials 0.000 description 1
- PJXISJQVUVHSOJ-UHFFFAOYSA-N indium(iii) oxide Chemical compound [O-2].[O-2].[O-2].[In+3].[In+3] PJXISJQVUVHSOJ-UHFFFAOYSA-N 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- PNDPGZBMCMUPRI-UHFFFAOYSA-N iodine Chemical compound II PNDPGZBMCMUPRI-UHFFFAOYSA-N 0.000 description 1
- 239000005001 laminate film Substances 0.000 description 1
- 229910052746 lanthanum Inorganic materials 0.000 description 1
- FZLIPJUXYLNCLC-UHFFFAOYSA-N lanthanum atom Chemical compound [La] FZLIPJUXYLNCLC-UHFFFAOYSA-N 0.000 description 1
- 239000011156 metal matrix composite Substances 0.000 description 1
- 239000002121 nanofiber Substances 0.000 description 1
- QEFYFXOXNSNQGX-UHFFFAOYSA-N neodymium atom Chemical compound [Nd] QEFYFXOXNSNQGX-UHFFFAOYSA-N 0.000 description 1
- 229910000484 niobium oxide Inorganic materials 0.000 description 1
- URLJKFSTXLNXLG-UHFFFAOYSA-N niobium(5+);oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Nb+5].[Nb+5] URLJKFSTXLNXLG-UHFFFAOYSA-N 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 239000012044 organic layer Substances 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 125000004430 oxygen atom Chemical group O* 0.000 description 1
- 229910052763 palladium Inorganic materials 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 229920001568 phenolic resin Polymers 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000000623 plasma-assisted chemical vapour deposition Methods 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- 229920006350 polyacrylonitrile resin Polymers 0.000 description 1
- 229920002312 polyamide-imide Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 229920001225 polyester resin Polymers 0.000 description 1
- 239000004645 polyester resin Substances 0.000 description 1
- 239000011112 polyethylene naphthalate Substances 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 229920005990 polystyrene resin Polymers 0.000 description 1
- 229920005749 polyurethane resin Polymers 0.000 description 1
- 239000005033 polyvinylidene chloride Substances 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229920002050 silicone resin Polymers 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 229910052717 sulfur Inorganic materials 0.000 description 1
- 239000011593 sulfur Substances 0.000 description 1
- JBQYATWDVHIOAR-UHFFFAOYSA-N tellanylidenegermanium Chemical compound [Te]=[Ge] JBQYATWDVHIOAR-UHFFFAOYSA-N 0.000 description 1
- 238000002230 thermal chemical vapour deposition Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229910052720 vanadium Inorganic materials 0.000 description 1
- GPPXJZIENCGNKB-UHFFFAOYSA-N vanadium Chemical compound [V]#[V] GPPXJZIENCGNKB-UHFFFAOYSA-N 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
- YVTHLONGBIQYBO-UHFFFAOYSA-N zinc indium(3+) oxygen(2-) Chemical compound [O--].[Zn++].[In+3] YVTHLONGBIQYBO-UHFFFAOYSA-N 0.000 description 1
- 229910052984 zinc sulfide Inorganic materials 0.000 description 1
- DRDVZXDWVBGGMH-UHFFFAOYSA-N zinc;sulfide Chemical compound [S-2].[Zn+2] DRDVZXDWVBGGMH-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Hardware Design (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
使摄像装置的结构简化。提供一种在不使用透镜的情况下能够拍摄的摄像装置或图像处理方法。使失焦的图像数据变清晰。提供一种排列多个像素的图像数据的图像处理方法。将相邻的两个像素分别分为示出相同的像素值的第一区域及第一区域以外的第二区域，对图像数据的最外端的像素的第二区域供应初始值，根据该初始值依次归纳决定所排列的多个像素的第一区域及第二区域的像素值。
Description
技术领域
本发明的一个方式涉及一种图像处理及关于图像处理的程序。本发明的一个方式涉及一种摄像装置。
注意，本发明的一个方式不限定于上述技术领域。作为本说明书等所公开的本发明的一个方式的技术领域的一个例子，可以举出半导体装置、显示装置、发光装置、蓄电装置、存储装置、电子设备、照明装置、输入装置、输入输出装置、其驱动方法或者其制造方法。半导体装置是指能够通过利用半导体特性而工作的所有装置。
背景技术
现有的摄像装置安装在数码照相机等设备中，随着智能手机或平板终端等便携式信息终端的普及，对提高性能、小型化、低成本化的需求增高。此外，摄像装置除了拍摄照片或动态图像以外还应用于人脸识别或指纹识别等生物识别、触摸传感器或动作传感器等输入器件等，其用途越来越多。
此外，摄像装置的高性能化或多功能化也得到了推进。例如，专利文献1公开了一种摄像装置，其中在像素电路的一部分中使用包含氧化物半导体的关态电流(off-statecurrent)极低的晶体管，在外围电路中使用能够制造CMOS(Complementary Metal OxideSemiconductor)电路的包含硅的晶体管。
专利文献2公开了一种摄像装置，其中层叠有包含硅的晶体管、包含氧化物半导体的晶体管以及包含晶体硅层的光电二极管。
[先行技术文献]
[专利文献]
[专利文献1]日本专利申请公开第2011-119711号公报
[专利文献2]日本专利申请公开第2013-243355号公报
发明内容
发明所要解决的技术问题
摄像装置可以通过包括光电转换元件的像素电路配置为矩阵形状的摄像模块(也称为图像传感器等)将光转换为电信号来生成图像数据。此时，为了清晰地拍摄被摄体，需要组合使用透镜等光学构件。因此，有摄像装置的成本降低或摄像装置的小型化很困难的课题。另外，由于摄像装置的性能不仅受到摄像模块的影响而且受到透镜等的光学性能的影响，所以还有开发成本膨胀的课题。
本发明的一个方式的目的之一是使摄像装置的结构简化。此外，本发明的一个方式的目的之一是提供一种在不使用透镜的情况下能够拍摄的摄像装置。本发明的一个方式的目的之一是提供一种在不使用透镜的情况下能够拍摄的图像处理方法。本发明的一个方式的目的之一是使失焦的图像数据变清晰。本发明的一个方式的目的之一是提供一种适用上述图像处理方法的摄像装置或电子设备。
注意，这些目的的记载并不妨碍其他目的的存在。注意，本发明的一个方式并不需要实现所有上述目的。另外，可以从说明书、附图、权利要求书等的记载抽取上述以外的目的。
解决技术问题的手段
本发明的一个方式是一种排列多个像素的图像数据的图像处理方法，其中，将相邻的两个像素分别分为示出相同的像素值的第一区域及第一区域以外的第二区域，对图像数据的最外端的像素的第二区域供应初始值，并且，根据该初始值依次归纳决定所排列的多个像素的第一区域及第二区域的像素值。
本发明的另一个方式是一种多个像素排列为矩阵形状的图像数据的图像处理方法，其中，将2×2的像素分别分为示出与相邻的像素相同的像素值的第一区域及第一区域以外的第二区域，对图像数据的最外端的2×2的像素中最外周的三个像素的第二区域分别供应初始值，根据该初始值决定剩下的一个像素的第一区域及第二区域的像素值，并且，根据所决定的第一区域及第二区域的像素值，依次归纳决定所排列的多个像素的第一区域及第二区域的像素值。
本发明的另一个方式是一种排列多个像素的图像数据的图像处理方法。图像数据包括最外端的具有第一像素值的第一像素、与第一像素相邻且具有第二像素值的第二像素。将第一像素分为具有第三像素值的第一区域及具有第四像素值的第二区域，将第二像素分为具有第五像素值的第三区域及第二区域，并且，通过对第三像素值供应初始值，从第一像素值、第二像素值及第三像素值决定第五像素值。
在上述图像处理方法中，图像数据优选包括与第二像素相邻且具有第六像素值的第三像素。优选的是，图像处理方法还将第二像素分为具有第七像素值的第四区域及具有第八像素值的第五区域，将第三像素分为具有第九像素值的第六区域及第五区域，从第一像素值、第二像素值及第三像素值决定第四像素值，并且从第二像素值、第四像素值、第五像素值、第六像素值决定第九像素值。
本发明的另一个方式是一种使计算机执行的程序，包括：读出排列多个像素的图像数据的步骤；将相邻的两个像素分别分为示出相同的像素值的第一区域及第一区域以外的第二区域的步骤；对图像数据的最外端的像素的第二区域供应初始值的步骤；以及根据该初始值依次归纳决定所排列的多个像素的第一区域及第二区域的像素值的步骤。
本发明的另一个方式是一种使计算机执行的程序，包括：读出多个像素排列为矩阵形状的图像数据的步骤；将2×2的像素分别分为示出与相邻的像素相同的像素值的第一区域及第一区域以外的第二区域的步骤；对图像数据的最外端的2×2的像素中最外周的三个像素的第二区域分别供应初始值的步骤；根据初始值决定剩下的一个像素的第一区域及第二区域的像素值的步骤；以及根据所决定的第一区域及第二区域的像素值依次归纳决定所排列的多个像素的第一区域及第二区域的像素值的步骤。
本发明的另一个方式是一种使计算机执行的程序，包括：读出在排列多个像素的图像数据中包括最外端的具有第一像素值的第一像素、与第一像素相邻且具有第二像素值的第二像素的图像数据的步骤；将第一像素分为具有第三像素值的第一区域及具有第四像素值的第二区域的步骤；将第二像素分为具有第五像素值的第三区域及第二区域的步骤；对第三像素值供应初始值的步骤；以及从第一像素值、第二像素值及第三像素值决定第五像素值的步骤。
在上述程序中，优选的是，图像数据包括与第二像素相邻且具有第六像素值的第三像素，并且该程序包括：将第二像素分为具有第七像素值的第四区域及具有第八像素值的第五区域的步骤；将第三像素分为具有第九像素值的第六区域及第五区域的步骤；从第一像素值、第二像素值及第三像素值决定第四像素值的步骤；以及从第二像素值、第四像素值、第五像素值、第六像素值决定第九像素值的步骤。
本发明的另一个方式是一种摄像装置，包括：储存上述程序中的任一个的存储部；执行该程序的控制部；以及摄像图像数据的摄像部。摄像部包括取得对应于每个像素的像素值的多个像素电路，并且，相邻的两个像素电路彼此重叠摄像范围的一部分。
发明效果
根据本发明的一个方式可以使摄像装置的结构简化。此外，根据本发明的一个方式可以提供一种在不使用透镜的情况下能够拍摄的摄像装置。根据本发明的一个方式可以提供一种在不使用透镜的情况下能够拍摄的图像处理方法。根据本发明的一个方式可以使失焦的图像数据变清晰。根据本发明的一个方式可以提供一种适用上述图像处理方法的摄像装置或电子设备。
注意，这些效果的记载并不妨碍其他效果的存在。注意，本发明的一个方式并不需要具有所有上述效果。另外，可以从说明书、附图、权利要求书等的记载抽取上述以外的效果。
附图说明
图1A是摄像模块的结构例子。图1B至图1D是说明图像处理方法的图。
图2A及图2B是说明图像处理方法的图。
图3A及图3B是说明图像处理方法的图。
图4A及图4B是说明图像处理方法的图。
图5A及图5B是摄像模块的结构例子。图5C是说明图像处理方法的图。
图6A至图6D是说明图像处理方法的图。
图7A至图7C是说明图像处理方法的图。
图8A及图8B是说明图像处理方法的图。
图9是摄像装置的结构例子。
图10A至图10D是示出显示装置的一个例子的截面图。图10E至图10H是示出像素的一个例子的俯视图。
图11A至图11C是示出显示装置的一个例子的截面图。
图12A至图12C是示出显示装置的一个例子的截面图。
图13A至图13C是示出显示装置的一个例子的截面图。
图14是示出显示装置的一个例子的立体图。
图15是示出显示装置的一个例子的截面图。
图16A及图16B是示出显示装置的一个例子的截面图。
图17A及图17B是示出显示装置的一个例子的截面图。
图18是示出显示装置的一个例子的截面图。
图19A及图19B是示出像素电路的一个例子的电路图。
图20A及图20B是示出电子设备的一个例子的图。
图21A至图21D是示出电子设备的一个例子的图。
图22A至图22F是示出电子设备的一个例子的图。
图23A至图23C是根据实施例的图像数据。
具体实施方式
下面，参照附图对实施方式进行说明。但是，实施方式可以以多个不同方式来实施，所属技术领域的普通技术人员可以很容易地理解一个事实，就是其方式和详细内容可以被变换为各种各样的形式而不脱离本发明的宗旨及其范围。因此，本发明不应该被解释为仅局限在以下所示的实施方式所记载的内容中。
注意，在下面说明的发明结构中，在不同的附图中共同使用相同的附图标记来表示相同的部分或具有相同功能的部分，而省略反复说明。此外，当表示具有相同功能的部分时有时使用相同的阴影线，而不特别附加附图标记。
注意，在本说明书所说明的各个附图中，有时为了明确起见，夸大表示各构成要素的大小、层的厚度、区域。因此，本发明并不局限于附图中的尺寸。
注意，在本说明书等中使用的“第一”、“第二”等序数词是为了避免构成要素的混淆而附记的，而不是为了在数目方面上进行限定的。
(实施方式1)
在本实施方式中，对本发明的一个方式的图像处理方法、程序及摄像装置进行说明。
在通过包括光电转换元件的多个像素电路(以下，也称为摄像元件)配置为矩阵形状的摄像模块拍摄被摄体时，在不使用透镜或透镜阵列等特别的光学系统的情况下，光从各种方向入射到摄像模块。因此，按每个摄像元件的摄像范围与使用光学系统的情况相比扩大。此时，在两个摄像元件间的距离较短时，由于这些摄像范围重叠，所以会产生拍摄的图像的模糊。换言之，会成为失焦的图像。
这里，由摄像模块拍摄的图像可以被看作图像数据。作为图像数据，优选为多灰度位图图像数据或者与其类似的图像形式的图像数据。这种图像数据可以被看作分配了包括颜色、浓淡、亮度等信息的数据(以下，称为像素值)的像素的排列信息。例如相当于全高清晰图像质量的图像数据的像素数为1920×1080，且作为一个像素的像素值，R、G、B的每一个被分配8bit，即一共有24bit的灰度值的数据。
如上所述，在不使用特别的光学系统的情况下进行拍摄时，摄像模块的相邻的两个摄像元件取得被摄体的大致相同的部分的亮度信息。由此，一个摄像元件所取得的像素值包括与相邻的其他摄像元件所取得的像素值重叠的信息。此外，在由摄像模块拍摄的图像数据中，一个像素的像素值中所包括的与相邻的其他像素重叠的信息的比例与摄像模块中的两个相邻的摄像元件的摄像范围的重叠区域的比例成正比。
于是，想到将具有相邻的图像数据的两个像素分为以下所示的第一区域及第二区域。第一区域相当于包括与相邻的像素重叠的信息的区域，是在相邻的两个像素间取相同的像素值的区域。第二区域是第一区域以外的区域，是在相邻的两个像素间会取不同的像素值的区域。此外，一个像素的像素值等于第一区域的像素值与第二区域的像素值之总和。
如此，可以将具有相邻的图像数据的两个像素间区分成包括重叠的信息且为图像模糊的原因的第一区域与第一区域以外的第二区域进行处理。并且，可以使用两个区域的像素值重新生成清晰的图像数据。
这里，为了简化，以在一个方向上排列的一维图像数据为例进行说明。首先，将原来的图像数据的相邻的两个像素称为像素A0、像素B0，将校正后的图像数据的相邻的两个像素称为像素A1、像素B1。
此时，通过作为校正后的图像数据的像素A1及像素B1的像素值，分别适用第二区域的像素值，排除模糊的原因，因此可以实现清晰的图像。
或者，通过作为校正后的图像数据的像素A1的像素值，适用对第二区域的像素值加上第一区域的像素值的值，由此可以抑制像素A1会取的像素值的最大值比原来的像素A0的像素值小。此时，作为像素B1的像素值，可以适用在像素B0与相邻的像素C0之间同样地定义的第一区域与第二区域的像素值之总和的值。
上述图像数据的各像素中的第一区域及第二区域的像素值可以利用归纳法决定。就是说，通过对图像数据的最外端的像素的第二区域供应初始值并利用归纳法，可以决定相邻的像素的第一区域及第二区域的像素值。
此外，可以将上述方法用于二维排列的图像数据。例如，在着眼于原来的图像数据的任意2×2像素中的一个像素时，可以区分与在横向方向上相邻的像素、在纵向方向上相邻的像素以及在倾斜方向上相邻的像素中的任一个重叠的第一区域及不与它们重叠的第二区域。
通过对图像数据的最外端的2×2像素中最外周的三个像素供应初始值并利用归纳法，可以决定剩下的一个像素的第一区域及第二区域的像素值。由此，可以生成清晰的图像数据。
下面，参照附图说明更具体例子。
[例子1]
[摄像模块]
图1A示出摄像模块IS的示意图。摄像模块IS包括以相等的间隔排列的多个摄像元件Pi(i为0以上的整数)。图1A示出摄像元件P0、摄像元件P1、摄像元件P2、摄像元件P3。这里，摄像元件P0是最外端的摄像元件。各摄像元件至少包括一个光电转换元件以及控制该光电转换元件的像素电路。
摄像元件P0可以接收从区域A0入射的光并将该光转换为电信号而输出。就是说，区域A0相当于摄像元件P0的摄像范围。同样地，区域A1、A2、A3分别相当于摄像元件P1、P2、P3的摄像范围。
图1A以虚线示出摄像面F0。摄像面F0平行于摄像模块IS的表面，是离该表面规定高度的面。摄像面F0相当于进行图像处理时的虚拟的对焦面，通过图像处理，可以降低位于被摄体的摄像面F0的部分的模糊。摄像面F0可以根据摄像模块IS的结构或用途实施者任意设定。例如在将摄像模块IS用于光学触摸传感器或指纹识别等时，被摄体(手指等)的接触面对应于摄像面F0。
区域A0与区域A1的一部分在与摄像面F0交叉的部分重叠。这里，将摄像面F0上的区域A0与区域A1重叠的区域称为区域X1。同样地，将区域A1与区域A2重叠的区域称为区域X2，将区域A2与区域A3重叠的区域称为区域X3。在着眼于区域A0及区域A1时，位于摄像面F0的区域X1可以说是被摄像元件P0及摄像元件P1的双方所拍摄的区域。
[图像处理的方法例子]
图1B是示出摄像面F0上的区域A0、区域A1及区域X1的图。此外，图1B以虚线示出其他摄像元件的摄像区域。这里，将区域A0中的区域X1以外的部分称为区域S0。同样地，将区域A1中的区域X1以外的部分称为区域S1。
将对应于摄像元件P0所接收的所有的光量的像素值，即对应于从区域A0入射的光量的像素值称为VA0。此外，将对应于从区域X1入射到摄像元件P0的光的像素值称为VX1，将对应于从区域S0入射到摄像元件P0的光的像素值称为VS0。此外，将对应于从区域A1入射到摄像元件P1的所有的光量的像素值称为VA1，将对应于从区域S1入射到摄像元件P1的光的像素值称为VS1。此外，对应于从区域X1入射到摄像元件P1的光的像素值与上述VX1一致。从上述关系可知，VA0及VA1分别满足以下算式(1)。
[算式1]
这里，从最外端的区域A0中的不与区域A1重叠的区域S0入射到摄像元件P0的光为某个已知值。就是说，对应于区域S0的像素值VS0可以被看作已知值。
例如由于在用于上述光学触摸传感器或指纹识别时，拍摄来自手指等的检测对象的反射光，所以在很多情况下，被拍摄的指尖的外侧为黑色或单色的背景颜色。因此，在正常拍摄检测对象时，由于最外端的摄像元件一直被拍摄背景颜色，所以将其用作已知值。不局限于此，在定点摄像机或各种光学传感器等一直在相同的条件下进行拍摄时，被拍摄的图像数据的最外端的像素一直会取相同的像素值，因此可以将其用作已知值。此外，在一直不同的条件下进行拍摄时，通过在最外端的摄像元件的摄像区域上配置黑色等单色的滤波器等，可以意图性地制造出最外端的像素的像素值成为已知值的条件。
如此，VS0作为初始值被供应已知值，VA0、VA1为原来的图像数据的像素值，因此通过改变上述算式(1)可以决定VS1及VX1(参照以下算式(2))。
[算式2]
接着，图1C示出区域A1、区域A2及区域X2。将区域A1中区域X2以外的部分称为区域S1a。此外，将区域A2中区域X2以外的部分称为区域S2。此外，图1C以虚线示出上述区域S1。此时，与上述同样地，VA1及VA2分别满足以下算式(3)。
[算式3]
这里，图1C中的区域S1’相当于从区域A1减去区域X1及区域X2的区域。此外，该区域S1’也为区域S1的一部分。区域S1的宽度等于摄像模块IS的最大分辨率(即，摄像元件的排列间距)，由此即使在区域S1内有亮度分布，也不能识别亮度。因此，可以被看作区域S1内的亮度分布均匀。由此，区域S1’的像素值VS1’可以被看作区域S1的像素值VS1乘以面积比而得的值。
如图1C所示，在区域S1’的宽度为a且区域X1及区域X2的宽度为b(a、b分别为满足a+b＝1、a＞0、b＞0的值)时，区域S1’的像素值VS1’为像素值VS1的a倍的值(a×VS1)。注意，a、b的值是由摄像模块IS的结构及摄像面F0的位置决定的值，是已知值。因此，区域S1a的像素值VS1a为算式(4)。
[算式4]
VS1a＝aVS1+VX1 ···(4)
通过将其代入算式(3)，区域S2的像素值VS2及区域X2的像素值VX2可以由以下算式(5)决定。
[算式5]
接着，图1D示出区域A2、区域A3及区域X3。这里所示的区域S3的像素值VS3及区域X3的像素值VX3可以以与上述同样的方法决定，是由算式(6)表示的值。
[算式6]
就是说，算式(6)由通式表示算式(7)。
[算式7]
在上述算式(7)中，在排列n+1个像素的图像数据中，j为0以上且n以下的整数。如上述算式(7)所示，通过对区域S0的像素值VS0作为初始值供应已知值，所有的像素可以分别归纳决定重叠的区域的像素值及其他区域的像素值。
[被校正的图像数据]
通过使用上述算出的像素值，可以生成模糊得到减少且变清晰的新图像数据。
图2A是示意性地示出摄像模块IS的摄像范围与图像校正后的图像数据D1的关系的图。
新生成的图像数据D1对应于上述算出的区域S1至区域Sn的n个区域。更具体而言，可以包括像素值VS1至像素值VSn的n个像素值。
如图2A所示，对应于由摄像元件P1接收的所有的光量中减去从区域X1接收的光量的光量的像素值对应于新图像数据D1的最外端的像素的像素值(即像素值VS1)。其相邻的像素的像素值是对应于由摄像元件P2接收的所有的光量中减去从区域X2接收的光量的光量的像素值VS2。如此，通过将来自重叠的区域的信息分配到一个像素而从另一个像素减去该信息，可以生成不在两个像素间包括重叠的信息的图像数据。其结果是，可以生成模糊得到减少的更清晰的图像数据。
注意，如图2B所示，也可以是对应于上述算出的区域S1a至区域Sna的n个区域的图像数据。就是说，也可以是包括像素值VS1a至像素值VSna的n个像素值的数据。
[变形例子1]
上述对在着眼于某一个摄像元件时其摄像范围仅与相邻的摄像元件重叠的情况进行说明，但有时根据摄像面F0的位置或摄像模块IS的结构，一个摄像元件的摄像范围与从该摄像元件起第二个以上的摄像元件重叠。
图3A是示出一个摄像元件的摄像范围与从该摄像元件起第二个摄像元件重叠时的示意图。图3A的上侧示意性地示出摄像模块IS及各摄像元件的摄像范围。此外，图3A的下侧示意性地示出相邻的两个摄像元件的每一个的摄像范围。注意，这里示出在各区域纵向方向的缩尺比横向方向小。
首先，图3A所示的区域S1的像素值VS1及区域X1的像素值VX1可以通过作为初始值供应区域S0的像素值VS0，利用上述方法决定。但是，在着眼于下两个摄像元件(摄像元件P1及P2)时，由于区域S1a不与上述决定像素值的区域S1重叠，所以不能决定区域S1a的像素值。
于是，不仅对区域S0而且对区域S1a作为已知信息供应初始值。就是说，区域S1a的像素值VS1a也为已知值。由此，决定区域S2的像素值VS2及区域X2的像素值VX2。
接着，在考虑下两个摄像元件(摄像元件P2及P3)的区域S2a、区域X3及区域S3时，若被供应区域S2a的像素值，则可以决定区域S3及区域X3的像素值。
区域S2a可以使用区域X1、区域S1a及区域S1来表示。图3B示意性地示出区域S2a、区域X1、区域S1a及区域S1的关系。如图3B所示，区域S2a等于将从区域X1减去区域S1a的剩下的区域(区域X1-S1a)加上区域S1的a倍(a为满足0＜a＜1的实数)的区域(区域aS1)的区域。并且，区域S2a的像素值VS2a可以同样地使用区域X1、区域S1a及区域S1的每个像素值来决定。
通过使用如此决定的区域S2a的像素值可以决定图3A所示的区域S3及区域X3的各个像素值。
此外，下两个摄像元件(摄像元件P3及P4)的区域S3a、区域X4及区域S4也可以同样地决定。
如此，在一个摄像元件的摄像范围与从该摄像元件起第二个摄像元件的摄像范围重叠时，通过对最外端的两个像素作为初始值供应已知值，所有的像素可以归纳决定重叠的区域的像素值及该区域以外的像素值。
此外，这里未图示，即使一个摄像元件的摄像范围与从该摄像元件起第三个以上的摄像元件的摄像范围重叠，也可以以同样的方法进行图像校正。就是说，在一个摄像元件的摄像范围与从该摄像元件起第q个(q为1以上的整数)的摄像元件的摄像范围重叠时，通过对图像数据的最外端的q个像素作为初始值供应已知值，所有的像素可以归纳决定重叠的区域的像素值及其他区域的像素值。
[变形例子2]
尤其是，在摄像元件的摄像范围的宽度为摄像元件的排列间距的整数倍时，尤其可以简单地决定像素值。
图4A示出一个摄像元件的摄像范围的宽度为摄像元件的排列间距的2倍。此时，在着眼于两个摄像区域时，它们重叠的区域(区域X1等)的宽度与不重叠的区域(区域S0、区域S1等)的宽度相等。
此时，如图4A所示，区域A1的区域S1与区域A2的区域S2a相当于相同的范围。因此，区域S2a的像素值VS2a与区域S1的像素值VS1相等。因此，通过对区域S0的像素值供应初始值来求出区域S1的像素值VS1，可以使用该像素值VS1决定区域S3的像素值VS3。
同样地，由于区域A2的区域S2的像素值与区域A3的区域S3a相同，所以通过对区域S1a的像素值供应初始值，可以决定区域S2的像素值，接着可以决定区域S4的像素值。
就是说，在一个摄像元件的摄像范围的宽度为摄像元件的排列间距的2倍的情况下，在决定某个区域Ai的区域Si的像素值时，可以归纳决定从该区域Ai起第二个的区域Ai+2的区域Si+2的像素值。
此外，图4B示出一个摄像元件的摄像范围的宽度为摄像元件的排列间距的3倍。
此时，区域A1的区域S1与区域A3的区域S3a相当于相同的范围，它们的像素值相等。因此，通过对区域S0的像素值供应初始值来求出区域S1的像素值VS1，可以使用该像素值VS1求出区域S4的像素值VS4。
就是说，在一个摄像元件的摄像范围的宽度为摄像元件的排列间距的3倍的情况下，在决定某个区域Ai的区域Si的像素值时，可以归纳决定从该区域Ai起第三个的区域Ai+3的区域Si+3的像素值。
一般而言，在一个摄像元件的摄像范围的宽度为摄像元件的排列间距的z倍(z为1以上的整数)的情况下，在决定某个区域Ai的区域Si的像素值时，可以归纳决定从该区域Ai起第z个的区域Ai+z的区域Si+z的像素值。
如此，在一个摄像元件的摄像范围的宽度为摄像元件的排列间距的整数倍时，由于不需要求出两个摄像元件间摄像范围重叠的区域(例如X1等)的像素值，所以与上述例子1或变形例子1相比，可以大幅度地减少计算量。
[例子2]
在上述例子1中，说明包括一维排列的像素的图像数据，以下对将上述内容适用于包括二维数据排列的图像数据的情况的例子进行说明。注意，有时前提条件或算出方法等与上述例子1相同的部分使用上述例子1，省略其说明。
[摄像模块的例子]
图5A示出摄像模块IS的透视示意图。在摄像模块IS中，多个摄像元件Pij(i、j分别独立为0以上的整数)以矩阵形状配置于X方向及Y方向上。摄像元件P00是摄像模块IS的显示区域的最外端(角部)的摄像元件。此外，摄像元件P0j及摄像元件Pi0都是显示区域的最外周部的摄像元件。
图5B示出从摄像面一侧看相邻的三个摄像元件P时的示意图。摄像元件P以间距WP周期配置。此外，在规定摄像面上将摄像元件P的摄像区域设定为区域A时，区域A的宽度为WA。
图5A示意性地示出摄像元件P00、摄像元件P01、摄像元件P10及摄像元件P11的每个摄像区域的区域A00、区域A01、区域A10及区域A11。
[图像处理的方法例子]
图5C是示出摄像面上的区域A00、区域A01、区域A10及区域A11的图。这里，将四个区域重叠的部分称为区域Y11。此外，将相邻的两个区域重叠的部分且区域Y11以外的部分分别称为区域X11a、区域X11b、区域X11c、区域X11d。另外，将区域A00、区域A01、区域A10及区域A11中的不与其他区域重叠的部分称为区域S00、区域S01、区域S10、区域S11。从上述关系可知，各区域中的像素值满足以下算式(8)。
[算式8]
像素值VA00至像素值VA11分别为包括在原来的图像数据中的值。此外，区域S00的像素值VS00、区域S01的像素值VS01及区域S10的像素值VS10已知，作为初始值被供应。
由于区域X11a位于夹在区域S00与区域S10之间的区域且区域X11a比摄像模块IS的最大分辨率(即摄像元件的排列间距)小，所以区域X11a的像素值VX11a可以被看作像素值VS00与像素值VS10的中间值。尤其是，在像素值VS00与像素值VS10相等时，像素值VX11a也取与它们相等的值。同样地，区域X11b的像素值VX11b也可以被看作已知值。
就是说，在算式(8)中，未知值为像素值VS11、像素值VX11c、像素值VX11d及像素值VY11的四个。因此，通过求解算式(8)的四个式的联立方程式，可以决定这些四个值(参照算式(9))。
[算式9]
这里，2×2的四个像素分别可以分为图6A至图6D所示的四个图案。
图6A所示的区域A对应于图5C中的区域A11，在区域A内的右下配置区域S，在左上配置区域Y，在区域S上配置区域X1，在区域S的左侧配置区域X2。这里，与例子1同样地，区域S的宽度对区域A的宽度WA的比率为a，区域X1及区域X2的宽度为b(a、b分别为满足a+b＝1、a＞0、b＞0、且a＞b的值)。
注意，在a为b以下，即区域X1及区域X2的宽度比区域S的宽度大时，可以援用上述变形例子1。就是说，相当于一个摄像元件的摄像范围与从该摄像元件起第r个(r为2以上的整数)的摄像元件的摄像范围重叠的情况，此时相邻的r×r的像素中着眼于四个角的像素来决定像素值即可。
图6B所示的区域A对应于图5C中的区域A01，区域A内的左下包括区域Sa。图6C所示的区域A对应于图5C中的区域A10，区域A内的右上包括区域Sb。图6D所示的区域A对应于图5C中的区域A00，区域A内的左上包括区域Sc。
在决定区域A的四个图案中的一个的各区域的灰度值时，可以归纳决定其他图案的区域S、区域X1、区域X2及区域Y的每个像素值。
例如使用图6A的区域S、区域X1、区域X2及区域Y的每个像素值VS、像素值VX1、像素值VX2及像素值VY以及a及b，区域Sa、区域Sb及区域Sc的每个像素值VSa、像素值VSb及像素值VSc成为算式(10)。
[算式10]
图6A中的区域S、区域X1、区域X2及区域Y可以被看作亮度分布都均匀。因此，例如图6B所示的区域X1a的像素值可以被看作与将区域X1的像素值的(a-b)/a倍的值与区域Y的像素值加在一起的值相等。此外，区域Ya的像素值可以被看作与区域X1的像素值的b/a倍的值相等。再者，区域X2a的像素值可以被看作与区域S的像素值的b/a倍的值相等。以下，同样地，可以决定图6C中的区域X1b、区域X2b及区域Yb以及图6D中的区域X1c、区域X2c及区域Yc的每个像素值。
考虑到上述情况，考虑从图5C以相当于一个像素的部分移动的四个像素。图7A示出向X方向上以相当于一个像素的部分移动的四个像素。在图7A中，以实线示出区域A10、区域A20、区域A11及区域A21。这里，由于区域A20与区域A10同样地是显示区域的上端的像素的区域，所以图7A中的区域S20b及区域X21a的像素值可以被看作已知值。
在图7A中，区域A10分为区域S10c、区域X21a、区域X21b及区域Y21。区域S10c及区域X21b的每个像素值可以通过利用上述方法以及区域S10、区域X11a、区域X11c及区域Y11的每个像素值的值来决定。注意，区域X21a的像素值也可以同样地决定，这里通过使用上述已知值，可以减少误差。
此外，区域X21a及区域X21b的像素值可以使用区域A11或区域A20内的各区域的像素值来决定，通过使用2×2的四个像素中近于显示区域的最外端的像素的区域A00的像素的区域(这里区域A10)的像素值来决定，可以减少误差。
如此，在图7A中，决定区域S10c、区域S20b、区域S11a、区域X21a、区域X21b的每个像素值。并且，通过使用上述方法及这些像素值，可以决定区域A21内的区域S21、区域X21c、区域X21d及区域Y21的每个像素值。
图7B示出从图5C向Y方向以相当于一个像素的部分移动的四个像素。在图7B中，以实线示出区域A01、区域A11、区域A02及区域A12。由于区域A02与区域A01同样地是显示区域的左端的像素的区域，所以图7B中的区域S02a及区域X12b的像素值可以被看作已知值。
并且，通过使用上述方法可以决定区域A12内的区域S12、区域X12c、区域X12d及区域Y12的每个像素值。
最后，图7C示出从图5C向X方向以相当于一个像素的部分移动且向Y方向以相当于一个像素的部分移动的四个像素。在图7C中，以实线示出区域A11、区域A21、区域A12及区域A22。
作为区域S11c、区域S21b、区域S12a的每个像素值，可以使用利用到此为止决定的区域A11、区域A21及区域A12所包括的每个区域的像素值来决定的值。此外，区域X22a及区域X22b的每个像素值可以由区域A11的各区域的像素值决定。可以使用这些像素值决定区域A22内的区域S22、区域X22c、区域X22d及区域Y22的每个像素值。
如上所述，通过供应显示区域的最外周的像素的像素值作为初始值，可以归纳决定所有像素的区域Sij的值。
注意，在二维图像数据中，与上述例子1的变形例子2同样地，在摄像元件的摄像范围的宽度为摄像元件的排列间距的整数倍时，尤其可以简单地决定像素值。更具体而言，在一个摄像元件的摄像范围的宽度为摄像元件的排列间距的整数倍时，由于不需要求出两个摄像元件间摄像范围重叠的区域(例如区域X11a、区域Y11等)的像素值，所以与上述情况相比，可以大幅度地减少计算量。
[被校正的图像数据]
通过使用上述算出的像素值，可以生成模糊得到减少且变清晰的新图像数据。
图8A示出图像校正前的原来的图像数据D0的示意图。图像数据D0包括对应于(m+1)×(n+1)的像素的像素值VAij(i为0以上且m以下的整数，j为0以上且n以下的整数)。由于每个像素包括具有相邻的像素间重叠的信息的像素值VAij，图像数据D0为模糊的图像数据。
图8B是图像校正后的图像数据D1的示意图。图像数据D1包括对应于m×n个像素的像素值VSij(i为1以上且m以下的整数，j为1以上且n以下的整数)的信息。注意，也可以将作为已知信息使用的像素值VS00、像素值VSi0及像素值VS0j包括在图像数据D1中，为与原来的图像数据D0相同的像素数的图像数据。
[摄像装置的结构例子]
以下对能够实施本发明的一个方式的图像校正的摄像装置进行说明。
图9示出摄像装置800的方框图。摄像装置800至少包括摄像部801、控制部802及存储部803。存储部803储存有程序804。此外，摄像装置800也可以包括输出部805。
摄像部801具有取得图像数据(也称为摄像)的功能。例如上述摄像模块IS相当于摄像部801。作为摄像部801，可以使用包括光电转换元件的摄像元件配置为矩阵形状的半导体装置。
作为摄像部801的更具体例子，例如可以使用图像传感器IC、光学式触摸板或包括图像传感器的显示面板等。或者，也可以使用包括光学式触摸传感器的显示面板。此外，作为摄像元件，可以使用能够检测除了可见光还有红外线、近红外线、紫外线、近紫外线、X射线、伽马射线等各种波长(能量)的光中的一个以上的光的摄像元件。此外，摄像部801也可以具有包括能够检测不同波长的光的两种以上的摄像元件的结构。
存储部803至少具有储存程序804的功能。存储部803可以根据来自控制部802的要求将所储存的数据输出到控制部802或者储存数据。储存在存储部803中的程序804被控制部802读出而执行。
作为存储部803，例如也可以使用采用非易失性存储元件的存储装置诸如快闪存储器、MRAM(Magnetoresistive Random Access Memory：磁阻随机存取存储器)、PRAM(Phase change RAM：相变随机存取存储器)、ReRAM(Resistive RAM：电阻随机存取存储器)、FeRAM(Ferroelectric RAM：铁电随机存取存储器)等或者采用易失性存储元件的存储装置如DRAM(Dynamic RAM：动态随机存取存储器)、SRAM(Static RAM：静态随机存取存储器)等。另外，例如也可以使用硬盘驱动器(Hard Disk Drive：HDD)或固态驱动器(SolidState Drive：SSD)等记录媒体驱动器。
另外，作为存储部803，也可以使用通过外部接口由连接器可装卸的HDD或SSD等存储装置、快闪存储器、蓝光光盘(注册商标)、DVD等记录媒体驱动器。此外，也可以将设置在外部的存储装置用作存储部803，而没有将存储部803内置在摄像装置800中。在此情况下，也可以具有通过外部接口连接的结构或者通信模块以无线通信发送并接收数据的结构。
此外，程序804也可以储存在外部的服务器中。此时，也可以通过用户访问该服务器，将程序804的一部分或全部暂时、持久、半持久(设定能够利用的期间或次数等)储存在存储部803中，控制部802执行。
控制部802具有总括控制摄像部801、存储部803及输出部805等各组件的功能。
控制部802通过由处理器解释且执行来自各种程序的指令，进行各种数据处理或程序控制。有可能由处理器执行的程序被存储部803读出，暂时储存在处理器所包括的存储器区域中而执行。
作为控制部802，除了中央处理器(CPU：Central Processing Unit)以外，还可以单独或组合地使用DSP(Digital Signal Processor：数字信号处理器)或GPU(GraphicsProcessing Unit：图形处理器)等其他微处理器。此外，也可以由FPGA(FieldProgrammable Gate Array：现场可编程门阵列)或FPAA(Field Programmable AnalogArray：现场可编程模拟阵列)等PLD(Programmable Logic Device：可编程逻辑器件)实现这种微处理器。
输出部805具有将数据输出到外部的功能。例如，输出部805可以通过电缆连接摄像装置800与外部设备。此外，输出部805也可以包括LAN(Local Area Network)连接用端子、连接AC适配器的端子等。另外，也可以在输出部805中除了有线之外还设置使用红外线、可见光、紫外线等的光通信用收发机的结构。
接着，对摄像装置800的工作的一个例子进行说明。
首先，控制部802首先对摄像部801要求执行摄像工作，根据该要求摄像部801进行拍摄且向控制部802输出图像数据D0(也可以说控制部802从摄像部801读出图像数据D0)。控制部802也可以将图像数据D0暂时储存在存储部803中，也可以在控制部802内保持图像数据D0。
摄像部801如上所述由于包括摄像范围的一部分彼此重叠的多个摄像元件，所以图像数据D0为具有模糊的图像数据。
控制部802通过从存储部803读出程序804而执行，从图像数据D0生成新图像数据D1。在程序804的执行中，有时控制部802从存储部803读出图像数据D0。
控制部802也可以将图像数据D1输出到输出部805。或者，控制部802也可以将所生成的图像数据D1储存在存储部803中。
注意，也可以在控制部802读出程序804之后控制部802从摄像部801接收图像数据D0。此时，控制部802也可以生成图像数据D1而不将图像数据D0暂时储存到存储部803中。
程序804包括在控制部802中用来执行上述说明的图像处理的程序。
例如，程序804包括：读出排列多个像素的图像数据D0的步骤；将相邻的两个像素分别分为示出相同的像素值的第一区域及第一区域以外的第二区域的步骤；对图像数据D0的最外端的像素的第二区域供应初始值的步骤；以及根据该初始值依次归纳决定所排列的多个像素的第一区域及第二区域的像素值的步骤。
此外，例如程序804包括读出多个像素排列为矩阵形状的图像数据D0的步骤；将2×2的像素分别分为示出与相邻的像素相同的灰度值(像素值)的第一区域及第一区域以外的第二区域的步骤；对图像数据D0的最外端的2×2的像素中最外周的三个像素的第二区域分别供应初始值的步骤；根据该初始值决定剩下的一个像素的第一区域及第二区域的像素值的步骤；以及根据所决定的第一区域及第二区域的像素值，依次归纳决定所排列的多个像素的第一区域及第二区域的像素值的步骤。
这种摄像装置800即使是模糊的图像数据也可以使该数据变清晰并输出。因此，也可以采用不在摄像部801中使用焦距调整构件或特别的光学系统的结构。因此，使装置结构简化，由此可以以低成本制造的摄像装置。
本实施方式所示的结构实例及对应于这些例子的附图等的至少一部分可以与其他结构实例或附图等适当地组合而实施。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
(实施方式2)
在本实施方式中，参照图10至图18说明本发明的一个方式的显示装置。
以下所示的显示装置是具有显示图像的功能及拍摄图像的功能的装置。以下所示的显示装置可以用于实施方式1中的摄像模块IS或摄像装置所包括的摄像部。
[概要]
本实施方式的显示装置在显示部包括受光元件及发光元件。具体而言，在显示部中，发光元件配置为矩阵形状，由此该显示部能够显示图像。此外，在该显示部中，受光元件配置为矩阵形状，由此该显示部也用作受光部。受光部可以用于图像传感器或触摸传感器。也就是说，通过由受光部检测出光，能够拍摄图像或者检测出对象物(手指或笔等)的接近或接触。
在本实施方式的显示装置中，当显示部含有的发光元件所发射的光被对象物反射时，受光元件能够检测出该反射光，由此即使在黑暗处也能够拍摄图像或者检测出触摸(包括靠近(near touch))。
本实施方式的显示装置具有使用发光元件显示图像的功能。也就是说，发光元件被用作显示元件。
作为发光元件，优选采用OLED(Organic Light Emitting Diode)以及QLED(Quantum-dot Light Emitting Diode)等的EL元件。作为EL元件所包含的发光物质，可以举出发射荧光的物质(荧光材料)、发射磷光的物质(磷光材料)、无机化合物(量子点材料等)、呈现热活化延迟荧光的物质(热活化延迟荧光(Thermally activated delayedfluorescence：TADF)材料)等。另外，作为发光元件，也可以采用micro LED(LightEmitting Diode)等的LED。
本实施方式的显示装置具有使用受光元件检测出光的功能。
当将受光元件用于图像传感器时，本实施方式的显示装置能够使用受光元件拍摄图像。
例如，可以使用图像传感器获取指纹、掌纹或虹膜等的数据。也就是说，可以在本实施方式的显示装置内设置生物识别用传感器。通过在显示装置内设置生物识别用传感器，与分别设置显示装置和生物识别用传感器的情况相比，可以减少电子设备的零部件个数，由此可以实现电子设备的小型化及轻量化。
此外，可以使用图像传感器获取用户的表情、视线或瞳孔直径的变化等的数据。通过分析该数据，可以获取用户的身心的信息。通过根据该信息改变图像和声音中的一者或两者的输出内容，可以使用户安全地使用如对应VR(Virtual Reality)的机器、对应AR(Augmented Reality)的机器或对应MR(Mixed Reality)的机器等机器。
此外，在将受光元件用于触摸传感器的情况下，本实施方式的显示装置使用受光元件检测出对象物的接近或接触。
作为受光元件，例如，可以使用pn型或pin型光电二极管。受光元件被用作检测出入射到受光元件的光来产生电荷的光电转换元件。所产生的电荷量取决于所入射的光量。
尤其是，作为受光元件，优选使用具有包含有机化合物的层的有机光电二极管。有机光电二极管容易实现薄型化、轻量化及大面积化，且形状及设计的自由度高，由此可以应用于各种各样的显示装置。
在本发明的一个方式中，使用有机EL元件作为发光元件，并使用有机光电二极管作为受光元件。有机光电二极管中可以以与有机EL元件相同的结构形成的层很多。因此，可以在不需大幅度增加制造工序的情况下在显示装置内设置受光元件。例如，可以将受光元件的活性层及发光元件的发光层分别形成，而其他层则是受光元件和发光元件共同使用。
图10A至图10D示出本发明的一个方式的显示装置的截面图。
图10A所示的显示装置50A在衬底51与衬底59之间包括具有受光元件的层53及具有发光元件的层57。
图10B所示的显示装置50B在衬底51与衬底59之间包括具有受光元件的层53、具有晶体管的层55及具有发光元件的层57。
显示装置50A及显示装置50B从具有发光元件的层57发射红色(R)、绿色(G)以及蓝色(B)的光。
本发明的一个方式的显示装置具有配置为矩阵形状的多个像素。一个像素具有一个以上的子像素。一个子像素具有一个发光元件。例如，像素可以采用具有三个子像素的结构(R、G、B的三种颜色或黄色(Y)、青色(C)及品红色(M)的三种颜色等)或具有四个子像素的结构(R、G、B、白色(W)的四种颜色或者R、G、B、Y的四种颜色等)。再者，像素具有受光元件。受光元件既可设置在所有像素又可设置在一部分像素中。此外，一个像素也可以具有多个受光元件。
具有晶体管的层55优选具有第一晶体管及第二晶体管。第一晶体管与受光元件电连接。第二晶体管与发光元件电连接。
本发明的一个方式的显示装置也可以具有检测出与显示装置接触的如手指等对象物的功能。例如，如图10C所示，具有发光元件的层57中的发光元件所发射的光被接触显示装置50B的手指52反射，使得具有受光元件的层53中的受光元件检测出该反射光。由此，可以检测出与显示装置50B接触的手指52。
如图10D所示，本发明的一个方式的显示装置也可以具有对接近显示装置50B(未接触)的对象物进行检测或拍摄的功能。
图10E至图10H示出像素的一个例子。
图10E、图10F所示的像素包括R、G、B的三个子像素(三个发光元件)和受光元件PD。图10E是三个子像素及受光元件PD配置为2×2的矩阵形状的例子，图10F是三个子像素及受光元件PD配置为一个横列的例子。
图10G所示的像素包括R、G、B、W的四个子像素(四个发光元件)及受光元件PD。
图10H所示的像素包括R、G、B的三个子像素、发射红外光的发光元件IR及受光元件PD。此时，受光元件PD优选具有检测出红外光的功能。受光元件PD也可以具有检测出可见光和红外光的双方的功能。根据传感器的用途，可以决定受光元件PD所检测出的光的波长。
以下参照图11至图13说明本发明的一个方式的显示装置的详细结构。
[显示装置10A]
图11A示出显示装置10A的截面图。
显示装置10A包括显示元件110及发光元件190。
受光元件110包括像素电极111、公共层112、活性层113、公共层114及公共电极115。
发光元件190包括像素电极191、公共层112、发光层193、公共层114及公共电极115。
像素电极111、像素电极191、公共层112、活性层113、发光层193、公共层114及公共电极115均既可具有单层结构又可具有叠层结构。
像素电极111及像素电极191位于绝缘层214上。像素电极111及像素电极191可以使用同一材料及同一工序形成。
公共层112位于像素电极111上及像素电极191上。公共层112是受光元件110与发光元件190共同使用的层。
活性层113隔着公共层112与像素电极111重叠。发光层193隔着公共层112与像素电极191重叠。活性层113包含第一有机化合物，而发光层193包含与第一有机化合物不同的第二有机化合物。
公共层114位于公共层112上、活性层113上及发光层193上。公共层114是受光元件110与发光元件190共同使用的层。
公共电极115具有隔着公共层112、活性层113及公共层114与像素电极111重叠的部分。此外，公共电极115具有隔着公共层112、发光层193及公共层114与像素电极191重叠的部分。公共电极115是受光元件110与发光元件190共同使用的层。
在本实施方式的显示装置中，受光元件110的活性层113使用有机化合物。受光元件110的活性层113以外的层可以采用与发光元件190(EL)相同的结构。由此，只要在发光元件190的制造工序中追加形成活性层113的工序，就可以在形成发光元件190的同时形成受光元件110。此外，发光元件190与受光元件110可以形成在同一衬底上。因此，可以在不需大幅度增加制造工序的情况下在显示装置内设置受光元件110。
在显示装置10A中，只有受光元件110的活性层113及发光元件190的发光层193是分别形成的，而其他层可以是受光元件110和发光元件190共同使用。但是，受光元件110及发光元件190的结构不局限于此。除了活性层113及发光层193以外，受光元件110及发光元件190还可以具有其他分别形成的层(参照后述的显示装置10K、显示装置10L及显示装置10M)。受光元件110与发光元件190优选共同使用一层以上的层(公共层)。由此，可以在不需大幅度增加制造工序的情况下在显示装置内设置受光元件110。
显示装置10A在一对衬底(衬底151及衬底152)之间包括受光元件110、发光元件190、晶体管41及晶体管42等。
在受光元件110中，位于像素电极111与公共电极115之间的公共层112、活性层113及公共层114各自可以被称为有机层(包含有机化合物的层)。像素电极111优选具有反射可见光的功能。像素电极111的端部被分隔壁216覆盖。公共电极115优选具有透射可见光的功能。
受光元件110具有检测光的功能。具体而言，受光元件110是接受从显示装置10A的外部入射的光22并将其转换为电信号的光电转换元件。光22也可以说是发光元件190的光被对象物反射的光。此外，光22也可以通过后述的透镜入射到受光元件110。
衬底152的衬底151一侧的表面设置有遮光层BM。遮光层BM在与受光元件110重叠的位置及与发光元件190重叠的位置形成有开口。通过设置遮光层BM，可以控制受光元件110检测光的范围。
作为遮光层BM，可以使用遮挡来自发光元件的光的材料。遮光层BM优选吸收可见光。作为遮光层BM，例如，可以使用金属材料或包含颜料(碳黑等)或染料的树脂材料等形成黑矩阵。遮光层BM也可以采用红色滤光片、绿色滤光片及蓝色滤光片的叠层结构。
这里，受光元件110检测出被对象物反射的来自发光元件190的光。但是，有时来自发光元件190的光在显示装置10A内被反射而不经对象物地入射到受光元件110。遮光层BM可以减少这种杂散光的负面影响。例如，在没有设置遮光层BM的情况下，有时发光元件190所发射的光23a被衬底152反射，由此反射光23b入射到受光元件110。通过设置遮光层BM，可以抑制反射光23b入射到受光元件110。由此，可以减少噪声来提高使用受光元件110的传感器的灵敏度。
在发光元件190中，分别位于像素电极191与公共电极115之间的公共层112、发光层193及公共层114可以被称为EL层。像素电极191优选具有反射可见光的功能。像素电极191的端部被分隔壁216覆盖。像素电极111和像素电极191通过分隔壁216彼此电绝缘。公共电极115优选具有透射可见光的功能。
发光元件190具有发射可见光的功能。具体而言，发光元件190是电压被施加到像素电极191与公共电极115之间时向衬底152一侧发射光的电致发光元件(参照发光21)。
发光层193优选以不与受光元件110的受光区域重叠的方式形成。由此，可以抑制发光层193对光22的吸收，来可以增加照射到受光元件110的光量。
像素电极111通过设置在绝缘层214中的开口电连接到晶体管41的源极或漏极。像素电极111的端部被分隔壁216覆盖。
像素电极191通过设置在绝缘层214中的开口电连接到晶体管42的源极或漏极。像素电极191的端部被分隔壁216覆盖。晶体管42具有控制发光元件190的驱动的功能。
晶体管41及晶体管42接触地形成于同一层(图11A中的衬底151)上。
电连接于受光元件110的电路中的至少一部分优选使用与电连接于发光元件190的电路相同的材料及工序而形成。由此，与分别形成两个电路的情况相比，可以减小显示装置的厚度，并可以简化制造工序。
受光元件110及发光元件190各自优选被保护层195覆盖。在图11A中，保护层195设置在公共电极115上并与该公共电极115接触。通过设置保护层195，可以抑制水等杂质混入受光元件110及发光元件190，由此可以提高受光元件110及发光元件190的可靠性。此外，可以使用粘合层142贴合保护层195和衬底152。
此外，如图12A所示，受光元件110及发光元件190上也可以没有保护层。在图12A中，使用粘合层142贴合公共电极115和衬底152。
[显示装置10B]
图11B示出显示装置10B的截面图。此外，在后述的显示装置的说明中，有时省略说明与先前说明的显示装置同样的结构。
图11B所示的显示装置10B除了包括显示装置10A的结构以外还包括透镜149。
本实施方式的显示装置也可以包括透镜149。透镜149设置在与受光元件110重叠的位置。在显示装置10B中，以与衬底152接触的方式设置有透镜149。显示装置10B所包括的透镜149在衬底151一侧具有凸面。或者，透镜149也可以在衬底152一侧具有凸面。
在将遮光层BM和透镜149的双方形成在衬底152的同一面上的情况下，对它们的形成顺序没有限制。虽然在图11B中示出先形成透镜149的例子，但是也可以先形成遮光层BM。在图11B中，透镜149的端部被遮光层BM覆盖。
显示装置10B采用光22通过透镜149入射到受光元件110的结构。与没有透镜149的情况相比，通过设置透镜149，可以减小受光元件110的拍摄范围，由此可以抑制与相邻的受光元件110的拍摄范围重叠。由此，可以拍摄模糊少的清晰图像。此外，在受光元件110的拍摄范围相等的情况下，与没有透镜149的情况相比，通过设置透镜149，可以增大针孔的尺寸(在图11B中相当于与受光元件110重叠的BM的开口尺寸)。由此，通过具有透镜149，可以增加入射到受光元件110的光量。
与图11B所示的显示装置10B同样，图12B和图12C所示的显示装置也各自采用光22通过透镜149入射到受光元件110的结构。
在图12B中，以与保护层195的顶面接触的方式设置有透镜149。图12B所示的显示装置所包括的透镜149在衬底152一侧具有凸面。
图12C所示的显示装置在衬底152的显示面一侧设置有透镜阵列146。透镜阵列146所具有的透镜设置在与受光元件110重叠的位置。优选衬底152的衬底151一侧的表面设置有遮光层BM。
作为用于本实施方式的显示装置的透镜的形成方法，既可在衬底上或受光元件上直接形成如微透镜等透镜，又可将另外制成的微透镜阵列等透镜阵列贴合在衬底上。
[显示装置10C]
图11C示出显示装置10C的截面图。
图11C所示的显示装置10C与显示装置10A的不同之处在于：包括衬底153、衬底154、粘合层155、绝缘层212及分隔壁217，而不包括衬底151、衬底152及分隔壁216。
衬底153和绝缘层212被粘合层155贴合。衬底154和保护层195被粘合层142贴合。
显示装置10C将形成在制造衬底上的绝缘层212、晶体管41、晶体管42、受光元件110及发光元件190等转置在衬底153上而形成。衬底153和衬底154优选具有柔性。由此，可以提高显示装置10C的柔性。例如，衬底153和衬底154优选使用树脂。
作为衬底153及衬底154，可以使用如下材料：聚对苯二甲酸乙二醇酯(PET)或聚萘二甲酸乙二醇酯(PEN)等聚酯树脂、聚丙烯腈树脂、丙烯酸树脂、聚酰亚胺树脂、聚甲基丙烯酸甲酯树脂、聚碳酸酯(PC)树脂、聚醚砜(PES)树脂、聚酰胺树脂(尼龙、芳族聚酰胺等)、聚硅氧烷树脂、环烯烃树脂、聚苯乙烯树脂、聚酰胺-酰亚胺树脂、聚氨酯树脂、聚氯乙烯树脂、聚偏二氯乙烯树脂、聚丙烯树脂、聚四氟乙烯(PTFE)树脂、ABS树脂以及纤维素纳米纤维等。衬底153和衬底154中的一个或两个也可以使用其厚度为具有柔性程度的玻璃。
本实施方式的显示装置所具有的衬底可以使用光学各向同性高的薄膜。作为光学各向同性高的薄膜，可以举出三乙酸纤维素(也被称为TAC：Cellulose triacetate)薄膜、环烯烃聚合物(COP)薄膜、环烯烃共聚物(COC)薄膜及丙烯酸薄膜等。
分隔壁217优选吸收发光元件所发射的光。作为分隔壁217，例如可以使用包含颜料或染料的树脂材料等形成黑矩阵。此外，通过使用茶色抗蚀剂材料，可以由被着色的绝缘层构成分隔壁217。
发光元件190所发射的光23c有时被衬底154及分隔壁217反射，使得反射光23d入射到受光元件110。此外，光23c有时透过分隔壁217被晶体管或布线等反射，使得反射光入射到受光元件110。通过由分隔壁217吸收光23c，可以抑制反射光23d入射到受光元件110。由此，可以减少噪声来提高使用受光元件110的传感器的灵敏度。
分隔壁217优选至少吸收受光元件110所检测出的光的波长。例如，在受光元件110检测出发光元件190所发射的绿色光的情况下，分隔壁217优选至少吸收绿色光。例如，当分隔壁217具有红色滤光片时，可以吸收绿色光23c，由此可以抑制反射光23d入射到受光元件110。
[显示装置10K、显示装置10L及显示装置10M]
图13A示出显示装置10K的截面图，图13B示出显示装置10L的截面图，并且图13C示出显示装置10M的截面图。
显示装置10K与显示装置10A的不同之处在于：包括缓冲层184及缓冲层194，而没有公共层114。缓冲层184及缓冲层194既可具有单层结构又可具有叠层结构。
在显示装置10K中，受光元件110包括像素电极111、公共层112、活性层113、缓冲层184及公共电极115。此外，在显示装置10K中，发光元件190包括像素电极191、公共层112、发光层193、缓冲层194及公共电极115。
显示装置10L与显示装置10A的不同之处在于：包括缓冲层182及缓冲层192，而没有公共层112。缓冲层182及缓冲层192既可具有单层结构又可具有叠层结构。
在显示装置10L中，受光元件110包括像素电极111、缓冲层182、活性层113、公共层114及公共电极115。此外，在显示装置10L中，发光元件190包括像素电极191、缓冲层192、发光层193、公共层114及公共电极115。
显示装置10M与显示装置10A的不同之处在于：包括缓冲层182、缓冲层184、缓冲层192及缓冲层194，而没有公共层112及公共层114。
在显示装置10M中，受光元件110包括像素电极111、缓冲层182、活性层113、缓冲层184及公共电极115。此外，在显示装置10M中，发光元件190包括像素电极191、缓冲层192、发光层193、缓冲层194及公共电极115。
在受光元件110及发光元件190的制造中，不但可以分别形成活性层113及发光层193，而且还可以分别形成其他层。
在显示装置10K中，分别形成公共电极115与活性层113之间的缓冲层184及公共电极115与发光层193之间的缓冲层194。作为缓冲层194，例如，可以形成电子注入层和电子传输层中的一个或两个。
在显示装置10L中，分别形成像素电极111与活性层113之间的缓冲层182及像素电极191与发光层193之间的缓冲层192。作为缓冲层192，例如，可以形成空穴注入层和空穴传输层中的一个或两个。
在显示装置10M中，受光元件110和发光元件190在一对电极(像素电极111或像素电极191与公共电极115)之间没有公共层。作为显示装置10M所包括的受光元件110及发光元件190，在绝缘层214上使用同一材料及同一工序形成像素电极111及像素电极191，在像素电极111上形成缓冲层182、活性层113及缓冲层184，在像素电极191上形成缓冲层192、发光层193及缓冲层194，然后，以覆盖像素电极111、缓冲层182、活性层113、缓冲层184、像素电极191、缓冲层192、发光层193及缓冲层194的方式形成公共电极115。对缓冲层182、活性层113及缓冲层184的叠层结构、缓冲层192、发光层193及缓冲层194的叠层结构的形成顺序没有特别的限制。例如，也可以在形成缓冲层182、活性层113、缓冲层184之后，形成缓冲层192、发光层193及缓冲层194。与此相反，也可以在形成缓冲层182、活性层113、缓冲层184之前，形成缓冲层192、发光层193及缓冲层194。此外，也可以按照缓冲层182、缓冲层192、活性层113、发光层193等的顺序交替形成。
以下参照图14至图18说明本发明的一个方式的显示装置的更详细的结构。
[显示装置100A]
图14示出显示装置100A的透视图，而图15示出显示装置100A的截面图。
显示装置100A具有贴合衬底152与衬底151的结构。在图14中，以虚线表示衬底152。
显示装置100A包括显示部162、电路164及布线165等。图14示出在显示装置100A中安装有IC(集成电路)173及FPC172的例子。因此，也可以将图14所示的结构称为包括显示装置100A、IC及FPC的显示模块。
作为电路164，例如可以使用扫描线驱动电路。
布线165具有对显示部162及电路164供应信号及电力的功能。该信号及电力从外部经由FPC172或者从IC173输入到布线165。
图14示出通过COG(Chip On Glass：玻璃覆晶封装)方式等在衬底151上设置IC173的例子。作为IC173，例如可以使用包括扫描线驱动电路或信号线驱动电路等的IC。注意，显示装置100A及显示模块不一定必须设置有IC。此外，也可以将IC利用COF方式等安装于FPC。
图15示出图14所示的显示装置100A的包括FPC172的区域的一部分、包括电路164的区域的一部分、包括显示部162的区域的一部分及包括端部的区域的一部分的截面的一个例子。
图15所示的显示装置100A在衬底151与衬底152之间包括晶体管201、晶体管205、晶体管206、发光元件190及受光元件110等。
衬底152及绝缘层214通过粘合层142粘合。作为对发光元件190及受光元件110的密封，可以采用固体密封结构或中空密封结构等。在图15中，由衬底152、粘合层142及绝缘层214围绕的空间143填充有非活性气体(氮、氩等)，采用中空密封结构。粘合层142也可以与发光元件190重叠。此外，由衬底152、粘合层142及绝缘层214围绕的空间143也可以填充有与粘合层142不同的树脂。
发光元件190具有从绝缘层214一侧依次层叠有像素电极191、公共层112、发光层193、公共层114及公共电极115的叠层结构。像素电极191通过形成在绝缘层214中的开口与晶体管206所包括的导电层222b连接。晶体管206具有控制发光元件190的驱动的功能。分隔壁216覆盖像素电极191的端部。像素电极191包含反射可见光的材料，而公共电极115包含透射可见光的材料。
受光元件110具有从绝缘层214一侧依次层叠有像素电极111、公共层112、活性层113、公共层114及公共电极115的叠层结构。像素电极111通过形成在绝缘层214中的开口与晶体管205所包括的导电层222b电连接。分隔壁216覆盖像素电极111的端部。像素电极111包含反射可见光的材料，而公共电极115包含透射可见光的材料。
发光元件190将光发射到衬底152一侧。此外，受光元件110通过衬底152及空间143接收光。衬底152优选使用对可见光的透过性高的材料。
像素电极111及像素电极191可以使用同一材料及同一工序形成。公共层112、公共层114及公共电极115用于受光元件110和发光元件190的双方。除了活性层113及发光层193以外，受光元件110和发光元件190可以共同使用其他层。由此，由此，可以在不需大幅度增加制造工序的情况下在显示装置100A内设置受光元件110。
衬底152的衬底151一侧的表面设置有遮光层BM。遮光层BM在与受光元件110重叠的位置及与发光元件190重叠的位置形成有开口。通过设置遮光层BM，可以控制受光元件110检测光的范围。此外，通过设置有遮光层BM，可以抑制光从发光元件190不经对象物地直接入射到受光元件110。由此，可以实现噪声少且灵敏度高的传感器。
晶体管201、晶体管205及晶体管206都设置在衬底151上。这些晶体管可以使用同一材料及同一工序形成。
在衬底151上依次设置有绝缘层211、绝缘层213、绝缘层215及绝缘层214。绝缘层211的一部分用作各晶体管的栅极绝缘层。绝缘层213的一部分用作各晶体管的栅极绝缘层。绝缘层215以覆盖晶体管的方式设置。绝缘层214以覆盖晶体管的方式设置，并被用作平坦化层。此外，对栅极绝缘层的个数及覆盖晶体管的绝缘层的个数没有特别的限制，既可以为一个，又可以为两个以上。
优选的是，将水或氢等杂质不容易扩散的材料用于覆盖晶体管的绝缘层中的至少一个。由此，可以将绝缘层被用作阻挡层。通过采用这种结构，可以有效地抑制杂质从外部扩散到晶体管中，从而可以提高显示装置的可靠性。
作为绝缘层211、绝缘层213及绝缘层215优选使用无机绝缘膜。作为无机绝缘膜，例如可以使用氮化硅膜、氧氮化硅膜、氧化硅膜、氮氧化硅膜、氧化铝膜、氮化铝膜等无机绝缘膜。此外，也可以使用氧化铪膜、氧化钇膜、氧化锆膜、氧化镓膜、氧化钽膜、氧化镁膜、氧化镧膜、氧化铈膜及氧化钕膜等。此外，也可以层叠上述绝缘膜中的两个以上。
这里，有机绝缘膜的阻挡性在很多情况下低于无机绝缘膜。因此，有机绝缘膜优选在显示装置100A的端部附近包括开口。由此，可以抑制从显示装置100A的端部通过有机绝缘膜的杂质侵入。此外，也可以以其端部位于显示装置100A的端部的内侧的方式形成有机绝缘膜，以保护有机绝缘膜不暴露于显示装置100A的端部。
用作平坦化层的绝缘层214优选使用有机绝缘膜。作为能够用于有机绝缘膜的材料，例如可以使用丙烯酸树脂、聚酰亚胺树脂、环氧树脂、聚酰胺树脂、聚酰亚胺酰胺树脂、硅氧烷树脂、苯并环丁烯类树脂、酚醛树脂及这些树脂的前体等。
在图15所示的区域228中，在绝缘层214中形成有开口。由此，即使在使用有机绝缘膜作为绝缘层214的情况下，也可以抑制杂质从外部通过绝缘层214侵入显示部162。由此，可以提高显示装置100A的可靠性。
晶体管201、晶体管205及晶体管206包括：用作栅极的导电层221；用作栅极绝缘层的绝缘层211；用作源极及漏极的导电层222a及导电层222b；半导体层231；用作栅极绝缘层的绝缘层213；以及用作栅极的导电层223。在此，经过对同一导电膜进行加工而得到的多个层附有相同的阴影线。绝缘层211位于导电层221与半导体层231之间。绝缘层213位于导电层223与半导体层231之间。
对本实施方式的显示装置所包括的晶体管结构没有特别的限制。例如，可以采用平面型晶体管、交错型晶体管或反交错型晶体管等。此外，晶体管都可以具有顶栅结构或底栅结构。或者，也可以在形成沟道的半导体层上下设置有栅极。
作为晶体管201、晶体管205及晶体管206，采用两个栅极夹持形成沟道的半导体层的结构。此外，也可以连接两个栅极，并通过对该两个栅极供应同一信号，来驱动晶体管。或者，通过对两个栅极中的一个施加用来控制阈值电压的电位，对另一个施加用来进行驱动的电位，可以控制晶体管的阈值电压。
对用于晶体管的半导体材料的结晶性也没有特别的限制，可以使用非晶半导体、单晶半导体或者单晶半导体以外的具有结晶性的半导体(微晶半导体、多晶半导体或其一部分具有结晶区域的半导体)。当使用单晶半导体或具有结晶性的半导体时可以抑制晶体管的特性劣化，所以是优选的。
晶体管的半导体层优选使用金属氧化物(氧化物半导体)。此外，晶体管的半导体层也可以包含硅。作为硅，可以举出非晶硅、结晶硅(低温多晶硅、单晶硅等)等。
例如，半导体层优选包含铟、M(M为选自镓、铝、硅、硼、钇、锡、铜、钒、铍、钛、铁、镍、锗、锆、钼、镧、铈、钕、铪、钽、钨或镁中的一种或多种)和锌。尤其是，M优选为选自铝、镓、钇或锡中的一种或多种。
尤其是，作为半导体层，优选使用包含铟(In)、镓(Ga)及锌(Zn)的氧化物(IGZO)。
当半导体层为In-M-Zn氧化物时，优选用来形成In-M-Zn氧化物的溅射靶材中的In的原子数比为M的原子数比以上。作为这种溅射靶材的金属元素的原子数比，可以举出In：M：Zn＝1：1：1、In：M：Zn＝1：1：1.2、In：M：Zn＝2：1：3、In：M：Zn＝3：1：2、In：M：Zn＝4：2：3、In：M：Zn＝4：2：4.1、In：M：Zn＝5：1：6、In：M：Zn＝5：1：7、In：M：Zn＝5：1：8、In：M：Zn＝6：1：6、In：M：Zn＝5：2：5等。
此外，作为溅射靶材优选使用含有多晶氧化物的靶材，由此可以易于形成具有结晶性的半导体层。注意，所形成的半导体层的原子数比分别包含上述溅射靶材中的金属元素的原子数比的±40％的范围内。例如，在被用于半导体层的溅射靶材的组成为In:Ga:Zn＝4:2:4.1[原子数比]时，所形成的半导体层的组成有时为In:Ga:Zn＝4:2:3[原子数比]或其附近。
当记载为原子数比为In：Ga：Zn＝4：2：3或其附近时包括如下情况：相对于金属元素的原子数比的In的原子数比为4时，Ga的原子数比为1以上且3以下，Zn的原子数比为2以上且4以下。此外，当记载为原子数比为In：Ga：Zn＝5：1：6或其附近时包括如下情况：相对于金属元素的原子数比的In的原子数比为5时，Ga的原子数比大于0.1且为2以下，Zn的原子数比为5以上且7以下。此外，当记载为原子数比为In：Ga：Zn＝1：1：1或其附近时包括如下情况：相对于金属元素的原子数比的In的原子数比为1时，Ga的原子数比大于0.1且为2以下，Zn的原子数比大于0.1且为2以下。
电路164所包括的晶体管和显示部162所包括的晶体管既可以具有相同的结构，又可以具有不同的结构。电路164所包括的多个晶体管既可以具有相同的结构，又可以具有两种以上的不同结构。与此同样，显示部162所包括的多个晶体管既可以具有相同的结构，又可以具有两种以上的不同结构。
在衬底151与衬底152不重叠的区域中设置有连接部204。在连接部204中，布线165通过导电层166及连接层242与FPC172电连接。在连接部204的顶面上露出对与像素电极191相同的导电膜进行加工来获得的导电层166。因此，通过连接层242可以使连接部204与FPC172电连接。
此外，可以在衬底152的外侧的表面上配置各种光学构件。作为光学构件，可以使用偏振片、相位差板、光扩散层(扩散薄膜等)、防反射层及聚光薄膜(condensing film)等。此外，在衬底152的外侧的表面上也可以配置抑制尘埃的附着的抗静电膜、不容易被弄脏的具有拒水性的膜、抑制使用时的损伤的硬涂膜、缓冲层等。
衬底151及衬底152可以使用玻璃、石英、陶瓷、蓝宝石以及树脂等。通过将具有柔性的材料用于衬底151及衬底152，可以提高显示装置的柔性。
作为粘合层，可以使用紫外线固化粘合剂等光固化粘合剂、反应固化粘合剂、热固化粘合剂、厌氧粘合剂等各种固化粘合剂。作为这些粘合剂，可以举出环氧树脂、丙烯酸树脂、硅酮树脂、酚醛树脂、聚酰亚胺树脂、酰亚胺树脂、PVC(聚氯乙烯)树脂、PVB(聚乙烯醇缩丁醛)树脂、EVA(乙烯-醋酸乙烯酯)树脂等。尤其是，优选使用环氧树脂等透湿性低的材料。此外，也可以使用两液混合型树脂。此外，也可以使用粘合薄片等。
作为连接层242，可以使用各向异性导电膜(ACF：Anisotropic ConductiveFilm)、各向异性导电膏(ACP：Anisotropic Conductive Paste)等。
发光元件190具有顶部发射结构、底部发射结构或双面发射结构等。作为提取光一侧的电极使用使可见光透过的导电膜。此外，作为不提取光一侧的电极优选使用反射可见光的导电膜。
发光元件190至少包括发光层193。作为发光层193以外的层，发光元件190还可以包括包含空穴注入性高的物质、空穴传输性高的物质、空穴阻挡材料、电子传输性高的物质、电子注入性高的物质或双极性的物质(电子传输性及空穴传输性高的物质)等的层。例如，公共层112优选具有空穴注入层和空穴传输层中的一个或两个。公共层114优选具有电子传输层和电子注入层中的一个或两个。
公共层112、发光层193及公共层114可以使用低分子化合物或高分子化合物，还可以包含无机化合物。构成公共层112、发光层193及公共层114的层可以通过蒸镀法(包括真空蒸镀法)、转印法、印刷法、喷墨法、涂敷法等的方法形成。
发光层193也可以包含量子点等无机化合物作为发光材料。
受光元件110的活性层113包含半导体。作为该半导体，可以举出硅等无机半导体及包含有机化合物的有机半导体。在本实施方式中，示出使用有机半导体作为活性层含有的半导体的例子。通过使用有机半导体，可以以同一方法(例如真空蒸镀法)形成发光元件190的发光层193和受光元件110的活性层113，并可以共同使用制造设备，所以是优选的。
作为活性层113含有的n型半导体的材料，可以举出富勒烯(例如C60、C70等)或其衍生物等具有电子接受性的有机半导体材料。此外，作为活性层113含有的p型半导体的材料，可以举出铜(II)酞菁(Copper(II)phthalocyanine:CuPc)或四苯基二苯并二茚并芘(Tetraphenyldibenzoperiflanthene：DBP)等具有电子供给性的有机半导体材料。
例如，优选共蒸镀n型半导体和p型半导体形成活性层113。
作为可用于晶体管的栅极、源极及漏极和构成显示装置的各种布线及电极等导电层的材料，可以举出铝、钛、铬、镍、铜、钇、锆、钼、银、钽或钨等金属或者以上述金属为主要成分的合金等。可以使用包含这些材料的膜的单层或叠层。
此外，作为具有透光性的导电材料，可以使用氧化铟、铟锡氧化物、铟锌氧化物、氧化锌、包含镓的氧化锌等导电氧化物或石墨烯。或者，可以使用金、银、铂、镁、镍、钨、铬、钼、铁、钴、铜、钯或钛等金属材料、包含该金属材料的合金材料。或者，还可以使用该金属材料的氮化物(例如，氮化钛)等。此外，当使用金属材料、合金材料(或者它们的氮化物)时，优选将其形成得薄到具有透光性。此外，可以使用上述材料的叠层膜作为导电层。例如，通过使用银和镁的合金与铟锡氧化物的叠层膜等，可以提高导电性，所以是优选的。上述材料也可以用于构成显示装置的各种布线及电极等的导电层、显示元件所包括的导电层(被用作像素电极及公共电极的导电层)。
作为可用于各绝缘层的绝缘材料，例如可以举出丙烯酸树脂或环氧树脂等树脂、无机绝缘材料如氧化硅、氧氮化硅、氮氧化硅、氮化硅或氧化铝等。
[显示装置100B]
图16A示出显示装置100B的截面图。
显示装置100B与显示装置100A的不同之处主要在于包括透镜149及保护层195。
通过设置覆盖受光元件110及发光元件190的保护层195，可以抑制水等杂质混入受光元件110及发光元件190，由此可以提高受光元件110及发光元件190的可靠性。
在显示装置100B的端部附近的区域228中，优选绝缘层215与保护层195通过绝缘层214的开口彼此接触。尤其是，特别优选绝缘层215含有的无机绝缘膜与保护层195含有的无机绝缘膜彼此接触。由此，可以抑制杂质从外部通过有机绝缘膜混入显示部162。因此，可以提高显示装置100B的可靠性。
图16B示出保护层195具有三层结构的例子。在图16B中，保护层195包括公共电极115上的无机绝缘层195a、无机绝缘层195a上的有机绝缘层195b及有机绝缘层195b上的无机绝缘层195c。
无机绝缘层195a的端部及无机绝缘层195c的端部延伸到有机绝缘层195b的端部的外侧，并且它们彼此接触。此外，无机绝缘层195a通过绝缘层214(有机绝缘层)的开口与绝缘层215(无机绝缘层)接触。由此，可以使用绝缘层215及保护层195包围受光元件110及发光元件190，可以提高受光元件110及发光元件190的可靠性。
像这样，保护层195也可以具有有机绝缘膜和无机绝缘膜的叠层结构。此时，无机绝缘膜的端部优选延伸到有机绝缘膜的端部的外侧。
在衬底152的衬底151一侧的表面设置有透镜149。透镜149的凸面在衬底151一侧。受光元件110的受光区域优选与透镜149重叠且不与发光层193重叠。由此，可以提高使用受光元件110的传感器的灵敏度及精确度。
透镜149的折射率优选为1.3以上且2.5以下。透镜149可以由无机材料或有机材料形成。例如，透镜149可以使用包含树脂的材料。此外，可以将包含氧化物或硫化物的材料用于透镜149。
具体而言，可以将包含氯、溴或碘的树脂、包含重金属原子的树脂、包含芳香环的树脂、包含硫的树脂等用于透镜149。或者，可以将树脂、具有其折射率高于该树脂的材料的纳米粒子的材料用于透镜149。作为纳米粒子，可以使用氧化钛或氧化锆等。
此外，可以将氧化铈、氧化铪、氧化镧、氧化镁、氧化铌、氧化钽、氧化钛、氧化钇、氧化锌、包含铟和锡的氧化物、或者包含铟和镓和锌的氧化物等用于透镜149。或者，可以将硫化锌等用于透镜149。
此外，在显示装置100B中，保护层195和衬底152通过粘合层142贴合。粘合层142与受光元件110及发光元件190重叠，显示装置100B采用固体密封结构。
[显示装置100C]
图17A示出显示装置100C的截面图。
显示装置100C与显示装置100B的不同之处在于晶体管的结构。
显示装置100C在衬底151上包括晶体管208、晶体管209及晶体管210。
晶体管208、晶体管209及晶体管210包括：用作栅极的导电层221；用作栅极绝缘层的绝缘层211；包含沟道形成区域231i及一对低电阻区域231n的半导体层；与一对低电阻区域231n中的一个连接的导电层222a；与一对低电阻区域231n中的另一个连接的导电层222b；用作栅极绝缘层的绝缘层225；用作栅极的导电层223；以及覆盖导电层223的绝缘层215。绝缘层211位于导电层221与沟道形成区域231i之间。绝缘层225位于导电层223与沟道形成区域231i之间。
导电层222a及导电层222b通过设置在绝缘层225及绝缘层215中的开口与低电阻区域231n连接。导电层222a及导电层222b中的一个用作源极，另一个用作漏极。
发光元件190的像素电极191通过导电层222b与晶体管208的一对低电阻区域231n中的一个电连接。
受光元件110的像素电极111通过导电层222b与晶体管209的一对低电阻区域231n中的另一个电连接。
图17A示出绝缘层225覆盖半导体层的顶面及侧面的例子。另一方面，在图17B中，绝缘层225与半导体层231的沟道形成区域231i重叠而不与低电阻区域231n重叠。例如，通过以导电层223为掩模加工绝缘层225，可以制成图17B所示的结构。在图17B中，绝缘层215覆盖绝缘层225及导电层223，并且导电层222a及导电层222b分别通过绝缘层215的开口与低电阻区域231n连接。再者，还可以设置有覆盖晶体管的绝缘层218。
[显示装置100D]
图18示出显示装置100D的截面图。
此外，显示装置100D与显示装置100C的不同之处主要在于不包括衬底151及衬底152而包括衬底153、衬底154、粘合层155、绝缘层212及透镜149。
衬底153和绝缘层212被粘合层155贴合。衬底154和保护层195被粘合层142贴合。
显示装置100D将形成在制造衬底上的绝缘层212、晶体管208、晶体管209、受光元件110及发光元件190等转置在衬底153上而形成。衬底153和衬底154优选具有柔性。由此，可以提高显示装置100D的柔性。
作为绝缘层212，可以使用可以用于绝缘层211、绝缘层213及绝缘层215的无机绝缘膜。
此外，作为显示装置100C示出没有透镜149的例子，而作为显示装置100D示出有透镜149的例子。透镜149根据传感器的用途等适当地设置即可。
[金属氧化物]
以下，将说明可用于半导体层的金属氧化物。
在本说明书等中，有时将包含氮的金属氧化物也称为金属氧化物(metal oxide)。此外，也可以将包含氮的金属氧化物称为金属氧氮化物(metal oxynitride)。例如，可以将锌氧氮化物(ZnON)等含有氮的金属氧化物用于半导体层。
在本说明书等中，有时记载为CAAC(c-axis aligned crystal)或CAC(Cloud-Aligned Composite)。CAAC是指结晶结构的一个例子，CAC是指功能或材料构成的一个例子。
例如，作为半导体层，可以使用CAC(Cloud-Aligned Composite)-OS。
CAC-OS或CAC-metal oxide在材料的一部分中具有导电性的功能，在材料的另一部分中具有绝缘性的功能，作为材料的整个部分具有半导体的功能。此外，在将CAC-OS或CAC-metal oxide用于晶体管的半导体层的情况下，导电性的功能是使被用作载流子的电子(或空穴)流过的功能，绝缘性的功能是不使被用作载流子的电子流过的功能。通过导电性的功能和绝缘性的功能的互补作用，可以使CAC-OS或CAC-metal oxide具有开关功能(开启/关闭的功能)。通过在CAC-OS或CAC-metal oxide中使各功能分离，可以最大限度地提高各功能。
此外，CAC-OS或CAC-metal oxide包括导电性区域及绝缘性区域。导电性区域具有上述导电性的功能，绝缘性区域具有上述绝缘性的功能。此外，在材料中，导电性区域和绝缘性区域有时以纳米粒子级分离。此外，导电性区域和绝缘性区域有时在材料中不均匀地分布。此外，有时观察到其边缘模糊而以云状连接的导电性区域。
此外，在CAC-OS或CAC-metal oxide中，导电性区域和绝缘性区域有时以0.5nm以上且10nm以下，优选为0.5nm以上且3nm以下的尺寸分散在材料中。
此外，CAC-OS或CAC-metal oxide由具有不同带隙的成分构成。例如，CAC-OS或CAC-metal oxide由具有起因于绝缘性区域的宽隙的成分及具有起因于导电性区域的窄隙的成分构成。在该构成中，当使载流子流过时，载流子主要在具有窄隙的成分中流过。此外，具有窄隙的成分通过与具有宽隙的成分的互补作用，与具有窄隙的成分联动而使载流子流过具有宽隙的成分。因此，在将上述CAC-OS或CAC-metal oxide用于晶体管的沟道形成区域时，在晶体管的导通状态中可以得到高电流驱动力，即大通态电流及高场效应迁移率。
就是说，也可以将CAC-OS或CAC-metal oxide称为基质复合材料(matrixcomposite)或金属基质复合材料(metal matrix composite)。
氧化物半导体(金属氧化物)被分为单晶氧化物半导体和非单晶氧化物半导体。作为非单晶氧化物半导体例如有CAAC-OS(c-axis aligned crystalline oxidesemiconductor)、多晶氧化物半导体、nc-OS(nanocrystalline oxide semiconductor)、a-like OS(amorphous-like oxide semiconductor)及非晶氧化物半导体等。
CAAC-OS具有c轴取向性，其多个纳米晶在a-b面方向上连结而结晶结构具有畸变。注意，畸变是指在多个纳米晶连结的区域中晶格排列一致的区域与其他晶格排列一致的区域之间的晶格排列的方向变化的部分。
虽然纳米晶基本上是六角形，但是并不局限于正六角形，有不是正六角形的情况。此外，在畸变中有时具有五角形或七角形等晶格排列。此外，在CAAC-OS中，即使在畸变附近也难以观察到明确的晶界(grain boundary)。即，可知由于晶格排列畸变，可抑制晶界的形成。这是由于CAAC-OS因为a-b面方向上的氧原子排列的低密度或因金属元素被取代而使原子间的键合距离产生变化等而能够包容畸变。
CAAC-OS有具有层状结晶结构(也称为层状结构)的倾向，在该层状结晶结构中层叠有包含铟及氧的层(下面称为In层)和包含元素M、锌及氧的层(下面称为(M,Zn)层)。此外，铟和元素M彼此可以取代，在用铟取代(M,Zn)层中的元素M的情况下，也可以将该层表示为(In,M,Zn)层。此外，在用元素M取代In层中的铟的情况下，也可以将该层表示为(In,M)层。
CAAC-OS是结晶性高的金属氧化物。另一方面，在CAAC-OS中不容易观察明确的晶界，因此不容易发生起因于晶界的电子迁移率的下降。此外，金属氧化物的结晶性有时因杂质的进入或缺陷的生成等而降低，因此可以说CAAC-OS是杂质或缺陷(氧空位(也称为VO：oxygen vacancy)等)少的金属氧化物。因此，包含CAAC-OS的金属氧化物的物理性质稳定。因此，包含CAAC-OS的金属氧化物具有高耐热性及高可靠性。
在nc-OS中，微小的区域(例如1nm以上且10nm以下的区域，特别是1nm以上且3nm以下的区域)中的原子排列具有周期性。此外，nc-OS在不同的纳米晶之间观察不到结晶取向的规律性。因此，在膜整体中观察不到取向性。所以，有时nc-OS在某些分析方法中与a-likeOS或非晶氧化物半导体没有差别。
此外，在包含铟、镓和锌的金属氧化物的一种的铟-镓-锌氧化物(以下，IGZO)有时在由上述纳米晶构成时具有稳定的结构。尤其是，IGZO有在大气中不容易进行晶体生长的倾向，所以有时与在IGZO由大结晶(在此，几mm的结晶或者几cm的结晶)形成时相比在IGZO由小结晶(例如，上述纳米结晶)形成时在结构上稳定。
a-like OS是具有介于nc-OS与非晶氧化物半导体之间的结构的金属氧化物。a-like OS包含空洞或低密度区域。也就是说，a-like OS的结晶性比nc-OS及CAAC-OS的结晶性低。
氧化物半导体(金属氧化物)具有各种结构及各种特性。本发明的一个方式的氧化物半导体也可以包括非晶氧化物半导体、多晶氧化物半导体、a-like OS、nc-OS、CAAC-OS中的两种以上。
用作半导体层的金属氧化物膜可以使用非活性气体和氧气体中的任一个或两个形成。注意，对形成金属氧化物膜时的氧流量比(氧分压)没有特别的限制。但是，在要获得场效应迁移率高的晶体管的情况下，形成金属氧化物膜时的氧流量比(氧分压)优选为0％以上且30％以下，更优选为5％以上且30％以下，进一步优选为7％以上且15％以下。
金属氧化物的能隙优选为2eV以上，更优选为2.5eV以上，进一步优选为3eV以上。如此，通过使用能隙宽的金属氧化物，可以减少晶体管的关态电流。
形成金属氧化物膜时的衬底温度优选为350℃以下，更优选为室温以上且200℃以下，进一步优选为室温以上且130℃以下。形成金属氧化物膜时的衬底温度优选为室温，由此可以提高生产率。
金属氧化物膜可以通过溅射法形成。除此之外，例如还可以利用PLD法、PECVD法、热CVD法、ALD法、真空蒸镀法等。
如上所述，本实施方式的显示装置在显示部包括受光元件及发光元件，该显示部具有显示图像的功能及检测光的功能的双方。由此，与传感器设置在显示部的外部或显示装置的外部的情况相比，可以实现电子设备的小型化及轻量化。此外，也可以与设置在显示部的外部或显示装置的外部的传感器组合来实现更多功能的电子设备。
受光元件的活性层以外的至少一个层可以与发光元件(EL元件)相同。此外，受光元件的活性层以外的所有层也可以与发光元件(EL元件)相同。例如，只要对发光元件的制造工序追加形成活性层的工序，就可以在同一衬底上形成发光元件及受光元件。此外，受光元件及发光元件可以使用同一材料及同一工序形成像素电极及公共电极。此外，通过使用同一材料及同一工序制造电连接于受光元件的电路及电连接于发光元件的电路，可以简化显示装置的制造工序。由此，可以在不经复杂的工序的情况下制造内置有受光元件的方便性高的显示装置。
此外，本实施方式的显示装置在受光元件与发光元件之间包括着色层。该着色层也可以兼作电绝缘着受光元件和发光元件的分隔壁。因为着色层能够吸收显示装置内的杂散光，所以可以提高使用受光元件的传感器的灵敏度。
本实施方式所示的结构实例及对应于这些例子的附图等的至少一部分可以与其他结构实例或附图等适当地组合而实施。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
(实施方式3)
在本实施方式中，参照图19说明本发明的一个方式的显示装置。
本发明的一个方式的显示装置包括具有受光元件的第一像素电路及具有发光元件的第二像素电路。第一像素电路及第二像素电路各自配置为矩阵形状。
图19A示出具有受光元件的第一像素电路的一个例子，而图19B示出具有发光元件的第二像素电路的一个例子。
图19A所示的像素电路PIX1包括受光元件PD、晶体管M1、晶体管M2、晶体管M3、晶体管M4及电容元件C1。这里，示出使用光电二极管作为受光元件PD的例子。
受光元件PD的阳极与布线V1电连接，阴极与晶体管M1的源极和漏极中的一个电连接。晶体管M1的栅极与布线TX电连接，源极和漏极中的另一个与电容元件C1的一个电极、晶体管M2的源极和漏极中的一个及晶体管M3的栅极电连接。晶体管M2的栅极与布线RES电连接，源极和漏极中的另一个与布线V2电连接。晶体管M3的源极和漏极中的一个与布线V3电连接，源极和漏极中的另一个与晶体管M4的源极和漏极中的一个电连接。晶体管M4的栅极与布线SE电连接，源极和漏极中的另一个与布线OUT1电连接。
布线V1、布线V2及布线V3各自被供应恒定电位。当以反向偏压驱动受光元件PD时，将高于布线V1的电位供应到布线V2。晶体管M2被供应到布线RES的信号控制，使得连接于晶体管M3的栅极的节点的电位复位至供应到布线V2的电位。晶体管M1被供应到布线TX的信号控制，根据流过受光元件PD的电流控制上述节点的电位变化的时序。晶体管M3用作根据上述节点的电位输出的放大晶体管。晶体管M4被供应到布线SE的信号控制，用作选择晶体管，该选择晶体管用来使用连接于布线OUT1的外部电路读出根据上述节点的电位的输出。
图19B所示的像素电路PIX2包括发光元件EL、晶体管M5、晶体管M6、晶体管M7及电容元件C2。这里，示出使用发光二极管作为发光元件EL的例子。尤其是，作为发光元件EL，优选使用有机EL元件。
晶体管M5的栅极与布线VG电连接，源极和漏极中的一个与布线VS电连接，源极和漏极中的另一个与电容元件C2的一个电极及晶体管M6的栅极电连接。晶体管M6的源极和漏极中的一个与布线V4电连接，源极和漏极中的另一个与发光元件EL的阳极及晶体管M7的源极和漏极中的一个电连接。晶体管M7的栅极与布线MS电连接，源极和漏极中的另一个与布线OUT2电连接。发光元件EL的阴极与布线V5电连接。
布线V4及布线V5各自被供应恒定电位。可以将发光元件EL的阳极一侧和阴极一侧分别设定为高电位和低于阳极一侧的电位。晶体管M5被供应到布线VG的信号控制，用作用来控制像素电路PIX2的选择状态的选择晶体管。此外，晶体管M6用作根据供应到栅极的电位控制流过发光元件EL的电流的驱动晶体管。当晶体管M5处于导通状态时，供应到布线VS的电位被供应到晶体管M6的栅极，可以根据该电位控制发光元件EL的发光亮度。晶体管M7被供应到布线MS的信号控制，将晶体管M6与发光元件EL之间的电位通过布线OUT2输出到外部。
在本实施方式的显示装置中，也可以使发光元件以脉冲方式发光，以显示图像。通过缩短发光元件的驱动时间，可以降低显示装置的耗电量并抑制发热。尤其是，有机EL元件的频率特性优异，所以是优选的。例如，频率可以为1kHz以上且100MHz以下。
这里，像素电路PIX1所包括的晶体管M1、晶体管M2、晶体管M3及晶体管M4、像素电路PIX2所包括的晶体管M5、晶体管M6及晶体管M7优选使用形成其沟道的半导体层含有金属氧化物(氧化物半导体)的晶体管。
使用其带隙比硅宽且载流子密度低的金属氧化物的晶体管可以实现极低的关态电流。由于其关态电流低，因此能够长期间保持储存于与晶体管串联连接的电容元件中的电荷。因此，尤其是，与电容元件C1或电容元件C2串联连接的晶体管M1、晶体管M2、晶体管M5优选使用含有氧化物半导体的晶体管。此外，除此以外的晶体管也同样使用含有氧化物半导体的晶体管，由此可以降低制造成本。
此外，晶体管M1至晶体管M7也可以使用形成其沟道的半导体含有硅的晶体管。尤其是，通过使用单晶硅或多晶硅等结晶性高的硅，可以实现高场效应迁移率，能够进行更高速度的工作。
此外，晶体管M1至晶体管M7中的一个以上可以使用含有氧化物半导体的晶体管，除此以外的晶体管可以使用含有硅的晶体管。
图19A和图19B示出n沟道型晶体管，但是也可以使用p沟道型晶体管。
像素电路PIX1所包括的晶体管与像素电路PIX2所包括的晶体管优选排列在同一衬底上。尤其优选像素电路PIX1所包括的晶体管和像素电路PIX2所包括的晶体管优选混合形成在一个区域内并周期性地排列。
此外，优选在与受光元件PD或发光元件EL重叠的位置设置一个或多个包括晶体管和电容元件中的一个或两个的层。由此，可以减少各像素电路的实效占有面积，从而可以实现高清晰度的受光部或显示部。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
(实施方式4)
在本实施方式中，参照图20至图22对本发明的一个方式的电子设备进行说明。
本实施方式的电子设备包括本发明的一个方式的显示装置。例如，可以将本发明的一个方式的显示装置用于电子设备的显示部。因为本发明的一个方式的显示装置具有检测光的功能，所以可以在显示部进行生物识别或者检测出触摸或靠近。由此，可以提高电子设备的功能性及方便性。
作为电子设备，例如除了电视装置、台式或笔记本型个人计算机、用于计算机等的显示器、数字标牌、弹珠机等大型游戏机等具有较大的屏幕的电子设备以外，还可以举出数码相机、数码摄像机、数码相框、移动电话机、便携式游戏机、便携式信息终端、声音再现装置等。
本实施方式的电子设备也可以包括传感器(该传感器具有测量如下因素的功能：力、位移、位置、速度、加速度、角速度、转速、距离、光、液、磁、温度、化学物质、声音、时间、硬度、电场、电流、电压、电力、辐射线、流量、湿度、倾斜度、振动、气味或红外线)。
本实施方式的电子设备可以具有各种功能。例如，可以具有如下功能：将各种信息(静态图像、动态图像、文字图像等)显示在显示部上的功能；触摸面板的功能；显示日历、日期或时间等的功能；执行各种软件(程序)的功能；进行无线通信的功能；读出储存在存储介质中的程序或数据的功能；等。
图20A所示的电子设备6500是可以用作智能手机的便携式信息终端设备。
电子设备6500包括外壳6501、显示部6502、电源按钮6503、按钮6504、扬声器6505、麦克风6506、照相机6507及光源6508等。显示部6502具有触摸面板功能。
显示部6502可以使用本发明的一个方式的显示装置。
图20B是包括外壳6501的麦克风6506一侧的端部的截面示意图。
外壳6501的显示面一侧设置有具有透光性的保护构件6510，被外壳6501及保护构件6510包围的空间内设置有显示面板6511、光学构件6512、触摸传感器面板6513、印刷电路板6517、电池6518等。
显示面板6511、光学构件6512及触摸传感器面板6513使用粘合层(未图示)固定到保护构件6510。
在显示部6502的外侧的区域中，显示面板6511的一部分叠回，且该叠回部分连接有FPC6515。FPC6515安装有IC6516。FPC6515与设置于印刷电路板6517的端子连接。
显示面板6511可以使用本发明的一个方式的柔性显示器。由此，可以实现极轻量的电子设备。此外，由于显示面板6511极薄，所以可以在抑制电子设备的厚度的情况下安装大容量的电池6518。此外，通过折叠显示面板6511的一部分以在像素部的背面设置与FPC6515的连接部，可以实现窄边框的电子设备。
图21A示出电视装置的一个例子。在电视装置7100中，框体7101中组装有显示部7000。在此示出利用支架7103支撑框体7101的结构。
可以对显示部7000适用本发明的一个方式的显示装置。
可以通过利用框体7101所具备的操作开关或另外提供的遥控操作机7111进行图21A所示的电视装置7100的操作。此外，也可以在显示部7000中具备触摸传感器，也可以通过用指头等触摸显示部7000进行电视装置7100的操作。此外，也可以在遥控操作机7111中具备显示从该遥控操作机7111输出的数据的显示部。通过利用遥控操作机7111所具备的操作键或触摸面板，可以进行频道及音量的操作，并可以对显示在显示部7000上的影像进行操作。
此外，电视装置7100具备接收机及调制解调器等。可以通过利用接收机接收一般的电视广播。再者，通过调制解调器连接到有线或无线方式的通信网络，从而进行单向(从发送者到接收者)或双向(发送者和接收者之间或接收者之间等)的信息通信。
图21B示出笔记型个人计算机的一个例子。笔记型个人计算机7200包括框体7211、键盘7212、指向装置7213、外部连接端口7214等。在框体7211中组装有显示部7000。
可以对显示部7000适用本发明的一个方式的显示装置。
图21C和图21D示出数字标牌的一个例子。
图21C所示的数字标牌7300包括框体7301、显示部7000及扬声器7303等。此外，还可以包括LED灯、操作键(包括电源开关或操作开关)、连接端子、各种传感器、麦克风等。
图21D示出设置于圆柱状柱子7401上的数字标牌7400。数字标牌7400包括沿着柱子7401的曲面设置的显示部7000。
在图21C和图21D中，可以对显示部7000适用本发明的一个方式的显示装置。
显示部7000越大，一次能够提供的信息量越多。显示部7000越大，越容易吸引人的注意，例如可以提高广告宣传效果。
通过将触摸面板用于显示部7000，不仅可以在显示部7000上显示静态图像或动态图像，用户还能够直觉性地进行操作，所以是优选的。此外，在用于提供线路信息或交通信息等信息的用途时，可以通过直觉性的操作提高易用性。
如图21C和图21D所示，数字标牌7300或数字标牌7400优选可以通过无线通信与用户所携带的智能手机等信息终端设备7311或信息终端设备7411联动。例如，显示在显示部7000上的广告信息可以显示在信息终端设备7311或信息终端设备7411的屏幕上。此外，通过操作信息终端设备7311或信息终端设备7411，可以切换显示部7000的显示。
此外，可以在数字标牌7300或数字标牌7400上以信息终端设备7311或信息终端设备7411的屏幕为操作单元(控制器)执行游戏。由此，不特定多个用户可以同时参加游戏，享受游戏的乐趣。
图22A至图22F所示的电子设备包括框体9000、显示部9001、扬声器9003、操作键9005(包括电源开关或操作开关)、连接端子9006、传感器9007(该传感器具有测量如下因素的功能：力、位移、位置、速度、加速度、角速度、转速、距离、光、液、磁、温度、化学物质、声音、时间、硬度、电场、电流、电压、电力、辐射线、流量、湿度、倾斜度、振动、气味或红外线)、麦克风9008等。
图22A至图22F所示的电子设备具有各种功能。例如，可以具有如下功能：将各种信息(静态图像、动态图像及文字图像等)显示在显示部上的功能；触摸面板的功能；显示日历、日期或时间等的功能；通过利用各种软件(程序)控制处理的功能；进行无线通信的功能；读出储存在存储介质中的程序或数据并进行处理的功能；等。注意，电子设备可具有的功能不局限于上述功能，而可以具有各种功能。电子设备可以包括多个显示部。此外，也可以在电子设备中设置照相机等而使其具有如下功能：拍摄静态图像或动态图像，且将所拍摄的图像储存在存储介质(外部存储介质或内置于照相机的存储介质)中的功能；将所拍摄的图像显示在显示部上的功能；等。
下面，详细地说明图22A至图22F所示的电子设备。
图22A是示出便携式信息终端9101的立体图。可以将便携式信息终端9101例如用作智能手机。注意，在便携式信息终端9101中，也可以设置扬声器9003、连接端子9006、传感器9007等。此外，作为便携式信息终端9101，可以将文字或图像信息显示在其多个面上。在图22A中示出三个图标9050的例子。此外，可以将以虚线的矩形示出的信息9051显示在显示部9001的其他面上。作为信息9051的一个例子，可以举出提示收到电子邮件、SNS或电话等的信息；电子邮件或SNS等的标题；电子邮件或SNS等的发送者姓名；日期；时间；电池余量；以及天线接收信号强度的显示等。或者，可以在显示有信息9051的位置上显示图标9050等。
图22B是示出便携式信息终端9102的立体图。便携式信息终端9102具有将信息显示在显示部9001的三个以上的面上的功能。在此，示出信息9052、信息9053、信息9054分别显示于不同的面上的例子。例如，在将便携式信息终端9102放在上衣口袋里的状态下，用户能够确认显示在从便携式信息终端9102的上方看到的位置上的信息9053。用户可以确认到该显示而无需从口袋里拿出便携式信息终端9102，由此能够判断是否接电话。
图22C是示出手表型便携式信息终端9200的立体图。可以将便携式信息终端9200例如用作智能手表。此外，显示部9001的显示面弯曲，可沿着其弯曲的显示面进行显示。此外，便携式信息终端9200例如通过与可进行无线通信的耳麦相互通信可以进行免提通话。此外，通过利用连接端子9006，便携式信息终端9200可以与其他信息终端进行数据传输或进行充电。充电也可以通过无线供电进行。
图22D至图22F是示出可以折叠的便携式信息终端9201的立体图。此外，图22D是将便携式信息终端9201展开的状态的立体图、图22F是折叠的状态的立体图、图22E是从图22D的状态和图22F的状态中的一个转换成另一个时中途的状态的立体图。便携式信息终端9201在折叠状态下可携带性好，而在展开状态下因为具有无缝拼接较大的显示区域所以显示的浏览性强。便携式信息终端9201所包括的显示部9001被由铰链9055连结的三个框体9000支撑。显示部9001例如可以在曲率半径0.1mm以上且150mm以下的范围弯曲。
本实施方式所示的结构实例及对应于这些例子的附图等的至少一部分可以与其他结构实例或附图等适当地组合而实施。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
[实施例]
在本实施例中，说明通过本发明的一个方式的图像处理方法进行图像处理的结果。
图23A示出拍摄指纹的一部分的原来的图像。图23A所示的原来的图像的图像数据的图像尺寸为51×43像素，是各像素8bit(256)灰度的单色的灰度级的位地址数据。
接着，从上述原来的图像的图像数据假设生成有模糊的图像数据。具体而言，以一个像素的灰度值成为将以该像素为中心的3×3像素的灰度值加在一起的灰度值的方式生成图像数据。该处理相当于在实施方式1所示的摄像模块中一个摄像元件的摄像区域假设为像素间距的3倍的范围的情况。
图23B示出经过处理的图像数据的图像。这里示出以各像素的灰度值为8bit的方式下变频(downconvert)的图像数据的图像。如图23B所示，可以得到与原来的图像相比轮廓模糊且对比度降低的图像。
接着，对图23B利用实施方式1的例子2中示出的方法进行图像处理。这里，通过作为初始值供应图23A所示的原来的图像的图像数据中的上侧3列及左侧3列的像素的灰度值，归纳决定剩下的像素的灰度值。
图23C示出图像校正后的图像数据的图像。注意，图23C中的由虚线围绕的上侧3列及左侧3列的像素是作为初始值供应的图23A的原来的图像的一部分。如图23C所示，由虚线围绕的范围以外的区域的图像与原来图像的图23A大致一致，由此可知可以精确地恢复。
如上所述，可确认到通过使用本发明的一个方式的图像处理方法，可以使模糊产生的图像变清晰。
[符号说明]
IS：摄像模块、D0、D1：图像、Pi、Pij：摄像元件、Ai、Aij：区域、Si、Sij：区域、Xi、Xij：区域、Yi、Yij：区域、WP：间距、WA：宽度、800：摄像装置、801：摄像部、802：控制部、803：存储部、804：程序、805：输出部。
Claims (9)
1.一种排列多个像素的图像数据的图像处理方法，
其中，将相邻的两个像素分别分为在相邻的两个像素间示出相同的像素值的第一区域及第一区域以外的第二区域，
对所述图像数据的最外端的像素的所述第二区域供应初始值，
并且，根据该初始值依次归纳决定所排列的多个像素的所述第一区域及所述第二区域的像素值。
2.一种多个像素排列为矩阵形状的图像数据的图像处理方法，
其中，将2×2的像素分别分为示出与相邻的像素相同的像素值的第一区域及第一区域以外的第二区域，
对所述图像数据的最外端的2×2的像素中最外周的三个像素的所述第二区域分别供应初始值，根据该初始值决定剩下的一个像素的所述第一区域及所述第二区域的像素值，
并且，根据所决定的所述第一区域及所述第二区域的像素值，依次归纳决定所排列的多个像素的所述第一区域及所述第二区域的像素值。
3.一种排列多个像素的图像数据的图像处理方法，
其中，所述图像数据包括最外端的具有第一像素值的第一像素、与所述第一像素相邻且具有第二像素值的第二像素，
将所述第一像素分为包括第三像素值的第一区域及包括第四像素值的第二区域，
将所述第二像素分为包括第五像素值的第三区域及所述第二区域，
并且，通过对所述第三像素值供应初始值，从所述第一像素值、所述第二像素值及所述第三像素值决定所述第五像素值。
4.根据权利要求1所述的图像处理方法，
其中所述图像数据包括与所述第二像素相邻且具有第六像素值的第三像素，
将所述第二像素分为具有第七像素值的第四区域及具有第八像素值的第五区域，
将所述第三像素分为具有第九像素值的第六区域及所述第五区域，
从所述第一像素值、所述第二像素值及所述第三像素值决定所述第四像素值，
并且从所述第二像素值、所述第四像素值、所述第五像素值、所述第六像素值决定所述第九像素值。
5.一种包括程序的装置，所述程序使计算机执行：
读出排列多个像素的图像数据的步骤；
将相邻的两个像素分别分为示出相同的像素值的第一区域及所述第一区域以外的第二区域的步骤；
对所述图像数据的最外端的像素的所述第二区域供应初始值的步骤；以及
根据该初始值依次归纳决定所排列的多个像素的所述第一区域及所述第二区域的像素值的步骤。
6.一种包括程序的装置，所述程序使计算机执行：
读出排列多个像素的图像数据的步骤；
将2×2的像素分别分为示出与相邻的像素相同的像素值的第一区域及所述第一区域以外的第二区域的步骤；
对所述图像数据的最外端的2×2的像素中最外周的三个像素的所述第二区域分别供应初始值的步骤；
根据所述初始值决定剩下的一个像素的所述第一区域及所述第二区域的像素值的步骤；以及
根据所决定的所述第一区域及所述第二区域的像素值依次归纳决定所排列的多个像素的所述第一区域及所述第二区域的像素值的步骤。
7.一种包括程序的装置，所述程序使计算机执行：
在排列多个像素的图像数据中，读出包括最外端的具有第一像素值的第一像素、与所述第一像素相邻且具有第二像素值的第二像素的所述图像数据的步骤；
将所述第一像素分为具有第三像素值的第一区域及具有第四像素值的第二区域的步骤；
将所述第二像素分为具有第五像素值的第三区域及所述第二区域的步骤；
对所述第三像素值供应初始值的步骤；以及
从所述第一像素值、所述第二像素值及所述第三像素值决定所述第五像素值的步骤。
8.根据权利要求7所述的装置，
其中所述图像数据包括与所述第二像素相邻且具有第六像素值的第三像素，
并且该程序使计算机执行的步骤包括：
将所述第二像素分为具有第七像素值的第四区域及具有第八像素值的第五区域的步骤；
将所述第三像素分为具有第九像素值的第六区域及所述第五区域的步骤；
从所述第一像素值、所述第二像素值及所述第三像素值决定所述第四像素值的步骤；以及
从所述第二像素值、所述第四像素值、所述第五像素值、所述第六像素值决定所述第九像素值的步骤。
9.一种摄像装置，包括：
储存权利要求5至8中任一项所述的程序的存储部；
执行所述程序的控制部；以及
拍摄所述图像数据的摄像部，
其中，所述摄像部包括取得对应于每个像素的像素值的多个像素电路，
并且，所述多个像素电路中的相邻的两个像素电路彼此重叠摄像范围的一部分。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018183995 | 2018-09-28 | ||
| JP2018-183995 | 2018-09-28 | ||
| PCT/IB2019/057791 WO2020065442A1 (ja) | 2018-09-28 | 2019-09-17 | 画像処理方法、プログラム、及び撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112771840A CN112771840A (zh) | 2021-05-07 |
| CN112771840B true CN112771840B (zh) | 2023-07-25 |
Family
ID=69949588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980063361.1A Active CN112771840B (zh) | 2018-09-28 | 2019-09-17 | 图像处理方法和装置及摄像装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11631708B2 (zh) |
| JP (1) | JP7395490B2 (zh) |
| KR (1) | KR20210068467A (zh) |
| CN (1) | CN112771840B (zh) |
| WO (1) | WO2020065442A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114207564A (zh) | 2019-08-02 | 2022-03-18 | 株式会社半导体能源研究所 | 功能面板、显示装置、输入输出装置、数据处理装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104115484A (zh) * | 2012-02-07 | 2014-10-22 | 阿尔卡特朗讯 | 无透镜压缩图像采集 |
| CN104662887A (zh) * | 2012-09-21 | 2015-05-27 | 佳能株式会社 | 图像处理设备、图像处理方法、程序和具有该图像处理设备的摄像设备 |
| CN104813648A (zh) * | 2012-12-11 | 2015-07-29 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及图像处理程序 |
| CN105594197A (zh) * | 2013-09-27 | 2016-05-18 | 富士胶片株式会社 | 摄像装置及摄像方法 |
| CN105794195A (zh) * | 2014-10-27 | 2016-07-20 | 松下知识产权经营株式会社 | 图像形成系统、图像形成方法、拍摄元件以及程序 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101645680B1 (ko) | 2009-11-06 | 2016-08-04 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 반도체 장치 |
| WO2011119678A2 (en) | 2010-03-23 | 2011-09-29 | California Institute Of Technology | Super resolution optofluidic microscopes for 2d and 3d imaging |
| US8644376B2 (en) | 2010-09-30 | 2014-02-04 | Alcatel Lucent | Apparatus and method for generating compressive measurements of video using spatial and temporal integration |
| US9344736B2 (en) | 2010-09-30 | 2016-05-17 | Alcatel Lucent | Systems and methods for compressive sense imaging |
| US20130201343A1 (en) | 2012-02-07 | 2013-08-08 | Hong Jiang | Lenseless compressive image acquisition |
| US9319578B2 (en) | 2012-10-24 | 2016-04-19 | Alcatel Lucent | Resolution and focus enhancement |
| US9236408B2 (en) | 2012-04-25 | 2016-01-12 | Semiconductor Energy Laboratory Co., Ltd. | Oxide semiconductor device including photodiode |
| EP2881914B1 (en) | 2012-09-24 | 2018-04-25 | Sony Corporation | Image processing apparatus, image processing program and image processing method |
| US9881954B2 (en) | 2014-06-11 | 2018-01-30 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device |
| JP6545541B2 (ja) | 2014-06-25 | 2019-07-17 | 株式会社半導体エネルギー研究所 | 撮像装置、監視装置、及び電子機器 |
| EP3162072A1 (en) | 2014-06-26 | 2017-05-03 | Alcatel Lucent | Systems and methods for compressive sense imaging |
| EP3162073A1 (en) | 2014-06-30 | 2017-05-03 | Alcatel Lucent | Compressive sense imaging |
| US9860465B2 (en) * | 2015-06-23 | 2018-01-02 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device and electronic device |
| US10373991B2 (en) | 2015-08-19 | 2019-08-06 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device, operating method thereof, and electronic device |
| WO2018012492A1 (ja) | 2016-07-13 | 2018-01-18 | ソニー株式会社 | 撮像装置、撮像素子、および画像処理装置 |
-
2019
- 2019-09-17 US US17/277,781 patent/US11631708B2/en active Active
- 2019-09-17 JP JP2020547473A patent/JP7395490B2/ja active Active
- 2019-09-17 WO PCT/IB2019/057791 patent/WO2020065442A1/ja active Application Filing
- 2019-09-17 KR KR1020217011661A patent/KR20210068467A/ko unknown
- 2019-09-17 CN CN201980063361.1A patent/CN112771840B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104115484A (zh) * | 2012-02-07 | 2014-10-22 | 阿尔卡特朗讯 | 无透镜压缩图像采集 |
| CN104662887A (zh) * | 2012-09-21 | 2015-05-27 | 佳能株式会社 | 图像处理设备、图像处理方法、程序和具有该图像处理设备的摄像设备 |
| CN104813648A (zh) * | 2012-12-11 | 2015-07-29 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及图像处理程序 |
| CN105594197A (zh) * | 2013-09-27 | 2016-05-18 | 富士胶片株式会社 | 摄像装置及摄像方法 |
| CN105794195A (zh) * | 2014-10-27 | 2016-07-20 | 松下知识产权经营株式会社 | 图像形成系统、图像形成方法、拍摄元件以及程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210068467A (ko) | 2021-06-09 |
| WO2020065442A1 (ja) | 2020-04-02 |
| JP7395490B2 (ja) | 2023-12-11 |
| US20220344391A1 (en) | 2022-10-27 |
| US11631708B2 (en) | 2023-04-18 |
| CN112771840A (zh) | 2021-05-07 |
| JPWO2020065442A1 (ja) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7478097B2 (ja) | 表示装置 | |
| CN113383611A (zh) | 显示装置、显示模块及电子设备 | |
| JP7257460B2 (ja) | Ｉｃチップ | |
| WO2020136495A1 (ja) | 表示装置 | |
| WO2020148604A1 (ja) | 表示装置および電子機器 | |
| TW202119380A (zh) | 顯示裝置、顯示模組及電子裝置 | |
| CN114026696A (zh) | 显示装置、显示模块及电子设备 | |
| JP7495847B2 (ja) | 表示装置 | |
| WO2021048683A1 (ja) | 撮像装置、撮像モジュール、電子機器及び撮像方法 | |
| CN112771840B (zh) | 图像处理方法和装置及摄像装置 | |
| JP7195387B2 (ja) | 半導体装置、撮像装置、および表示装置 | |
| TW202201366A (zh) | 顯示裝置及電子裝置 | |
| CN112673488B (zh) | 显示装置、显示模块及电子设备 | |
| TWI845544B (zh) | 顯示裝置、顯示模組及電子裝置 | |
| WO2021064509A1 (ja) | 表示装置 | |
| JP2024096176A (ja) | 表示装置、表示モジュールおよび電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |