CN107736016B - 图像传感器和电子装置 - Google Patents
图像传感器和电子装置 Download PDFInfo
- Publication number
- CN107736016B CN107736016B CN201680036414.7A CN201680036414A CN107736016B CN 107736016 B CN107736016 B CN 107736016B CN 201680036414 A CN201680036414 A CN 201680036414A CN 107736016 B CN107736016 B CN 107736016B
- Authority
- CN
- China
- Prior art keywords
- size
- image
- full
- unit
- processed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
本发明的公开内容涉及:能够输出基于图像传感器的全尺寸原始图像的且彼此不同的多组图像数据的一种图像传感器;以及一种电子装置。根据本公开的第一方面的图像传感器配备有:像素单元,用于通过使用多个光电转换元件,响应于入射光来生成全尺寸原始图像;保存单元,具有能够至少保存全尺寸原始图像的容量;图像处理单元,用于通过对全尺寸原始图像执行预定图像处理来生成全尺寸处理图像;以及修改单元,用于修改全尺寸处理图像的尺寸,以生成尺寸修改处理图像。图像传感器输出全尺寸处理图像和尺寸修改处理图像。本公开可以应用于其中搭载例如DRAM的CMOS图像传感器。
Description
技术领域
本公开涉及一种图像传感器和一种电子装置,并且具体涉及能够在与来自系统的请求对应的时刻(timing)输出多条图像数据的一种图像传感器和一种电子装置。
背景技术
传统上,由于诸如尺寸或成本等问题,难以在安装有诸如CMOS或CCD等成像元件的图像传感器中安装具有能够照原样保存所有像素的像素数据(以下也称为全尺寸原始图像)的容量的存储器。
然而,近年来,能够在图像传感器中安装可以保存全尺寸原始图像的存储器(例如,参考专利文献1)。
现有技术文献
专利文献
专利文献1:日本专利No.4337549
发明内容
本发明要解决的问题
探求其中安装了能够保存全尺寸原始图像的存储器的图像传感器的各种使用方法。
考虑到这种情况,提供本公开,并且使得可以从安装有存储器的图像传感器中输出基于全尺寸原始图像的多条不同的图像数据。
问题的解决方案
作为本公开的第一方面的一种图像传感器包括:像素单元,其利用多个光电转换元件来生成与入射光对应的全尺寸原始图像;保存单元,其具有能够至少保存全尺寸原始图像的容量;图像处理单元,其通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理来生成全尺寸处理图像;以及修改单元,其通过修改全尺寸处理图像的尺寸来生成尺寸修改处理图像,其中,输出所述全尺寸处理图像和所述尺寸修改处理图像。
在作为本公开的第一方面的图像传感器中,所述保存单元可以具有能够至少保存全尺寸原始图像、全尺寸处理图像和尺寸修改处理图像的容量,所述像素单元可以使保存单元保存所生成的全尺寸原始图像,所述图像处理单元可以使保存单元保存通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理而生成的全尺寸处理图像,并且所述修改单元可以使所述保存单元保存通过修改所述全尺寸处理图像的尺寸而生成的尺寸修改处理图像。还可以包括选择输出单元,其从所述保存单元选择地读取所述全尺寸处理图像或尺寸修改处理图像并执行所选图像的输出。
在作为本公开的第一方面的图像传感器中,所述像素单元可以使所述保存单元保存所生成的全尺寸原始图像,所述图像处理单元可以输出通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理而生成的全尺寸处理图像,并且还将其提供给所述修改单元,并且所述修改单元可以输出通过修改由所述图像处理单元提供的全尺寸处理图像的尺寸而生成的尺寸修改处理图像。
在作为本公开的第一方面的图像传感器中,所述像素单元可以使所述保存单元保存所生成的全尺寸原始图像,所述图像处理单元可以向所述修改单元提供通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理而生成的全尺寸处理图像,并且所述修改单元可以输出通过修改由所述图像处理单元提供的全尺寸处理图像的尺寸而生成的尺寸修改处理图像,并且还可以直接输出由所述图像处理单元提供的全尺寸处理图像。
在作为本公开的第一方面的图像传感器中,所述保存单元可以具有至少能够保存所述全尺寸原始图像和所述全尺寸处理图像的容量,所述像素单元可以使所述保存单元保存所生成的全尺寸原始图像,所述图像处理单元可以使所述保存单元保存通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理而生成的全尺寸处理图像,并且所述修改单元可以输出通过修改从所述保存单元读取的全尺寸处理图像的尺寸而生成的尺寸修改处理图像,并且还可以直接输出从所述保存单元读取的全尺寸处理图像。
在作为本公开的第一方面的图像传感器中,所述保存单元可以具有至少能够保存所述全尺寸原始图像和所述全尺寸处理图像的容量,所述像素单元可以使保存单元保存所生成的全尺寸原始图像,所述图像处理单元可以向所述修改单元提供通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理而生成的全尺寸处理图像,并且还使所述保存单元保存该图像,并且所述修改单元可以输出通过修改由所述图像处理单元提供的全尺寸处理图像的尺寸而生成的尺寸修改处理图像,并且还可以直接输出从所述保存单元读取的全尺寸处理图像。
在作为本公开的第一方面的图像传感器中,所述保存单元可以具有至少能够保存所述全尺寸原始图像和所述尺寸修改处理图像的容量,所述像素单元可以使保存单元保存所生成的全尺寸原始图像,所述图像处理单元可以输出通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理而生成的全尺寸处理图像,并且还可以将其提供给所述修改单元,并且所述修改单元可以使所述保存单元保存通过修改由所述图像处理单元提供的全尺寸处理图像的尺寸而生成的尺寸修改处理图像。还可以包括输出单元,其选择地从所述保存单元读取尺寸修改处理图像并执行其输出。
作为本公开的第一方面的图像传感器还可以包括尺寸缩小单元,其通过缩小由所述像素单元生成的全尺寸原始图像的尺寸来生成尺寸缩小的原始图像。所述保存单元可以具有至少能够保存全尺寸原始图像和尺寸缩小的原始图像的容量,所述像素单元可以将所生成的全尺寸原始图像提供给尺寸缩小单元,并且还使所述保存单元保存该图像,所述尺寸缩小单元可以使所述保存单元保存通过缩小全尺寸原始图像的尺寸而生成的尺寸缩小的原始图像,所述图像处理单元可以通过对从所述保存单元读取的尺寸缩小的原始图像执行预定图像处理而生成尺寸缩小的处理图像,并且将其提供给所述修改单元,并且还可以向所述修改单元提供通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理而生成的全尺寸处理图像,并且所述修改单元可以通过修改由所述图像处理单元提供的尺寸缩小的处理图像的尺寸来生成尺寸修改处理图像,并执行其输出,并且还可以直接输出由所述图像处理单元提供的全尺寸处理图像。
作为本公开的第二方面的电子装置是一种电子装置,包括:图像传感器,其中,所述图像传感器包括:像素单元,其利用多个光电转换元件来生成与入射光对应的全尺寸原始图像;保存单元,其具有至少能够保存全尺寸原始图像的容量;图像处理单元,其通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理来生成全尺寸处理图像;以及修改单元,其通过修改全尺寸处理图像的尺寸来生成尺寸修改处理图像,并且输出所述全尺寸处理图像和所述尺寸修改处理图像。
在本公开的第一和第二方面,生成与入射光对应的全尺寸原始图像并且将图像保存在保存单元内,通过对从所述保存单元读取的全尺寸原始图像执行预定图像处理来生成全尺寸处理图像,通过修改全尺寸处理图像的尺寸来生成尺寸修改处理图像,并且输出所述全尺寸处理图像和所述尺寸修改处理图像。
本发明的效果
根据本公开的第一方面,可以输出基于全尺寸原始图像的多条不同的图像数据。
根据本公开的第二方面,可以从安装的图像传感器中输出基于全尺寸原始图像的多条不同的图像数据。
附图说明
图1是示出应用本公开的图像传感器的第一配置示例的方框图。
图2是用于描述图1中的图像传感器的图像输出处理的流程图。
图3是示出应用本公开的图像传感器的第二配置示例的方框图。
图4是用于描述图3中的图像传感器的图像输出处理的流程图。
图5是示出应用本公开的图像传感器的第三配置示例的方框图。
图6是用于描述图5中的图像传感器的图像输出处理的流程图。
图7是示出应用本公开的图像传感器的第四配置示例的方框图。
图8是用于描述图7中的图像传感器的图像输出处理的流程图。
图9是示出应用本公开的图像传感器的第五配置示例的方框图。
图10是用于描述图9中的图像传感器的图像输出处理的流程图。
图11是示出应用本公开的图像传感器的第六配置示例的方框图。
图12是用于描述图11中的图像传感器的图像输出处理的流程图。
图13是示出应用本公开的图像传感器的第七配置示例的方框图。
图14是用于描述图13中的图像传感器的图像输出处理的流程图。
图15是示出应用本公开的电子装置的使用示例的视图。
具体实施方式
在下文中,将参考附图详细描述用于执行本公开的最佳模式(在下文中称为实施方式)。
<第一实施方式的图像传感器的第一配置示例>
在图1中示出了配置示例是第一实施方式的图像传感器的第一配置示例的配置示例。
该图像传感器10包括像素单元11、DRAM 12、图像处理单元13和尺寸修改单元14。
像素单元11包括多个光电转换元件等,其响应于入射光,通过光电转换来生成像素数据,并且像素单元11使DRAM 12保存通过成像所获取的全尺寸原始图像P1。DRAM 12是具有能够至少保存全尺寸原始图像P1的容量的存储器,并响应于像素单元11的写入和图像处理单元13的读取。
图像处理单元13对全尺寸原始图像P1执行诸如缺陷像素校正等预定图像处理,并将因此获取的全尺寸处理图像P3输出到下一级。注意,图像处理单元13中的图像处理的详细内容可以根据来自安装有图像传感器10的系统的请求而任意地修改。
尺寸修改单元14将全尺寸处理图像P3的尺寸缩小为预定尺寸,并且将因此获取的尺寸缩小的处理图像P2输出到下一级。注意,尺寸修改单元14可以将全尺寸处理图像P3的尺寸扩大到预定尺寸,或者可以根据来自安装有图像传感器10的系统的请求对全尺寸处理图像P3执行变形。
图2是用于描述图像传感器10的图像输出处理的流程图。
在步骤S11中,像素单元11通过曝光生成全尺寸原始图像P1,并使DRAM 12保存全尺寸原始图像P1。图像处理单元13在步骤S12中从DRAM 12读取全尺寸原始图像P1,在步骤S13中执行预定的图像处理,并且在步骤S14中,将因此获取的全尺寸处理图像P3输出到尺寸修改单元14以及图像传感器10的外部。
在步骤S15中,尺寸修改单元14将全尺寸处理图像P3的尺寸缩小为预定尺寸,并且在步骤S16中将因此获取的尺寸缩小的处理图像P2输出到图像传感器10的外部。这是图像传感器10的图像输出处理的结束。
如上所述,根据图像传感器10,仅通过从DRAM 12读取全尺寸原始图像P1一次,几乎可以同时输出全尺寸处理图像P3和尺寸缩小的处理图像P2。
注意,在图像传感器10的情况下,可以在没有DRAM 12的情况下将来自像素单元11的输出(全尺寸原始图像P1)输出到图像处理单元13。
<第二实施方式的图像传感器的第二配置示例>
在图3中示出配置示例是第二实施方式的图像传感器的第二配置示例的配置示例。
该图像传感器20包括像素单元21、DRAM 22、图像处理单元23和尺寸修改单元24。
像素单元21包括多个光电转换元件等,多个光电转换元件等响应于入射光,通过光电转换来生成像素数据,并且像素单元21使DRAM 22保存通过成像获取的全尺寸原始图像P1。DRAM 22是具有能够至少保存全尺寸原始图像P1的容量的存储器,并响应于像素单元21的写入和图像处理单元23的读取。
图像处理单元23对全尺寸原始图像P1执行诸如缺陷像素校正等预定图像处理,并将因此获取的全尺寸处理图像P3输出到下一级。注意,图像处理单元23中的图像处理的详细内容可以根据来自安装有图像传感器20的系统的请求而任意地修改。
尺寸修改单元24将全尺寸处理图像P3的尺寸缩小为预定尺寸,并且将因此获取的尺寸缩小的处理图像P2输出到下一级。注意,尺寸修改单元24也可以将全尺寸处理图像P3直接输出到下一级。而且,尺寸修改单元24可以将全尺寸处理图像P3的尺寸扩大到预定尺寸,或者可以根据来自安装有图像传感器20的系统的请求执行全尺寸处理图像P3的变形。
图4是用于描述图像传感器20的图像输出处理的流程图。
在步骤S21中,像素单元21通过曝光生成全尺寸原始图像P1,并使DRAM22保存全尺寸原始图像P1。
图像处理单元23在步骤S22中执行从DRAM 22第一次读取全尺寸原始图像P1,并且在步骤S23中执行预定的图像处理,并且将因此获取的全尺寸处理图像P3输出到尺寸修改单元24。在步骤S24中,尺寸修改单元24将全尺寸处理图像P3的尺寸缩小为预定尺寸,并且在步骤S25中,将因此获取的尺寸缩小的处理图像P2输出到图像传感器20的外部。
在步骤S26中,图像处理单元23执行从DRAM 22第二次读取全尺寸原始图像P1,并且在步骤S27中执行预定图像处理,并且将因此获取的全尺寸处理图像P3输出到尺寸修改单元24。在步骤S28中,尺寸修改单元24将全尺寸处理图像P3直接输出到图像传感器20的外部。这是图像传感器20的图像输出处理的结束。
如上所述,根据图像传感器20,可以将尺寸缩小的处理图像P2和全尺寸处理图像P3依次输出到图像传感器20的外部。注意,可以首先输出全尺寸处理图像P3,并且可以随后输出尺寸缩小的处理图像P2。
<第三实施方式的图像传感器的第三配置示例>
图5中示出了配置示例是第三实施方式的图像传感器的第三配置示例的配置示例。
该图像传感器30包括像素单元31、DRAM 32、图像处理单元33和尺寸修改单元34。
像素单元31包括多个光电转换元件等,多个光电转换元件等响应于入射光,通过光电转换来生成像素数据,并且像素单元31使DRAM 32保存通过成像获取的全尺寸原始图像P1。DRAM 32是具有能够至少保存全尺寸原始图像P1和全尺寸处理图像P3的容量的存储器,并响应于像素单元31和图像处理单元33的写入以及图像处理单元33和尺寸修改单元34的读取。
图像处理单元33对全尺寸原始图像P1执行诸如缺陷像素校正等预定图像处理,并且使得因此获取的全尺寸处理图像P3输出到DRAM 32并保存在DRAM 32中。注意,图像处理单元33中的图像处理的详细内容可以根据来自安装有图像传感器30的系统的请求来任意地修改。
尺寸修改单元34从DRAM 32中读取全尺寸处理图像P3,通过将其尺寸缩小为预定尺寸来生成尺寸缩小的处理图像P2,并且将其输出到下一级。注意,尺寸修改单元34也可以将全尺寸处理图像P3直接输出到下一级。此外,尺寸修改单元34可以将全尺寸处理图像P3的尺寸扩大到预定尺寸,或者可以根据来自安装有图像传感器30的系统的请求执行全尺寸处理图像P3的变形。
图6是用于描述图像传感器30的图像输出处理的流程图。
在步骤S31中,像素单元31通过曝光生成全尺寸原始图像P1,并使DRAM32保存全尺寸原始图像P1。
在步骤S32中,图像处理单元33从DRAM 32读取全尺寸原始图像P1,在步骤S33中,执行预定图像处理,并且在步骤S34中,使DRAM 32保存因此获取的全尺寸处理图像P3。
尺寸修改单元34在步骤S35中执行从DRAM 32第一次读取全尺寸处理图像P3,在步骤S36中将其尺寸缩小为预定尺寸,并且在步骤S37中,将因此获取的尺寸缩小的处理图像P2输出到图像传感器30的外部。
在步骤S38中,尺寸修改单元34执行从DRAM 32第二次读取全尺寸处理图像P3,并且在步骤S39中,直接执行将其输出到图像传感器30的外部。这是图像传感器30的图像输出处理的结束。
如上所述,根据图像传感器30,可以从图像传感器30向外部依次输出尺寸缩小的处理图像P2和全尺寸处理图像P3。注意,可以首先输出全尺寸处理图像P3,并且可以随后输出尺寸缩小的处理图像P2。
由于对全尺寸原始图像P1的预定图像处理仅需要在图像传感器30中执行一次,所以与对全尺寸原始图像P1的图像处理执行两次的情况(例如,图像传感器20的情况)相比,可以控制图像处理所需的功耗。
<第四实施方式的图像传感器的第四配置示例>
图7中示出了配置示例是第四实施方式的图像传感器的第四配置示例的配置示例。
该图像传感器40包括像素单元41、DRAM 42、图像处理单元43和尺寸修改单元44。
像素单元41包括多个光电转换元件等,多个光电转换元件等响应于入射光,通过光电转换来生成像素数据,并且像素单元41使DRAM 42保存通过成像获取的全尺寸原始图像P1。DRAM 42是具有能够至少保存全尺寸原始图像P1和全尺寸处理图像P3的容量的存储器,并响应于像素单元41和图像处理单元43的写入以及图像处理单元43和尺寸修改单元44的读取。
图像处理单元43对全尺寸原始图像P1执行诸如缺陷像素校正等预定图像处理,并且使因此获取的全尺寸处理图像P3保存在DRAM 42中并且还输出到尺寸修改单元44。注意,图像处理单元43中的图像处理的详细内容可以根据来自安装有图像传感器40的系统的请求而任意地修改。
尺寸修改单元44通过将从图像处理单元43输入的全尺寸处理图像P3的尺寸缩小为预定尺寸,来生成尺寸缩小的处理图像P2,并将其输出到下一级。而且,尺寸修改单元44可以从DRAM 42读取全尺寸处理图像P3,并且可以直接将其输出到下一级。此外,尺寸修改单元44可以将全尺寸处理图像P3的尺寸扩大到预定尺寸,或者可以根据来自安装有图像传感器40的系统的请求执行其变形。
图8是用于描述图像传感器40的图像输出处理的流程图。
在步骤S41中,像素单元41通过曝光生成全尺寸原始图像P1,并使DRAM 42保存全尺寸原始图像P1。
图像处理单元43在步骤S42中从DRAM 42中读取全尺寸原始图像P1,在步骤S43中,执行预定图像处理,并且在步骤S44中使因此获取的全尺寸处理图像P3输出到尺寸修改单元44并且也保存在DRAM 32中。
在步骤S45中,尺寸修改单元44将全尺寸处理图像P3的尺寸缩小为预定尺寸,并将因此获取的尺寸缩小的处理图像P2输出到图像传感器40的外部。
在步骤S46中,尺寸修改单元44从DRAM 42中读取全尺寸处理图像P3,并且在步骤S47中,直接执行将其输出到图像传感器40的外部。这是图像传感器40的图像输出处理的结束。
如上所述,根据图像传感器40,可以从图像传感器40向外部依次输出尺寸缩小的处理图像P2和全尺寸处理图像P3。
由于对全尺寸原始图像P1的预定图像处理仅需要在图像传感器40中执行一次,所以与对全尺寸原始图像P1的图像处理执行两次的情况(例如,图像传感器20的情况)相比,可以控制图像处理所需的功耗。
<第五实施方式的图像传感器的第五配置示例>
图9中示出了配置示例是第五实施方式的图像传感器的第五配置示例的配置示例。
该图像传感器50包括像素单元51、DRAM 52、图像处理单元53、尺寸修改单元54和输出选择单元55。
像素单元51包括多个光电转换元件等,多个光电转换元件等响应于入射光,通过光电转换来生成像素数据,并且像素单元51使DRAM 52保存通过成像获取的全尺寸原始图像P1。DRAM52是具有能够至少保存全尺寸原始图像P1和尺寸缩小的处理图像P2的容量的存储器,并响应于像素单元51和尺寸修改单元54的写入以及图像读取处理单元53和输出选择单元55的读取。
图像处理单元53对全尺寸原始图像P1执行诸如缺陷像素校正等预定图像处理,并且将因此获取的全尺寸处理图像P3输出到尺寸修改单元54和输出选择单元55。注意,图像处理单元53中的图像处理的详细内容可以根据来自安装有图像传感器50的系统的请求而任意地修改。
尺寸修改单元54将从图像处理单元53输入的全尺寸处理图像P3的尺寸缩小为预定尺寸,并使DRAM 52保存因此获取的尺寸缩小的处理图像P2。而且,尺寸修改单元54可以将全尺寸处理图像P3的尺寸扩大到预定尺寸,或者可以根据来自安装有图像传感器50的系统的请求,执行其变形。
输出选择单元55向下一级输出从图像处理单元53输入的全尺寸处理图像P3。另外,输出选择单元55从DRAM 52读取尺寸缩小的处理图像P2,并将其输出到下一级。
图10是用于描述图像传感器50的图像输出处理的流程图。
在步骤S51中,像素单元51通过曝光生成全尺寸原始图像P1,并使DRAM 52保存全尺寸原始图像P1。
图像处理单元53在步骤S52中从DRAM 52读取全尺寸原始图像P1,并在步骤S53中,执行预定的图像处理,将因此获取的全尺寸处理图像P3输出到尺寸修改单元54和输出选择单元55。
在步骤S54中,输出选择单元55将从图像处理单元53输入的全尺寸处理图像P3输出到图像传感器50的外部。
在步骤S55中,尺寸修改单元44将全尺寸处理图像P3的尺寸缩小为预定尺寸,并使DRAM 52保存因此获取的尺寸缩小的处理图像P2。在步骤S56中,输出选择单元55从DRAM 52读取尺寸缩小的处理图像P2,并将其输出到图像传感器50的外部。这是图像传感器50的图像输出处理的结束。
如上所述,根据图像传感器50,可以将全尺寸处理图像P3和尺寸缩小的处理图像P2从图像传感器50依次输出到外部。
由于对全尺寸原始图像P1的预定图像处理仅需要在图像传感器50中执行一次,所以与对全尺寸原始图像P1的图像处理执行两次的情况(例如,图像传感器20的情况)相比,可以控制图像处理所需的功耗。
<第六实施方式的图像传感器的第六配置示例>
图11中示出了配置示例是第六实施方式的图像传感器的第六配置示例的配置示例。
该图像传感器60包括像素单元61、DRAM 62、1/4尺寸缩小单元63、图像处理单元64和尺寸修改单元65。
像素单元61包括多个光电转换元件等,多个光电转换元件等响应于入射光,通过光电转换来生成像素数据,并且像素单元61使通过成像获得的全尺寸原始图像P1输出到1/4尺寸缩小单元63并且也保存在DRAM62中。
DRAM 62是具有能够至少保存全尺寸原始图像P1和1/4尺寸原始图像P4的容量的存储器,并响应于像素单元61和1/4尺寸缩小单元63的写入以及图像处理单元64的读取。
1/4尺寸缩小单元63通过将全尺寸原始图像P1的垂直和水平尺寸缩小到1/2来生成1/4尺寸的原始图像P4,并使DRAM 62保存该图像。
图像处理单元64从DRAM 62读取1/4尺寸的原始图像P4,执行诸如缺陷像素校正等预定图像处理,并将因此获取的1/4尺寸处理图像(未示出)输出到尺寸修改单元65。另外,图像处理单元64从DRAM 62读取全尺寸原始图像P1,执行诸如缺陷像素校正等预定图像处理,并将因此获取的全尺寸处理图像P3输出到尺寸修改单元65。
尺寸修改单元65将从图像处理单元64输入的1/4尺寸处理图像转换为预定尺寸,并将因此获取的尺寸缩小的处理图像P2输出到下一级。而且,尺寸修改单元65将从图像处理单元64输入的全尺寸处理图像P3直接输出到下一级。
图12是用于描述图像传感器60的图像输出处理的流程图。
在步骤S61中,像素单元61通过曝光生成全尺寸原始图像P1,并且使全尺寸原始图像P1输出到1/4尺寸缩小单元63,并且也保存在DRAM62中。1/4尺寸缩小单元63从全尺寸原始图像P1生成1/4尺寸的原始图像P4,并使DRAM 62保存该图像。
在步骤S62中,图像处理单元64从DRAM 62中读取1/4尺寸的原始图像P4,并且在步骤中S63,执行预定的图像处理,并且将因此获取的1/4尺寸的处理图像输出到尺寸修改单元65。尺寸修改单元65在步骤S64中将从图像处理单元64输入的1/4尺寸的处理图像转换成预定尺寸,并且在步骤S65中将因此获取的尺寸缩小的处理图像P2输出到图像传感器60的外部。
在步骤S66中,图像处理单元64从DRAM 62读取全尺寸原始图像P1,并且在步骤S67中执行预定的图像处理,并将因此获取的全尺寸处理图像P3输出到尺寸修改单元65。在步骤S68中,尺寸修改单元65将从图像处理单元64输入的全尺寸处理图像P3直接输出到图像传感器60的外部。这是图像传感器的图像输出处理的结束60。
如上所述,根据图像传感器60,可以将全尺寸处理图像P3和尺寸缩小的处理图像P2从图像传感器40依次输出到外部。
注意,在1/4尺寸缩小单元63中,全尺寸原始图像P1的尺寸可以减小为与安装有图像传感器60的系统所请求的尺寸缩小的处理图像P2相同的尺寸。在这种情况下,可以省略尺寸转换单元65。
<第七实施方式的图像传感器的第七配置示例>
图13中示出了配置示例是第七实施方式的图像传感器的第七配置示例的配置示例。
该图像传感器70包括像素单元71、DRAM 72、图像处理单元73、尺寸修改单元74和输出选择单元75。
像素单元71包括多个光电转换元件等,多个光电转换元件等响应于入射光通过光电转换来生成像素数据,并且像素单元71使DRAM72保存通过成像获取的全尺寸原始图像P1。DRAM 72是具有能够至少保存全尺寸原始图像P1、尺寸缩小的处理图像P2和全尺寸处理图像P3的容量的存储器,并响应于像素单元71、图像处理单元73和尺寸修改单元74的写入以及图像处理单元73和输出选择单元75的读取。
图像处理单元73从DRAM 72读取全尺寸原始图像P1,执行诸如缺陷像素校正等预定图像处理,并且使因此获取的全尺寸处理图像P3输出到尺寸修改单元74并且还保存在DRAM 72中。注意,图像处理单元73中的图像处理的详细内容可以根据来自安装有图像传感器70的系统的请求而任意地修改。
尺寸修改单元74将从图像处理单元73输入的全尺寸处理图像P3的尺寸缩小为预定尺寸,并且使DRAM 72保存因此获取的尺寸缩小的处理图像P2。而且,尺寸修改单元74可以将全尺寸处理图像P3的尺寸扩大到预定尺寸,或者可以根据来自安装有图像传感器70的系统的请求,执行其变形。
输出选择单元75选择性地读取保存在DRAM 72中的尺寸缩小的处理图像P2或全尺寸处理图像P3,并将其输出到下一级。
图14是用于描述图像传感器70的图像输出处理的流程图。
在步骤S71中,像素单元71通过曝光生成全尺寸原始图像P1,并使DRAM 72保存全尺寸原始图像P1。
图像处理单元73在步骤S72中从DRAM 72读取全尺寸原始图像P1,在步骤S73中执行预定的图像处理,并且在步骤S74中,使因此获取的全尺寸处理图像P3输出到尺寸修改单元74并且也保存在DRAM 72中。尺寸修改单元44将全尺寸处理图像P3的尺寸缩小为预定尺寸,并且使DRAM 72保存因此获取的尺寸缩小的处理图像P2。
在步骤S75中,输出选择单元75从DRAM 72中读取尺寸缩小的处理图像P2,并将其输出到图像传感器70的外部。在步骤S76中,输出选择单元75从DRAM 72读取全尺寸处理图像P3,并将其输出到图像传感器70的外部。这是图像传感器70的图像输出处理的结束。
如上所述,根据图像传感器70,可以从图像传感器70向外部依次输出尺寸缩小的处理图像P2和全尺寸处理图像P3。注意,可以首先输出全尺寸处理图像P3,并且可以随后输出尺寸缩小的处理图像P2。
<图像传感器的使用示例>
根据上述图像传感器10至70,可以输出基于全尺寸原始图像的多个不同的图像数据。因此,例如,有以下用途:在运动图像的拍摄期间输出包括所有像素的静止图像,或者同时输出像素骤减的预览图像和用于记录的全像素图像。
图15中示出了图像传感器10至70的使用示例。
例如,上述图像传感器10至70可以安装在感测可见光、红外光、紫外光、X射线等的如下所述的各种电子装置中。
一种拍摄图像并用于查看的装置,例如,数码相机或具有相机功能的移动装置。
用于交通的装置,例如,为了安全驾驶(例如,自动停止)、用于识别驾驶员的状态等而拍摄汽车的前侧、后侧、周围、内部等的车载传感器,监视行驶车辆或道路的监视相机,或者测量车辆之间的距离等的测距传感器。
一种用于诸如TV、冰箱或空调等家用电器中以便拍摄用户的手势并且执行与该手势对应的装置操作的装置。
一种用于医疗或保健的装置,例如,内窥镜,或一种通过接收红外光来拍摄血管的装置。
一种用于安全的装置,例如,用于预防犯罪的监视相机或用于识别人的相机。
一种用于美容护理的装置,例如,拍摄皮肤的皮肤测量仪或拍摄头皮的显微镜。
一种用于运动的装置,例如,用于运动的运动相机或可穿戴相机等。
一种用于农业的装置,例如,用于监测农场或作物状况的相机。
注意,本公开的实施方式不限于上述实施方式,并且可以在本公开的精神和范围内进行各种修改。
附图标记列表
10 图像传感器
11 像素单元
12 DRAM
13 图像处理单元
14 尺寸修改单元
20 图像传感器
21 像素单元
22 DRAM
23 图像处理单元
24 尺寸修改单元
30 图像传感器
31 像素单元
32 DRAM
33 图像处理单元
34 尺寸修改单元
40 图像传感器
41 像素单元
42 DRAM
43 图像处理单元
44 尺寸修改单元
50 图像传感器
51 像素单元
52 DRAM
53 图像处理单元
54 尺寸修改单元
55 输出选择单元
60 图像传感器
61 像素单元
62 DRAM
63 1/4尺寸缩小单元
64 图像处理单元
65 尺寸修改单元
70 图像传感器
71 像素单元
72 DRAM
73 图像处理单元
74 尺寸修改单元
75 输出选择单元
Claims (7)
1.一种图像传感器,包括:
像素单元,利用多个光电转换元件生成与入射光对应的全尺寸原始图像;
保存单元,具有至少能够保存所述全尺寸原始图像的容量;
图像处理单元,通过对从所述保存单元读取的所述全尺寸原始图像执行预定图像处理来生成全尺寸处理图像;
修改单元,通过修改所述全尺寸处理图像的尺寸来生成尺寸修改处理图像,以及
尺寸缩小单元,通过缩小由所述像素单元生成的所述全尺寸原始图像的尺寸来生成尺寸缩小的原始图像,
其中,所述图像传感器输出所述全尺寸处理图像和所述尺寸修改处理图像,
所述保存单元具有至少能够保存所述全尺寸原始图像和所述尺寸缩小的原始图像的容量,
所述像素单元将所生成的所述全尺寸原始图像提供给所述尺寸缩小单元,并且还使所述保存单元保存所述全尺寸原始图像,
所述尺寸缩小单元使所述保存单元保存通过缩小所述全尺寸原始图像的尺寸而生成的所述尺寸缩小的原始图像,
所述图像处理单元通过对从所述保存单元读取的所述尺寸缩小的原始图像执行预定图像处理而生成尺寸缩小的处理图像,并且将所述尺寸缩小的处理图像提供给所述修改单元,并且还向所述修改单元提供通过对从所述保存单元读取的所述全尺寸原始图像执行预定图像处理而生成的所述全尺寸处理图像,并且
所述修改单元通过修改由所述图像处理单元提供的所述尺寸缩小的处理图像的尺寸来生成所述尺寸修改处理图像,并且执行所述尺寸修改处理图像的输出,并且还直接输出由所述图像处理单元提供的所述全尺寸处理图像。
2.根据权利要求1所述的图像传感器,其中,所述保存单元具有至少能够保存所述全尺寸原始图像、所述全尺寸处理图像和所述尺寸修改处理图像的容量,
所述图像处理单元使所述保存单元保存通过对从所述保存单元读取的所述全尺寸原始图像执行所述预定图像处理而生成的所述全尺寸处理图像,并且
所述修改单元使所述保存单元保存通过修改所述全尺寸处理图像的尺寸而生成的所述尺寸修改处理图像,
所述图像传感器进一步包括选择输出单元,所述选择输出单元从所述保存单元选择性地读取所述全尺寸处理图像或所述尺寸修改处理图像,并且执行所选择图像的输出。
3.根据权利要求1所述的图像传感器,其中,
所述图像处理单元输出通过对从所述保存单元读取的所述全尺寸原始图像执行所述预定图像处理而生成的所述全尺寸处理图像,并且还将所述全尺寸处理图像提供给所述修改单元。
4.根据权利要求1所述的图像传感器,其中,所述保存单元具有至少能够保存所述全尺寸原始图像和所述全尺寸处理图像的容量,并且所述图像处理单元使所述保存单元保存通过对从所述保存单元读取的所述全尺寸原始图像执行所述预定图像处理而生成的所述全尺寸处理图像。
5.根据权利要求1所述的图像传感器,其中,所述保存单元具有至少能够保存所述全尺寸原始图像和所述全尺寸处理图像的容量,
所述像素单元使所述保存单元保存所生成的所述全尺寸原始图像,并且
所述图像处理单元使所述保存单元保存所述全尺寸处理图像。
6.根据权利要求1所述的图像传感器,其中,所述保存单元具有至少能够保存所述全尺寸原始图像和所述尺寸修改处理图像的容量,
所述图像处理单元输出通过对从所述保存单元读取的所述全尺寸原始图像执行所述预定图像处理而生成的所述全尺寸处理图像,并且还将所述全尺寸处理图像提供给所述修改单元,并且
所述修改单元使所述保存单元保存通过修改由所述图像处理单元提供的所述全尺寸处理图像的尺寸而生成的所述尺寸修改处理图像,
所述图像传感器进一步包括输出单元,所述输出单元从所述保存单元中选择性地读取所述尺寸修改处理图像并且执行所述尺寸修改处理图像的输出。
7.一种电子装置,包括:
图像传感器,
其中,所述图像传感器包括:
像素单元,利用多个光电转换元件来生成与入射光对应的全尺寸原始图像;
保存单元,具有至少能够保存所述全尺寸原始图像的容量;
图像处理单元,通过对从所述保存单元读取的所述全尺寸原始图像执行预定图像处理来生成全尺寸处理图像;
修改单元,通过修改所述全尺寸处理图像的尺寸来生成尺寸修改处理图像;以及
尺寸缩小单元,通过缩小由所述像素单元生成的所述全尺寸原始图像的尺寸来生成尺寸缩小的原始图像,并且
所述图像传感器输出所述全尺寸处理图像和所述尺寸修改处理图像,
所述保存单元具有至少能够保存所述全尺寸原始图像和所述尺寸缩小的原始图像的容量,
所述像素单元将所生成的所述全尺寸原始图像提供给所述尺寸缩小单元,并且还使所述保存单元保存所述全尺寸原始图像,
所述尺寸缩小单元使所述保存单元保存通过缩小所述全尺寸原始图像的尺寸而生成的所述尺寸缩小的原始图像,
所述图像处理单元通过对从所述保存单元读取的所述尺寸缩小的原始图像执行预定图像处理而生成尺寸缩小的处理图像,并且将所述尺寸缩小的处理图像提供给所述修改单元,并且还向所述修改单元提供通过对从所述保存单元读取的所述全尺寸原始图像执行预定图像处理而生成的所述全尺寸处理图像,并且
所述修改单元通过修改由所述图像处理单元提供的所述尺寸缩小的处理图像的尺寸来生成所述尺寸修改处理图像,并且执行所述尺寸修改处理图像的输出,并且还直接输出由所述图像处理单元提供的所述全尺寸处理图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015130949 | 2015-06-30 | ||
JP2015-130949 | 2015-06-30 | ||
PCT/JP2016/068050 WO2017002639A1 (ja) | 2015-06-30 | 2016-06-17 | イメージセンサ、および電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107736016A CN107736016A (zh) | 2018-02-23 |
CN107736016B true CN107736016B (zh) | 2020-10-13 |
Family
ID=57608853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680036414.7A Active CN107736016B (zh) | 2015-06-30 | 2016-06-17 | 图像传感器和电子装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10764516B2 (zh) |
JP (1) | JP6764572B2 (zh) |
CN (1) | CN107736016B (zh) |
WO (1) | WO2017002639A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1469316A (zh) * | 2002-06-27 | 2004-01-21 | ������������ʽ���� | 使用压缩域处理显示任意放大的高清晰度图像的方法和装置 |
JP2006087565A (ja) * | 2004-09-22 | 2006-04-06 | Konica Minolta Medical & Graphic Inc | 放射線画像取得方法及び放射線画像取得装置 |
JP2008048313A (ja) * | 2006-08-21 | 2008-02-28 | Sony Corp | 物理量検出装置、物理量検出装置の駆動方法及び撮像装置 |
CN102611856A (zh) * | 2011-01-19 | 2012-07-25 | 索尼公司 | 图像转换器、图像转换方法、程序和电子装置 |
JP2013058970A (ja) * | 2011-09-09 | 2013-03-28 | Ricoh Co Ltd | 画像処理装置およびデジタルカメラ |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3532781B2 (ja) * | 1999-02-12 | 2004-05-31 | 株式会社メガチップス | 画像入力装置の画像処理回路 |
US6895256B2 (en) * | 2000-12-07 | 2005-05-17 | Nokia Mobile Phones Ltd. | Optimized camera sensor architecture for a mobile telephone |
US6680748B1 (en) * | 2001-09-27 | 2004-01-20 | Pixim, Inc., | Multi-mode camera and method therefor |
WO2003085964A1 (fr) | 2002-04-04 | 2003-10-16 | Sony Corporation | Dispositif analyseur d'image a semi-conducteurs |
JP4420101B2 (ja) * | 2007-10-30 | 2010-02-24 | ソニー株式会社 | 固体撮像装置およびその駆動方法、並びにカメラシステム |
US20110157395A1 (en) * | 2009-12-31 | 2011-06-30 | Compton John T | Image sensor with fractional resolution image processing |
KR101110725B1 (ko) * | 2010-06-16 | 2012-02-27 | 엠텍비젼 주식회사 | 썸네일 이미지를 이용한 후보 이미지 제시 방법 및 이를 수행하는 이미지 신호 처리 장치와 촬상 장치 |
US9350928B2 (en) * | 2012-05-02 | 2016-05-24 | Semiconductor Components Industries, Llc | Image data compression using stacked-chip image sensors |
TWI583195B (zh) * | 2012-07-06 | 2017-05-11 | 新力股份有限公司 | A solid-state imaging device and a solid-state imaging device, and an electronic device |
-
2016
- 2016-06-17 US US15/578,430 patent/US10764516B2/en not_active Expired - Fee Related
- 2016-06-17 WO PCT/JP2016/068050 patent/WO2017002639A1/ja active Application Filing
- 2016-06-17 JP JP2017526282A patent/JP6764572B2/ja active Active
- 2016-06-17 CN CN201680036414.7A patent/CN107736016B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1469316A (zh) * | 2002-06-27 | 2004-01-21 | ������������ʽ���� | 使用压缩域处理显示任意放大的高清晰度图像的方法和装置 |
JP2006087565A (ja) * | 2004-09-22 | 2006-04-06 | Konica Minolta Medical & Graphic Inc | 放射線画像取得方法及び放射線画像取得装置 |
JP2008048313A (ja) * | 2006-08-21 | 2008-02-28 | Sony Corp | 物理量検出装置、物理量検出装置の駆動方法及び撮像装置 |
CN102611856A (zh) * | 2011-01-19 | 2012-07-25 | 索尼公司 | 图像转换器、图像转换方法、程序和电子装置 |
JP2013058970A (ja) * | 2011-09-09 | 2013-03-28 | Ricoh Co Ltd | 画像処理装置およびデジタルカメラ |
Also Published As
Publication number | Publication date |
---|---|
JP6764572B2 (ja) | 2020-10-07 |
US20180167566A1 (en) | 2018-06-14 |
CN107736016A (zh) | 2018-02-23 |
WO2017002639A1 (ja) | 2017-01-05 |
US10764516B2 (en) | 2020-09-01 |
JPWO2017002639A1 (ja) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101771408B1 (ko) | 촬상 장치 및 그 제어 방법 | |
JP7185434B2 (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
KR102128468B1 (ko) | 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법 | |
KR20190032061A (ko) | 이미지 보정을 수행하는 전자 장치 및 그 동작 방법 | |
KR102423991B1 (ko) | 촬상 소자 및 촬상 방법, 및 전자 기기 | |
JP2008289095A (ja) | 撮像装置、表示方法、及びプログラム | |
US20110298964A1 (en) | Imaging apparatus, reproduction display apparatus, image recording method, and reproduction displaying method | |
CN110366740B (zh) | 图像处理装置和摄像装置 | |
KR101556931B1 (ko) | 영상 데이터 처리 장치 및 방법 | |
KR102383134B1 (ko) | 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법 | |
US9832382B2 (en) | Imaging apparatus and imaging method for outputting image based on motion | |
JP5952782B2 (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
US8988559B2 (en) | Electronic device | |
US9986163B2 (en) | Digital photographing apparatus and digital photographing method | |
US20170084018A1 (en) | Posture estimating apparatus for estimating posture, posture estimating method and recording medium | |
CN107736016B (zh) | 图像传感器和电子装置 | |
KR20210115185A (ko) | 이미지 처리 방법 및 장치 | |
KR102301940B1 (ko) | 이미지 합성 방법 및 장치 | |
JP2010199927A (ja) | 撮像装置 | |
JP2007267177A (ja) | 撮像装置 | |
US9659222B2 (en) | Vehicle event data recorder and operation method thereof | |
CN113747114A (zh) | 监视摄影机 | |
TWI674001B (zh) | 固體攝像元件、攝像模組及電子機器 | |
CN104427240A (zh) | 电子装置及其影像调整方法 | |
KR20220065562A (ko) | 복수의 이미지 센서들을 포함하는 전자 장치 및 그 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |