CN101243682B - 摄像元件 - Google Patents

Abstract

对储存部(202)的一部分的第一区域，使用由顺次扫描用移位寄存器(206)生成的读出脉冲，从所有的行的储存单元像素(221)读出信号进行顺次读出。另一方面，对包含第一区域以外的整个区域的第二区域，使用由跳行扫描用移位寄存器(205)生成的读出脉冲，从分散的行的储存单元像素(221)读出信号进行跳行读出。顺次扫描用移位寄存器(206)，为使第一区域在每个画屏上移动，且，经过多个画屏扫描储存部(202)的区域整体，生成读出脉冲。

Description

摄像元件

技术领域

本发明，涉及一种摄像元件，特别是有关为取得在一个画面中像素密度混合的动画数据而使用的摄像元件。

背景技术

迄今为止，为在一个画面中取得像素密度混合的动画数据，提出了以下的构成。

专利文献1中，揭示了能够从同一个画屏(frame)同时得到由间拔扫描所得的整个画像信息、和由整个像素扫描所得的高解像度部分画像信息的画像输入装置。也就是，扫描控制器，只对像素排列连续的所规定的像素群进行整个像素扫描的同时，对像素排列残留的区域的像素群进行间拔扫描。

专利文献2中，揭示了能够同时并且高速取得低解像度的整体影象和高解像度的部分影象的影象输入装置。也就是，包括输出低解像度的整个影象数据的低解像度整体影象扫描部、和输出高解像度的部分影象数据的高解像度部分影象扫描部，将它们在预定的画屏周期内切换，顺次输出低解像度整个影象数据和高解像度部分影象数据。还有，基于低解像度整个影象数据，自动决定下一个画屏中高解像度部分影象的切出位置。

(专利文献1)日本专利公开2000-32318号公报

(专利文献2)日本专利公开2004-180240号公报

(发明所要解决的课题)

然而，以前的技术中存在着以下的问题。

根据专利文献1所揭示的技术的话，在一个画面内包含整个像素扫描区域和间拔扫描区域。然而，这个整个像素扫描区域，被固定在预先设定的所规定的位置。为此，无法实现例如，通过每个画屏改变整个像素扫描区域的位置，取得对画屏整体的高解像度部分画像信息的处理，还有，对这样的处理也未做设想。

还有，间拔扫描，也是进行扫描的位置设定在所规定的位置。为此，通过间拔扫描得到的整个画像信息，在各画屏中，就变成全部由相同的扫描位置的画像数据形成，因此，有可能降低画质。

专利文献2中，各画屏中的高解像度部分影象的切出位置，不固定，基于前画屏中的低解像度整体影象数据，自动决定。也就是，高解像度部分影象的位置在每个画屏中是变化的。然而，例如，为了对全部画屏取得高解像度部分影象，意图移动高解像度部分影象的位置，但是未能实现这个处理，还有，对这样的处理也未做设想。

还有，对低解像度整体影象数据，进行扫描的位置设定在预先所规定的位置。为此，低解像度整体影象数据，在各画屏中，就变成全部由相同的扫描位置的画像数据形成，因此，有可能降低画质。

发明内容

鉴于上述问题，本发明是以作为为取得一个画面中像素密度混合的动画数据的摄像元件，也能够取得全部画屏的高解像度画像部分的信息为课题的。

还有，本发明是以作为为取得一个画面中像素密度混合的动画数据的摄像元件，也能够对低解像度画像部分提高画质为课题的。

(为解决课题的方法)

本发明中，对储存单元像素为二维设置的储存部中的一部分的第一区域，用顺次扫描用移位寄存器生成的读出脉冲，进行从所有行的储存单元像素读出信号的顺次读出。另一方面，对包含第一区域以外的整个区域的第二区域，用跳行扫描用移位寄存器生成的读出脉冲，进行从分散的行的储存单元像素读出信号的跳行读出。其结果，在对第一区域得到高解像度画像的同时，对第二区域得到比它解像度低的低解像度画像。

并且，顺次扫描用移位寄存器，为使第一区域在每个画屏上移动，且，跨过多个画屏，第一区域扫描储存部的全部区域，生成读出脉冲。为此，得到高解像度画像的第一区域，以在每个画屏、跨过多个画屏占有全部画屏的方式移动。因此，能够对全部画屏取得高解像度画像部分的信息。

还有，跳行扫描用移位寄存器，以分散的行的位置在每个画屏中移动的方式，生成读出脉冲。为此，在得到低解像度画像的第二区域，进行低解像度画像读出的行，在每个画屏中是移动的。因此，实现了所谓的隔行扫描(interlace)读出，提高了低解像度画像部分的画质。

-发明的效果-

根据本发明，得到高解像度画像的第一区域，以在每个画屏、跨过多个画屏占有全部画屏的方式移动，能够对全部画屏取得高解像度画像部分的信息。还有，在得到低解像度画像的第二区域，进行低解像度画像读出的行，在每个画屏中是移动的，实现了所谓的隔行扫描(interlace)读出，提高了低解像度画像部分的画质。

附图说明

图1，是表示参考例所涉及的画像处理方法中录像过程的流程图。

图2，是表示参考例所涉及的画像处理方法中高解像度化过程的流程图。

图3，是表示参考例所涉及的画像处理方法中录像过程及高解像度化过程例的概念图。

图4，是表示图1的步骤S13处理的一例的流程图。

图5，是表示图2的步骤S23处理的一例的流程图。

图6，是表示图4中步骤S132中向网纹(texture)特征量转变手法的一例的图。

图7，是表示转变后的网纹特征量的图。

图8，是表示本发明第一实施方式所涉及的画像处理装置的构成例的图。

图9，是表示图8中像素密度混合摄像部的构成例的概念图。

图10，是表示由像素密度混合摄像部的像素读出方法的一例的图。

图11，是表示由像素密度混合摄像部的像素读出方法的一例的图。

图11A，是表示时空间均等读出的概念图。

图11B，是表示在时空间中考虑了均等性的读出图案的图。

图12，是表示本发明第一实施方式所涉及的摄像元件的电路构成的例的图。

图13，是表示图12的摄像元件中摄像单元像素的电路构成例的图。

图14，是表示图12的摄像元件中储存单元像素的电路构成例的图。

图15，是表示图12的摄像元件中跳行扫描用移位寄存器的电路构成例的图。

图16，是表示图12至图15的摄像元件的摄像、传送以及读出的一连串动作概要的动作顺序图。

图17，是表示图16的高速V传送期间的动作的脉冲波形图。

图18，是表示图16的水平读出期间的动作的脉冲波形图。

图19，是表示图12的选择器的输出的脉冲波形图。

图20，是表示本发明的第一实施方式中网纹转变处理的概念的图。

图21，是表示分析编码本及再生编码本的做成手法的图。

图22，是表示本发明的第一实施方式所涉及的画像显示部的构成的图。

(符号说明)

201    摄像部

202    储蓄部

203    读出用移位寄存器

205    跳行扫描用移位寄存器

206      顺次扫描用移位寄存器

207      选择器

208      读入用移位寄存器

211      摄像单元像素

221      储存单元像素

p2str    信号线

rd-p     读出脉冲供给线

trn      传送脉冲供给线

sig-out  信号输出线

rd-s     读出脉冲供给线

具体实施方式

本发明的第一方式中，提供摄像元件，该摄像元件包括：摄像部，二维设置有进行入射光的光电转换的摄像单元像素，储蓄部，分别对应上述摄像单元像素二维设置有储存单元像素，传送部，将在上述各摄像单元像素产生的电荷，作为信号传送给所对应的上述储存单元像素，以及输出部，从上述各储存单元像素读出信号；上述输出部包括：顺次扫描用移位寄存器，生成供给上述储蓄部的一部分的第一区域的读出脉冲，跳行扫描用移位寄存器，生成供给包含上述第一区域以外的整个区域的第二区域的分散的行的读出脉冲；构成为能够：利用上述顺次扫描用移位寄存器生成的读出脉冲，对上述第一区域进行从全部的行的储存单位像素读出信号的顺次读出的同时，利用由上述跳行扫描用移位寄存器生成的读出脉冲，对上述第二区域进行从分散的行的储存单位像素读出信号跳行读出；上述顺次扫描用移位寄存器，为使上述第一区域在每个画屏(frame)中是移动的，且，跨越多个画屏，上述第一区域扫描上述储存部的整个区域，生成上述读出脉冲。

本发明的第二方式中，提供摄像元件，该摄像元件包括：摄像部，二维设置有进行入射光的光电转换的摄像单元像素，储蓄部，分别对应上述摄像单元像素二维设置储存单元像素，传送部，将在上述各摄像单元像素产生的电荷，作为信号传送给所对应的上述储存单元像素，以及输出部，从上述各储存单元像素读出信号；上述输出部包括：顺次扫描用移位寄存器，生成供给上述储蓄部的一部分的第一区域的读出脉冲，跳行扫描用移位寄存器，生成供给包含上述第一区域以外的整个区域的第二区域的分散的行的读出脉冲；构成为能够：利用由上述顺次扫描用移位寄存器生成的读出脉冲，对上述第一区域进行从全部的行的储存单位像素读出信号顺次读出的同时，利用由上述跳行扫描用移位寄存器生成的读出脉冲，对上述第二区域进行从分散的行的储存单位像素读出信号跳行读出；上述跳行扫描用移位寄存器，为使上述分散的行的位置在每个画屏(fra me)中是移动的，生成上述读出脉冲。

本发明的第三方式中，提供上述第二方式的摄像元件，上述跳行扫描用移位寄存器，为使跨越多个画屏上述分散的行的位置扫描整个上述第二区域，生成上述读出脉冲。

首先，说明使用本发明的摄像元件的参考例的画像处理方法。

(参考例)

图1及图2，是表示本发明的参考例所涉及的画像处理方法的脉冲波形图。图1表示摄影场面(scene)时的录像过程，图2表示再生、显示录像了的动画数据时的高解像度化过程。图1及图2的过程，一般来讲，分别对应电视(Video)摄影时、将摄影的电视(Video)用显示器(display)观看的再生显示时。

图1的录像过程中，首先在时刻t取得低解像度画像LF(t)记录(S11)。与此同时，在占有画像画屏(frame)的一部分的窗口区域中，取得(S12)高解像度画像HWF(t)。因为这个高解像度画像HWF(t)只用在以后的处理中，没有必要作为动画数据记录。并且，从这个解像度不同的低解像度画像LF(t)、高解像度画像HWF(t)，学习作为解像度转变规则的高解像度化参数P(t)记录(S13)。接下来，将窗口区域的设定位置向其他位置移动(S14)。并且，只要录像还在继续就向下一个时刻t+1的处理推进(S16)，如果录像已经结束就完结过程(S15)。

步骤S13中，分别求得低解像度画像LF(t)和高解像度画像HWF(t)的网纹特征量，将这些网纹特征量的对应关系参数化。在本申请的说明书中，称这个参数P(t)为高解像度化参数。实质上是，输入低解像度网纹TLF输出高解像度网纹TFH的函数或表格(table)

TFH＝Function(TFL、t)………(式1)

而非其他。将这个高解像度化参数作为解像度转变规则使用。

在图2的高解像度化过程中，取得由录像过程记录的低解像度动画数据LF(t)以及由录像过程学习的高解像度化参数P(t)(S21)。并且，取得动画数据的一个画屏(S22)，对该画屏使用高解像度化参数进行高解像度化(S23)。当全画屏结束时终结过程(S24)，没有时，则进入下一个画屏的处理(S25)。

在此，步骤S23中，最好的是不只用该画屏学习的高解像度化参数，还要并用它前后的至少一个画屏所学习的高解像度化参数进行高解像度化。其理由是，该画屏中，不过只是在画像一部分的窗口区域中学习高解像度化参数，对画像整体的高解像度化不够充分。例如，对于该画屏的时刻t只要适用只包含时间T前后期间的期间的高解像度化参数P(t’)既可。也就是

t-T≤t’≤t+T  ………(式2)

图3，是表示本参考例中录像过程及高解像度化过程的例的概念图。图3中，低解像度动画数据LF(t)的各画屏由8×8像素的画像构成，以四分之一的区域作为窗口区域WD1至WD4。窗口区域W D1至WD4的设定位置每个画屏不同，在此按照副扫描方向(纵方向)的顺序，从上向下，并且从下端返回上端的移动。当然，窗口区域的形状以及移动方法并不只限于此，只是为了方便说明例举了简单的例子。

并且，在窗口区域WD1至WD4内，进行比窗口区域外的区域高的高解像度摄像，得到高解像度画像HWF(t)。在此，窗口区域内，相对于其他区域用纵横2×2倍的像素密度进行摄像。尚，如以后所述，窗口区域内用高解像度摄像，窗口区域外的区域用低解像度摄像，在一个画面中取得像素密度混合的动画数据也没有关系。这样的动画数据，本申请的说明书中称之为像素密度混合动画数据。

取得像素密度混合动画数据时，在窗口区域外记录了低解像度画像，然而，在窗口区域内只记录了高解像度画像。但是，在窗口区域低解像度画像没有必要再次取得，通过对高解像度画像进行间拔或者平均化等的画像过滤(filter)处理就能够生成。尚，这个模型化，通过考虑光学系统或者摄像元件的开口形状可以高解像度化接近现实形状。例如，对高解像度画像实施作为与高斯型函数的折合式演算的PSF(Point Spread Function)，接下来可以考虑将它在二维上具有一定宽度的摄像元件区域的范围积分的手法等。

现在，着眼于时刻t的话，将画像纵方向四分割了的各部分区域AR1至AR4，从上按顺序，分别对应时刻t-2的窗口区域WD1、时刻t-1的窗口区域WD2、时刻t的窗口区域WD3、以及时刻t-3的窗口区域WD4。也就是，在时刻t，对应各部分区域AR1至AR4的高解像度化参数，已经在时刻t-2、t-1、t-3中学习完了。若将动画数据的画屏速度定为1/30(sec)的话，从时刻t-3至时刻t的时间经过不超过1/10(sec)程度，只要不是在瞬间发生画面变化，各画屏中基本取得相同的特征量信息。为此，适用从时刻t-3至时刻t为止的高解像度化参数是有效的。

还有，在时刻t的低解像度画像的区域，在时刻t上加上

·时刻(t-1)或者时刻(t+3)

·时刻(t-2)或者时刻(t+2)

·时刻(t-3)或者时刻(t+1)

中，必然有高解像度取得的性质。为此，通过适用前后三画屏的高解像度化参数，只要在这个时间内没有大的场面变化，可以说高解像度化是有效的。这是因为上面的(式1)相当于T＝3。

如图3所示那样，在各时刻，给予了高解像度化参数P(t-3)、P(t-2)、…。高解像度化过程中，低解像度动画数据的各画屏，对于各部分区域，在这个位置对应窗口区域，且，在时刻偏移少的画屏中适用高解像度化参数，进行高解像度化既可。例如，在时刻t低解像度画像LF(t)的情况下，从画像的上部按顺序，对部分区域AR1适用高解像度化参数P(t-2)，对部分区域AR2适用高解像度化参数P(t-1)，对部分区域AR3适用高解像度化参数P(t)，对部分区域AR4适用高解像度化参数P(t+1)既可。尚，例如对部分区域A R1可以适用高解像度化参数P(t+2)，对部分区域AR2适用高解像度化参数P(t+3)也无妨。

尚，图3中表示了四分割的例，但是，将画像整体n(n为2以上的整数)分割一个区域为窗口区域，可以使经过n个画屏占有画像整体而移动窗口区域。还有，即便是此外，最好的也是以经过多个画屏扫描画像整体的方式，每个画屏移动窗口区域。

图4，表示图1中步骤S13的处理的一例的流程图。在此，作为将画像转变为网纹特征量矢量的手法的一例，由小波转换用多重解像度解析，进行高解像度化参数的学习。首先，为了配合低解像度画像LF(t)和高解像度画像HWF(t)的画像尺寸，插入扩大低解像度画像LF(t)(S131)。接下来，由后述的三阶段比例换算(scaling)用小波转换，小波转换两枚画像低解像度画像LF(t)及高解像度画像HWF(t)(132)。最后，将两枚画像低解像度画像LF(t)及高解像度画像HWF(t)的小波系数的对应关系，按每个像素位置储存(S133)。这个对应关系，成为高解像度化参数P(t)。

图5，是表示图2中步骤S23的处理一例的流程图。在此，在某个期间适用高解像度化参数P(t’)进行高解像度化。首先，插值扩大低解像度画像LF(t)使画像尺寸配合高解像度画像HWF(t)(S231)。接下来，小波转换低解像度画像LF(t)(S232)，用高解像度化参数P(t’)置换小波系数(S233)。并且，进行逆小波转换，转换成高解像度画像(S234)。步骤233中，如图3所说明的那样，还可以使用相对于画像上的部分区域不同的画屏时刻的高解像度化参数。或者是，在某个期间将高解像度化参数量子化成一个集合，将它作为高解像度化参数适用亦可。

图6，是表示图4的步骤S132中小波转换的例的图。图6中，第一段(scale)中，通过将输入画像IN向X、Y方向的小波转换，分解成与输入画像IN相同尺寸的四成份画像H1H1、H1L1、L1H1、L1L1。第二段(scale)中，分解了的四成份中，X、Y双方向的高频波H1H1以外的成份再一次分解。这时，只有L1L1再一次向X、Y双方向分解，而H1L1和L1H1只向一个方向进行分解，成为计八个成份。再有，第三段(scale)中，分解H1H2、H2H1、H2H2以外的成份，同样进行只是L2L2向X、Y双方向分解，其他的向一个方向的分解，分解成十二个成份。在此，由于scale的增加两个、四个再分解(虚线图示)的，可以由以后的合成做成。

通过图6那样的小波转换的分解，如图7所示那样，输入画像IN，各像素分解成十六维的成份。将这十六成份束成的矢量，是在像素位置PP的网纹特征量TF1。

通过以上这样的的做法，将低解像度画像和高解像度画像分别转换成网纹特征量，学习它们的相互关系，做成分析译码本和再生译码本。尚，有关这个处理，在阿部淑人、菊池久和、佐佐木重信、渡边弘道、齐藤义明的《使用多重解像度矢量量子化的轮廓强调》电子信息通信学会论文志Vol.j79A 1996/5(1032～1040页)，等中详细说明，在此省略详细说明。这时，步骤S13中的参数化，相当于做成分析译码本及再生译码本。从这里，通过(式1)算出表示的高解像度化参数P(t)。

本参考例中，摄影时，只在画像一部分的窗口区域中取得高解像度画像，使用网纹等的特征量生成高解像度化参数。这样处理的有利点如下所述。

第一，因为高解像度化参数，并不是事前从别的动画数据通过学习求得的，而是可以学习以后的实际高解像度化的动画数据被摄体自身，所以能够实现高精度的画像处理。还有，因为高解像度化参数是时间的函数，所以，通过学习每个画屏，无论画面内出现具有怎样特性的被摄体都能够取得最合适的高解像度化参数，就可以利用于显示时。为此，从原理上讲，引起通过学习得到的高解像度化参数和进行实际的高解像度化的动画数据的不同的性能劣化不存在。

第二，因为利用于高解像度化的是画像网纹等特征量，所以与画面内的位置没有直接的关系，不管是如何移动窗口区域，基本不会受到影响。因此，通过适当的移动窗口罩住画像整体，就能够充分利用来自画面整体的信息。

尚，图1所示的录像过程和图2所示的高解像度化过程，是典型的按照录像过程、高解像度化过程的顺序实施的，例如，转播那样，摄像机摄影和传送显示同时实行时，从时间上同时实施录像过程和高解像度化过程也是无妨的。

还有，录像过程中，是只记录了低解像度动画数据，将它用高解像度化过程高解像度化，但是此外，例如，图3所示的那样所谓的将像素密度混合动画数据原样录像放置后，再将它用高解像度化过程高解像度化这样的方式也无妨。

以下，参照附图详细说明本发明的实施方式。

(第一实施方式)

本发明的第一实施方式中，以上述参考例为基础，将具体的装置构成作为例子进行说明。在此，使用包括如上所述的能够摄像像素密度混合动画数据所构成的像素密度混合摄像部的携带式摄像机实施录像过程。像素密度混合摄像部，如后所述那样，使用CMOS型摄像传感器等的XY地址型摄像元件构成。

图8，是本实施方式所涉及的摄像元件所使用的画像处理装置，表示应用于携带式摄像机的构成例的方框图。图8的画像处理装置10，包括：透镜101、像素密度混合摄像部102、储存低解像度动画数据的一画屏的低解像度画像LF(t)的低解像度画屏存储器103、录像低解像度动画数据DLF的低解像度动画纪录部104、储存一画屏内的窗口区域中的高解像度画像HWF(t)的高解像度窗口储存器105、通过画像处理窗口区域的高解像度画像HWF(t)转变为低解像度的低解像度转换部106、使用窗口区域的高解像度画像HWF(t)学习高解像度化参数P(t)的高解像度化参数学习部120、记录高解像度化参数DP的高解像度化参数纪录部109、整体控制部110以及录像按钮111。高解像度化参数学习部120，包括：将高解像度图像HWF(t)转化成网纹特征量的网纹转换部107、补正低解像度图像的像素大小后转换成网纹的图像尺寸补正·网纹转换部112、以及学习网纹的对应关系的网纹学习部108。尚，在此，因为像素密度混合摄像部102是进行线单位读出的，所以，在像素密度混合摄像部102和低解像度画屏存储器103之间设置了进行水平方向像素间拔的间拔电路115。

按住录像按钮111，整体控制部110向像素密度混合摄像部102及低解像度动画记录部104送出录像指令。像素密度混合摄像部102接受到录像指令实行摄像，低解像度图像LF(t)在低解像度画屏存储器103内按每个画屏存储。并且，低解像度动画记录部104，按时间连续低解像度画屏存储器103中存储的低解像度图像LF(t)成为动画数据，再进行压缩等的处理，作为低解像度动画数据DLF记录于储存媒体或网络上。

整体控制部110，在送出录像指令的同时，向网纹学习部108及高解像度化参数记录部109送出学习信号。像素密度混合摄像部102取得的窗口区域的高解像度图像HWF(t)，储存于高解像度窗口存储器105，经过网纹转换部107输入到网纹学习部108。高解像度图像HWF(t)还通过低解像度转换部106转换为低解像度后，经过图像尺寸补正·网纹转换部112输入到网纹学习部108。网纹学习部108，从解像度不同的同一时刻的图像关联附加网纹之间的对应关系，学习解像度转换规则的高解像度化参数P(t)。高解像度化参数记录部109，将它作为高解像度化参数DP存储或发送到网络上。

尚，低解像度转换部106的输出也提供低解像度画屏存储器103。这是，像素密度混合摄像部102，在窗口区域内只取得高解像度图像，未读出低解像度图像，所以为了补足低解像度图像LF(t)中欠落的窗口区域的部分。

放开录像按钮111，上述动作停止。

在图8的构成中，从像素密度混合摄像部102到低解像度动画记录部104可由硬件构成，还有，网纹学习部108及高解像度化参数记录部109，构成CPU还有GPU(Graphic Processing Unit)等的中心是可能的。

图9，是表示像素密度混合摄像部102的构成的概念图。图9中，在三板方式的一般携带式摄像机中使用了彩色图像摄影用光学系统。三板方式，就是由三棱镜131将波长带域分离成红(R)、绿(G)、蓝(B)。并且，各下盘(collar band)分别对应像素密度混合摄像元件132R、132G、132B。信号处理电路133处理从这些像素密度混合摄像元件132R、132G、132B的输出，生成亮度信号Y和色差信号Cr、Cb。这时，分离成后述的“跳行读出”形成的低解像度信号、和同样是后述的“顺次读出”形成的高解像度信号输出。

动画数据的记录中，使用了这个YCrCb形式。另一方面，网纹学习中，即可以全部使用这个YCrCb形式原样的亮度色差信号，也可以只使用亮度Y信号。但是，高解像度化倍率超过4×4的情况下，从人的视觉系统的亮度成份和颜色成份的频率应答特性比率考虑，只是亮度Y的高解像度化在画质上是不充分的，所以，另外将色差CrCb分别高解像度化是必要地。因此，4×4以上倍率的情况下，在网纹学习中使用红R、绿G、蓝B三个信号成份亦可。图9的构成中，在红、绿、蓝所有的中对应像素密度混合摄像元件132R、132G、132B，且，因为是将动画数据记录方式设定在以前的亮度色差空间中，所以，在网纹学习时，独立使用亮度Y和两种的色差Cr、Cb信号。

图10，是表示由像素密度混合摄像元件读出像素位置的一例的图。图10中，加上阴影线(hatch)的像素是读出对象像素。尚，实际使用摄像元件具有2000×3000个程度的像素，但是，在此为了简单，绘出了以16×16像素也就是垂直(V方向)16线，水平(H方向)16线的二维感应器为例的图。(A)～(D)分别对应在时间上连续的四个画屏。

正如从图10所得知的那样，256(＝16×16)个像素，分离成为进行全像素读出范围(相当于取得高解像度图像的窗口区域)、和此外的进行跳行读出范围。窗口区域是从下向上的顺序移动，以从(A)到(D)为止的四个画屏为一个周期，窗口区域的位置重复同样地移动。

窗口区域以外区域的低解像度图像的读出，可以考虑各种各样的方法，图10中，将均等地十六等分的图像整体假想方块的近似中心，设定为低解像度图像的读出像素位置。通过这种方法，得到水平H垂直V方向的各自间拔了四分之一的低解像度图像。图10中，进行跳行读出的垂直线符号是，(A)中(7、11、15)，(B)中(3、11、15)，(C)中(3、7、15)，(D)中(3、7、11)。

正是这样，在读出全部线的窗口区域，垂直方向上每四条线就有规则的移动，在它以外的区域，垂直方向上固定位置读出三条线。通过这个方法，不会两次读出同一个像素，能够进行像素密度混合摄像。本实施方式，是使用这个读出方法的实施方式。

图11，是表示由像素密度混合摄像元件读出像素位置的其他例的图。图11的例中，低解像度图像的读出方法与图10不同。这种方式中，窗口区域的全部线读出是独立的将间拔四分之一的低解像度图像，随画屏的不同从不同的位置读出。这是为了获得时间空间上取样均等效果，对一部分像素的读出允许重复。图11中，进行跳行读出的垂直线符号是，(a)中(1、5、9、13)，(b)中(2、6、10、14)，(c)中(3、7、11、15)，(d)中(4、8、12、16)。变黑的像素，是进行重复读出的。这个方法中，只由跳行读出的像素构成的低解像度动画数据成为可能。为此，为了补充低解像度图像中欠落的窗口区域的，从低解像度转变部106到低解像度画屏存储器103的像素值的提供处理就不再需要，这是有利之处。

说明时空间取样的均等化。上述的参考例中，通过高解像度窗口区域的学习能够实现高解像度化，但是作为前处理实施通常的插值处理。动画的情况，将这个插值处理在时空间(空间xy和时间t)进行的话，对时间方向的高画质化是有效的。将时空间作为y-t空间的情况，在时空间预先进行扫描线的均等读出，这个插值就会变得良好。基于这个考虑，图11中，每个画屏都在不同的位置进行读出。

将它用时空间表现的话，如图11A所示那样，各每个画屏由不同相位实施跳行读出，以n画屏为一周进行读出。图11B，是n为4、5的情况，在实际的时空间中考虑了均等性的读出方式。本发明，是以这样的一个周期内能够设定自由地跳行方式的摄像元件为前提的。

<本实施方式所涉及的摄像元件的构造>

图12，是表示作为本实施方式所涉及的摄像元件的像素密度混合摄像元件的构造一例的电路方块图。图12中，表示了以垂直16线，水平16线的二维感应器的例，实现图11所示的那样的读出方法的。尚，以后的说明中，使用称将高解像度读出画面的一部分的处理为“顺次读出”，低解像度读出图像的处理为“跳行读出”，行为标准的用语。

摄像元件大致包括：二维设置(阵列设置)进行入射光的光电转换的摄像单元像素211的摄像部201，和二维设置分别对应摄像单元像素211的储存单位像素221，包含遮挡入射光的遮挡部的储存部202。并且，摄像部和储存部202，连接着从摄像部201向储存部202移动信号电荷的信号线p2str。

摄像部201的周围，设置着按每条线的顺序转换读出脉冲的读出用移位寄存器203，以及按每条线转换复位脉冲的复原用移位寄存器204。读出脉冲通过读出脉冲供给线rd-p，复位脉冲通过复位脉冲供给线rst-p，送到摄像部201的各摄像单元像素211。接收了读出脉冲的摄像单元像素211输出信号电荷，接收了复位脉冲的摄像单元像素211复位信号电荷。

储存部202的周围，设置着输出用于“跳行读出”的读出脉冲的跳行扫描用移位寄存器205，输出用于“顺次读出”的读出脉冲的顺次扫描用读出脉冲的顺次扫描用移位寄存器206，选择跳行扫描用移位寄存器205及顺次扫描用移位寄存器206的任何一个输出供给储存部202的选择器207，以及，用于从摄像部201向储存部202转送信号电荷之际的读入用移位寄存器208。选择器207输出的读出脉冲，通过读出脉冲供给线rd-p供给储存部202的各储存单位像素221。还有，读入用移位寄存器208输出的传送脉冲，通过传送脉冲供给线trn供给储存部202的各储存单位像素221。

顺次扫描用移位寄存器206，产生为每画屏的部分读出全部线读出的高解像度图像(例如，每个画屏各输出四分之一画面，四个画屏构成一个画面)的脉冲。也就是，顺次扫描用移位寄存器206，生成供给储存部202的一部分的第一区域的读出脉冲。并且，顺次扫描用移位寄存器206，第一区域每画屏移动，在多个画屏，这个第一区域扫描储存部202整个区域，生成读出脉冲。

另一方面，跳行扫描用移位寄存器205，产生为每个画屏得到一个画面的脉冲产生跳行读出的低解像度图像。也就是，跳行扫描用移位寄存器205，在包含除第一区域以外的整个区域的第二区域，生成供给跳行的读出脉冲。并且，跳行扫描用移位寄存器205，为使这个分散的行的位置在每个画屏中都移动，生成读出脉冲。再有，跳行扫描用移位寄存器205，为使这个分散的行的位置扫描第二区域的整体，生成读出脉冲。跳行扫描用移位寄存器205，另外用图15详细说明。

另外，选择器晶体管群209，设置了水平移位寄存器210及输出放大器211。储存在储存部202的各储存单位像素221的信号电荷，通过信号输出线sig-out，基于由水平移位寄存器210选择的顺序，通过选择器晶体管群209及输出放大器211，输出到外部。

还有，时钟产生电路212，供给脉冲给：读出用移位寄存器203、复位用移位寄存器204、跳行扫描用移位寄存器205、顺次扫描用移位寄存器206、选择器207、读入用移位寄存器208、水平移位寄存器210、以及复位脉冲供给线rsd-s。但是，时钟产生电路212，与摄像元件分别搭载在不同的芯片上也无妨。

由信号线p2str、读出用移位寄存器203、读出脉冲供给线rd-p、读入用移位寄存器208、传送脉冲供给线trn，构成传送部。还有，由信号输出线sig-out、跳行扫描用移位寄存器205、顺次扫描用移位寄存器206、选择器207、读出脉冲供给线rd-s，构成输出部。

图13，是表示摄像单元像素211的构成一例的图。图13的构成，普通的是由三个晶体管构成。也就是，包括：光产生信号的光电管PD(光电晶体管PD)、栅极连接于读出脉冲供给线rd-p，为将信号电荷输出给信号线p2str的读出用晶体管TR1，源极转发晶体管TR2，以及，栅极连接于复位脉冲供给线rst-p，复位储存了的信号电荷的复位用晶体管TR3。

图14，是表示储存单位像素221的构成一例的图。图14的构成，是由四个晶体管和一个电容构成。也就是包括：栅极连接于传送脉冲供给线trn的晶体管TR4，通过信号线p2str及晶体管TR4为储存从摄像单元像素211传送的信号电荷的储存电容C-str，栅极连接于读出脉冲供给线rd-s，将储存在储存电容C-str中的信号电荷读出到信号输出线sig-out的晶体管TR5，栅极连接于复位脉冲供给线rst-s，将储存电容C-str复位到GND电平的晶体管TR6，以及源极转发晶体管TR7。

图15，是表示跳行扫描用移位寄存器205的构成的一例的图。图15中，跳行扫描用移位寄存器205，是由跳行指定选择器251、线群扫描移位寄存器252、以及D门闩253等构成。它的详细动作在后叙述。

图16，是说明图12至图15所示的像素密度混合摄像元件中摄像/传送及读出的一连串动作的概要的动作关联图。图16中，表示连续四画屏期间的概略动作(但是，由于作图的需要，省略了第三画屏)。

第一画屏中，摄像部201的线PDR1的曝光时间T1结束的话，在以后的传送期间T11中，线PDR1上所有的信号电荷，线上一次性的传送给对应于储存部202的线STR1的像素。被传送的信号电荷，分别储存于对应于水平方向位置的储存单位像素221的储存电容C-str。接下来线PDR2的曝光时间T2结束的话，在接下来的传送期间T21中，线PDR2上的信号电荷，线上一次性的传送给对应于储存部202的线STR2的像素。被传送的信号电荷，分别储存于对应于水平方向位置的储存单位像素221的储存电容C-str。

这样的读出/传送动作，在高速V传送期间Tp2str中，按照十六条线PDR1至PDR16的顺序实行。也就是，在曝光时间中各摄像单元像素211内的光电管PD上光电转换了的信号电荷，于高速V传送期间Tp2str，被从摄像部201向储存部202传送、储存。

第一画屏中储存在储存部202内的信号电荷，在下一个第二画屏的水平读出期间，读出到外部。第二画屏，线STR5至STR8的四条线由顺次读出方式读出，STR2、STR6、STR10、STR14的四条线由跳行读出方式读出。其他的线，不被读出。并且，在储存部复位期间，通过复位脉冲供给线rst-s上施加了复位脉冲，储存部202的全部储存单位像素221的储存电容C-str，一起被复位到GND电平。

在以后的画屏中，进行同样地扫描。第四画屏中，线STR13至STR16的四条线由顺次读出方式读出，STR4、STR8、STR12、STR16的四条线由跳行读出方式读出。其他的线，不被读出。并且，在储存部复位期间，复位脉冲供给线rst-s上施加了复位脉冲，储存部202的全部储存单位像素221的储存电容C-str，一起被复位到GND电平。

尚，图16的各画屏中，进行的是四线连续进行顺次读出，以每四线的第四线进行跳行读出，但是，读出的线数并不仅限于此，还有，跳行读出和顺次读出所读出的行数并非一定要相等。例如，n线连续进行顺次读出，以每m线进行一线跳行读出亦可。还有，为了简单，例如第二画屏中，线STR6进行了重复读出，但并不是一定要重复。

图17，是表示高速V传送期间Tp2str中动作的脉冲波形图。图17中，第一画屏的线PDR1中，曝光时间T1结束的话，读出脉冲供给线rd-p上供给读出脉冲。这个读出脉冲，施加在图13的摄像单元像素211中晶体管TR1的栅极上，相当于光电管PD的信号电荷的信号电荷通过源极转发晶体管TR2输出给信号线p2str。线STR 1中，在传送脉冲供给线trn上供给传送脉冲的话，这个传送脉冲施加在图14的储存单位像素221中晶体管TR4的栅极上，从信号线p2str通过晶体管TR4向储存电容C-str传送信号电荷。

读出脉冲供给后，向复位脉冲供给线rst-p供给复位脉冲。这个复位脉冲施加在图13的摄像单元像素211中晶体管TR3的栅极上，由此，复位光电管PD。

通过这样的动作，摄像部201的各线PDR1至PDR16中的摄像单元像素211的信号电荷，全部传送到对应于储存部202的线STR1至STR16的储存单位像素221中。

图18，是表示水平读出期间及储存部复位期间的动作的脉冲波形图。图18中，从时刻产生电路212供给时钟CK。第一画屏的水平读出期间中，从时钟CK，通过选择信号sel-H/L分离出的转换时钟CK-H供给顺次扫描用移位寄存器206。顺次扫描用移位寄存器206，接收这个转换时钟CK-H、和从时刻产生电路212供给的转换数据Data-H(未图示)，向线STR1至STR4输出读出脉冲。第二画屏的水平读出期间中，顺次扫描用移位寄存器206，向线STR5至STR8输出读出脉冲。

在此如图15所示那样，跳行扫描用移位寄存器205，包括决定该画屏的所跳行的跳行指定寄存器251、和为同相位扫描多条线的线群扫描移位寄存器252。首先，跳行指定寄存器251，接收从脉冲产生电路212供给的时钟CK-L1及跳行选择数据Data-L1，使输出L1至L16当中对应于该画屏的跳行扫描线的成为“H”。第一画屏中，L1、L5、L9、L13成为“H”。

接下来，线群扫描移位寄存器252，被供给来自时刻产生电路212的数据转换用时钟CK-L2及数据Data-L2。在此，作为数据Data-L2，供给了以数据门闩用时钟CK-L3的四个周期为一个周期，一周期期间(数据转换用时钟CK-L2的四个脉冲的量)为“H”，后续的三个周期期间为“L”的数据。由此，各D门闩253的输出L1至L16成为如图18所示那样。各AND栅极254，分别输出跳行指定寄存器251的输出L1至L16、和各D门闩253的输出L1至L16的逻辑相乘信号。各AND栅极254的输出信号，成为读出脉冲。

图19，表示选择器207的输出的脉冲波形图。选择器207，选择信号sel-H/L为“H”时选择顺次扫描用移位寄存器206的输出，为“L”时选择跳行扫描用移位寄存器205的输出。由此，图18所示的一连串动作的结果，各线STR1至STR16可以得到图19所示那样的输出。

在此，为了任意改变跳行数，只要改变脉冲产生电路212的输出的数据Data-L2、数据转换用时钟CK-L2及数据门闩用时钟CK-L3既可。还有，为了任意改变顺次扫描的连续线数，这也是只要改变时刻产生电路212的输出的选择信号sel-H/L的“H”期间既可。正如这样，跳行线数以及顺次扫描的连续线数并非只由电路构成而决定，本实施方式中，可以设定自由动作形式，有自由度的驱动成为可能。

还有，水平读出期间的一线读出，如以下那样进行。水平移位寄存器210，接收从时刻产生电路212供给的一水平期间的选择信号HSEL和水平传送时钟Hck，对应于此，逐个向选择器晶体管群209的各晶体管C1至C16供给脉冲。其结果，从线STR1至STR16中的由选择器207的输出选择的线，储存在储存单位像素221的储存电容C-str的信号电荷，按顺序，通过输出放大器211传送给外部信号处理电路(在此未图示)，完成读出。

返回到图8的构成，从像素密度混合摄像部102顺次读出的像素值，作为高解像度图像HWF(t)暂时储存在高解像度窗口储存器105。还有，从像素密度混合摄像部102跳行读出的像素值，由间拔电路115在H方向间拔四分之一后，作为一个画屏画面暂时储存在低解像度画屏储存器103中。这个间拔，在图10及图11的例中，实现只使H方向的像素符号(2、6、10、14)的像素值通过，其他的就读过既释。

在此，图10的读出动作的情况下，就这样的话，一个画屏中欠落窗口区域中的低解像度图像。为此，低解像度转换部106对高解像度图像HWF(t)进行取样处理等的图像处理，收纳在低解像度画屏储存器103中的相应位置。例如在图10的例中，以窗口区域的下边为V方向的原点基准，只要进行坐标(V、H)＝(2、3)、(6、3)、(10、3)、(14、3)的位置的特定像素取样既可。

储存在低解像度画屏储存器103中的，纵横1/4×1/4间拔的低解像度图像LF(t)，逐次按每个画屏由低解像度动画数据记录部104记录。在此之际，适用既存的动画数据压缩方式是任意的。

高解像度窗口区存储器105中储存的高解像度图像HWF(t)的亮度成份，输入网纹转换部107，通过小波转换等的多重解像度转换，转换为亮度图像的网纹特征量。另一方面，从低解像度转换部206输出的低解像度图像的亮度成份，输入图像尺寸补正·网纹转换部112。图像尺寸补正·网纹转换部112中，一旦将低解像度图像复原成与高解像度图像相同的像素数，实施小波转换等的多重解像度转换，转换为亮度图像的网纹特征量。在此图像尺寸补正手法是任意的，但是，可以用双线性插值、双立方插值等的手法。在此所用的图像尺寸补正手法，被利用在后述的动画数据高解像显示之际从低解像度图像高解像度化情况的事前处理。

图20，是表示网纹转换处理的概念图。图20中，2001是窗口区域的高解像度图像，在此为正方形的窗口区域。2002是小波转换高解像度图像2001得到的多阶层小波系数图像。还有2003是低解像度图像，2004是通过像素大小补正与高解像度图像2001像素一致地图像，2005是从图像2004得到的小波系数图像。若称图像2001为鲜明图像，称图像2004为模糊图像的话，2006和2007就分别是鲜明图像2001和模糊图像2004的像素位置PP中具有十六维成份的网纹特征量。

在学习(摄像)时，学习网纹特征量2006、2007的关系，将从低解像度的网纹特征量2007向高解像度网纹特征量2006的转变规则作为高解像度化参数取得。并且，在高解像度化中，输入低解像度图像2003，通过进行像素大小补正得到模糊图像2004，通过适用学习的高解像度化参数，得到高解像度图像2001。尚，在此的说明中，因为是利用学习的图像自身实施高解像度化，所以可以实现理想地高解像度化，但是，实际上未学习的图像作为对象的很多，也就并非一定能复原到理想地高解像度图像。然而本发明中，与摄像时一起学习被摄体的一部分的窗口区域的高解像度化参数，通过预先学习类似地被摄体取得高解像度化参数，可以实现数段性高的高解像度化。

网纹学习部108，学习解像度转换部107及图像尺寸补正·解像度转换部112输出的网纹特征量的相互关系，做成分析编码本和再生编码本生成高解像度化参数。有关这个手法，用图21说明。

在此，模糊图像和鲜明图像都是由100像素形成的。模糊图像和鲜明图像，分别随每个像素位置的不同，转换成多重解像度矢量U1至U100、V1至V100。矢量U1至U100和矢量V1至V100之间，具有像素位置相同的关系，编码本，只要作成为输入U时就会输出对应的V的形式既可。但是，实际上，各多重解像度矢量通过矢量量子化分类成代表矢量。

图21的例子中，矢量U量子化为2101和2102两种，矢量V量子化为2103和2104两种。分析编码本或再生编码本的量子化指标，意味着加在这些量子化了的矢量集合的符号。并且，所谓的引用编码本，是得到输入矢量符号V和量子化了的矢量集合的符号的1、2而不是其他的。还有，量子化集合2103上付着代表矢量Z1，量子化集合2104上付着代表矢量Z2。这些代表矢量，是通过取得属于量子化集合的矢量的平均值以及代表值等的方法计算的。本发明中，在此叙述的编码本作为时刻的相关数按照每个画屏计算，成为高解像度化参数P(t)。

接下来，产生从矢量符号输出量子化指数(1或2)的分析编码本IG、和输入量子化指数(1或2)输出再生编码本IF。通过接合使用这样生成的分析编码本和再生编码本，可以将模糊图像多重解像度矢量转换为鲜明图像解像度矢量。

以上这样求得的分析编码本和再生编码本，通过高解像度化参数记录部109，作为高解像度化参数DP储存。

图22，是表示本实施方式所涉及的图像显示部的构造的图。图22的构成，具有高解像度显示由图8的携带式摄像机等像素处理装置摄像的动画数据的功能，例如，作为携带式摄像机的附属显示部实现，或者设置在携带显示终端或家庭内的大型电视(TV)等中实现等。图22的图像显示部30，包括动画输入部301、图像尺寸补正·网纹转换部302、网纹置换部303、网纹逆转换部304、高解像度化参数输入部305、整体控制部306以及显示器307。由图像尺寸补正·网纹转换部302、网纹置换部303以及网纹逆转换部304构成高解像度化部310。

首先，由图8的图像处理装置10记录的低解像度动画数据DLF以及高解像度化参数DP，通过网络或各种各样的媒体，输入图像显示部30。整体控制部306向动画数据输入部301送去指令，接到指令的的动画数据输入部301，扩大读出压缩了的低解像度动画数据DLF。在此，想定的是通常的彩色动画数据，所以，生成YCrCb的亮度色差信号。读出的图像，与本来的高解像度图像相比从像素大小1/4×1/4的低解像度，接下来图像尺寸补正·网纹转换部303得到图像尺寸纵横扩大四倍的模糊图像，再接下来独立网纹转换成彩色信号的亮度成份Y和色差CrCb。这个动作，与图8的图像尺寸补正·网纹转换部112相同，省略说明。

接下来，整体控制部306向高解像度化参数输入部305发送指令，接到指令的高解像度化参数输入部305，读出高解像度化参数DP输入网纹置换部303。网纹置换部303，通过结合使用记录在高解像度化参数中的分析编号本和再生编号本，将表现模糊图像网纹的多重解像度矢量(网纹特征量)，转换成表现鲜明图像网纹的多重解像度矢量。接下来，网纹逆转换部304进行从鲜明图像网纹特征量向高解像度化了的亮度图像的转换。并且，高解像度化了的亮度Y图像和原色差CrCb图像输入到显示器307，高解像度图像作为动画数据显示。

尚，以上的说明，是基于将彩色动画数据分离成称为YCrCb的亮度·色差成份使用，独立高解像度化各成文的考虑方法。但是，本发明并不只限于此，将彩色动画数据用RGD成份使用，整体成份用独立高解像度化方法，高解像度化只有亮度成份的黑白图像的方法亦可。

还有如上所述那样，本实施方式中，从低解像度的记录动画数据生成显示高解像度的动画数据是可能的，所以，在摄像时储存信息量少，不需要消耗电力大的高解像度动画数据用超高速摄像元件，这是一个有利之处。为此，应用到在消耗电力方面有限制的超小型摄像机等成为可能。其结果，就可以对应将超小型摄像机摄像的动画数据在大画面显示器中高画质扩大显示，想看的部分进一步扩大等的处理，这成为一个大的有利点。

-产业上利用的可能性-

本发明所涉及的摄像元件中，在取得像素密度混合动画数据之际，或者就画屏整体取得高解像度画像部分的信息、或者提高低解像度画像部分的画质均为可能，所以，例如在利用高解像度画像学习解像度转换规则、进行动画数据的高解像度化的画像处理是有效的。

Claims (3)

1.一种摄像元件，其特征在于，包括：

摄像部，二维设置有进行入射光的光电转换的摄像单元像素；

储蓄部，分别对应上述摄像单元像素而二维设置有储存单元像素；

传送部，将在上述各摄像单元像素产生的电荷，作为信号传送给所对应的上述储存单元像素；以及

输出部，从上述各储存单元像素读出信号，

上述输出部，包括：

顺次扫描用移位寄存器，生成供给上述储蓄部的一部分的第一区域的读出脉冲；和

跳行扫描用移位寄存器，生成供给包含上述第一区域以外的整个区域的第二区域的分散的行的读出脉冲，

被构成为使得能够：对于上述第一区域，利用由上述顺次扫描用移位寄存器生成的读出脉冲，进行用于从全部的行的储存单位像素中读出信号的顺次读出，同时，对于上述第二区域，利用由上述跳行扫描用移位寄存器生成的读出脉冲，进行用于从分散的行的储存单位像素中读出信号的跳行读出；

上述顺次扫描用移位寄存器，以对每个画屏、上述第一区域移动且跨越多个画屏、上述第一区域扫描上述储存部的整个区域的方式，来生成上述读出脉冲。

2.根据权利要求1所述的摄像元件，其特征在于：

上述跳行扫描用移位寄存器，以对每个画屏、上述分散的行的位置移动的方式，来生成上述读出脉冲。

3.根据权利要求1所述的摄像元件，其特征在于：

包括复原用移位寄存器，其按每条线转换复位脉冲。

Images