CN112020854B - 摄像装置、摄像系统和摄像方法 - Google Patents

Abstract

本发明的目的在于减少由无透镜的摄像装置拍摄到的动态图像的容量。因此，摄像装置具有调制光的强度的调制器，其设置于图像传感器的受光面，具有由多条线构成的第1光栅图案和相位与第1光栅图案错开的第2光栅图案，接收由第1光栅图案输出的第1图像信号和由第2光栅图案输出的第2图像信号，计算第1图像信号与第2图像信号的差数据和差的范围，基于差的范围和差数据，根据连续输出的差数据，每隔一定间隔地生成并设定数据转换用参数，使用差数据和数据转换用参数来生成压缩用图像数据，压缩所生成的压缩用图像数据，在压缩了的数据中包含表示差的范围的信息。

Description

摄像装置、摄像系统和摄像方法

技术领域

本发明涉及摄像装置、摄像系统和摄像方法。

背景技术

作为所谓的无透镜的摄像装置，有利用波带板(FZP)以莫尔条纹的空间频率的方式检测来自被拍摄体的光线，根据莫尔条纹的傅里叶转换像再构建被拍摄体的像的装置。这样的不使用透镜的无透镜摄像装置作为能够实现小型、低成本的摄像装置备受期待。

作为本技术领域的背景技术，例如有专利文献1。专利文献1中，叙述了在根据由无透镜摄像装置拍摄到的传感器图像生成莫尔条纹图像时进行调焦(再聚焦)、自动对焦、测距的方法。

现有技术文献

专利文献

专利文献1：国际公开WO2017/149687号公报

发明内容

发明要解决的技术课题

在专利文献1中，为了在摄影后进行调焦等，必须记录传感器图像，但专利文献1的传感器图像是被拍摄体不明确的特殊的图像，1 张图像的容量也很多，因此直接存储的话需要很大的存储容量。由此，希望减少由无透镜的摄像装置拍摄到的图像的容量。

本发明用于解决上述课题，其目的在于提供减少由无透镜的摄像装置拍摄到的动态图像的容量而进行管理的摄像装置、摄像系统和摄像方法。

用于解决课题的技术方案

本发明鉴于上述背景技术和课题而提出，举出其一例如下，一种能够连续地拍摄图像的摄像装置，其包括：将由在摄像面上配置成阵列状的多个受光元件获取的光学像转换为图像信号并将其输出的图像传感器；设置于图像传感器的受光面的、用于调制光的强度的调制器；接收从图像传感器输出的图像信号的信号处理部；计算由信号处理部接收到的图像信号的差，并生成基于差的第1差数据的差分处理部；基于由差分处理部获取的图像信号的差的范围和第1差数据来设定数据转换用参数的参数设定部；使用由差分处理部获取的第1差数据和由参数设定部设定的数据转换用参数来生成第1压缩用图像数据的数据转换部；和压缩由数据转换部生成的第1压缩用图像数据的压缩部，调制器具有由多条线构成的第1光栅图案和相位与第1光栅图案错开的第2光栅图案，信号处理部接收由第1光栅图案输出的第1图像信号和由第2光栅图案输出的第2图像信号，差分处理部计算第1图像信号与第2图像信号的差，参数设定部从连续地输入的第1差数据每隔一定间隔地生成并设定数据转换用参数，压缩部在压缩了的数据中包含表示差的范围的信息。

发明效果

根据本发明，能够提供能够减少由无透镜的摄像装置拍摄到的图像的容量而进行管理的摄像装置、摄像系统和摄像方法。

附图说明

图1是无透镜的摄像装置的基本结构图。

图2是表示调制器的一例的结构图。

图3是表示图像处理部进行的图像处理的概要的流程图。

图4是说明基于倾斜入射平行光的从光栅基板表面向背面的投影像产生面内错位的图。

图5是说明光栅基板两面的光栅的轴一致时的莫尔条纹的生成和频谱的示意图。

图6是将表面光栅和背面光栅的轴错开配置时的示意图。

图7是说明将光栅基板两面的光栅错开配置时的莫尔条纹的生成和频谱的示意图。

图8是说明来自构成物体的各点的光相对于传感器所成的角的图。

图9是表示物体处于无限距离时正面侧光栅图案投影的情况的图。

图10是表示物体处于无限距离时生成的莫尔条纹的例子的图。

图11是表示物体处于有限距离时正面侧光栅图案放大的情况的图。

图12是表示物体处于有限距离时生成的莫尔条纹的例子的图。

图13是表示物体处于有限距离时修正了背面侧光栅图案的莫尔条纹的例子的图。

图14是表示用图像处理实现背面侧光栅图案的实施例的图。

图15是表示用图像处理实现背面侧光栅图案的实施例的调制器的图。

图16是表示用图像处理实现背面侧光栅图案的实施例的图像处理部的处理流程的图。

图17是表示实现再聚焦的实施例的图。

图18是表示实现再聚焦的实施例的图像处理部的处理流程的图。

图19是表示实现时间分割条纹扫描的实施例的图。

图20是表示时间分割条纹扫描中的光栅图案的实施例的图。

图21是表示时间分割条纹扫描中的调制器的实施例的图。

图22是表示实现时间分割条纹扫描的实施例的图像处理部的处理流程的图。

图23是表示实现空间分割条纹扫描的实施例的图。

图24是表示空间分割条纹扫描中的光栅图案的实施例的图。

图25是表示空间分割条纹扫描中的光栅图案的实施例的图。

图26是表示压缩差图像数据的实施例的图。

图27是表示压缩差图像数据的实施例中的帧间差分处理的输入像素数据例的图。

图28是表示压缩差图像数据的实施例中的帧间差分处理的输出像素数据例的图。

图29是表示压缩差图像数据的实施例中的添加于压缩文件的图像信息例的图。

图30是表示压缩差图像数据的实施例中的压缩文件的格式例的图。

图31是表示压缩差图像数据的实施例中的压缩前处理部的处理流程的图。

图32是表示压缩差图像数据容量的实施例中的图像再现部的处理流程的图。

图33是实施例1的摄像系统的结构图。

图34是表示实施例1的画面分割例的图。

图35是表示实施例1的对数据转换处理部输入的信号例的图。

图36是表示实施例1的压缩处理部的结构例的图。

图37是表示实施例1的处理流程的图。

图38是表示实施例2的处理流程的图。

图39是表示实施例3的处理流程的图。

图40是实施例4的摄像系统的结构图。

图41是表示实施例4的画面分割例的图。

图42是表示实施例4的压缩前处理部的结构例的图。

图43是表示实施例4的处理流程的图。

图44是实施例5的与包含色差信号的影像的显像处理对应的再现装置的结构图。

图45是表示实施例5的再现装置的处理流程的图。

图46是实施例6的包含摄像装置和再现装置的摄像再现系统的结构图。

图47是实施例7的包含摄像装置和再现装置的摄像再现系统的结构图。

图48是实施例8的摄像系统的结构图。

图49是实施例9的摄像再现装置的结构图。

图50是实施例9的包含摄像再现装置的摄像再现系统的结构图。

图51是实施例10的影像显示系统的结构图。

图52是实施例10的影像显示装置和运算处理装置的结构图。

具体实施方式

以下，使用附图说明本发明的实施例。

实施例1

关于作为本发明的前提的、不使用成像的透镜而获取外界的物体的图像的无透镜的摄像装置的原理，引用专利文献1的内容。另外，以下对其一部分进行说明，但详细内容请参照专利文献1。

图1是无透镜的摄像装置的基本结构图。如图1所示，摄像装置 101包括调制器102、图像传感器部103和图像处理部106。从图像传感器部103输出的图像信号由作为图像处理部的图像处理部106进行图像处理后，向图像显示部107等输出。

图2是表示调制器102的一例的结构图。图2中，调制器102固定于图像传感器部103的受光面，在光栅基板102a的正面侧和背面侧分别形成有正面侧光栅图案104、背面侧光栅图案105。像这样，调制器102设置于图像传感器部103的受光面。光栅基板102a例如由玻璃、塑料等透明材料构成。

以下将光栅基板102a的图像传感器部103侧称为背面，将相对的面即摄影对象侧称为正面。该正面侧光栅图案104和背面侧光栅图案 105由越向外侧去则与距中心的半径成反比例地光栅图案的间隔即节距越变窄的同心圆状的光栅图案构成。

透过正面侧光栅图案104、背面侧光栅图案105的光被其光栅图案调制光的强度，透射的光被图像传感器部103接受。

在图像传感器部103的正面，作为受光元件的像素103a以光栅状 (阵列状)规则地配置。该图像传感器部103将像素103a接受了的光图像转换为作为电信号的图像信号。像这样，图像传感器部103将取入到在摄像面配置成阵列状的多个受光元件的光学像转换为图像信号并将其输出。

接着，说明图1的摄像装置101所具有的图像处理部106进行的图像处理的概要。图3是表示图像处理部106进行的图像处理的概要的流程图。图3中，首先，根据从图像传感器部103输出的信号，在步骤S500的处理中通过去马赛克处理等生成每个RGB(Red GreenBlue)成分的莫尔条纹图像。接着，对于莫尔条纹图像，对每个RGB 成分通过高速傅里叶变换(FFT：Fast Fourier Transform)等二维傅里叶变换运算求取频谱(S501)。

接着，取出步骤S501的处理所得的频谱中所需的频率区域的数据后(S502)，进行该频谱的强度计算，由此获取图像(S503)。另外，此处，例如使用4个图案的调制器时进行2个相位不同的图像的强度的合成而输出1张图像。此处，将根据从图像传感器部得到的信号、通过频谱计算、强度计算等获取图像的处理称为显像处理。

对获取的图像进行噪声除去处理(S504)，接着进行对比度强调处理(S505)等。之后，调整图像的彩色平衡(S506)后作为摄影图像输出(S507)。通过以上处理，结束图像处理部106的图像处理。

接着说明摄像装置101的摄影原理。首先，图2所示的相对于距中心的半径成反比例地使节距变小的同心圆状的正面侧光栅图案104、背面侧光栅图案105以下述方式定义。在激光干涉计等中，设想使接近平面波的球面波和用作参照光的平面波干涉的情况。使距作为同心圆的中心的基准坐标的半径为r，使此处的球面波的相位为φ(r)时，对其使用决定波面的曲率大小的系数β以式1表示。

[式1]

φ(r)＝βr²…(1)

这是因为，即使是球面波，由半径r的2次方表示的是接近平面波的球面波，因此能够仅以展开的最低次来近似。当使平面波与具有该相位分布的光干涉时，能够得到式2的干涉条纹的强度分布。

[式2]

这是在满足式3的半径位置处具有明亮的线的同心圆的条纹。

[式3]

φ(r)＝βr²＝2nπ (n＝0，1，2，…)…(3)

使条纹的节距为p时，得到式4，

[式4]

可知节距相对于半径成反比例地变窄。

具有这样的条纹的板被称为菲涅耳波带板或伽博波带板。将具有与由式2定义的强度分布成比例的透射率分布的光栅图案，用作图1 所示的正面侧光栅图案104、背面侧光栅图案105。

此处，使用图4说明入射状态。图4是表示入射状态的图。

对在两面形成有这样的光栅图案的厚度t的调制器102，如图4所示以角度θ0入射平行光。使调制器102中的折射角为θ，几何光学上，乘以正面的光栅的透射率的光，偏移δ＝t·tanθ地向背面入射，假设2 个同心圆光栅的中心对齐地形成时，背面的光栅的透射率偏移δ地相乘。此时，得到式5所示的强度分布。

[式5]

可知该展开式的第4项在2个光栅的错开方向上在重叠的区域一面产生了径直的等间隔的条纹图样。这样的条纹和条纹的重叠以相对低的空间频率产生的条纹被称为莫尔条纹。这样的径直的等间隔的条纹在检测图像的由二维傅里叶变换得到的空间频率分布中产生尖峰。

根据该频率的值能够求取δ的值、即光线的入射角θ。已知这样的在整面一致地以等间隔得到的莫尔条纹，由于同心圆状的光栅配置的对称性，无论偏移方向如何均以相同节距产生。由于将光栅图案以菲涅耳波带板或伽博波带板形成，能够得到这样的条纹，但只要能够得到在整面一致的等间隔的莫尔条纹，则可以使用任何的光栅图案。

此处，根据式5以式6的方式仅取出具有尖峰的成分时，

[式6]

其傅里叶频谱如式7所示。

[式7]

此处，F表示傅里叶变换的运算，u、v是x方向和y方向的空间频率坐标，带有括弧的δ是Δ函数。根据该结果，在检测图像的空间频谱中，可知莫尔条纹的空间频率的峰值在u＝±δβ/π的位置产生。其样子示于图5。

图5是分别表示光线和调制器102的配置图、莫尔条纹、以及空间频谱的示意图的图。在图5中，从左到右分别表示光线和调制器102 的配置图、莫尔条纹、以及空间频谱的示意图。图5的(a)表示光线垂直入射的情况，图5的(b)表示光线从左侧以角度θ入射的情况，图5的(c)表示光线从右侧以角度θ入射的情况。

形成在调制器102的正面侧的正面侧光栅图案104与形成在背面侧的背面侧光栅图案105的轴一致。在图5的(a)中，正面侧光栅图案104与背面侧光栅图案105的影子一致，因此不会产生莫尔条纹。

在图5的(b)和图5的(c)中，正面侧光栅图案104与背面侧光栅图案105的偏移相等，因此同样产生莫尔条纹，空间频谱的峰位置也一致，根据空间频谱，不能判断光线的入射角是图5的(b)的情况还是图5的(c)的情况。使用图6说明避免该情况的方法。

图6是表示光栅图案的配置例的图。如图6所示，为了使得相对于垂直地入射至调制器102的光线，使2个光栅图案的影子错开地重叠，必须预先使2个正面侧光栅图案104、背面侧光栅图案105相对于光轴相对地错开。对于轴上的垂直入射平面波，使2个光栅的影子的相对错位为δ0时，由入射角θ的平面波产生的错位δ以式8表示。

[式8]

δ＝δ₀+t tanθ…(8)

此时，入射角θ的光线的莫尔条纹的空间频谱的峰在频率的正侧，处于式9的位置。

[式9]

使图像传感器的大小为S，使图像传感器的x方向和y方向的像素数均为N时，二维傅里叶变换得到的离散图像的空间频谱在从-N/(2S) 到+N/(2S)的范围中得到。

由此，均匀地接受正侧的入射角和负侧的入射角的话，垂直入射平面波(θ＝0)引起的莫尔条纹的频谱峰位置处于原点(DC：直流成分)位置与例如+侧端的频率位置的中央位置、即式10的空间频率位置是适当的。

[式10]

由此，2个光栅的相对中心位置错位，以式11表示是适当的。

[式11]

图7是说明使正面侧光栅图案104与背面侧光栅图案105错开地配置时的莫尔条纹的生成和频谱的示意图。与图5同样，左侧表示光线和调制器102的配置图，中央列表示莫尔条纹，右侧表示空间频谱。此外，图7的(a)是光线垂直入射的情况，图7的(b)是光线从左侧以角度θ入射的情况，图7的(c)是光线从右侧以角度θ入射的情况。

正面侧光栅图案104和背面侧光栅图案105预先错开δ0而配置。因此，图7的(a)中也产生莫尔条纹，在空间频谱出现峰。该错开量δ0如上所述，设定成使得峰位置在从原点到一侧的频谱范围的中央出现。

此时，图7的(b)中错位量δ进一步变大的方向是图7的(c) 中变小的方向，因此与图5不同，图7的(b)与图7的(c)的不同能够根据频谱的峰位置来判别。该峰的频谱像是表示无限远的光束的亮点，就是图1的摄像装置101的摄影像。

使能够受光的平行光的入射角的最大角度为θmax时，根据式12，

[式12]

能够由摄像装置101受光的最大视角由式13得到。

[式13]

基于一般的使用透镜的成像来类推，如果认为视角θmax的平行光在图像传感器的端部形成焦点而受光，则不使用透镜的摄像装置101 的有效焦点距离能够相当于式14。

[式14]

此处，根据式13判断视角能够根据调制器102的厚度t、正面侧光栅图案104、背面侧光栅图案105的系数β而变更。由此，例如，如果调制器102是将正面侧光栅图案104和背面侧光栅图案105形成为薄膜，将它们用支承部件保持的结构，且是支承部件的长度即厚度t能够变更的结构，则摄影时能够变更视角地进行摄影。

在以上的说明中，均是入射光线同时为1个入射角度，但实际上为了将摄像装置101用作摄像机，需要设想多个入射角度的光同时入射的情况。这样的多个入射角的光在入射至背面侧的光栅图案的时刻已经重叠了多个正面侧光栅的像。如果它们彼此产生莫尔条纹，则担心会成为阻碍与作为信号成分的背面侧光栅图案105的莫尔条纹的检测的噪声。

但是，实际上，正面侧光栅图案104的像彼此的重叠不会产生莫尔像的峰，产生峰的仅是与背面侧光栅图案105的重叠。以下说明其理由。

首先，由多个入射角的光线引起的正面侧光栅图案104的影子彼此的重叠不是积而是和，这是很大的不同。1个入射角的光引起的正面侧光栅图案104的影子与背面侧光栅图案105的重叠中，通过对作为正面侧光栅图案104的影子的光的强度分布乘以背面侧光栅图案105 的透射率，能够得到从背面侧光栅图案105透射后的光强度分布。

与此不同，由多个对正面侧光栅图案104入射的角度不同的光引起的影子彼此的重叠是光的重合，因此不是积而是和。在为和的情况下如式15所示，

[式15]

成为在原来的菲涅耳波带板的光栅的分布上乘以莫尔条纹的分布而得到的分布。由此，其频谱由各个频谱的重叠积表示。

因此，即使例如莫尔的频谱单独地具有尖峰，实际上在该位置也仅是产生菲涅耳波带板的频谱的重影。即，在频谱中不会产生尖峰。由此，即使入射多个入射角的光，检测到的莫尔像的频谱也总是正面侧光栅图案104和背面侧光栅图案105的积的莫尔像，只要背面侧光栅图案105是单一的，则检测到的频谱的峰对于1个入射角只有1个。

此处，使用图8示意性地说明之前说明了进行检测的平行光和来自实际的物体的光的对应。图8是说明来自构成物体的各点的光相对于图像传感器所成的角的说明图。

来自构成被拍摄体401的各点的光，严格地来说作为来自点光源的球面波，入射至图1的摄像装置101的调制器102和图像传感器部 103(以下，在图8中称为光栅传感器一体基板1301)。此时，相比于被拍摄体401，光栅传感器一体基板充分小的情况下、或充分远的情况下，能够认为从各点照明光栅传感器一体基板的光的入射角相同。

根据式9求出的相对于微小角度位移Δθ的莫尔像的空间频率位移Δu为图像传感器的空间频率的最小分辨率即1/S以下，根据该关系，认为Δθ为平行光的条件表示于式16。

[式16]

只要在该条件下，能够对无限远的物体以本结构的摄像装置进行摄像。

此处，之前叙述的无限远的情况下的正面侧光栅图案104的对背面的投影的样子表示于图9。图9中，来自构成无限远的物体的点1401 的球面波，在充分长的距离中传播的期间成为平面波而照射正面侧光栅图案104，其投影像1402投影于下方的面时，投影像是与正面侧光栅图案104大致相同的形状。结果，通过对投影像1402乘以背面侧光栅图案(相当于图2的背面侧光栅图案105)的透射率分布，如图10 所示，能够得到等间隔的直线状的莫尔条纹。

另一方面，说明对有限距离的物体的摄像。图11是表示进行摄像的物体处于有限距离时正面侧光栅图案104对背面的投影比正面侧光栅图案104大的情况的说明图。如图11所示，来自构成物体的点1601 的球面波照射于正面侧光栅图案104，其投影像1602投影至下方的面时，投影像大致一致地被放大。另外，其放大率α能够使用从正面侧光栅图案104到点1601的距离f，以式17计算出来。

[式17]

因此，如图12所示，直接乘以对平行光设计的背面侧的光栅图案的透射率分布，得不到等间隔的直线状的莫尔条纹。但是，如果配合一样地被放大的正面侧光栅图案104的影子，将背面侧光栅图案105 放大，则如图13所示，对于放大了的投影像1602能够再次产生等间隔的直线状的莫尔条纹。因此，通过使背面侧光栅图案105的系数β为β/α2能够进行修正。

由此，能够对来自并非无限远的距离的点1601的光有选择地进行显像。从而能够在任意的位置对焦而进行摄影。

接着，说明简化调制器102的结构的方法。在调制器102中，通过在光栅基板102a的正面和背面将分别为相同形状的正面侧光栅图案 104和背面侧光栅图案105彼此错开地形成，能够从莫尔条纹的空间频谱检测入射的平行光的角度而进行显像。该背面侧光栅图案105是紧贴图像传感器部103而调制入射的光的强度的光学元件，跟入射光无关地是相同的光栅图案。于是，如图14所示，可以使用除去了背面侧光栅图案105的调制器1901，将与背面侧光栅图案105相当的处理由图像处理部1902内的强度调制部1903执行。例如，图像传感器部103 和图像处理部1902由总线1904连接。

图15中表示此时的调制器1901的结构的详情。根据该结构，能够减少一面在光栅基板102a形成的光栅图案。由此，能够减少调制器的制造成本，能够进一步提高光利用效率。

图16是表示图14的图像处理部1902进行的图像处理的概要的流程图。该图16的流程图与图3的流程图的不同点在于步骤S2101的处理。步骤S2101的处理中，由上述强度调制部1903对于从图像传感器部103输出的图像，使图像处理部1902生成与从背面侧光栅图案105 透射的情况相当的莫尔条纹图像。具体来说，进行与式5相当的运算即可，因此图像处理部1902在强度调制部1903中生成背面侧光栅图案105，对图像传感器部103的图像进行乘法运算即可。进而，背面侧光栅图案105如果是2值化的图案，则使与黑色相当的区域的图像传感器部103的值为0即能够实现。由此，能够抑制乘法运算电路的规模。以下图16的步骤S501～507的处理与图3的处理同样，因此此处省略说明。

另外，由强度调制部1903实现了与背面侧光栅图案105相当的处理，但背面侧光栅图案105是紧贴传感器而调制入射的光的强度的光学元件，因此通过考虑实效的背面侧光栅图案105的透射率而设定传感器的灵敏度也能够实现。

根据以上说明的由图像处理部实现背面侧光栅图案105的结构，在摄影后能够在任意的距离对焦。图17表示此时的结构。图17中，与图14不同的是存储部2201、图像处理部2202、焦点设定部2203。存储部2201例如能够进行摄影后的焦点调节，暂时存储从图像传感器部103输出的图像。此外，焦点设定部2203能够利用在摄像装置101 中设置的旋纽、智能手机的GUI(Graphical User Interface，图形用户界面)等来设定焦距，将焦距信息(用于任意的距离对焦的公知的距离信息)对图像处理部2202输出。

图18是表示图17的图像处理部2202进行的图像处理的概要的流程图。图18中与图16的不同点是步骤S2301的处理。在步骤S2301 的处理中，基于焦点设定部2203输出的焦距信息，根据式17计算放大率α，进行使背面侧光栅图案105的系数β为β/α的计算。然后在S2101中，基于该系数生成与从背面侧的光栅图案透射了的情况相当的莫尔条纹图像。以后的图18的步骤S501～S506的处理与图3的处理同样，因此此处省略说明。

根据以上的方法、结构能够由高速傅里叶变换等简单运算得到外界的物体像，进而能够在摄影后在任意的距离调节焦点。在现有的摄像机中为了变更焦点需要再次摄影，但本结构中仅需要1次摄影。

以上的说明中，主要关注根据式5仅取出具有尖峰的成分的式6，但实际上式5的第4项以外的项是噪声。于是，基于条纹扫描的噪声消除是有效的。

首先，在式2的干涉条纹强度分布中，使正面侧光栅图案104的初始相位为ΦF，使背面侧光栅图案105的初始相位为ΦB时，式5表示为式18。

[式18]

此处，利用三角函数的正交性，如式19所示，

[式19]

使式18关于ΦF、ΦB积分时，噪声项被抵消，留下单一频率的常数倍的项。根据上述说明内容，如果对其进行傅里叶变换，则在空间频率分布产生没有噪声的尖峰。

此处式19以积分的形式表示，但实际上通过计算ΦF、ΦB的组合的总和也能够得到同样的效果。ΦF、ΦB以等分0～2π间的角度的方式设定即可，可以像{0，π/2，π，3π/2}这样4等分，也可以像{0，π/3，2π/3} 这样3等分。

而且式19能够简化。式19中，以能够使ΦF、ΦB独立地改变的方式计算，但ΦF＝ΦB即对正面侧光栅图案104和背面侧光栅图案105 的初始相位适用相同的相位也能够消除噪声项。式19中如果ΦF＝ΦB＝Φ，则成为式20，

[式20]

噪声项被消除，留下单一频率的常数倍的项。此外，Φ以等分0～2π间的角度的方式设定即可，像{0，π/2，π，3π/2}这样4等分即可。

此外，即使不等分，使用{0，π/2}这样的正交的相位，也能够消除噪声项，进而简化。首先，如果像图14的结构那样将背面侧光栅图案 105由图像处理部1902实施，则对背面侧光栅图案105能够使用负值，因此式18成为式21(ΦF＝ΦB＝Φ)。

[式21]

背面侧光栅图案105已知，因此从该式21减去背面侧光栅图案105，对Φ＝{0，π/2}的情况进行加算，则如式22所示，

[式22]

噪声项消除，留下单一频率的常数倍的项。

此外，如前所述，正面侧光栅图案104和背面侧光栅图案105通过预先错开δ0而将在空间频率空间产生的2个显像图像分离。但是，该方法中，存在显像图像的像素数成为一半的问题。于是，说明不错开δ0也能够避免显像图像的重复的方法。在式19的条纹扫描中，代替cos，如式23所示使用exp而在复数平面上进行运算。

[式23]

由此，噪声项被消除，留下单一频率的常数倍的项。如果对式23 中的exp(2iβδx)进行傅里叶变换，则成为式24，

[式24]

可知不产生式7所示的2个峰，而得到单一的显像图像。像这样，不需要使正面侧光栅图案104、背面侧光栅图案105错开，能够有效地使用像素数。

对用于进行基于以上的条纹扫描的噪声消除方法的结构，使用图 19～28进行说明。条纹扫描中，至少作为正面侧光栅图案104需要使用初始相位不同的多个图案。为了实现该处理，有以时间分割切换图案的方法，和以空间分割切换图案的方法。

图19表示实现时间分割条纹扫描的结构。在图19中，2501是调制器，2502是控制部，2503是图像处理部。控制部2502总体控制图像传感器部103、调制器2501和图像处理部2503等。

调制器2501例如是能够电特性地切换图20所示的多个初始相位而进行显示(进行相位移位)的液晶显示元件等。图20的(a)～(d) 的图案中，初始相位ΦF或Φ分别为{0，π/2，π，3π/2}。

如图20所示，图20的(a)～(d)的图案分别由多个线构成。图 20的(a)的图案与第1光栅图案对应，图20的(c)的图案对应于与第1光栅图案相位偏移π的第2光栅图案。此外，图20的(b)的图案对应于从第1光栅图案相位偏移π/2的第3光栅图案，图20的(d) 的图案对应于从第1光栅图案相位偏移3π/2的第4光栅图案。

图20所示的光栅图案由多个同心圆构成，多个同心圆中，相对于作为同心圆的中心的基准坐标，同心圆的节距成反比例地变小。

另外，调制器2501的光栅图案如图24所示，由多个直线构成，该多个直线可以是，相对于基准坐标，直线间距离成反比例地变窄。

图21表示实现图20所示的光栅图案的调制器2501的液晶显示元件中的电极配置的例子。以将光栅图案的1周期分成4部分的方式构成同心圆状电极，从内侧每4根电极连接，从外周部作为驱动端子引出4根电极。在使施加于这些4个电极的电压状态为“0”和“1”的2 个状态下随时序地进行切换，由此能够使光栅图案的初始相位ΦF或Φ如图21的(a)～(d)所示切换成{0，π/2，π，3π/2}。

另外，图21中以下述方式对应，以阴影线表示的施加了“1”的电极遮蔽光，以白表示的施加了“0”的电极使光透射。

接着，在图22中表示用于表示图像处理部2503的图像处理的概要的流程图。该图22的流程图与图16的流程图的不同点在于步骤 S2701～S2704的处理。首先，图像处理部2503在条纹扫描运算的初始重置加法运算结果(S2701)。接着，在对应于式20的情况下，图像处理部2503设定与摄影中使用的正面侧光栅图案104相同的初始相位 (S2702)，生成具有该初始相位的背面侧光栅图案105，对图像传感器部103的图像进行乘法运算(S2101)。

图像处理部2503将其结果按各初始相位的每个图案进行加法运算 (S2703)。将以上的步骤S2702～S2703的处理，对全部的初始相位的图案数反复进行(S2704)。以后的处理与图16的处理同样，因此此处省略说明。另外，上述流程以式20为例进行了说明，但对于式19、22、 23也同样能够适用。

在图23表示实现空间分割条纹扫描的结构。调制器2901例如是图24的以初始相位ΦF或Φ分别为{0，π/2，π，3π/2}的图案的方式，将多个初始相位的图案二维排列的结构。

图像分割部2902将图像传感器部103输出分割成与调制器2901 的图案配置对应的区域，依次传送至图像处理部2503。图24的例子中，使图像传感器输出分割为2×2的区域。

基于式20的条纹扫描中需要4相位，因此调制器2801为2×2，但基于式22的条纹扫描中能够以2相位实现，因此调制器2901为1 ×2的图案配置也能够实现。例如，图25的初始相位ΦF或Φ是将分别为{0，π}的图案二维排列的结构。根据相位数，图像传感器输出也分割为1×2的区域。以后的图像处理部2503的处理与作为时间分割条纹扫描的图22的处理相同，因此省略说明。

如果使用该空间分割条纹扫描，则不需要像时间分割条纹扫描的调制器2501那样进行电切换，能够制作价廉的调制器。进而，空间分割条纹扫描中，1画面的快门为相同时刻的图像传感器中，4相位或2 相位的摄像时刻是相同的，因此能够进行动态摄像。相比于2相位，4 相位的话在显像后能够得到高画质的图像，但与4相位相比，2相位的处理量能够较小。此外，2相位中，能够将每个水平线快门时刻不同的 CMOS型的图像传感器用于动态图像摄影。但是，当使用空间分割条纹扫描时，因为分割图像所以分辨率实际上下降。于是，在需要提高分辨率的静止物的摄影中适用时间分割条纹扫描。

图26中表示包括通过减少在摄影后进行焦点调节的图像的信息量，且分割图19的图像处理部2503的处理而减少了摄像装置的处理负荷的摄像装置3000和再现装置3100的摄像系统的构成例。与图19相同的部件标注相同的附图标记，省略说明。该摄像系统包括摄像装置3000 和再现装置3100(复原装置)。另外，该摄像系统中表示了应用时间分割条纹扫描的例子。

摄像装置3000是拍摄图像并将结果压缩的装置。此外，再现装置 3100是将上述压缩了的结果复原，将复原后的结果再现的装置。摄像装置3000包括摄像部3020和输出处理部3007，它们由总线1904连接。

摄像部3020包括图像传感器部103、调制器2501、透明的光栅基板102a、控制部2502、压缩前处理部3001、压缩处理部3005(压缩部)和存储部2201。压缩前处理部3001包括传感器信号处理部3002、差分处理部3003和数据转换处理部3004(数据转换部)。

再现装置3100包括控制部3101、输入处理部3009、解压缩处理部3010、显像处理部3011(图像复原处理部、调制处理部)、存储部 3012、焦点设定部2203和图像输出部3013，它们由总线3104连接。

此外，摄像系统中，还包括图像显示部107和存储装置3008。

控制部2502总体控制图像传感器部103、调制器2501和压缩前处理部3001等。

传感器信号处理部3002例如根据从图像传感器部103输出的各像素的数据(图像信号)来生成补充数据，进行生成与各像素对应的RGB 数据的去马赛克处理等，作为传感器图像输出。传感器图像根据需要在存储部2201中存储图像数据，或向差分处理部3003送出。像这样，传感器信号处理部3002接收从图像传感器部103输出的图像信号。

例如，传感器信号处理部3002接收调制器2501为第1光栅图案时的图像信号(第1图像信号)、或为第2光栅图案时的图像信号(第 2图像信号)。此外，传感器信号处理部3002接收为第3光栅图案时的图像信号(第3图像信号)、或为第4光栅图案时的图像信号(第4图像信号)。

差分处理部3003取得改变调制器2501的相位而拍摄到的区域的2 张传感器图像(图像信号)间的差，生成差分图像(差数据)。此外，差分处理部3003从传感器信号处理部3002直接取得传感器图像，或取得存储于存储部2201的传感器图像。进而，差分处理部3003对差分图像根据需要在存储部2201中存储图像数据。另外，传感器图像例如是彩色图像，1个像素由R数据、G数据、B数据构成时，可以对R 数据、G数据、B数据的每个数据取得差。像这样，差分处理部3003 计算由传感器信号处理部3002接收到的图像信号的差，生成基于该差的差分图像。

例如，差分处理部3003计算第1图像信号与第2图像信号的差，基于该差生成差分图像(第1差数据)。此外，差分处理部3003取得第3图像信号与第4图像信号的差，基于该该差生成差分图像(第2 差数据)。

此处，说明本摄像装置的情况下的差分处理部3003的输入输出信号的特征。图27中表示用于示出从图26的传感器信号处理部3002输出的传感器图像的一部分的明亮度变化的一例的图表。横轴表示某条线的画面的水平位置，纵轴表示像素数据的值。此处，像素数据的值越大则表示越明亮。另外，图27中，举出将像素数据以12bit表现的情况为例，但像素数据值也可以以其它的比特数、归一化的数据值表现。

图27的(a)表示在图26的调制器2501使用图24的(a)的图案的画面区域的像素数据的变化的一例，图27的(b)表示在图26的调制器2501使用图24的(c)的图案的画面区域的像素数据的变化的一例。由本摄像装置拍摄到的传感器图像与使用透镜的传感器图像不同，是光量的积算值，因此在图像传感器理想地拍摄到了被拍摄体时，不会发生急剧的数据变化。

但是，例如，由于壳体的影子等或图像传感器内的特性，有时数据的直流成分会大幅变化。为了排除它们的影响，能够通过取得调制器2501的相位的π不同的传感器图像的差，而仅取得需要的传感器图像的数据部分。

图28中表示用于表示从差分处理部3003输出的差分图像的一部分的明亮度变化的一例的图表。图28中，纵轴表示差，横轴表示各像素的位置。如图28所示，表示各位置的像素值的差，差最大的位置的值为最大值3401，差最小的位置的值为最小值3402。图28的例子中表示与图27的影像相同位置的数据。由于影子而变暗的影响被排除，仅留下之后的由再现装置3100显像所需的信息。

回到图26，数据转换处理部3004根据由差分处理部3003得到的整个差分图像，求取像素数据差的最小值和最大值。使最小值为偏移值，从各像素数据差减去，由此为了表现差分图像所需的比特数成为表现从最大值减去最小值而得的数据所需的比特数，能够相比于表现原有像素值的比特数大幅减少。

另外，数据转换处理部3004中，在后级的压缩处理部3005中输入的图像的每1像素的比特数预先决定了的情况下、或考虑到压缩效率，进行将进行了偏移值减法运算的差分图像例如分割于8比特等的处理，生成压缩用图像数据。此外，在后级的压缩处理部3005中，作为输入的图像，不是以红、绿、蓝的数据表现，而是要求进行基于亮度和颜色的表现时，相应地进行转换。

像这样，数据转换处理部3004生成基于差分处理部3003所得的图像信号的差的范围(最大值和最小值)和差数据的压缩用图像数据 (第1压缩用图像数据)。另外，说明了数据转换处理部3004计算最大值和最小值的情况，但数据转换处理部3004也可以计算表示差的范围的其它信息。

数据转换处理部3004将生成的压缩用图像数据对压缩处理部 3005送出。此外，差分处理部3003计算第3图像信号与第4图像信号的差，生成了基于该差的差分图像(第2差数据)时，数据转换处理部3004生成基于该差的压缩用图像(第2压缩用图像数据)。

压缩处理部3005进行减少静止图像或动态图像、以及未图示的声音输入时的声音的数据量的压缩处理。压缩编码方式例如是JPEG、 JPEG2000、MPEG2、H.264/AVC、H.265/HEVC等。压缩处理部3005 从数据转换处理部3004取得压缩用图像，压缩该压缩用图像，生成包含压缩后的数据的压缩数据。压缩处理部3005所得的压缩数据结构例如在JPEG中由头部、压缩图像数据、尾部构成。

图29中表示1张压缩图像的压缩数据结构例。如图29所示，压缩数据具有头部3501、压缩图像数据3502和尾部3503。头部3501存储开始标记、文件大小、图像大小、量子化表等图像的压缩/解压缩所需的信息。

压缩图像数据3502是压缩了压缩用图像而得的数据。尾部3503 是存储结束标记等的部分。另外，头部3501包括在该头部内按每个应用程序能够自由地设定数据的区域3504。压缩处理部3005对该区域 3504添加元数据。

此处，图30表示压缩处理部3005所添加的元数据的例子。如图 30所示，元数据中包括记录项3601和记录项3602。记录项3601包括由数据转换处理部3004得到的、差分图像的像素数据的最小值的变量和值。记录项3602包括该差分图像的像素数据的最大值的变量和值。

回到图26，压缩处理部3005通过在图像压缩时生成压缩图像、压缩参数，并且将图30所示的信息作为元数据添加，而使得能够进行后级的再现装置3100的图像复原。像这样，压缩处理部3005使得在压缩图像中包含表示差的范围的信息(最小值的变量和值、最大值的变量和值)。

另外，元数据的添加只要在从摄像装置3000输出时添加即可，因此也可以在输出处理部3007重新设定添加了元数据的头部。

差分处理部3003计算第3图像信号与第4图像信号的差，生成基于该差的差分图像时，压缩处理部3005使得压缩第2压缩用图像数据而得的压缩图像中包含表示第3图像信号与第4图像信号的差的范围的信息(最小值的变量和值、最大值的变量和值)。

输出处理部3007是输出由压缩处理部3005生成的压缩数据的部分。输出处理部3007向存储装置3008输出压缩数据并进行存储。

存储部2201和存储部3012用于压缩前处理部3001、压缩处理部 3005、解压缩处理部3010、显像处理部3011中暂时的参数保存、图像数据的保存。

输出处理部3007将压缩处理部3005所生成的压缩文件记录于存储装置3008。

存储装置3008是硬盘(HDD)、固态硬盘(SSD)、存储卡、使用它们的记录器等的记录数字数据的装置。

控制部3101总体地控制例如输入处理部3009、解压缩处理部3010、显像处理部3011和焦点设定部2203等。

输入处理部3009依次或者虽然未图示但根据用户的要求而取出存储于存储装置3008中的压缩数据。像这样，输入处理部3009输入由输出处理部3007输出的数据。输入处理部3009将输入的数据向解压缩处理部3010送出。

解压缩处理部3010进行在压缩处理部3005的压缩方式中使用的方式的解压缩处理，通过根据存储于图29的头部3501的信息将压缩图像数据3502解压缩，取得解压缩图像(压缩复原图像)。此外，解压缩处理部3010也同时取得添加的元数据，对显像处理部3011送出。

显像处理部3011根据解压缩图像和元数据来复原偏移和原来的比特深度的图像(差数据)，由此生成复原差分图像。即，显像处理部3011 根据解压缩图像和差的范围生成复原差分图像。

显像处理部3011进而为了进行焦点调整，进行图18中说明的、背面节距决定(S2301)、背面光栅强度调制(S2101)，进行图22中说明的强度调制结果加法运算(S2703)。进而，依次进行图3中说明的、二维FFT运算(S501)、频谱截取(S502)、强度计算(S503)、噪声除去(S504)、对比度强调(S505)、彩色平衡调整(S506)、输出信号生成处理(S507)的各处理，图像显示部107生成能够显示已显像的图像的显示信号。

即，显像处理部3011调制复原差分图像而生成莫尔条纹图像，对该莫尔条纹图像进行傅里叶变换而计算出频谱。

通过使摄像装置为上述结构，能够减少之后能够进行焦点调整等的图像的数据量，而且能够带来存储装置的成本减少。此外，通过由再现装置进行显像处理，能够减少存储装置的处理，达到存储装置的小型化、低成本化。另外，再现装置只要能够实现图示的结构，则可以使用计算机等由软件处理实现，也可以由GPU、FPGA等硬件进行处理。此外，存储装置也可以是内置于再现装置的HDD等。

图31中表示用于表示压缩前处理部3001的图像处理的概要的流程图。最开始，压缩前处理部3001设定调制器2501的光栅图案(波带板)的相位移位数(S3101)。压缩前处理部3001例如在4图案时间分割的情况下，设定为4。另外，也可以在压缩前处理部3001中预先设定。

接着，压缩前处理部3001设定取得图像数据的差的帧数(S3102)。此外，压缩前处理部3001重置最大值和最小值，例如设定为0(S3103)。

压缩前处理部3001执行传感器信号处理(S500)，在判断为差分帧是初始值的情况下(S3104：是)，在存储部2201中存储像素数据 (S3105)。反复进行传感器信号处理S500的处理，直至在步骤S3108 判断为帧结束。

在步骤S3104判断为不是初始帧的情况下，在步骤S3106中减去在步骤S3105中存储的相同坐标的像素值，并存储于存储部2201。此外，在步骤S3107中对最大值和最小值与像素值进行比较，在比最大值大时将像素值设定为最大值，在比最小值小时将像素值设定为最小值。接着，进行步骤S3018的帧结束判断，在不是帧结束的情况下，执行传感器信号处理(S500)，在为帧结束的情况下，结束处理。

步骤S3109中从取得差的帧数和相位移位减去1，在步骤S3110 中没有判断为帧差结束的情况下，回到步骤S3103的最大值、最小值重置处理，在帧差分处理结束的情况下，进行步骤S3111的数据移位处理。

步骤S3111中，根据步骤S3107中取得的最小值，进行例如通过从全差像素值减去最小值的处理，使差分图像值的最小值为0的数据移位处理。步骤S3112进行从由步骤S3107取得的最大值例如减少没有使用的上位比特的比特减少处理。

另外，比特减少处理(S3112)在由于在图像压缩中使用的算法限定了图像数据的比特数等的情况下，进行重新分配至作为目标的比特数的处理。在步骤S3113中，为了将由数据移位处理(S3111)、比特减少处理(S3112)转换后的差像素值能够由之后进行的显像处理复原，将图像复原信息例如最大值、最小值的信息生成为元数据。

接着，在步骤S3114判断相位移位的结束，在全部的相位处理结束的情况下结束处理，在没有结束的情况下反复进行从步骤S3102起的处理。

通过以上说明的压缩前处理，能够减少传感器图像的像素值的比特数，能够高效地进行压缩。

接着，使用图32说明图26所示的再现装置3100的处理顺序。图 32中，与图3和图16、图18、图22相同的处理标注相同的编号，省略说明。图32中，开始处理时，在步骤S3701中从存储部3012取得压缩文件。接着，在步骤S3702中使用压缩文件的头信息进行压缩图像的解压缩处理。接着，在步骤S3703中，从位于压缩文件的头部的元数据取得为原来的图像的像素数据的最大值和最小值的图像信息，进行复原图26的数据转换处理部3004进行处理前的差分图像的像素数据的像素数据复原处理。

此处，在压缩中使用的算法是不可逆压缩的情况下，复原的图像有时不是完全相同。接着，在步骤S3704中设定调制器的相位。相位例如是相位的最初的设定值为0，接着偏移π。

以下，进行图18中说明的背面节距决定(S2301)、背面光栅强度调制(S2101)，进行图22中说明的强度调制结果加法运算(S2703)。此处，步骤S2704中进行相位移位的结束的判断。例如，在相位移位π的处理没有结束的情况下，回到压缩文件取得(S3701)。在相位移位结束了的情况下，依次进行图3中说明的二维FFT运算(S501)、频谱截取(S502)、强度计算(S503)、噪声除去(S504)、对比度强调(S505)、彩色平衡调整(S506)、输出信号生成处理(S507)的各处理，图像显示部107生成能够显示已显像的图像的显示信号。

以上说明的再现装置中，对压缩后的图像进行解压缩处理以复原可焦点调整的图像，由此在再现装置中，用户需要时能够进行需要的被拍摄体的焦点调整、距离计测。

图33中表示本实施例的摄像系统的结构图。图33是包括无透镜的摄像装置3800和再现装置3100(复原装置)的摄像系统的结构例，其中，摄像装置3800在动态图像中减少在摄影后进行焦点调整的图像的信息量且对多个帧分别进行图23的图像处理部2503的处理的控制，从而适于连续的动态图像的摄影。图33中，对与图26和图23相同的部件标注相同的附图标记，省略说明。另外，该摄像系统中，表示了为了进行动态图像处理，应用能够对1帧的图像同时进行摄影的空间分割条纹扫描的例子。

图33中，摄像装置3800是对拍摄图像的结果进行压缩的装置。此外，再现装置3100是将上述压缩后的结果复原，并将复原的结果再现的装置。

摄像装置3800包括摄像部3820和输出处理部3007。摄像部3820 包括图像传感器部103、透明的光栅基板102a、透明的光栅基板102a、调制器2901、控制部3802、压缩前处理部3801、压缩处理部3805(压缩部)和存储部2201。压缩前处理部3801包括传感器信号处理部3002、差分处理部3003、数据转换处理部3804(数据转换部)和运算参数生成部3806。

控制部3802总体控制图像传感器部103、压缩前处理部3801和压缩处理部3805等。

图像分割部2902例如将从图像传感器部103输出的各像素的数据 (图像信号)按调制器2901的每个相位图案分割于4个区域。图34 中表示图像信号分割例。3900是图像信号整体，3901是第1光栅图案区域的图像信号的区域(第1区域)，3902是第2光栅图案区域的图像信号的区域(第2区域)，3903是第3光栅图案区域的图像信号的区域 (第3区域)，3904是第4光栅图案区域的图像信号的区域(第4的区域)。图像分割部2902之后将第1区域、第2区域、第3区域和第4 的区域的图像信号作为单独的图像进行处理。

回到图33，传感器信号处理部3002例如按由图像分割部2902分割的每个区域生成补充数据，进行生成与各像素对应的RGB数据的去马赛克处理等，作为传感器图像将其输出。传感器图像根据需要在存储部2201中存储图像数据，或对差分处理部3003送出。像这样，传感器信号处理部3002接收从图像传感器部103输出的图像信号。

例如，传感器信号处理部3002接收调制器2901的第1光栅图案区域的图像信号作为第1图像信号、接收第2光栅图案区域的图像信号作为第2图像信号，接收第3光栅图案区域时的图像信号作为第3 图像信号，接收第4光栅图案区域的图像信号作为第4图像信号。

差分处理部3003如图26中说明的那样，计算第1图像信号与第2 图像信号的差，生成基于该差的差分图像(第1差数据)。此外，差分处理部3003计算第3图像信号与第4图像信号的差，生成基于该差的差分图像(第2差数据)。

运算参数生成部3806基于后述的控制部3802的指示，求取由差分处理部3003得到的差分图像的各像素数据的最小值和最大值，基于求得的最大值、最小值，数据转换处理部3804生成用于从差分图像转换为压缩前图像的运算参数，在存储部中存储运算参数。例如，当压缩前图像的各像素的能够采取的值为8比特时，运算参数是，将最小值作为比特偏移运算用的偏移值、将作为最大值与最小值的差的最大振幅值除以255所得的值作为比特减少处理用的乘法运算系数。此处，在为连续的动态图像的情况下，生成每1张图像不同的运算参数并应用的话，后级的压缩处理部3805中的压缩效率变差、或成为最终的影像的闪烁的原因。

图35中表示输入至数据转换处理部3804的信号例。横轴表示图像的位置，纵轴表示像素值。4001是某帧的信号例的一部分，4002是与帧的信号例4001不同的帧的信号例的一部分。4003是帧的信号例 4001的最小值，4004是帧的信号例4002的最小值，4005是帧的信号例4001的最大值，4006是帧的信号例4002的最大值。如图35所示，最大值和最小值在每帧发生变化。于是，例如取得作为关键图像的关键帧的最大值、最小值而生成运算参数，在某一定期间中使偏移值相同。关键帧是指，例如与前后等的其它帧的图像数据没有关系地被压缩的帧，由压缩处理部3805在数帧到数百帧中生成1次。某期间是指，例如从关键帧到下一关键帧之间的期间。另外，从关键帧的差分图像的最小值、最大值脱离的差分图像中，存在画质劣化的可能性，但其影响不大。此外，可以使用在关键帧的最大值、最小值上加上或减去了估算各帧的变动的值所得的值来生成运算参数并进行设定。

数据转换处理部3804中，在后级的压缩处理部3805中输入的图像的每1像素的比特数预先决定了的情况下、或考虑到压缩效率，将偏移值减去后的差分图像例如进行分割至8比特等的处理，而生成压缩用图像数据。此外，在后级的压缩处理部3805中，作为输入的图像，不是由红、绿、蓝的数据表现的。在要求基于亮度和颜色的表现时，相应地进行转换。

压缩处理部3805与图26的3005同样地进行减少静止图像、动态图像、以及未图示的有声音输入时的声音的数据量的压缩处理。

压缩处理部3805中，例如调制器2901为4相位，压缩处理部3805 使用多个帧的图像的相关性以实现高压缩率的压缩方式压缩动态图像，摄像装置3800例如在压缩第1差数据的差分图像和第2差数据的差分图像而输出时，为了压缩各个连续的差分图像，具有用于第1差图像数据的差分图像和用于第2差图像数据的差分图像的2个系统的输入和2个系统的输出。

图36表示压缩处理部3805的结构例。对与图33相同的部件标注相同的附图标记，省略说明。4201是第1压缩器，4202是第2压缩器，压缩处理部3805包括压缩器4201和压缩器4202。4203是数据转换处理部3804存储于存储部2201的第1差图像数据，4204是数据转换处理部3804存储于存储部2201的第2差图像数据，4205是压缩器4201 存储于存储部2201的第1差分压缩图像，4206是压缩器4202存储于存储部2201的第2差分压缩数据。如图36所示，用于第1差图像数据的差分图像和第2差图像数据单独地进行压缩处理，由此为将连续的图像关联的方式，能够提高压缩率。

另外，调制器2901为2相位时，差分图像是一张，因此压缩处理部3805只要进行1个系统的输入输出即可。

摄像装置3800将由压缩处理部3805压缩后的数据依次从输出处理部3007输出。

如以上所说明的，通过从关键帧起在连续的帧中使用相同的偏移值，能够不损失连续的图像的相关性地在压缩时得到高压缩效果，能够防止由于图像的亮度的起伏引起的闪烁。

图37中表示用于表示压缩前处理部3801的1帧的量的图像处理的概要例的流程图。对与图31相同的处理标注相同的编号而省略说明。最开始，压缩前处理部3801设定为调制器2901的光栅图案(波带板) 数量的区域数(S4301)。压缩前处理部3801例如在空间分割为4个图案时，设定为4。另外，也可以在压缩前处理部3801中预先设定。接着，压缩前处理部3801执行传感器信号处理(S500)。

接着，压缩前处理部3801进行区域判断处理。在判断为传感器图像数据为第1区域或第3区域的图像数据的情况下(S4302：是)，在存储部2201存储像素数据(S3105)。

在步骤S4302中判断为不是第1区域的图像数据或第3区域的图像数据的情况下，步骤S3106中，减去步骤S3105中存储的相同坐标的像素值，并存储于存储部2201。此外，步骤S3107中将最大值和最小值与像素值进行比较，在比最大值大时，将像素值设定为最大值，在比最小值小时，将像素值设定为最小值。接着，进行步骤S3108的帧结束判断，在不是帧结束的情况下，执行传感器信号处理(S500)。

在帧结束的情况下，进行是否进行运算参数的设定的判断，例如进行是否为关键帧的判断。进行处理的帧例如是关键帧的情况下 (S4303：是)，步骤S3107中取得最大值、最小值，进行帧处理判断3108。在步骤S4303中判断为不是关键帧的情况下，接着在步骤S3108中进行帧结束判断。

步骤S3108中，反复进行区域判断处理，直至判断为帧结束。步骤S3108中，判断为帧结束，且判断处理帧为关键帧时(S4304：是)，根据最小值、最大值的信息进行用于压缩的图像数据生成的参数的设定(S4305)，且进行最小值、最大值的重置(S3103)。关键帧是指例如与前后等其它帧的图像数据无关系地被压缩的帧，由压缩处理部 3805在从数帧到数百帧中生成1次。另外，此处是1帧的量的处理流程，虽然没有记载，但在全体的处理开始时也进行最大值、最小值的重置。以后，从步骤S3111到S3113与图31相同因此省略说明。

如以上所说明的那样，通过使用关键帧的最大值和最小值进行减少连续的多个帧的容量的压缩前处理，能够高效地进行压缩。

另外，本实施例中说明了将取得最大值和最小值的帧作为关键帧的例子，但也可以使用在其它帧取得的最大值和最小值。

如上所述，根据本实施例，调制器具有第1光栅图案和相位与第1 光栅图案错开的第2光栅图案，传感器信号处理部接收利用第1光栅图案输出的第1图像信号和利用第2光栅图案输出的第2图像信号，差分处理部计算第1图像信号与第2图像信号的差，压缩处理部在第1 压缩用图像数据中包含表示差的范围的信息。由此，能够减少之后能够进行焦点调节等的图像的数据量，而且能够带来存储装置的成本减少。即，能够提供能够减少由无透镜的摄像装置拍摄到的图像的容量地进行管理的摄像装置、摄像系统和摄像方法。

[实施例2]

本实施例说明根据多个帧的最小值、最大值信息进行用于压缩的图像数据生成的参数设定的处理。

图38表示本实施例的压缩差图像数据的处理流程，其是压缩前处理部3801的1帧的量的图像处理的流程图。图38中，对与图37相同的处理标注相同的编号，省略其说明。与图37的不同点是没有步骤 S4303的关键帧判断。

即，图38中，在步骤S3802判断为不是第1区域的图像数据或第 3区域的图像数据时，在步骤S3106中，减去在步骤S3105存储的相同坐标的像素值，存储于存储部2201。然后，不进行关键帧判断，在步骤S3107对最大值和最小值与像素值进行比较，在比最大值大时，将像素值设定为最大值，在比最小值小时，将像素值设定为最小值。

由此，根据本实施例，与实施例1同样，通过压缩前处理，能够减少传感器图像的像素值的比特数，能够高效地进行压缩，而且通过取得多个帧的最大值、最小值，在差分图像中每帧的明亮度存在偏差时是有效的。

[实施例3]

本实施例说明由将从图像传感器部输出的图像数据进行了区域分割的图像数据的差图像数据，分别设定用于压缩前图像数据生成的参数的例子。

图39表示本实施例的压缩差图像数据的处理流程，是压缩前处理部3801的1帧的量的图像处理的流程图。图39中，例如，利用图34 的第1区域3901和第3区域3903的差图像数据、以及第2区域3902 和第4区域3904的差图像数据，分别设定用于压缩前图像数据生成的参数。

图39中，对与图37相同的处理标注相同编号，省略其说明。与图37的不同点在于具有从步骤S4501到S4503的处理和从S4404到 S4412的处理。

即，图39中，在步骤S3106中，减去在步骤S3105存储的相同坐标的像素值并存储于存储部2201后，在要处理的像素处于第2区域的情况下(S4501：是)，对保持的第1像素差数据的最大值和最小值进行比较，如果处理中的差图像数据的像素值比最小值小，则作为最小值保持，如果比最大值大，则作为最大值保持，进行步骤S3108的帧结束判断处理。此外，进行处理的像素处于第4区域的情况下(S4501：否)，对保持的第2像素差数据的最大值和最小值进行比较，如果处理中的差图像数据的像素值比最小值小，则作为最小值保持，如果比最大值大，则作为最大值保持，进行步骤S3108的帧结束判断处理。

步骤S3108的结束判断处理中，判断为帧结束(S3108：是)，且不是关键帧的情况下(S4304：否)，进入步骤S4406的区域的判断。为关键帧的情况下(S4304：是)，分别设定各运算参数，这些运算参数用于进行用于将第1差图像数据和第2差图像数据转换为压缩前图像的后级的数据移位处理、比特减少处理。接着，重置第1差图像数据和第2差图像数据的最大值和最小值，进入步骤S4406的区域的判断。

步骤S4406判断是否是第1差图像数据的处理，为第1差图像数据的情况下(S4306：是)，使用第1运算参数进行数据移位处理(S4407)、比特减少处理(S4408)，将第1运算参数设定为图像复原信息(S4409)。不是第1差图像数据的情况下(S4306：否)，使用第2运算参数进行数据移位处理(S4410)、比特减少处理(S4411)，生成使用第2运算参数的图像复原信息作为元数据(S4412)。

通过以上说明的压缩前处理，能够减少传感器图像的像素值的比特数，进而，通过按有相位差的各个光栅图案进行设定，并进行图像压缩前处理，进一步压缩也能够防止画质劣化，能够带来显像后的画质提高。

[实施例4]

本实施例说明包括进行处理的高速化和构成部件的减少的摄像装置和再现装置的摄像系统。

图40是本实施例的摄像系统的结构图。图40是包括进行图33的摄像装置3800的处理的高速化和构成部件的减少的摄像装置4600和再现装置4610的摄像系统。图40中，对与图33相同的处理标注相同的编号，省略其说明。

图40中，摄像装置4600包括摄像部4620和输出处理部3007。摄像部4620包括图像传感器部103、透明的光栅基板102a、调制器2901、压缩前处理部4602、控制部4609、压缩处理部4606和存储部2201。

压缩前处理部4602包括传感器信号处理4603、差分处理4604、数据转换处理4605、运算参数生成部4607。

控制部4609在3802的功能之外，还指定从图像传感器部103输出的信号的画面分割位置。关于画面分割位置，例如在图41表示了将第1区域和第3区域作为1张图像、将第2区域和第4区域作为1张图像处理时的图像分割例。4701表示传感器图像的第1区域和第3区域的合成图像区域，4702表示传感器图像的第2区域和第4区域的第 1合成图像区域。

图像传感器部103作为图像信号的输出，依次输出第1区域3901 的第1线、第2区域3901的第1线、第1区域3901的第2线、第2 区域3901的第2线，在第3区域3901的最终线、第4区域3901的最终线结束1帧的输出。

控制部4609在压缩前处理部4602传送第1区域3901、第2区域 3902、第3区域3903、第4的区域3904的信号切换时机，在压缩处理部4606中将合成图像区域4701与合成图像区域4702的差分图像作为 1张图像进行控制。

传感器信号处理4603例如根据以RGB拜耳排列的顺序输出的图像信号，进行生成R信号、G信号、B信号的去马赛克处理。去马赛克处理中，因为使用比处理对象的像素靠后的信号，所以通过保持于需要的时间分割存储部2201而使其延迟从而进行处理。传感器信号处理4603根据控制部4609的区域切换指示进行去马赛克处理，例如区域的边界的像素不使用其它区域的信号的值，例如进行像素扩展、折返处理等的边缘处理。

差分处理4604根据控制部4609的切换时机，按每个水平线进行处理。例如，首先，保持第1区域的信号的第1线送来的像素数据，取得接着送来的第2区域的信号的第1线的像素数据的差。最后取得第3区域的信号的最终线像素数据与第4区域的信号的最终线像素数据的差，帧的处理结束。

运算参数生成部4607与图33的运算参数生成部3806同样地生成运算参数。

数据转换处理4605依次输出例如利用使用到帧的前帧为止的差分图像的最大值、最小值而预先设定的运算参数，进行数据移位处理和比特减算处理而适于压缩的图像数据。

控制部4609使压缩处理部4606对压缩前处理部4602的输出数据进行压缩。图42中表示压缩前处理部4602的结构例。图42中，对与图36、图40相同的部件标注相同的附图标记，省略说明。4801是与存储于存储部2201的第1差图像数据相连续的第2差数据的合成图像数据，4802是将由存储于存储部2201的连续的合成图像数据形成的动态图像压缩而得的数据。

控制部4609通过以将与第1差图像数据连续的第2差图像数据作为1张图像压缩的方式进行控制，压缩处理部4606的压缩器4201为1 个以上即可。输出处理部3007将压缩动态图像而得的数据、包括数据转换处理4605中使用的运算参数地向存储装置输出。另外，摄像装置 4600不是像调制器2901那样4分割型、而是2分割型的处理进行切换的情况下，在运算参数中包含再现装置4610处的分割用的信息。

图40的再现装置4610的4601是图像分割部。再现装置4610将存储于存储装置3008的压缩了的动态图像数据从输入处理部3009输入，在解压缩处理部3010进行形成逐张的没有被压缩的图像的解压缩处理。图像分割部4601分割成第1差图像数据和第2差图像数据，对显像处理部3011输出。

图43中表示图40的压缩前处理部4602的处理流程例。对与图37 相同的处理标注相同的编号，省略说明。图43中，压缩前处理部3801 如果是没有设定运算参数的初始值状态(S4901：否)，则从最初的差图像数据取得最小值、最大值，使用最小值、最大值设定运算参数(S4902)，根据在步骤S3113中设定的运算参数生成图像复原信息元数据。如果设定了运算参数(S4901：是)，则直接进入步骤S3113。

执行步骤S4301、S500传感器信号处理，在步骤S4302进行区域判断处理。在步骤S4302判断是第1区域的图像数据或第3区域的图像数据的情况下(是)，在步骤S3105中在存储部存储图像数据。在步骤S4302判断不是第1区域的图像数据或第3区域的图像数据的情况下(否)，通过与存储部的像素数据的差分处理求取差图像数据(S4902)，在进行步骤S3107的最小值、最大值取得处理后，使用预先设定的运算参数进行数据移位处理S3111、比特减少处理S3112，生成压缩处理前像素数据，在存储部中存储压缩前处理像素数据(S4903)。进行以上的处理直到帧结束。步骤S3108中判断为帧结束(是)、步骤S4304 中判断为关键帧的情况下，根据记录的最大值、最小值设定运算参数 (S4305)，进行最小值、最大值的重置(S3103)。

通过以上说明的压缩前处理，能够减少传感器图像的像素值的比特数，进而在动态图像的压缩中也能够以较少的压缩器实现，而且能够以较少的延迟时间输出影像。

[实施例5]

本实施例说明与包含色差信号的影像的显像处理对应的再现装置。

图44是本实施例的与包含色差信号的影像的显像处理对应的再现装置5100的结构图。图44中，显像处理部5011由后面调制处理部5102、 FFT运算部5103、强度计算处理部5105、格式转换处理部5101构成。格式转换处理部5101例如将使用亮度信号Y和2个色差信号表现的 YUV格式的图像转换为以红、蓝、绿的信号表现的RGB格式的图像。

显像处理部5011的后面调制处理部5102、FFT运算部5103和强度计算处理部5105进行与图26中说明的显像处理部3011同样的处理，后面调制处理部5102进行背面节距决定和背面光栅强度调制，FFT运算部5103进行二维FFT运算和频谱截取处理，强度计算处理部5105 进行强度计算、以及使用4张调制器的图案时进行图像的合成处理。

此处，压缩动态图像时，人的眼睛的颜色成分的分辨率低，因此多数使用减少色差成分的像素数以提高压缩效率的YUV格式。解压缩处理部3010在动态图像的解压缩处理后，能够不转换为RGB格式的图像，而保持YUV格式的图像进行输出。但是，RGB格式的图像全部是正的数据，与此不同，YUV格式的色差成分有正负两方的数据，因此强度计算处理部5105中不能够计算出准确的强度。因此，从解压缩处理部3010以YUV格式输出的图像，在强度计算处理部5105之前由格式转换处理部5101转换为RGB格式。

图45中表示再现装置5100的处理流程。对与图32相同的处理标注相同的编号，省略说明。在再现装置5100中，从步骤S3702的解压缩处理到步骤S501为止，处理YUV格式的图像。在步骤S502中进行频谱截取后，在步骤S5101进行格式转换处理。此处，在使用4个调制器图案时，在步骤S5101之前是相位不同的图像2张相连结的状态，步骤S5102中分割为2张图像。步骤S503中计算各像素的强度，并且进行2张图像的强度的合成。以下进行与图32同样的处理。

根据本实施例，将显像处理的一部分由相比于RGB格式能够使像素数较少的YUV格式进行处理，由此能够减轻显像处理的负荷，能够实现处理的高速化、或低成本的再现装置。

[实施例6]

本实施例说明应用条纹扫描方式，压缩拍摄到的动态图像数据并传送的摄像系统。

图46是本实施例的、应用条纹扫描方式，压缩拍摄到的动态图像数据并传送的摄像系统的结构图。图46中，对与图26相同的部件标注相同的附图标记，省略说明。该摄像系统包括摄像装置4901和再现装置4910。摄像装置4901和再现装置4910由通信线路4903连接。

摄像装置4901包括：含有图像传感器部103的调制器2901、透明的光栅基板102a、控制部3802、压缩前处理部3801、压缩处理部3805、发送接收部4902、存储部2201和图像分割部2902。此外，再现装置 4910具有发送接收部4904、图像记录读出部4905、存储装置3008、解压缩处理部3010、显像处理部3011、存储部3012、焦点设定部2203、图像显示部107、图像输出部3013和控制部3101。

发送接收部4902将从压缩处理部3805输出的压缩后的图像数据、元数据转换为在通信线路传送的形式，进行通信处理。即，发送接收部4902经由通信线路4903对由压缩处理部3805压缩后的数据进行发送输出。

作为发送接收部4902的通信的接口，可以使用有线LAN(Local Area Network，局域网)、未图示的Wi-Fi(注册商标)等无线LAN 等的方法，也能够利用作为移动通信方式的GSM(注册商标)(Global System for Mobile Communications，全球移动通讯系统)方式、W-CDMA (Wideband Code Division Multiple Access，宽带码分多址)方式、 CDMA2000方式、UMTS(Universal Mobile Telecommunications System，通用移动通讯系统)方式等第三代移动通信系统(以下记作“3G”)、 LTE(Long Term Evolution，长期演进技术)方式、被称为第五代(5G) 的新的次世代通信系统等移动通信网，通过基站利用通信网络等移动通信网，通过基站与通信网络连接。此外，也可以安装能够以不同的多个方式通信的芯片，配合使用摄像装置4901的环境而分别使用。

再现装置4910的发送接收部4904具有与摄像装置4901的发送接收部4902同样的通信接口。另外，发送接收部4904的通信接口不需要与发送接收部4902全部相同，只要至少为1个以上即可。发送接收部4904经由通信线路4903将接收到的数据作为图像数据、附加的元数据向图像记录读出部4905输出。该图像记录读出部4905将取得的图像数据和附加的元数据向存储装置3008存储。以下的处理与图26 同样，因此省略说明。

如以上所说明的，根据本实施例，通过对显像处理前的影像进行网络传送，能够使摄像装置4901的结构简单，使其成为小型且轻量、低成本的摄像装置，而且动态图像显示中也能够显示各帧亮度不会发生变化的动态图像。此外，通过传送条纹扫描后的图像，能够用显像处理部进行焦点的调节、距离的测量，在摄影后想要确认影像时使焦点处于想要看的位置、进行距离测量。

[实施例7]

本实施例说明例如对来自多个监视摄像机的影像进行记录、再现的系统。

图47是本实施例的摄像系统的结构图。图47中，对与图46相同的部件标注相同的附图标记，省略说明。图47中，4901a、4901b和 4901c是摄像装置，是与图52的摄像装置4901同样的装置。例如，摄像装置4901a、摄像装置4901b和摄像装置4901c是监视摄像机，与通信线路4903连接。

4920是记录再现装置，在图46的再现装置4910上添加了操作输入部5104。

发送接收部4904经由通信线路4903取得从摄像装置4901a、摄像装置4901b和摄像装置4901c送来的压缩图像。图像记录读出部4905 对由发送接收部4904取得的压缩图像关联摄像装置的信息、摄像时刻并保持于存储装置3008。

操作输入部5104输入例如作为连接着的器件的键盘、鼠标、触控平板、触控面板、遥控器、检测人的部分或整体活动的传感器等的信号。要对记录再现装置4920进行所需的控制的操作者例如对与操作输入部5104连接的器件进行操作。控制部3101基于例如从操作输入部 5104输入的信号，对图像记录读出部4905指示读出压缩图像，并且对解压缩处理部3010指示读出的压缩图像的解压缩处理、对显像处理部 3011指示解压缩处理后的图像的显像处理，将显像处理后的图像向图像显示部107输出。此外，操作者指示变焦时，变更在焦点设定部2203 设定的距离，调节焦点。

以上说明的连接多个监视摄像机的摄像系统中，也根据需要进行显像处理，因此能够实现电力消耗的减少、处理负荷减少。

另外，本实施例中，以连接3台摄像装置为例，但连接数并不受限制。此外，在连接1台时，也仅在需要的时候进行再现处理，由此能够实现电力消耗的减少、处理负荷减少。

[实施例8]

本实施例说明例如摄像装置、记录装置和再现装置处于远离的场所的摄像系统。

图48是本实施例的摄像系统的结构图。图48中，对与图46、图 47相同的部件标注相同的附图标记，省略说明。

5201是记录装置，包括发送接收部4904、图像记录读出部4905、存储部2201和控制部5210。发送接收部4904经由通信线路4903取得从摄像装置4901a、摄像装置4901b和摄像装置4901c送来的压缩图像。图像记录读出部4905对由发送接收部4904取得的压缩图像关联摄像装置的信息、摄像时刻并保持于存储部2201中。

5202是再现装置，具有图47的记录再现装置4920中记载的一部分的结构和发送接收部5204。

再现装置5202的控制部3101例如依据未图示的操作者的指示，经由发送接收部5204和通信线路4903，取得记录于记录装置5201的图像信息。控制部3101通过发送接收部5204和通信线路4903对记录装置5201请求操作者从取得的图像信息选择的图像。记录装置5201 的图像记录读出部4905从记录于存储部2201的图像取出请求的图像，经由发送接收部4904和通信线路4903对再现装置5202发送。再现装置5202中将由发送接收部5204接收到的图像，基于控制部3101的指示，由解压缩处理部3010进行解压缩处理，由显像处理部3011进行显像处理，之后向图像输出部3013输出。

以上说明的连接多个监视摄像机的摄像系统中，不限定记录装置的设置位置，因此能够采用大记录容量的存储装置，能够进行长时间的记录。另外，本实施例中，举出连接3台摄像装置的例子，但连接数量没有限制。

[实施例9]

本实施例说明将摄像部、记录部、再现部一体化的摄像再现装置。

图49是本实施例的摄像再现装置的结构图。在图49中，摄像再现装置5600包括例如通信I/F5613、控制部5614、显示部5617、输入单元5615、存储器5625、移动通信I/F5631、内存5632、加速度传感器部5633、地磁传感器部5634、GPS接收部5635、陀螺传感器部5636、摄像部5640、开关输入部5650、声音输入输出部5660、压缩处理部 5670、解压缩处理部5671，各个处理部经由总线5601连接。

此外，摄像再现装置5600将应用程序存储于存储器5625，控制部 5614从存储器5625将上述程序在内存5632展开，控制部5614通过执行上述程序能够实现各种功能。以后的说明中为了使说明简单，将控制部5614执行各应用程序而实现的各种功能，以各种程序功能部作为主体来实现的形式进行说明。

另外，应用程序可以在摄像再现装置5600出场之前预先存储于存储器5625中，也可以存储于CD(Compact Disk)、DVD(Digital Versatile Disk)等光学介质、半导体存储器等介质中，经由未图示的介质连接部而安装于摄像再现装置5600。此外，也可以经由通信I/F5613和未图示的无线路由，从未图示的外部网络下载而安装。或者，可以经由移动通信I/F5631，经由未图示的基站从配信源下载而安装。

进而，能够经由未图示的外部设备连接I/F连接于经由网络取得应用程序的个人电脑(PC)，从PC向摄像再现装置5600移动或复制并安装。

此外，应用程序作为具有同样的功能的处理部，能够由硬件实现。作为硬件实现时，各处理部为主体，实现各功能。

通信I/F5613例如通过无线LAN等与未图示的无线路由连接。此外，通信I/F5613经由无线路由与外部网络连接，与外部网络上的服务器等进行信息的发送接收。在与无线路由的通信功能之外，或者代替该功能，能够由Wi-Fi等无线LAN等方法，不经由无线路由地与服务器直接通信。通信I/F5613可以分别安装进行不同的通信方式的芯片。此外，也可以作为处理多个通信方式的1个芯片实装。例如，利用 Bluetooth(注册商标)等与其它信息设备直接通信的功能，进行数据的发送接收。移动通信I/F5631能够利用GSM方式、W-CDMA方式、CDMA2000方式、UMTS方式等3G、或LTE方式、被称为5G的新的次世代通信系统等移动通信网，通过基地局与通信网络连接，与通信网络上的服务器进行信息的收发。此外，能够使利用通信I/F5613的与外部网络的连接与利用移动通信I/F5631的通信网络连接相比优选进行。

控制部5614经由输入单元5615接受用户的操作请求，控制显示部5617、通信I/F5613、各种程序功能部。

进而，控制部5614能够经由通信I/F5613和无线路由10，经由外部网络、或移动通信I/F5631和基站18，从外部网络上的服务器取得各种信息，也具有向各种程序功能部传送的功能。

存储器5625能够根据控制部5614的指示被控制，而保持应用程序。此外，保持由应用程序生成的各种信息。此外，也可以根据从通信I/F5613或移动通信I/F5631接收的信号保存影像声音流等内容。此外，存储器5625可以内置于摄像再现装置5600，也可以是能够相对于摄像再现装置5600装卸的可移动型的存储器。

内存5632根据控制部5614的指示被控制。利用控制部5614在内存5632中展开存储于存储器5625中的应用程序的功能部。在存储器 5625中，虽然未图示，但例如存储有图33的压缩前处理部3801、显像处理部3011的处理功能，根据需要，利用控制部在内存5632中展开。

显示部5617显示存储于存储器5625的图像、影像、播放/发送的影像、用于进行各种操作的UI等。显示的图像、影像可以是由应用程序生成的图像，也可以是经由通信I/F5613从外部网络上的服务器接收到的图像、影像，也可以是经由移动通信I/F5631从通信网络上的服务器发送来的图像、影像。此外，显示部5617也可以与例如下述的触控面板等构成为一体。

输入单元5615是接受来自用户的对摄像再现装置5600的操作，输入关于输入操作的控制信息的输入单元，例如，能够使用触控面板等。以下，在本实施例中，说明使用触控面板的例子，但各种操作可以使用物理按钮。

通过使用触控面板，能够通过对触控面板上的任意的对象(图标) 等进行在用手指接触的状态下移动的操作(拖曳操作)、或在画面上以用手指弹动的方式移动的操作(轻弹操作)，使对象等自由地移动。此外，当对对象等用手指进行1次叩击的操作(点击操作)或2次叩击的操作(双击操作)时，能够激活对象(图标)等、或切换为其它画面。本实施例中，将上述触控面板的各操作称为拖曳操作、轻弹操作、点击操作以进行说明。

加速度传感器部5633测量施加于摄像再现装置5600的加速度。控制部5614通过利用例如加速度传感器部5633测量重力加速度，能够得知摄像再现装置5600的哪个部分处于上方，通过以使显示于显示部5617的画面的上方与加速度传感器部5633测量出的上方匹配的方式进行显示，能够配合用户对摄像再现装置5600的持有方式来显示画面。

地磁传感器部5634利用多个磁传感器等来测量地磁。

GPS接收部5635利用GPS(Global Positioning System，全球定位系统)接收从多个卫星发送来的信号。控制部5614能够基于GPS接收部5635接收到的信号，计算摄像再现装置5600的位置信息。

陀螺传感器部5636测量用户移动摄像再现装置5600等时发生的摄像再现装置5600的角速度。

摄像部5640包括例如图像传感器部103、透明的光栅基板102a、调制器2501或调制器2901等。图像传感器部103的快门时机、调制器2501的图案切替时机等由控制部5614控制。

对声音输入输出部5660，进行来自装备于摄像再现装置5600的麦克风的声音输出信号和对扬声器5662的声音输出信号的输入输出，由控制部5614进行该声音输入输出的音量的控制。

开关输入部5650根据物理按钮5651(可以是1个或多个)的操作取入开关信息，通过总线5601取入至控制部5614，根据需要在各种应用程序的控制中使用。例如，作为一例，与按钮5651的2个按钮对应地在声音输出的大小调整(音量的升降)的控制中使用。

在本摄像再现装置5600中，对由摄像部5640拍摄到的影像不进行显像处理，而由压缩处理部5670压缩后保持于存储器。用户看显像图像时从输入单元5615操作，将压缩了的影像利用解压缩处理部5671 进行解压缩处理，在显像处理后显示于显示部5617。

本实施例中，例如，在移动信息终端等摄影、再现、保存一体化的设备中存储容量不大的设备中，将拍摄到的图像压缩后保存，因此能够保存可以之后进行焦点等的变更的较多的图像。

图50是图49的摄像再现装置5600和图48的记录装置5201用通信线路4903连接的摄像再现系统。摄像再现装置5600与外部的记录装置5201连接，由此能够进行大容量的记录。此处，利用摄像再现装置的5600的压缩处理部5670能够降低之后能够进行焦点设定等的图像的容量，能够减少传送量。

[实施例10]

本实施例说明包括头戴型的影像显示装置和运算处理装置的影像显示系统。

图51是本实施例的包括头戴型的影像显示装置和运算处理装置的影像显示系统的概略图。图51中，5501是影像显示装置，5510是运算处理装置。影像显示装置5501包括显示部5502、摄像部5503、光源部5504、整体控制部(未图示)。另外，头部装戴型的影像显示装置只要是能够装戴于头部的形状，则也可以不是眼镜型，影像显示部可以是单眼的。

摄像部5503是例如包括图19的图像传感器部103和调制器2501 的结构、或者包括图23的图像传感器部103和调制器9501的结构等，包括图像传感器部和调制器。

显示部5502在显示部5502的一部分或全部、例如装戴了影像显示装置5501的用户能看到的位置显示影像。或者，由显示部5502使光反射，在用户的眼睛处成像。

运算处理装置5510是例如图49所示的摄像再现装置5600、摄像再现装置5600的摄像部5640由图像传感器部和透镜部构成的便携信息终端。

影像显示装置5501和运算处理装置5510的功能结构表示于图52。对与图51相同的部件标注相同的附图标记。

影像显示装置5501包括总线5904、由总线5904连接的摄像部5503、压缩前处理部5901、压缩处理部5902、控制部5903、显示部5502、解压缩处理部5905、发送接收部5906、存储部5907。

运算处理装置5510包括总线5919、由总线5919连接的发送接收部5911、压缩处理部5912、解压缩处理部5913、控制部5914、显像处理部5915、影像解析处理部5916、影像生成部5917和存储部5918。

压缩前处理部5901例如是图26的压缩前处理部3001、或图33 的压缩前处理部3801、图40的压缩前处理部4602等。

压缩处理部5902和压缩处理部5912例如是图26的压缩处理部 3005、或者图33的压缩处理部3805、图40的压缩处理部4606等。

解压缩处理部5905和解压缩处理部5913例如是图26的解压缩处理部3010等。

发送接收部5906和发送接收部5911例如是图46的发送接收部 4902和发送接收部4904等、或将发送接收部5906和发送接收部5911 直接连接而进行数据的发送接收。

控制部5903例如总体地控制摄像部5503、压缩前处理部5901、压缩处理部5902、显示部5502、解压缩处理部5905、发送接收部5906。

显像处理部5915例如是图26的显像处理部3011、图44的显像处理部5011。

控制部5914例如总体地控制发送接收部5911、压缩处理部5912、解压缩处理部5913、显像处理部5915、影像解析处理部5916、影像生成部5917。

影像显示装置5501将由摄像部5503拍摄到的影像，利用压缩前处理部5901处理后，利用压缩处理部5902进行压缩，利用发送接收部5906向运算处理装置5510发送。此外，发送接收部5906将从运算处理装置5510接收到的影像，根据需要利用解压缩处理部5905进行解压缩处理，显示于显示部5502。

运算处理装置5510从影像显示装置5501利用发送接收部5911进行接收，将接收到的影像利用解压缩处理部5913进行解压缩处理，利用显像处理部5915形成可知是被拍摄体的影像。影像解析处理部5916 利用显像处理部5915对显像的影像进行解析。解析的影像例如在由手的运动等控制影像显示装置5501、运算处理装置5510时，解析手的运动，进行对手的运动分配的处理。手的运动是运算处理装置5510的指示时，例如是关于操作用的菜单显示等的显示时，运算处理装置5510 利用影像生成部5917生成影像，从发送接收部5911向影像显示装置 5501发送。

以上说明的影像显示装置5501中，由不使用透镜的摄像部能够实现小型轻量化，并且能够使影像显示装置的处理减少，且利用压缩处理能够使传送量变少，能够实现适于头戴型的影像显示装置和影像显示系统。

以上说明了实施例，但本发明并不限定于上述实施例，包括各种变形例。例如，上述实施例是为了容易理解本发明而说明的，因此进行了详细的说明，但并不限定于必须具有说明的全部结构。此外，也能够在某个实施例的结构上添加其它实施例的结构。此外，能够对各实施例的一部分进行其它结构的添加、删除、置换。

附图标记说明

102：调制器，103：图像传感器部，104：正面侧光栅图案，105：背面侧光栅图案，106：图像处理部，107：图像显示部，2201、3012：存储部，2203：焦点设定部，2902、4601：图像分割部，3002：传感器信号处理部，3003：差分处理部，3004：数据转换处理部，3007：输出处理部，3008：存储装置，3009：输入处理部，3010：解压缩处理部，3011、5011：显像处理部，3013：图像输出部，3100、4610， 5100、5202：再现装置，3101、3802：控制部，3800、4600、4901：摄像装置，3801：压缩前处理部，3805：压缩处理部，3806：运算参数生成部，4902、4904：发送接收部，4903：网络，4905图像记录读出部，4920：记录再现装置，5201：记录装置，5501：影像显示装置， 5510：运算处理装置，5600：摄像再现装置。

Claims (12)

1.一种能够连续地拍摄图像的摄像装置，其特征在于，包括：

将由在摄像面上配置成阵列状的多个受光元件获取的光学像转换为图像信号并将其输出的图像传感器；

设置于所述图像传感器的受光面的、用于调制光的强度的调制器；

接收从所述图像传感器输出的图像信号的信号处理部；

计算由所述信号处理部接收到的图像信号的差，并生成基于该差的第1差数据的差分处理部；

基于由所述差分处理部获取的图像信号的差的范围和所述第1差数据来设定数据转换用参数的参数设定部；

使用由所述差分处理部获取的所述第1差数据和由所述参数设定部设定的所述数据转换用参数来生成第1压缩用图像数据的数据转换部；和

压缩由所述数据转换部生成的第1压缩用图像数据的压缩部，

所述调制器具有由多条线构成的第1光栅图案和相位与所述第1光栅图案错开的第2光栅图案，

所述信号处理部接收由所述第1光栅图案输出的第1图像信号和由所述第2光栅图案输出的第2图像信号，

所述差分处理部计算所述第1图像信号与所述第2图像信号的差，

所述参数设定部从连续地输入的所述第1差数据每隔一定间隔地生成并设定数据转换用参数，

所述压缩部在所述压缩了的数据中包含表示所述差的范围的信息。

2.如权利要求1所述的摄像装置，其特征在于：

所述压缩部每一定期间内将连续的输入图像作为组图像，使用所述输入图像间的相关关系将其压缩，

所述参数设定部设定数据转换用参数的间隔与所述压缩部生成组图像的期间相等。

3.如权利要求2所述的摄像装置，其特征在于：

所述压缩部生成在所述组图像中与其它图像无关地进行压缩的关键图像，

所述参数设定部使用与所述压缩部的关键图像对应的、由所述差分处理部获取的图像信号的差的范围和所述第1差数据，来生成数据转换用参数。

4.如权利要求2所述的摄像装置，其特征在于：

所述参数设定部使用与所述压缩部的组图像对应的、由所述差分处理部获取的图像信号的差的范围和所述第1差数据，来生成数据转换用参数。

5.如权利要求1～4中任一项所述的摄像装置，其特征在于：

所述第2光栅图案是相位从所述第1光栅图案的相位偏移π的光栅图案，

所述调制器还具有相位从所述第1光栅图案的相位偏移π/2的第3光栅图案和相位从所述第1光栅图案的相位偏移3π/2的第4光栅图案，

所述信号处理部接收由所述第3光栅图案输出的第3图像信号和由所述第4光栅图案输出的第4图像信号，

所述差分处理部计算所述第3图像信号与所述第4图像信号的差，生成基于该差的第2差数据，

所述数据转换部生成基于所述第3图像信号与所述第4图像信号的差的范围和所述第2差数据的第2压缩用图像数据，

所述压缩部以在所述第2压缩用图像数据中包含表示所述第3图像信号与所述第4图像信号的差的范围的信息的方式压缩该第2压缩用图像数据。

6.如权利要求1～5中任一项所述的摄像装置，其特征在于：

所述调制器的所述第1光栅图案和所述第2光栅图案形成在同一面上，

所述摄像装置还具有分割处理部，其将所述图像信号分割为由所述第1光栅图案调制的区域的第1图像信号和由所述第2光栅图案调制的区域的第2图像信号，

所述信号处理部基于由所述分割处理部进行了分割后的结果，接收所述第1图像信号和所述第2图像信号。

7.如权利要求5所述的摄像装置，其特征在于：

所述调制器的所述第1光栅图案、所述第2光栅图案、所述第3光栅图案和所述第4的光栅图案形成在同一面上，

所述摄像装置还具有分割处理部，其将所述图像信号分割为由所述第1光栅图案调制的区域的第1图像信号、由所述第2光栅图案调制的区域的第2图像信号、由所述第3光栅图案调制的区域的第3图像信号和由所述第4光栅图案调制的区域的第4图像信号，

所述信号处理部基于由所述分割处理部进行了分割后的结果，接收所述第1图像信号、所述第2图像信号、所述第3图像信号和所述第4图像信号。

8.如权利要求1～7中任一项所述的摄像装置，其特征在于：

所述摄像装置与网络连接，

经由所述网络发送而输出由所述压缩部压缩后的数据。

9.如权利要求1～8中任一项所述的摄像装置，其特征在于：

所述调制器的光栅图案由多个同心圆构成，该多个同心圆的同心圆的节距相对于作为同心圆的中心的基准坐标成反比例地变小。

10.如权利要求1～8中任一项所述的摄像装置，其特征在于：

所述调制器的光栅图案由多条直线构成，该多条直线的直线间距离相对于基准坐标成反比例地变窄。

11.一种摄像系统，其包括能够对拍摄图像而获得的结果进行压缩的摄像装置和能够将该压缩后的结果复原的复原装置，该摄像系统的特征在于：

所述摄像装置包括：

将由在摄像面上配置成阵列状的多个受光元件获取的光学像转换为图像信号并将其输出的图像传感器；

设置于所述图像传感器的受光面的、用于调制光的强度的调制器；

接收从所述图像传感器输出的图像信号的信号处理部；

计算由所述信号处理部接收到的图像信号的差，并生成基于该差的第1差数据的差分处理部；

基于由所述差分处理部获取的图像信号的差的范围和所述第1差数据来设定数据转换用参数的参数设定部；

使用由所述差分处理部获取的所述第1差数据和由所述参数设定部设定的所述数据转换用参数来生成第1压缩用图像数据的数据转换部；

压缩由所述数据转换部生成的第1压缩用图像数据的压缩部；和

输出由所述压缩部压缩后的数据的输出部，

所述复原装置包括：

输入由所述输出部输出的数据的输入部；

对由所述输入部输入的数据进行解压缩而生成压缩复原图像的解压缩处理部；

从所述压缩复原图像和该差的范围生成复原差分图像的图像复原处理部；

调制所述复原差分图像而生成莫尔条纹图像的调制处理部；和

对所述莫尔条纹图像进行傅里叶变换来计算频谱的信号处理部，

所述调制器具有由多条线构成的第1光栅图案和相位与所述第1光栅图案错开的第2光栅图案，

所述信号处理部接收由所述第1光栅图案输出的第1图像信号和由所述第2光栅图案输出的第2图像信号，

所述差分处理部计算所述第1图像信号与所述第2图像信号的差，

所述压缩部在所述第1压缩用图像数据中包含表示所述差的范围的信息。

12.一种能够连续地的拍摄图像的摄像装置的摄像方法，其特征在于：

该摄像装置包括：将由在摄像面上配置成阵列状的多个受光元件获取的光学像转换为图像信号并将其输出的图像传感器；和

调制光的强度的调制器，其设置于所述图像传感器的受光面，具有由多条线构成的第1光栅图案和相位与所述第1光栅图案错开的第2光栅图案，

在所述摄像方法中，

接收由所述第1光栅图案输出的第1图像信号和由所述第2光栅图案输出的第2图像信号，

计算所述第1图像信号与所述第2图像信号的差数据和差的范围，

基于该差的范围和差数据，从连续地输出的该差数据每隔一定间隔地生成并设定数据转换用参数，

使用所述差数据和所述数据转换用参数来生成压缩用图像数据，

压缩该生成的压缩用图像数据，在该压缩后的数据中包含表示所述差的范围的信息。

Images