CN110324513B - 摄像装置，摄像模块和摄像方法 - Google Patents

摄像装置，摄像模块和摄像方法 Download PDF

Info

Publication number
CN110324513B
CN110324513B CN201910085244.7A CN201910085244A CN110324513B CN 110324513 B CN110324513 B CN 110324513B CN 201910085244 A CN201910085244 A CN 201910085244A CN 110324513 B CN110324513 B CN 110324513B
Authority
CN
China
Prior art keywords
image
pattern
sensor
imaging
complex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910085244.7A
Other languages
English (en)
Other versions
CN110324513A (zh
Inventor
大野千代
中村悠介
田岛和幸
山崎航史
岛野健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN110324513A publication Critical patent/CN110324513A/zh
Application granted granted Critical
Publication of CN110324513B publication Critical patent/CN110324513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种摄像装置、摄像模块和摄像方法，提供通过对图案位置的偏离等适当地补正而得到正确的显影图像的技术。摄像装置特征在于具有：调制器，其基于拍摄用图案对光的强度进行调制；图像传感器，其将透过所述调制器后的光转换为电信号而生成传感器图像；复传感器图像处理部，其根据对于用所述拍摄用图案拍摄的所述传感器图像执行规定的位置对齐得到的图像，生成具有复数的复传感器图像；和图像处理部，其基于所述复传感器图像、和显影用图案的数据的运算将像复原。

Description

摄像装置，摄像模块和摄像方法
技术领域
本发明涉及摄像装置、摄像模块和摄像方法。
背景技术
作为本技术领域的背景技术，有日本再表2017-145348号(专利文献1)。该专利文献中，有关于在图像传感器上粘贴特殊的衍射光栅基板、根据透过衍射光栅基板的光在图像传感器上产生的射影图案、通过逆问题求出入射光的入射角、由此得到外界的物体的像的技术的记载。
专利文献1：日本再表2017-145348号
发明内容
在上述专利文献1中记载的技术中，作为在图像传感器上粘贴的基板上面形成的衍射光栅的图案，具有多个不同的图案，由此除去对再现图像(此后记作显影图像)的画质造成影响的噪声。但是，该方式中，在上述多个图案中、某些图案从想要的位置偏离地配置(例如图案A、B、C、D中，图案B的中心位置偏离，图案C旋转等)、或者上述基板上面与传感器面不平行(例如倾斜等)的情况下，存在用该图像传感器受光的射影图案中发生错位和畸变、即使将像显影也不能得到正确的显影图像的问题。
本申请包括多种解决上述课题的至少一部分的手段，举其一例，如下所述。为了解决上述课题，本发明的一个方式的摄像装置，特征在于，具有：调制器，其基于拍摄用图案对光的强度进行调制；图像传感器，其将透过所述调制器后的光转换为电信号而生成传感器图像；复传感器图像处理部，其根据对于用所述拍摄用图案拍摄的所述传感器图像执行规定的位置对齐得到的图像，生成具有复数的复传感器图像；和图像处理部，其基于所述复传感器图像、和显影用图案的数据的运算将像复原。
根据本发明，能够提供一种通过对图案位置的偏离等适当进行补正而得到正确的显影图像的技术。上述以外的课题、结构和效果将通过以下实施方式的说明而说明。
附图说明
图1是表示本发明的第一实施方式的摄像装置的结构例的图。
图2是表示第一实施例的摄像模块的结构例的图。
图3是表示第一实施例的另一个摄像模块的结构例的图。
图4是表示第一实施例的拍摄用图案和显影用图案的例子的图。
图5是表示第一实施例的拍摄用图案和显影用图案的另一例的图。
图6是表示由倾斜入射平行光生成的从图案基板表面向图像传感器的射影像中产生了面内偏离的例子的图。
图7是表示拍摄用图案的投影像的例子的图。
图8是表示显影用图案的例子的图。
图9是表示基于相关显影方式的显影图像的例子的图。
图10是表示基于摩尔纹显影方式的摩尔纹的例子的图。
图11是表示基于摩尔纹显影方式的显影图像的例子的图。
图12是表示条纹扫描中的初始相位的拍摄用图案的组合的例子的图。
图13是表示空间分割条纹扫描的拍摄用图案的例子的图。
图14是表示条纹扫描的处理流程的例子的图。
图15是表示基于相关显影方式的显影处理的处理流程的例子的图。
图16是表示基于摩尔纹显影方式的显影处理的处理流程的例子的图。
图17是表示物体位于无限远的情况下的拍摄用图案的投影例的图。
图18是表示物体位于有限远的情况下的拍摄用图案的放大投影例的图。
图19是表示本发明的第二实施例的摄像装置的结构的图。
图20是表示空间分割条纹扫描的拍摄用图案的问题的例子的图。
图21是表示水平位置偏离量测定处理的处理流程的例子的图。
图22是表示拍摄用图案内的各图案区域的水平位置偏离的探索例的图。
图23是表示拍摄用图案内的各图案区域的使用区域的截取例的图。
图24是表示拍摄用图案的水平位置截取处理的处理流程的例子的图。
图25是表示空间分割条纹扫描的另一个问题的例子的图。
图26是表示倾斜量测定处理的处理流程的例子的图。
图27是表示拍摄用图案内的各图案区域的倾斜的探索例的图。
图28是表示水平位置偏离量信息的结构例的图。
图29是表示倾斜量信息的结构例的图。
符号说明
101……摄像装置，102……摄像模块，103……图像传感器，103a……像素，104……图案基板，105……拍摄用图案，106……条纹扫描处理部，107……图像处理部，108……控制器，801……显影用图案。
具体实施方式
以下实施方式中，为了方便而在必要时分割为多个段或实施方式进行说明，但除了特别声明的情况外，它们不是相互无关的，而是处于一方是另一方的一部分或全部的变形例、详细内容、补充说明等的关系。
另外，以下实施方式中，在提及要素的数量等(包括个数、数值、量、范围等)的情况下，除了特别声明的情况和原理上显然限定为特定数量等情况外，都不限定于该特定数量，可以是特定数量以上或以下。
进而，在以下实施方式中，其构成要素(也包括要素步骤等)除了特别声明的情况和原理上认为显然是必需的等情况外，都不是必需的。
同样，以下实施方式中，在提及构成要素等的形状、位置关系等时，除了特别声明的情况和原理上认为显然并非如此等情况外，都包括实质上与该形状等近似或类似的形状等。这一点对于上述数值和范围也是同样的。
另外，用于说明实施方式的全部图中，对于同一部件原则上附加同一符号，省略其反复说明。以下，对于本发明的实施例用附图进行说明。
一般而言，对于车载相机、可穿戴设备、智能手机等信息机器中搭载的数字相机要求薄型化和低成本化的情况较多。例如，提出了通过不使用透镜地得到物体像而实现薄型化和低成本化的摄像方式。这样的技术中，具有在图像传感器前粘贴特殊的光栅图案，解用于根据用该图像传感器受光的射影图案将像显影的逆问题，由此得到物体的像的摄像方式。该方式中，通过信号处理解逆问题时的运算变得复杂，处理负荷高，所以信息机器的硬件要求规格变高。本发明中，目的在于将处理负荷抑制地较低、同时能够薄型化。
【实施例1】
＜无限远物体的拍摄原理＞
图1是表示本发明的实施例1的摄像装置101的结构的图。摄像装置101不使用成像的透镜地，取得外界的物体的图像，如图1所示，由摄像模块102、条纹扫描处理部106、图像处理部107和控制器108构成。在图2中示出摄像模块102的一例。
图2是表示第一实施例的摄像模块的结构的图。摄像模块102由图像传感器103、图案基板104、拍摄用图案105构成。图案基板104与图像传感器103的受光面密合地固定，在图案基板104上形成拍摄用图案105。图案基板104例如由玻璃和塑料等对于可见光透明的材料构成。
拍摄用图案105由光栅图案的间隔即间距越向外侧与从中心起的半径成反比地越变细的同心圆状的光栅图案构成。拍摄用图案105例如通过用半导体工艺中使用的溅射法等蒸镀铝、铬等金属而形成。通过蒸镀了金属的图案和未蒸镀的图案而带有浓淡。另外，拍摄用图案105的形成不限定于此，例如也可以通过用喷墨打印机等印刷等而带有浓淡地形成。进而，此处以可见光为例进行了说明，但例如在进行远红外线的拍摄时，图案基板104例如采用锗、硅、硫族化物等对于远红外线透明的材料等，使用对于作为拍摄对象的波长透明的材料，拍摄用图案105使用金属等屏蔽的材料即可。
另外，图案基板104和拍摄用图案105也可以成为对入射至图像传感器103的光的强度进行调制的调制器。另外，此处为了实现摄像模块102，叙述了在图案基板104上形成拍摄用图案105的方法，但通过如图3所示的结构也能够实现。
图3是表示第一实施例的另一个摄像模块的结构例的图。图3所示的结构例中，在薄膜上形成拍摄用图案105，用支持部件301将其保持。
另外，本装置中，拍摄视野角能够通过图案基板104的厚度变更。由此，例如如果图案基板104是图3的结构且具有能够变更支持部件301的长度的功能，就也能够在拍摄时变更视野角地拍摄。
在图像传感器103的表面，受光元件即像素103a格子状地规则地配置。该图像传感器103将像素103a受光的光图像转换为电信号即图像信号。
透过拍摄用图案105的光，被该图案调制光的强度，透过后的光被图像传感器103受光。图像传感器103例如由CCD(Charge Coupled Device)图像传感器或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等构成。
从图像传感器103输出的图像信号，被条纹扫描处理部106除去噪声，被图像处理部107图像处理后的数据被输出至控制器108。控制器108在将输出对主机计算机或外部记录介质输出的情况下，为了适合USB等接口而转换数据格式地输出。
接着，对于摄像装置101中的拍摄原理进行说明。首先，拍摄用图案105是间距与从中心起的半径成反比地变细的同心圆状的图案，能够使用从同心圆的中心即基准坐标起的半径r、系数β，定义为：
【数1】
I(r)＝1+cosβr2……(1)
拍摄用图案105被与该式成正比地进行了透过率调制。另外，此后，为了简化而仅对于x轴方向用数学式说明，但通过同样地对于y轴方向考虑能够展开至二维的考虑。
具有这样的条纹的片，被称为Gabor波带片(GZP：Gabor Zone Plate)或Fresnel波带片(FZP：Fresnel Zone Plate)。
图4是表示第一实施例的拍摄用图案和显影用图案的例子的图。具体而言，图4是用上式1表示的Gabor波带片的例子。
图5是表示第一实施例的拍摄用图案和显影用图案的另一例的图。具体而言，是使用了对于上式1用阈值1二值化的结果得到的图案的Fresnel波带片的例子。
假设对于形成了拍摄用图案105的厚度d的图案基板104，如图6所示平行光在x轴方向上以角度θ0入射。设图案基板104中的折射角为θ，在几何光学上，乘以表面的光栅的透过率的光偏移k＝d·tanθ地对图像传感器103入射。此时，在图像传感器103上检测出具有如下所示的强度分布的投影像：
【数2】
IF(x)＝1+cos[β(x+k)2+Φ]……(2)
其中，Φ表示上式1的透过率分布的初始相位。在图7中示出该拍摄用图案105的投影像的例子。
图7是表示拍摄用图案的投影像的例子的图。如图7所示，使用拍摄用图案105、有如图6所示的平行光入射的情况下，在图像传感器103上，如上式2所示平移k地投影。这是来自摄像模块102的输出。
接着，在图像处理部107中，进行显影处理，对于其中的基于相关显影方式和摩尔纹显影方式的显影处理进行说明。
相关显影方式中，图像处理部107通过运算图7所示的拍摄用图案105的投影像、与图8所示的显影用图案801的互相关函数，能够得到图9所示的平移量k的亮点。另外，一般而言，用二维卷积运算进行互相关运算时运算量增大。
图8是表示显影用图案的例子的图。具体而言，显影用图案801具有与图5所示的FZP同样的图案。本实施方式中，显影用图案801不需要在物理上具有实体，作为图像处理中使用的信息存在即可。
图9是表示基于相关显影方式的显影图像的例子的图。通过相关显影方式显影时，如上所述，能够得到某一亮点偏移了k的显影图像。
此处，对于不用二维卷积运算进行互相关运算、而是使用傅立叶变换运算的例子，用数学式说明原理。首先，显影用图案801与拍摄用图案105同样地使用Gabor波带片或Fresnel波带片，所以显影用图案801可以使用初始相位Φ表达为：
【数3】
IB(x)＝cos(βx2+Φ)……(3)
其中，因为显影用图案801是在图像处理内使用的，所以不需要如上式1所示地按1偏移，即使具有负值也没有问题。
上式2、上式3的傅立叶变换分别是：
【数4】
Figure BDA0001961534740000071
【数5】
Figure BDA0001961534740000072
此处，F表示傅立叶变换的运算，u是x方向的频率坐标，带有括号的δ是δ函数。该式中重要的在于傅立叶变换后的式子也是Fresnel波带片或Gabor波带片这一点。由此，也可以基于该数学式直接地生成傅立叶变换后的显影用图案。由此能够减少运算量。
接着，将上式4与上式5相乘，得到：
【数6】
Figure BDA0001961534740000073
该用指数函数表达的项exp(-iku)是信号成分，对该项进行傅立叶变换时，转换为：
【数7】
F-1[e-iku]＝2πδ(x+k)……(7)
能够在原本的x轴上k的位置得到亮点。该亮点表示无限远的光束，就是用图1的摄像装置101得到的拍摄像。
另外，这样的相关显影方式中，只要图案的自相关函数具有单一的峰值，就可以用不限定于Fresnel波带片和Gabor波带片的图案、例如随机的图案实现。
接着，摩尔纹显影方式中，通过将图7所示的拍摄用图案105的投影像与图8所示的显影用图案801相乘，生成如图10所示的摩尔纹，通过对其进行傅立叶变换能够得到如图11所示的平移量为(kβ/π)的亮点。
图10是表示基于摩尔纹显影方式的摩尔纹的例子的图。具体而言，如图10所示，得到图7所示的拍摄用图案105的投影像、与图8所示的显影用图案801的相乘的结果作为摩尔纹。
用数学式表示该摩尔纹时，得到：
【数8】
Figure BDA0001961534740000081
可知该展开式的第三项是信号成分，在重合的区域整面中生成在2个图案的偏离方向上笔直的等间隔的条纹图案。将这样的通过条纹与条纹的重合而以相对较低的空间频率生成的条纹称为摩尔纹。
该第三项的二维傅立叶变换是：
【数9】
Figure BDA0001961534740000082
此处，F表示傅立叶变换的运算，u是x方向的频率坐标，带有括号的δ是δ函数。根据该结果，可知在摩尔纹的空间频率谱中，空间频率的峰值在(u＝±kβ/π)的位置产生。该亮点表示无限远的光束，就是用图1的摄像装置101得到的拍摄像。
图11是表示基于摩尔纹显影方式的显影图像的例子的图。图11所示的显影图像中，在u＝±kβ/π的位置得到亮点。
另外，摩尔纹显影方式中只要通过图案的平移得到的摩尔纹具有单一的频率，就可以用不限定于Fresnel波带片和Gabor波带片的图案、例如椭圆状的图案实现。
＜噪声抵消＞
在从上式6向上式7的转换、以及从上式8向上式9的转换中着眼于信号成分进行了叙述，但实际上信号成分以外的项作为噪声妨碍显影。于是，基于条纹扫描的噪声抵消是有效的。
为了条纹扫描，需要使用初始相位Φ不同的多个图案作为拍摄用图案105。在图12中示出多个图案的例子。
图12是表示条纹扫描中的初始相位的拍摄用图案的组合的例子的图。此处，对于使用(Φ＝0)、(Φ＝π/2)、(Φ＝π)、(Φ＝3π/2)这4个相位拍摄的传感器图像按照下式运算时得到复数的传感器图像(复传感器图像)。用式子表示时，是：
【数10】
Figure BDA0001961534740000091
此处，复数的显影用图案801可以表达为：
【数11】
ICB(x)＝exp(-iβx2)……(11)
因为显影用图案801是在条纹扫描处理内使用的，所以即使是复数也没有问题。
在摩尔纹显影方式中，将上式10与上式11相乘时，得到：
【数12】
ICF(x)·ICB(x)＝exp[iβ(x+k)2]·exp(-iβx2)＝exp[2iβkx+iβk2]
……(12)
该用指数函数表达的项exp(2iβkx)是信号成分，可知因为不产生如上式8所示的多余的项，所以噪声被抵消。
同样地，对于相关显影方式确认时，上式10、上式11的傅立叶变换分别成为：
【数13】
Figure BDA0001961534740000101
【数14】
Figure BDA0001961534740000102
接着，将上式13与上式14相乘时，得到：
【数15】
Figure BDA0001961534740000103
该用指数函数表达的项exp(-iku)是信号成分，可知因为不产生如上式8所示的多余的项，所以噪声被抵消。
另外，上述例子中，使用(Φ＝0)、(Φ＝π/2)、(Φ＝π)、(Φ＝3π/2)这4个相位的多个显影用图案进行了说明，但Φ设定为将0～2π之间的角度等分即可，不限定于该相位。
作为实现以上使用多个图案的拍摄的方法，可以考虑在条纹扫描的处理中时间分割地切换图案的方法、和空间分割地切换图案的方法。
为了实现时间分割条纹扫描，例如将能够电子地切换显示图12所示的多个初始相位的液晶显示元件等作为图1中的拍摄用图案105使用即可。对该液晶显示元件的切换时机与图像传感器103的快门时机同步地控制，在时序地取得4张图像之后在条纹扫描处理部106中实施条纹扫描运算。
与此相对，为了实现空间分割条纹扫描，需要使用如图13所示具有多个初始相位不同的图案区域的拍摄用图案105。作为全体取得1张图像之后，在条纹扫描处理部106中与各个初始相位的图案区域对应地将该图像分割为4张，实施条纹扫描运算。
图13是表示空间分割条纹扫描的拍摄用图案的例子的图。空间分割条纹扫描的拍摄用图案1300是拍摄用图案105的应用例，是在XY平面(与图像传感器103平行的面)上空间地分割地、包括多个初始相位((Φ＝0)、(Φ＝π/2)、(Φ＝π)、(Φ＝3π/2)这4个相位)不同的图案区域的拍摄用图案。接着，对于条纹扫描处理部106中的条纹扫描运算进行说明。
图14是表示条纹扫描的处理流程的例子的图。首先，条纹扫描处理部106取得从图像传感器103输出的由多个拍摄图案形成的传感器图像，但采用空间分割条纹扫描的情况下需要将取得的传感器图像与个别的拍摄图案相应地分割，所以按规定的区域分割而成为多个传感器图像(步骤1401)。另外，采用时间分割条纹扫描的情况下，与时间经过相应地得到由初始相位不同的拍摄图案形成的多个传感器图像，所以不实施分割。
接着，条纹扫描处理部106将输出用的复传感器图像初始化(步骤1402)。
然后，条纹扫描传感部106取得第一个初始相位Φ的传感器图像(步骤1403)。
然后，条纹扫描处理部106乘以与该初始相位Φ对应的exp(iΦ)(步骤1404)。
然后，条纹扫描处理部106将相乘结果相加至复传感器图像(步骤1405)。
条纹扫描处理部106将该从步骤1403至步骤1405的处理按使用的初始相位数反复(步骤1406)。例如，使用了如图12所示的4个相位的条纹扫描中，条纹扫描处理部106反复各初始相位(Φ＝0)、(π/2)、(π)、(3π/2)共4次。
然后，条纹扫描处理部106输出复传感器图像(步骤1407)。以上步骤1401至步骤1407的由条纹扫描处理部106进行的处理，是相当于上式10的处理。接着，对于图像处理部107中的图像处理进行说明。
图15是表示基于相关显影方式的显影处理的处理流程的例子的图。首先，图像处理部107取得从条纹扫描处理部106输出的复传感器图像，对于复传感器图像实施二维快速傅立叶变换(FFT：Fast Fourier Transform)运算(步骤1501)。
接着，图像处理部107生成显影处理中使用的预先决定的显影用图案801，与二维FFT运算后的复传感器图像相乘(步骤1502)。
然后，图像处理部107进行逆二维FFT运算(步骤1503)。另外，该运算结果是复数。
因此，图像处理部107从逆二维FFT运算的运算结果绝对值化或提取实部而使拍摄对象的像实数化进行显影(步骤1504)。
之后，图像处理部107对于得到的显影图像进行对比度强调处理(步骤1505)。进而，图像处理部107实施色彩平衡调整(步骤1506)等，作为拍摄图像输出。以上是基于相关显影方式的显影处理。
图16是表示基于摩尔纹显影方式的显影处理的处理流程的例子的图。首先，图像处理部107取得从条纹扫描处理部106输出的复传感器图像，生成显影处理中使用的预先决定的显影用图案801，与复传感器图像相乘(步骤1601)。
然后，图像处理部107通过二维FFT运算求出频率谱(步骤1602)。
然后，图像处理部107截取步骤1602中求出的频率谱中必要的频率区间的数据(步骤1603)。
此后的步骤1604的实数化处理、步骤1605的对比度强调处理、步骤1606的色彩平衡调整处理，与步骤1504至步骤1506的处理是同样的，所以省略说明。
【实施例2】
＜有限远物体的拍摄原理＞
接着，在图17中示出以上叙述的被摄体充分远的情况(无限远的情况)下的拍摄用图案105对图像传感器103的射影的状况。
图17是表示物体位于无限远的情况下的拍摄用图案的投影例的图。来自构成远方的物体的点1701的球面波，在充分长的距离中传播时成为平面波对拍摄用图案105照射，其投影像1702对图像传感器103投影的情况下，投影像是与拍摄用图案105大致相同的形状。结果，对于投影像1702，通过使用显影用图案进行显影处理，能够得到单一的亮点。与此对比地，对于对有限远的物体的摄像进行说明。
图18是表示物体位于有限远的情况下的拍摄用图案的放大投影例的图。摄像的物体位于有限远的情况下，拍摄用图案105对图像传感器103的射影与拍摄用图案105相比被放大。来自构成物体的点1801的球面波对拍摄用图案105照射，其投影像1802对图像传感器103投影的情况下，投影像被大致均匀地放大。另外，该放大率α能够使用从拍摄用图案105到点1801的距离f，如下所述地计算：
【数16】
Figure BDA0001961534740000131
因此，对于有限远的物体，直接使用对于平行光设计的显影用图案进行显影处理，不能得到单一的亮点。
于是，只要与均匀地放大的拍摄用图案105的投影像相应地，使显影用图案801放大，就能够对于放大的投影像1802再次得到单一的亮点。为此，通过将显影用图案801的系数β改为β/α2能够补正。由此，能够选择性地再现来自不一定无限远的距离的点1801的光。由此，能够对任意的位置对焦并进行拍摄。即，在对被摄体对焦并进行拍摄的情况下，只要决定显影用图案801的放大倍率即可。
进而，根据本结构，也能够在拍摄后对任意的距离对焦。在图19中示出该情况下的结构。
图19是表示本发明的第二实施例的摄像装置的结构的图。第二实施例的摄像装置具备基本上与第一实施例的摄像装置同样的结构。但是，与第一实施例不同的，是存在对焦设定部1901。对焦设定部1901用摄像装置101中具备的旋钮、或智能手机的GUI(GraphicalUser Interface)等接受对焦距离的设定，将对焦距离信息输出至图像处理部107。
进而，这样能够进行拍摄后的对焦调整，意味着具有深度信息，能够在图像处理部107中实现自动对焦和测距等各种各样的功能。
为了实现这样的对焦设定等功能，需要自由地变更显影用图案801的系数β，但通过如本实施例中说明的条纹扫描处理部106中的处理一般进行条纹扫描运算，能够独立地进行使用显影用图案801的处理，能够使处理简化。
＜时间分割方式和空间分割方式的切换＞
如上所述，作为噪声抵消的方式能够采用时间分割条纹扫描和空间分割条纹扫描。时间分割条纹扫描与时间经过相应地切换使用初始相位不同的多个拍摄用图案105，由此能够使用图像传感器的整面，能够应对高分辨率、全焦点。另一方面，该方式需要按每个图案拍摄，所以拍摄时间和存储器容量与空间分割条纹扫描相比需要更多。例如，动体的拍摄因为在切换拍摄用图案的期间中构图变化，所以难以进行。
空间分割条纹扫描通过使用具有初始相位不同的多个图案区域的拍摄用图案1300，而对于拍摄仅进行一次摄像，也不会发生存储器容量的增加，但因为将图像传感器的尺寸分割并分配至多个图案区域，所以各图案区域中得到的分辨率降低。另外，难以进行微距拍摄。根据以上所述，两个方式优点分别不同，所以优选能够根据用途手动或自动地切换。
例如，在摄像模块102或条纹扫描处理部106中搭载切换两个方式的电路或程序。然后，通过检测出用户操作摄像装置101中搭载的开关或按钮、或者经由USB(UniversalSerial Bus)或无线LAN(Local Area Network)等外部接口从其他装置接收切换请求等事件，控制器108决定使用哪一个方式，经由条纹扫描处理部106进行切换控制。
或者，也可以是通常使用空间分割条纹扫描，在图像传感器103上的投影像因被摄体接近而变得比规定的尺寸更大(投影像的面积占图像传感器的面积的规定以上)的情况下，条纹扫描处理部106或者控制器108自动地切换为时间分割条纹扫描的方法。根据以上方法、结构，能够实现能够将对焦调整、自动对焦、测距处理、与条纹扫描处理分离地实施的摄像装置。
另外，关于摄像模块102，也可以预先具备具有时间分割条纹扫描用的拍摄用图案105的和具备空间分割条纹扫描用的拍摄用图案105的两个系统的切换机构，由控制器108控制系统的切换而实施某一方的条纹扫描，也可以通过使用由液晶形成的拍摄用图案105而由控制器108控制系统的切换(拍摄用图案的分情况输出)实施某一方的条纹扫描。接着，对于使用空间分割条纹扫描的情况下发生的问题进行说明。
【实施例3】
(空间分割条纹扫描的问题)
如上述实施例1所述，空间分割条纹扫描处理中，使用如图20所示的具有初始相位相互不同的多个图案的拍摄用图案1300。
图20是表示空间分割条纹扫描的拍摄用图案的问题的例子的图。优选构成拍摄用图案1300的部分的拍摄用图案1301至拍摄用图案1304，在水平方向上分别是相同的尺寸(Sx，Sy)，关于图案区域的中心位置(同心圆状图案的情况下，是同心圆的中心)，也在全部图案区域中是截取的图像上的中心位置。
但是，在拍摄用图案的形成时和安装的工序中，存在这些图案的位置从规定的位置偏离地配置的情况。例如，如图20的拍摄用图案2000所示，关于图左侧的左上的图案区域1301，如图右侧的图案区域所示中心位置向图中左上方向偏离，关于图左侧的左下的图案区域，如图右侧的图案区域2003所示中心位置向图中下方向偏离，关于图左侧的右下的图案区域1304，如图右侧的图案区域所示中心位置向图中右方向偏离。将使用这样存在偏离的拍摄用图案2000、用图像传感器103拍摄的1张图像直接分割为4张，实施条纹扫描运算时，因为偏离而不能得到正确的显影图像。
(空间分割条纹扫描的解决之一)
为了解决上述水平方向上的偏离(在与图像传感器的传感器面平行的面上的偏离)的问题，本实施例3中，使用将拍摄用图案1300对图像传感器103投影而取得的1张图像，检测在包括的各图案区域中是否发生了位置偏离。发生了位置偏离的情况下，在步骤1401中在从1张投影图像分割为4张的处理中，检索各图案区域的中心位置。然后，进行从各中心位置起以最佳的尺寸截取的处理。由此，在使用了图20所示的拍摄用图案2000的情况下也能够取得4张正确的投影图像。以下记载详情。
首先，使用LED(Light Emitting Diode)灯等点光源，准备无限远的拍摄环境。此处，无限远是进行泛焦拍摄的位置，依赖于图像传感器103的尺寸、拍摄用图案与图像传感器103的距离d。具体而言，点光源与拍摄用图案1300的距离f与距离d的关系，如上式16所示。小到能够忽略放大率α的变化的程度的距离f是无限远，距离d表现为小到能够充分忽略的程度的值。摄像装置101使用空间分割条纹扫描。
另外，此后的处理例如在用户操作摄像装置101中搭载的开关或按钮、或者经由无线LAN或USB等外部接口接收了位置调整请求的情况下，由摄像装置101的控制器108执行。用图21对于控制器108的处理概要进行说明。
图21是表示水平位置偏离量测定处理的处理流程的例子的图。水平位置偏离量测定处理例如在需要摄像装置101的制造时和调整时的校准的情况下，按照来自用户的指示开始。
控制器108从摄像模块102、条纹扫描处理部106、图像处理部107、控制器108的某一方中内置的存储器(优选是在并非通电状态的情况下也保持数据的非易失性存储器)，读取构成拍摄用图案1300的各图案区域的设计上的位置信息和尺寸(步骤2201)。例如，控制器108读取图案1301的中心位置A1(x1，y1)、图案1302的中心位置A2(x2，y1)、图案1303的中心位置A3(x1，y2)、图案1304的中心位置A4(x2，y2)、各图案区域的尺寸(Xc，Yc)。
此处，控制器108读取的信息不仅限定于各图案区域的中心位置和尺寸，也可以是拍摄用图案1300的图像数据，也可以是能够确定各图案区域中不同的形状的信息(同心圆的情况下，是中心圆的颜色和尺寸)。另外，关于图21的坐标位置，将图中左上作为原点(0，0)，但也可以在别的场所配置原点。另外，上述使用了中心的坐标，但也可以在各图案区域中使用个别的坐标。进而，读取的信息不仅限定于中心位置和各图案区域的尺寸，只要是能够各图案区域的位置和能够识别的信息即可。
接着，控制器108取得图像传感器103上的投影图像2220(步骤2202)。具体而言，控制器108控制摄像模块102、条纹扫描处理部106、图像处理部107，取得使拍摄用图案1300对图像传感器103投影的投影图像2220。
接着，控制器108从投影图像2220中检索各图案区域的中心位置(步骤2203)。具体而言，控制器108控制图像处理部107，使用步骤2201中取得的各图案区域的中心位置，在投影图像2220中确定该中心位置配置在规定的位置的规定的尺寸的矩形区域，判定在该矩形区域内是否包括各图案区域的中心附近的形状。例如，控制器108如图22所示地检索中心附近的形状。
图22是表示拍摄用图案内的各图案区域的水平位置偏离的探索例的图。图像处理部107从投影图像2200上截取图案1301的中心位置A1配置在中心的矩形区域2300，检索其中是否存在用于确定图案1301的特征点或特定的形状。图案1301这样的同心圆的情况下，图像处理部107例如使用圆形霍夫转换等图像处理方式检索中心的圆。然后，提取出特征点或特定的形状的情况下，图像处理部107提取其中心位置A1＇。
是另一方面，未能从矩形区域2300中提取出要求的特征点或特定的形状的情况下，图像处理部107在位于最初的矩形区域2300的周围的规定的区域2301的范围内使矩形区域2300的位置移动同时进行光栅扫描。在规定的区域2301内不存在要求的特征点或特定的形状的情况下，图像处理部107判断该图案中包括预想以上的位置偏离而不能正常地使用，结束关于该图案的中心位置的检索。然后，图像处理部107对于其余未处理的图案实施本步骤的处理。
然后，图像处理部107根据各图案区域的中心位置计算出能够截取的区域的最大尺寸(步骤2204)。具体而言，在步骤2203中从投影图像2220中成功提取出各图案区域的中心位置A1＇～A4＇的情况下，控制器108控制图像处理部107，计算出各图案区域的区域尺寸(图21的Xc、Yc)中其中心位置能够配置在规定的位置的最大尺寸的矩形区域。例如，图像处理部107如图23所示，分别计算出尺寸在Xc、Yc以下、且各图案区域的中心位置A1＇～A4＇配置在中心的最大的矩形区域S1～S4。此后，设各矩形区域的尺寸为S1(XS1，YS1)、S2(XS2，YS2)、S3(XS3，YS3)、S4(XS4，YS4)。
然后，图像处理部107从能够截取的区域尺寸中选择最小尺寸(步骤2205)。具体而言，图像处理部107从步骤2204中提取出的矩形区域中，选择尺寸最小的。即，从XS1～XS4中选择最小值XSmin，从YS1～YS4中选择最小值YSmin。此后，设最小的矩形区域为Smin(XSmin，YSmin)。此处，Smin(XSmin，YSmin)的尺寸小于规定的尺寸的情况下，即小到不能确保规定的尺寸的情况下，控制器108可以判断该图案区域中存在规定以上的位置偏离而不能正常地使用，结束水平位置偏离量测定处理。
然后，图像处理部107从各图案区域的中心位置起截取最小尺寸的区域(步骤2206)。具体而言，图像处理部107从投影图像2200中分别截取各图案区域的中心位置A1＇～A4＇能够配置在规定的位置的尺寸Smin的矩形区域。然后，图像处理部107实施使用了空间分割条纹扫描的条纹扫描运算的后续处理。
然后，控制器108保持各图案区域的中心位置和最小尺寸(步骤2207)。具体而言，控制器108将步骤2203中检索的各图案区域的中心位置A1＇～A4＇、和步骤2205中选择的尺寸Smin(XSmin，YSmin)保存在内置存储器中。
图28是表示水平位置偏离量信息的结构例的图。信息2800包括保存了设计上的基准位置和尺寸(各图案区域的区域尺寸和基准的中心位置等)的信息表2810、和保存了各图案区域的实际的基准的中心位置和截取的矩形区域的尺寸(Smin)的信息表2820地构成。信息表2820不仅包括泛焦拍摄时(从无限远拍摄的情况)的信息，也包括从有限远的任意的距离拍摄的情况下与该距离或距离区间相应的信息。另外，信息表和构成要素不限定于此，只要是能够确定各图案区域偏离的位置和尺寸的信息或转换式即可。另外，信息表2810、2820可以保存在同一存储器中，也可以分别将信息表2810保存在摄像模块102的内置存储器中、将信息表2820保存在条纹扫描处理部106的内置存储器中。
以上是水平位置偏离量测定处理。根据水平位置偏离量测定处理，摄像装置101即使在拍摄用图案的形成时和安装的工序时如图20所示的拍摄用图案的某一方中发生了位置偏离的情况下，也能够从投影图像2220中取得适当的位置的区域，所以可以得到噪声少的显影图像。
另外，上述附属存储器也可以不是摄像装置101内、而是摄像装置101的外部的存储器。另外，控制器108也可以省略步骤2201，由图像处理部107在步骤2203中对各图案区域的区域内(Xc，Yc)全部进行光栅扫描。
另外，步骤2203中使用一般的图像处理的方式检索特定的特征点或特定的形状，但也可以使用其他方法。例如，图像处理部107也可以使用作为模式匹配的一个方式使用的相位限定相关法，对拍摄用图案1300和投影图像2200分别进行傅立叶变换而生成相位图像，根据该相位图像计算相关函数，根据相关峰值的坐标检测出相对的位置偏离。
另外，图像处理部107也可以将图22的矩形区域2300设定为可以容纳中心圆的尺寸，计算出光栅扫描的矩形区域内的直方图，在中心圆的同色占80％以上的情况下判定为包括中心位置。
另外，步骤2205中选择的最小的矩形区域Smin(Xsmin，Ysmin)是Xsmin≤Xc、Ysmin≤Yc，所以存在最终得到的显影图像的尺寸变得过小的情况。于是，图像处理部107也可以为了使尺寸成为Xc、Yc而用规定值(例如0)填补不足的区域。
另外，步骤2207中保存的各信息，不限定于各图案区域的中心位置A1＇～A4＇和尺寸Smin(XSmin，YSmin)，例如也可以是各图案区域中的尺寸Smin的矩形区域的四角的位置信息。
在水平位置偏离量测定处理中取得了拍摄用图案的位置偏离的信息之后，如图24所示，能够使用保持的位置偏离信息，从各图案区域中容易地截取适当的区域。
图24是表示拍摄用图案的水平位置截取处理的处理流程的例子的图。水平位置截取处理在条纹扫描处理的步骤1401中开始。
控制器108判定是否保持了各图案区域的中心位置和最小尺寸的信息(步骤2501)。未保持的情况(步骤2501中“No”的情况)下，控制器108开始水平位置偏离量测定处理。具体而言，控制器108判定是否在摄像模块102、图像处理部107、控制器108的某一方中内置的存储器中保持了拍摄用图案1300的各图案区域的中心位置A1＇～A4＇和尺寸Smin(XSmin，YSmin)的关于位置偏离的信息。
保持了各图案区域的中心位置和最小尺寸的信息的情况(步骤2501中“Yes”的情况)下，控制器108读取各图案区域的中心位置和最小尺寸(步骤2502)。
然后，控制器108取得图像传感器上的投影图像(步骤2503)。具体而言，控制器108控制摄像模块102、图像处理部107，取得使拍摄用图案1300对图像传感器103投影的图像。
然后，图像处理部107从各图案区域的中心位置截取最小尺寸的区域(步骤2504)。具体而言，图像处理部107参考步骤2502中读取的位置偏离信息，从步骤2503中取得的投影图像中截取最小尺寸的区域。
以上是水平位置截取处理的流程。根据水平位置截取处理，能够从投影图像中无偏离地适当地截取与各图案区域对应的适当的区域。
【实施例4】
(空间分割条纹扫描的别的问题)
如上所述，在拍摄用图案的形成时和安装的工序时，或者实际使用本摄像装置的期间中，存在因为冲击和环境变化，如图25所示拍摄用图案1300与图像传感器103的面不再平行(即拍摄用图案1300中产生倾斜)的可能性。这样的情况下，用图像传感器103受光的图像，成为与拍摄用图案1300不同的形状(拍摄用图案1300是同心圆状的图案的情况下，例如成为椭圆状地畸变的图像等)，不再可以得到适当的显影图像。
(空间分割条纹扫描的解决之二)
为了解决上述问题，本实施例4中，使用使拍摄用图像1300对图像传感器103投影而取得的1张图像，检测各图案中是否发生了位置偏离。发生了位置偏离的情况下，在将上述1张投影图像分割为4张时，检索各图像的中心位置。然后，进行从各中心位置起以最佳的尺寸截取的处理。由此，在如图25所示的拍摄用图案1300与图像传感器103面不再平行的情况下，能够取得4张适当的投影图像。以下记载详情。
与实施例3同样，使用LED灯等点光源，准备如图17所示的无限远的拍摄环境。摄像装置101使用空间分割条纹扫描。另外，为了使说明变得容易，对于拍摄用图案1300相对于图像传感器103的面仅在Y轴方向上具有倾斜(旋转)的情况进行说明。另外，此后的处理，例如在用户操作摄像装置101中搭载的开关或按钮、或者经由无线LAN或USB等外部接口接收了位置调整请求的情况下，由摄像装置101的控制器108执行。
图26是表示倾斜量测定处理的处理流程的例子的图。倾斜量测定处理在摄像装置101的起动时或由用户指定的时机或校准的时机开始。
首先，控制器108读取没有位置偏离的情况下的各图案区域的中心圆的位置信息和尺寸、图案尺寸(步骤2601)。具体而言，控制器108从摄像模块102、条纹扫描处理部106、图像处理部107、控制部108的某一方中内置的存储器读取包括构成拍摄用图案1300的各图案区域的位置信息的各种信息。例如，控制器108读取图案1301的中心圆M1的位置A1(x1，y1)和尺寸(直径或半径)和配色(白)、图案1302的中心圆M2的位置A2(x2，y1)和尺寸和配色(黑)、图案1303的中心圆M3的位置A3(x1，y2)和尺寸和配色(黑)、图案1304的中心圆M4的位置A4(x2，y2)和尺寸和配色(白)、各图案区域的尺寸(Xc，Yc)。
接着，控制器108取得图像传感器上的投影图像(步骤2602)。具体而言，控制器108控制摄像模块102、条纹扫描处理部106、图像处理部107，取得使拍摄用图案1300对图像传感器103投影的图像。例如，取得投影图像2610。该情况下，投影图像2610是使拍摄用图案1300以Y轴为中心旋转的图像，图案是同心圆的情况下成为椭圆状的同心圆，投影的图像的宽度(X轴)与拍摄用图案1300的宽度相比变窄。
然后，控制器108从投影图像中检索各图案区域的中心圆，取得重心(步骤2603)。具体而言，控制器108控制图像处理部107，使用步骤2601中取得的关于各图案区域的中心圆的信息，在投影图像2610上确定该中心位置配置在规定的位置的任意尺寸的矩形区域，判定该矩形区域内是否包括与各图案区域的中心圆类似的形状。
图27是表示拍摄用图案内的各图案区域的倾斜的探索例的图。图像处理部107将图案1301的中心位置A1配置在中心，从投影图像2610上截取可以容纳中心圆全体的矩形区域2700，检索其中是否存在用于确定图案1301的中心圆的特征点或特定的形状(本实施例的情况下是椭圆形状))。检索中，例如图像处理部107使用圆形霍夫转换或模式匹配等图像处理方式检索圆或椭圆的形状。然后，图像处理部107提取出圆或椭圆状的对象的情况下，提取这些对象(D1～D4)的中心位置和尺寸(半径或直径)。椭圆的情况下，在中心位置之外，计算出长轴的长度、短轴的长度、相对于长轴的Y轴的XY平面上的旋转角。
另一方面，未能提取出要求的特征点或特定的形状的情况下，图像处理部107在规定的区域(例如最初的矩形区域2700的周围的区域2701)的范围内使矩形区域2700的位置移动同时进行光栅扫描。在规定的区域内不存在的情况下，控制器108判定该图案存在规定以上的位置偏离而不能正常使用，排除该图案地对其余图案进行中心圆的检索。
然后，图像处理部107使用各图案区域的设计上的中心圆和实际的中心圆的特征点计算出空间转换矩阵T(步骤2604)。具体而言，步骤2603中从投影图像2610中成功提取出相当于各图案区域的中心圆的对象(D1～D4)的情况下，控制器108控制图像处理部107，使用步骤2601中取得的将各图案区域的中心圆(M1～M4)与对象(D1～D4)关联的多个特征点的位置坐标，计算出空间转换矩阵T(或者转换式T)。空间转换矩阵T能够根据一般的图像处理中的空间与图像的几何关系计算，例如如果在仿射转换或射影转换中能够关联的特征点存在3个以上就能够用数学运算计算出空间转换矩阵T。另外，空间转换矩阵T可以按每个图案计算出多个(例如T1～T4)，也可以按图案整体计算出1个。
然后，图像处理部107取得对投影图像的全体用空间转换矩阵T转换后的图像(倾斜补正后的图像)(步骤2605)。具体而言，控制器108控制图像处理部107，使用步骤2604中取得的空间转换矩阵T，将步骤2602中取得的投影图像2610转换为没有倾斜的图像2620(即没有Y轴方向的旋转的状态、使椭圆成为圆的图像)。然后，代替水平位置偏离量测定处理的步骤2202的投影图像2220地使用没有倾斜的图像2620，实施与步骤2203之后的处理同样的处理，截取4张适当的矩形区域，实施使用了上述空间分割条纹扫描的条纹扫描运算。
然后，控制器108保持投影图像的中心圆的位置信息和空间转换矩阵T(步骤2606)。具体而言，控制器108将步骤2604中计算出的空间转换矩阵T、和相当于中心圆的对象(D1～D4)的位置信息保存在内置存储器中。
图29是表示倾斜量信息的结构例的图。信息2900包括保存了设计上的基准位置和尺寸(各图案区域的区域尺寸等)的信息表2910、和保存了用于根据各图案区域的实际的取得位置计算出本来的位置的空间转换矩阵T和截取的矩形区域的尺寸(Smin)的信息表2920地构成。信息表2920不仅包括泛焦拍摄时(从无限远拍摄的情况)的信息，也包括从有限远的任意的距离拍摄的情况下与该距离或距离区间相应的信息。另外，信息表和构成要素不限定于此，只要是能够确定各图案区域的偏离的位置和尺寸的信息或转换式即可。另外，信息表2910、2920可以保存在同一存储器中，也可以分别将信息表2910保存在摄像模块102的内置存储器中、将信息表2920保存在条纹扫描处理部106的内置存储器中。通过这样在内置存储器中保存，即使在拍摄用图案的某一方或全部中发生了倾斜的情况下，也能够从投影图像2220中取得抵消了倾斜的影响的区域，可以得到噪声少的显影图像。
以上是倾斜量测定处理。根据倾斜量测定处理，摄像装置101即使在拍摄用图案的形成时和安装的工序时或者计测应用中如图25所示的拍摄用图案的某一方中发生了倾斜的情况下，也能够通过使用保持的倾斜信息，从各图案区域中容易地截取适当的区域。
通过以上处理，在拍摄用图案相对于图像传感器的面不平行(具有倾斜)的情况下，也能够从投影图像中适当地截取与各图案区域对应的适当的区域。
【实施例5】
上述实施例2至实施例4中，记载了在从无限远的泛焦拍摄中、对实施空间分割条纹扫描时的XY平面上的(相对于图像传感器103的摄像元件的配置面平行的面上的)位置偏离或倾斜(从相对于图像传感器103的摄像元件的配置面平行的面的倾斜)进行补正的处理。
在实施例5中，记载在如图18所示的从有限远的拍摄中、对于并非平行光的入射光对摄像图像的位置偏离进行补正的处理。从有限远的点光源的拍摄中，拍摄用图案1300对图像传感器103的射影，如上所述被大致均匀地放大，其放大率能够用上式16计算。
因为拍摄用图案1300对图像传感器103的射影被放大，所以对于实施例3、4中记载的位置偏离信息当然也需要同样地放大。于是，预先对于到点光源的任意的每个距离，计算并保持适当地放大的位置偏离量，在拍摄时与到被摄体即点光源的距离相应地，使用适当放大的位置偏离量进行与上述同样的补正。由此，在从有限远的拍摄中也能够适当地对位置偏离或倾斜进行补正。
另外，本发明不限定于上述实施例，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的全部结构。
另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，也能够在某个实施例的结构上添加其他实施例的结构。
另外，对于各实施例的结构的一部分，能够追加、删除、置换其他结构。
另外，对于上述各结构、功能、处理部、处理单元等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，上述各结构、功能等，也可以通过处理器与实现各功能的程序相应地执行运算的软件控制实现。实现各功能的程序、表、文件等信息，能够保存在存储器、硬盘、SSD(Solid State Drive)等记录装置、或者IC卡、SD卡、DVD等记录介质中，在执行时读取至RAM(Random Access Memory)等中，由CPU(Central ProcessingUnit)等执行。
另外，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
另外，对于上述各结构、功能、处理部等，例如可以通过在分别的装置中执行并经由网络进行汇总处理等而用分布式系统实现其一部分或全部。
另外，上述实施方式的技术要素可以单独应用，也可以分为程序组件和硬件部件这样的多个部分地应用。

Claims (5)

1.一种摄像装置，其特征在于，包括：
调制器，其基于拍摄用图案对光的强度进行调制；
图像传感器，其将透过所述调制器后的光转换为电信号来生成传感器图像；
复传感器图像处理部，其从对于用所述拍摄用图案拍摄的所述传感器图像执行规定的位置对齐得到的图像，生成具有复数的复传感器图像；和
图像处理部，其基于所述复传感器图像和显影用图案的数据的运算将像复原，
所述拍摄用图案具有多个图案区域，
所述复传感器图像处理部，
确定检测出从所述规定的位置偏离了的所述图案区域的投影图像的与所述图像传感器的传感器面平行的面上的偏离量的信息并将其存储到存储部中，
使用所述偏离量的信息，对所述传感器图像执行规定的位置对齐，
并且对所述传感器图像使用所述偏离量的信息进行补正，
从按每个所述图案区域得到的投影图像中截取相互共通的范围的图像，
生成具有复数的复传感器图像。
2.如权利要求1所述的摄像装置，其特征在于：
所述拍摄用图案是包含相位不同的多个图案区域的第1拍摄用图案、或与时间经过相应地切换为相位不同的单一的图案区域的第2拍摄用图案，
所述摄像装置具有控制部，其进行所述第1拍摄用图案和所述第2拍摄用图案的切换。
3.一种摄像装置，其特征在于，包括：
调制器，其基于拍摄用图案对光的强度进行调制；
图像传感器，其将透过所述调制器后的光转换为电信号来生成传感器图像；
复传感器图像处理部，其从对于用所述拍摄用图案拍摄的所述传感器图像执行规定的位置对齐得到的图像，生成具有复数的复传感器图像；和
图像处理部，其基于所述复传感器图像和显影用图案的数据的运算将像复原，
所述拍摄用图案具有多个图案区域，
所述复传感器图像处理部，
基于与被摄体的距离，计算检测出从所述规定的位置偏离了的所述图案区域的投影图像的偏离量，并将其存储到存储部中，
使用所述偏离量的信息，根据与所述被摄体的距离对所述传感器图像执行位置对齐。
4.一种摄像装置，其特征在于，包括：
调制器，其基于由多个相位不同的图案区域构成的拍摄用图案对光的强度进行调制；
图像传感器，其将透过所述调制器后的光转换为电信号来生成传感器图像；
存储部，其存储位置对齐信息，该位置对齐信息用于对透过所述调制器投影到所述图像传感器上的所述图案区域的投影图像执行位置对齐；
复传感器图像处理部，其从对于用所述拍摄用图案拍摄的所述传感器图像执行规定的位置对齐得到的图像，生成具有复数的复传感器图像；和
图像处理部，其基于所述复传感器图像和显影用图案的数据的运算将像复原，
所述拍摄用图案具有多个图案区域，
所述复传感器图像处理部，
确定检测出从所述规定的位置偏离了的所述图案区域的投影图像的与所述图像传感器的传感器面平行的面上的偏离量的信息并将其存储到所述存储部中，
使用所述偏离量的信息，对所述传感器图像执行规定的位置对齐，
并且对所述传感器图像使用所述偏离量的信息进行补正，
从按每个所述图案区域得到的投影图像中截取相互共通的范围的图像，
生成具有复数的复传感器图像。
5.一种摄像方法，其特征在于，包括：
调制步骤，其基于拍摄用图案对光的强度进行调制；
图像生成步骤，其将所述调制步骤中调制后的光转换为电信号来生成传感器图像；
复传感器图像生成步骤，其根据对于用所述拍摄用图案拍摄的所述传感器图像执行规定的位置对齐得到的图像，生成具有复数的复传感器图像；和
图像处理步骤，其基于所述复传感器图像和显影用图案的数据的运算将像复原，
所述拍摄用图案具有多个图案区域，
在所述复传感器图像生成步骤中，
确定检测出从所述规定的位置偏离了的所述图案区域的投影图像的与图像传感器的传感器面平行的面上的偏离量的信息并将其存储到存储部中，
使用所述偏离量的信息，对所述传感器图像执行规定的位置对齐，
并且对所述传感器图像使用所述偏离量的信息进行补正，
从按每个所述图案区域得到的投影图像中截取相互共通的范围的图像，
生成具有复数的复传感器图像。
CN201910085244.7A 2018-03-27 2019-01-29 摄像装置，摄像模块和摄像方法 Active CN110324513B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018059189A JP6924163B2 (ja) 2018-03-27 2018-03-27 撮像装置、撮像モジュールおよび撮像方法
JP2018-059189 2018-03-27

Publications (2)

Publication Number Publication Date
CN110324513A CN110324513A (zh) 2019-10-11
CN110324513B true CN110324513B (zh) 2021-03-09

Family

ID=68055170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910085244.7A Active CN110324513B (zh) 2018-03-27 2019-01-29 摄像装置，摄像模块和摄像方法

Country Status (3)

Country Link
US (1) US10863120B2 (zh)
JP (1) JP6924163B2 (zh)
CN (1) CN110324513B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7065761B2 (ja) * 2018-12-26 2022-05-12 株式会社日立製作所 距離計測装置および距離計測方法
US11694323B2 (en) * 2020-04-23 2023-07-04 Camx Power Llc Image-based sensor for measuring rotational position of a rotating shaft
CN116965045A (zh) * 2022-01-18 2023-10-27 株式会社藤仓 成像装置、成像方法以及成像装置的制造方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4228420A (en) * 1978-09-14 1980-10-14 The United States Government As Represented By The United States Department Of Energy Mosaic of coded aperture arrays
US5606165A (en) * 1993-11-19 1997-02-25 Ail Systems Inc. Square anti-symmetric uniformly redundant array coded aperture imaging system
GB2434935A (en) * 2006-02-06 2007-08-08 Qinetiq Ltd Coded aperture imager using reference object to form decoding pattern
JP2009529681A (ja) * 2006-03-09 2009-08-20 テッサラエ、リミテッド、ライアビリティー、カンパニー マイクロアレイ撮像システムおよび関連した方法
CN100464152C (zh) * 2007-06-08 2009-02-25 东南大学 基于直线相位的光栅自校正方法
JP5702586B2 (ja) * 2010-02-04 2015-04-15 富士フイルム株式会社 放射線撮影システム
JP5513978B2 (ja) * 2010-05-14 2014-06-04 パナソニック株式会社 撮像装置、集積回路および画像処理方法
CN102890974B (zh) * 2012-10-16 2015-09-02 中国科学院高能物理研究所 编码孔径成像系统及其编码码板
DE112014002683B4 (de) * 2013-06-06 2024-04-18 Hamamatsu Photonics K.K. Justierverfahren für adaptives Optiksystem, adaptives Optiksystem und Speichermedium, das ein Programm für ein adaptives Optiksystem speichert
EP3226063A4 (en) * 2014-11-27 2018-07-25 Sony Corporation Optical device and display device
US10423002B2 (en) * 2015-06-17 2019-09-24 Maxell, Ltd. Imaging apparatus capable of generating an image using moire without a lens
US10764478B2 (en) * 2015-10-28 2020-09-01 Kyocera Corporation Camera module includes a lens unit that is fixed to a holding member having an image sensor via an engaging member of cured resin and manufacturing method thereof
JP6687414B2 (ja) 2016-02-18 2020-04-22 松谷化学工業株式会社 食物繊維高含有澱粉及びその製造方法
US10911643B2 (en) * 2016-02-26 2021-02-02 Hitachi, Ltd. Imaging device modulating intensity of light with grating pattern
EP3633973B1 (en) * 2017-06-01 2020-11-11 FUJIFILM Corporation Image processing device, imaging system, image processing method, and recording medium

Also Published As

Publication number Publication date
US10863120B2 (en) 2020-12-08
JP6924163B2 (ja) 2021-08-25
CN110324513A (zh) 2019-10-11
US20190306443A1 (en) 2019-10-03
JP2019176214A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
JP6685887B2 (ja) 撮像装置
CN107896292B (zh) 摄像装置和摄像方法
CN110324513B (zh) 摄像装置，摄像模块和摄像方法
JPWO2018055831A1 (ja) 撮像装置
US11743480B2 (en) Imaging apparatus and imaging system
CN109900249B (zh) 距离测量装置和距离测量方法
JP6646619B2 (ja) 撮像装置
JP7097787B2 (ja) 撮像装置および撮像方法
CN110198391B (zh) 摄像装置、摄像方法和图像处理装置
JP2023016864A (ja) 撮像装置および方法
JP6864604B2 (ja) 撮像装置
JP6807286B2 (ja) 撮像装置及び撮像方法
JP6770164B2 (ja) 撮像装置
JP2021007235A (ja) 携帯情報端末
CN110278350B (zh) 摄像装置
JP7159118B2 (ja) 撮像装置
JP6636663B2 (ja) 撮像装置及び画像生成方法
JP7137290B2 (ja) 撮像装置
JP2021005786A (ja) 撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置
JP2022180800A (ja) 撮像装置
JP2022087352A (ja) 画像表示装置
JP2020098963A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant