CN103109305A - 图像处理装置、摄像装置、程序和图像处理方法 - Google Patents

图像处理装置、摄像装置、程序和图像处理方法 Download PDF

Info

Publication number
CN103109305A
CN103109305A CN2011800257994A CN201180025799A CN103109305A CN 103109305 A CN103109305 A CN 103109305A CN 2011800257994 A CN2011800257994 A CN 2011800257994A CN 201180025799 A CN201180025799 A CN 201180025799A CN 103109305 A CN103109305 A CN 103109305A
Authority
CN
China
Prior art keywords
subjected
mentioned
value
light unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800257994A
Other languages
English (en)
Inventor
今出慎一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103109305A publication Critical patent/CN103109305A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • H04N1/3875—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

提供能以简单的处理从低分辨动态图像取得高分辨图像的图像处理装置、摄像装置、程序以及图像处理方法等。图像处理装置包括存储部、插值处理部、推定运算部、图像输出部。读出受光单位的受光值(a-2，-2～a22)而取得低分辨帧图像。存储部存储该低分辨帧图像。插值处理部通过基于受光值(a-2，-2～a22)的插值处理求出假想受光单位的受光值(a10、a01、a11)。推定运算部根据受光单位的受光值(a00)和假想受光单位的受光值(a10、a01、a11)，推定与低分辨帧图像相比像素间距小的推定像素值。图像输出部根据该推定像素值输出分辨率比低分辨帧图像高的高分辨帧图像。

Description

图像处理装置、摄像装置、程序和图像处理方法
技术领域
本发明涉及图像处理装置、摄像装置、程序和图像处理方法等。
背景技术
如今，有的数码相机、摄像机能切换使用静止图像拍摄方式和动态图像拍摄方式。例如，在动态图像拍摄中用户通过进行按钮操作，能拍摄分辨率比动态图像高的静止图像。
现有技术文献
专利文献
专利文献1：特开2009-124621号公报
专利文献2：特开2008-243037号公报
发明内容
发明要解决的课题
然而，在切换静止图像拍摄方式和动态图像拍摄方式的方法中，存在当用户注意到是快门时机时往往已经错过了决定性的瞬间的课题。
为了实现这种决定性的瞬间的拍摄，本发明人考虑从低分辨动态图像生成任意定时的高分辨静止图像。例如专利文献1、2中公开了从通过像素移位取得的低分辨图像合成高分辨图像的方法。然而，根据该方法，需要利用像素移位的摄像，因此，相机的构成变得复杂。另外，存在高分辨化处理负荷增大、有时难以推定像素值的课题。
根据本发明的几个实施方式，能提供能以简单处理从低分辨动态图像取得高分辨图像的图像处理装置、摄像装置、程序和图像处理方法等。
用于解决课题的方案
本发明的一个实施方式涉及一种图像处理装置，包括：存储部，其在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值而取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像；插值处理部，其通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定；推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
根据本发明的一个实施方式，假想受光单位的受光值通过以受光单位的受光值为基础的插值处理来求出。根据该假想受光单位的受光值和受光单位的受光值，推定与低分辨帧图像的像素间距相比像素间距小的推定像素值。并且，根据该推定像素值，输出分辨率比低分辨帧图像高的高分辨帧图像。由此，能以简单的处理从低分辨动态图像取得高分辨图像等。
另外，在本发明的一个实施方式中也可以是，上述推定运算部求出第1受光单位与第2受光单位的差分值，根据上述差分值来推定上述推定像素值，其中，上述第1受光单位是设定于第1方位的上述受光单位或上述假想受光单位中的任一个，上述第2受光单位是设定于与上述第1受光单位重叠的第2方位的上述假想受光单位。
这样，根据第1受光单位的受光值与第2受光单位的受光值的差分值来推定出推定像素值，由此能根据受光单位的受光值和假想受光单位的受光值来推定出推定像素值。
另外，在本发明的一个实施方式中也可以是，上述推定运算部用上述差分值表示从上述第1受光单位除去重叠区域后的第1受光区域的受光值即第1中间像素值与从上述第2受光单位除去上述重叠区域后的第2受光区域的受光值即第2中间像素值之间的关系式，上述推定运算部用上述关系式推定上述第1中间像素值、第2中间像素值，用推定出的上述第1中间像素值来求出上述推定像素值。
这样，第1中间像素值、第2中间像素值之间的关系式由上述差分值表示，根据该关系式来推定第1中间像素值、第2中间像素值，根据该第1中间像素值来推定出推定像素值。由此，能根据第1受光单位的受光值与第2受光单位的受光值的差分值来推定出推定像素值。
另外，在本发明的一个实施方式中也可以是，上述推定运算部在将包含上述第1中间像素值、第2中间像素值的连续的中间像素值设为中间像素值模式的情况下，用上述受光单位的受光值和上述假想受光单位的受光值来表示上述中间像素值模式所包含的中间像素值之间的关系式，上述推定运算部对用上述关系式表示的上述中间像素值模式与用上述受光单位的受光值及上述假想受光单位的受光值表示的受光值模式进行比较来评价类似性，上述推定运算部根据上述类似性的评价结果，以使上述类似性为最高的方式决定上述中间像素值模式所包含的中间像素值。
这样，评价中间像素值模式和受光值模式的类似性，以该类似性为最高的方式决定中间像素值模式所包含的中间像素值，由此能根据中间像素值间的关系式来决定中间像素值。
另外，在本发明的一个实施方式中也可以是，上述推定运算部求出表示用上述关系式所表示的上述中间像素值模式与上述受光值模式之间的误差的评价函数，以上述评价函数的值为最小的方式决定上述中间像素值模式所包含的中间像素值。
这样，求出评价函数，由此能评价中间像素值模式和受光值模式的类似性。另外，以评价函数的值为最小的方式决定中间像素值，由此能以类似性为最高的方式决定中间像素值。
另外，在本发明的一个实施方式中也可以是，上述插值处理部将上述低分辨帧图像所包含的上述受光单位的受光值中的、上述假想受光单位的周边的多个受光单位的受光值进行加权相加来求出上述假想受光单位的受光值。
这样，能通过低分辨帧图像的以受光单位的受光值为基础的插值处理来求出假想受光单位的受光值。
另外，在本发明的一个实施方式中也可以是，在按上述摄像元件的每多个像素设定上述受光单位的情况下，将上述受光单位的各像素值相加而作为上述受光单位的受光值来读出，上述推定运算部根据通过相加读出得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。
这样，能根据通过相加读出得到的受光单位的受光值来推定该受光单位的各像素的像素值。
另外，在本发明的一个实施方式中也可以是，在按上述摄像元件的每多个像素设定上述受光单位的情况下，将上述受光单位的各像素值加权相加作为上述受光单位的受光值来读出，上述推定运算部根据通过加权相加读出得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。
这样，能根据通过加权相加读出得到的受光单位的受光值来推定该受光单位的各像素的像素值。
另外，在本发明的一个实施方式中也可以是，上述摄像元件是彩色摄像元件，将相邻的多个像素不依赖于像素的颜色地设定为上述受光单位，将设定为上述受光单位的上述多个像素的像素值相加而读出，取得上述低分辨率帧图像，上述推定运算部根据上述低分辨率帧图像的上述受光单位的受光值和来自上述插值处理部的上述假想受光单位的受光值来推定上述受光单位的各像素的像素值，上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。
另外，在本发明的一个实施方式中也可以是，上述摄像元件是彩色摄像元件，将相同颜色的多个像素设定为上述受光单位，将设定为上述受光单位的上述多个像素的像素值相加而读出，取得上述低分辨率帧图像，上述推定运算部根据上述低分辨率帧图像的上述受光单位的受光值和来自上述插值处理部的上述假想受光单位的受光值来推定上述受光单位的各像素的像素值，上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。
根据该本发明的一个实施方式，能从由彩色摄像元件取得的低分辨帧图像来推定出推定像素值，输出彩色的高分辨帧图像。
另外，在本发明的一个实施方式中也可以是，在将上述受光单位按N×N像素设定，将上述N×N像素的像素值相加而读出，取得N×N像素的受光单位的受光值的情况下，上述插值处理部通过插值处理求出将上述N×N像素的受光单位进行了N/2像素移位后得到的N×N像素的假想受光单位的受光值，上述推定运算部根据上述N×N像素的受光单位的受光值和上述N×N像素的假想受光单位的受光值，推定N/2×N/2像素的受光单位的受光值，上述插值处理部通过插值处理求出将上述N/2×N/2像素的受光单位进行了N/4像素移位后得到的N/2×N/2像素的假想相加像素的像素值，上述推定运算部根据上述N/2×N/2像素的受光单位的受光值和上述N/2×N/2像素的假想受光单位的受光值，推定N/4×N/4像素的受光单位的受光值。
这样，能从N×N像素的受光单位的受光值推定N/2×N/2像素的受光单位的受光值，从该N/2×N/2像素的受光单位的受光值推定N/4×N/4像素的受光单位的受光值。由此，能依次重复进行推定处理来推定出推定像素值。
另外，在本发明的一个实施方式中也可以是，在按各帧进行将上述受光单位一边重叠一边进行移位的像素移位，通过上述像素移位将上述受光单位依次设定于多个方位，按每多个帧将上述受光单位设定在相同的方位的情况下，上述插值处理部根据由上述各帧取得的上述低分辨帧图像，在上述各帧中通过插值处理求出上述假想受光单位的受光值，上述推定运算部根据上述受光单位的受光值和上述假想受光单位的受光值，在上述各帧中推定上述推定像素值，上述图像输出部根据上述推定像素值来求出上述各帧的帧图像，将上述多个帧的上述帧图像合成来输出上述高分辨帧图像。
这样，根据在各帧中进行像素移位的受光单位的受光值，在各帧中推定出推定像素值来求出帧图像，将该多个帧图像合成后输出高分辨帧图像。
另外，在本发明的一个实施方式中也可以是，上述图像输出部将上述高分辨帧图像进行分辨率变换而作为高清动态图像来输出，或将上述高分辨帧图像作为高分辨静止图像来输出。
这样，能根据高分辨帧图像来输出高清动态图像或高分辨静止图像。
另外，本发明的其它实施方式涉及一种摄像装置，包括：摄像元件；读出控制部，其将作为取得受光值的单位的受光单位设定于上述摄像元件，读出上述受光单位的受光值，取得低分辨帧图像；存储部，其存储由上述读出控制部取得的上述低分辨帧图像；插值处理部，其通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定；推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
另外，在本发明的其它的实施方式中也可以是，包括：显示部和进行在上述显示部显示图像的控制的显示控制部，上述图像输出部将上述高分辨帧图像进行分辨率变换而作为高清动态图像来输出，或将上述高分辨帧图像作为高分辨静止图像来输出，上述显示控制部对显示由上述低分辨帧图像得到的动态图像进行控制、对显示上述高清动态图像进行控制以及对显示上述高分辨静止图像进行控制。
另外，本发明的其它实施方式涉及一种程序，使计算机作为如下装置发挥功能：存储部，在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值，取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像；插值处理部，通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定；推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
另外，本发明的其它实施方式涉及一种图像处理方法，在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值，取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像，通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定，根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值，根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
附图说明
图1是受光值的插值方法的说明图。
图2(A)、图2(B)是推定处理块和受光单位的说明图。
图3(A)、图3(B)是推定像素值和中间像素值的说明图。
图4是推定像素值的第1推定方法的说明图。
图5是推定像素值的第1推定方法的说明图。
图6是推定像素值的第1推定方法的说明图。
图7(A)、图7(B)是中间像素值和推定像素值的说明图。
图8是推定像素值的第1推定方法的说明图。
图9是推定像素值的第1推定方法的说明图。
图10是推定像素值的第1推定方法的说明图。
图11是摄像装置和图像处理装置的第1构成例。
图12是动态图像拍摄中的插值方法的说明图。
]图13是推定像素值的第2推定方法的说明图。
图14(A)、图14(B)是推定像素值的第3推定方法的说明图。
图15是推定像素值的第3推定方法的说明图。
图16是推定像素值的第3推定方法的说明图。
图17(A)、图17(B)是推定像素值的第3推定方法的说明图。
图18是数据压缩扩展和推定处理方法的说明图。
图19是数据压缩扩展和推定处理方法的说明图。
图20是摄像装置和图像处理装置的第2构成例。
图21是推定像素值的第4推定方法的说明图。
图22(A)、图22(B)是推定像素值的第4推定方法的说明图。
图23是推定像素值的第4推定方法的说明图。
图24是推定像素值的第4推定方法的说明图。
图25是推定像素值的第4推定方法的说明图。
图26是推定像素值的第4推定方法的说明图。
图27是推定像素值的第4推定方法的说明图。
图28是推定像素值的第4推定方法的说明图。
图29是推定像素值的第5推定方法的流程图。
图30是推定像素值的第6推定方法的说明图。
图31是推定像素值的第6推定方法的流程图。
图32(A)、图32(B)是推定像素值的第7推定方法的说明图。
图33是摄像装置和图像处理装置的第3构成例。
具体实施方式
下面详细说明本发明的优选实施方式。此外，以下说明的本实施方式并非对权利要求中记载的本发明的内容进行不当限定，在本实施方式中说明的构成未必都是本发明的解决方案所必须的。
1.比较例
首先说明本实施方式的比较例。在数码相机、摄像机的产品中，有些以静止图像拍摄为主的数码相机带有动态图像拍摄功能，有些以动态图像拍摄为主的摄像机带有静止图像拍摄功能。这些相机多是切换使用静止图像拍摄方式和动态图像拍摄方式。其中，存在能以伴随动态图像拍摄的高帧速率拍摄高精细静止图像的产品，它能进行短时间的高速连拍。若使用这种器材，则具有能用一个器材来进行静止图像和动态图像的拍摄的便利性。
然而，在这些方法中，存在难以不会错过很多人所追求的快门时机地得到高质量的静止图像的课题。例如，在动态图像拍摄中瞬时切换为拍摄高质量静止图像的方式的方法中，存在动态图像被中断，在用户注意到时已经错过了决定性的瞬间的课题。这样，在现有的方法中要求拍摄者具有相当的技巧，因此，要求例如能一边拍摄动态图像，一边将其中任意图像生成为高精细图像，或者随意地拍摄后，能从其中不降低分辨率地提取高精细图像并选择所期望的构图。
为了解决不错过这样的快门时机的课题，可考虑通过动态图像拍摄来无遗漏地拍摄全部场景，从其中自由得到决定性的瞬间作为高质量的静止图像的方法。为了实现该方法，需要能以高帧速率拍摄高精细图像。
然而，该方法的实现并不容易。例如，为了以60fps(fps：帧/秒)连续拍摄1200万像素的图像，需要能进行超高速摄像的摄像元件、对摄像数据进行超高速处理的处理电路、超高速数据压缩处理功能、记录庞大数据的记录单元。为此，需要使用多个摄像元件、并行处理、大规模存储器、高能力散热机构等，在追求小型化、低成本的民用器材中并不现实。如果不是动态图像拍摄的高清(200万像素)程度的分辨率的高质量的静止图像，虽然能实现，但是作为高清程度的分辨率的静止图像是不充分的。
另外，作为进行高帧速率的动态图像拍摄的方法，可考虑如下方法：使用能用多像素拍摄高精细图像的高像素图像传感器，通过像素的间拔读出或者相邻像素的相加读出来进行低分辨图像化，通过减少1次读出数据来实现。然而，在该方法中，无法以高帧速率拍摄高精细图像。
为了解决该课题，需要从以高帧速率拍摄到的低分辨图像得到高分辨图像。作为从低分辨图像得到高分辨图像的方法，可考虑如下方法：例如对通过像素移位而拍摄到的低分辨图像进行所谓超分辨处理来生成高分辨图像。
然而，在该方法中，需要使传感器机械地移位，或者一边移位一边进行相加读出，因此，相机的构成变得复杂。另外，需要超分辨处理，因此处理负荷变大。
例如，作为利用像素移位的超分辨处理，可考虑使用相加读出的方法。即，将低分辨图像依次进行位置偏移并且读出后，根据该多个位置偏移图像来暂时假定高精细化图像。然后，使假定的图像劣化来生成低分辨图像，将其与原来的低分辨图像进行比较，以其差异最小的方式使高精细图像变形，推定高精细图像。作为该超分辨处理，已知ML(Maximum-Likelihood：最大似然)法、MAP(Maximum A Posterior：最大后验概率)法、POCS(Projection OntoConvex Set：凸集投影)法、IBP(Iterative Back Projection：迭代反投影)法等。
作为使用该超分辨处理的方法，有例如上述专利文献1公开的方法。在该方法中，在动态图像拍摄时按时间序列依次拍摄进行了像素移位的低分辨图像，将该多个低分辨图像合成来假定高分辨图像。然后，对该假定的高分辨图像实施上述超分辨处理，推定似然高的高分辨图像。
然而，在这些方法中，使用通过多使用二维滤波的反复运算来提高推定精度的一般超分辨处理。因此，存在处理的规模非常大，处理时间增加，难以应用于处理能力、成本受限的器材的课题。例如，当用于数码相机这种小型便携摄像装置时，出现处理电路的规模会变大、消耗电力增大、产生大量的热、成本大幅度增加等课题。
另外，在上述专利文献2中公开了用进行了像素移位的多个低分辨图像来生成高分辨图像的方法。在该方法中，使构成想求出的高分辨图像的假像素为副像素，以该副像素的平均值与拍摄到的低分辨图像的像素值一致的方式推定副像素的像素值。在该像素值的推定中，设定多个副像素的初始值，从低分辨图像的像素值减去除了想算出的副像素以外的副像素的像素值来求出像素值，将其应用于依次相邻的像素。
然而，在该方法中，存在如果初始值的确定不好则推定误差会非常大的课题。在该方法中，为了设定初始值，从图像找出副像素的像素值变化小、涵盖它们的低分辨像素值大致等于它们的平均值的部分。因此，当无法从拍摄图像找到适于初始值的设定的部分时，就难以进行初始值的推定。另外，也会需要探索适于初始值的设定的部分的处理。
2.受光值的插值方法
因此，在本实施方式中，通过摄像来取得低分辨帧图像，根据该低分辨帧图像通过插值处理假想地求出进行了像素移位的低分辨帧图像，用简单的推定处理从这些图像推定高分辨帧图像。
首先，用图1说明通过插值处理求出进行了像素移位的低分辨帧图像的方法。此外，下面将通过摄像取得的受光值(像素值)称为受光单位(受光值取得单位)的受光值，将通过插值处理求出的受光值称为假想受光单位(插值受光单位)的受光值。另外，下面以受光单位的受光值是4像素相加值的情况为例进行说明，但在本实施方式中，不限于该情况，例如也可以是1像素的像素值、9像素相加值。
如图1所示，通过摄像取得构成低分辨帧图像的受光单位的受光值a-2，-2、a0，-2、…、a22(用实线的方形示出)。具体地说，按摄像元件的每4像素(1像素或多个像素)设定受光单位，将该受光单位所包含的像素的像素值相加或者加权相加而读出，取得受光值。当将摄像元件的像素间距设为p时，受光单位的间距是2p。
然后，通过帧内的插值处理从该低分辨帧图像求出3个进行了重叠移位的低分辨帧图像(以下，称为移位图像)。具体地说，求出相对于低分辨帧图像在水平方向移位了间距p的第1移位图像、在垂直方向移位了间距p的第2移位图像、在水平方向和垂直方向移位了间距p的第3移位图像。这些移位量与假定实际上进行了移位摄像时的摄像元件上的移位量对应。
例如，如图1所示，接近已取得的受光值a00的3个假想受光单位的受光值a10、a01、a11(用虚线的方形示出)分别是构成第1移位图像～第3移位图像的受光值。假想受光单位设定为与受光单位相同的像素数的4像素。该受光值a10、a01、a11从假想受光单位的周边的受光值来推定。例如如下式(1)所示，受光值a10、a01、a11的推定值是通过对所接近的受光单位的受光值乘以加权系数w0、w1、w2进行插值推定来求出。
a00＝(已知的取得值)，
a10＝(w1·a0，-2+w1·a2，-2)
      +(w0·a00+w0·a20)
      +(w1·a02+w1·a22)，
a01＝(w1·a-2，0+w1·a-2，2)
      +(w0·a00+w0·a02)
      +(w1·a20+w1·a22)，
a11＝(w2·a00+w2·a20+w2·a02+w2·a22)
…(1)
此外，在本实施方式中，不限于上述的插值处理，能使用各种插值处理的方法。例如，加权系数w0、w1、w2可以使用现有的贝尔插值方法、像素缺陷补正方法等想法来设定。另外，也可以针对多个高分辨图像样本，改变加权系数w0、w1、w2，实施上式(1)的处理来生成高分辨推定图像，预先求出图像样本和推定图像的像素值的误差的合计为最小的加权系数w0、w1、w2，在推定时使用。
3.推定像素值的第1推定方法
下面用图2(A)～图10说明从低分辨帧图像推定高分辨帧图像的方法。在本实施方式中，使用如上所述由相互按像素间距p进行了重叠移位的4像素相加值构成的4个低分辨帧图像来推定具有4倍像素数的高分辨帧图像。
首先，图2(A)、图2(B)示出用于像素推定的推定处理块和受光单位的示意性说明图。在图2(A)、图2(B)中，用实线的方形示出通过推定处理求出的推定像素，用i示出水平方向(水平扫描方向)的像素位置，用j示出垂直方向的像素位置(i、j为整数)。
如图2(A)所示，设定以m×n像素为1块的推定处理块Bk00、Bk10、…。在本实施方式中，按每个该推定处理块来进行高分辨帧图像的像素值的推定处理。图2(B)示意性地示出上述推定处理块中的1个。图2(B)所示的受光值a00～a(m-1)(n-1)包括：通过摄像取得的低分辨帧图像的受光值和通过插值处理求出的第1移位图像～第3移位图像的受光值。
下面用图3(A)～图10说明本实施方式的像素推定方法。以下为了简化说明，以按每2×2像素设定推定处理块，从1个受光单位的受光值a00和3个假想受光单位的受光值a10、a01、a11进行推定的情况为例进行说明。
图3(A)、图3(B)示出推定像素值和中间像素值的说明图。如图3(A)所示，用受光值a00～a11来最终推定出推定像素值v00～v22。即，从包括像素间距为2p的受光单位的低分辨图像推定分辨率(像素数)与像素间距为p的摄像元件相同的高分辨图像。
此时，如图3(B)所示，从受光值a00～a11推定中间像素值b00～b21(中间推定像素值，2像素相加值)，从该中间像素值b00～b21推定像素值v00～v22。以图4示出的水平方向的最初的行的中间像素值b00～b20为例说明该中间像素值的推定方法。此外，在此对在水平方向进行高分辨化来求出中间像素的情况进行说明，但在本实施方式中也可以在垂直方向进行高分辨化来求出中间像素。
如图4所示，在受光值与中间像素值之间，下式(2)的关系成立。
a00＝b00+b10，
a10＝b10+b20    …(2)
设b00为未知数(初始变量，初始值)对上式(2)进行变形，则如下式(3)所示，能将中间像素值b10、b20表示为b00的函数。
b00＝(未知数)，
b10＝a00-b00，
b20＝b00+δi0＝b00+(a10-a00)
                                …(3)
在此，如下式(4)所示，δi0是隔开1个移位的受光值的差分值，与中间像素值b20、b00的差分值对应。
δi0＝a10-a00
    ＝(b10+b20)-(b00+b10)
    ＝b20-b00        …(4)
这样，能求出以b00为未知数的高精细的中间像素值{b00，b10，b20}的组合模式。为了决定表示为该b00的函数的中间像素值的绝对值(值，数值)，需要求出未知数b00。
如图5所示，在本实施方式中，将受光值的模式{a00，a10}与中间像素值的模式{b00，b10，b20}进行比较。然后，导出其误差最小的未知数b00，将导出的未知数b00设定为最终的中间像素值b00。具体地说，如下式(5)所示，用未知数b00的函数表示误差的评价函数Ej。然后，如图6所示，探索性地求出使评价函数Ej为最小(极小值)的未知数b00＝α(初始值)(最小二乘法)。
[数学式1]
e ij = ( a ij 2 - b ij ) 2 + ( a ij 2 - b ( i + 1 ) j ) 2 ,
Ej = Σ i = 0 1 e ij · · · ( 5 )
如上式(5)所示，在本实施方式中，进行中间像素值的平均值与具有低频成分的模式{a00，a10}的误差评价。由此，能抑制导出包含大量高频成分的模式作为中间像素值{b00，b10，b20}的推定解的情况。即，假设未知数的推定不正确，也会生成包含大量低频成分的图像。因此，能抑制生成在比低频成分更容易增强不自然感的高频成分中包含错误的模式，作为图像不会看起来有失自然。由此，能对高频成分比低频成分小的自然图像进行合理的像素推定。
这样，推定中间像素值b00的值，将推定出的b00的值代入上式(3)来决定中间像素值b10、b20的值。然后，同样将b01作为未知数来推定第2行中间像素值b01～b21。
下面说明用推定出的中间像素值bij求出最终的推定像素值vij的方法。图7(A)、图7(B)示意性地示出中间像素值和推定像素值的说明图。如图7(A)所示，用由上述方法推定出的3列中间像素值b00～b21中的2列中间像素值b00～b11来进行推定。如图7(B)所示，从中间像素值b00～b11推定像素值v00～v12。下面为了简化说明，以图8示出的第1列像素值v00～v02为例进行说明。
像素值v00～v02的推定用与上述中间像素值的推定方法同样的方法进行。具体地说，中间像素值b00、b01与使像素值v00～v02在垂直方向上以2像素为单位分别移位1像素地重叠采样的值等价。因此，在中间像素值与推定像素值之间，下式(6)的关系成立。
b00＝v00+v01，
b01＝v01+v02    …(6)
如下式(7)所示，能将像素值v01、v02表示为未知数v00的函数。
v00＝(未知数)，
v01＝b00-v00，
v02＝v00+δj0＝v00+(b01-b00)
            …(7)
在此，如下式(8)所示，δj0为隔开1个移位的中间像素值的差分值，与像素值v02、v00的差分值对应。
δi0＝b01-b00
    ＝(v01+v02)-(v00+v01)
    ＝v02-v00…(8)
如图9所示，导出使中间像素值的模式{b00，b10}与推定像素值的模式{v00，v01，v02}的误差为最小的未知数v00。即，如下式(9)所示，用评价函数Ei表示误差，如图10所示，探索性地求出使该评价函数Ei最小的未知数v00＝β。
[数学式2]
e ij = ( b ij 2 - v ij ) 2 + ( b ij 2 - v i ( j + 1 ) ) 2 ,
Ei = Σ j = 0 1 e ij · · · ( 9 )
然后，通过同样的处理求出第2列像素值v10～v12，决定最终的推定像素值v00、v01、v10、v11。此外，在本实施方式中，也可以对由最终推定像素值构成的图像数据实施适当的降噪处理来将其作为显示图像。另外，在本实施方式中，当然也可以是如下方法：对于最终推定像素值v00、v01、v10、v11，不考虑一次性求出4个值，而是以推定处理块为单位，例如仅采用v00的1像素作为最终推定像素值，一边在水平或者垂直方向上使推定处理块单位错开一边每次1像素地依次求出最终推定像素值。
在此，在上述实施方式中，说明了探索性地求出未知数b00、v00的情况，但是在本实施方式中，也可以直接求出未知数b00、v00。即，上式(5)示出的误差Ej的式是b00的2次函数式，因此能变形为下式(10)的形式。因此，能直接求出使Ej最小的b00的最小值α。也同样能求出v00的最小值β。
Ej＝(b00-α)2+ξ…(10)
总之，如上所述，在切换静止图像拍摄方式和动态图像拍摄方式的方法中，存在用户难以捕捉决定性的瞬间的课题。另外，在通过超分辨处理进行高分辨化的方法中，存在大负荷的处理导致处理电路的规模增大等课题。另外，在使用像素移位的方法中，存在需要进行光学系统的机械性移位、移位读出，因此相机的构成变得复杂的课题。
关于这一点，根据本实施方式，如图1所示，将作为取得受光值a-2，-2、a0，-2、…、a22的单位的受光单位设定于摄像元件(例如，图11所示的摄像元件120)，读出该受光单位的受光值a-2，-2、a0，-2、…、a22，取得低分辨帧图像。将该低分辨帧图像存储于存储部(图11所示的数据记录部140)。然后，插值处理部(插值处理部200)通过以受光单位的受光值a-2，-2、a0，-2、…、a22为基础的插值处理来求出假想受光单位的受光值a10、a01、a11，上述假想受光单位在从受光单位a00的方位移位后的方位与受光单位a00重叠地设定。如图3(A)等所示，推定运算部(像素值推定运算部210)根据受光单位的受光值a00和假想受光单位的受光值a10、a01、a11，推定比低分辨帧图像的像素间距2p小的像素间距p的推定像素值v00～v11。图像输出部(图像输出部300)根据该推定像素值v00～v11输出分辨率比低分辨帧图像高的高分辨帧图像。
在此，受光单位的方位是指在摄像元件的受光面上的受光单位的位置、坐标，或者在推定处理中的推定像素值数据(图像数据)上的受光单位的位置、坐标。另外，移位后的方位是指与原来的方位相比位置、坐标不一致的方位。另外，重叠是指具有受光单位与假想受光单位重叠的区域，例如如图3(A)所示，是受光单位a00和假想受光单位a10共有2个推定像素v10、v11。
由此，能通过简单的处理从动态图像取得高分辨图像、不进行像素移位地进行图像的高分辨化。例如，能用上述中间像素值的推定来简化推定处理。另外，对于高分辨静止图像而言，由于能事后生成任意定时的低分辨动态图像，因此用户能容易得到决定性的瞬间的高分辨静止图像。另外，在拍摄时通过取得低分辨动态图像(例如3兆像素)来以高帧速率进行拍摄，能根据需要显示高分辨静止图像(12兆像素)等。
另外，如图3(A)所示，推定运算部求出设定于第1方位的第1受光单位a00与设定于与第1受光单位重叠的第2方位的第2受光单位a10的差分值δi0＝a10-a00。然后，推定运算部根据该差分值δi0，推定出推定像素值v00～v11(推定块内的推定像素值)。此外，第1受光单位只要是受光单位或假想受光单位中的任一个即可。即，第1受光单位、第2受光单位可以是受光单位和假想受光单位，也可以是假想受光单位和假想受光单位。
这样，根据重叠的受光单位的受光值a10、a00的差分值δi0来推定出推定像素值v00～v11，由此能以简单的处理进行高分辨化。
更具体地说，如图3(A)、图3(B)所示，第1中间像素值b00是从第1受光单位a00除去重叠区域(包括推定像素v10、v11的区域)后的第1受光区域(包括推定像素v00、v01的区域)的受光值。第2中间像素值b20是从第2受光单位a10除去重叠区域后的第1受光区域(包括推定像素v20、v21的区域)的受光值。如上式(3)所示，推定运算部用差分值δi0表示第1中间像素值b00与第2中间像素值b20的关系式，用该关系式推定第1中间像素值b00、b20、第2中间像素值b00、b20。然后，如图7(A)、图7(B)所示，推定运算部用第1中间像素值b00求出推定像素值v00～v11。
这样，从重叠移位后的受光值暂时推定中间像素值，从该重叠移位后的中间像素值求出推定像素值，由此能简化高分辨图像的推定处理。例如，与上述比较例相比，不需要二维滤波的反复运算(专利文献1)、探索适于初始值设定的部分(专利文献2)等复杂的处理。
另外，在本实施方式中，如图3(B)所示，将包含第1中间像素值b00、b20、第2中间像素值b00、b20的连续的中间像素值{b00、b10、b20}设为中间像素值模式。此时，如上式(3)所示，推定运算部用受光值a00、a10来表示中间像素值模式{b00、b10、b20}所包含的中间像素值间的关系式。然后，如图5所示，推定运算部将用关系式表示的中间像素值模式{b00、b10、b20}与用受光值a00、a10表示的受光值模式{a00、a10}进行比较来评价类似性，根据该类似性的评价结果，以类似性最高的方式决定中间像素值模式所包含的中间像素值b00～b20。
在此，中间像素值模式是指推定处理所用的范围的中间像素值的数据列(数据组)。另外，受光值模式是指推定处理所用的范围的受光值的数据列，是包括受光单位的受光值和假想受光单位的受光值的数据列。
这样，能根据受光单位的受光值a00和对受光单位的受光值进行插值处理所求出的假想受光单位的受光值a10来推定中间像素值b00～b20。另外，对中间像素值模式{b00、b10、b20}和受光值模式{a00、a10}进行比较，由此能推定与受光值模式类似的高精细中间像素值模式。
另外，如上式(5)所示，推定运算部求出表示中间像素值模式{b00、b10、b20}和受光值模式{a00、a10}的误差的评价函数Ej，求出评价函数Ej的值最小的未知数b00＝α(初始值)，通过求出的b00决定中间像素值b00～b20。
这样，用评价函数表示误差，求出与该评价函数的极小值对应的中间像素值，由此能推定中间像素值的值。例如，如上所述，用最小二乗法求出未知数，由此能以简单的处理来设定中间像素推定的初始值。即，与上述比较例(专利文献2)相比，无需适合初始值设定的图像部分的探索。
另外，如图1所示，插值处理部对低分辨帧图像所包含的受光单位的受光值a-2，-2、a0，-2、…、a22中的、假想受光单位的周边的多个受光单位的受光值进行加权相加，求出假想受光单位的受光值a10、a01、a11。
在此，假想受光单位的周边的受光单位是指至少与假想受光单位重叠的受光单位，例如，与假想受光单位a10重叠的受光单位a00、a20。或者是指与假想受光单位重叠的受光单位和与该受光单位相邻的受光单位，例如，与假想受光单位a10重叠的受光单位a00、a20和与受光单位a00、a20相邻的受光单位a0，-2、a2，-2、a02、a22。
这样，能通过以受光单位的受光值a-2，-2、a0，-2、…、a22为基础的插值处理来求出与受光单位a00重叠地设定的假想受光单位的受光值a10、a01、a11。
4.摄像装置和图像处理装置的第1构成例
图11示出使用上述插值处理、推定处理的摄像装置和图像处理装置的第1构成例。该摄像装置10包括：摄像光学系统100(透镜)、光学低通滤波器110(宽带通过光学低通滤波器)、摄像元件120(摄像处理部)、像素相加处理部130(读出控制部)、数据记录部140(存储部)、显示处理部150(显示控制部)、监视器显示部160(显示装置)。图像处理装置20包括：插值处理部200(重叠移位像素相加低分辨图像插值算出部)、像素值推定运算部210(高分辨图像像素值推定运算部、推定处理部)、图像输出部300。
此外，本实施方式的摄像装置和图像处理装置不限于该构成，可以实施省略该构成要素的一部分或者追加其它的构成要素等各种变形。另外，在图11中，图示图像处理装置20设于摄像装置10的外部的例子，但在本实施方式中，图像处理装置20也可以设于摄像装置10的内部。
摄像装置10例如是数码相机、摄像机。摄像光学系统100对被拍摄体进行成像。光学低通滤波器110使例如与摄像元件120的分辨率对应的频带通过。摄像元件120(例如12兆像素)由例如能进行模拟相加读出的CCD、CMOS传感器构成。像素相加处理部130例如控制受光单位的设定、相加读出，取得低分辨帧图像(例如3兆像素，×1图像/1帧)。数据记录部140例如由存储卡等实现，记录低分辨帧图像的动态图像。监视器显示部160进行动态图像的实时取景显示、再现的动态图像的显示。
图像处理装置20例如由图像处理引擎(IC)、PC(计算机)实现。插值处理部200对低分辨帧图像的受光值进行插值来求出移位图像(例如3兆像素，×4图像/1帧)。像素值推定运算部210进行最终推定像素值的推定。图像输出部300包括抗混叠(anti-aliasing)滤波器220、250、低通滤波器230、欠采样(under sampling)部240，根据最终推定像素值输出静止图像、动态图像。抗混叠滤波器220对最终推定像素值进行抗混叠处理，输出高分辨静止图像(例如12兆像素)。低通滤波器230将最终推定像素值限制于高清的频带。欠采样部240对进行了频带限制的最终推定像素值以高清的像素数进行欠采样。抗混叠滤波器220对进行了欠采样的图像进行抗混叠处理，输出高清动态图像(例如2兆像素)。此外，也可以不进行欠采样而输出高分辨动态图像(例如12兆像素)。
图12示出动态图像拍摄中的插值处理方法的说明图。如图12所示，在动态图像拍摄中，通过相加读出在各帧中取得低分辨帧图像。例如，关注受光值a00时，在帧f(t-1)、f(t)、f(t+1)、…中取得a00(t-1)、a00(t)、a00(t+1)、…。在生成帧f(t)的高分辨静止图像的情况下，对帧f(t)的低分辨帧图像进行插值处理，求出帧f(t)中的假想受光单位的受光值a10(t)、a01(t)、a11(t)。然后，进行从这些受光值推定高分辨静止图像的处理。在不生成静止图像的帧f(t-1)、f(t+1)中，不进行插值处理。
在此，帧是指例如利用摄像元件拍摄1个低分辨帧图像的定时、在图像处理中处理1个低分辨帧图像的定时。或者，图像数据中的1个低分辨帧图像、高分辨帧图像也适当地称为帧。
根据上述构成例，图像输出部300将高分辨帧图像(12兆像素)进行分辨率变换后作为高清动态图像(2兆像素)输出，或者将高分辨帧图像(12兆像素)作为高分辨静止图像(12兆像素)输出。
这样，能以高帧速率对低分辨动态图像进行摄像，根据该动态图像在事后输出任意定时的高分辨静止图像。即，用户一边再现高清动态图像一边选择定时、构图来得到高分辨静止图像。此外，将高分辨静止图像、高清动态图像输出到未图示的显示部、存储器、打印机等。或者在摄像装置10包括图像处理装置20的情况下，也可以将高分辨静止图像、高清动态图像显示于监视器显示部160。
5.推定像素值的第2推定方法(彩色)
在上述实施方式中说明了黑白图像的像素值推定，而本实施方式也能应用于彩色图像的像素值推定。用图13说明该推定像素值的第2推定方法。
在该方法中，不分离RGB地进行相加读出，推定RGB的最终像素值。具体地说，如图11所示，通过摄像取得a00、a20等。然后，通过插值处理求出受光值a10、a01、a11等。例如，受光值a00、a10、a01、a11与用下式(11)表示的受光值对应。
a00＝R10+G100+G211+B01，
a10＝R10+G120+G211+B21，
a01＝R12+G102+G211+B01，
a11＝R12+G122+G211+B21
…(11)
然后，根据这些受光值，通过图3(A)等所示的推定处理来推定像素值v00、v10、v01、v11。由于已知推定像素值与RGB的对应关系，因此能求出RGB的推定像素值G100＝v00，R10＝v10，B01＝v01，G211＝v11。
根据上述推定方法，摄像元件是彩色摄像元件(RGB图像传感器)，将相邻的多个像素G100、R10、B01、G211不依赖于像素的颜色地设定为受光单位。将设定为受光单位的相邻的多个像素的像素值相加而读出(a00＝G100+R10+B01+G211)，取得低分辨率帧图像。然后，根据通过摄像取得的受光值和通过插值处理取得的受光值a00、a10、a01、a11来推定受光单位的各像素的像素值G100、R10、B01、G211，根据推定出的像素值来输出彩色的高分辨帧图像。
这样，在彩色摄像中也是以高帧速率拍摄低分辨帧图像，从该低分辨帧图像进行像素值推定，能取得任意定时的彩色的高分辨帧图像。另外，将相邻4像素的像素值相加来取得受光值，因此能降低随机噪声。另外，无需进行颜色区分且读出像素的位置接近，因此与使用每一颜色的受光单位的情况相比能进行高精细的推定处理。
6.推定像素值的第3推定方法
在本实施方式中，也可以将RGB分离而相加读出，推定RGB的最终像素值。用图14(A)～图17说明该推定像素值的第3推定方法。
首先，说明G的像素值推定。如图14(A)所示，作为受光单位的受光值，对G1像素的4像素相加值{a00，a40，…}和G2像素的4像素相加值{a11，a51，…}进行采样。在图14(A)中，用深色网格的方形表示G1的像素，用浅色网格的方形表示G2的像素，用实线表示受光单位，用虚线表示假想受光单位。下面，通过插值处理从所取得的受光值求出G1的假想受光单位的受光值{a20，…，a02，a22，…}和G2的假想受光单位的受光值{a31，…，a13，a33，…}。该插值处理例如可以通过上述插值方法按照G1和G2分别进行，或者也可以使用G1和G2的受光值两者通过一般的插值方法进行。例如，通过a00和a40的平均值来求出受光值a20。
G的最终像素值vij根据这些受光值来推定。即，从G1的重叠的4像素相加值即下述第1组G1以及G2的重叠的4像素相加值即下述第2组G2来推定。在此，L是L≥0的整数。
第1组G1：
{a00，a20，a40，…，a(2L)(2L)，…}
第2组G2：
{a11，a31，a51，…，a(2L+1)(2L+1)，…}
在图14(B)中，示出中间像素和推定像素的说明图。如图14(B)所示，推定G1的中间像素值{b00，b20，b40，…}和G2的中间像素值{b11，b31，…}。将这些中间像素与垂直方向的下一个中间像素重叠地设定。然后，从这些中间像素值推定G1的推定像素值{v00，v20，v40，…}和G2的推定像素值{v11，v31，…}。
下面，说明中间像素值的推定处理。此外，以下说明G1的中间像素值，而G2的中间像素值也是同样的。如图15所示，着眼于4像素相加值aij的水平方向的最初的行，按照移位顺序将像素值设为a00、a20、a40，则下式(12)成立。
a00＝b00+b20，
a20＝b20+b40…(12)
如下式(13)所示，将b00设为未知数(初始变量)，将中间像素值b20，b40设为b00的函数来求出。
b00＝(未知数)，
b20＝a00-b00，
b40＝b00+δi0＝b00+(a20-a00)
…(13)
在此，δi0是隔开1个移位的受光值的差分值，用下式(14)表示。
δi0＝a20-a00
    ＝(b00+b20)-(b20+b40)
    ＝b40-b00            …(14)
下面，如图15所示，将中间像素值{b00，b20，b40}的模式与附近的同色4像素相加值即{a00，a11，a20}进行比较，导出其误差最小的未知数b00，将该值设定为b00。{a00，a11，a20}是将第1组G1和其附近的第2组G2混合后的受光值模式。更具体地说，作为误差的评价函数求出下式(15)所示的评价函数eij，求出评价函数e00最小的未知数b00。如求出b00，则b20、b40也由上式(13)求出。还能使用同样的方法求出{b02，b22，b42}等。
[数学式3]
e ij = ( a ij 2 - b ij ) 2 + ( a ( i + 1 ) ( j + 1 ) 2 - b ( i + 2 ) j ) 2 + ( a ( i + 2 ) j 2 - b ( i + 4 ) j ) 2 · · · ( 15 )
可以认为，与该G1、G2的受光值模式进行比较的方法与仅与G1的受光值模式进行比较时相比，易于推定较高空间频率成分的可能性高。此外，在本实施方式中，作为中间像素值模式{b00，b20，b40}的比较对象，也可以仅使用G1的受光值模式{a00，a20}。另外，所比较的附近的4像素相加值除了这些值以外还存在其它的值，因此希望选择推定精度较高的4像素相加值。
下面，说明推定像素值vij的推定处理。此外，以下说明G1的推定像素值，而G2的推定像素值也可同样地求出。如图16所示，当关注中间推定像素值bij的垂直方向的最初的列，按照移位顺序将像素值设为b00、b02时，下式(16)成立。
b00＝v00+v02，
b02＝v02+v04    …(16)
如下式(17)所示，将b00作为未知数(初始变量)，将最终推定像素值v02、v04作为v00的函数来求出。
v00＝未知数，
v02＝b00-v00，
v04＝b00+δj0＝b00+(b02-b00)
…(17)
在此，δi0是隔开1个移位的中间像素值的差分值，用下式(18)表示。
δj0＝b02-b00
    ＝(v02+v04)-(v02+v00)
    ＝v04-v00        …(18)
下面，如图16所示，将最终推定像素值{v00，v02，v04}的模式与其附近的中间推定值即{b00，b11，b02}进行比较，导出其误差最小的未知数v00，将该值设定为v00。{b00，b11，b02}是将G1的中间像素值和G2的中间像素值混合后的中间像素值模式。更具体地说，作为误差的评价函数而求出下式(19)所示的评价函数eij，求出评价函数e00最小的未知数v00。如求出v00，则v20也由上式(17)求出。使用同样的方法还能求出{v20，v22}等。这样，求出高分辨图像的最终推定像素值{v00，v02，v20，v22}。
[数学式4]
e ij = ( b ij 2 - v ij ) 2 + ( b ( i + 1 ) ( j + 1 ) 2 - v i ( j + 2 ) ) 2 + ( b i ( j + 2 ) 2 - v i ( j + 4 ) ) 2 · · · ( 19 )
可以认为，比较该G1、G2的中间像素值模式的方法和仅与G1的中间像素值模式比较的情况相比，易于推定较高的空间频率成分的可能性高。此外，在本实施方式中，作为推定像素值模式{v00，v02，v04}的比较对象，也可以仅使用G1的中间像素值模式{b00，b02}。另外，所比较的附近的中间像素值除了这些值以外还存在其它的值，因此期望选择推定精度较高的中间像素值。
下面，说明R、B的像素值推定。以下说明R的像素值推定，而B的像素值推定也可以同样地进行。如图17(A)所示，作为受光单位的受光值，对R的4像素相加值{a10，a50，…}进行采样。在图17(A)中，用网格的方形表示R的像素，用实线表示受光单位，用虚线表示假想受光单位。下面，通过插值处理从所取得的受光值求出R的假想受光单位的受光值{a30，…，a12，a32，…}。
在图17(B)中，示出中间像素和推定像素的说明图。如图17(B)所示，推定R的中间像素值{b10，b30，b50，…}。将这些中间像素与垂直方向的下一个中间像素重叠地设定。然后，从这些中间像素值推定R的推定像素值{v10，v30，v50，…}。中间像素值和推定像素值的推定处理通过与图3(A)～图10中所述的方法相同的方法进行。通过上面的处理得到贝尔排列的高精细推定图像，通过将该图像进行贝尔插值来得到RGB的高分辨帧图像。
根据上述推定方法，摄像元件是彩色摄像元件，将相同颜色的多个像素设定为受光单位(例如图14(A)所示的G1、G2的受光单位)。然后，将设定为该受光单位的多个像素的像素值相加读出(G1的受光值a00、G2的受光值a11等)，取得低分辨率帧图像。推定运算部(例如，图20所示的像素值推定运算部210)根据该低分辨率帧图像的受光单位的受光值(a00、a11等)和来自插值处理部(插值处理部200)的假想受光单位的受光值(a20、a31等)来推定受光单位的各像素的像素值(v00、v20等)。图像输出部(图像输出部300)根据该推定出的像素值输出彩色的高分辨帧图像。
这样，在彩色摄像中也可以以高帧速率拍摄低分辨帧图像，从该低分辨帧图像进行像素值推定，取得任意定时的彩色高分辨帧图像。另外，将同色的像素值相加来取得受光值，因此，即使是色关联小的图像也能进行色再现性高的推定处理，能抑制由推定处理导致的伪色的发生。
7.数据压缩扩展和推定处理的方法
用图18、图19说明对所摄像的低分辨图像进行压缩扩展的处理和从扩展的低分辨图像进行像素值推定的处理方法。
图18示出G像素的压缩扩展处理的说明图。如图18的A1所示，取得G1和G2的4像素相加值{a00，a40，a11，a51，…}。A2示出该4像素相加值{a00，a40，a11，a51，…}与贝尔排列原图像(高分辨)的G像素的排列关系。如A3所示，进行贝尔插值(去马赛克处理)，求出欠缺像素值{G10，G50，G01，G41，…}。通过用各欠缺像素的周围的4像素相加值进行插值来求出这些像素值。
如A4所示，将贝尔插值后的数据通过数据压缩而存储于数据记录部。如A5所示，当对原图像的像素值进行推定运算时，将存储于数据记录部的压缩数据扩展，再现A3所示的贝尔插值后的数据。在推定像素值vij的推定中，从该数据中不是使用插值值Gij，而是使用与4像素相加值aij对应的值。在贝尔插值中，知道哪个像素是4像素相加值，因此，预先决定将扩展后的数据的哪个像素用于推定处理即可。
图19示出R像素的压缩扩展处理的说明图。此外，B像素的压缩扩展处理也可以同样地进行。如图19的B1所示，取得R的4像素相加值{a10，a50，…}。B2示出该4像素相加值{a10，a50，…}与贝尔排列原图像(高分辨)的R像素的排列关系。如B3所示，进行贝尔插值，求出欠缺像素值{R00，R01，R11，R40，R41，R51，…}。通过用各欠缺像素的周围的4像素相加值进行插值来求出这些像素值。在推定像素值vij的推定中，从压缩扩展后的数据中使用与4像素相加值aij对应的值。
8.摄像装置和图像处理装置的第2构成例
图20示出进行上述压缩扩展处理时的摄像装置和图像处理装置的第2构成例。该摄像装置10包括：摄像光学系统100、光学低通滤波器110、摄像元件120、像素相加处理部130、数据记录部140、显示处理部150、监视器显示部160、贝尔插值处理部170(去马赛克处理部)、帧缓冲器180、数据压缩处理部190。图像处理装置20包括：插值处理部200、像素值推定运算部210、数据扩展处理部260、帧缓冲器270(存储部)、帧选择部280、推定用像素相加提取部290、图像输出部300。图像输出部300包括：欠采样(under sampling)部310、抗混叠(anti-aliasing)滤波器220，320、贝尔插值处理部330(去马赛克处理部)。此外，对与图11中说明的构成要素相同的构成要素附上同一附图标记，适当省略说明。
如图20所示，通过摄像取得的低分辨动态图像(例如，3兆像素)由贝尔插值处理部170进行贝尔插值处理(去马赛克处理)，由帧缓冲器180进行缓冲。缓冲后的动态图像由数据压缩处理部190进行压缩处理，存储于数据记录部140。
在再现存储数据的情况下，由数据扩展处理部260扩展动态图像。扩展后的动态图像由欠采样部310进行欠采样，由抗混叠滤波器320进行抗混叠处理，再现为高清动态图像(2兆像素)。
用户从该再现动态图像指定想设为高分辨静止图像的帧。该指定经由帧选择部280(例如，触摸屏等用户界面)进行，向帧缓冲器270输入指定帧的信息。帧缓冲器270存储指定帧的低分辨图像。该低分辨图像是进行了贝尔插值的图像，由推定用像素相加提取部290提取用于推定处理的受光值(像素值)。提取到的受光值由插值处理部200进行插值处理，由像素值推定运算部210进行推定处理。推定像素值由贝尔插值处理部330进行贝尔插值处理(去马赛克处理)，由抗混叠滤波器220进行抗混叠处理，作为高分辨静止图像(12兆像素)来输出。
9.推定像素值的第4推定方法(加权相加)
在上述推定方法中，将受光单位内的像素值单纯相加而读出，但是在本实施方式中，也可以将受光单位内的像素值加权相加而读出，从该受光值求出推定像素值。用图21～图28说明该推定像素值的第4推定方法。此外，下面说明贝尔排列中的G1像素的推定处理，而G2像素、R像素、B像素也能使用相同的推定处理。
如图21所示，设相加读出的加权系数为c1、c2、c3、c4。设c1＝1，则加权系数符合下式(20)示出的比率关系的规则(r是r＞1的实数)。
c1＝1，c2＝1/r，c3＝1/r，c4＝1/r2
…(20)
下面为了简化说明，设r＝2，则有下式(21)。
c1＝1，c2＝1/2，c3＝1/2，c4＝1/4
…(21)
如图22(A)所示，通过摄像取得受光值a00、a20、…，通过插值处理求出受光值a10、…、a01、a11、…。如图22(B)所示，从这些受光值求出中间像素值b00、b10、…，从中间像素值b00、b10、…求出推定像素值v00、v10、…。此外，在图22(A)、图22(B)中为了方便，使ij角标与图14(A)、图14(B)不同。
首先，说明中间像素值的推定处理。如图23所示，关注中间像素值的水平方向的最初的行，按移位顺序设加权像素相加值为a00、a10、a20时，下式(22)成立。
a00＝c1v00+c2v01+c3v10+c4v11
a10＝c1v10+c2v11+c3v20+c4v21
…(22)
另外，如下式(23)所示，定义b00、b10、b20，代入上式(21)。
b00＝c1v00+c2v01
   ＝v00+(1/2)v01，
b10＝c1v10+c2v11
   ＝v10+(1/2)v11，
b20＝c1v20+c2v21
   ＝v20+(1/2)v21
…(23)
下面，用上式(21)、(23)将上式(22)变形，则下式(24)成立。
a00＝v00+(1/2)v01+
     (1/2)v10+(1/4)v11
   ＝b00+(1/2)b10，
a10＝v10+(1/2)v11+
     (1/2)v20+(1/4)v21
   ＝b10+(1/2)b20
…(24)
在上式(24)中，对a00、a10乘以规定的系数(规定的加权系数)并取差分δi0，用上式(23)进行变形，则下式(25)成立。
δi0＝a10-2a00
    ＝(1/2)v20+(1/4)v21-(2v00+v01)
    ＝(1/2)b20-2b00
…(25)
设b00为未知数，则如下式(26)所示，能将中间像素值b10、b20作为b00的函数来求出。
b00＝(未知数)，
b10＝2(a00-b00)，
b20＝4b00+2δi0
   ＝4b00+2(a10-2a00)
…(26)
这样，设b00为未知数(初始变量)来求出高精细的中间像素值{b00，b10，b20}的组合模式。同样，在第2行、第3行中也设b01、b02为未知数来求出中间像素值{b01，b11，b21}、{b02，b12，b22}的组合模式。
下面说明求出未知数b00的方法。如图24所示，对受光值模式{a00，a10}与中间像素值模式{b00，b10，b20}进行比较。然后，导出使其误差最小的未知数b00，将其设定为中间像素值b00。
此时，如上式(24)所示，受光值{a00，a10}成为中间像素值{b00，b10，b20}的不同加权的相邻值的相加值。因此，单纯比较它们无法得到正确的推定值。因此，如图24所示，对中间像素值加权来进行比较。具体地说，利用中间像素值{bij，b(i+1)j}的加权为c3＝c1/2，c4＝c2/2，则可知下式(27)成立。
aij＝bij+(1/2)b(i+1)j…(27)
考虑该上式(27)的加权，求出下式(28)示出的评价函数Ej。然后，利用该评价函数Ej来进行受光值模式{a00，a10}与中间像素值模式{b00，b10，b20}的类似性评价。
[数学式5]
e ij = ( a ij 2 - b ij ) 2 + ( a ij 2 - b ( i + 1 ) j 2 ) 2 ,
Ej = Σ i = 0 1 e ij · · · ( 28 )
利用上式(26)，由将b00作为初始变量的函数来表示评价函数Ej。因此，如图25所示，求出使Ej最小的未知数b00(＝α)，就能决定b00的值。然后，将推定出的b00的值代入上式(26)，求出b10、b20。此外，b00能取的值的范围为0≤b00≤a00，因此只要在该范围内求出评价函数Ej的最小值即可。同样，在第2行、第3行中也能将b01、b02作为未知数来求出中间像素值{b01，b11，b21}、{b02，b12，b22}的组合模式。
下面说明用求出的中间像素值bij来求出最终推定像素值vij的方法。下面以图22(B)所示的左端垂直列(i＝0列)为例进行说明。如图26所示，中间像素值{b01，b01，b02}与最终推定像素值{v00，v01，v02}的关系用下式(29)表示。
b00＝c1v00+c2v01
   ＝v00+(1/2)v01，
b01＝c1v01+c2v02
   ＝v01+(1/2)v02
              …(29)
当对b00，b01乘以规定的系数并求差分δj0时，下式(30)成立。
δj0＝b01-2b00
    ＝(v01+(1/2)v02)-(2v00+v01)
    ＝(1/2)v02-2v00
                    …(30)
设v00为未知数(初始变量)，用上式(29)、(30)将最终推定像素值v01、v02作为v00的函数来求出。下式(31)示出该函数。
v00＝(未知数)，
v01＝2(b00-v00)，
v02＝4v00+2δj0
   ＝4v00+2(b01-2b00)
            …(31)
对上式(31)的推定像素值模式{v00，v01，v02}与中间像素值模式{b00，b01}进行比较，导出使其误差Ei最小的未知数v00。此时，利用最终推定像素值{vij，v(i+1)j}的加权为c2＝c1/2这一点，则下式(32)成立。
bij＝vij+(1/2)vi(j+1)
                …(32)
如图27所示，考虑上式(32)示出的加权来进行模式的比较。具体地说，求出下式(33)示出的评价函数Ei。
[数学式6]
e ij = ( b ij 2 - v ij ) 2 + ( b ij 2 - v i ( j + 1 ) 2 ) 2 ,
Ei = Σ j = 0 1 e ij · · · ( 33 )
然后，如图28所示，求出使评价函数Ei最小的未知数v00(＝β)，将求出的v00代入上式(31)并求出最终推定像素值v01、v02。同样，在第2列中也是，设v10为未知数来求出最终推定像素值{v10，v11，v12}的组合模式。
根据上述推定方法，如图22(A)所示，按照摄像元件的每个像素设定受光单位，将该受光单位的各像素值加权相加而作为受光单位的受光值来读出(例如a00＝c1v00+c2v01+c3v10+c4v11)。然后，推定运算部(例如图20所示的像素推定运算部210)根据通过加权相加读出得到的受光单位的受光值a00等和通过插值处理得到的假想受光单位的受光值a10等来推定受光单位的各像素的像素值v00等。
这样，能将受光单位的各像素值加权相加来取得低分辨帧图像，从所取得的低分辨帧图像推定高分辨帧图像的像素值。由此，在推定处理中，能提高被拍摄体所具有的高频成分的再现性。即，在将受光单位的像素值单纯相加的情况下，将矩形的窗函数对成像进行卷积运算。另一方面，在对受光单位的像素值进行加权相加的情况下，将比矩形包含更多高频成分的窗函数对成像进行卷积运算。因此，能取得较多地包含被拍摄体所具有的高频成分的低分辨帧图像，能提高推定图像中的高频成分的再现性。
此外，在本实施方式中，也可以将受光单位的各像素值不进行加权而单纯相加并作为受光单位的受光值读出(例如，a00＝v00+v01+v10+v11)，根据通过该相加读出得到的受光单位的受光值a00等来推定受光单位的各像素的像素值v00等。
10.推定像素值的第5推定方法
在上述实施方式中，对进行1次推定出推定像素值的处理的情况进行了说明，而在本实施方式中，也可以反复进行多次将像素数设为4倍的推定处理来推定出推定像素值。用图29说明该推定像素值的第5推定方法。此外，在图29中用流程图进行说明，而该处理可以通过执行程序来实现，也可以通过硬件来实现。
开始该处理时，设定为k＝0(k是k≥0的整数)(步骤S1)，取得利用N×N像素相加值(N为自然数)的低分辨帧图像fx(步骤S2)。
然后，通过插值处理求出相对于图像fx在水平方向进行了N/2像素移位后得到的N×N像素相加值，生成图像fx_h(步骤S3)。通过插值处理求出相对于图像fx在垂直方向进行了N/2像素移位后得到的N×N像素相加值，生成图像fx_v(步骤S4)。通过插值处理求出相对于图像fx在斜对角方向(水平方向和垂直方向)进行了N/2像素移位后得到的N×N像素相加值，生成图像fx_d(步骤S5)。
然后，用图像fx、fx_h、fx_v、fx_d进行推定处理，生成高分辨帧图像Fx(步骤S6)。如果k比规定值小(步骤S7，“是”)，将生成的图像Fx设定为图像fx(步骤S8)，增大k，向N代入N/2(步骤S9)。然后，再次重复步骤S3～S6。如k成为规定值(步骤S7、No)，则结束处理。在此，k的规定值是表示步骤S3～S6所示的处理的重复次数的值，是与推定像素的分辨率相应的值。例如，在从N×N＝4×4像素的摄像图像推定相当于1个像素的推定像素的情况下，k的规定值是2，重复2次步骤S3～S6的处理。
根据上述推定方法，如步骤S2所示，将受光单位按N×N像素设定，将该N×N像素的像素值相加读出来取得N×N像素的受光单位的受光值(图像fx)。然后，如步骤S3～S5所示，插值处理部(例如图11所示的插值处理部200)通过插值处理求出N×N像素的受光单位进行了N/2像素移位后得到的N×N像素的假想受光单位的受光值(图像fx_h、fx_v、fx_d)。如步骤S6所示，推定运算部(像素值推定运算部210)根据N×N像素的受光单位的受光值(图像fx)和N×N像素的假想受光单位的受光值(图像fx_h、fx_v、fx_d)推定N/2×N/2像素的受光单位的受光值(图像Fx)。
然后，如步骤S7～S9和步骤S3～S5所示，插值处理部通过插值处理求出将N/2×N/2像素的受光单位进行了N/4像素移位后得到的N/2×N/2像素的假想受光单位的受光值(图像fx_h、fx_v、fx_d)。然后，推定运算部根据N/2×N/2像素的受光单位的受光值(图像fx)和N/2×N/2像素的假想受光单位的受光值(图像fx_h、fx_v、fx_d)推定N/4×N/4像素的受光单位的受光值(图像Fx)。
这样，反复进行将受光单位所包括的像素数设为1/2×1/2倍的推定处理，由此能分阶段地进行高精细化直到所期望的分辨率为止。由此，与进行1次将受光单位所包括的像素数设为1/N×1/N倍的推定处理时相比，能简化处理。例如，在从4×4像素的受光单位推定1×1像素的推定像素的情况下，在中间像素值间的关系式中出现3个未知数，因此，推定未知数的处理变得复杂。关于这一点，在上述推定处理中，各次推定处理中的未知数是1个，因此，能容易地决定未知数。
11.推定像素值的第6推定方法
在上述实施方式中，以相加读出时不进行像素移位的情况为例进行了说明，而在本实施方式中，也可以一边进行像素移位一边相加读出，合成多个推定图像来生成更加高精细的高分辨帧图像。用图30、图31来说明该推定像素值的第6推定方法。
如图30所示，在帧fx中取得受光值aij(x)，在帧fx+1中取得进行了1像素移位的受光值ai+1，j(x+1)。然后，在帧fx+4中再次取得受光值aij(x)。接着，用所取得的受光值在各帧中进行插值处理和推定处理，求出各帧中的高分辨推定图像。接着，对4帧的量(像素移位1遍)的高分辨推定图像进行动态补偿，合成进行了动态补偿的4个高分辨推定图像，输出最终的高分辨帧图像。高分辨推定图像的合成通过例如在进行了动态补偿的4个高分辨推定图像的各像素中取平均的处理来进行。该高分辨帧图像可以按每4帧输出，也可以按各帧输出。
图31示出该推定处理的详细的流程图。当开始该处理时，在处理对象的帧编号x中设定帧编号k(步骤S101)，取得低分辨帧图像fx(步骤S102)。通过插值处理求出对图像fx进行了1像素移位的图像fx_h、fx_v、fx_d(步骤S103～S105)，根据图像fx、fx_h、fx_v、fx_d推定高分辨推定图像Fx(步骤S106)。在所生成的高分辨推定图像Fx不到4个的情况下(步骤S107为“是”)，增大帧编号x(步骤S108)，重复步骤S102～S106的处理。
所生成的高分辨推定图像Fx为4个时(步骤S107为“否”)，在帧编号x中再次设定帧编号k(步骤S109)。然后，以高分辨推定图像Fx为基准，对高分辨推定图像Fx+1、Fx+2、Fx+3进行动态补偿(步骤S110～S112)。合成进行了动态补偿的高分辨推定图像Fx、Fx+1、Fx+2、Fx+3来输出高分辨帧图像Gx(步骤S113)。将该高分辨帧图像Gx存储于存储装置，或者显示于显示装置(步骤S114)，结束处理。
根据上述推定方法，按各帧fx、fx+1、…进行将受光单位一边重叠一边移位的像素移位，通过像素移位将受光单位依次设定在多个方位aij(x)、ai+1，j(x+1)、…。按每多个帧(fx～fx+3的4帧)将受光单位设定于相同的方位aij(x)、aij(x+4)。
然后，插值处理部(例如图11所示的插值处理部200)根据由各帧取得的低分辨帧图像，通过插值处理在各帧中求出假想受光单位的受光值ai+1，j(x)、ai+2，j(x+1)、…。推定运算部(像素值推定运算部210)根据受光单位的受光值和假想受光单位的受光值，在各帧中推定出推定像素值vij(x)、vij(x+1)、…。图像输出部(图像输出部300)根据推定像素值vij(x)、vij(x+1)、…求出各帧的帧图像(高分辨推定图像)，合成多个帧(fx～fx+3)的帧图像来输出高分辨帧图像。
这样，在各帧中从一边进行像素移位一边取得的多个低分辨帧图像推定高分辨帧图像。由此，能增加利用像素移位的高频成分，因此，与不进行像素移位的情况相比能提高图像的高频成分的再现性。
12.推定像素值的第7推定方法
在上述实施方式中，对受光单位包含多个像素，从该受光值推定与摄像元件的分辨率相当的图像的情况进行了说明，而在本实施方式中，也可以将受光单位设定为1像素，推定分辨率比摄像元件的分辨率高(高像素数)的图像。用图32(A)、图32(B)说明该推定像素值的第7推定方法。
如图32(A)所示，摄像元件的像素间距是p，受光单位按照每1像素为间距p来设定。即，受光单位的受光值是设定为该受光单位的像素的像素值。从该受光单位读出受光值a00，通过插值处理求出假想受光单位的受光值a10、a01、a11。然后，从这些受光值a00、a10、a01、a11推定与间距为p/2的像素对应的推定像素值，求出高分辨帧图像。例如，设想该高分辨化处理适用于数字变焦图像、裁剪图像的高精细化。
图32(B)示出中间像素的说明图。如图32(B)所示，从受光值a00～a11推定中间像素值b00～b21。该中间像素值b00～b21的水平方向(或垂直方向)的像素间距为p/2。中间像素值b00～b21的推定处理、最终推定像素值的推定处理通过与上述推定方法相同的方法来进行。
13.摄像装置和图像处理装置的第3构成例
图33示出进行数字变焦图像的高精细化时的摄像装置和图像处理装置的第3构成例。该摄像装置10包括：摄像光学系统100、光学低通滤波器110、摄像元件120、读出控制部130、数据记录部140、显示处理部150、监视器显示部160、帧缓冲器180、变焦区域选择部195。图像处理装置20包括：插值处理部200、像素值推定运算部210、图像输出部300。图像输出部300包括：抗混叠滤波器220、250、低通滤波器230、欠采样部240。此外，对与在图11等中说明的构成要素相同的构成要素附上相同的附图标记，适当省略说明。
如图33所示，通过读出控制部130将受光单位设定为1像素，读出摄像元件120(例如12兆像素)的像素值，取得摄像图像(12M像素)。对摄像图像设定变焦区域，取得该变焦区域的图像(3兆像素)作为低分辨帧图像。该变焦区域例如由用户通过未图示的用户界面来选择。将低分辨帧图像存储于数据记录部140。对从数据记录部140读出的低分辨帧图像进行插值处理和推定处理，求出推定图像(12兆像素)。然后，通过图像输出部300从推定图像生成高精细静止图像(12兆像素)、高清动态图像(2兆像素)。
此外，如上所述地详细说明了本实施方式，但是本领域技术人员能容易理解：能进行不实质脱离本发明的新事项和效果的多种变形。因此，这种变形例全部包含于本发明的范围。例如，在说明书或者附图中至少一次与较广义或者同义的不同用语(受光单位、假想受光单位、中间像素值)一起记载的用语(相加像素值、插值受光单位、中间推定像素值等)在说明书或者附图的任何地方都能置换为该不同用语。另外，插值处理部、推定运算部、图像输出部、摄像装置、图像处理装置等的构成、动作也不限于在本实施方式中说明的构成、动作，能进行各种变形实施。
附图标记说明
10摄像装置，20图像处理装置，100摄像光学系统，
110光学低通滤波器，120摄像元件，
130像素相加处理部，140数据记录部，
150显示处理部，160监视器显示部，
170贝尔插值处理部，180帧缓冲器，
190数据压缩处理部，195变焦区域选择部，
200插值处理部，210像素值推定运算部，
220抗混叠滤波器，230低通滤波器，
240欠采样部，250抗混叠滤波器，
260数据扩展处理部，270帧缓冲器，
280帧选择部，290推定用像素相加提取部，
300图像输出部，310欠采样部，
320抗混叠滤波器，330贝尔插值处理部，
Bk00推定处理块，a00受光单位的受光值，
a10、a01、a11假想受光单位的受光值，bij中间像素值，
vij推定像素值，δj0差分值，Ei评价函数，
w0、w1、w2加权系数，fx帧，p像素间距。

Claims (17)

1.一种图像处理装置，其特征在于，
包括：
存储部，其在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值而取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像；
插值处理部，其通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定；
推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及
图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述推定运算部求出第1受光单位与第2受光单位的差分值，根据上述差分值来推定上述推定像素值，其中，上述第1受光单位是设定于第1方位的上述受光单位或上述假想受光单位中的任一个，上述第2受光单位是设定于与上述第1受光单位重叠的第2方位的上述假想受光单位。
3.根据权利要求2所述的图像处理装置，其特征在于，
上述推定运算部用上述差分值表示从上述第1受光单位除去重叠区域后的第1受光区域的受光值即第1中间像素值与从上述第2受光单位除去上述重叠区域后的第2受光区域的受光值即第2中间像素值之间的关系式，
上述推定运算部用上述关系式推定上述第1中间像素值、第2中间像素值，用推定出的上述第1中间像素值来求出上述推定像素值。
4.根据权利要求3所述的图像处理装置，其特征在于，
上述推定运算部在将包含上述第1中间像素值、第2中间像素值的连续的中间像素值设为中间像素值模式的情况下，用上述受光单位的受光值和上述假想受光单位的受光值来表示上述中间像素值模式所包含的中间像素值之间的关系式，
上述推定运算部将用上述关系式表示的上述中间像素值模式与用上述受光单位的受光值及上述假想受光单位的受光值表示的受光值模式进行比较来评价类似性，
上述推定运算部根据上述类似性的评价结果，以使上述类似性为最高的方式决定上述中间像素值模式所包含的中间像素值。
5.根据权利要求4所述的图像处理装置，其特征在于，
上述推定运算部求出表示用上述关系式所表示的上述中间像素值模式与上述受光值模式之间的误差的评价函数，以上述评价函数的值为最小的方式决定上述中间像素值模式所包含的中间像素值。
6.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，
上述插值处理部将上述低分辨帧图像所包含的上述受光单位的受光值中的、上述假想受光单位的周边的多个受光单位的受光值进行加权相加来求出上述假想受光单位的受光值。
7.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，
在按上述摄像元件的每多个像素设定上述受光单位的情况下，将上述受光单位的各像素值相加而作为上述受光单位的受光值来读出，
上述推定运算部根据通过相加读出得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。
8.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，
在按上述摄像元件的每多个像素设定上述受光单位的情况下，将上述受光单位的各像素值加权相加而作为上述受光单位的受光值来读出，
上述推定运算部根据通过加权相加读出得到的上述受光单位的受光值来推定上述受光单位的各像素的像素值。
9.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，
上述摄像元件是彩色摄像元件，将相邻的多个像素不依赖于像素的颜色地设定为上述受光单位，将设定为上述受光单位的上述多个像素的像素值相加而读出，取得上述低分辨率帧图像，
上述推定运算部根据上述低分辨率帧图像的上述受光单位的受光值和来自上述插值处理部的上述假想受光单位的受光值来推定上述受光单位的各像素的像素值，
上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。
10.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，
上述摄像元件是彩色摄像元件，将相同颜色的多个像素设定为上述受光单位，将设定为上述受光单位的上述多个像素的像素值相加而读出，取得上述低分辨率帧图像，
上述推定运算部根据上述低分辨率帧图像的上述受光单位的受光值和来自上述插值处理部的上述假想受光单位的受光值来推定上述受光单位的各像素的像素值，
上述图像输出部根据由上述推定运算部推定出的像素值来输出彩色的上述高分辨帧图像。
11.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，
在将上述受光单位按N×N像素设定，将上述N×N像素的像素值相加而读出，取得N×N像素的受光单位的受光值的情况下，
上述插值处理部通过插值处理求出将上述N×N像素的受光单位进行了N/2像素移位后得到的N×N像素的假想受光单位的受光值，
上述推定运算部根据上述N×N像素的受光单位的受光值和上述N×N像素的假想受光单位的受光值，推定N/2×N/2像素的受光单位的受光值，
上述插值处理部通过插值处理求出将上述N/2×N/2像素的受光单位进行了N/4像素移位后得到的N/2×N/2像素的假想相加像素的像素值，
上述推定运算部根据上述N/2×N/2像素的受光单位的受光值和上述N/2×N/2像素的假想受光单位的受光值，推定N/4×N/4像素的受光单位的受光值。
12.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，
在按各帧进行将上述受光单位一边重叠一边移位的像素移位，通过上述像素移位将上述受光单位依次设定于多个方位，按每多个帧将上述受光单位设定于相同的方位的情况下，
上述插值处理部根据由上述各帧取得的上述低分辨帧图像，在上述各帧中通过插值处理求出上述假想受光单位的受光值，
上述推定运算部根据上述受光单位的受光值和上述假想受光单位的受光值，在上述各帧中推定上述推定像素值，
上述图像输出部根据上述推定像素值来求出上述各帧的帧图像，将上述多个帧的上述帧图像合成而输出上述高分辨帧图像。
13.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，
上述图像输出部将上述高分辨帧图像进行分辨率变换而作为高清动态图像来输出，或将上述高分辨帧图像作为高分辨静止图像来输出。
14.一种摄像装置，其特征在于，
包括：
摄像元件；
读出控制部，其将作为取得受光值的单位的受光单位设定于上述摄像元件，读出上述受光单位的受光值而取得低分辨帧图像；
存储部，其存储由上述读出控制部取得的上述低分辨帧图像；
插值处理部，其通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定；
推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及
图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
15.根据权利要求14所述的摄像装置，其特征在于，
包括：
显示部；和
进行在上述显示部显示图像的控制的显示控制部，
上述图像输出部将上述高分辨帧图像进行分辨率变换而作为高清动态图像来输出，或将上述高分辨帧图像作为高分辨静止图像来输出，
上述显示控制部对显示由上述低分辨帧图像得到的动态图像进行控制、对显示上述高清动态图像进行控制以及对显示上述高分辨静止图像进行控制。
16.一种程序，其特征在于，
使计算机作为如下装置发挥功能：
存储部，在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值而取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像；
插值处理部，通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理来求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定；
推定运算部，其根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值；以及
图像输出部，其根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
17.一种图像处理方法，其特征在于，
在将作为取得受光值的单位的受光单位设定于摄像元件，读出上述受光单位的受光值而取得低分辨帧图像的情况下，存储所取得的上述低分辨帧图像，
通过上述低分辨帧图像的以上述受光单位的受光值为基础的插值处理求出假想受光单位的受光值，上述假想受光单位在从上述受光单位的方位移位后的方位与上述受光单位重叠地设定，
根据上述受光单位的受光值和上述假想受光单位的受光值，推定与上述低分辨帧图像的像素间距相比像素间距小的推定像素值，
根据由上述推定运算部推定出的像素值，输出分辨率比上述低分辨帧图像高的高分辨帧图像。
CN2011800257994A 2010-05-26 2011-05-02 图像处理装置、摄像装置、程序和图像处理方法 Pending CN103109305A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010120325A JP2011248576A (ja) 2010-05-26 2010-05-26 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2010-120325 2010-05-26
PCT/JP2011/060501 WO2011148760A1 (ja) 2010-05-26 2011-05-02 画像処理装置、撮像装置、プログラム及び画像処理方法

Publications (1)

Publication Number Publication Date
CN103109305A true CN103109305A (zh) 2013-05-15

Family

ID=45003752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800257994A Pending CN103109305A (zh) 2010-05-26 2011-05-02 图像处理装置、摄像装置、程序和图像处理方法

Country Status (5)

Country Link
US (1) US20130083220A1 (zh)
EP (1) EP2579206A1 (zh)
JP (1) JP2011248576A (zh)
CN (1) CN103109305A (zh)
WO (1) WO2011148760A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5220777B2 (ja) * 2010-01-21 2013-06-26 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2012060434A (ja) * 2010-09-09 2012-03-22 Fuji Xerox Co Ltd 画素補間装置、画像読取装置、及び画素補間プログラム
JP6390097B2 (ja) * 2013-12-25 2018-09-19 株式会社ニコン 画像再生装置および撮像装置
KR20160141572A (ko) * 2015-06-01 2016-12-09 삼성전자주식회사 이미지를 촬영하는 전자 장치 및 방법
CN106604001B (zh) 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454288B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US20210144483A1 (en) * 2019-11-07 2021-05-13 Innovative Interface Laboratory Corp. Single-axis actuator, acoustic wave generator and its array

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187307A (ja) * 1997-12-17 1999-07-09 Canon Inc 撮像装置及び撮像方法
JP2001344229A (ja) * 2000-06-01 2001-12-14 Ricoh Co Ltd 補間処理装置、補間処理方法およびその方法をコンピュータに実行させるプログラムを格納したコンピュータが読み取り可能な記録媒体
JP2003101724A (ja) * 2001-09-25 2003-04-04 Konica Corp 画像読取装置及び画像形成装置
WO2004088992A1 (ja) * 2003-03-28 2004-10-14 Olympus Corporation 画像処理装置及び画像処理プログラム
JP2006050481A (ja) * 2004-08-09 2006-02-16 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びそのプログラム
JP4549260B2 (ja) * 2005-08-25 2010-09-22 キヤノン株式会社 記録再生装置、記録再生方法、及びコンピュータプログラム
JP4802944B2 (ja) * 2006-08-31 2011-10-26 大日本印刷株式会社 補間演算装置
JP4786631B2 (ja) * 2007-01-17 2011-10-05 ソニー株式会社 固体撮像装置、撮像装置
JP2008243037A (ja) 2007-03-28 2008-10-09 National Univ Corp Shizuoka Univ 画像処理装置、画像処理方法および画像処理プログラム
JP5263753B2 (ja) 2007-11-19 2013-08-14 株式会社ザクティ 超解像処理装置及び方法並びに撮像装置

Also Published As

Publication number Publication date
EP2579206A1 (en) 2013-04-10
JP2011248576A (ja) 2011-12-08
US20130083220A1 (en) 2013-04-04
WO2011148760A1 (ja) 2011-12-01

Similar Documents

Publication Publication Date Title
CN103109305A (zh) 图像处理装置、摄像装置、程序和图像处理方法
CN101668125B (zh) 成像装置、固态成像器件、图像处理装置、方法
CN102726037B (zh) 图像处理装置、摄像装置和图像处理方法
CN110827200B (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
CN101053249B (zh) 图像处理方法、图像存储方法、图像处理装置及文件格式
Gu et al. Coded rolling shutter photography: Flexible space-time sampling
CN101662690B (zh) 图像处理设备、成像设备及图像处理方法
US7652700B2 (en) Interpolation method for captured color image data
EP2560375B1 (en) Image processing device, image capture device, program, and image processing method
JP5853166B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
CN103650486A (zh) 摄像装置和图像生成方法
US7868925B2 (en) Device, method, and program for generating high-resolution image data at a low data transfer rate
Li et al. Cross image cubic interpolator for spatially varying exposures
JP2012253490A (ja) 固体撮像装置、撮像装置及び画像生成方法
JP2022030812A (ja) 画像処理装置及び撮像装置及びそれらの制御方法及びプログラム
JP2012099870A (ja) 撮像装置及び撮像方法
Purwandari et al. DIRECTIONAL WEIGHTING DEMOSAICKING METHOD TO ENHANCE THE QUALITY OF DIGITAL CAMERA IMAGES
Gevrekci Super resolution and dynamic range enhancement of image sequences
Battiato et al. Beyond Embedded Device
Savaliya et al. A Review in Image Super Resolution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130515